CN108737675B - 显示装置 - Google Patents

显示装置 Download PDF

Info

Publication number
CN108737675B
CN108737675B CN201810263254.0A CN201810263254A CN108737675B CN 108737675 B CN108737675 B CN 108737675B CN 201810263254 A CN201810263254 A CN 201810263254A CN 108737675 B CN108737675 B CN 108737675B
Authority
CN
China
Prior art keywords
screen
display
item
operation panel
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810263254.0A
Other languages
English (en)
Other versions
CN108737675A (zh
Inventor
北村哲朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Publication of CN108737675A publication Critical patent/CN108737675A/zh
Application granted granted Critical
Publication of CN108737675B publication Critical patent/CN108737675B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/50—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5016—User-machine interface; Display panels; Control console
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/50—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5016—User-machine interface; Display panels; Control console
    • G03G15/502—User-machine interface; Display panels; Control console relating to the structure of the control menu, e.g. pop-up menus, help screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00336—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing pattern recognition, e.g. of a face or a geographic feature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00413—Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416—Multi-level menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00482—Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种显示装置。该显示装置包括：相机部，对操作面板进行拍摄，所述操作面板显示配置有项目按钮的画面，并从用户接收对项目按钮进行的操作；显示部，使用户看到操作面板并显示信息；以及控制部，基于相机部拍摄操作面板而得到的拍摄数据，识别显示部的显示区域内的操作面板的位置和作为操作面板当前正显示的画面的显示中画面，并且使显示部以与操作面板不重合的方式显示项目信息，该项目信息表示配置在从显示中画面能够跳转的画面中的项目按钮的项目内容。

Description

显示装置
技术领域
本发明涉及一种显示装置，该显示装置辅助用户对操作面板进行操作。
背景技术
在像数码复合机、复印机那样的装置上都设置有操作面板。操作面板上显示配置有按钮的画面，接收用户用于进行与印刷相关的设定或指令的操作(对按钮进行的操作)。
如果对以往操作面板的当前显示中的画面进行规定操作，则显示当前显示中的画面的下级层级的画面的一部分。由此，用户能够知道在操作面板上当前显示的画面的下级层级的画面中配置有何种按钮。
在以往的操作面板上，以窗口形式显示下级层级的画面(在此称为下级画面)。并且，当难以看清楚以窗口形式显示的下级画面时，能够放大窗口尺寸。
但是，如果放大窗口尺寸，则难以看清楚以窗口形式显示的下级画面的上级层级的画面(在此称为上级画面)。在这种情况下需要反复进行缩小窗口尺寸来确认上级画面、并且再次放大窗口尺寸来确认下级画面的作业。其结果，必须进行多次操作，对于用户来说便利性差。
发明内容
为了解决上述问题，本发明的目的在于提供一种能够提高用户对操作面板进行操作的便利性的显示装置。
为了达成上述目的，本发明提供一种显示装置，其包括：相机部，对操作面板进行拍摄，所述操作面板显示配置有项目按钮的画面，并从用户接收对所述项目按钮进行的操作；显示部，使用户看到所述操作面板并显示信息；以及控制部，基于所述相机部拍摄所述操作面板而得到的拍摄数据，将所述显示部的显示区域内的所述操作面板的位置和作为所述操作面板当前正显示的画面的显示中画面设定为对象画面，并且在所述对象画面显示中，使所述显示部以与所述操作面板不重合的方式显示项目信息，所述项目信息表示配置在从所述对象画面能够跳转的画面中的、所述项目按钮的项目内容，在所述显示区域内的所述操作面板的位置移动了的情况下，以在所述显示区域内所述操作面板与所述项目信息不重合的方式改变所述项目信息的显示位置。
在本发明中，如果用户利用显示装置来拍摄操作面板，则显示装置显示项目信息，该项目信息表示配置在从操作面板当前正显示的画面能够跳转的画面中的项目按钮的项目内容。因此，用户能够知道在从操作面板当前正显示的画面能够跳转的画面(例如，操作面板当前正显示的画面的下级层级的画面)中配置有何种项目按钮。在此，项目信息不是显示于操作面板而是显示于显示装置。此外，以与操作面板不重合的方式显示项目信息。因此，不会发生操作面板当前正显示的画面与项目信息重合而难以辨认的不良现象。即，用户不需要进行用于避免操作面板当前正显示的画面与项目信息重合的操作。其结果，提高了用户的使用便利性。
附图说明
图1是表示本发明一种实施方式的显示装置的构成的图。
图2是表示操作面板的显示画面(主画面)的图。
图3是表示操作面板的显示画面(基本/应用选择画面)的图。
图4是表示操作面板的显示画面(基本设定画面)的图。
图5是表示操作面板的显示画面(纸尺寸画面)的图。
图6是表示操作面板的显示画面的层级结构的图。
图7是表示本发明一种实施方式的显示装置进行的操作辅助处理的流程的图。
图8是表示本发明一种实施方式的显示装置进行显示处理前后、用户所看到的不同的图。
图9是用于说明配置有与图8所示的项目信息对应的项目按钮的操作面板的画面的图。
图10是表示本发明一种实施方式的显示装置进行显示处理前后、用户所看到的不同的图。
图11是用于说明配置有与图10所示的项目信息对应的项目按钮的操作面板的画面的图。
图12是用于说明本发明一种实施方式的显示装置的显示区域的操作面板的位置发生移动时进行的控制的图。
图13是表示本发明一种实施方式的显示装置显示的通知信息的图。
图14是用于说明本发明一种实施方式的显示装置接收的项目指定操作的图。
图15是用于说明本发明一种实施方式的显示装置接收的第一手势操作的图。
图16是用于说明本发明一种实施方式的显示装置接收的第二手势操作的图。
具体实施方式
下面，以头戴式显示器为例来说明本发明一种实施方式的显示装置。在以下的说明中，将本实施方式的头戴式显示器称为HMD，并且赋予附图标记1。
例如，由图像形成装置(数码复合机或复印机等印刷装置)的用户佩戴HMD1。该图像形成装置是具有复印功能、将扫描数据向外部设备发送的发送功能等多种功能的数码复合机，但是并不限定于此。在以下的说明中，对佩戴HMD1的用户实际使用的图像形成装置赋予附图标记2。
<HMD的构成>
HMD1为眼镜型，在与眼镜的镜片相当的部分上显示各种信息(在用户的眼前显示信息)。此外，HMD1拍摄用户眼前的景物(物体)。
如图1所示，上述HMD1包括显示部11、相机部12、操作部13、控制部14、通信部15和存储部16。显示部11、相机部12、操作部13、控制部14、通信部15和存储部16设置在未图示的眼镜型的框架上。
显示部11进行显示。显示部11配置在与佩戴HMD1的用户的眼睛相对的位置上。由此，在用户的眼前显示各种信息。当在佩戴HMD1的用户的眼前存在图像形成装置2时，用户能够视觉辨认图像形成装置2(包括后述的操作面板20)，并且能够显示向用户提供的信息。例如，使外界光线透射的光学透射型(光学穿透型)的显示装置被用作显示部11。
相机部12进行拍摄。相机部12包括CCD相机等，并配置在佩戴HMD1的用户的视野方向上能够拍摄的位置上。由此，拍摄用户眼前的景物(物体)。当在佩戴HMD1的用户的眼前存在图像形成装置2时，可以拍摄图像形成装置2(包括后述的操作面板20)。相机部12输出由拍摄得到的拍摄数据。
操作部13从用户接收操作，该操作用于进行与HMD1的显示和拍摄相关的各种设定。另外，如果将用户持有的智能手机等便携终端与HMD1连接成能够通信，则也能够从该便携终端进行与HMD1的显示和拍摄相关的各种设定。
控制部14包括基于控制用的程序和数据进行动作的CPU，并且执行用于控制HMD1的各种处理。例如，控制部14控制由显示部11进行的显示，并且控制由相机部12进行的拍摄。此外，控制部11检测操作部13从用户接收的各种操作。
通信部15是通信接口，用于将HMD1与外部设备连接成能够通信，并且包括通信电路等。虽然没有特别限定，但是HMD1与外部设备之间能够基于近场通信标准进行通信或基于无线LAN标准进行通信。控制部14利用通信部15与外部设备进行通信。例如，控制部14利用通信部15来与图像形成装置2进行通信，与图像形成装置2之间收发各种信息。
存储部16包括非易失性存储器(ROM)和易失性存储器(RAM)，存储用于使控制部14(CPU)进行动作的程序、数据。此外，存储部16存储用于显示后述的项目信息3的显示数据。
<操作面板的显示画面>
图像形成装置2包括操作面板20。由图像形成装置2的用户(佩戴HMD1的用户)对操作面板20进行操作。
操作面板20包括触摸面板显示器21。触摸面板显示器21显示配置有软键按钮(从用户接收触摸操作的操作接收区域)的画面，并且接收对软键按钮进行的触摸操作。例如，操作面板20使触摸面板显示器21显示图2～图5所示的画面200(画面211、221A、231A、241A)。另外，操作面板20显示的画面200还有其他各种形式。此外，配置在操作面板200显示的各画面200中的软键按钮的形态也有多种。例如，有时在画面200的操作接收区域显示按钮形状的图像(也包括图标等)，有时也在画面200的操作接收区域仅显示文本图像。
其中，如图6所示，操作面板20显示的各画面200是层级性的结构(层级结构)。并且，如果对操作面板20进行规定的操作，则从当前的画面200切换为不同的层级画面200。另外，图6所示的层级结构只是一例，并没有特别限定。
具体地说，有时在操作面板20显示的各画面200中配置项目按钮IB(参照图2～图4)。项目按钮IB未配置在最下级层级的画面200中。如果用户对项目按钮IB进行触摸操作，则从当前的画面200跳转至下一层级的画面200。
在图6所示的例子中，在作为最上级层级的第一层级的画面200(画面211)的显示中，用户对项目按钮IB进行触摸操作时，从第一层级画面211跳转至第二层级的画面200(画面221A和221B中的一个)。
当在第二层级画面221A的显示中、用户对项目按钮IB进行触摸操作时，从第二层级画面221A跳转至第三层级的画面200(画面231A和232A中的一个)。
当在第二层级画面221B的显示中、用户对项目按钮IB进行触摸操作时，从第二层级画面221B跳转至第三层级的画面200(画面231B、232B、233B中的任意一个)。例如，画面231B、232B、233B是最下级层级的画面，在画面231B、232B、233B中未配置项目按钮IB。
在第三层级画面231A的显示中，当用户对项目按钮IB进行触摸操作时，跳转至第四层级的画面200(画面241A、242A、243A中的任意一个)。例如，画面241A、242A、243A是最下级层级的画面，在画面241A、242A、243A中未配置项目按钮IB。
在第三层级画面232A的显示中，当用户对项目按钮IB进行触摸操作时，跳转至第四层级的画面200(画面244A、245A中的一个)。例如，画面244A、245A是最下级层级的画面，在画面244A、245A中未配置项目按钮IB。
此外，有时在操作面板20显示的各画面200中配置有返回按钮BB(参照图3～图5)。返回按钮BB未配置在最上级层级的画面200中。如果用户对返回按钮BB进行触摸操作，则从当前的画面200跳转至上一层级的画面200。另外，也可以将与返回按钮BB相当的硬件按钮设置在操作面板20中。
图2所示的操作面板20的画面211是主画面，用于从用户接收图像形成装置100的多种功能中指定使用的功能，相当于第一层级(最上级层级)的画面。在主画面211中作为项目按钮IB配置有用于将复印功能指定为使用功能的复印按钮、以及用于将发送功能指定为使用功能的发送按钮。
图3所示的操作面板20的画面221A是基本/应用选择画面，相当于第二层级画面，该基本/应用选择画面用于从用户接收是进行基本设定还是进行应用设定的选择。通过对复印按钮进行的触摸操作来显示基本/应用选择画面221A，该复印按钮在主画面211(参照图2)中配置为项目按钮IB。在基本/应用选择画面221A中作为项目按钮IB配置有用于指示进行基本设定的基本设定按钮、以及用于指示进行应用设定的应用设定按钮。
图4所示的操作面板20的画面231A是基本设定画面，相当于第三层级画面，该基本设定画面用于从用户接收与复印功能相关的设定项目中想要设定(变更)设定值的设定项目的选择。通过对基本设定按钮进行的触摸操作来显示基本设定画面231A，该基本设定按钮在基本/应用选择画面221A(参照图3)中配置为项目按钮IB。在基本设定画面231A中作为项目按钮IB配置有用于指示进行纸尺寸设定的纸尺寸按钮、用于指示进行缩放设定的缩放按钮、以及用于指示进行浓度设定的浓度按钮。
图5所示的操作面板20的画面241A是用于从用户接收纸尺寸的设定的纸尺寸画面，相当于第四层级画面。通过对纸尺寸按钮进行的触摸操作来显示纸尺寸画面241A，该纸尺寸按钮在基本设定画面231A(参照图4)中配置为项目按钮IB。
在基本/应用选择画面221A(参照图3)、基本设定画面231A(图4参照)和纸尺寸画面241A(参照图5)中都配置有返回按钮BB。另外，由于主画面211(参照图2)是最上级层级的画面，所以在主画面211中未配置返回按钮BB。
当在基本/应用选择画面221A显示中、用户对返回按钮BB进行触摸操作时，显示主画面211，当在基本设定画面231A显示中、用户对返回按钮BB进行触摸操作时，显示基本/应用选择画面221A，当在纸尺寸画面241A显示中、用户对返回按钮BB进行触摸操作时，显示基本设定画面231A。
<对面板操作的辅助>
(概要)
图像形成装置2的制造厂商准备有面板应用程序(以下称为面板应用)，该面板应用程序用于辅助用户对操作面板20进行操作。用户佩戴安装有面板应用的HMD1，如果在该状态下用户通过HMD1观察操作面板20，则在HMD1上显示用于辅助该用户对操作面板20进行操作的信。换句话说，HMD1(控制部14)进行用于辅助面板操作的操作辅助处理。
以下，参照图7所示的流程图，说明由控制部14进行的操作辅助处理的流程。图7所示的流程图在操作部13从用户接收到用于启动安装在HMD1中的面板应用的操作时(控制部14检测到该操作时)开始。
在步骤S1中，控制部14使相机部12开始进行拍摄。此时，由于用户想要对操作面板20进行操作，所以接近操作面板20并观察操作面板20。
在步骤S2中，控制部14取得由相机部12进行拍摄而得到的拍摄数据，并且基于该取得的拍摄数据来判断在相机部12的拍摄区域内是否存在操作面板20。换句话说，控制部14判断操作面板20是否进入用户的视野。例如，在存储部16中存储有表示操作面板20的特征点(操作面板20的轮廓和颜色等)的面板信息。并且，控制部14对拍摄数据进行规定的图像识别处理，当检测到面板信息所表示的特征点时，判断在相机部12的拍摄区域内存在操作面板20(操作面板20进入用户的视野)。
在步骤S2中，当控制部14判断在相机部12的拍摄区域内存在操作面板20时，转移至步骤S3。另一方面，当控制部14判断在相机部12的拍摄区域内不存在操作面板20时，反复进行步骤S2的处理(由控制部14进行的判断)。
在步骤S3中，控制部14基于由相机部12拍摄操作面板20而得到的拍摄数据，识别操作面板20当前显示的画面200(以下有时称为显示中画面200)。例如，在存储部16中存储有画面信息，该画面信息表示操作面板20能够显示的各画面200的特征点(配置在画面200中的按钮的形状和颜色、赋予按钮的标记(包括文字和数字)、以及按钮的位置等)。并且，控制部14基于画面信息来识别显示中画面200。此时，控制部14将显示中画面200设定为对象画面。
在步骤S4中，控制部14识别能够从显示中画面200(对象画面)跳转的画面200和配置在该画面200中的项目按钮IB。当显示中画面200是最上级层级的画面200时，仅显示中画面200的下级层级的画面200是能够跳转的画面200，并且当显示中画面200是最下级层级的画面200时，仅显示中画面200的上级层级的画面200是能够跳转的画面200。当显示中画面200不是最上级层级的画面200、也不是最下级层级的画面200时，显示中画面200的下级层级的画面200和显示中画面200的上级层级的画面200两者都是能够跳转的画面200。
例如，在存储部16中针对操作面板20能够显示的各画面200存储有层级信息(表示操作面板20显示的各画面200的层级结构的信息)，该层级信息表示画面200的层级位置、位于上级层级的画面200和位于下级层级的画面200等。此外，在层级信息中还包含表示配置在操作面板20能够显示的各画面200中的项目按钮IB的信息。并且，控制部14基于层级信息，识别能够从显示中画面200跳转的画面200和配置在该画面200中的项目按钮IB。
在步骤S5中，控制部14进行使显示部11显示项目信息3(参照图8的下图和图10的下图等)的显示处理，作为操作辅助处理的一种处理，该项目信息3表示配置在能够从显示中画面200(对象画面)跳转的画面200中的项目按钮IB的项目内容。将在后面进行详细说明。
在步骤S6中，控制部14判断是否满足使显示处理结束的条件(处理结束条件)。其结果，如果控制部14判断满足处理结束条件时，转移至步骤S7，当控制部14判断不满足处理结束条件时，转移至步骤S8。
例如，当控制部14检测到操作部13从用户接收到用于使面板应用结束的操作时，判断满足处理结束条件。此外，当控制部14检测到操作部13从用户接收到用于使相机部12停止进行拍摄的操作时，判断满足处理结束条件。此外，当控制部14检测到在相机部12的拍摄区域内不存在操作面板20时，判断满足处理结束条件。在相机部12的拍摄区域内不存在操作面板20表示用户已离开操作面板20(用户未看操作面板20)。
如果转移至步骤S7，则控制部14使显示处理结束。即，控制部14指示显示部11，使项目信息3的显示停止。
如果转移至步骤S8，则控制部14基于相机部12拍摄操作面板20而得到的拍摄数据，判断操作面板20是否进行了画面200的跳转。
当控制部14判断操作面板20进行了画面200的跳转时，转移至步骤S3。在这种情况下，控制部14使显示部11暂时停止显示项目信息3，并且进行步骤S3、S4的处理。此后，在步骤S5中，控制部14再次进行显示处理。
另一方面，当控制部14判断操作面板20未进行画面200的跳转时，转移至步骤S5。在这种情况下，继续显示项目信息3。
(项目信息的显示)
在由控制部14进行的显示处理中，具有第一处理和第二处理。以下进行详细说明。
当进行第一处理时，控制部14识别设定在对象画面中的画面200的下级层级的画面200(能够从设定在对象画面中的画面200跳转的画面200)中、配置有项目按钮IB的画面200。并且，控制部14进行使显示部11显示项目信息3(参照图8的下图和图10的下图等)的处理，作为第一处理，该项目信息3表示配置在设定于对象画面中的画面200的下级层级画面200中的项目按钮IB的项目内容。
例如，主画面211(参照图2)被设定为对象画面。在这种情况下，用户看到如图8所示变化。在由控制部14进行显示处理之前的阶段，如图8的上图所示，用户直接看到操作面板20。此后，如果由控制部14进行显示处理，则如图8的下图所示，在用户的眼前显示项目信息3。图8中由虚线表示用户的视野(显示部11的显示区域)。在以下说明中参照的图10和图12～图16也同样。
当将主画面211设定为对象画面时，控制部14将配置在主画面211的下级层级的画面200中的项目按钮IB设定为对象按钮。此时设定为对象按钮的是如图9所示配置在操作面板20能够显示的各画面200中、由虚线包围的画面200中的项目按钮IB。
例如，在基本/应用选择画面221A中作为项目按钮IB配置有基本设定按钮和应用设定按钮(该按钮设定为对象按钮)。在基本设定画面231A中作为项目按钮IB配置有纸尺寸按钮、缩放按钮和浓度按钮(该按钮设定为对象按钮)。
因此，当将主画面211设定为对象画面时，控制部14使显示部11显示表示基本设定按钮的项目内容的项目信息3(图8的下图中由字符串“a21”表示)、表示应用设定按钮的项目内容的项目信息3(图8的下图中由字符串“a22”表示)、表示纸尺寸按钮的项目内容的项目信息3(图8的下图中由字符串“a31”表示)、表示缩放按钮的项目内容的项目信息3(图8的下图中由字符串“a32”表示)、以及表示浓度按钮的项目内容的项目信息3(图8的下图中由字符串“a33”表示)。
虽然未特别限定，但显示部11将表示项目按钮IB的项目内容的文本信息显示为项目信息3。或者显示部11将项目按钮IB的图案(图标)显示为项目信息3。
当主画面211设定为对象画面时，配置在画面232A中的项目按钮IB成为对象按钮(参照图9)。因此，显示配置在画面232A中的表示项目按钮IB的项目内容的项目信息3(图8的下图中由字符串“a34”和字符串“a35”表示)。
此外，当主画面211设定为对象画面时，配置在画面221B中的项目按钮IB也成为对象按钮(参照图9)。因此，也显示表示配置在画面221B中的项目按钮IB的项目内容的项目信息3(图8的下图中由字符串“b21”、字符串“b22”和字符串“b23”表示)。
当进行第二处理时，控制部14识别项目按钮IB，该项目按钮IB是配置在设定为对象画面的画面200上级层级的画面200(能够从设定为对象画面的画面200跳转的画面200)中的项目按钮IB，并且在向设定为对象画面的画面200跳转时操作。并且，控制部14进行使显示部11显示项目信息3(参照图10的下图)的处理，作为第二处理，该项目信息3表示向设定为对象画面的画面200跳转时操作的项目按钮IB的项目内容。
例如，将基本/应用选择画面221A(参照图3)设定为对象画面。在这种情况下，控制部14进行第一处理和第二处理两者。因此，用户看到如图10所示变化。在由控制部14进行显示处理之前的阶段，如图10的上图所示，用户直接看到操作面板20。此后，如果控制部14进行显示处理，则如图10的下图所示，在用户的眼前显示项目信息3。
当将基本/应用选择画面221A设定为对象画面时，控制部14将配置在基本/应用选择画面221A下级层级的画面200中的项目按钮IB设定为对象按钮。此时设定为对象按钮的是如图11所示在操作面板20能够显示的各画面200之中、配置在由虚线包围的画面200中的项目按钮IB。
因此，控制部14使显示部11显示由字符串“a31”表示的项目信息3(表示纸尺寸按钮的项目内容的信息)、由字符串“a32”表示的项目信息3(表示缩放按钮的项目内容的信息)、以及由字符串“a33”表示的项目信息3(表示浓度按钮的项目内容的信息)。此外，控制部14还使显示部11显示表示配置在画面232A中的项目按钮IB的项目内容的信息，作为项目信息3。即，还显示由字符串“a34”表示的项目信息3和由字符串“a35”表示的项目信息3。
此外，当将基本/应用选择画面221A设定为对象画面时，控制部14还将向基本/应用选择画面221A跳转时操作的项目按钮IB设定为对象按钮。此时设定为对象按钮的是在主画面211中配置为项目按钮IB的复印按钮。
因此，当将基本/应用选择画面221A设定为对象画面时，控制部14还使显示部11显示表示复印按钮的项目内容的项目信息(图10的下图中由字符串“a11”表示)。例如，显示部11在显示区域的上侧显示项目信息3，该项目信息3表示配置在基本/应用选择画面221A下级层级的项目按钮IB的项目内容，并且在显示区域的下侧显示表示配置在基本/应用选择画面221A上级层级的项目按钮IB的项目内容的项目信息3。
控制部14基于项目信息3的显示中、由相机部12拍摄操作面板20而得到的拍摄数据，将显示部11的显示区域内的项目按钮IB的位置识别为基准位置。图8所示的例子中，在主画面211中配置为项目按钮IB的复印按钮和发送按钮的各位置(显示部11的显示区域内的位置)为基准位置。在图10所示的例子中，在基本/应用设定画面221A中配置为项目按钮IB的基本设定按钮和应用设定按钮的各位置(显示部11的显示区域内的位置)为基准位置。并且，如图8和图10所示，控制部14使显示部11显示连接项目信息3和基准位置的线L。在图8和图10中，由粗线表示该线L。在以下说明中参照的图12～图16也同样。
具体地说，显示部11显示直接连接与项目按钮IB对应的项目信息3(在此称为第一下级项目信息3)和基准位置的线L，该项目按钮IB在操作面板20中配置在当前显示的画面200(对象画面)下一层级的画面200(在此称为第一下级画面200)中。此外，显示部11显示连接与配置在第一下级画面的下级层级的画面200(在此称为第二下级画面200)中的项目按钮IB对应的项目信息3(在此称为第二下级项目信息3)和第一下级项目信息3的线L。即，显示经由第一下级项目信息3连接第二下级项目信息3和基准位置的线L。
此外，显示部11显示直接连接与操作面板20中配置在当前显示的画面200(对象画面)上一层级的画面200(在此称为上级画面200)中的项目按钮IB对应的项目信息3(在此称为上级项目信息3)和基准位置的线L。
在图8所示的例子中，由字符串“a21”、字符串“a22”、字符串“b21”、字符串“b22”和字符串“b23”表示的各项目信息3相当于第一下级项目信息。由字符串“a31”、字符串“a32”、字符串“a33”、字符串“a34”和字符串“a35”表示的各项目信息3相当于第二下级项目信息。
另外，为了明确通过对主画面211的复印按钮进行的操作而显示与字符串“a21”和字符串“a22”的各项目信息3对应的项目按钮IB，从该项目信息3延伸的线L连接至与复印按钮对应的基准位置。同样，为了明确通过对主画面211的发送按钮进行的操作而显示与字符串“b21”、字符串“b22”和字符串“b23”对应的项目按钮IB，从该项目信息3延伸的线L连接至与发送按钮对应的基准位置。
在图10所示的例子中，由字符串“a31”、字符串“a32”、字符串“a33”、字符串“a34”和字符串“a35”表示的各项目信息3相当于第一下级项目信息。由字符串“a11”表示的项目信息3相当于上级项目信息。
另外，为了明确通过对基本/应用选择画面221A的基本设定按钮进行的操作而显示与字符串“a31”、字符串“a32”和字符串“a33”的各项目信息3对应的项目按钮IB，从该项目信息3延伸的线L连接至与基本设定按钮对应的基准位置。同样，为了明确通过对基本/应用选择画面221A的应用设定按钮进行的操作而显示与字符串“a34”和字符串“a35”对应的项目按钮IB，从该项目信息3延伸的线L连接至与应用设定按钮对应的基准位置。
此外，控制部14基于由相机部12拍摄操作面板20而得到的拍摄数据，识别显示部11的显示区域内的操作面板20的位置。并且，控制部14控制项目信息3的显示位置，以使显示部11的显示区域内的操作面板20与项目信息3不重合。此外，控制部14控制线L的显示位置(线L的长度、延伸方向和弯折位置)。
例如，如图12所示，显示部11的显示区域内的操作面板20的位置向右上方向移动了(从上图的状态改变为下图的状态)。即，用户使视线向左下方向移动了。在这种情况下，控制部14改变项目信息3的显示位置。此外，控制部14改变线L的长度、延伸方向和弯折位置等。
在此，根据不同情况，有时应该显示在显示部11上的全部项目信息3不能在显示部11的显示区域内完全显示。例如，如图13所示，由字符串“b24”表示的项目信息3未能显示在显示部11的显示区域内(由虚线包围该项目信息3来与其他项目信息3进行区分)。在这种情况下，控制部14使显示部11显示通知信息30，该通知信息30用于通知用户存在未能显示在显示部11的显示区域内的项目信息3(以下称为未显示项目信息3)。
在图13所示的例子中，应该显示未显示项目信息3(由字符串“b24”表示的信息)的位置是在由字符串“b23”表示的项目信息3的右侧。在这种情况下，显示部11在由字符串“b23”表示的项目信息3的右侧显示通知信息30。虽然未图示，但是当应该显示未显示项目信息3的位置在由字符串“a31”表示的项目信息3的上侧时，通知信息30显示在由字符串“a31”表示的项目信息3的上侧。
(手势操作的检测)
控制部14基于项目信息3的显示中、由相机部12进行的拍摄而得到的拍摄数据，检测用户对项目信息3进行的虚拟操作(手势操作)。并且，当检测到进行了手势操作时，控制部14利用通信部15与图像形成装置2(操作面板20)进行通信，向操作面板20发送用于使操作面板20的画面200跳转的信息。
控制部14判断在项目信息3的显示中是否进行了作为项目指定操作而预先确定的手势操作。例如，控制部14将虚拟点击显示中的任意一个项目信息3的操作检测为项目指定操作。
当判断进行了项目指定操作时，控制部14识别作为由项目指定操作指定的项目信息3的指定项目信息(虚拟点击的项目信息3)。并且，控制部14向操作面板20发送信息(画面跳转指令)，该信息用于使操作面板20进行向操作与指定项目信息3对应的项目按钮IB时应当显示的画面200的跳转。例如，在画面跳转指令中包含表示将操作与指定项目信息3对应的项目按钮IB时应当显示的画面200作为跳转目的地的信息。图像形成装置2的操作面板20接收到画面跳转指令，进行向包含在画面跳转指令中的跳转目的地的画面200的跳转。
例如，如图14的上图所示，当操作面板20显示主画面211时，对由字符串“a21”表示的项目信息3进行项目指定操作。在图14的上图中，用双重线包围进行了项目指定操作的项目信息3。与由字符串“a21”表示的项目信息3对应的项目按钮IB是配置在基本/应用选择画面221A中的基本设定按钮。在这种情况下，如图14的下图所示，操作面板20从当前的画面200(主画面211)向操作基本设定按钮时作为应当显示的画面200的基本设定画面231A跳转。
此外，控制部14判断在项目信息3的显示中是否进行了预先确定的第一手势操作。例如，控制部14将在相机部12的拍摄区域内从左向右进行虚拟轻拂的操作检测为第一手势操作。
当判断进行了第一手势操作时，控制部14识别操作面板20当前正显示的显示中画面200，并且向操作面板20发送包含第一指令的信息，该第一指令用于使操作面板20进行向显示中画面200上级层级的画面200之中、最近显示的画面200跳转。接收到第一指令的图像形成装置2的操作面板20进行向显示中画面200上级层级的画面200中、最近显示的画面200跳转。
例如，利用从HMD1向操作面板20发送的画面跳转指令，操作面板20从主画面211向基本设定画面231A跳转(参照图14)。此后，如图15的上图所示，在操作面板20继续显示基本设定画面231A的状态下，进行第一手势操作。在这种情况下，如图15的下图所示，操作面板20从基本设定画面231A向主画面211跳转。
此外，控制部14判断在项目信息3的显示中是否进行了预先确定的第二手势操作。例如，控制部14将在相机部12的拍摄区域内从右向左进行虚拟轻拂的操作检测为第二手势操作。
当判断进行了第二手势操作时，控制部14识别操作面板20当前正显示的显示中画面200，并且向操作面板20发送包含第二指令的信息，该第二指令用于使操作面板20进行向显示中画面200下级层级的画面200中、最近显示的画面200跳转。接收到第二指令的图像形成装置2的操作面板20进行向显示中画面200下级层级的画面200中最近显示的画面200跳转。
例如，操作面板20从基本设定画面231A向基本/应用选择画面221A跳转。此后，如图16的上图所示，在操作面板20继续显示基本/应用选择画面221A的状态下，进行第二手势操作。在这种情况下，如图16的下图所示，操作面板20从基本/应用选择画面221A向基本设定画面231A跳转。
此外，控制部14判断在项目信息3的显示中是否进行了预先确定的第三手势操作。例如，控制部14将在相机部12的拍摄区域内沿上下方向进行虚拟轻拂的操作检测为第三手势操作。
当判断进行了第三手势操作时，控制部14识别操作面板20当前正显示的显示中画面200，并且向操作面板20发送包含第三指令的信息，该第三指令用于使操作面板20进行向显示中画面200上一层级的画面200跳转。接收到第三指令的图像形成装置2的操作面板20进行向显示中画面200上一层级的画面200跳转。例如，当在纸尺寸画面241A的显示中进行第三手势操作时，操作面板20从纸尺寸画面241A向基本设定画面231A跳转，当在基本设定画面231A的显示中进行第三手势操作时，操作面板20从基本设定画面231A向基本/应用选择画面221A跳转，当在基本/应用选择画面221A的显示中进行第三手势操作时，操作面板20从基本/应用选择画面221A向主画面211跳转。
如上所述，本实施方式的HMD1(显示装置)包括：相机部12，对操作面板20进行拍摄，所述操作面板20显示配置有项目按钮IB的画面200，从用户接收对项目按钮IB进行的操作；显示部11，使用户视觉辨认操作面板20并显示信息；以及控制部14，基于相机部12拍摄操作面板20而得到的拍摄数据，识别显示部11的显示区域内的操作面板20的位置和作为操作面板20当前正显示的画面200的显示中画面，并且使显示部11以与操作面板20不重合的方式显示项目信息3，该项目信息3表示配置在能够从显示中画面200跳转的画面200中的项目按钮IB的项目内容。
在本实施方式中，如果用户利用HMD1来拍摄操作面板20(用户佩戴HMD1并观察操作面板20)，则显示项目信息3，该项目信息3表示配置在能够从操作面板20当前显示的画面200跳转的画面200中的项目按钮IB的项目内容。因此，用户能够知道在从操作面板20当前显示的画面200能跳转的画面200中配置有何种项目按钮IB。在此，项目信息3不是显示在操作面板20中而显示在HMD1中。此外，以与操作面板20不重合的方式显示项目信息3。因此，不会发生操作面板20当前显示的画面200与项目信息3重合而难以辨认的不良现象。即，用户不需要进行用于避免操作面板20当前显示的画面200与项目信息3重合的操作。其结果，提高了用户的使用便利性。
此外，在本实施方式中，如上所述，控制部14使显示部11显示表示项目按钮IB的项目内容的信息，作为项目信息3，该项目按钮IB配置在操作面板20当前显示的画面200的下级层级的画面200中。因此，由于能够知道在操作面板20当前显示的画面200的下级层级的画面200中配置有何种项目按钮IB，所以提高了用户的使用便利性。
此外，在本实施方式中，如上所述，控制部14使显示部11显示表示配置在操作面板20当前显示的画面200的上级层级的画面200中、并且在向操作面板200当前显示的画面200跳转时操作的项目按钮IB的项目内容的信息，作为项目信息3。因此，由于能够知道向操作面板20当前显示的画面200跳转时操作的项目按钮IB，所以提高了用户的使用便利性。
此外，在本实施方式中，如上所述，控制部14将显示部11的显示区域内的项目按钮IB的位置识别为基准位置，并且使显示部11显示连接项目信息3和基准位置的线L。因此，由于能够知道HMD1显示的项目信息3与项目按钮IB的对应关系，所以提高了用户的使用便利性。
此外，在本实施方式中，如上所述，当存在有在显示部11的显示区域内显示不下的项目信息3(未显示项目信息)时，控制部14使显示部11显示通知信息30。由此，当存在未显示项目信息3时，能够通知用户该信息。
此外，在本实施方式中，如上所述，当控制部14基于相机部12进行的拍摄而得到的拍摄数据、判断是否进行了作为项目指定操作、预先确定的手势操作时，识别由项目指定操作指定的项目信息3亦即指定项目信息，并且利用通信部15向操作面板20发送信息，该信息用于使操作面板20进行向操作与指定项目信息3对应的项目按钮IB时应当显示的画面200跳转。因此，即使不直接对操作面板20进行操作，也能够使操作面板20当前的画面200向用户所希望的画面200跳转，所以提高了用户的使用便利性。
此外，在本实施方式中，如上所述，当控制部14检测到进行了第一～第三手势操作中的任意一个时，向图像形成装置2(操作面板20)发出指令，进行与该检测到的操作对应的画面跳转处理。因此，当想要从操作面板20当前显示的画面200向上级层级的画面200或下级层级的画面200跳转时，即使不直接对操作面板20进行操作也可，所以提高了用户的使用便利性。
以上公开的实施方式全部为举例说明，而不是限定于此。本发明的范围并不限定于以上的实施方式，而是由权利要求所表示，并包含与权利要求等同的、以及在权利要求范围内的所有变更。

Claims (9)

1.一种显示装置，其特征在于包括：
相机部，对操作面板进行拍摄，所述操作面板显示配置有项目按钮的画面，并从用户接收对所述项目按钮进行的操作；
显示部，使用户看到所述操作面板并显示信息；以及
控制部，基于所述相机部拍摄所述操作面板而得到的拍摄数据，将所述显示部的显示区域内的所述操作面板的位置和作为所述操作面板当前正显示的画面的显示中画面设定为对象画面，并且在所述对象画面显示中，使所述显示部以与所述操作面板不重合的方式显示项目信息，所述项目信息表示配置在从所述对象画面能够跳转的画面中的、所述项目按钮的项目内容，在所述显示区域内的所述操作面板的位置移动了的情况下，以在所述显示区域内所述操作面板与所述项目信息不重合的方式改变所述项目信息的显示位置。
2.根据权利要求1所述的显示装置，其特征在于，所述控制部使所述显示部显示表示配置在所述对象画面的下级层级的画面中的所述项目按钮的项目内容的信息，作为所述项目信息。
3.根据权利要求1或2所述的显示装置，其特征在于，所述控制部使所述显示部显示表示配置在所述对象画面的上级层级的画面中、并且在向所述对象画面跳转时操作的所述项目按钮的项目内容的信息，作为所述项目信息。
4.根据权利要求1或2所述的显示装置，其特征在于，所述控制部将配置在所述显示部的显示区域内的所述对象画面的所述项目按钮的位置识别为基准位置，并且使所述显示部显示连接所述基准位置和所述项目信息的线。
5.根据权利要求1或2所述的显示装置，其特征在于，当存在未显示项目信息时，所述控制部使所述显示部显示通知信息，所述通知信息用于通知用户存在所述未显示项目信息，所述未显示项目信息为所述显示部的显示区域内显示不完的所述项目信息。
6.根据权利要求1或2所述的显示装置，其特征在于，
所述显示装置还包括用于与外部设备进行通信的通信部，
所述控制部基于所述相机部拍摄得到的拍摄数据、判断进行了作为项目指定操作预先确定的手势操作时，识别作为由所述项目指定操作指定的所述项目信息的指定项目信息，并且利用所述通信部向所述操作面板发送信息，所述信息用于使所述操作面板进行向操作与所述指定项目信息对应的所述项目按钮时应当显示的画面跳转。
7.根据权利要求1或2所述的显示装置，其特征在于，
所述显示装置还包括用于与外部设备进行通信的通信部，
所述控制部基于所述相机部拍摄得到的拍摄数据、判断进行了预先确定的第一手势操作时，利用所述通信部向所述操作面板发送信息，所述信息用于使所述操作面板进行向所述显示中画面的上级层级的画面之中、最近显示的画面跳转。
8.根据权利要求1或2所述的显示装置，其特征在于，
所述显示装置还包括用于与外部设备进行通信的通信部，
所述控制部基于所述相机部拍摄得到的拍摄数据、判断进行了预先确定的第二手势操作时，利用所述通信部向所述操作面板发送信息，所述信息用于使所述操作面板进行向所述显示中画面的下级层级的画面之中、最近显示的画面跳转。
9.根据权利要求1或2所述的显示装置，其特征在于，
所述显示装置还包括用于与外部设备进行通信的通信部，
所述控制部基于所述相机部拍摄得到的拍摄数据、判断进行了预先确定的第三手势操作时，利用所述通信部向所述操作面板发送信息，所述信息用于使所述操作面板进行向所述显示中画面的上一层级的画面跳转。
CN201810263254.0A 2017-04-21 2018-03-28 显示装置 Expired - Fee Related CN108737675B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-084638 2017-04-21
JP2017084638A JP2018181261A (ja) 2017-04-21 2017-04-21 表示装置

Publications (2)

Publication Number Publication Date
CN108737675A CN108737675A (zh) 2018-11-02
CN108737675B true CN108737675B (zh) 2020-01-10

Family

ID=61868193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810263254.0A Expired - Fee Related CN108737675B (zh) 2017-04-21 2018-03-28 显示装置

Country Status (4)

Country Link
US (1) US10334126B2 (zh)
EP (1) EP3392714B1 (zh)
JP (1) JP2018181261A (zh)
CN (1) CN108737675B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683621A (zh) * 2013-11-28 2015-06-03 京瓷办公信息系统株式会社 显示输入装置和图像形成装置
JP2016126712A (ja) * 2015-01-08 2016-07-11 コニカミノルタ株式会社 操作システム及び画像形成装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4138197B2 (ja) * 2000-03-06 2008-08-20 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置および携帯端末装置ならびに画像形成システム
JP5188546B2 (ja) * 2010-07-14 2013-04-24 ヤフー株式会社 ウィンドウ制御を行うＷｅｂページを生成するＷｅｂサーバ及び方法
CN103370684B (zh) * 2011-02-17 2018-04-17 日本电气株式会社 电子设备、显示方法以及非瞬变存储介质
JP5691802B2 (ja) * 2011-04-28 2015-04-01 コニカミノルタ株式会社 投影システム、投影装置、投影方法、および制御プログラム
JP2013110514A (ja) * 2011-11-18 2013-06-06 Konica Minolta Business Technologies Inc 操作入力システム
JP5799861B2 (ja) * 2012-03-09 2015-10-28 コニカミノルタ株式会社 機能設定装置および機能設定装置の制御プログラム
US9665252B2 (en) * 2012-04-18 2017-05-30 Sony Corporation Information processing apparatus and program
JP5787099B2 (ja) * 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
US10310265B2 (en) * 2013-12-27 2019-06-04 Intel Corporation Device, method, and system of providing extended display with head mounted display
JP6191567B2 (ja) * 2014-09-19 2017-09-06 コニカミノルタ株式会社 操作画面表示装置、画像形成装置および表示プログラム
US9804813B2 (en) 2014-11-26 2017-10-31 The United States Of America As Represented By Secretary Of The Navy Augmented reality cross-domain solution for physically disconnected security domains
JP2016110379A (ja) * 2014-12-05 2016-06-20 コニカミノルタ株式会社 操作入力システム
JP2016139168A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
JP6400197B2 (ja) * 2015-05-29 2018-10-03 京セラ株式会社 ウェアラブル装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683621A (zh) * 2013-11-28 2015-06-03 京瓷办公信息系统株式会社 显示输入装置和图像形成装置
JP2016126712A (ja) * 2015-01-08 2016-07-11 コニカミノルタ株式会社 操作システム及び画像形成装置

Also Published As

Publication number Publication date
US20180309883A1 (en) 2018-10-25
EP3392714A1 (en) 2018-10-24
US10334126B2 (en) 2019-06-25
CN108737675A (zh) 2018-11-02
EP3392714B1 (en) 2022-04-27
JP2018181261A (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
JP6131540B2 (ja) タブレット端末、操作受付方法および操作受付プログラム
JP6886939B2 (ja) 情報処理装置の制御方法、制御プログラム及び情報処理装置
CN108900767B (zh) 相机装置及其控制方法
US20080267607A1 (en) Image pickup apparatus and electronic device
WO2014129102A1 (en) Display control apparatus, display apparatus, display control method, and program
CN109479096B (zh) 电子设备及其控制方法和记录介质
EP3035176A1 (en) Apparatus and method for enlarging an image and controlling the enlarged image in a mobile communication terminal
KR102254794B1 (ko) 터치 패널 입력 장치, 터치 제스처 판정 장치, 터치 제스처 판정 방법, 및 터치 제스처 판정 프로그램
US10735606B2 (en) Display device, image processing device and non-transitory recording medium determining continuity of operation two or more display areas
US20150163369A1 (en) Remote control device, remote operation device, screen transmission control method, and non-transitory computer-readable recording medium encoded with screen display control program
JP2018032075A (ja) 表示制御装置およびその制御方法
CN110661946B (zh) 电子设备、电子设备的控制方法和计算机可读介质
US10530945B2 (en) Display device and display system
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
KR101708455B1 (ko) 핸드 플로트 입체 메뉴 시스템
JP2018084851A (ja) 情報処理装置及びプログラム
JP6149684B2 (ja) 携帯端末、画像処理装置、及びプログラム
CN108737675B (zh) 显示装置
JP7505088B2 (ja) 連携表示システム
CN112702507A (zh) 电子装置、电子装置的控制方法及存储介质
JP6319220B2 (ja) 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム
JP6402498B2 (ja) 表示端末装置、プログラム及び表示方法
JP6129136B2 (ja) 機器操作装置及び機器操作方法
JP7121612B2 (ja) 撮像制御装置およびその制御方法、プログラム、並びに記憶媒体
KR20220004746A (ko) 눈 추적 맵을 사용하는 동적 눈 추적 카메라 정렬

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200110

CF01 Termination of patent right due to non-payment of annual fee