CN108632483B - 显示装置和显示系统 - Google Patents

显示装置和显示系统 Download PDF

Info

Publication number
CN108632483B
CN108632483B CN201810191361.7A CN201810191361A CN108632483B CN 108632483 B CN108632483 B CN 108632483B CN 201810191361 A CN201810191361 A CN 201810191361A CN 108632483 B CN108632483 B CN 108632483B
Authority
CN
China
Prior art keywords
button
panel
image
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810191361.7A
Other languages
English (en)
Other versions
CN108632483A (zh
Inventor
岩崎祥吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Publication of CN108632483A publication Critical patent/CN108632483A/zh
Application granted granted Critical
Publication of CN108632483B publication Critical patent/CN108632483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00384—Key input means, e.g. buttons or keypads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00501—Tailoring a user interface [UI] to specific requirements
    • H04N1/00503—Customising to a particular machine or model, machine function or application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00474—Output means outputting a plurality of functional options, e.g. scan, copy or print
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00501—Tailoring a user interface [UI] to specific requirements
    • H04N1/00509—Personalising for a particular user or group of users, e.g. a workgroup or company
    • H04N1/00514—Personalising for a particular user or group of users, e.g. a workgroup or company for individual users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供显示装置和显示系统，所述显示装置包括：显示部，一边使用户视觉辨认对象操作面板一边显示图像；拍摄部，拍摄对象操作面板，输出拍摄数据；存储部，存储模拟存在于用户指定面板的按钮的按钮图像的显示数据，并且存储定义了按钮图像和存在于对象操作面板的对象按钮的对应关系的对应关系信息；以及，控制部，根据拍摄数据识别对象按钮，并且将在对应关系信息中被定义有对应的按钮图像的对象按钮判断为第一按钮，并使显示部以与第一按钮重叠的方式显示与第一按钮对应的按钮图像。

Description

显示装置和显示系统
技术领域
本发明涉及支援对操作面板进行操作的用户的显示装置和显示系统。
背景技术
以往，提出有使用头戴式显示器，支援对操作面板进行操作的用户的技术。在以往的技术中，操作面板和头戴式显示器协作动作，不能一次显示在操作面板上的画面被分为主画面和副画面。此外，操作面板显示主画面，头戴式显示器显示副画面。
在操作面板上显示多种软按钮(图标)，并且设置了多种硬按钮。此外，按钮的位置和形状(包含图标的图案)因操作面板的制造商和规格不同而不同。因此，从已习惯于某种操作面板的用户来看，存在感觉难以使用其它的操作面板的情况。例如，如果用户不习惯操作面板，则可能产生找到目标按钮需要耗费较多时间等不利情况。
因此，在以往的技术中，通过使操作面板和头戴式显示器协作动作(使操作面板显示主画面、使头戴式显示器显示副画面)，来提高操作面板的操作性。但是，如果用户不习惯实际上操作的操作面板，就不太会提高操作面板的操作性。
发明内容
本发明是用于解决所述的问题而做出的发明，本发明的目的在于提供能够提高操作面板的操作性的显示装置和显示系统。
为了实现所述的目的，本发明第一方式的显示装置，其包括：显示部，一边使用户视觉辨认对象操作面板一边显示图像，所述对象操作面板是由用户实际操作的操作面板；拍摄部，拍摄所述对象操作面板，并输出所述对象操作面板的拍摄数据；存储部，存储模拟了存在于用户指定面板的按钮的按钮图像的显示数据，并且存储定义了所述按钮图像和对象按钮的对应关系的对应关系信息，所述用户指定面板是用户指定的操作面板，所述对象按钮是存在于所述对象操作面板的按钮；以及控制部，进行显示处理，所述显示处理根据所述对象操作面板的拍摄数据，识别所述对象按钮，并且将在所述对应关系信息中被定义有对应的所述按钮图像的所述对象按钮判断为第一按钮，并使所述显示部以与所述第一按钮重叠的方式显示与所述第一按钮对应的所述按钮图像，所述存储部存储通知图像的显示数据，所述通知图像用于向用户通知不存在于所述用户指定面板的按钮存在于所述对象操作面板，所述控制部进行所述显示处理时，将在所述对应关系信息中未被定义有对应的所述按钮图像的所述对象按钮判断为第二按钮，并使所述显示部以与所述第二按钮重叠的方式显示所述通知图像。
本发明第二方式的显示系统，其包括：所述的显示装置；以及服务器，与所述显示装置可通信地连接，存储表示多种登记操作面板的各特征点的面板信息，并且按所述多种登记操作面板的每一种存储所述对应关系信息，所述多种登记操作面板是分别被预先登记了的操作面板，所述控制部从所述对象操作面板的拍摄数据提取所述对象操作面板的特征点，并且将与所述多种登记操作面板中的、特征点与所述对象操作面板相同的登记操作面板对应的所述对应关系信息的发送请求发送到所述服务器，根据从所述服务器接收到的所述对应关系信息，进行所述显示处理。
在本发明的构成中，以与对象操作面板的对象按钮(第一按钮)重叠的方式显示按钮图像。在此，按钮图像是模拟了存在于用户指定面板的按钮的图像。因此，如果将用户用惯的操作面板指定为用户指定面板，则用户能够看到对象按钮(第一按钮)被置换为用惯的按钮。由此，能够提高对象操作面板的操作性。另外，从用户来看，即使对象操作面板的制造商、规格与以前使用过的操作面板不同，也无需将被分配给对象按钮的功能与对象按钮的形状(也包含图标的图案)取得对应地重新记住，因此便利性好。
附图说明
图1是表示本发明的一个实施方式的显示系统的构成的图。
图2是表示显示功能选择画面的操作面板的图。
图3是图2所示的操作面板显示项目选择画面时的图。
图4是表示本发明一个实施方式的显示系统进行的处理的流程的图。
图5是用于说明在本发明一个实施方式的显示系统进行的显示处理中使用的对应关系信息的图。
图6是表示本发明一个实施方式的显示系统进行显示处理时用户看到的画面的图。
图7是表示本发明一个实施方式的显示系统进行显示处理时用户看到的画面的图。
图8是表示本发明一个实施方式的显示系统进行显示处理时用户看到的画面的图。
图9是表示本发明一个实施方式的显示系统进行显示处理时用户看到的画面的图。
图10是表示本发明一个实施方式的显示系统进行显示处理时用户看到的画面的图。
图11是用于说明本发明一个实施方式的显示系统从用户接收的尺寸变更操作的图。
具体实施方式
<显示系统的构成>
如图1所示，本实施方式的显示系统1包括头戴式显示器2和服务器3。头戴式显示器2和服务器3通过互联网等广域网络NT可相互通信地连接。此外，头戴式显示器2相当于“显示装置”。在以下的说明中，将头戴式显示器称为HMD。
HMD2由图像形成装置(数码复合机或复印机等印刷装置)的用户佩戴。例如，该图像形成装置是搭载有复印功能、将扫描数据向外部设备发送的发送功能、将扫描数据保存到本机中的存储箱(box)功能、以及从USB存储器直接打印的USB直接打印功能等多种功能的数码复合机。在以下的说明中，对佩戴有HMD2的用户实际使用的图像形成装置标记附图标记“4”。
HMD2是眼镜型的头戴式显示器，在相当于眼镜的镜片的部分显示图像(在用户眼前显示图像)。另外，HMD2拍摄用户眼前的风景(物体)。在图像形成装置4存在于用户眼前的情况下，由HMD2进行图像形成装置4的拍摄。
HMD2包括显示部21、拍摄部22、操作部23、HMD控制部24、HMD存储部25以及HMD通信部26。HMD控制部24相当于“控制部”，HMD存储部25相当于“存储部”。
当用户佩戴有HMD2时，显示部21配置在与用户的眼睛相对的位置。此外，显示部21在用户眼前显示各种图像。没有特别地限定，可以将能够使外界光线透过的光学透过型(光学穿透型)的显示装置用作显示部21。
例如，显示部21包括半反射镜，通过半反射镜将显示图像向用户的眼睛反射。此时，外界光线透过半反射镜入射到用户的眼睛中。因此，即使在用户佩戴有HMD2的情况下(用户眼前被HMD2挡住的情况)，用户也能够视觉辨认外部的风景(物体)。即，显示部21一边使用户视觉辨认眼前的风景一边在用户眼前显示图像。
拍摄部22包括CCD摄影机等，配置在能够拍摄佩戴有HMD2的用户的视野方向的位置。拍摄部22输出通过拍摄得到的拍摄数据。操作部23接收用于进行各种设定的操作。
HMD控制部24包括根据控制用程序和数据动作的CPU，执行用于控制HMD2的各种处理。HMD存储部25包括非易失性存储器(ROM)和易失性存储器(RAM)，存储用于使HMD控制部24(CPU)动作的程序和数据。当用户利用后面所述的面板操作支援服务时，在按钮图像信息50和对应关系信息70存储在HMD存储部25中的状态下，由HMD控制部24进行与面板操作支援服务有关的各种处理。
HMD通信部26是用于将HMD2与外部设备可通信地连接的通信接口，包含通信用电路等。HMD控制部24使用HMD通信部26访问网络NT，与服务器3通信(与服务器3之间接收、发送信息)。另外，HMD控制部24使用HMD通信部26与图像形成装置4进行通信(与图像形成装置4之间接收、发送信息)。在HMD2和图像形成装置4之间，进行基于近距离无线通信或无线LAN通信等通信标准的无线通信。
服务器3包括服务器控制部31、服务器存储部32和服务器通信部33。此外，服务器3由后面所述的面板操作支援服务的提供者管理。
服务器控制部31包括根据控制用的程序和数据进行动作的CPU，执行用于控制服务器3的各种处理。服务器存储部25包括ROM和RAM，存储用于使服务器控制部31动作的程序和数据。另外，服务器存储部32包含HDD等大容量的存储装置。在该存储装置中存储有用于后面所述的面板操作支援服务的面板信息60和对应关系信息70。
服务器通信部33是将服务器3与外部设备可通信地连接的通信接口，包含通信用电路等。服务器控制部31使用服务器通信部33访问网络NT，与HMD2通信(与HMD2之间接收、发送信息)。
<操作面板>
图像形成装置4具备如图2和图3所示的操作面板40。操作面板40由图像形成装置4的用户(佩戴有HMD2的用户)操作。
操作面板40包括多个用于从用户接收各种操作的按钮B。例如，操作面板40从用户接收选择使用的功能的功能选择操作、选择已选择了的功能的设定项目(能够改变设定值的设定项目)的项目选择操作等选择操作。另外，操作面板40从用户接收对执行或停止复印作业等作业进行指示的指示操作、对复位输入了操作面板40的设定值进行指示的指示操作。在此例举的操作是一个例子，其它的各种操作的受理也由操作面板40进行。
存在于操作面板40的按钮B的方式是各种各样的，有时在设置于操作面板40的触摸面板显示器40T上显示软按钮(图标)，将对软按钮的触摸操作从用户接收为选择操作或指示操作。或者，有时将对设置于操作面板40的硬按钮的按下操作从用户接收为选择操作或指示操作。在以下的说明中，对软按钮标记附图标记“SB”，并且对硬按钮标记附图标记“HB”，分别简称为软按钮和硬按钮。此外，图2和图3所示的操作面板40的按钮B是一个例子，按钮B的个数、形状、分配给按钮B的功能等没有特别地限定。
首先，对显示在操作面板40上的软按钮SB进行说明。
在图像形成装置4启动后，操作面板40将如图2所示的功能选择画面41作为初始画面(主画面)显示。在功能选择画面41中配置有多个用于接收功能选择操作的软按钮SB。作为一个例子，在图3中图示了分配有对应于复印功能(Copy)、发送功能(Send)、存储箱功能(Box)以及USB直接打印功能(USB)各功能的四个软按钮SB的功能选择画面41。以下，有时对复印功能的软按钮SB标记附图标记“B1”，对发送功能的软按钮SB标记附图标记“B2”，对存储箱功能的软按钮SB标记附图标记“B3”，对USB直接打印功能的软按钮SB标记附图标记“B4”进行说明。
操作面板40如果在功能选择画面41显示期间接收到对多个软按钮SB中的任意一个的触摸操作(选择了功能)，则显示项目选择画面42(参照图3)，所述项目选择画面42用于接收对已被选择了的功能的设定项目进行选择的项目选择操作。在项目选择画面42中配置有多个用于接收项目选择操作的软按钮SB。
例如，假定用户选择了复印功能。在该情况下，在操作面板40上显示如图3所示的复印功能的项目选择画面42。在复印功能的项目选择画面42中配置有多个用于接收项目选择操作的软按钮SB。作为一个例子，在图3中图示了项目选择画面42，在项目选择画面42中配置有分别对应于选纸、缩小/放大、浓度以及多页合一的各设定项目的四个软按钮SB。
操作面板40在项目选择画面42显示期间，如果接收到对多个软按钮SB中任意一个的触摸操作(选择了设定项目)，则显示用于对已被选择了的设定项目的设定值进行设定的设定画面(未图示)。例如，在用户选择了“选纸”的情况下，操作面板40显示用于对在作业中使用的纸尺寸进行设定的设定画面。
接着，对设置于操作面板40的硬按钮HB进行说明。
作为硬按钮HB，在操作面板40上设置有开始按钮、停止按钮以及复位按钮。开始按钮和停止按钮是分别用于接收作业的执行指示和停止指示的硬按钮HB。复位按钮是用于接收已向操作面板40输入了的设定值的复位指示的硬按钮HB。
此外，作为硬按钮HB，在操作面板40上设置有主画面按钮(标记了房屋标记的按钮)以及系统按钮(带有“系统”字符串的按钮)。当对主画面按钮进行了按下操作时，操作面板40的显示画面跳转到功能选择画面41(即，主画面)。当对系统按钮进行了按下操作时，操作面板40显示系统菜单(未图示)。
<面板操作支援服务>
存在于操作面板的按钮的位置和形状(也包含作为软按钮的图标的图案)因图像形成装置的制造商不同而不同。或者，即使是同一制造商，由于图像形成装置的种类(搭载了什么样的功能)不同，存在于操作面板的按钮的位置和形状也不同。
因此，从已习惯了某种图像形成装置的操作面板(在此称为操作面板A)的用户来看，有时觉得其它图像形成装置的操作面板(在此称为操作面板B)难以使用。其原因在于存在于操作面板B的按钮的位置和形状与操作面板A不同。例如，有时已习惯了操作面板A的用户使用具备操作面板B的图像形成装置进行复印时，如果复印功能的按钮(用于接收功能选择操作的按钮)的位置、形状在操作面板A与操作面板B之间不同，为了找到复印功能的按钮需要耗费较多的时间。
在这样的情况下，如果利用面板操作支援服务，则能够提高操作性。例如，通过从面板操作支援服务的提供者获取专用应用程序安装到HMD2上，就能够利用面板操作支援服务。
为了将面板操作支援服务提供给用户，由服务提供者进行按钮图像信息50的生成，预先存储到接收面板操作支援服务的提供的用户使用的HMD2的HMD存储部25中(参照图1)。按钮图像信息50包含模拟存在于用户指定面板的按钮的按钮图像的显示数据，所述用户指定面板是用户指定的操作面板(用户用惯了的操作面板)。
例如，模拟用户指定面板能够显示的软按钮(图标)的按钮图像的显示数据包含在按钮图像信息50中。此外，不需要生成与用户指定面板能够显示的全部软按钮对应的按钮图像的显示数据，可以只生成与用户选择了的软按钮对应的按钮图像的显示数据并使该显示数据包含在按钮图像信息50中。另外，也可以使模拟设置在用户指定面板上的硬按钮的按钮图像的显示数据包含在按钮图像信息50中。
另外，面板操作支援服务的提供者管理的服务器3存储面板信息60，所述面板信息60表示作为分别由服务提供者预先登记的操作面板的、制造商和规格互不相同的多种登记操作面板的各特征点(参照图1)。在面板信息60中，对多种登记操作面板分别定义了操作面板的轮廓、按钮的形状和颜色、按钮带有的符号(包含字符和数字)以及按钮的位置等特征点。
此外，服务器3存储对应关系信息70，所述对应关系信息70对模拟存在于用户指定面板的按钮的按钮图像与存在于登记操作面板的按钮的对应关系进行了定义(参照图1)。此外，对应关系信息70按登记操作面板存在，分别与多种登记操作面板对应的多个对应关系信息70存储在数据库DB中。
例如，在用户指定面板上存在复印功能的按钮(在此称为复印按钮)的情况下，存在于登记操作面板的按钮中的被分配了与用户指定面板的复印按钮相同功能的按钮被定义为与复印按钮的按钮图像对应的按钮。对于存在于登记操作面板且未存在于用户指定面板的按钮，不定义对应的按钮图像。另外，对于不存在于登记操作面板的用户指定面板的按钮，不定义与该按钮的按钮图像对应的登记操作面板的按钮。
当接收面板操作支援服务的提供时，用户佩戴HMD2，靠近实际上要操作的操作面板(用户视觉辨认操作面板)。在以下的说明中，假定用户实际上要操作的操作面板是操作面板40(参照图2和图3)。在该情况下，操作面板40相当于“对象操作面板”，在以下的说明中，将操作面板40称为对象操作面板40。
如果用户靠近对象操作面板40，则由HMD2的拍摄部22拍摄对象操作面板40，并将对象操作面板40的拍摄数据从拍摄部22输出到HMD控制部24。此外，此时，如果启动面板操作支援服务的应用程序，则由HMD控制部24按照图4所示的流程图进行处理。
具体地说，在步骤S1中，HMD控制部24检测拍摄数据中的对象操作面板40。例如，通过HMD控制部24对拍摄数据进行规定的图像识别处理(包含字符识别处理)，检测对象操作面板40。另外，此时，HMD控制部24提取表示对象操作面板40的特征点(例如，对象操作面板40的轮廓、按钮B的形状和颜色、按钮B带有的符号以及按钮B的位置等)的特征点信息。
此外，在步骤S2中，HMD控制部24将对应于特征点与对象操作面板40相同的登记操作面板的对应关系信息70的发送请求发送到服务器3。此时，HMD控制部24将表示对象操作面板40的特征点的特征点信息包含在发送请求中。接收到发送请求的服务器3根据面板信息60识别具有与对象操作面板40相同特征点(由特征点信息表示的特征点)的登记操作面板，并从数据库DB提取与该识别出的登记操作面板对应的对应关系信息70，将该提取出的对应关系信息70发送到HMD2。
如果HMD2从服务器3接收到对应关系信息70，则在步骤S3中，HMD控制部24将从服务器3接收到的对应关系信息70存储到HMD存储部25中。此外，HMD控制部24将与存储在HMD存储部25中的对应关系信息70对应的登记操作面板识别为对象操作面板40。然后，在步骤S4中，HMD控制部24根据存储在HMD存储部25中的对应关系信息70进行显示处理。
以下，对由HMD控制部24进行的显示处理进行说明。
首先，参照图5，以图2所示的对象操作面板40上显示的对象按钮B(B1～B4)为例，对存在于对象操作面板40的按钮B(以下称为对象按钮B)与按钮图像的对应关系进行说明。在以下的说明中，对按钮图像标记附图标记“100”。
在图5所示的例子中，存在于对象操作面板40的对象按钮B中的复印功能的对象按钮B1、发送功能的对象按钮B2以及存储箱功能的对象按钮B3与按钮图像100建立了对应。复印功能的对象按钮B1与按钮图像101对应，发送功能的对象按钮B2与按钮图像102对应，存储箱功能的对象按钮B3与按钮图像103对应。
另外，在图5所示的例子中，USB直接打印功能的对象按钮B4未与按钮图像100建立对应。即，被分配了与USB直接打印功能的对象按钮B4相同的功能的按钮在用户指定面板上不存在。
此外，在图5所示的例子中，存在未与对象按钮B建立对应的按钮图像100。该按钮图像100是模拟存在于用户指定面板的传真功能的按钮的图像。存在未与对象按钮B建立对应的按钮图像100是指被分配了与成为该按钮图像100的基础的用户指定面板的按钮相同功能的按钮在对象操作面板40上不存在。
下面，参照图6～图10，对HMD控制部24进行的显示处理进行说明。在以下的说明中，假定在对象操作面板40上显示图2所示的功能选择画面41。
(按钮图像的显示)
HMD控制部24进行显示处理时，根据拍摄部22拍摄到的对象操作面板40的拍摄数据，识别存在于对象操作面板40的对象按钮B。此外，HMD控制部24进行第一判断处理，所述第一判断处理将在存储在HMD存储部25中的对应关系信息70中被定义有对应的按钮图像100的对象按钮B判断为第一按钮。例如，HMD控制部24将在对象操作面板40上显示的对象按钮B(软按钮SB)作为第一判断处理的判断对象。
进行了第一判断处理的结果，当被判断为第一按钮的对象按钮B存在于对象操作面板40时，HMD控制部24进行使显示部21以与该对象按钮B重叠的方式显示与被判断为第一按钮的对象按钮B对应的按钮图像100的处理。由此，用户能够看到所述对象按钮B(第一按钮)被置换为存在于用户指定面板的按钮。
例如，假定HMD控制部24根据图5所示的对应关系信息70进行第一判断处理。在该情况下，存在于对象操作面板40的对象按钮B(成为第一判断处理的判断对象的对象按钮B)中的、被HMD控制部24判断为第一按钮的按钮成为对象按钮B1～B3。此外，用户能够看到的画面如图6所示地发生变化。在图6中，用虚线表示用户视野。
在由HMD控制部24进行显示处理之前的阶段，如图6的上图所示，用户原样看到存在于对象操作面板40的对象按钮B。然后，如果由HMD控制部24进行显示处理，则如图6的下图所示，按钮图像101以与对象按钮B1重叠的方式显示在用户的眼前，按钮图像102以与对象按钮B2重叠的方式显示在用户的眼前，按钮图像103以与对象按钮B3重叠的方式显示在用户的眼前。
(通知图像的显示)
HMD控制部24进行显示处理时进行第二判断处理，所述第二判断处理将在存储在HMD存储部25中的对应关系信息70中未被定义有对应的按钮图像100的对象按钮B，判断为第二按钮。例如，HMD控制部24将对象操作面板40上显示的对象按钮B(软按钮SB)作为第二判断处理的判断对象。
进行了第二判断处理的结果，当在对象操作面板40上存在被判断为第二按钮的对象按钮B时，HMD控制部24进行使显示部21显示通知图像200(参照图7的下图)的处理，所述通知图像200用于向用户通知不存在于用户指定面板的按钮存在于对象操作面板40。此时，显示部21以与由HMD控制部24判断为第二按钮的对象按钮B重叠的方式显示通知图像200。此外，通知图像200的显示数据预先存储在HMD存储部25中。通过显示通知图像200，用户能够看到在对象按钮B(第二按钮)上附上了通知图像200。换而言之，用户识别出存在于对象操作面板40且不存在于用户指定面板的按钮。
例如，假定HMD控制部24根据图5所示的对应关系信息70进行了第二判断处理。在该情况下，存在于对象操作面板40的对象按钮B(成为第二判断处理的判断对象的对象按钮B)中的、由HMD控制部24判断为第二按钮的按钮成为对象按钮B4。此外，用户看到的画面如图7所示发生变化。在图7中，用虚线表示用户视野。
在由HMD控制部24进行显示处理之前的阶段，如图7的上图所示，用户原样看到存在于对象操作面板40的对象按钮B。然后，如果由HMD控制部24进行显示处理，则如图7的下图所示，通知图像200以与对象按钮B4重叠的方式显示在用户的眼前。图7的下图所示的通知图像200是一个例子，通知图像200的形状和颜色没有特别的限定。
此外，也可以不进行第二判断处理。即，也可以不显示通知图像200。在图7的下图中，作为一个例子，图示了显示了按钮图像100和通知图像200的情况。
(未对应按钮图像的显示)
HMD控制部24进行显示处理时进行未对应按钮判断处理，所述未对应按钮判断处理将在存储于HMD存储部25的对应关系信息70中未被定义有对应的对象按钮B的按钮图像100判断为未对应按钮图像。例如，HMD控制部24将在对象操作面板40上显示的对象按钮B(软按钮SB)作为未对应按钮判断处理的判断对象。
进行了未对应按钮判断处理的结果，当判断为未对应按钮图像的按钮图像100存在时，HMD控制部24使显示部21以与对象按钮B不重叠的方式显示被判断为未对应按钮图像的按钮图像100。例如，显示部21将由HMD控制部24判断为未对应按钮图像的按钮图像100显示在对象操作面板40的区域外(轮廓的外侧)。由此，用户识别出在对象操作面板40上不存在与用户指定面板的按钮中的显示在对象操作面板40的区域外的按钮图像100(未对应按钮图像)对应的按钮。
例如，假定HMD控制部24根据图5所示的对应关系信息70进行未对应按钮判断处理。在该情况下，由HMD控制部24判断为未对应按钮图像的按钮成为模仿存在于用户指定面板的传真功能的按钮的按钮图像100。在以下的说明中，将该按钮图像100称为未对应按钮图像300。此外，用户看到的画面如图8所示地发生变化。在图8中，用虚线表示用户视野。
在由HMD控制部24进行显示处理之前的阶段，如图8的上图所示，用户原样看到存在于对象操作面板40的对象按钮B。然后，如果由HMD控制部24进行显示处理，则如图8的下图所示，在对象操作面板40的区域外显示未对应按钮图像300。在图8中表示了在对象操作面板40的区域外显示未对应按钮图像300的例子，但是，未对应按钮图像300的显示位置没有特别的限定，只要是不与对象按钮B重叠的位置即可。
此外，也可以不进行未对应按钮判断处理。即，也可以不显示未对应按钮图像300。作为一个例子，在图8的下图中图示了显示按钮图像100、通知图像200以及未对应按钮图像300的情况。
(功能图像的显示)
HMD存储部25存储功能图像400(参照图9下图)的显示数据，所述功能图像400表示被分配给存在于对象操作面板40的对象按钮B中的硬按钮HB(以下称为对象硬按钮HB)的功能。例如，功能图像400的显示数据由面板操作支援服务的提供者预先生成。此外，从服务器3向HMD2发送对应关系信息70时，功能图像400的显示数据也发送到HMD2。另外，HMD存储部25存储表示对象硬按钮HB与功能图像400的对应关系的信息。该信息包含在对应关系信息70中。
在此，参照图9对功能图像400的显示处理进行说明。在此，假定存在分别与主画面按钮和系统按钮对应的功能图像400。此外，在图9中对主画面按钮和系统按钮分别标记附图标记“HB1”、“HB2”。另外，对与主画面按钮HB1对应的功能图像400标记附图标记“401”，对与系统按钮HB2对应的功能图像400标记附图标记“402”。
在分别与主画面按钮HB1和系统按钮HB2对应的功能图像401、402存在的情况下，HMD控制部24使显示部21以与主画面按钮HB1重叠的方式显示功能图像401，使显示部21以与系统按钮HB2重叠的方式显示功能图像402。功能图像400的形状和颜色没有特定的限定。例如，将用文本表现对应的功能的内容的文本图像作为功能图像400。或者，也可以预先规定表现对应的功能的内容的标记，并将该标记的图像作为功能图像400(参照图10)。
此外，也可以不进行功能图像400的显示。作为一个例子，在图9和图10中图示了显示按钮图像100、通知图像200、未对应图像300以及功能图像400的情况。
(画面跳转后的显示)
HMD控制部24进行了使显示部21显示按钮图像100等的处理以后，判断对象操作面板40是否进行了画面跳转。例如，HMD控制部24在显示按钮图像100期间，使拍摄部22进行拍摄，根据通过该拍摄得到的拍摄数据，判断对象操作面板40是否进行了画面跳转。或者，HMD控制部24与图像形成装置4(对象操作面板40)通信，根据如果对象操作面板40进行画面跳转则从图像形成装置4向HMD2发送的画面跳转通知，判断对象操作面板40是否进行了画面跳转。
当判断为对象操作面板40进行了画面跳转时，HMD控制部24暂时使显示部21进行的按钮图像100以及通知图像200的显示停止。此外，HMD控制部24再次进行显示处理。
例如，假定对象操作面板40的显示画面从功能选择画面41(参照图2)跳转到项目选择画面42(参照图3)。在该情况下，HMD控制部24将存在于项目选择画面42的对象按钮B(软按钮SB)作为对象，再次进行第一判断处理和第二判断处理。此外，在项目选择画面42上存在被判断为第一按钮的对象按钮B时，HMD控制部24使显示部21以与该对象按钮B重叠的方式显示按钮图像100。另外，在项目选择画面42上存在被判断为第二按钮的对象按钮B时，HMD控制部24使显示部21以与该对象按钮B重叠的方式显示通知图像200。
此外，当对象操作面板40进行了画面跳转时，不停止并继续进行未对应按钮图像300的显示。同样，也不停止并继续进行功能图像400的显示。但是，未对应按钮图像300和功能图像400的各显示也可以都暂时停止，在显示按钮图像100和通知图像200时，重新显示未对应按钮图像300和功能图像400。
(显示尺寸的变更)
在按钮图像100显示期间，HMD控制部24使拍摄部22进行拍摄。此外，根据通过拍摄部22的拍摄得到的拍摄数据，判断是否进行了被预先规定为尺寸变更操作的手势操作(对按钮图像100的虚拟的操作)。其结果，当判断为进行了尺寸变更操作时，HMD控制部24变更成为尺寸变更操作的操作对象的按钮图像100的显示尺寸。
虽然没有特别限定，但是，如果判断为对按钮图像100进行了相当于放大操作的手势，则HMD控制部24放大按钮图像100的显示尺寸，使其比当前的显示尺寸大。另一方面，如果判断为对按钮图像100进行了相当于缩小操作的手势，则HMD控制部24缩小按钮图像100的显示尺寸，使其比当前的显示尺寸小。例如，按钮图像100的显示尺寸能够三级地进行变更。
在此，参照图11，以按钮图像101成为尺寸变更操作的操作对象的情况为例进行说明。如果进行一次作为尺寸变更操作的放大操作，则HMD控制部24将按钮图像101的显示尺寸放大一级(从图11的上图变化为下图)。另外，如果进行一次作为尺寸变更操作的缩小操作，则HMD控制部24将按钮图像101的显示尺寸缩小一级(从图11的下图变化为上图)。此外，即使对显示尺寸已经变为最大尺寸的按钮图像100进行放大操作，按钮图像100的显示尺寸也不会改变，即使对显示尺寸已经变为最小尺寸的按钮图像100进行缩小操作，按钮图像100的显示尺寸也不会改变。
此外，在对通知图像200、未对应按钮图像300以及功能图像400进行了尺寸变更操作的情况下，只要改变成为尺寸变更操作的操作对象的图像的显示尺寸即可。或者，也可以将对通知图像200、未对应按钮图像300以及功能图像400的尺寸变更操作设为无效。
(处理的执行指示/取消指示)
在按钮图像100显示期间，HMD控制部24使拍摄部22进行拍摄。此外，根据通过拍摄部22的拍摄得到的拍摄数据，判断是否进行了被预先规定为按钮选择操作的手势操作(对按钮图像100的虚拟的操作)。虽然没有特别限定，但是将相当于点击操作的手势作为按钮选择操作。
当检测到按钮选择操作时，HMD控制部24将处理的执行指示发送到图像形成装置4(对象操作面板40)，所述处理与被分配给与在按钮选择操作中被选择了的按钮图像100对应的对象按钮B的功能有关。如果图像形成装置4(对象操作面板40)从HMD2接收到处理的执行指示，则执行从HMD2指示的处理。
作为一个例子，假定对与用于接收功能选择操作的对象按钮B1对应的按钮图像101(参照图6～图10)进行了按钮选择操作。在此，对象按钮B1是用于使对象操作面板40的画面从功能选择画面41(参照图2)跳转到项目选择画面42(参照图3)的按钮。因此，如果检测到对按钮图像101的按钮选择操作，则HMD控制部24将从功能选择画面41向项目选择画面42跳转的画面跳转指示发送到图像形成装置4(对象操作面板40)。由此，对象操作面板40使显示画面从功能选择画面41跳转到项目选择画面42。
作为其它例子，虽然未图示，但是假定用于接收复印作业的执行指示的对象按钮B存在于对象操作面板40，显示有与该对象按钮B对应的按钮图像100。此外，假定对该按钮图像100进行了按钮选择操作。在该情况下，首先，HMD控制部24将扫描作业的执行指示发送到图像形成装置4，使图像形成装置4进行原稿的扫描，从图像形成装置4获得通过图像形成装置4扫描原稿得到的原稿的图像数据。然后，HMD控制部24将原稿的图像数据与印刷作业的执行指示一起发送到图像形成装置4，让图像形成装置4进行将基于原稿的图像数据的图像印刷到纸上的动作。
此外，即使在对功能图像400进行了按钮选择操作的情况下，也可以向图像形成装置4(对象操作面板40)发送处理的执行指示，所述处理与被分配给与通过按钮选择操作选择了的功能图像400对应的对象按钮B(硬按钮HB)的功能有关。在该构成中，例如，当对象操作面板40显示项目选择画面42时，如果对与主画面按钮HB1对应的功能图像401(参照图9)进行了按钮选择操作，则将从项目选择画面42向功能选择画面41(主画面)跳转的画面跳转指示从HMD2发送到图像形成装置4(对象操作面板40)。由此，对象操作面板40使显示画面从项目选择画面42跳转到功能选择画面41。
在此，如图8所示，由于传真功能的按钮不存在于对象操作面板40但是存在于用户指定面板，所以与传真功能的按钮对应的按钮图像100被显示为未对应按钮图像300。但是，例如，在传真功能的按钮方式是软按钮的情况下，尽管图像形成装置4搭载了传真功能，但是有时故意停止传真功能的按钮的显示(成为对象操作面板40上不存在传真功能的按钮的状态)。
在该情况下，HMD控制部24不使对与传真功能的按钮对应的未对应按钮图像300的按钮选择操作无效。即，当检测到对与传真功能的按钮对应的未对应按钮图像300的按钮选择操作时，HMD控制部24将与传真功能有关的处理的执行指示发送到图像形成装置4(对象操作面板40)。例如，对象操作面板40显示传真功能的设定画面。
另外，有时从HMD2向图像形成装置4(对象操作面板40)发送取消指示，所述取消指示取消图像形成装置4要进行的处理。例如，当放大某个按钮图像100的显示尺寸时，为了避免所述某个按钮图像100与另外的按钮图像100重叠，有时移动另外的按钮图像100。其结果，有时被移动了的按钮图像100与和该按钮图像100所对应的对象按钮B不同的对象按钮B重叠。
例如，在功能选择画面41中，如果与发送功能的对象按钮B2对应的按钮图像102与存储箱功能的对象按钮B3重叠，则想要选择发送功能的用户有可能不小心触碰与按钮图像102重叠的对象按钮B3。在该情况下，违反用户的意图，显示与存储箱功能有关的画面(未图示)。
因此，在该情况下，HMD控制部24将取消指示发送到图像形成装置4(对象操作面板40)。如果图像形成装置4接收到取消指示，则对象操作面板40不进行画面跳转，继续进行功能选择画面41的显示。此外，此时，也可以从HMD2向图像形成装置4(对象操作面板40)发送从功能选择画面41向与发送功能有关的画面(未图示)跳转的画面跳转指示。
如上所述，本实施方式的显示系统1所包含的HMD2(显示装置)包括：显示部21，一边使用户视觉辨认由用户实际操作的对象操作面板40一边显示图像；拍摄部22，拍摄对象操作面板40，输出对象操作面板40的拍摄数据；HMD存储部25(存储部)，存储模拟存在于用户指定面板的按钮的按钮图像100的显示数据，并且存储定义了按钮图像100与存在于对象操作面板40的对象按钮B的对应关系的对应关系信息70；以及HMD控制部24(控制部)，进行显示处理，所述显示处理根据对象操作面板40的拍摄数据，识别对象按钮B，并且将在对应关系信息70中被定义有对应的按钮图像100的对象按钮B判断为第一按钮，使显示部21以与该对象按钮B重叠的方式显示与判断为第一按钮的对象按钮B对应的按钮图像100。
在本实施方式中，以与对象操作面板40的对象按钮B(第一按钮)重叠的方式显示按钮图像100。在此，按钮图像100是模拟存在于用户指定面板的按钮的图像。因此，如果将用户用惯的操作面板指定为用户指定面板，则用户能够看到对象按钮B(第一按钮)被置换为用惯的按钮。由此，能够提高对象操作面板40的操作性。另外，从用户来看，即使对象操作面板40的制造商、规格与以前使用过的操作面板不同，也无需将被分配给对象按钮B的功能与对象按钮B的形状(也包含图标的图案)对应地重新记住，便利性好。
另外，在本实施方式中，如上所述，HMD控制部24进行显示处理时，将在对应关系信息70中未被定义有对应的按钮图像100的对象按钮B判断为第二按钮，并使显示部21以与被判断为第二按钮的对象按钮B重叠的方式显示通知图像200。由此，能够使用户识别存在于对象操作面板40且不存在于用户指定面板的按钮。
另外，在本实施方式中，如上所述，HMD控制部24进行显示处理时，将在对应关系信息70中未被定义有对应的对象按钮B的按钮图像100判断为未对应按钮图像，并使显示部21以与对象按钮B不重叠的方式显示被判断为未对应按钮图像的按钮图像100(300)。由此，能够使用户识别用户指定面板的按钮中的不存在于对象操作面板40的按钮。
另外，在本实施方式中，如上所述，HMD控制部24进行显示处理时，使显示部21以与对象硬按钮HB重叠的方式显示与对象硬按钮HB对应的功能图像400。由此，能够使用户识别分配给对象硬按钮HB的功能。
另外，在本实施方式中，如上所述，在使显示部21显示了按钮图像100以后对象操作面板40进行了画面跳转时，HMD控制部24再次进行显示处理。由此，在对象操作面板40跳转画面后，用户也能够看到对象按钮B(第一按钮)被置换为用惯的按钮。
另外，在本实施方式中，如上所述，HMD控制部24在按钮图像100显示期间，使拍摄部22进行拍摄，根据按钮图像100显示期间通过拍摄部22的拍摄得到的拍摄数据，判断是否进行了被预先规定为尺寸变更操作的手势操作，当判断为进行了尺寸变更操作时，变更按钮图像100的显示尺寸。由此，能够任意地调整按钮图像100的显示尺寸，因此能够提高用户的便利性。
另外，在本实施方式中，如上所述，HMD控制部24在按钮图像100显示期间，使拍摄部22进行拍摄，根据在按钮图像100显示期间通过拍摄部22的拍摄得到的拍摄数据，判断是否进行了被预先规定为按钮选择操作的手势操作，当判断为进行了按钮选择操作时，向图像形成装置4(对象操作面板40)发送处理的执行指示，所述处理与被分配给与在按钮选择操作中被选择了的按钮图像100对应的对象按钮B的功能有关。由此，由于不需要实际上操作对象操作面板40，所以能够提高用户的便利性。
另外，在本实施方式中，如上所述，服务器3存储表示多种登记操作面板的各特征点的面板信息60，并且按多种登记操作面板的每一种存储对应关系信息70。此外，HMD控制部24从对象操作面板40的拍摄数据提取对象操作面板40的特征点，并且将与多种登记操作面板中的、特征点与对象操作面板40相同的登记操作面板对应的对应关系信息的发送请求发送到服务器，根据从服务器接收到的对应关系信息70，进行显示处理。由此，即使用户未识别对象操作面板40的制造商、规格(即使未向HMD2输入与对象操作面板40有关的信息)，也能够自动地根据与对象操作面板40对应的对应关系信息70进行显示处理，因此对用户而言，便利性好。
本发明的实施方式的所有内容均为例示性的说明，本发明并不限于此。本发明的范围并不由所述实施方式的说明来表示，而是由权利要求来表示，此外包含与权利要求相当的内容和在权利要求范围内的所有变形。
例如，在所述实施方式中，将面板信息60和数据库DB存储在服务器3中，但是，本发明不限于此，也可以将面板信息60和数据库DB预先存储在HMD存储部25中，并省略服务器3。
在该情况下，HMD控制部24提取对象操作面板40的特征点后，根据面板信息60，识别具有与对象操作面板40相同特征点的登记操作面板，并且从数据库DB提取与该识别出的登记操作面板对应的对应关系信息70，根据该提取的对应关系信息70进行显示处理。即，HMD控制部24进行服务器3进行的处理。
另外，在所述实施方式中，表示了使用HMD2作为“显示装置”的例子，也可以使用智能手机或平板终端代替HMD2。
另外，在本实施方式中，作为按钮图像100，显示模拟了软按钮SB的图像，但是除此之外，也可以显示模拟了硬按钮HB的按钮图像。

Claims (9)

1.一种显示装置，
所述显示装置包括：
显示部，一边使用户视觉辨认对象操作面板一边显示图像，所述对象操作面板是由用户实际操作的操作面板；
拍摄部，拍摄所述对象操作面板，并输出所述对象操作面板的拍摄数据；
存储部，存储模拟了存在于用户指定面板的按钮的按钮图像的显示数据，并且存储定义了所述按钮图像和对象按钮的对应关系的对应关系信息，所述用户指定面板是用户指定的操作面板，所述对象按钮是存在于所述对象操作面板的按钮；以及
控制部，进行显示处理，所述显示处理根据所述对象操作面板的拍摄数据，识别所述对象按钮，并且将在所述对应关系信息中被定义有对应的所述按钮图像的所述对象按钮判断为第一按钮，并使所述显示部以与所述第一按钮重叠的方式显示与所述第一按钮对应的所述按钮图像，
所述显示装置的特征在于，
所述存储部存储通知图像的显示数据，所述通知图像用于向用户通知不存在于所述用户指定面板的按钮存在于所述对象操作面板，
所述控制部进行所述显示处理时，将在所述对应关系信息中未被定义有对应的所述按钮图像的所述对象按钮判断为第二按钮，并使所述显示部以与所述第二按钮重叠的方式显示所述通知图像。
2.根据权利要求1所述的显示装置，其特征在于，
所述存储部，存储功能图像的显示数据，并且存储包含定义了所述功能图像和对象硬按钮的对应关系的信息的所述对应关系信息，所述功能图像表示分配给所述对象硬按钮的功能，所述对象硬按钮是在所述对象操作面板上被设置为硬按钮的所述对象按钮，
所述控制部进行所述显示处理时，使所述显示部以与所述对象硬按钮重叠的方式显示与所述对象硬按钮对应的所述功能图像。
3.根据权利要求1或2所述的显示装置，其特征在于，
所述控制部在使所述显示部显示所述按钮图像以后，当所述对象操作面板进行了画面跳转时，再次进行所述显示处理。
4.根据权利要求1或2所述的显示装置，其特征在于，
所述控制部在所述按钮图像显示期间使所述拍摄部进行拍摄，根据在所述按钮图像显示期间通过所述拍摄部的拍摄得到的拍摄数据，判断是否进行了被预先规定为尺寸变更操作的手势操作，当判断为进行了所述尺寸变更操作时，变更所述按钮图像的显示尺寸。
5.根据权利要求1或2所述的显示装置，其特征在于，
所述控制部在所述按钮图像显示期间使所述拍摄部进行拍摄，根据在所述按钮图像显示期间通过所述拍摄部的拍摄得到拍摄数据，判断是否进行了被预先规定为按钮选择操作的手势操作，当判断为进行了所述按钮选择操作时，将处理的执行指示发送到所述对象操作面板，所述处理与被分配给对应于在所述按钮选择操作中被选择了的所述按钮图像的所述对象按钮的功能有关。
6.一种显示系统，其特征在于，
所述显示系统包括：
权利要求1～5中任意一项所述的显示装置；以及
服务器，与所述显示装置可通信地连接，存储表示多种登记操作面板的各特征点的面板信息，并且按所述多种登记操作面板的每一种存储所述对应关系信息，所述多种登记操作面板是分别被预先登记了的操作面板，
所述控制部从所述对象操作面板的拍摄数据提取所述对象操作面板的特征点，并且将与所述多种登记操作面板中的、特征点与所述对象操作面板相同的登记操作面板对应的所述对应关系信息的发送请求发送到所述服务器，根据从所述服务器接收到的所述对应关系信息，进行所述显示处理。
7.一种显示装置，
所述显示装置包括：
显示部，一边使用户视觉辨认对象操作面板一边显示图像，所述对象操作面板是由用户实际操作的操作面板；
拍摄部，拍摄所述对象操作面板，并输出所述对象操作面板的拍摄数据；
存储部，存储模拟了存在于用户指定面板的按钮的按钮图像的显示数据，并且存储定义了所述按钮图像和对象按钮的对应关系的对应关系信息，所述用户指定面板是用户指定的操作面板，所述对象按钮是存在于所述对象操作面板的按钮；以及
控制部，进行显示处理，所述显示处理根据所述对象操作面板的拍摄数据，识别所述对象按钮，并且将在所述对应关系信息中被定义有对应的所述按钮图像的所述对象按钮判断为第一按钮，并使所述显示部以与所述第一按钮重叠的方式显示与所述第一按钮对应的所述按钮图像，
所述显示装置的特征在于，
所述控制部进行所述显示处理时，将在所述对应关系信息中未被定义有对应的所述对象按钮的所述按钮图像判断为未对应按钮图像，并使所述显示部以与所述对象按钮不重叠的方式显示所述未对应按钮图像。
8.一种显示装置，
所述显示装置包括：
显示部，一边使用户视觉辨认对象操作面板一边显示图像，所述对象操作面板是由用户实际操作的操作面板；
拍摄部，拍摄所述对象操作面板，并输出所述对象操作面板的拍摄数据；
存储部，存储模拟了存在于用户指定面板的按钮的按钮图像的显示数据，并且存储定义了所述按钮图像和对象按钮的对应关系的对应关系信息，所述用户指定面板是用户指定的操作面板，所述对象按钮是存在于所述对象操作面板的按钮；以及
控制部，进行显示处理，所述显示处理根据所述对象操作面板的拍摄数据，识别所述对象按钮，并且将在所述对应关系信息中被定义有对应的所述按钮图像的所述对象按钮判断为第一按钮，并使所述显示部以与所述第一按钮重叠的方式显示与所述第一按钮对应的所述按钮图像，
所述显示装置的特征在于，
所述存储部存储表示多种登记操作面板的各特征点的面板信息，并按所述多种登记操作面板的每一种存储所述对应关系信息，所述多种登记操作面板是分别被预先登记了的操作面板，
所述控制部从所述对象操作面板的拍摄数据提取所述对象操作面板的特征点，并且根据所述面板信息，识别所述多种登记操作面板中具有与所述对象操作面板相同特征点的登记操作面板，根据与识别出的所述登记操作面板对应的所述对应关系信息，进行所述显示处理。
9.一种显示系统，所述显示系统包括：
显示装置，所述显示装置包括：
显示部，一边使用户视觉辨认对象操作面板一边显示图像，所述对象操作面板是由用户实际操作的操作面板；
拍摄部，拍摄所述对象操作面板，并输出所述对象操作面板的拍摄数据；
存储部，存储模拟了存在于用户指定面板的按钮的按钮图像的显示数据，并且存储定义了所述按钮图像和对象按钮的对应关系的对应关系信息，所述用户指定面板是用户指定的操作面板，所述对象按钮是存在于所述对象操作面板的按钮；以及
控制部，进行显示处理，所述显示处理根据所述对象操作面板的拍摄数据，识别所述对象按钮，并且将在所述对应关系信息中被定义有对应的所述按钮图像的所述对象按钮判断为第一按钮，并使所述显示部以与所述第一按钮重叠的方式显示与所述第一按钮对应的所述按钮图像，
所述显示系统的特征在于，还包括：
服务器，与所述显示装置可通信地连接，存储表示多种登记操作面板的各特征点的面板信息，并且按所述多种登记操作面板的每一种存储所述对应关系信息，所述多种登记操作面板是分别被预先登记了的操作面板，
所述控制部从所述对象操作面板的拍摄数据提取所述对象操作面板的特征点，并且将与所述多种登记操作面板中的、特征点与所述对象操作面板相同的登记操作面板对应的所述对应关系信息的发送请求发送到所述服务器，根据从所述服务器接收到的所述对应关系信息，进行所述显示处理。
CN201810191361.7A 2017-03-23 2018-03-08 显示装置和显示系统 Active CN108632483B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-057284 2017-03-23
JP2017057284A JP6631573B2 (ja) 2017-03-23 2017-03-23 表示装置および表示システム

Publications (2)

Publication Number Publication Date
CN108632483A CN108632483A (zh) 2018-10-09
CN108632483B true CN108632483B (zh) 2019-11-15

Family

ID=63581195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810191361.7A Active CN108632483B (zh) 2017-03-23 2018-03-08 显示装置和显示系统

Country Status (3)

Country Link
US (1) US10530945B2 (zh)
JP (1) JP6631573B2 (zh)
CN (1) CN108632483B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6859819B2 (ja) * 2017-04-12 2021-04-14 富士ゼロックス株式会社 検出装置および画像形成装置
JP2020057298A (ja) * 2018-10-04 2020-04-09 東芝インフォメーションシステムズ株式会社 判定装置、判定方法及び判定プログラム
JP7314528B2 (ja) * 2019-02-26 2023-07-26 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103913842A (zh) * 2013-01-07 2014-07-09 精工爱普生株式会社 显示装置以及显示装置的控制方法
CN106383652A (zh) * 2016-08-31 2017-02-08 北京极维客科技有限公司 一种虚拟输入方法及系统装置
CN106527938A (zh) * 2016-10-26 2017-03-22 北京小米移动软件有限公司 应用程序的操作方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4879803B2 (ja) * 2005-04-08 2012-02-22 パナソニック株式会社 地図情報更新装置および地図情報更新方法
CN101699546B (zh) 2005-04-08 2012-05-09 松下电器产业株式会社 地图信息更新装置及地图信息更新方法
JP2007180951A (ja) * 2005-12-28 2007-07-12 Sanyo Electric Co Ltd 携帯電話
JP2008263389A (ja) * 2007-04-11 2008-10-30 Sony Corp 画像処理装置、画像表示装置、これらにおける処理方法、プログラムおよび記録媒体
JP2012203879A (ja) * 2011-03-28 2012-10-22 Ntt Docomo Inc 表示装置、表示制御方法及びプログラム
JP5812758B2 (ja) * 2011-08-22 2015-11-17 キヤノン株式会社 情報処理装置及びその制御方法、並びにプログラム
US9665252B2 (en) * 2012-04-18 2017-05-30 Sony Corporation Information processing apparatus and program
US9378592B2 (en) * 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9335547B2 (en) * 2013-03-25 2016-05-10 Seiko Epson Corporation Head-mounted display device and method of controlling head-mounted display device
JP2015118556A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション コントロールデバイスのための拡張現実オーバーレイ
US9550419B2 (en) * 2014-01-21 2017-01-24 Honda Motor Co., Ltd. System and method for providing an augmented reality vehicle interface
US10146562B2 (en) * 2014-09-30 2018-12-04 Varonis Systems, Ltd. Unlimited icon overlays
GB2532463B (en) * 2014-11-19 2021-05-26 Bae Systems Plc Interactive vehicle control system
JP2016110379A (ja) 2014-12-05 2016-06-20 コニカミノルタ株式会社 操作入力システム
US10921896B2 (en) * 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
US20170052701A1 (en) * 2015-08-19 2017-02-23 Vrideo Dynamic virtual keyboard graphical user interface
US10388075B2 (en) * 2016-11-08 2019-08-20 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103913842A (zh) * 2013-01-07 2014-07-09 精工爱普生株式会社 显示装置以及显示装置的控制方法
CN106383652A (zh) * 2016-08-31 2017-02-08 北京极维客科技有限公司 一种虚拟输入方法及系统装置
CN106527938A (zh) * 2016-10-26 2017-03-22 北京小米移动软件有限公司 应用程序的操作方法和装置

Also Published As

Publication number Publication date
CN108632483A (zh) 2018-10-09
US10530945B2 (en) 2020-01-07
US20180278769A1 (en) 2018-09-27
JP6631573B2 (ja) 2020-01-15
JP2018160120A (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
CN108632483B (zh) 显示装置和显示系统
US11159687B2 (en) Information processing apparatus and non-transitory computer readable medium
CN103176690B (zh) 显示控制设备、显示控制方法和程序
CN104583984B (zh) 设备控制系统以及设备控制系统的控制方法
CN103997584B (zh) 信息处理终端、信息处理装置、信息处理系统以及信息处理方法
JP2018125686A5 (zh)
CN108171095A (zh) 一种扫描方法、装置及终端
JP6179653B1 (ja) 情報処理装置及びプログラム
CN104158996B (zh) 图像处理协作系统、便携终端装置、图像处理协作方法
CN106416218B (zh) 图像处理装置、摄像装置、图像处理方法以及存储介质
CN111857532B (zh) 虚拟键盘显示方法、装置及电子设备
CN103257879A (zh) 利用屏幕截图安装软件和配置软件的方法
US10044884B2 (en) Information processing apparatus and non-transitory computer readable medium
CN108733328A (zh) 信息处理设备和信息处理方法
CN107408173A (zh) 图像处理设备、认证方法和存储认证程序的非瞬态存储介质
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
US10382634B2 (en) Information processing apparatus and non-transitory computer readable medium configured to generate and change a display menu
JP6269006B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US20190244554A1 (en) Information processing apparatus and non-transitory computer readable medium
CN106257408A (zh) 操作显示系统、操作显示装置以及操作显示方法
US9258442B2 (en) Image processing system, image processing apparatus and portable terminal configured to display an effect of performing image adjustment processing to image data in the image processing apparatus
CN105204858B (zh) 一种自定义图标的系统及方法
CN102970453B (zh) 能够显示实际尺寸预览的图像形成设备及其控制方法
US11310376B2 (en) Image processing apparatus for providing notification of a function selected using an aerial image
CN106406695A (zh) 一种长按拍照系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant