CN110462690B - 图像显示系统 - Google Patents

图像显示系统 Download PDF

Info

Publication number
CN110462690B
CN110462690B CN201780089124.3A CN201780089124A CN110462690B CN 110462690 B CN110462690 B CN 110462690B CN 201780089124 A CN201780089124 A CN 201780089124A CN 110462690 B CN110462690 B CN 110462690B
Authority
CN
China
Prior art keywords
image
display
panel
finger
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780089124.3A
Other languages
English (en)
Other versions
CN110462690A (zh
Inventor
中村康博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suncorporation
Original Assignee
Sun Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Electronics Co Ltd filed Critical Sun Electronics Co Ltd
Publication of CN110462690A publication Critical patent/CN110462690A/zh
Application granted granted Critical
Publication of CN110462690B publication Critical patent/CN110462690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

图像显示系统具有操作装置和图像显示装置。操作装置将示出用户的第1手指相对于操作装置的受理部的第1相对位置的第1位置信息、和示出输入到受理部的操作的操作信息发送至图像显示装置。图像显示装置从操作装置获取第1位置信息和操作信息，基于表示特定范围内的拍摄图像的拍摄图像数据和第1位置信息所示出的第1相对位置，生成表示显示用图像的显示用图像数据。在显示用图像中，在特定范围内的与受理部的位置对应的范围内配置面板图像，并且与第1相对位置对应的第1范围内的面板图像的可见性比第1范围外的面板图像的可见性低。图像显示装置在显示有显示用图像的状态下获取了示出受理特定操作的输入的特定操作信息的情况下，执行特定处理。

Description

图像显示系统
技术领域
本说明书中公开的技术涉及一种用于显示表示操作面板的面板图像的图像显示系统。
背景技术
例如，在日本专利第4574323号公报中公开了在包含触摸面板的现实空间图像上重叠地显示表示菜单的虚拟空间图像的复合现实感提示系统。在此，在现实空间图像包含操作触摸面板的用户的手指等的肤色的区域的情况下，在该区域不重叠虚拟空间的图像。
发明内容
发明要解决的问题
在上述的技术中，基于颜色来检测上述区域，因此为了防止误检测，在系统中产生设计上的限制。具体来说，例如触摸面板的颜色被限制为与用户的手指等颜色(即肤色)差异较大的颜色。另外，例如在用户佩戴手套等而导致手指的外观的颜色为与肤色不同的颜色的情况下，有可能无法检测上述区域。因此，对于需要佩戴手套的作业，很难应用上述系统。
在本说明书中公开了一种技术，即：在对与用户的手指的位置对应的范围的可见性降低了的图像进行显示的图像显示系统中，减少图像显示系统在设计上的限制。
由本说明书公开的图像显示系统可以是具有操作装置和以能够通信的方式与上述操作装置进行连接的图像显示装置。上述操作装置可以具有：主体；受理部，其在上述主体的表面露出，并受理由用户的手指进行的操作的输入；检测部，其检测上述用户的第1手指相对于上述受理部的第1相对位置；操作侧控制部，其将示出上述检测部检测的上述第1相对位置的第1位置信息、和示从输入至上述受理部的上述操作的操作信息发送到上述图像显示装置。上述图像显示装置可以具有：框架，其能够佩戴在上述用户的头部；显示部，其设置于上述框架，配置在与佩戴上述框架的上述用户的眼睛相向的位置；相机，其拍摄上述用户的视野范围对应的特定范围；以及显示侧控制部。上述显示侧控制部可以具有：获取部，其从上述操作装置获取上述第1位置信息和上述操作信息；生成部，其基于表示上述特定范围内的拍摄图像的拍摄图像数据、和所获取的上述第1位置信息所示出的上述第1相对位置，生成表示显示用图像的显示用图像数据，所述显示用图像包含示出用于输入特定操作的操作面板的面板图像，在上述显示用图像中，在上述特定范围内的与上述受理部的位置对应的范围配置上述面板图像，并且与上述第1手指的上述第1相对位置对应的第1范围内的上述面板图像的可见性比上述第1范围外的上述面板图像的可见性低；显示控制部，其使上述显示部显示由上述显示用图像数据表示的上述显示用图像；以及特定处理执行部，其在显示有上述显示用图像的状态下获取了示出在上述受理部受理了上述特定操作的输入的特定操作信息的情况下，执行与上述特定操作对应的特定处理。
根据上述的结构，图像显示装置基于拍摄图像数据和被操作装置检测的第1手指的第1相对位置来对显示用图像进行显示。在显示用图像中，与第1相对位置对应的第1范围内的面板图像的可见性比第1范围外的面板图像的可见性低。在可见性较低的部分，用户能够透过该部分看到自己的第1手指。用户能够一边观看面板图像一边掌握自己的第1手指的位置。第1手指的第1相对位置不是基于第1手指的颜色得到的，而是通过操作装置的检测部进行检测而得到的，所以操作装置的受理部的颜色并不被限制。另外，第1手指的外观的颜色可以为任何颜色，因此对于例如需要佩戴手套的作业，也能够采用本申请的图像显示系统。即，在对与用户的手指的位置对应的范围的可见性低下了图像进行显示的图像显示系统中，能够减少图像显示系统在设计上的限制。
上述检测部可以进一步检测上述用户的第2手指相对于上述受理部的第2相对位置。上述操作侧控制部可以进一步将示出上述检测部检测的上述第2相对位置的第2位置信息发送至上述图像显示装置。上述获取部可以进一步从上述操作装置获取上述第2位置信息。上述生成部基于上述拍摄图像数据、上述第1相对位置和所获取的上述第2位置信息所示出的上述第2相对位置来生成上述显示用图像数据。在上述显示用图像中，上述第1范围内和与上述第2手指的第2相对位置对应的第2范围内的上述面板图像的可见性可以比上述第1范围和上述第2范围的双方的范围之外的上述面板图像的可见性低。
根据该结构，观看显示用图像的用户能够容易地意识到显示用图像内的第1手指和第2手指的位置。用户能够一边掌握多根手指的各自的位置一边进行操作。因此，提高了在用户对受理部进行特定操作时的操作性。
上述检测部可以进一步检测上述用户的第2手指相对于上述受理部的第2相对位置。上述操作侧控制部可以进一步将示出上述检测部检测的上述第2相对位置的第2位置信息发送至上述图像显示装置。上述获取部可以进一步从上述操作装置获取上述第2位置信息。上述显示侧控制部可以还具有手指确定部，该手指确定部基于上述第1位置信息和上述第2位置信息，确定上述第1手指和上述第2手指中的被用于操作的可能性更高的上述第1手指。在上述显示用图像中，与未被确定的上述第2手指的上述第2相对位置对应的第2范围内的上述面板图像的可见性可以与上述第1范围和上述第2范围双方的范围之外的上述面板图像的可见性相同。
根据该结构，在显示用图像中，与被用于操作的可能性高的第1手指对应的第1范围内的可见性降低，与第2手指对应的第2范围内的可见性没有降低。因此，用户能够不管用户的各手指相对于操作装置的位置关系如何，都能够一边看到面板图像中的与被用于操作的可能性高的第1手指对应的第1范围以外的范围，一边进行操作。因此，能抑制由于用户的各手指造成的面板图像可见性过低的情况，提高了用户的操作性。
上述显示部可以由透光性的构件构成。上述生成部可以生成满足以下(a)～(d)中的至少1个条件的上述显示用图像数据，(a)上述第1范围内的上述面板图像的明度比上述第1范围外的上述面板图像的明度低；(b)上述第1范围内的上述面板图像的显示颜色为黑色单色；(c)上述第1范围内的上述面板图像的彩度比上述第1范围外的上述面板图像的彩度低；(d)上述第1范围内的上述面板图像被修剪。
上述面板图像可以包含与上述操作面板有关的1个以上的文字图像。在上述显示用图像中，上述1个以上的文字图像可以无论是否配置在上述第1范围内都以能够看到的方式显示。
根据该结构，观看显示用图像的用户无论第1手指的位置如何都能够地看到面板图像内的1个以上的文字图像，因此操作性提高。
在此，“文字图像”内的文字除了平假名、片假名、汉字、拉丁字母、数字、以及符号等以外还包括图画文字(例如象形图)。
上述操作面板可以包含相邻配置的多个按钮。上述面板图像可以包含与上述多个按钮对应的多个按钮图像。
在上述显示用图像中，示出上述多个按钮中的配置在上述第1相对位置的特定按钮的图像的可见性可以比示出与上述特定按钮相邻的按钮的图像的可见性低。
根据该结构，观看显示用图像的用户基于示出各按钮的图像的可见性的差异，容易地意识到显示用图像内的第1手指的位置，因此提高了用户的操作性。
上述特定操作可以包含用于对上述多个按钮中的特定按钮进行选择的操作。上述生成部在显示有上述显示用图像的状态下获取了上述特定操作信息的情况下，变更上述显示用图像数据，生成表示变更后的显示用图像的变更后显示用图像数据。可以在上述变更后显示用图像中，变更了示出上述特定按钮的图像的显示方式。
根据该结构，用户能够容易地识别操作了多个按钮中哪个按钮。
在此，“图像的显示方式”包含图像的颜色、图像中包含的文字的大小、形状等。
上述操作装置可以还具有设置在上述主体和上述受理部中的至少一方的表面的标记。上述显示侧控制部可以还具有位置确定部，其在上述拍摄图像包含示出标记的标记图像的情况下，基于上述拍摄图像中的上述标记图像的位置和姿势，确定上述特定范围内的上述受理部的位置和姿势。上述生成部可以在上述拍摄图像包含上述标记图像的情况下，基于上述拍摄图像数据、上述第1相对位置和所确定的上述受理部的位置和姿势，生成上述显示用图像数据。
根据该结构，图像显示系统能够以符合操作装置的受理部的位置和姿势的方式配置并显示面板图像。
上述特定处理执行部即使在显示有上述显示用图像的状态下获取了上述特定操作信息的情况下，在上述拍摄图像不包含上述标记图像的情况下不执行上述特定处理。
在拍摄图像不包含标记图像的情况下，无法基于标记图像的位置和姿势来确定受理部的位置和姿势，因此有可能无法在与操作装置的受理部的位置对应的范围内适当地配置面板图像。即，可能面板图像相对于受理部偏离地配置。根据该结构，在拍摄图像不包含标记图像的情况下，特定操作的输入变为无效，因此能够抑制错误操作。
用于实现上述的图像显示系统的控制方法、计算机程序以及存储该计算机程序的计算机可读介质是新型且有用的。
附图说明
图1表示图像显示系统的概要图。
图2表示操作装置的框图。
图3表示图像显示装置的框图。
图4表示操作装置的控制部执行的处理的流程图。
图5表示检测2根手指的相对位置的情况的图。
图6表示与图5对应的俯视图。
图7表示图像显示装置的控制部执行的显示处理的流程图。
图8表示拍摄图像的一例。
图9表示显示用图像的一例。
图10表示图9的放大图。
图11表示检测1根手指的情况下的显示用画面。
图12表示与图11对应的1根手指。
图13表示检测2根手指的情况下的显示用图像。
图14表示检测3根手指的情况下的显示用图像。
图15表示与图14对应的3根手指。
图16表示图像显示装置的操作时处理的流程图。
图17表示操作了的按钮的颜色被变更的情况。
图18表示示出滑块的面板图像。
图19表示对滑块进行操作的情况的面板图像。
具体实施方式
(第1实施例)
(图像显示系统2的结构；图1)
图1所示的图像显示系统2是用于显示面板图像的系统，上述面板图像示出用于用户输入操作的操作面板。图像显示系统2具有操作装置10和图像显示装置100。操作装置10和图像显示装置100进行无线连接，能够彼此进行无线通信。
(操作装置10的结构；图1、图2)
操作装置10是具有用于用户输入操作的平板形状的装置。操作装置10具有主体11、触摸板12、通信接口20、控制部30、存储器32和4个标记40。以下，将接口记载为“I/F”。
触摸板12在主体11的表面露出，受理操作的输入。触摸板12具有电容式或电场式的传感器。触摸板12在用户的手指接近或接触到触摸板12的情况下，利用传感器检测手指相对于触摸板12的相对位置(具体来说是在触摸板12表面的纵向以及横向的坐标、和距触摸板12的表面的高度方向的坐标)，并将相对位置供给到控制部30。
通信I/F20是用于与图像显示装置100进行无线通信的I/F。无线通信例如可以是按照Wi-Fi方式进行的通信，也可以是按照Bluetooth(注册商标)方式进行的通信。在变形例中，通信I/F20还可以是经由有线电缆与图像显示装置100进行有线通信的I/F。
控制部30按照存储器32中存储的程序来执行包含后述的处理(参考图4)的各种处理。另外，控制部30与触摸板12、通信I/F20及存储器32进行电连接，能够控制这些元件的工作。
存储器32存储有各种程序。另外，在存储器32中设置有用于暂时存储在后述的图4的处理的执行过程中获取的各种信息的存储区域。
4个标记40设置于主体11和触摸板12中的一方的表面。4个标记40设置在主体11的四个角。各标记40是涂黑的四方形。此外，在变形例中，各标记40例如可以是涂黑的四方形和空白的四方形的组合，也可以是圆形，还可以是三角形，还可以是二维码，还可以是点图案。另外，各标记40可以是具有规定形状的发光体。另外，4个标记40可以设置在比主体11的四个角更靠近主体11的中央部分的位置。另外，标记40的个数可以是3个以下，也可以是5个以上。例如可以沿主体11的外周设置1个环状的标记40。
(图像显示装置100的结构；图1、图3)
图像显示装置100是佩戴在用户的头部来使用的图像显示装置(所谓的头戴式显示器)。如图1所示，图像显示装置100具有框架112、右显示部114R、左显示部114L、右投影部115R、左投影部115L、右相机116R、左相机116L和控制盒118。
框架112是眼镜框状的构件。用户通过以佩戴眼镜的方式佩戴框架112，能够将图像显示装置100佩戴于头部。
框架112具有右显示部114R和左显示部114L。右显示部114R和左显示部114L由透光性的显示构件构成。当用户将图像显示装置100佩戴于头部时，在与用户的右眼相向的位置配置右显示部114R，在与用户的左眼相向的位置配置左显示部114L。右显示部114R和左显示部114L具有例如半反射镜结构，能够对从右投影部115R和左投影部115L投影的光(即构成图像的光)进行反射并投影至用户的眼睛，使用户的眼睛看到图像。以下，有时将右显示部114R和左显示部114L统称为“显示部114”。
右投影部115R和左投影部115L是分别向右显示部114R和左显示部114L投影表示图像的光的构件。右投影部115R和左投影部115L分别设置在右显示部114R和左显示部114L的侧部。以下，有时将右投影部115R和左投影部115L统称为“投影部115”。在本实施例中，投影部115根据控制部130的指示，将规定的虚拟图像(以下称为“显示用图像”)从侧方向显示部114投影。显示部114对从投影部115投影的光进行反射并投影至用户的眼睛。由此，像是在透过显示部114在用户能够看到的现实世界的对象(例如触摸板12)或/和空间的规定的位置处重叠了上述显示用图像那样，用户能够观看现实世界的对象或/和空间、和显示用图像。以下，在本说明书中，在说明以通过控制部130对投影部115指示图像的投影从而在显示部114显示了所希望的图像的方式使用户看见的情况下，有时省略投影部115的工作的说明，仅表现为“控制部130使显示部114显示所希望的图像”等。
右相机116R是配置在框架112中右显示部114R的上方位置(即与用户的右眼的上方对应的位置)的相机。另一方面，左相机116L是配置在框架112中左显示部114L的上方位置(即与用户的左眼的上方对应的位置)的相机。能够分别通过右相机116R和左相机116L，从不同的角度对与佩戴图像显示装置100的用户的视野范围对应的范围(以下有时称为“特定范围”)进行拍摄。即，也可以说，右相机116R拍摄用户的右眼的视野范围，左相机116L拍摄用户的左眼的视野范围。另外，以下有时将右相机116R和左相机116L统称为“相机116”。
控制盒118是内置于框架112的一部分中的控制装置。控制盒118收容有对图像显示装置100的控制系统进行管理的各元件。具体来说，如图3所示，控制盒118收容有通信I/F120、控制部130和存储器132。在其他的例子中，控制盒118可以与框架112分开设置。在该情况下，控制盒118内的各构成元件(通信I/F120、控制部130和存储器132)和框架112所配备的各构成元件(投影部115、相机116等)通过电缆等进行电连接即可。
通信I/F120与通信I/F20相同。控制部130按照在存储器132中存储的程序来执行包含后述的显示处理(参考图7)和操作时处理(参考图16)的各种处理。另外，控制部130与投影部115、相机116、通信I/F120以及存储器132进行电连接，能够控制这些元件的工作。
存储器132存储有各种程序。另外，在存储器132中设置有存储区域，该存储区域用于暂时存储在后述的显示处理和操作时处理的执行过程中获取的各种信息。
(操作装置10的处理；图4)
对由操作装置10的控制部30执行的处理进行说明。当操作装置10的电源被接通时，控制部30开始进行图4的处理。在S10中，控制部30对检测手指相对于触摸板12的相对位置的情况进行监视。若用户的手指进入到触摸板12的可检测范围内(参考图5、图6)，则触摸板12检测手指相对于触摸板12的相对位置。触摸板12将示出检测到的相对位置的信息提供给控制部30。控制部30在从触摸板12获取了示出检测到的手指的相对位置的信息的情况下，判断为检测到相对位置(在S10中为“是”)，进入S20。
在S20中，控制部30判断是否通过触摸板12受理了由用户的手指进行的操作的输入。具体来说，控制部30基于获取到的相对位置，判断是否手指与触摸板12的距离比规定距离短。控制部30在手指与触摸板12的距离比规定距离短的情况下，判断为受理了操作的输入(在S20中，为“是”)，进入S30。另一方面，控制部30在手指与触摸板12的距离为规定距离以上的情况下，判断为没有受理操作的输入(在S20中，为“否”)，进入S40。
在S30中，控制部30将示出选择了多个按钮中的1个按钮的操作信息经由通信I/F20发送至图像显示装置100。操作信息包含检测到的相对位置。当结束S30时，控制部30返回到S10。
在S40中，控制部30将示出检测到的相对位置的手指位置信息经由通信I/F20发送至图像显示装置100。若结束S40，则控制部30返回至S10中的监视。在图5、图6中示出了S40被执行的情况的一例。在图5、图6的例子中，在S40中发送了示出食指的相对位置P1的手指位置信息之后，在S10、S20中再次判断为“是”，在之后的S40中发送示出拇指的位置P2的手指位置信息。当结束S40时，控制部30返回到S10。
(图像显示装置100的显示处理；图7)
接下来，对由图像显示装置100的控制部130执行的显示处理进行说明。当图像显示装置100的电源被接通时，控制部130开始进行图7的处理。在S110中，控制部130对从相机116获取拍摄图像数据的情况进行监视。控制部130在获取了拍摄图像数据的情况(在S110中，为“是”)下，进入S120。
在S120中，控制部130判断由获取到的拍摄图像数据示出的拍摄图像是否包含示出4个标记40的4个标记图像中的至少1个标记图像。控制部130在判断为拍摄图像包含至少1个标记图像的情况下(在S120中，为“是”)，进入S130。另一方面，控制部130在判断为拍摄图像不包含任一个标记图像的情况下(在S120中，为“否”)，返回到S110。此外，在变形例中，控制部130可以以拍摄图像包含至少2个标记图像为条件，在S120中判断为“是”，也可以以拍摄图像包含至少3个标记图像为条件，在S120中判断为“是”，还可以以拍摄图像包含4个标记图像为条件，在S120中判断为“是”。
在S130中，控制部130基于拍摄图像中的标记图像的位置和姿势来确定特定范围(即拍摄范围)内的触摸板12的位置和姿势。在图8中示出了拍摄图像I1和标记图像I2的一例。
在S140中，控制部130基于拍摄图像数据和所确定的触摸板12的位置及姿势，生成表示显示用画面的显示用图像数据，该显示用画面包含示出用于用户输入操作的键盘的面板图像。在显示用图像中，在特定范围内的与触摸板12的范围对应的范围内配置有面板图像。在图9中示出了包含面板图像I3的显示用图像I4的一例。此外，面板图像I3包含文字图像，但在图9中省略了文字图像的图示。在图10中示出了面板图像I3的一部分的放大图。由面板图像I3示出的操作面板包含相邻配置的多个按钮。面板图像I3包含与多个按钮对应的多个按钮图像。与文字键对应的各按钮图像包含一个文字图像(例如“G”等)。在此，文字图像内的文字除了“G”等拉丁字母以外，还可以是平假名、片假名、汉字、拉丁字母、数字、符号、以及图画文字等。此外，由阴影示出的部分是明度较高的部分，其以外的部分(例如文字“G”的周围的部分)是明度较低的部分。换句话说，明度较高的部分是用户的可见性高(即显示用图像明亮清晰容易看见)的部分，明度较低的部分是用户的可见性低(即显示用图像难以看见)的部分。
在S150中，控制部130判断是否在规定期间内经由通信I/F120从操作装置10获取到手指位置信息(参考图4的S40)。控制部130在规定期间内从操作装置10获取到手指位置信息的情况下(在S150中，为“是”)，进入S160，在规定期间内没有从操作装置10获取手指位置信息的情况下(在S150中，为“否”)，进入S170。
在S160中，控制部130基于获取到的手指位置信息，修正显示用图像数据。具体来说，控制部130使与由手指位置信息示出的相对位置对应的范围(以下称为“手指范围”)内的面板图像的明度比手指范围外的面板图像的明度低。由此，手指范围内的面板图像的可见性比手指范围外的面板图像的可见性低。
在S170中，控制部130使显示部114显示由显示用图像数据表示的显示用图像。此外，在S160中对显示用图像数据进行了修正的情况下，在S170中显示由修正后的显示用图像数据表示的修正后显示用图像。在图11中示出了修正后显示用图像的一例，在图12中示出了对应于图11的食指的相对位置P3。在图11中，在与相对位置P3对应的手指范围内，除文字“G”外的部分的明度比周围的明度低。由此，示出按钮“G”的图像的可见性比与示出与按钮“G”相邻的按钮的图像的可见性低。在可见性低的部分，用户能够透过该部分看到自己的手指。相反地，在可见性高的部分，用户不能够透过该部分看到自己的手指等。即，在图11的例子中，用户能够透过按钮“G”的中心的可见性低的部分，看到自己的食指(参考图12)的指尖部分。并且，不能够透过其他的部分看到自己的手指等(例如手背等)。但是，在图11的例子中，在示出按钮“G”的图像中，文字“G”的部分尽管配置于手指范围内，但由于维持了明度，所以能够看见。即，用户能够不被手指遮挡地看到文字“G”的部分。由于绘制于按钮的文字不会被用户的手指覆盖，所以也不会阻碍用户的操作性。另外，示出按钮“G”的图像和与该图像相邻的按钮的图像显示得比其周围的图像大。因此，用户能容易地掌握自己用食指要操作的按钮是与“G”对应的按钮，与示出按钮“G”的图像显示得小的情况相比，容易对示出按钮“G”的图像进行操作。此外，在变形例中，示出手指的标记可以显示在显示用图像内的相对位置P3。另外，在其他的变形例中，也可以以示出按钮“G”的图像为中心，与该图像相邻的按钮的图像以放射状扩散地显示。并且，在相对位置P3从示出按钮“G”的图像离开的情况下，该相邻的按钮图像可以返回到扩散前的位置而进行显示。当结束S170时，控制部30返回到S110中的监视。
在图13中示出了检测2根手指的位置的情况的显示用图像的一例。图13的相对位置P1、P2分别对应于图5的食指、拇指的相对位置P1、P2。在图13中，在与相对位置P1、P2对应的手指范围内，文字“G”、“V”以外的部分的明度比周围的明度低。由此，示出按钮“G”、“V”的图像的可见性分别比示出与按钮“G”、“V”相邻的按钮的图像的可见性低。而且，即使在与相对位置P1、P2对应的手指范围之间的范围内，明度也比周围的明度低，可见性比周围的可见性低。另外，示出按钮“G”、“V”的图像比示出与按钮“G”、“V”相邻的按钮的图像大。
在图14中示出了检测3根手指的位置的情况的显示用图像的一例，在图15中示出了与图14对应的食指、中指、拇指的相对位置P4～P6。图15的手指的姿势是在用户进行用于使显示用图像内的目标放大显示或缩小显示的操作(所谓的向外捏合、向内捏合)时的姿势。在图14中，在与相对位置P4～P6对应的手指范围内，面板图像的明度比周围的明度低。此外，即使在连接相对位置P4～P6的范围内，其明度也比周围的明度低，可见性比周围的可见性低。
(图像显示装置100的操作时处理；图16)
接下来，对由图像显示装置100的控制部130执行的操作时处理进行说明。在S210中，控制部130对经由通信I/F120从操作装置10接收操作信息(参考图4的S30)的情况进行监视。控制部130在判断为经由通信I/F120从操作装置10接收到操作信息的情况(S210)下，进入S220。S220与图7的S120相同。
在S230中，控制部130变更显示用图像数据，并生成表示变更后的显示用图像的变更后显示用图像数据。具体来说，控制部130基于操作信息所含有的相对位置，确定在显示用图像内操作了的按钮(以下称为“对象按钮”)，并生成表示显示用图像的显示用图像数据，所述显示用图像是对示出所确定的对象按钮的图像的颜色进行了变更的图像。
在S235中，控制部130使显示部114显示变更后显示用图像。在图17中示出了对示出对象按钮“G”的图像颜色进行了变更的情况。在S230中，控制部130执行与输入到对象按钮的操作对应的处理。当结束S240时，控制部130结束图16的处理。
(作用效果)
假设基于拍摄图像来检测用户的手指的区域的比较例的图像显示系统。在比较例的图像显示系统中，图像显示装置抽取拍摄图像中包含的手指的颜色(例如在黄色人种的情况下为浅橙色)的区域作为手指区域，将手指颜色的区域的可见性比其他区域的可见性低的显示用图像重叠地显示在触摸板12。在比较例中，假如在触摸板12是与手指的颜色接近的颜色的情况下，触摸板12的区域被误检测，有可能与触摸板12对应的区域的可见性变低。因此，触摸板12的颜色被限制。另外，例如在由于用户佩戴手套等，手指的外观颜色是与规定的手指的颜色不同的情况下，有可能无法检测手指的区域。因此，对于需要佩戴手套的作业，很难应用上述的图像系统。
另一方面，本实施例的图像显示装置100基于拍摄图像数据和被操作装置10检测的手指的相对位置来显示显示用图像(图7的S170)。在显示用图像中，与相对位置对应的范围内的面板图像的可见性比该范围外的面板图像的可见性低(图11等)。如上所述，在可见性较低的部分，用户能够透过该部分看到自己的手指。相反地，在可见性较高的区域，用户不能够透过该部分看到自己的手指。用户能够一边观看面板图像一边掌握自己靠近触摸板12的手指(图12的食指等)的位置。手指相对于触摸板12的相对位置由于不是基于手指的颜色而是被操作装置10检测的，因此触摸板12的颜色不被限制。另外，手指外观的颜色可以为任何颜色，因此对于例如需要佩戴手套的作业，也能够采用本实施例的图像显示系统2。即，能够减少图像显示系统2在设计上的限制。
另外，在本实施例中，如图13所示，在检测2根手指的相对位置P1、P2的情况下，在显示用图像中，与2根手指的相对位置P1、P2对应的范围内的面板图像的可见性变得比范围外的面板图像的可见性低。观看显示用图像的用户能够透过可见性低的部分看到自己的2根手指。因此，观看显示用图像的用户容易地意识到显示用图像内的2根手指的位置。用户能够一边掌握2根手指各自的位置一边进行操作。因此，提高了在用户对触摸板12进行操作时的操作性。
另外，在本实施例中，如图11等所示，各文字图像无论是否配置在与手指的相对位置P3对应的范围内都能够看到。因此，用户能够不被手指遮挡地看到文字图像。由于文字图像不会被用户的手指遮挡，因而也不会阻碍用户的操作性。
另外，在本实施例中，如图17所示，对示出操作了的按钮“G”的图像的颜色进行变更。由此，用户容易识别操作了多个按钮中的哪个按钮。
另外，在本实施例中，图像显示系统2利用触摸板12的位置和姿势来生成表示显示用图像的显示用图像数据(图7的S140)，并以符合触摸板12的位置和姿势的方式显示显示用图像(S170)。由此，用户能够观看与触摸板12的观看方式相应的面板图像。
另外，在拍摄图像不包含标记图像的情况下(在图7的S120中，为“否”)，由于无法基于标记图像的位置和姿势来确定触摸板12的位置和姿势，因此有可能无法在与触摸板12的位置对应的范围中适当地配置面板图像。即，有可能面板图像相对于触摸板12偏离地配置。图像显示装置100即使获取了操作信息(在图16的S210中，为“是”)，在拍摄图像不包含标记图像的情况(在S220中为“否”)下不执行操作，因此能够对错误操作进行抑制。
对本实施例和专利请求的范围的对应关系进行说明。图5的食指、拇指分别为“第1手指”、“第2手指”的一例。图11的按钮“G”为“特定按钮”的一例。
(第2实施例)
对与第1实施例不同的点进行说明。在本实施例中，在图7的S155中，控制部130在S150中获取了与多根手指对应的多个手指位置信息的情况下，确定多根手指中的被用于操作的可能性最高的手指。具体来说，控制部130确定多根手指中的由手指位置信息示出的高度方向的坐标最小(即最接近于触摸板12)的手指。在图5的例子中，确定拇指和食指中的更接近于触摸板12的食指。此外，控制部130在S150中仅获取了与1根手指对应的手指位置信息的情况下，确定该1根手指。
在S160中，控制部130基于与在S155中已确定的手指对应的手指位置信息，修正显示用图像数据。具体来说，控制部130使与由所确定的手指位置信息表示的相对位置对应的手指范围内的面板图像的明度比手指范围外的面板图像的明度低。由此，与被用于操作的可能性最高的手指对应的第1手指范围内的面板图像的可见性比第1手指范围外的面板图像的可见性低。并且，与被用于操作的可能性低的手指对应的第2手指范围内的面板图像的可见性与第1手指范围和第2手指范围双方的范围外的面板图像的可见性相同。例如，根据图5的手指的姿势来显示图11的显示用图像。在可见性低的第1手指范围内(在图11的例子中，为相对位置P1的周边)的面板图像中，用户能够透过面板图像而看到自己的手指。相反地，在可见性高的第1手指范围外的面板图像中，用户不能透过面板图像看到自己的手指等。因此，无论用户的各手指相对于触摸板12的位置关系如何，用户都能够一边看到面板图像中的与被用于操作的可能性最高的手指对应的第1范围以外的范围一边进行操作。因此，抑制由于用户的各手指造成面板图像的可见性过度降低的情况，提高了用户的操作性。
(第2实施例的效果)
即使是本实施例，也与第1实施例相同，能够减少图像显示系统2在设计上的限制。另外，在本实施例中，对于多根手指，根据被用于操作的可能性来改变面板图像的可见性，因此观看显示用图像的用户容易地意识到手指相对于触摸板12的位置，提高了用户的操作性。另外，由于与被用于操作的可能性低的手指对应的范围内的面板图像的可见性不会降低，所以容易观看面板图像。
(第3实施例)
对与第1实施例不同的点进行说明。在本实施例中，控制部130在图7的S160中，通过将手指范围内的面板图像变更为黑色单色来修正显示用图像数据，在S170中使显示部114显示由修正后的显示用图像数据表示的显示用图像。由此，手指范围内的面板图像的可见性比手指范围外的面板图像的可见性低。用户能够透过用黑色单色显示的部分而看到自己的手指。即使是本实施例，也能够减少图像显示系统2在设计上的限制。
(第4实施例)
对与第1实施例不同的点进行说明。在本实施例中，控制部130在图7的S160中，通过使手指范围内的面板图像的彩度比手指范围外的面板图像的彩度低来修正显示用图像数据，在S170中使显示部114显示由修正后的显示用图像数据表示的显示用图像。由此，手指范围内的面板图像的可见性比手指范围外的面板图像的可见性低。用户能够透过彩度低的部分而看到自己的手指。即使是本实施例，也能够减少图像显示系统2在设计上的限制。
(第5实施例)
对与第1实施例不同的点进行说明。在本实施例中，控制部130在图7的S160中，通过修剪手指范围内的面板图像来修正显示用图像数据，在S170中使显示部114显示由修正后的显示用图像数据表示的显示用图像。由此，手指范围内的面板图像的可见性比手指范围外的面板图像的可见性低。用户能够透过被修剪的部分看到自己的手指。即使是本实施例，也能够减少图像显示系统2在设计上的限制。
以上，对实施例详细地进行了说明，但是这些仅为示例，并不是用于限定专利请求的范围。专利请求的范围所记载的技术包含对以上示例的具体例子进行了各种变形、变更的方案。例如，可以采用以下的变形例。
(变形例1)
在上述的各实施例中，图像显示装置100的显示部114是透光性的显示器。并不限于此，图像显示装置100的显示部114也可以是遮光性的显示器，即是在用户佩戴图像显示装置100时遮挡用户的视野的显示器。在该情况下，控制部130可以使显示部显示由相机116拍摄的相机图像(即与用户的视野范围对应的图像)。另外，在显示处理(参考图7)中，控制部130可以在显示于显示部114的相机图像上重叠地显示显示用图像。
(变形例2)
在上述的各实施例中，面板图像是示出键盘的图像，但在变形例中，如图18所示，也可以是示出用于调节图像的明度等的滑块(slider)的图像。在图19中，手指的相对位置P7包含在示出滑块的面板图像中，与手指的相对位置P7对应的手指范围内的面板图像的可见性比手指范围外的面板图像的可见性低。另外，面板图像的形状发生了变化。即，“操作面板”不仅包含键盘，还包含滑块等。另外，“面板图像”可以不包含文字图像。另外，“操作面板”也可以不包含相邻配置的多个按钮。
(变形例3)
上述的各实施例中，对示出操作了的按钮的图像的颜色进行变更，但在变形例中，例如可以仅使操作了的按钮比周围的按钮大，也可以变更形状，还可以对操作了的按钮添加阴影，示出与示出操作了的按钮的图像相邻的按钮的图像也可以向周围扩散。即，“显示方式”包含大小、形状、强调等方式。
(变形例4)
在变形例中，操作装置10可以不具有标记40，图像显示装置100省略图7的S120，而在S130中，例如基于拍摄图像内的示出操作装置10的图像的轮廓，确定触摸板12的位置和姿势。即，“操作装置”可以不具有标记。
(变形例5)
图像显示装置100可以省略图16的S220而进入到S220。即，“特定处理执行部”在显示有显示用图像的状态下获取了特定操作信息的情况下，即使拍摄图像不包含标记图像，也执行特定处理。
(变形例6)
在上述的各实施例中，图像显示装置100具有大致眼镜状的框架，是能够以佩戴眼镜的方式佩戴在用户的头部的装置。并不限于此，图像显示装置只要能够佩戴在用户的头部，则可以具有帽子状、头盔状等任意的支撑框。
(变形例7)
图像显示装置可以通过在通常用于视力矫正、护眼等用途的护目镜(eyewear)(眼镜、太阳镜等)上安装相机和控制盒等来形成。在该情况下，护目镜的镜片部分可以作为显示部来使用。
(变形例8)
在上述的实施例中，图像显示装置100具有右相机116和左相机116这两个相机，但相机的数量也可以是1个。另外，图像显示装置100可以只具有右显示部114R和左显示部114L中的一方。
另外，在本说明书或附图中说明的技术要素是单独地或者通过各种组合来发挥技术上的有用性，并不限定于申请时权利要求中记载的组合。此外，在本说明书或附图中示例的技术同时实现多个目的，实现其中一个目的本身就具有技术上的有用性。

Claims (11)

1.一种图像显示系统，其具有：
操作装置；以及
图像显示装置，其以可通信的方式与所述操作装置连接；
所述操作装置具有：
主体；
触摸板，其在所述主体的表面露出，并受理由用户的手指进行的操作的输入，检测所述用户的第1手指相对于所述触摸板的第1相对位置；以及
操作侧控制部，其将所述触摸板检测的所述第1相对位置的第1位置信息和输入到所述触摸板的所述操作的操作信息发送到所述图像显示装置；
所述图像显示装置具有：
框架，其能够佩戴在所述用户的头部；
显示部，其设置于所述框架，配置在与佩戴所述框架的所述用户的眼睛相向的位置；
相机，其拍摄与所述用户的视野范围对应的特定范围；以及
显示侧控制部；
所述显示侧控制部具有：
获取部，其从所述操作装置获取所述第1位置信息和所述操作信息；
生成部，其基于表示所述特定范围内的拍摄图像的拍摄图像数据和所获取的所述第1位置信息所示出的所述第1相对位置，生成表示显示用图像的显示用图像数据，所述显示用图像包含用于输入特定操作的操作面板的面板图像，在所述显示用图像中，在所述特定范围内的与所述触摸板的位置对应的范围配置所述面板图像，并且与所述第1手指的所述第1相对位置对应的第1范围内的所述面板图像的可见性比所述第1范围外的所述面板图像的可见性低；
显示控制部，其使所述显示部显示由所述显示用图像数据表示的所述显示用图像；以及
特定处理执行部，其在显示有所述显示用图像的状态下获取特定操作信息的情况下，执行与所述特定操作相应的特定处理，所述特定操作信息表示在所述触摸板上受理了所述特定操作的输入。
2.根据权利要求1所述的图像显示系统，其中，
所述触摸板进一步检测所述用户的第2手指相对于所述触摸板的第2相对位置，
所述操作侧控制部进一步将所述触摸板检测的所述第2相对位置的第2位置信息发送至所述图像显示装置，
所述获取部进一步从所述操作装置获取所述第2位置信息，
所述生成部基于所述拍摄图像数据、所述第1相对位置和所获取的所述第2位置信息所示出的所述第2相对位置来生成所述显示用图像数据，
在所述显示用图像中，所述第1范围内和与所述第2手指的所述第2相对位置对应的第2范围内的所述面板图像的可见性比所述第1范围和所述第2范围双方的范围之外的所述面板图像的可见性低。
3.根据权利要求1所述的图像显示系统，其中，
所述触摸板进一步检测所述用户的第2手指相对于所述触摸板的第2相对位置，
所述操作侧控制部进一步将所述触摸板检测的所述第2相对位置的第2位置信息发送至所述图像显示装置，
所述获取部进一步从所述操作装置获取所述第2位置信息，
所述显示侧控制部还具有手指确定部，所述手指确定部基于所述第1位置信息和所述第2位置信息，确定所述第1手指和所述第2手指中的被用于操作的可能性更高的所述第1手指，
在所述显示用图像中，与未被确定的所述第2手指的所述第2相对位置对应的第2范围内的所述面板图像的可见性与所述第1范围和所述第2范围双方的范围之外的所述面板图像的可见性相同。
4.根据权利要求1至3中的任一项所述的图像显示系统，其中，
所述显示部由透光性的构件构成，
所述生成部生成满足以下（a）~（d）中的至少1个条件的所述显示用图像数据，
（a）所述第1范围内的所述面板图像的明度比所述第1范围外的所述面板图像的明度低；
（b）所述第1范围内的所述面板图像的显示颜色为黑色单色；
（c）所述第1范围内的所述面板图像的彩度比所述第1范围外的所述面板图像的彩度低；
（d）所述第1范围内的所述面板图像被修剪。
5.根据权利要求4所述的图像显示系统，其中，
所述面板图像包含与所述操作面板有关的1个以上的文字图像，
在所述显示用图像中，所述1个以上的文字图像无论是否配置在所述第1范围内都以能够看到的方式显示。
6.根据权利要求5所述的图像显示系统，其中，
所述操作面板包含相邻配置的多个按钮，
所述面板图像包含与所述多个按钮对应的多个按钮图像。
7.根据权利要求6所述的图像显示系统，其中，
在所述显示用图像中，所述多个按钮中的配置在所述第1相对位置的特定按钮的图像的可见性比与所述特定按钮相邻的按钮的图像的可见性低。
8.根据权利要求6所述的图像显示系统，其中，
所述特定操作包含用于对所述多个按钮中的特定按钮进行选择的操作，
所述生成部在显示有所述显示用图像的状态下获取了所述特定操作信息的情况下，变更所述显示用图像数据，生成表示变更后的显示用图像的变更后显示用图像数据，
在所述变更后显示用图像中，变更了所述特定按钮的图像的显示方式。
9.根据权利要求7所述的图像显示系统，其中，
所述特定操作包含用于对所述多个按钮中的特定按钮进行选择的操作，
所述生成部在显示有所述显示用图像的状态下获取了所述特定操作信息的情况下，变更所述显示用图像数据，生成表示变更后的显示用图像的变更后显示用图像数据，
在所述变更后显示用图像中，变更了所述特定按钮的图像的显示方式。
10.根据权利要求9所述的图像显示系统，其中，
所述操作装置还具有标记，所述标记设置在所述主体和所述触摸板中的至少一方的表面，
所述显示侧控制部还具有位置确定部，所述位置确定部在所述拍摄图像包含示出标记的标记图像的情况下，基于所述拍摄图像中的所述标记图像的位置和姿势，确定所述特定范围内的所述触摸板的位置和姿势，
所述生成部在所述拍摄图像包含所述标记图像的情况下，基于所述拍摄图像数据、所述第1相对位置和所确定的所述触摸板的位置和姿势，生成所述显示用图像数据。
11.根据权利要求10所述的图像显示系统，其中，
所述特定处理执行部即使在显示有所述显示用图像的状态下获取了所述特定操作信息的情况下，在所述拍摄图像不包含所述标记图像的情况下不执行所述特定处理。
CN201780089124.3A 2017-03-27 2017-03-27 图像显示系统 Active CN110462690B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/012458 WO2018179069A1 (ja) 2017-03-27 2017-03-27 画像表示システム

Publications (2)

Publication Number Publication Date
CN110462690A CN110462690A (zh) 2019-11-15
CN110462690B true CN110462690B (zh) 2024-04-02

Family

ID=63674784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780089124.3A Active CN110462690B (zh) 2017-03-27 2017-03-27 图像显示系统

Country Status (4)

Country Link
US (1) US11227413B2 (zh)
JP (1) JP6789377B2 (zh)
CN (1) CN110462690B (zh)
WO (1) WO2018179069A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113419797A (zh) * 2021-05-21 2021-09-21 北京达佳互联信息技术有限公司 一种组件显示方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251827A (ja) * 2008-04-03 2009-10-29 Denso Corp 位置検出装置
JP2014131094A (ja) * 2012-12-28 2014-07-10 Seiko Epson Corp 表示装置、および、表示装置の制御方法
CN104335142A (zh) * 2012-06-14 2015-02-04 高通股份有限公司 用于透明头戴式显示器的用户接口交互
CN104932675A (zh) * 2014-03-18 2015-09-23 株式会社东芝 显示装置、图像显示系统以及信息处理方法
JP2015213212A (ja) * 2014-05-01 2015-11-26 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
CN105589199A (zh) * 2014-11-06 2016-05-18 精工爱普生株式会社 显示装置、显示装置的控制方法以及程序

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4099117B2 (ja) * 2003-07-22 2008-06-11 シャープ株式会社 仮想キーボードシステム
JP4574323B2 (ja) 2004-10-26 2010-11-04 キヤノン株式会社 画像処理方法、画像処理装置
JP4871226B2 (ja) * 2007-07-06 2012-02-08 株式会社エヌ・ティ・ティ・ドコモ 認識装置および認識方法
JP5012781B2 (ja) 2008-12-11 2012-08-29 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5293154B2 (ja) 2008-12-19 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5262681B2 (ja) 2008-12-22 2013-08-14 ブラザー工業株式会社 ヘッドマウントディスプレイ及びそのプログラム
JP5201015B2 (ja) 2009-03-09 2013-06-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5428943B2 (ja) 2010-03-02 2014-02-26 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5300825B2 (ja) 2010-11-17 2013-09-25 シャープ株式会社 指示受付装置、指示受付方法、コンピュータプログラム及び記録媒体
JP6080461B2 (ja) * 2012-10-01 2017-02-15 キヤノン株式会社 操作受付装置及び方法、並びにプログラム
JP2014154074A (ja) 2013-02-13 2014-08-25 Seiko Epson Corp 入力装置、頭部装着型表示装置および入力装置の制御方法
JP5696908B2 (ja) 2013-02-15 2015-04-08 コニカミノルタ株式会社 操作表示システム
JP5273323B1 (ja) 2013-03-13 2013-08-28 パナソニック株式会社 ヘッドマウントディスプレイ装置
JP6206099B2 (ja) 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
KR20160001180A (ko) * 2014-06-26 2016-01-06 삼성전자주식회사 가상 키보드의 디스플레이를 위한 방법 및 그 전자 장치
JP6605225B2 (ja) * 2015-04-28 2019-11-13 株式会社バンダイナムコエンターテインメント 端末装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009251827A (ja) * 2008-04-03 2009-10-29 Denso Corp 位置検出装置
CN104335142A (zh) * 2012-06-14 2015-02-04 高通股份有限公司 用于透明头戴式显示器的用户接口交互
JP2014131094A (ja) * 2012-12-28 2014-07-10 Seiko Epson Corp 表示装置、および、表示装置の制御方法
CN104932675A (zh) * 2014-03-18 2015-09-23 株式会社东芝 显示装置、图像显示系统以及信息处理方法
JP2015213212A (ja) * 2014-05-01 2015-11-26 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
CN105589199A (zh) * 2014-11-06 2016-05-18 精工爱普生株式会社 显示装置、显示装置的控制方法以及程序

Also Published As

Publication number Publication date
CN110462690A (zh) 2019-11-15
WO2018179069A1 (ja) 2018-10-04
US20210118191A1 (en) 2021-04-22
JP6789377B2 (ja) 2020-11-25
JPWO2018179069A1 (ja) 2020-01-30
US11227413B2 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
CN107615214B (zh) 界面控制系统、界面控制装置、界面控制方法及程序
US10643390B2 (en) Head mounted display, method for controlling head mounted display, and computer program
US20220075466A1 (en) External user interface for head worn computing
CN110162165B (zh) 用于校准可穿戴装置中的图像传感器的系统和方法
US8085243B2 (en) Input device and its method
US7810050B2 (en) User interface system
CN108508603B (zh) 头部佩戴型显示装置及其控制方法、以及记录介质
US9069164B2 (en) Methods and systems for a virtual input device
US20170100664A1 (en) External user interface for head worn computing
JP2017199379A (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US20100177035A1 (en) Mobile Computing Device With A Virtual Keyboard
US9933853B2 (en) Display control device, display control program, and display control method
KR20120040211A (ko) 화상인식장치 및 조작판정방법, 그리고 컴퓨터 판독가능한 매체
US20180232106A1 (en) Virtual input systems and related methods
WO2017015093A1 (en) External user interface for head worn computing
US20170294048A1 (en) Display control method and system for executing the display control method
CN106094202B (zh) 显示系统和头戴式显示器
US10621766B2 (en) Character input method and device using a background image portion as a control region
US11501552B2 (en) Control apparatus, information processing system, control method, and program
JP2014225145A (ja) 入力操作装置
US11340736B2 (en) Image display device, image display method, and image display program
EP3410277B1 (en) Image projection device
CN111766936A (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
KR20200043786A (ko) 화면 제어 방법 및 표시 장치
WO2015104919A1 (ja) ジェスチャー認識装置、操作入力装置およびジェスチャー認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant