CN107615214A - 界面控制系统、界面控制装置、界面控制方法及程序 - Google Patents

界面控制系统、界面控制装置、界面控制方法及程序 Download PDF

Info

Publication number
CN107615214A
CN107615214A CN201680029080.0A CN201680029080A CN107615214A CN 107615214 A CN107615214 A CN 107615214A CN 201680029080 A CN201680029080 A CN 201680029080A CN 107615214 A CN107615214 A CN 107615214A
Authority
CN
China
Prior art keywords
mark
user
operation diagram
interface control
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680029080.0A
Other languages
English (en)
Other versions
CN107615214B (zh
Inventor
则枝真
吉本诚
才田好则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN107615214A publication Critical patent/CN107615214A/zh
Application granted granted Critical
Publication of CN107615214B publication Critical patent/CN107615214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种界面控制系统(2000)，其包括第一标记检测单元(2020)和显示控制单元(2040)。第一标记检测单元(2020)基于从用户佩戴的照相机(20)获得的拍摄图像来检测附着到用户身体的第一标记(50)。显示控制单元(2040)基于由第一标记检测单元(2020)检测到的第一标记，将操作图像显示在用户所戴的头戴式显示器(30)的显示屏幕(32)上。显示控制单元(2040)显示操作图像，使得当以用户的眼睛观看时，看到操作图像叠加在用户的手臂部分上。

Description

界面控制系统、界面控制装置、界面控制方法及程序
技术领域
本发明涉及界面控制系统、界面控制装置、界面控制方法及程序。
背景技术
作为输入界面之一，已经开发了在佩戴头戴式显示器的用户的视野中显示图像的各种界面，用户对该图像施加操作从而使用户可以执行输入。
专利文献1公开了对于通过头戴式显示器在用户的视野中显示的图像，通过使用用户的移动终端来进行操作的技术。具体地，在用户的视野中显示的图像中，用户手持移动终端以使移动终端的触摸面板叠加在期望操作的图像上，并且通过对触摸面板施加操作来操作在头戴式显示器上显示的图像。
专利文献2公开了通过使用显示在头戴式显示器上的虚拟键盘来执行输入的技术。专利文献2公开了一种技术，其中虚拟键盘被固定到真实空间中的物体，因此即使佩戴头戴式显示器的人的头部移动，虚拟键盘的位置也不会改变。
专利文献3公开了一种技术，其中通过使用与头戴式显示器配合的平板终端，对通过头戴式显示器看到的真实空间上的物体虚拟地添加注释。
专利文献4公开了一种技术，其中在用户的手掌上显示菜单屏幕，或者根据手掌的手势(例如，打开手掌的手势)改变菜单屏幕。
相关文献
专利文献
[专利文献1]国际公开No.2014/188798
[专利文献2]PCT日本翻译专利公开No.2015-504616
[专利文献3]国际公开No.2014/162825
[专利文献4]US专利申请公开No.2015/0016777
发明内容
技术问题
显示在头戴式显示器的显示屏幕上的用于操作的图像(在下文中称为操作图像)优选地以用户容易处理的位置或姿势显示。关于这一点，在专利文献1的情况下，操作图像被固定到用户视野的前侧，因此当用户想要观看其他物体时阻碍了用户的观看。在专利文献2的情况下，操作图像被固定到诸如桌子之类的实际物体，因此当用户改变视线方向并观看其他地方时，不能操作该操作图像。同样在专利文献3中，以与专利文献2中相同的方式，图像(注释)被固定地分配给真实物体。专利文献4没有公开在用户移动其手的情况下随之改变操作图像的位置的技术。
鉴于上述问题，已经作出本发明。本发明的一个目的是提供一种用于提高使用头戴式显示器的输入界面的便利性的技术。
问题的解决方案
根据本发明，提供了一种界面控制系统，所述界面控制系统包括：检测单元，所述检测单元基于从附着到用户的照相机获得的图像，检测附着到用户的身体的第一标记；显示控制单元，所述显示控制单元基于由所述检测单元检测到的所述第一标记，在用户佩戴的头戴式显示器的显示屏幕上显示操作图像，使得所述操作图像叠加在用户的身体上并被用户视觉识别；以及操作检测单元，所述操作检测单元确定用户是否操作了所述操作图像。
根据本发明，提供了一种界面控制装置，所述界面控制装置包括本发明的界面控制系统的各单元。
根据本发明，界面控制方法是由计算机执行的界面控制方法。所述界面控制方法包括：检测步骤，基于从附着到用户的照相机获得的图像，检测附着到用户的身体的第一标记；显示控制步骤，基于在所述检测步骤中检测到的所述第一标记，在用户佩戴的头戴式显示器的显示屏幕上显示操作图像，使得所述操作图像叠加在用户的身体上并被用户视觉识别；以及操作检测步骤，确定用户是否操作了所述操作图像。
根据本发明，提供了一种程序，所述程序使计算机执行本发明的界面控制方法。
发明的有益效果
根据本发明，可以提供一种用于提高使用头戴式显示器的输入界面的便利性的技术。
附图说明
根据下面描述的优选实施例和以下附图，使得上述目的、其他目的、特征和优势更加清楚。
图1是示出了根据示例实施例1的界面控制系统的框图。
图2是示出显示第一标记的设备的图。
图3示出了从用户的视野外部观看界面控制系统的使用场景的场景。
图4是示出当前正在使用界面控制系统的用户的视野中映出的场景的图。
图5是示出界面控制系统的使用模式的另一示例的图。
图6是示出了还包括第二显示控制单元的界面控制系统的框图。
图7是示出实现界面控制系统的计算机的硬件结构的框图。
图8是示出由示例实施例1的界面控制系统执行的处理的流程的流程图。
图9是示出基于第一标记确定的坐标系的图。
图10是示出坐标系与操作图像的姿势之间的对应关系的图。
图11是示出坐标系中的操作图像的位置的图。
图12是示出操作图像的例子的图。
图13是以表的形式示出表示第一标记与操作图像之间的对应关系的信息的图。
图14是示出了根据示例实施例2的界面控制系统的框图。
图15是以表的形式示出关于第一标记的信息的图。
图16是示出在显示屏幕上显示的第二标记的图。
图17是示出在用户的视野中第一标记和第二标记彼此重叠的情况下显示操作图像的场景的图。
图18是示出由示例实施例2的界面控制系统根据上述方法1执行的处理的流程的流程图。
图19是示出由示例实施例2的界面控制系统根据上述方法2执行的处理的流程的流程图。
图20是示出了根据示例实施例4的界面控制系统的框图。
图21是示出作为检测对象的由手指和手背的一部分形成的形状的图。
图22是示出在轻击操作图像的情况下第一标记被改变的场景的图。
图23是示出第一标记位于用户的左臂部分的情况下的检测区域的图。
图24是示出操作了描绘选择按钮的操作图像的场景的图。
图25是示出俯视观察时的、操作了描绘键盘的操作图像的场景的图。
图26是示出使用操作点来确定操作对象的场景的图。
图27是示出描绘键盘的操作图像的按键的仅一部分叠加在手臂部分上的场景的图。
图28是示出显示与第一标记对应的操作对象的场景的图。
图29是示出显示与第一标记对应的操作对象的场景的图。
图30是示出在手的图像未与操作图像组合的情况下，俯视观察包括在用户视野中的操作图像以及操作操作图像的用户的手的图。
图31是示出在手的图像与操作图像组合的情况下，俯视观察包括在用户视野中的操作图像以及操作操作图像的用户的手的图。
图32是示出了根据示例实施例7的界面控制系统的框图。
图33是示出在显示屏幕上显示的向导图像的第一个图。
图34是示出在显示屏幕上显示的向导图像的第二个图。
图35是表示操作体的色调范围的第一个图。
图36是表示操作体的色调范围的第二个图。
图37是示出向导图像的图。
具体实施方式
在下文中，将参照附图描述本发明的示例实施例。在所有附图中，相同的组成元件被赋予相同的附图标记，并且适当地不重复其描述。
[示例实施例1]
图1是示出了根据示例实施例1的界面控制系统2000的框图。在图1中，每个方框不表示硬件单元中的结构，而是表示功能单元中的结构。
界面控制系统2000包括第一标记检测单元2020和显示控制单元2040。第一标记检测单元2020基于从用户佩戴的照相机获得的拍摄图像来检测附着到用户身体的第一标记。这里，“用户佩戴的照相机”可以是直接安装在用户身体上的照相机，或者可以是安装在用户佩戴的任何物体上的照相机。另外，“第一标记附着到用户身体”这样的表述一般包括第一标记位于用户身体上的状态，并不仅限于第一标记固定于用户身体的状态。
第一标记50是至少可以在拍摄的图像中确定其位置的任何标记。例如，第一标记50是可用于确定三维坐标系的标记。可用于确定三维坐标系的标记例如是增强现实(AR)标记。然而，可用于确定三维坐标系的标记不限于AR标记，只要与参考方向无关地总是获得从某个参考点出发的彼此正交的三个方向即可。
第一标记可以附着到用户身体的任何位置。例如，第一标记附着到用户的手臂部分。这里，用户的手臂部分表示这样的部分，其不仅包括手臂，还包括手臂和手。
例如，第一标记50是显示在附着到用户的手臂部分的设备的显示屏幕上的图像。该设备是具有在显示屏幕上显示图像的功能的任何电子设备。请注意，该设备可以直接附着在用户的手臂部分上，或者可以在衣服上附着到用户的手臂部分。
图2是示出显示第一标记50的设备70的图。图2中的设备70是附着到用户手腕的手表式设备。显示屏幕72是设备70的显示屏幕。在图2中，在显示屏幕72上显示的用对角线涂为阴影的图像是第一标记50。请注意，设备70不限于手表式设备。
第一标记50可以是预先存储在设备70中的图像，或者可以是存储在位于设备70外部的存储设备中的图像。在后者的情况下，设备70从该存储设备获取要显示的第一标记50，并显示该第一标记。
第一标记50不限于如上所述显示在设备70上。第一标记50可以直接绘制在用户的手臂部分上，或者可以绘制在存在于用户的手臂部分上的任何物体上。在后一种情况下，例如，第一标记50被绘制在用户的手指佩戴的戒指上、用户的手腕佩戴的腕带上、或者用户所穿衣服的袖子上。注意，第一标记50可以手绘，或者可以印刷。标记50可以是用户身体的特定部分。例如，标记50是用户的手背。
显示控制单元2040基于由第一标记检测单元2020检测到的第一标记，将操作图像显示在用户所戴的头戴式显示器的显示屏幕32上。显示控制单元2040显示操作图像，使得当以用户的眼睛观看时，看到操作图像叠加在用户的身体上。稍后将描述其具体的显示方法。
操作图像是为了用户对各种计算机执行输入操作而操作的图像。例如，在操作图像是键盘图像的情况下，用户对包括在键盘图像中的按键图像施加操作，以便输入与该按键对应的字符。
参照图3和图4，将例示本示例实施例的界面控制系统2000的使用模式。图3示出了从用户的视野外部观看界面控制系统2000的使用场景的场景。另一方面，图4是示出当前正在使用界面控制系统2000的用户的视野中映出的场景的图。
图3中的头戴式显示器30是眼镜式头戴式显示器。显示屏幕32是设置在头戴式显示器30的透镜部分中的透射式显示器。照相机20是用户佩戴的照相机。在图3中，照相机20附接在头戴式显示器30的透镜的周围。请注意，如稍后将描述的，显示屏幕32不限于透射式显示器。照相机20的安装位置不限于头戴式显示器30。
在图3和图4中，第一标记50设置在用户的手腕上。界面控制系统2000基于由照相机20生成的、并且其中拍摄了第一标记50的拍摄图像，在显示屏幕32上显示操作图像60。操作图像60是键盘图像。操作图像60显示在显示屏幕32上，从而叠加在从用户观看的手臂部分10上。结果，如图4所示，操作图像60看起来叠加在手臂部分10上。这里，如图4所示，显示控制单元2040优选通过根据显示位置修改(例如，弯曲)操作图像60的形状来显示该形状。然而，显示控制单元2040可以在不修改形状的情况下显示操作图像60的形状。
这里，设备70可以具有与头戴式显示器30进行通信的功能，也可以不具有该功能。请注意，在设备70被配置为不与头戴式显示器30进行通信的情况下，不需要用于在它们之间进行通信的设定(配对等)，因此具有如下优点，即准备使用界面控制系统2000的时间和精力得到了减少。
界面控制系统2000的使用模式不限于图3和图4所示的例子。图5是示出界面控制系统2000的使用模式的另一示例的图。在图5中，第一标记50附着到用户的手指佩戴的戒指上。显示控制单元2040在显示屏幕32上显示操作图像60，使得操作图像60看起来叠加在用户的手掌上。请注意，图5中的戒指可以是具有显示第一标记50的功能的戒指式设备。
<有利效果>
根据本示例实施例的界面控制系统2000，用于由用户执行输入操作的操作图像被显示在头戴式显示器30的显示屏幕32上，从而看起来叠加在用户的手臂部分上。这里，由于基于位于用户的手臂部分上的第一标记来显示操作图像60，所以如果用户移动手臂部分，则可以根据该移动来移动操作图像60。因此，用户能够容易地在期望的位置或以期望的姿势显示操作图像60。因此，本示例实施例的界面控制系统2000与操作图像60的位置或姿势固定的输入界面相比，具有输入界面的便利性高的优点。
请注意，优选的是，第一标记50的附着位置和重叠在操作图像60上的用户身体上的位置之间具有不跨越关节的位置关系。例如，在图2和图3所示的使用模式中，由于第一标记50位于手腕上，并且操作图像60显示在手臂上，所以该位置关系是不跨越关节的位置关系。在该位置关系中，即使用户进行以关节为轴移动身体的动作(例如弯曲手腕的动作)，第一标记50和操作图像60的显示位置之间的相对位置关系也没有变化，从而可以以更准确的姿势或在更准确的位置显示操作图像60。因此，用户的动作的自由度增加。然而，第一标记50的附着位置和叠加在操作图像60上的用户身体上的位置可以具有跨越关节的位置关系。
由于第一标记50可以形成为比用户的手臂部分更简单的形状，所以与从图像中检测用户的手臂部分的处理相比，从图像中检测第一标记50的处理更容易执行。因此，本示例实施例的界面控制系统2000的优点在于，能够以少量的计算机资源在短时间内准确地显示操作图像60。
与用户通过做出手势来执行输入的输入界面相比，在用户通过操作操作图像60来执行输入的本示例实施例的界面控制系统2000中，具有用户不需要记忆各种手势的优点。
在通过使用手势来执行输入的输入界面中，在用户为了除了输入操作以外的目的而移动手的情况下，担心有可能错误地检测到输入。另一方面，在本示例实施例的界面控制系统2000中，在拍摄的图像中拍摄了第一标记50的情况下显示操作图像60。因此，根据第一标记50是否包括在照相机20的成像范围内，用户可以容易地将用于操作操作图像60的动作与其他动作分离。因此，本示例实施例的界面控制系统2000的优点在于减少了错误的检测。
类似地，在操作图像一直显示在用户视野中的输入界面中，在用户为了输入操作以外的目的而移动手的情况下，也担心有可能错误地检测到输入。如果操作图像一直显示在用户的视野中，则当用户想要执行除了输入操作以外的动作时，视野被阻挡。相反，在本示例实施例的界面控制系统2000中，由于在拍摄的图像中拍摄了第一标记50的情况下显示操作图像60，所以输入的错误检测较少，并且在期望执行除了输入操作以外的操作的情况下视野不会被阻挡。因此，本示例实施例的界面控制系统2000的优点在于，使用图像的输入操作的便利性高。
由于操作图像60的显示位置被限制为用户的手臂部分，所以在拍摄的图像中，操作操作图像60的用户的手等的背景被限制为用户的手臂部分。因此，与操作图像的显示位置不被限制为用户的手臂部分的情况(例如，在操作图像叠加在由用户观看的任何场景上的情况下)相比，具有以下优点，即从拍摄的图像中检测执行操作的用户的手等的处理变得容易。请注意，在稍后描述的示例实施例中，将描述检测用户操作的方法。
与在用户的手臂部分上直接绘制第一标记50的方法相比，在设备70上显示第一标记50的结构是有利的，因为第一标记50可以容易地显示和改变。
在第一标记50被显示在设备70上的结构中，设备70不仅可以具有显示第一标记50的功能，而且还可以具有各种功能。在这种情况下，例如设备70这样的单个设备可以用于各种目的。例如，作为安装在设备70中的各种应用之一，在设备70中安装用于使用界面控制系统2000的应用(用于显示第一标记50的应用)。该使用模式具有可以有效使用通用设备的优点，并且具有可以容易地引入界面控制系统2000的优点。
以下，将更详细地描述本示例实施例的界面控制系统2000。请注意，在下面的描述中，在本示例实施例和稍后描述的每个示例实施例中，实施例示出第一标记50被显示在设备70的显示屏幕72上。在第一标记50被显示在设备70的显示屏幕72上的情况下，界面控制系统2000还包括控制第一标记50的显示的第二显示控制单元2060。图6是示出了还包括第二显示控制单元2060的界面控制系统2000的框图。
然而，下文描述的实现界面控制系统2000的方法不限于使用设备70的方法。下面描述的每个结构在其内容不引起矛盾的范围内也适用于不使用设备70的实施例。
<硬件结构示例>
示例实施例1的界面控制系统2000的各功能构成单元可以通过硬件(例如硬连线的电子电路)来实现，也可以通过硬件和软件的组合来实现(例如，电子电路和用于控制该电子电路的程序的组合)。在下文中，将进一步描述界面控制系统2000的每个功能结构单元通过硬件和软件的组合来实现的情况。
图7是示出实现界面控制系统2000的计算机1000的硬件结构的框图。计算机1000是用于实现界面控制系统2000的各种计算机之一。计算机1000可以是用于实现界面控制系统2000的专用计算机，也可以是运行各种应用的通用计算机。
例如，计算机1000是头戴式显示器30。但是，计算机1000可以是头戴式显示器30以外的计算机(设备70等)。在这种情况下，头戴式显示器30在计算机1000的控制下将操作图像60显示在显示屏幕32上。界面控制系统2000可以由两个或更多个计算机来实现。例如，通过使用头戴式显示器30和设备70来实现界面控制系统2000。在这种情况下，例如，在头戴式显示器30上实现第一标记检测单元2020和显示控制单元2040，并且在设备70上实现第二显示控制单元2060。
计算机1000包括总线1020、处理器1040、存储器1060、存储单元1080和接口1100。总线1020是用于在处理器1040、存储器1060、存储单元1080和接口1100之间发送和接收数据的传输路径。然而，将处理器1040等彼此连接的方法不限于使用总线的连接。处理器1040例如是诸如中央处理单元(CPU)或图形处理单元(GPU)之类的计算处理设备。存储器1060例如是随机存取存储器(RAM)或只读存储器(ROM)。存储单元1080例如是诸如硬盘、固态驱动器(SSD)或存储卡等存储设备。存储单元1080可以是诸如RAM或ROM等存储器。
接口1100将计算机1000连接到外部设备。例如，接口1100包括诸如通用串行总线(USB)等总线连接接口、或网络接口。网络接口可以是连接到无线线路的接口，或者可以是连接到有线线路的接口。
通过接口1100连接的设备例如是照相机20。但是，只要可以获取由照相机20生成的拍摄的图像即可，计算机1000不需要直接连接到照相机20。例如，在照相机20将拍摄的图像存储在位于照相机20外部的存储设备中的情况下，计算机1000可以连接到该存储设备。
在将计算机1000设置在头戴式显示器30的外部的情况下，计算机1000例如通过接口1100与头戴式显示器30连接。
存储单元1080存储用于实现界面控制系统2000的各功能的程序。具体而言，存储单元1080存储用于实现各个功能结构单元的程序模块。处理器1040通过执行每个程序模块来实现界面控制系统2000的每个功能结构单元的功能。这里，当每个模块被执行时，处理器1040可以在将该模块读取到存储器1060之后执行该模块，或者可以在不将该模块读取到存储器1060的情况下执行该模块。
界面控制系统2000的硬件结构不限于图7所示的结构。例如，每个程序模块可以存储在存储器1060中。在这种情况下，界面控制系统2000可以不包括存储单元1080。
《头戴式显示器30》
头戴式显示器30是具有包括在用户视野中的显示屏幕32的任何头戴式显示器。例如，显示屏幕32是非透射式显示器。在这种情况下，头戴式显示器30在显示屏幕32上以叠加的方式显示由对用户周围(例如，用户的面部方向)成像的照相机拍摄的图像和表示其他物体的图像。通过观看显示屏幕32，用户可以观看其他物体被叠加在周围场景上的场景。因此，界面控制系统2000在显示屏幕32上显示叠加在由照相机拍摄的用户手臂部分的图像上的操作图像60。请注意，“对用户周围成像的照相机”可以是照相机20，或者可以是与其分开的照相机。
例如，显示屏幕32是透射式显示器。在这种情况下，用户可以观看位于显示屏幕32前方的真实物体和显示在显示屏幕32上的图像这两者。因此，例如，界面控制系统2000在显示屏幕32上显示操作图像60，使得操作图像60看起来叠加在位于显示屏幕32前方的用户的手臂部分上。例如，界面控制系统2000可以以与显示屏幕32是非透射式显示器的情况相同的方式，在显示屏幕32上显示叠加在由对用户周围成像的照相机拍摄的用户手臂部分的图像上的操作图像60。
《照相机20》
照相机20是通过拍摄而产生图像的任何照相机。照相机20可以是二维(2D)照相机，或者可以是三维(3D)照相机。
这里，优选地，预先识别照相机20的成像方向和用户的面部方向之间的关系，以便通过使用由照相机20生成的拍摄图像来确定由用户观看的操作图像60的显示位置。因此，例如，照相机20被设置在照相机20的成像方向和用户的面部方向被认为彼此一致的位置处。在显示屏幕32是透射式头戴式显示器的情况下，例如，该位置是图3中描绘的头戴式显示器30的透镜附近。在显示屏幕32是非透射式头戴式显示器，并且对要显示在显示屏幕32上的周围场景成像的照相机是照相机20的情况下，可以认为照相机的成像方向与用户的面部方向一致。
然而，照相机20可以设置在照相机20的成像方向和用户的面部方向不被认为彼此一致的位置处。例如，在这种情况下，照相机20被设置在用户头部的任何位置(不限于头部)。在这种情况下，照相机20的成像方向和用户的面部方向之间的关系(例如，角度偏移)被预先定义为参数。界面控制系统2000通过使用该参数来识别照相机20的成像方向和用户的面部方向之间的关系。该参数可以预先设置在界面控制系统2000中，也可以存储在界面控制系统2000可以访问的存储设备中。
例如，照相机20可以附着到挂在用户脖子上的物体(员工TD卡等)。在这种情况下，优选地，界面控制系统2000在显示屏幕32上显示叠加在由照相机20拍摄的用户手臂部分的图像上的操作图像60。
<处理的流程>
图8是示出由示例实施例1的界面控制系统2000执行的处理的流程的流程图。第一标记检测单元2020获取由照相机20生成的拍摄图像(S102)。第一标记检测单元2020确定在所获取的拍摄图像中是否拍摄了第一标记(S104)。在未拍摄第一标记的情况下(S104：否)，图8中的处理进入S104。另一方面，在拍摄了第一标记的情况下(S104：是)，图8中的处理进入S106。在S106中，显示控制单元2040在头戴式显示器30的显示屏幕32上显示操作图像60，使得操作图像基于第一标记而叠加在用户的手臂部分上。
<由第一标记检测单元2020执行的处理的细节>
第一标记检测单元2020获取由照相机20生成的拍摄图像(S102)。第一标记检测单元2020可以直接从照相机20获取拍摄图像，或者可以从存储由照相机20生成的拍摄图像的存储设备获取拍摄图像。
第一标记检测单元2020确定在所获取的拍摄图像中是否拍摄了第一标记50(S104)。例如，第一标记检测单元2020预先具有关于第一标记50的形状、大小、颜色等的信息，并且通过使用该已知信息从所获取的拍摄图像中检测第一标记50。这里，作为确定图像中是否拍摄了预定标记的技术，例如，可以使用从图像中检测预定对象的已知的对象检测技术。不描述该技术的细节。
第一标记检测单元2020可以在任何时刻开始检测第一标记50的处理。例如，第一标记检测单元2020一直执行检测第一标记50的处理。例如，第一标记检测单元2020可以在用户给出指示的时刻开始处理。例如，该指示通过使用设置在头戴式显示器30上的按钮等来给出。
例如，第一标记检测单元2020可以在通过分析拍摄图像而检测到预定情况的情况下开始第一标记50的检测。例如，预定情况是与用户在现实世界中进行的工作相关的情况。例如，假定用户在工作现场进行读取仪表并记录数值的工作。在这种情况下，第一标记检测单元2020在检测到拍摄图像中拍摄了仪表的情况下开始第一标记50的检测。请注意，检测预定情况的处理可以一直执行，或者可以在用户给出指示的时刻开始。这里，“为了开始第一标记50的检测而要检测的情况种类”的信息可以预先设置在第一标记检测单元2020中，或者可以存储在第一标记检测单元2020能够访问的存储设备中。
类似地，照相机20可以在任何时刻开始成像。例如，照相机20一直执行成像。例如，照相机20可以在第一标记检测单元2020开始执行检测第一标记50的处理的时刻开始成像。
第一标记检测单元2020在开始执行检测第一标记50的处理后，从由照相机20生成的多个拍摄图像的每一个中检测第一标记50。第一标记检测单元2020可以从由照相机20生成的所有拍摄图像中检测第一标记50，或者可以从一部分拍摄图像中检测第一标记50。在后一种情况下，例如，第一标记检测单元2020在所生成的拍摄图像中每隔预定数量的拍摄图像(例如，以拍摄图像的三分之一的比率)检测第一标记50。
<由显示控制单元2040执行的处理的细节>
在第一标记检测单元2020检测到第一标记50的情况下(S104：是)，显示控制单元2040在头戴式显示器30的显示屏幕32上显示操作图像60，使得操作图像基于第一标记50叠加在用户的手臂部分上(S106)。显示控制单元2040基于检测到的第一标记50来确定操作图像60的姿势、位置和大小中的至少一个，从而显示操作图像60，使得操作图像60看起来叠加在用户的手臂部分上。以下将描述这种确定方法。
<确定操作图像60的姿势的方法>
显示控制单元2040根据第一标记50的姿势来确定操作图像60的姿势。具体地，首先，显示控制单元2040通过使用拍摄图像中拍摄的第一标记50来确定与第一标记50相对应的三维坐标系。图9是示出基于第一标记50确定的坐标系80的图。坐标系80是由x方向、y方向和z方向定义的三维坐标系。请注意，作为基于在图像中拍摄的标记的形状来确定三维坐标系的技术，例如可以使用通过使用AR标记来确定三维坐标系的已知技术。因此，不再重复该技术的详细描述。
显示控制单元2040基于所确定的坐标系80来确定操作图像60的姿势。例如，通过使用坐标系80与操作图像60的姿势之间的预定义的对应关系来执行该确定。图10是示出坐标系80与操作图像60的姿势之间的对应关系的图。在图10中，俯视观察操作图像60时的右方为坐标系80中的x方向，俯视操作图像60时的下方为坐标系80中的y方向，与俯视操作图像60时的视线方向相反的方向是坐标系80中的z方向。该对应关系可以预先设置在显示控制单元2040中，也可以存储在显示控制单元2040可以访问的存储设备中。请注意，在存在多种类型的操作图像60的情况下，针对每种类型的操作图像60定义对应关系。
然而，显示控制单元2040可以不通过使用第一标记50来确定操作图像60的姿势。在这种情况下，例如，显示控制单元2040以与第一标记50无关的固定姿势显示操作图像60。例如，显示控制单元2040通过分析拍摄图像来计算表示第一标记50所在的用户手臂部分的区域，并且计算该区域在拍摄图像的二维平面中的姿势(例如，该区域和x轴之间的角度)。显示控制单元2040基于用户手臂部分在拍摄图像的二维平面中的姿势，来确定操作图像60的姿势。例如，显示控制单元2040使操作图像60的x方向与拍摄图像的二维平面的x轴之间的角度，同表示用户手臂部分的区域与x轴之间的角度相同。
《操作图像的大小的确定》
显示控制单元2040根据在拍摄图像中拍摄的第一标记50的大小，来确定要在显示屏幕32上显示的操作图像60的大小。例如，预先定义第一标记50的大小和操作图像60的大小之间的比率。显示控制单元2040基于该比率和在拍摄图像中拍摄的第一标记50的大小，来确定要在显示屏幕32上显示的操作图像60的大小。该比率可以预先设置在显示控制单元2040中，也可以存储在显示控制单元2040可以访问的存储设备中。请注意，在存在多种类型的操作图像60的情况下，针对每种类型的操作图像60定义该比率。
然而，显示控制单元2040可以不通过使用第一标记50来确定操作图像60的大小。在这种情况下，例如，显示控制单元2040以与第一标记50无关的固定大小显示操作图像60。例如，显示控制单元2040通过分析拍摄图像来计算表示第一标记50所在的用户手臂部分的区域，并且设置与该区域的面积对应的大小作为操作图像60的大小。显示控制单元2040确定操作图像60的大小，使得该大小是在用户手臂部分的区域中包括的范围内的最大的大小。
《操作图像60的位置的确定》
显示控制单元2040根据在拍摄图像中拍摄的第一标记50的位置，来确定要在显示屏幕32上显示的操作图像60的位置。例如，操作图像60的位置被预先定义为上述坐标系80中的位置。该坐标系80中的位置可以预先设置在显示控制单元2040中，或者可以存储在显示控制单元2040可以访问的存储设备中。
图11是示出坐标系80中的操作图像60的位置的图。在图11所示的例子中，坐标系80中的操作图像60的位置被预先定义为(-3Mx-Ix，-Iy/2，0)。这里，Mx表示x方向上的第一标记50的大小，Ix表示x方向上的操作图像60的大小，Iy表示y方向上的操作图像60的大小。操作图像60的位置表示操作图像60的左上部分的坐标。
显示控制单元2040绘制操作图像60，使得坐标系80中的位置变为(-3Mx-Ix，-Iy/2，0)。请注意，操作图像60的姿势以与图10中描绘的情况相同的方式定义，即，“俯视观察操作图像60时的右方为坐标系80中的x方向，俯视操作图像60时的下方为坐标系80中的y方向，与俯视操作图像60时的视线方向相反的方向是坐标系80中的z方向”。
然而，显示控制单元2040可以不通过使用第一标记50来确定操作图像60的位置。在这种情况下，例如，显示控制单元2040通过分析拍摄图像来计算表示第一标记50所在的用户手臂部分的区域，并且基于该区域的位置来确定操作图像60的位置。例如，显示控制单元2040计算表示用户手臂部分的区域的中心，并且确定操作图像60的位置，使得操作图像60的中心位于用户手臂部分的中心。
《第一标记50所在的左右臂部分与操作图像60的位置之间的关系》
操作图像60的位置根据第一标记50位于用户的左臂部分还是右臂部分而不同。有多种方法来考虑这个事实。例如，预先在界面控制系统2000中设置用户的左臂部分和右臂部分中第一标记50所位于的手臂部分。显示控制单元2040在对应于该设置的位置处显示操作图像60。
例如，显示控制单元2040可以通过分析拍摄图像来确定第一标记50位于左臂部分还是右臂部分。例如，显示控制单元2040从拍摄图像中检测表示用户手臂部分的区域，以第一标记50作为边界将该区域划分为两个区域，并且基于二者的面积或颜色执行该确定。这里，假定第一标记50位于从用户的手腕到指尖的范围内。
在第一标记50位于用户的左臂部分的情况下，两个区域中的左侧区域具有比右侧区域更大的面积。另一方面，在第一标记50位于用户的右臂部分的情况下，右侧区域具有比左侧区域更大的面积。因此，显示控制单元2040基于两个区域的面积大小之间的差异来确定第一标记50位于左臂部分还是右臂部分。
在用户的手臂部分中，考虑到手部是大致完全具有肤色的区域，而手臂由于其通常部分或全部被衣服覆盖而包括较大的具有肤色以外颜色的区域。因此，例如，显示控制单元2040确定两个划分的区域中的哪个区域具有较高的肤色比例，由此确定第一标记50位于左臂部分还是右臂部分。具体地，显示控制单元2040在右侧区域具有较高比例的肤色的情况下，确定第一标记50位于左臂部分上，并且在左侧区域具有较高比例的肤色的情况下，确定第一标记50位于右臂部分上。
然而，在两个区域中肤色比例均高的情况下，认为手臂没有被衣服覆盖(例如，用户穿着半袖衣服)。因此，在肤色比例在左右两个区域中均等于或大于预定值的情况下，显示控制单元2040可以不使用肤色比例之间的差异，而是根据其他方法来确定左臂和右臂部分。该预定值可以预先设置在显示控制单元2040中，也可以存储在显示控制单元2040可以访问的存储设备中。
在界面控制系统2000中，可以预先设置第一标记50位于左臂部分的情况下的操作图像60的位置和第一标记50位于右臂部分的情况下的操作图像60的位置这两者，也可以仅设置其中的一个。在后者的情况下，根据设置的位置来计算未设置的位置。该方法在界面控制系统2000中预先定义。例如，在如图11所示定义坐标系80的情况下，无论第一标记50位于左臂部分还是右臂部分，操作图像60的位置的y坐标和z坐标都不改变。关于x坐标，在第一标记位于左臂部分的情况下考虑x方向上的表示操作图像60的大小的3Mx，而在第一标记位于右臂部分的情况下不需要这样做。x坐标的符号是正的。因此，显示控制单元2040基于第一标记50位于左臂部分的情况下的操作图像60的位置，将第一标记50位于右臂部分的情况下的操作图像60的位置计算为(3Mx，-Iy/2，0)。
《显示屏幕32上的操作图像60的绘制》
以上描述的操作图像60的姿势、大小和位置是在基于拍摄图像中拍摄的第一标记50定义的三维坐标系80中的操作图像60的姿势、大小和位置。但是实际上，显示控制单元2040在二维平面的显示屏幕32上绘制操作图像60。因此，显示控制单元2040执行将三维坐标系80中的操作图像60映射到显示屏幕32的二维平面上的处理，并将映射后的操作图像60显示在显示屏幕32上。因此，观看显示屏幕32的用户可以观看以上述姿势等叠加在用户手臂部分上的操作图像60。
这里，如果能够将照相机20的成像方向视为与用户的视线方向一致，则显示屏幕32的二维平面与拍摄图像的二维平面相同。因此，显示控制单元2040可以通过将操作图像60映射到拍摄图像的二维平面上，从而将操作图像60映射到显示屏幕32的二维平面上。请注意，作为将三维空间中的具有预定姿势、大小和姿势的物体映射到与该三维空间具有规定关系的二维空间上的方法，可以使用已知的方法。因此，不再重复该方法的详细描述。
然而，显示控制单元2040可以不认为照相机20的成像方向与用户的视线方向一致，通过考虑这种方向之间的差异来执行该映射。在这种情况下，显示控制单元2040通过使用表示照相机20的成像方向和用户的视线方向之间的对应关系的参数来执行该映射。该参数可以预先设置在显示控制单元2040中，也可以存储在显示控制单元2040可以访问的存储设备中。
<操作图像60的类型>
可以使用各种图像作为用户进行的输入操作所使用的操作图像60。图12是示出操作图像60的例子的图。操作图像60-1是键盘图像。操作图像60-2是电话型0-9数字键图像。操作图像60-3是描述用于选择诸如“是”和“否”两个选项的按钮的图像。由界面控制系统2000处理的操作图像60可以仅是一种类型，或者可以是多种类型。
在界面控制系统2000处理多种类型的操作图像60的情况下，显示控制单元2040在该多种类型的操作图像60中确定要在显示屏幕32上显示的操作图像60的类型。例如，显示控制单元2040响应于用户的操作来确定操作图像60的类型。这里，用户的操作包括各种操作。例如，用户通过操作设置在头戴式显示器30上的按钮等来指定或改变操作图像60的类型。例如，用户可以通过对当前显示在显示屏幕32上的操作图像60施加预定操作来改变操作图像60的类型。该预定操作例如是按压包括在操作图像60中的特定按键的操作。
在界面控制系统2000处理多种类型的第一标记50的情况下，可以预先将拍摄图像中拍摄的第一标记50的类型与显示在显示屏幕32上的操作图像60的类型相关联。在这种情况下，显示控制单元2040通过确定拍摄图像中拍摄的第一标记50的类型来确定操作图像60的类型。在这种情况下，例如，第一标记50的类型由标记的形状、图案和颜色定义。例如，在根据第一标记50的颜色定义操作图像60的类型的情况下，显示控制单元2040在显示屏幕32上显示与拍摄图像中拍摄的颜色对应的操作图像60。
在能够从第一标记50计算出标识符(ID)的情况下，可以预先将ID与操作图像60的类型相关联。能够计算ID的第一标记50例如是QR码(注册商标)。在这种情况下，显示控制单元2040通过分析拍摄图像中拍摄的第一标记50来计算ID，并且将与该ID相关联的操作图像60显示在显示屏幕32上。
图13是以表的形式示出表示第一标记50与操作图像60之间的对应关系的信息的图。图13中的表被称为对应表200。第一标记202表示第一标记50的种类、ID等。操作图像204表示与由第一标记202表示的第一标记50对应的操作图像60。
请注意，表示第一标记50与操作图像60之间的对应关系的信息(对应表200等)可以预先设置在显示控制单元2040中，或者可以存储在显示控制单元2040可以访问的存储设备中。
<改变第一标记50的方法>
如上所述，可以存在多种类型的第一标记50。在这种情况下，第二显示控制单元2060具有改变在显示屏幕72上显示的第一标记50的功能。例如，第二显示控制单元2060响应于对设备70的操作而改变第一标记50。对设备70的操作例如是对设置在设备70上的物理按钮的操作。在显示屏幕72是触摸面板的情况下，对设备70的操作可以是对显示屏幕72的轻击操作或滑动操作。
例如，第二显示控制单元2060响应于对头戴式显示器30的操作而改变第一标记50。在这种情况下，设备70与头戴式显示器30进行通信，以便取得改变第一标记50的指示。从头戴式显示器30获取的信息是能够确定要显示的第一标记50的任何信息。例如，该信息是用于确定要显示的第一标记50的ID，或第一标记50的图像。
<由用户执行的操作的检测>
界面控制系统2000通过检测用户已经操作了操作图像60，从而接收用户执行的输入操作。例如，在用户对描绘键盘的操作图像60中的T键施加操作的情况下，界面控制系统2000检测到已经对T键施加了操作。这里，可以使用界面控制系统2000检测用户对操作图像60的操作的任何方法。将在稍后描述的示例实施例中描述该方法的具体示例。
<通过对操作图像60的操作而控制的对象>
用户通过对操作图像60进行操作来控制各种计算机。例如，用户对操作图像60进行操作，以便操作在头戴式显示器30中运行的应用、操作系统(OS)等(在下文中称为应用等)。例如，用户对操作图像60执行操作，以便控制在设备70中运行的应用等。例如，用户可以对操作图像60执行操作，以便操作在PC或智能电话中运行的应用等。用户可以对操作图像60执行操作，以便控制在诸如工厂等设施中设置的各种机器。请注意，要控制的计算机可以是实现界面控制系统2000的计算机1000(参考图7)，或者可以是其他计算机。在后一种情况下，要控制的各种计算机可通信地连接到计算机1000。例如，这样的各种计算机通过输入/输出接口1100连接到计算机1000。
<使用操作图像60对设备70的操作>
如上所述，用户可以对操作图像60执行操作，以便控制在设备70中运行的应用等。在这种情况下，用户可以对操作图像60执行操作，以便改变在显示屏幕72上显示的第一标记50。
这里，显示操作图像60的区域(例如，用户的手臂部分)比设备70的操作区域(设置显示屏幕72或硬件按钮的区域)更宽。因此，通过能够使用操作图像60来操作设备70，用户能够在更宽的操作区域中操作设备70。因此，提高了用户对设备70的操作性。
[示例实施例2]
图14是示出了根据示例实施例2的界面控制系统2000的框图。在图14中，每个方框不表示硬件单元中的结构，而是表示功能单元中的结构。除了下面的描述以外，示例实施例2的界面控制系统2000具有与示例实施例1的界面控制系统2000相同的功能。
示例实施例2的界面控制系统2000包括第一标记确定单元2080。第一标记确定单元2080确定显示在设备70的显示屏幕72上的第一标记50的形状、图案或颜色(在下文中称为形状等)。为此，第一标记确定单元2080提取从照相机20获得的图像中的背景的特征。第一标记确定单元2080基于所提取的背景的特征来确定要在显示屏幕72上显示的第一标记50的形状等。另外，第一标记50的形状是指第一标记50的外形，第一标记50的图案是指第一标记50的内部图案。
如上所述，第一标记检测单元2020检测在从照相机20获得的拍摄图像中拍摄的第一标记50。这里，如果拍摄图像中的背景的特征与第一标志50的特征相似，则与它们的特征彼此不相似的情况相比，难以检测到拍摄图像中拍摄的第一标志50。例如，第一标记检测单元2020不能检测在拍摄图像中拍摄的第一标记50，显示控制单元2040不能准确地计算第一标记50的姿势等。结果是，在要显示操作图像的时刻可能不显示操作图像60，并且操作图像60可能在不自然的位置或以不自然的姿势显示。为了防止这种情况，可以使用由第一标记检测单元2020或显示控制单元2040更详细地分析拍摄图像的方法，但是需要大量的计算时间或计算机资源来检测第一标记50。
因此，本示例实施例的第一标记确定单元2080分析从照相机20获得的拍摄图像中的背景的特征，并且根据特征确定第一标记50的形状等。因此，具有容易地检测拍摄图像中拍摄的第一标记50的优点。
以下，将描述第一标记确定单元2080的操作的细节。
<确定第一标记的颜色的方法>
第一标记确定单元2080计算拍摄图像中的背景的颜色特征。第一标记确定单元2080根据拍摄图像中的背景的颜色特征来确定第一标记50的颜色。例如，背景的颜色特征由背景的颜色分布来定义。第一标记确定单元2080通过使用背景的颜色分布来计算背景颜色未使用的颜色区域。第一标记确定单元2080通过使用包括在该未使用的颜色区域中的颜色来确定第一标记50的颜色。
<确定第一标记的形状和图案的方法>
第一标记确定单元2080计算拍摄图像中的背景的图案特征。第一标记确定单元2080根据该图案特征来确定第一标记50的形状或图案。例如，第一标记确定单元2080在拍摄图像中的背景图案包括多条直线的情况下，将第一标记50的形状设置为由曲线构成的形状(圆形)，或者将第一标记50的图案设置为包含多条曲线的图案(圆点图案)。另一方面，第一标记确定单元2080在拍摄图像中的背景图案包括多条曲线的情况下，将第一标记50的形状设置为由直线构成的形状(矩形形状)，或者将第一标记50的图案设置为包含多条直线的图案(格子图案)。
<用于计算特征的图像区域>
用于计算拍摄图像中的背景特征的区域可以是整个拍摄图像，或者可以是拍摄图像的部分区域。在后者的情况下，例如，要使用的区域是包括第一标记50的显示位置(例如，设备70的显示屏幕72)的预定范围。包括第一标记50的显示位置的预定范围例如是如下区域，即，具有预定长度的半径并且其中心位于第一标记50的显示位置的中心的圆。预定长度可以由不依赖于第一标记50的显示位置的大小的绝对值来定义，或者可以由相对于第一标记50的显示位置的大小的相对值来定义。表示第一标记50的显示位置或者预定长度的信息可以预先设置在第一标记确定单元2080中，或者可以存储在第一标记确定单元2080可以访问的存储设备中。请注意，预定范围的形状不限于圆形。
<使用第一标记50的所确定的特征的方法>
第一标记确定单元2080基于所确定的特征来生成或获取第一标记50。在前一种情况下，作为生成具有预定颜色、形状和图案的图像的技术，可以使用已知技术。因此，不再重复生成第一标记50的方法的详细描述。第二显示控制单元2060在显示屏幕72上显示由第一标记确定单元2080生成的第一标记50。
在基于所确定的特征获取第一标记50的情况下，第一标记确定单元2080从多个准备好的第一标记50中选择与所确定的特征匹配的第一标记50。在这种情况下，每个第一标记50预先与表示该第一标记50的颜色、形状和图案的特征的信息相关联地存储在存储设备中。图15是以表的形式示出关于第一标记50的信息的图。图15中的表被称为第一标记信息300。第一标记信息300包括ID 302、颜色特征304、形状特征306和图案特征308。这里，ID302表示第一标记50的ID。第一标记确定单元2080从第一标记信息300中示出的第一标记50中，选择具有基于拍摄图像中的背景特征确定的特征的第一标记50。第二显示控制单元2060在显示屏幕72上显示由第一标记确定单元2080选择的第一标记50。
[示例实施例3]
根据示例实施例3的界面控制系统2000例如与示例实施例1同样地在图1中示出。除了下面的描述以外，示例实施例3的界面控制系统2000与示例实施例1或2的界面控制系统2000相同。
示例性实施例3的显示控制单元2040在头戴式显示器30的显示屏幕32上显示第二标记。显示控制单元2040在第一标记和第二标记在用户的视野中具有预定位置关系的情况下显示操作图像。
图16是示出在显示屏幕32上显示的第二标记90的图。这里，第二标记90的形状等是任何形状等。第二标记90可以是与第一标记50具有相同形状的标记，或者可以是形状不同的标记。
预定位置关系可以是任何位置关系。例如，该位置关系是“第一标记50和第二标记90看起来彼此重叠”的位置关系，或者是“第一标记50和第二标记90之间的距离等于或小于预定距离”的位置关系。图17是示出在用户的视野中第一标记50和第二标记90彼此重叠的情况下显示操作图像60的场景的图。在图17(a)中，第一标记50和第二标记90不重叠，因此不显示操作图像60。另一方面，在图17(b)中，作为用户移动臂部的结果，第一标记50和第二标记90彼此重叠，因此显示操作图像60。
在下文中，将详细描述由本示例实施例的界面控制系统2000执行的处理。
<具体方法1>
显示控制单元2040可以基于拍摄图像中的第一标记50的位置、显示屏幕32中的第二标记90的位置、以及拍摄图像上的坐标与显示屏幕32上的坐标之间的对应关系(用于将显示屏幕32上的坐标转换成拍摄图像上的坐标的转换方程等)，识别用户视野中的第一标记50和第二标记90之间的位置关系。例如，显示控制单元2040通过使用拍摄图像上的坐标和显示屏幕32上的坐标之间的对应关系，将显示屏幕32上的第二标记90的位置转换为拍摄图像上的位置(将第二标记90映射到拍摄图像上)。显示控制单元2040通过使用拍摄图像中的第一标记50的位置和第二标记90的位置，来确定该位置关系是否是预定的位置关系。
请注意，拍摄图像上的坐标和显示屏幕32上的坐标之间的对应关系基于关于照相机20的各种参数(视角或焦距)、显示屏幕32和照相机20之间的位置关系等来定义。该对应关系可以由显示控制单元2040通过使用这样的参数来计算，或者可以被预先定义为设置值。
例如，显示控制单元2040在映射到拍摄图像上的第二标记90与第一标记50重叠的情况下显示操作图像60。另一方面，在这些标记彼此不重叠的情况下，显示控制单元2040不显示操作图像60。例如，显示控制单元2040计算映射到拍摄图像上的第二标记90与第一标记50之间的距离。显示控制单元2040在该距离等于或小于预定值的情况下显示操作图像60，并且在该距离大于预定值的情况下不显示操作图像60。预定距离可以预先设置在显示控制单元2040中，也可以存储在显示控制单元2040可以访问的存储设备中。
图18是示出由示例实施例2的界面控制系统2000根据上述方法1执行的处理的流程的流程图。图18中具有与图8相同的步骤编号的每个步骤表示与具有相同步骤编号的步骤相同的处理。
在从拍摄图像中检测到第一标记50之后(S104：是)，显示控制单元2040将显示屏幕32上的第二标记90的位置转换为拍摄图像上的位置(S202)。显示控制单元2040确定拍摄图像中的第一标记50的位置和第二标记90的位置是否具有预定的位置关系(S204)。在这些位置具有预定的位置关系的情况下(S204：是)，图18中的处理进入S106。另一方面，在这些位置不具有预定的位置关系的情况下(S204：否)，图18中的处理进入S104。
请注意，显示控制单元2040可以通过将第一标记50的位置转换成显示屏幕32的坐标空间上的位置来识别第一标记50的位置和第二标记90的位置之间的位置关系。
<具体方法2>
界面控制系统2000可以将第一标记检测单元2020从拍摄图像中检测第一标记50的范围限制在以第二标记90为基准的预定范围内，从而仅在第一标记50和第二标记90具有预定位置关系的情况下显示操作图像60。具体地，首先，第一标记检测单元2020在检测拍摄图像中是否拍摄了第一标记50之前，将第二标记90的位置转换为拍摄图像上的位置。第一标记检测单元2020在拍摄图像所包括的区域中，仅针对以第二标记90的位置为基准的预定范围来检测第一标记50。因此，仅在第二标记90和第一标记50具有预定位置关系的情况下才检测到第一标记50。在此情况下，显示控制单元2040在由第一标记检测单元2020检测到第一标记50的情况下显示操作图像60。
图19是示出由示例实施例2的界面控制系统2000根据上述方法2执行的处理的流程的流程图。图19中具有与图18相同的步骤编号的每个步骤表示与具有相同步骤编号的步骤相同的处理。在获得拍摄图像之后(S102)，显示控制单元2040将显示屏幕32上的第二标记90的位置转换为拍摄图像上的位置(S202)。第一标记检测单元2020在以拍摄图像中的第二标记90的位置为基准的预定范围内检测第一标记50。在预定范围内检测到第一标记50的情况下(S302：是)，图19中的处理进入S106。另一方面，在预定范围内未检测到第一标记50的情况下(S302：否)，图19中的处理进入S102。
<变形例>
显示控制单元2040可以在显示屏幕32上的不同位置处显示多个第二标记90。在这种情况下，如果第一标记50和某个第二标记90具有预定的位置关系，则显示控制单元2040可以显示与该第二标记90对应的操作图像60。例如，显示控制单元2040在第一标记50和第二标记90-1具有预定位置关系的情况下显示描绘键盘的操作图像60，并且在第一标记50和第二标记90-2具有预定位置关系的情况下显示描绘0-9数字键的操作图像60。结果是，用户可以容易地使用多种类型的操作图像60。请注意，第二标记90和操作图像60之间的对应关系可以预先设置在显示控制单元2040中，或者可以存储在显示控制单元2040可以访问的存储设备中。在这种情况下，如果在第二标记90中包括与该第二标记90对应的操作图像60的名称或缩写，则用户可以容易地识别第二标记90和操作图像60之间的对应关系。
<硬件结构示例>
例如，示例实施例2的界面控制系统2000的硬件结构与示例实施例1的界面控制系统2000同样地示出在图7中。在本示例实施例中，存储在上述存储单元1080中的每个程序模块还包括用于实现在本示例实施例中描述的每个功能的程序。
<有利效果>
根据本示例实施例的界面控制系统2000，在显示屏幕32上显示第二标记90，并且在第一标记50和第二标记90在用户的视野中具有预定位置关系的情况下显示操作图像60。因此，与在第一标记50包括在用户视野中的情况下一直显示操作图像60的实施例相比，即使第一标记50包括在视野中时，用户也可以容易地执行对操作图像60的操作之外的工作。
[示例实施例4]
图20是示出了根据示例实施例4的界面控制系统2000的框图。在图20中，每个方框不表示硬件单元中的结构，而是表示功能单元中的结构。除了下面的描述以外，示例实施例4的界面控制系统2000具有与示例实施例1至3中的任一个界面控制系统2000相同的功能。
示例实施例4的界面控制系统2000包括操作检测单元2100和操作对象确定单元2120。操作检测单元2100检测由用户执行的对操作图像的操作。操作对象确定单元2120在多个操作对象包括在操作图像中的情况下确定“哪个操作对象已被用户操作”。包括多个操作对象的操作图像例如是键盘图像。在这种情况下，操作对象是表示每个按键的图像。
<由操作检测单元2100执行的处理的细节>
《检测方法1》
在用户视野中的叠加在操作图像上的位置处配置了操作体的情况下，操作检测单元2100检测到已经对操作图像进行了操作。这里，操作体表示用于操作操作图像的任何对象。操作体可以是用户身体的一部分(例如手指等)，也可以是用户身体以外的物体(例如笔)。
操作检测单元2100通过分析从照相机20获得的拍摄图像来确定在用户视野中的叠加操作图像60的区域中是否拍摄了操作体。在该区域中拍摄了操作体的情况下，操作检测单元2100确定已经对操作图像60进行了操作。这里，操作检测单元2100基于拍摄图像上的操作体和操作图像60之间的位置关系，确定在用户视野中的叠加操作图像60的区域中是否拍摄了操作体。具体而言，操作检测单元2100在拍摄图像上的操作体的区域与拍摄图像上的操作图像60的区域重叠的情况下，确定在用户视野中的叠加操作图像60的区域中拍摄了操作体。
这里，实际上，在拍摄图像中没有拍摄操作图像60。因此，操作检测单元2100执行将在显示控制单元2040中的操作图像60的显示处理内计算出的三维坐标系80中的操作图像60映射到拍摄图像的二维平面上的处理，以便计算拍摄图像上的操作图像60的区域。
请注意，操作检测单元2100可以将除了显示操作图像60的用户手臂部分以外的任何对象作为操作体，或者可以仅将预定对象作为操作体。在后一种情况下，操作检测单元2100在拍摄图像所包括的区域中，在用户的视野中叠加操作图像60的区域中拍摄了除了用户手臂部分之外的任何对象的情况下，确定已经对操作图像60进行了操作。另一方面，在后者的情况下，操作检测单元2100确定在该区域中是否拍摄了预定的操作体。在该区域中拍摄了预定的操作体的情况下，操作检测单元2100确定已经对操作图像60进行了操作。请注意，作为检测在图像中的预定区域中拍摄了预定对象(预定形状等)的技术，可以使用已知的对象识别技术等。因此，不再重复该方法的详细描述。
这里，操作检测单元2100在用户的手指为操作体的情况下，不仅可以将指尖的形状作为检测对象，还可以将由手指和手背的一部分形成的形状作为检测对象。图21是示出作为检测对象的由手指和手背的一部分形成的形状的图。在图21中，有点的部分是作为检测对象的形状。
在右手和左手的情况下，由手指和手背的一部分形成的形状不同。可以看出，在操作图像60被显示在右臂部分上的情况下，用户用作操作体的手是左手，在操作图像60被显示在左臂部分上的情况下，用户用作操作体的手是右手。因此，操作检测单元2100基于操作图像60显示在左臂部分上还是右臂部分上，来确定要检测的操作体的形状。例如，操作检测单元2100在操作图像60显示在左臂部分上的情况下，将右手的手指和手背的一部分的形状设置为要检测的操作体的形状。根据该方法，不会出现与用于操作图像60的操作的手相反的手被误检测为操作体的情况，能够减少操作体的错误检测。
这里，操作检测单元2100可以仅在用户视野中叠加操作图像60的区域中以预定时间以上的时间连续拍摄了操作体的情况下，确定已经操作了操作图像60。以上述方式，可以防止例如在操作体仅仅越过操作图像60的情况下，操作检测单元2100检测到“已经操作了操作图像60”。
在本方法的情况下，与稍后将描述的检测方法2和3相比，具有不需要用于检测振动的传感器的优点。
《检测方法2》
操作检测单元2100可以在用户手臂部分上施加了振动的情况下检测到已经操作了操作图像60。在这种情况下，用于检测振动的传感器(例如，加速度传感器)附着到用户的手臂部分。例如，在通过传感器测定了预定幅度以上的冲击的情况下，操作检测单元2100检测到已经操作了操作图像60。预定的幅度可以预先设置在操作检测单元2100中，也可以存储在操作检测单元2100可以访问的存储设备中。
这里，用户对操作图像60施加的操作例如是轻击操作图像60的操作。因此，操作检测单元2100在对手臂部分施加了由轻击引起的振动的情况下，可以确定已经操作了操作图像60。在这种情况下，操作检测单元2100分析来自传感器的输出，并且在检测到指示由轻击引起的振动的输出的情况下，确定已经操作了操作图像60。例如，在来自传感器的输出中包括了预定频率以上的高频成分的情况下，操作检测单元2100确定已经轻击了手臂部分。预定频率可以预先设置在操作检测单元2100中，也可以存储在操作检测单元2100可以访问的存储设备中。
上述的用于检测振动的传感器设置在例如设备70中。在这种情况下，例如，操作检测单元2100设置在设备70中。在操作检测单元2100检测到已经操作了操作图像60的情况下，设备70将该事实通知给头戴式显示器30。然而，操作检测单元2100可以设置在设备70的外部。在这种情况下，操作检测单元2100执行与设备70的通信以获取指示来自传感器的输出的信息。传感器可以设置在设备70的外部。
传感器可以设置成与用户的裸露皮肤紧密接触，或者可以设置为不与其紧密接触。例如，在传感器设置在设备70中并且设备70通过衣服附着到用户手臂部分的情况下，传感器设置为不与用户的裸露皮肤紧密接触。
根据该方法，由于用户通过对手臂部分施加振动来操作操作图像60，因此具有以下优点，即当用户执行操作时，用户可以通过触觉来获得具有真实感觉的反馈。具有用户可以通过触觉凭直觉地识别和确认执行操作的位置的优点。另外，用户仅将手放在操作图像60上的事实不会使得操作图像60被操作，并且除非用户有意地轻击手臂部分，否则操作图像60不会被操作。因此，还有一个优点是减少了错误地检测到用户无意的输入的概率。
《检测方法3》
在检测方法3中，操作检测单元2100以与检测方法2中相同的方式检测已经向用户的手臂部分施加了预定振动。在检测到已经向用户的手臂部分施加了预定振动的情况下，第二显示控制单元2060改变当前显示在显示屏幕72上的第一标记50。接下来，操作检测单元2100通过分析从照相机20获得的拍摄图像来确定第一标记50是否已经改变。在第一标记50已经改变的情况下，操作检测单元2100确定已经操作了操作图像60。图22是示出在轻击操作图像60的情况下第一标记50被改变的场景的图。
例如，准备正常时的图像和操作检测时的图像这两种图像作为第一标记50的图像。在检测到已经向用户的手臂部分施加了振动的情况下，第二显示控制单元2060将第一标记50的图像从正常时的图像改变为操作检测时的图像。
这里，第二显示控制单元2060可以改变整个第一标记50，或者可以仅改变第一标记50的一部分。在后一种情况下，例如，第一标记50由用于显示操作图像60的第一部分和用于检测已经操作了操作图像60的第二部分这两个部分形成。在已经向用户的手臂部分施加了预定振动的情况下，第二显示控制单元2060改变第一标记50的第二部分。
除了与检测方法2相同的优点以外，本方法的优点还在于不需要进行用于将由传感器检测到振动的事实发送到头戴式显示器30的通信。因此，头戴式显示器30或设备70不需要具有通信功能。
请注意，在上述检测方法2或检测方法3中使用的传感器不限于振动传感器。例如，传感器可以是压力传感器或电容传感器。压力传感器或电容传感器可以设置在任何位置。例如，压力传感器或电容传感器设置在设备70的显示屏幕72上。例如，压力传感器或电容传感器可以设置在粘附或缠绕在用户的手臂或手上的片材上。例如，压力传感器或电容传感器可以设置在用户的衣服(衣服的袖子)上。
在传感器是电容传感器的情况下，用户触摸佩戴了传感器的位置。结果是，电容传感器检测到静电电容的变化。例如，在传感器是压力传感器的情况下，用户将压力施加到佩戴了传感器的位置。结果是，压力传感器检测到压力。
在使用电容传感器或压力传感器的情况下，上述检测方法2或检测方法3中的操作检测单元2100或设备70，对应于检测出电容传感器中的预定值以上的静电电容变化、或者检测出压力传感器中的预定值以上的压力，执行对应于检测出对用户手臂部分施加的振动而进行的处理。
请注意，用于使传感器执行检测的动作(施加振动的动作)可以通过使用操作体来执行，或者可以通过使用除了操作体之外的对象来执行。
《操作检测单元2100检测操作体的区域》
操作检测单元2100可以在整个操作图像上执行检测操作体的处理，或者可以对拍摄图像的部分区域执行该处理。在后一种情况下，操作检测单元2100在操作图像所包括的区域中，将要检测操作体的区域(在下文中称为检测区域)限制为当操作图像60被操作时预期操作体所位于的区域。
以下，将描述这种限制方法的具体示例。
《限制方法1》
操作检测单元2100在拍摄图像所包括的区域中，将由显示控制单元2040显示操作图像60的区域设置为检测区域。这里，作为“在拍摄图像所包括的区域中，由显示控制单元2040显示操作图像60的区域”，可以使用由显示控制单元2040在操作图像60的显示处理中计算出的区域。请注意，在使用透射式头戴式显示器的情况下，操作图像60不显示在拍摄图像上。在这种情况下，“在拍摄图像所包括的区域中，由显示控制单元2040显示操作图像60的区域”表示显示屏幕32上的操作图像60映射到拍摄图像上而得到的区域。
《限制方法2》
操作检测单元2100基于拍摄图像中拍摄的第一标记50来确定操作体的检测区域。这是因为，当操作操作图像60时操作体的位置位于显示操作图像60的区域中，并且显示操作图像60的区域是基于第一标记50确定的。
例如，首先，操作检测单元2100根据示例实施例1中描述的各种方法来识别第一标记50位于用户的左臂部分还是右臂部分。操作检测单元2100通过考虑用户的左臂部分和右臂部分中第一标记50所位于的手臂部分来限制检测区域。图23是示出检测区域的图，其中，第一标记50位于用户的左臂部分。检测区域110是基于第一标记50定义的坐标系80中的xy平面，其中x方向的位置是以坐标系80的原点为基准的负方向的位置。
在检测区域110中，作为x方向的边的边120或作为y方向的边的边130的长度例如是预先设置的预定长度。然而，操作检测单元2100可以将边120或边130的长度设置为预定长度，然后可以逐渐减小该长度，以逐渐减小检测区域110的大小。具体而言，操作检测单元2100在检测区域110所包含的区域中，在远离中心的区域中预定期间以上没有检测到操作体的情况下，使检测区域110缩小。例如，假定在检测区域110所包括的区域中，在边130减小预定长度时将不包括在检测区域110中的区域在预定期间内没有被操作。在这种情况下，操作检测单元2100将边130减小该预定长度。由于手臂部分的大小或厚度存在个体差异，所以操作检测单元2100逐渐减小检测区域110，以便能够应对这种个体差异。请注意，每个预定值可以预先设置在操作检测单元2100中，或者可以存储在操作检测单元2100可以访问的存储设备中。
根据界面控制系统2000，由于以第一标记50为基准定义了操作图像60的显示位置等，所以如上所述，能够以第一标记50为基准来限制操作体的检测区域。因此，可以容易地限制操作体的检测区域。通过限制操作体的检测区域，减少了检测操作体所需的时间。
在操作图像60被显示在用户的手臂部分上的情况下，如上所述被限制的检测区域的背景是用户的裸露皮肤或衣服袖子。因此，与一般景色为背景的情况相比，背景的颜色或图案更简单。因此，便于检测操作体。
<由操作对象确定单元2120执行的处理的细节>
操作对象确定单元2120在多个操作对象中确定叠加了操作体的操作对象。操作对象确定单元2120将叠加了操作体的操作对象确定为施加了操作的操作对象。
图24是示出操作了描绘选择按钮的操作图像60的场景的图。在图24中，用户的手指100叠加在“否”的区域上。因此，操作对象确定单元2120确定操作对象是按钮“否”。
在使用头戴式显示器的系统中，有通过分析施加到手臂部分的振动来确定操作对象的系统。然而，在使用这样的系统的情况下，需要进行用于预先获得关于“轻击位置与检测到的振动之间的关系”的信息的校准。相反，根据操作对象确定单元2120，可以在不执行校准的情况下确定操作对象。因此，具有界面控制系统2000更容易使用的优点。
这里，操作体可能仅叠加在单个操作对象上，或者可能叠加在多个操作对象上。图25是示出操作了描绘键盘的操作图像60的场景的图。在图25中，用户的手叠加在多个按键上。在这种情况下，仅在“叠加了操作体”的条件下无法确定操作对象。因此，在这种情况下，操作对象确定单元2120在叠加了操作体的多个操作对象中确定被操作的操作对象。以下，将描述其具体方法。
《确定方法1》
操作对象确定单元2120通过使用表示拍摄图像中拍摄的操作体的区域来计算操作点。例如，操作点是指尖或笔尖。操作对象确定单元2120将叠加在操作点上的操作对象确定为施加了操作的操作对象。
图26是示出使用操作点来确定操作对象的场景的图。在图26中，操作点是操作点140。因此，操作对象确定单元2120确定操作对象是T键。
这里，存在操作对象确定单元2120计算操作点的各种方法。例如，操作对象确定单元2120计算表示拍摄图像中拍摄的操作体的区域的中心。
操作对象确定单元2120在表示操作体的区域中将离中心最远的点设置为操作点。
根据上述方法，例如，指尖或笔尖是操作点。然而，例如，在通过用手指轻击手臂部分来操作操作图像60的情况下，可以不是用指尖而是用指肚来轻击手臂部分。因此，操作对象确定单元2120可以计算离操作体的中心最远的点，或者可以将从该点稍微偏移的位置设置为操作点。例如，在这种情况下，预先定义离操作体的中心最远的点与操作点之间的位置关系。
例如，可以将用于确定操作点的标记附着到操作体。在这种情况下，操作对象确定单元2120通过分析拍摄图像来检测用于确定操作点的标记，并将检测到的位置设置为操作点。
用于确定操作点的标记是可以确定其在拍摄图像中的位置的任何标记。表示将哪种类型的标记检测为用于确定操作点的标记的信息(用于确定操作点的标记的形状等)可以预先设置在操作对象确定单元2120中，或者可以存储在操作对象确定单元2120可以访问的存储设备中。
用于确定操作点的标记可以直接附着到操作体，或者可以附着到附着于操作体的物体。在后一种情况下，例如，用户在手指上佩戴附有用于确定操作点的标记的戒指，并且用该手指操作操作图像60。标记可以是设备上显示的图像。例如，用户佩戴具有显示标记的功能的戒指型设备，并操作操作图像60。
《确定方法2》
操作对象确定单元2120基于叠加了操作体的多个操作对象之间的相对位置关系来确定被操作的操作对象。例如，操作对象确定单元2120在叠加了操作体的操作对象中，将俯视观察操作图像60时位于最上部的操作对象确定为被操作的操作对象。例如，在图25或图26中的键盘的例子的情况下，操作对象确定单元2120在叠加了操作体的操作图像60中，将俯视观察时位于最上部的T键确定为被操作的操作对象。请注意，如图25或26所示的俯视观察时的操作图像60例如可以通过如下方法来获得，即裁剪包括在拍摄图像中的操作图像60的区域，并且基于由第一标记50定义的坐标系80执行坐标转换。
这里，操作对象确定单元2120需要识别操作图像中的哪个方向是俯视观察操作图像60时的上方。关于这一事实，如示例实施例1中所述，为了使显示控制单元2040显示操作图像60，预先定义由拍摄图像中拍摄的第一标记50定义的坐标系80与操作图像60的姿势之间的关系。因此，操作对象确定单元2120可以通过使用这种关系，识别操作图像中的哪个方向是俯视观察操作图像60时的上方。在示例实施例1描述的图10所示的例子中，俯视观察操作图像60时的上方是坐标系80的-y方向。
例如，操作对象确定单元2120可以根据叠加了操作图像60的手臂部分是左臂部分还是右臂部分，来改变确定操作对象的方法。具体而言，操作对象确定单元2120在叠加了操作图像60的手臂部分为左臂部分的情况下，在叠加了操作体的操作对象中，将在俯视观察操作图像60时位于最左部的操作对象确定为被操作的操作对象。在操作图像60叠加在左臂部分上的情况下，如果左臂部分自然保持，则在俯视观察操作图像60时的左边的操作对象位于右边的操作对象的前侧。在这种情况下，如果操作体放在位于前侧的操作对象上，则操作体也叠加在位于该操作对象的后侧的操作对象上。另一方面，即使操作体放在位于后侧的操作对象上，操作体也不会叠加在位于前侧的操作对象上。因此，认为在俯视观察操作图像60时位于最左部的操作对象是被操作的操作对象。
出于相同的原因，操作对象确定单元2120在叠加了操作图像60的手臂部分是右臂部分的情况下，在叠加了操作体的操作对象中，将在俯视观察操作图像60时位于最右部的操作对象确定为被操作的操作对象。
这里，与操作体的叠加范围较小的操作对象(例如，被手指轻微覆盖的操作对象)很可能不是被操作的操作对象，即使该操作对象位于最上部。因此，操作对象确定单元2120可以在叠加了操作体的操作对象中，仅针对那些预定比例以上(例如，50％以上)的部分被操作体叠加的操作对象，执行上述确定方法2中的处理。以上述方式，可以防止操作对象确定单元2120错误地将被手指轻微覆盖的操作对象等确定为被操作的操作对象。换句话说，提高了确定操作对象的准确性。
[示例实施例5]
根据示例实施例5的界面控制系统2000例如与示例实施例1同样地在图1中示出。除了下面的描述以外，示例实施例5的界面控制系统2000具有与示例实施例1至4中的任一个界面控制系统2000相同的功能。
示例实施例5的界面控制系统2000在包括在操作图像60中的多个操作对象中，仅将部分操作对象显示在显示屏幕32上。图27是示出描绘键盘的操作图像60的按键的仅一部分叠加在手臂部分上的场景的图。在图27中，在包括在操作图像60中的多个按键中，仅中间行的按键显示在用户的手臂部分上。
如上所述，如果仅显示包括在操作图像60中的多个操作对象的一部分，则可以将每个操作对象显示得较大。因此，用户可以容易地操作操作对象，因此具有提高界面控制系统2000的操作性的优点。
在下文中，将描述由本示例实施例的显示控制单元2040执行的具体处理。
例如，显示控制单元2040计算叠加了操作图像60的用户的手臂部分的姿势，并且仅显示与手臂部分的姿势对应的操作对象。这里，预先定义用户的手臂部分的姿势与要显示的操作对象之间的对应关系。
计算用户的手臂部分的姿势的方法有多种。例如，操作对象确定单元2120将在拍摄图像中拍摄的第一标记50的姿势设置为用户的手臂部分的姿势。例如，操作对象确定单元2120通过使用附着到用户的手臂部分的传感器来计算用户的手臂部分的姿势。例如，传感器是在示例实施例4中描述的用于检测施加到用户的手臂部分的振动的加速度传感器。
将参照图28和图29描述根据第一标记50的姿势来改变要显示的操作对象的示例。图28和图29是示出显示与第一标记50的姿势对应的操作对象的状态的图。在图28中，第一标记50的姿势的z方向指向用户的眼睛。换言之，可以说，用户正从前方观看第一标记50。因此，显示控制单元2040显示由操作图像60描绘的键盘的中间行中的按键。
与之相比，在图29中，第一标记50的姿势的z方向比图28的情况更向上。换言之，可以说，用户正从下侧向上看第一标记50。因此，显示控制单元2040显示由操作图像60描绘的键盘的下一行中的按键。请注意，类似地，在第一标记50的姿势的z方向比图28的情况更向下的情况下，显示控制单元2040显示由操作图像60描绘的键盘的上一行中的按键(未示出)。
为了实现图28和图29的例子中的处理，例如可以预先保持如下信息，即用户的视线方向(俯视观察拍摄图像的方向)和第一标记50的姿势的z方向之间所成角度的范围与键盘的每一行相关联。该信息可以预先设置在显示控制单元2040中，也可以存储在显示控制单元2040可以访问的存储设备中。
例如，在对头戴式显示器30或者设备70进行了预定操作的情况下，操作对象判定单元2120可以根据该操作来确定要显示的操作对象。预定操作例如是按下设置在头戴式显示器30上的按钮或者在设备70的显示屏幕72上执行的轻击操作。
请注意，操作对象确定单元2120可以一直仅显示一部分操作对象，或者可以在显示一部分操作对象的模式和显示所有操作对象的模式之间切换。在后一种情况下，例如，在对头戴式显示器30或者设备70进行了预定操作的情况下，操作对象判定单元2120在模式之间进行切换。
[示例实施例6]
根据示例实施例6的界面控制系统2000例如与示例实施例1同样地在图1中示出。除了下面的描述以外，示例实施例6的界面控制系统2000具有与示例实施例1至5中的任一个界面控制系统2000相同的功能。
示例实施例6的显示控制单元2040将手的图像与操作操作图像60的用户的手所叠加的操作图像60的一部分进行组合，然后显示操作图像60。
图30是示出在手的图像未与操作图像60组合的情况下，俯视观察包括在用户视野中的操作图像60以及操作操作图像60的用户的手的图。在图30的情况下，当从用户的眼睛看时，操作图像60看起来叠加在操作操作图像60的手上。与之相对，在用户操作真实键盘的情况下，用户看到位于键盘上的手，因此放置手的部分键盘被手遮住，因此不会被看到。如上所述，在图30的情况下用户看到的状态与在操作真实键盘的情况下用户看到的状态不同，因此一些用户可能感到不舒服。
图31是示出在手的图像(手图像150)与操作图像60组合的情况下，俯视观察包括在用户视野中的操作图像60以及操作操作图像60的用户的手的图。在图31的情况下，手看起来以与操作真实键盘的情况相同的方式放置在键盘上。因此，与图30的情况相比，在用户眼中看到的状态变得更加自然，因此具有用户更少地感到不舒服的优点。
这里，用户的手的任何图像都可以与操作图像60组合。例如，该图像可以是形似人手的图像，或者可以是形似机器人手的图像。与操作图像60组合的图像可以是手的一部分。例如，显示控制单元2040仅针对用于操作的手指(在图31中是食指)来组合手指的图像，使得图像叠加在手指上。
请注意，显示控制单元2040可以不显示与操作操作图像60的用户的手重叠的操作图像60的一部分，而不是显示手的图像与操作图像60的组合。
[示例实施例7]
图32是示出了根据示例实施例7的界面控制系统2000的框图。在图32中，每个方框不表示硬件单元中的结构，而是表示功能单元中的结构。除了下面的描述以外，示例实施例7的界面控制系统2000具有与示例实施例1至6中的任一个界面控制系统2000相同的功能。
示例实施例7的界面控制系统2000包括校准单元2140和第二显示控制单元2180。校准单元2140对操作体执行校准。稍后将描述第二显示控制单元2180。
作为校准单元2140执行校准的前提，假定在由照相机20生成的拍摄图像中的特定区域中拍摄了操作体。校准单元2140计算关于拍摄图像中的特定区域的色调范围。校准单元2140将计算出的色调范围作为操作体的色调范围存储在色调范围存储单元2160中。请注意，色调范围存储单元2160可以设置在实现界面控制系统2000的计算机1000中，或者可以设置在计算机1000的外部。
示例实施例7的操作检测单元2100、操作对象确定单元2120或这两者使用存储在色调范围存储单元2160中的操作体的色调范围，以便从拍摄图像中检测操作体(用以确定在拍摄图像中是否拍摄了操作体，或者用以计算操作点)。这里，可以通过使用例如已知的对象识别技术来检测操作体。在这种情况下，操作检测单元2100或操作对象确定单元2120在对拍摄图像执行对象识别之前，从拍摄图像中仅提取包括在操作体的色调范围中的区域。对提取的区域执行对象识别。
<使操作体被拍摄在特定区域中的方法>
如上所述，校准单元2140仅在拍摄图像的特定区域中拍摄了操作体时才执行校准。因此，操作体需要被拍摄在特定区域中。
为此，界面控制系统2000包括第二显示控制单元2180。第二显示控制单元2180在显示屏幕32上显示指示要放置操作体的区域的向导图像。校准单元2140对随后由照相机20生成的拍摄图像执行上述校准。作为操作体的色调范围的计算对象的、拍摄图像上的特定区域是与由该向导图像指示的“要放置操作体的区域”相对应的区域。请注意，拍摄图像上的区域和显示屏幕32上的区域之间的对应关系基于关于照相机20的各种参数(视角或焦距)、显示屏幕32和照相机20之间的位置关系等来定义。该对应关系可以由校准单元2140通过使用这样的参数来计算，或者可以被预先定义为设置值。
图33是示出在显示屏幕32上显示的向导图像的第一个图。在图33所示的例子中，第二显示控制单元2180在显示屏幕32上的预定位置(例如，中心)处显示向导图像160。第二显示控制单元2180在向导图像160附近显示说明图像170。说明图像170是包含表示用户要进行的动作的说明的图像。界面控制系统2000的用户以使得操作体包括在向导图像160中的方式放置操作体(例如手指)。校准单元2140计算关于拍摄图像中的与向导图像160对应的区域的色调范围。
在图33的情况下，显示向导图像160的位置是固定的，因此拍摄图像中的色调范围计算对象区域也是固定的。
图34是示出在显示屏幕32上显示的向导图像的第二个图。在图34所示的例子中，向导图像160的位置以及说明图像170的位置和姿势相对于第一标记50的位置和姿势来规定。
在图34的情况下，向导图像160的显示位置不固定，因此拍摄图像中的色调范围计算对象区域也不固定。因此，校准单元2140基于在生成作为校准对象的拍摄图像时的、显示屏幕32上的向导图像160的位置，来计算拍摄图像中的色调范围计算对象区域。
<执行校准的时机>
当校准单元2140执行校准时，需要将操作体放置在特定区域中。这里，校准单元2140可以检测操作体被放置在特定区域中，也可以不进行该检测。在前一种情况下，例如，校准单元2140基于如上所述的传感器中的检测来检测操作体被放置在特定区域中。在这种情况下，用户在操作体被放置在由向导图像160指示的位置处的状态下，执行使得传感器执行检测的动作。例如，在设置加速度传感器作为传感器的情况下，用户轻击由向导图像160指示的位置。校准单元2140对在传感器执行检测的时刻或在接近该检测时刻的时刻生成的拍摄图像进行校准。
校准单元2140可以不检测操作体被放置在特定区域中，或者可以开始执行校准。例如，校准单元2140获取从第二显示控制单元2180显示向导图像160的时间开始经过预定时间之后生成的拍摄图像，并且对该拍摄图像执行校准。在这种情况下，优选的是，到获取该拍摄图像为止的剩余时间(到执行用于校准的成像为止的剩余时间)显示在说明图像170中。
<操作体的色调范围>
校准单元2140基于校准对象拍摄图像中的特定区域的色调来计算操作体的色调范围。例如，校准单元2140计算包括在特定区域中的各个像素的色调，并且通过使用计算出的色调的统计值来规定操作体的色调范围。例如，校准单元2140计算包括在特定区域中的各个像素的色调的平均值μ和标准偏差σ，并将“从μ-kσ以上，到μ+kσ以下”的范围设置为操作体的色调范围。这里，k是任意实数。
图35是表示操作体的色调范围的第一个图。光谱180表示光谱，直方图190表示包括在色调范围计算对象区域中的色调的直方图。直方图190的x轴表示色调。直方图190的y轴表示像素的数量。请注意，为了便于说明，光谱180以单色图示。
<背景的校准>
校准单元2140还可以计算当用户使用界面控制系统2000时作为操作体的背景的区域(在下文中称为背景区域)的色调范围，并且可以通过使用该色调范围来计算操作体的色调范围。具体而言，校准单元2140以与计算操作体的色调范围的方法相同的方式计算背景区域的色调范围。校准单元2140从针对作为操作体的色调范围的计算对象的特定区域计算出的色调范围中，排除包括在背景区域的色调范围中的区域。校准单元2140将作为该排除的结果而剩余的色调范围设置为操作体的色调范围。
图36是表示操作体的色调范围的第二个图。色调范围200是针对放置了操作体的区域计算出的色调范围。色调范围210是针对背景所在的区域计算出的色调范围。校准单元2140将通过从色调范围200中排除色调范围210而剩余的色调范围220设置为操作体的色调范围。
<计算背景的色调范围的方法>
校准单元2140在将背景放置在操作图像的特定区域中的状态下，对背景进行校准。该特定区域与放置操作体的区域可以相同，也可以不相同。在前一种情况下，例如，首先，校准单元2140在将操作体放置在特定区域中的状态下执行校准，以便计算第一色调范围(图36中的色调范围200)。接下来，校准单元2140在将背景区域放置在特定区域中的状态下执行校准，以便计算第二色调范围(图36中的色调范围210)。校准单元2140从第一色调范围中排除第二色调范围，以便计算操作体的色调范围(图36中的色调范围220)。在这种情况下，需要两个拍摄图像来计算操作体的色调范围。
另一方面，在放置操作体的特定区域与放置背景的特定区域不同的情况下，校准单元2140可以通过使用单个拍摄图像来计算操作体的色调范围。例如，校准单元2140将包括在向导图像160中的部分区域作为放置操作体的区域进行处理，并且将包括在向导图像160中的剩余区域作为放置背景的区域进行处理。
图37是示出向导图像160的图。在图36中，向导图像160包括描绘手指形状的部分(区域162)和剩余部分(区域164)。校准单元2140基于区域162的色调计算操作体的色调范围，并且基于区域164的色调计算背景区域的色调范围。校准单元2140通过从针对区域162计算的色调范围中排除针对区域164计算出的色调范围，来计算操作体的最终色调范围。
<硬件结构示例>
例如，示例实施例7的界面控制系统2000的硬件结构与示例实施例1的界面控制系统2000同样地示出在图7中。在本示例实施例中，存储在上述存储单元1080中的每个程序模块还包括用于实现在本示例实施例中描述的每个功能的程序。
<有利效果>
根据本示例实施例，执行预先计算操作体的色调范围的校准，并且在随后的由用户执行的输入操作中，通过使用色调范围来执行操作体的检测。以上述方式，可以高精度且容易地计算操作体。
作为由本示例实施例的界面控制系统2000进行的校准特别有用的情况的例子，有界面控制系统2000被用于多个场所的情况。通常，由于每个场所的照明的颜色等不同，所以即使用户在这些场所中使用相同的操作体(例如，用户的手指)，拍摄图像中拍摄的操作体的色调也可能根据每个场所而不同。在这种情况下，用户针对使用界面控制系统2000的每个场所，对操作体执行校准。以上述方式，即使使用界面控制系统2000的场所改变，也能够高精度地计算操作体。
本示例实施例的界面控制系统2000可以对背景执行校准，以便从操作体的色调范围中排除背景区域的色调范围。
以上述方式，可以从拍摄图像所包括的区域中排除具有包括在背景的色调范围中的色调的区域，然后可以执行用于检测操作体的对象识别。因此，可以更高精度且容易地检测操作体。
<变形例>
由示例实施例7的界面控制系统2000执行的校准可以用于仅计算背景的色调范围。在这种情况下，操作检测单元2100或操作对象确定单元2120从拍摄图像中排除具有包括在背景区域的色调范围中的色调的区域，并且对剩余区域执行对象识别等，以便检测操作体。以上述方式，作为操作体的周边区域的背景区域从拍摄图像中排除，因此可以高精度且容易地检测操作体。
如上所述，虽然已经参考附图描述了本发明的示例实施例，但是这些仅仅是本发明的示例，并且可以采用除了上述结构之外的各种结构。
以下，附上参照实施例的例子。
1.一种界面控制系统，包括：
检测单元，所述检测单元基于从附着到用户的照相机获得的图像，检测附着到用户的身体的第一标记；
显示控制单元，所述显示控制单元基于由所述检测单元检测到的所述第一标记，在用户佩戴的头戴式显示器的显示屏幕上显示操作图像，使得所述操作图像叠加在用户的身体上并被用户视觉识别；以及
操作检测单元，所述操作检测单元确定用户是否操作了所述操作图像。
2.根据1所述的界面控制系统，
其中所述检测单元通过检测所述第一标记来确定所述第一标记的位置、大小或姿势，以及
其中所述显示控制单元基于由所述检测单元确定的所述第一标记的位置、大小或姿势，来确定所述头戴式显示器的所述显示屏幕中的所述操作图像的位置、大小或姿势。
3.根据1或2所述的界面控制系统，其中所述第一标记是显示在附着到用户的手臂部分的设备的显示屏幕上的图像。
4.根据1至3中任一项所述的界面控制系统，其中所述显示控制单元基于从所述照相机获得的图像中拍摄的第一标记的类型来确定要显示的操作图像。
5.根据3所述的界面控制系统，还包括：第二显示控制单元，所述第二显示控制单元响应于对所述设备的用户操作，改变在所述设备的所述显示屏幕上显示的第一标记的类型，
其中所述检测单元确定从获自所述照相机的图像检测到的第一标记的类型，以及
其中所述显示控制单元将当前显示的操作画面改变为与所确定的第一标记的类型对应的操作画面。
6.根据1至5中任一项所述的界面控制系统，其中所述显示控制单元基于用户对所述操作图像执行的操作，来改变要显示的操作图像。
7.根据1至6中任一项所述的界面控制系统，
其中所述第一标记是显示在附着到用户的手臂部分的设备的显示屏幕上的图像，以及
其中所述界面控制系统还包括：第一标记确定单元，所述第一标记确定单元提取从所述照相机获得的图像中的背景的特征，并且基于所提取的特征，确定在所述设备的所述显示屏幕上显示的所述第一标记的形状、图案或颜色。
8.根据1至7中任一项所述的界面控制系统，
其中所述显示控制单元执行：
在所述头戴式显示器的所述显示屏幕上显示第二标记；以及
在所述第二标记与用户通过所述头戴式显示器视觉识别的所述第一标记之间的位置关系成为预定位置关系的情况下显示所述操作图像。
9.根据8所述的界面控制系统，其中所述检测单元从与所述第二标记对应的部分区域中检测所述第一标记，所述第二标记显示在所述头戴式显示器的所述显示屏幕上的部分预定位置处。
10.根据1至9中任一项所述的界面控制系统，
其中所述第一标记是显示在附着到用户的手臂部分的设备的显示屏幕上的图像，
其中所述界面控制系统还包括：第二显示控制单元，所述第二显示控制单元在由检测用户的所述手臂部分的振动的传感器检测到预定振动的情况下，在所述设备的所述显示屏幕上执行预定显示，以及
其中所述操作检测单元在所述预定显示被所述照相机成像的情况下确定用户操作了所述操作图像。
11.根据1至9中任一项所述的界面控制系统，其中所述操作检测单元在由检测用户的所述手臂部分的振动的传感器检测到预定振动的情况下，确定用户操作了所述操作图像。
12.根据1至9中任一项所述的界面控制系统，其中所述操作检测单元在从所述照相机获得的图像所包括的区域中的基于所述第一标记定义的部分区域中检测操作体，以及，在从所述部分区域中检测到所述操作体的情况下确定用户操作了所述操作图像。
13.根据1至12中任一项所述的界面控制系统，所述界面控制系统还包括：操作对象确定单元，在所述操作图像中包括多个操作对象并且对所述操作图像执行操作的用户的手与多个操作对象重叠的情况下，所述操作对象确定单元将多个操作对象中的与用户的手重叠的面积在预定比例或以上的操作对象确定为用户操作了的操作对象。
14.根据1至13中任一项所述的界面控制系统，所述界面控制系统还包括：操作对象确定单元，所述操作对象确定单元在所述操作图像中包括多个操作对象并且对所述操作图像执行操作的用户的手与多个操作对象重叠的情况下，将多个操作对象中的位于最左部或最右部的操作对象确定为用户操作了的操作对象。
15.根据1至14中任一项所述的界面控制系统，其中在用户通过所述头戴式显示器视觉识别的操作图像与操作所述操作图像的用户的手重叠的情况下，所述显示控制单元在所述头戴式显示器的所述显示屏幕上显示操作图像，在所显示的操作图像中在用户的手所在的位置叠加手的图像。
16.根据1至15中任一项所述的界面控制系统，其中所述显示控制单元根据用户的身体的姿势仅显示所述操作图像的一部分。
17.一种界面控制装置，所述界面控制装置包括根据1至16中任一项所述的各单元。
18.一种由计算机执行的界面控制方法，所述方法包括：
检测步骤，基于从附着到用户的照相机获得的图像，检测附着到用户的身体的第一标记；
显示控制步骤，基于在所述检测步骤中检测到的所述第一标记，在用户佩戴的头戴式显示器的显示屏幕上显示操作图像，使得所述操作图像叠加在用户的身体上并被用户视觉识别；以及
操作检测步骤，确定用户是否操作了所述操作图像。
19.根据18所述的界面控制方法，
其中在所述检测步骤中，通过检测所述第一标记来确定所述第一标记的位置、大小或姿势，以及
其中在所述显示控制步骤中，基于在所述检测步骤中确定的所述第一标记的位置、大小或姿势，来确定所述头戴式显示器的所述显示屏幕中的所述操作图像的位置、大小或姿势。
20.根据18或19所述的界面控制方法，其中所述第一标记是显示在附着到用户的手臂部分的设备的显示屏幕上的图像。
21.根据18至20中任一项所述的界面控制方法，其中在所述显示控制步骤中，基于从所述照相机获得的图像中拍摄的第一标记的类型来确定要显示的操作图像。
22.根据20所述的界面控制方法，还包括：第二显示控制步骤，所述第二显示控制步骤响应于对所述设备的用户操作，改变在所述设备的所述显示屏幕上显示的第一标记的类型，
其中在所述检测步骤中，确定从获自所述照相机的图像检测到的第一标记的类型，以及
其中在所述显示控制步骤中，将当前显示的操作画面改变为与所确定的第一标记的类型对应的操作画面。
23.根据18至22中任一项所述的界面控制方法，其中在所述显示控制步骤中，基于用户对所述操作图像执行的操作，来改变要显示的操作图像。
24.根据18至23中任一项所述的界面控制方法，
其中所述第一标记是显示在附着到用户的手臂部分的设备的显示屏幕上的图像，以及
其中所述界面控制方法还包括：第一标记确定步骤，所述第一标记确定步骤提取从所述照相机获得的图像中的背景的特征，并且基于所提取的特征，确定在所述设备的所述显示屏幕上显示的所述第一标记的形状、图案或颜色。
25.根据18至24中任一项所述的界面控制方法，
其中在所述显示控制步骤中，
在所述头戴式显示器的所述显示屏幕上显示第二标记；以及
在所述第二标记与用户通过所述头戴式显示器视觉识别的所述第一标记之间的位置关系成为预定位置关系的情况下显示所述操作图像。
26.根据25所述的界面控制方法，其中在所述检测步骤中，从与所述第二标记对应的部分区域中检测所述第一标记，所述第二标记显示在所述头戴式显示器的所述显示屏幕上的部分预定位置处。
27.根据18至26中任一项所述的界面控制方法，
其中所述第一标记是显示在附着到用户的手臂部分的设备的显示屏幕上的图像，
其中所述界面控制方法还包括：第二显示控制步骤，所述第二显示控制步骤在由检测用户的所述手臂部分的振动的传感器检测到预定振动的情况下，在所述设备的所述显示屏幕上执行预定显示，以及
其中在所述操作检测步骤中，在所述预定显示被所述照相机成像的情况下确定用户操作了所述操作图像。
28.根据18至26中任一项所述的界面控制方法，其中在所述操作检测步骤中，在由检测用户的所述手臂部分的振动的传感器检测到预定振动的情况下，确定用户操作了所述操作图像。
29.根据18至26中任一项所述的界面控制方法，其中在所述操作检测步骤中，在从所述照相机获得的图像所包括的区域中的基于所述第一标记限定的部分区域中检测操作体，以及，在从所述部分区域中检测到所述操作体的情况下确定用户操作了所述操作图像。
30.根据18至29中任一项所述的界面控制方法，所述界面控制方法还包括操作对象确定步骤：在所述操作图像中包括多个操作对象并且对所述操作图像执行操作的用户的手与多个操作对象重叠的情况下，将多个操作对象中的与用户的手重叠的面积在预定比例或以上的操作对象确定为用户操作了的操作对象。
31.根据18至30中任一项所述的界面控制方法，所述界面控制方法还包括操作对象确定步骤：在所述操作图像中包括多个操作对象并且对所述操作图像执行操作的用户的手与多个操作对象重叠的情况下，将多个操作对象中的位于最左部或最右部的操作对象确定为用户操作了的操作对象。
32.根据18至31中任一项所述的界面控制方法，其中在所述显示控制步骤中，在用户通过所述头戴式显示器视觉识别的操作图像与操作所述操作图像的用户的手重叠的情况下，在所述头戴式显示器的所述显示屏幕上显示操作图像，在所显示的操作图像中在用户的手所在的位置叠加手的图像。
33.根据18至32中任一项所述的界面控制方法，其中在所述显示控制步骤中，根据用户的身体的姿势仅显示所述操作图像的一部分。
34.一种程序，所述程序使计算机执行根据18至33中任一项所述的各步骤。
本申请基于2015年5月21日提交的日本专利申请No.2015-103905，并要求其优先权，其全部内容通过引用并入本文。

Claims (19)

1.一种界面控制系统，包括：
检测单元，所述检测单元基于从附着到用户的照相机获得的图像，检测附着到用户的身体的第一标记；
显示控制单元，所述显示控制单元基于由所述检测单元检测到的所述第一标记，在用户佩戴的头戴式显示器的显示屏幕上显示操作图像，使得所述操作图像叠加在用户的身体上并被用户视觉识别；以及
操作检测单元，所述操作检测单元确定用户是否操作了所述操作图像。
2.根据权利要求1所述的界面控制系统，
其中所述检测单元通过检测所述第一标记来确定所述第一标记的位置、大小或姿势，以及
其中所述显示控制单元基于由所述检测单元确定的所述第一标记的位置、大小或姿势，来确定所述头戴式显示器的所述显示屏幕中的所述操作图像的位置、大小或姿势。
3.根据权利要求1或2所述的界面控制系统，其中所述第一标记是显示在附着到用户的手臂部分的设备的显示屏幕上的图像。
4.根据权利要求1至3中任一项所述的界面控制系统，其中所述显示控制单元基于从所述照相机获得的图像中拍摄的第一标记的类型来确定要显示的操作图像。
5.根据权利要求3所述的界面控制系统，还包括：第二显示控制单元，所述第二显示控制单元响应于对所述设备的用户操作，改变在所述设备的所述显示屏幕上显示的第一标记的类型，
其中所述检测单元确定从获自所述照相机的图像检测到的第一标记的类型，以及
其中所述显示控制单元将当前显示的操作图像改变为与所确定的第一标记的类型对应的操作图像。
6.根据权利要求1至5中任一项所述的界面控制系统，其中所述显示控制单元基于用户对所述操作图像执行的操作，来改变要显示的操作图像。
7.根据权利要求1至6中任一项所述的界面控制系统，
其中所述第一标记是显示在附着到用户的手臂部分的设备的显示屏幕上的图像，以及
其中所述界面控制系统还包括：第一标记确定单元，所述第一标记确定单元提取从所述照相机获得的图像中的背景的特征，并且基于所提取的特征，确定在所述设备的所述显示屏幕上显示的所述第一标记的形状、图案或颜色。
8.根据权利要求1至7中任一项所述的界面控制系统，其中所述显示控制单元执行：
在所述头戴式显示器的所述显示屏幕上显示第二标记；以及
在所述第二标记与用户通过所述头戴式显示器视觉识别的所述第一标记之间的位置关系成为预定位置关系的情况下显示所述操作图像。
9.根据权利要求8所述的界面控制系统，其中所述检测单元从与所述第二标记对应的部分区域中检测所述第一标记，所述第二标记显示在所述头戴式显示器的所述显示屏幕上的部分预定位置处。
10.根据权利要求1至9中任一项所述的界面控制系统，
其中所述第一标记是显示在附着到用户的手臂部分的设备的显示屏幕上的图像，
其中所述界面控制系统还包括：第二显示控制单元，所述第二显示控制单元在由检测用户的所述手臂部分的振动的传感器检测到预定振动的情况下，在所述设备的所述显示屏幕上执行预定显示，以及
其中所述操作检测单元在所述预定显示被所述照相机成像的情况下确定用户操作了所述操作图像。
11.根据权利要求1至9中任一项所述的界面控制系统，其中所述操作检测单元在由检测用户的所述手臂部分的振动的传感器检测到预定振动的情况下，确定用户操作了所述操作图像。
12.根据权利要求1至9中任一项所述的界面控制系统，其中所述操作检测单元在从所述照相机获得的图像所包括的区域中的基于所述第一标记定义的部分区域中检测操作体，以及，在从所述部分区域中检测到所述操作体的情况下确定用户操作了所述操作图像。
13.根据权利要求1至12中任一项所述的界面控制系统，所述界面控制系统还包括：操作对象确定单元，在所述操作图像中包括多个操作对象并且对所述操作图像执行操作的用户的手与多个操作对象重叠的情况下，所述操作对象确定单元将多个操作对象中的与用户的手重叠的面积在预定比例或以上的操作对象确定为用户操作了的操作对象。
14.根据权利要求1至13中任一项所述的界面控制系统，所述界面控制系统还包括：操作对象确定单元，在所述操作图像中包括多个操作对象并且对所述操作图像执行操作的用户的手与多个操作对象重叠的情况下，所述操作对象确定单元将多个操作对象中的位于最左部或最右部的操作对象确定为用户操作了的操作对象。
15.根据权利要求1至14中任一项所述的界面控制系统，其中在用户通过所述头戴式显示器视觉识别的操作图像与操作所述操作图像的用户的手重叠的情况下，所述显示控制单元在所述头戴式显示器的所述显示屏幕上显示操作图像，在所显示的操作图像中在用户的手所在的位置叠加手的图像。
16.根据权利要求1至15中任一项所述的界面控制系统，其中所述显示控制单元根据用户的身体的姿势仅显示所述操作图像的一部分。
17.一种界面控制装置，所述界面控制装置包括根据权利要求1至16中任一项所述的各单元。
18.一种由计算机执行的界面控制方法，所述方法包括：
检测步骤：基于从附着到用户的照相机获得的图像，检测附着到用户的身体的第一标记；
显示控制步骤：基于在所述检测步骤中检测到的所述第一标记，在用户佩戴的头戴式显示器的显示屏幕上显示操作图像，使得所述操作图像叠加在用户的身体上并被用户视觉识别；以及
操作检测步骤：确定用户是否操作了所述操作图像。
19.一种程序，所述程序使计算机执行根据权利要求18所述的各步骤。
CN201680029080.0A 2015-05-21 2016-04-18 界面控制系统、界面控制装置、界面控制方法及程序 Active CN107615214B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-103905 2015-05-21
JP2015103905 2015-05-21
PCT/JP2016/062240 WO2016185845A1 (ja) 2015-05-21 2016-04-18 インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN107615214A true CN107615214A (zh) 2018-01-19
CN107615214B CN107615214B (zh) 2021-07-13

Family

ID=57319980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680029080.0A Active CN107615214B (zh) 2015-05-21 2016-04-18 界面控制系统、界面控制装置、界面控制方法及程序

Country Status (4)

Country Link
US (1) US10698535B2 (zh)
JP (1) JP6288372B2 (zh)
CN (1) CN107615214B (zh)
WO (1) WO2016185845A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509430A (zh) * 2018-04-10 2018-09-07 京东方科技集团股份有限公司 智能眼镜及其翻译方法
CN108549487A (zh) * 2018-04-23 2018-09-18 网易（杭州）网络有限公司 虚拟现实交互方法与装置
CN109118538A (zh) * 2018-09-07 2019-01-01 上海掌门科技有限公司 图像呈现方法、系统、电子设备和计算机可读存储介质
CN111198608A (zh) * 2018-11-16 2020-05-26 广东虚拟现实科技有限公司 信息提示方法、装置、终端设备及计算机可读取存储介质
US11107287B2 (en) 2017-10-05 2021-08-31 Sony Corporation Information processing apparatus and information processing method
US11846783B2 (en) 2019-05-17 2023-12-19 Sony Group Corporation Information processing apparatus, information processing method, and program

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10698535B2 (en) * 2015-05-21 2020-06-30 Nec Corporation Interface control system, interface control apparatus, interface control method, and program
CN108027656B (zh) * 2015-09-28 2021-07-06 日本电气株式会社 输入设备、输入方法和程序
US10372229B2 (en) * 2016-02-25 2019-08-06 Nec Corporation Information processing system, information processing apparatus, control method, and program
US9973647B2 (en) 2016-06-17 2018-05-15 Microsoft Technology Licensing, Llc. Suggesting image files for deletion based on image file parameters
US20180095960A1 (en) * 2016-10-04 2018-04-05 Microsoft Technology Licensing, Llc. Automatically uploading image files based on image capture context
JP6790769B2 (ja) * 2016-11-30 2020-11-25 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US20180158244A1 (en) * 2016-12-02 2018-06-07 Ayotle Virtual sensor configuration
JP7020490B2 (ja) 2017-09-20 2022-02-16 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US10705673B2 (en) * 2017-09-30 2020-07-07 Intel Corporation Posture and interaction incidence for input and output determination in ambient computing
EP3489800A1 (de) * 2017-11-27 2019-05-29 EUCHNER GmbH + Co. KG Sicherheitssystem
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
US10977867B2 (en) * 2018-08-14 2021-04-13 Goodrich Corporation Augmented reality-based aircraft cargo monitoring and control system
JP7247519B2 (ja) * 2018-10-30 2023-03-29 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP7053516B2 (ja) 2019-02-15 2022-04-12 株式会社日立製作所 ウェアラブルユーザインタフェース制御システム、それを用いた情報処理システム、および、制御プログラム
US11875013B2 (en) * 2019-12-23 2024-01-16 Apple Inc. Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
US20230419619A1 (en) * 2022-06-27 2023-12-28 Kenneth Perlin Implementing Shared Mixed Reality
US20240219997A1 (en) * 2023-01-03 2024-07-04 Meta Platforms Technologies, Llc Extended Reality User Interfaces for Hand-based Input

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
CN1714388A (zh) * 2002-11-19 2005-12-28 摩托罗拉公司(在特拉华州注册的公司) 以身体为中心的虚拟交互设备与方法
CN104603865A (zh) * 2012-05-16 2015-05-06 丹尼尔·格瑞贝格 一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318652A (ja) * 2001-04-20 2002-10-31 Foundation For Nara Institute Of Science & Technology 仮想入力装置およびプログラム
US20040070563A1 (en) * 2002-10-10 2004-04-15 Robinson Ian Nevill Wearable imaging device
US20060007056A1 (en) * 2004-07-09 2006-01-12 Shu-Fong Ou Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same
GB2448310A (en) * 2007-01-31 2008-10-15 Wilico Wireless Networking Sol Interactive information method and system
US8471868B1 (en) * 2007-11-28 2013-06-25 Sprint Communications Company L.P. Projector and ultrasonic gesture-controlled communicator
JP5250834B2 (ja) * 2008-04-03 2013-07-31 コニカミノルタ株式会社 頭部装着式映像表示装置
WO2010024028A1 (ja) * 2008-08-29 2010-03-04 日本電気株式会社 位置情報入力装置および位置情報入力方法
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
JP2011134127A (ja) 2009-12-24 2011-07-07 Toshiba Corp 情報処理装置およびキー入力方法
WO2011115035A1 (ja) * 2010-03-15 2011-09-22 日本電気株式会社 入力装置、入力方法及びプログラム
JP5790642B2 (ja) * 2010-03-15 2015-10-07 日本電気株式会社 入力装置、入力方法及びプログラム
US9958902B2 (en) * 2010-03-15 2018-05-01 Nec Corporation Input device, input method, and program
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
EP2761362A4 (en) * 2011-09-26 2014-08-06 Microsoft Corp VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY
EP2849035A4 (en) 2012-05-09 2016-05-11 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN105103198A (zh) 2013-04-04 2015-11-25 索尼公司 显示控制装置、显示控制方法以及程序
JPWO2014188798A1 (ja) 2013-05-21 2017-02-23 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof
JP5929933B2 (ja) * 2014-01-16 2016-06-08 カシオ計算機株式会社 表示システム、表示端末、表示方法及びプログラム
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
EP2946266B1 (en) * 2014-03-21 2023-06-21 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
US20150323998A1 (en) * 2014-05-06 2015-11-12 Qualcomm Incorporated Enhanced user interface for a wearable electronic device
KR101909540B1 (ko) * 2014-10-23 2018-10-18 삼성전자주식회사 가상의 입력 영역을 이용한 포터블 디바이스의 사용자 입력 방법
JP6439448B2 (ja) 2015-01-06 2018-12-19 セイコーエプソン株式会社 表示システム、プログラム、及び、表示装置の制御方法
US10698535B2 (en) * 2015-05-21 2020-06-30 Nec Corporation Interface control system, interface control apparatus, interface control method, and program
US9971408B2 (en) * 2016-01-27 2018-05-15 Ebay Inc. Simulating touch in a virtual environment
JP6256497B2 (ja) * 2016-03-04 2018-01-10 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
US10431007B2 (en) * 2016-05-31 2019-10-01 Augumenta Ltd. Method and system for user interaction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
CN1714388A (zh) * 2002-11-19 2005-12-28 摩托罗拉公司(在特拉华州注册的公司) 以身体为中心的虚拟交互设备与方法
CN104603865A (zh) * 2012-05-16 2015-05-06 丹尼尔·格瑞贝格 一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107287B2 (en) 2017-10-05 2021-08-31 Sony Corporation Information processing apparatus and information processing method
CN108509430A (zh) * 2018-04-10 2018-09-07 京东方科技集团股份有限公司 智能眼镜及其翻译方法
CN108549487A (zh) * 2018-04-23 2018-09-18 网易（杭州）网络有限公司 虚拟现实交互方法与装置
CN109118538A (zh) * 2018-09-07 2019-01-01 上海掌门科技有限公司 图像呈现方法、系统、电子设备和计算机可读存储介质
CN111198608A (zh) * 2018-11-16 2020-05-26 广东虚拟现实科技有限公司 信息提示方法、装置、终端设备及计算机可读取存储介质
US11846783B2 (en) 2019-05-17 2023-12-19 Sony Group Corporation Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
WO2016185845A1 (ja) 2016-11-24
US20180150186A1 (en) 2018-05-31
JP6288372B2 (ja) 2018-03-07
US10698535B2 (en) 2020-06-30
JPWO2016185845A1 (ja) 2018-02-15
CN107615214B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN107615214A (zh) 界面控制系统、界面控制装置、界面控制方法及程序
US10095030B2 (en) Shape recognition device, shape recognition program, and shape recognition method
US10324293B2 (en) Vision-assisted input within a virtual world
CN108027654B (zh) 输入设备、输入方法和程序
CN105339870B (zh) 用于提供虚拟输入界面的方法和可穿戴装置
CN105074617B (zh) 三维用户界面装置和三维操作处理方法
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
CN116724285A (zh) 用于控制虚拟和图形元素的微手势
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
EP2977924A1 (en) Three-dimensional unlocking device, three-dimensional unlocking method and program
CN108027656B (zh) 输入设备、输入方法和程序
CN108027655A (zh) 信息处理系统、信息处理设备、控制方法和程序
US11030980B2 (en) Information processing apparatus, information processing system, control method, and program
KR100971667B1 (ko) 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
CN110379019A (zh) 在真实环境的视图中表示兴趣点的方法以及移动设备
JP2001142604A (ja) オブジェクト検証方法及び拡張現実感ディスプレイシステム
CN106909219B (zh) 基于三维空间的交互控制方法和装置、智能终端
US11049306B2 (en) Display apparatus and method for generating and rendering composite images
JP2013168120A (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
CN106095088B (zh) 一种电子设备及其图像处理方法
CN216719062U (zh) 一种环境空间定位装置
JP2024041582A (ja) 情報処理装置、システム、制御方法、およびコンピュータプログラム
CN114003122A (zh) 一种ar界面交互方法与基于该方法的智能指环

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant