CN108027655A - 信息处理系统、信息处理设备、控制方法和程序 - Google Patents

信息处理系统、信息处理设备、控制方法和程序 Download PDF

Info

Publication number
CN108027655A
CN108027655A CN201680053040.XA CN201680053040A CN108027655A CN 108027655 A CN108027655 A CN 108027655A CN 201680053040 A CN201680053040 A CN 201680053040A CN 108027655 A CN108027655 A CN 108027655A
Authority
CN
China
Prior art keywords
image
operating area
operating
information processing
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680053040.XA
Other languages
English (en)
Inventor
则枝真
吉本诚
才田好则
小菅浩挥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN108027655A publication Critical patent/CN108027655A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种信息处理系统(3000)包括标记(3020)。标记(3020)是信息处理系统(3000)的用户身体的任何部分，或者是附着到信息处理系统(3000)的用户的任何对象。信息处理设备(2000)包括操作区域提取单元(2020)和识别单元(2040)。操作区域提取单元(2020)基于标记(3020)的位置从捕捉图像中提取操作区域。识别单元(2040)计算捕捉图像上操作区域中操作体的位置或运动。识别单元(2040)基于计算出的操作体的位置或运动识别输入操作。

Description

信息处理系统、信息处理设备、控制方法和程序
技术领域
本发明涉及信息处理系统、信息处理设备、控制方法和程序。
背景技术
已经开发了一种技术，其中通过相机对空间上用户进行的诸如手势输入的动作来进行成像，分析所生成的捕捉图像，并且因此识别在信息处理设备上用户的输入操作。专利文献1公开了一种技术，其中根据用户手掌的手势(例如，打开手掌的手势)在手掌上显示菜单屏幕或改变菜单屏幕。
专利文献2公开了一种技术，其通过使用显示在头戴式显示器上的虚拟键盘来执行输入。专利文献2公开了一种技术，其中虚拟键盘被固定到真实空间上的对象，因此即使佩戴头戴式显示器的人的头部移动，虚拟键盘的位置也不会改变。
相关文献
专利文献
[专利文献1]美国专利申请公开No.2015/0016777
[专利文献2]PCT日本翻译专利公开No.2015-504616
发明内容
技术问题
在为了识别用户的输入操作而对整个捕捉图像执行图像分析处理的情况下，图像分析处理所需的时间增加。
考虑到这个问题而完成了本发明。本发明的目的在于当从捕捉图像识别用户的输入操作时减轻必要的过程。
问题的解决方案
根据本发明，提供了一种信息处理系统，包括：标记，所述标记是附着到用户的对象，或者是所述用户的身体的一部分；以及信息处理设备。
信息处理设备包括：(1)操作区域提取单元，所述操作区域提取单元基于所述标记的位置从由相机生成的捕捉图像中提取操作区域，以及(2)所述识别单元检测所述操作区域中操作体的位置或运动，并且基于检测到的位置或运动识别输入操作。
根据本发明，提供了一种信息处理设备，其是包括在本发明的信息处理系统中的信息处理设备。
根据本发明，提供了一种由计算机执行的控制方法。该控制方法包括：(1)操作区域提取步骤，基于标记的位置从由相机生成的捕捉图像中提取操作区域；以及(2)识别步骤，检测操作区域中操作体的位置或运动，并基于检测到的位置或运动识别输入操作。
标记是附着到用户的对象，或者是用户身体的一部分。
根据本发明，提供了一种使计算机执行包括在本发明的控制方法中的每个步骤的程序。
本发明的有利效果
根据本发明，提供了一种当从捕捉图像识别用户的输入操作时减轻必要过程的技术。
附图说明
基于下面描述的优选实施例和以下附图，上述目的以及其它目的、特征和优点将变得更加显而易见。
图1是示出根据示例实施例1的信息处理系统的方框图。
图2是概念性地解释信息处理系统的图。
图3是示出实现信息处理设备的计算机的配置的图。
图4是示出具备相机的头戴式显示器的图。
图5是示出由示例实施例1的信息处理设备执行的过程流程的流程图。
图6是示出捕捉图像上的位置的图。
图7是示出捕捉图像中的坐标系上的标记位置的图。
图8是示出以标记为中心的操作区域的图。
图9是示出以与标记分离的位置为中心的操作区域的图。
图10是示出在三维坐标系中操作区域具有由xy平面上的标记限定的预定形状的情况的第一图。
图11是示出在三维坐标系中操作区域具有由xy平面上的标记限定的预定形状的情况的第二图。
图12是示出其中操作区域的姿势根据标记的倾斜而变化的场景的图。
图13是示出操作区域是用户手臂的情况的图。
图14是示出限定操作体的位置的方法的第一图。
图15是示出限定操作体的位置的方法的第二图。
图16是示出包括用户的摇动手指的捕捉图像的图。
图17是示出基于操作体的位置而限定的操作的图。
图18是示出识别输入由操作体的运动所限定的形状的输入操作的情况的图。
图19是示出手势输入的图。
图20是示出由操作区域中的相对位置或运动来指示操作体的位置或运动的场景的图。
图21是示出由整个捕捉图像中的相对位置或运动来指示操作体的位置或运动的场景的图。
图22是示出根据示例实施例2的信息处理系统的方框图。
图23是示出由示例实施例2的信息处理设备执行的过程流程的流程图。
图24是示出由示例实施例3的信息处理设备执行的过程流程的流程图。
图25是示出在以操作区域为基准的位置处显示的操作图像的图。
图26是示出示例的信息处理系统的使用环境的图。
图27是示出候选选择操作的图。
图28是示出确定操作的第一图。
图29是示出确定操作的第二图。
图30是示出确定操作的第三图。
图31是示出取消操作的第一图。
图32是示出取消操作的第二图。
图33是示出取消操作的第三图。
图34是示出改变操作的第一图。
图35是示出改变操作的第二图。
图36是示出改变操作的第三图。
图37是示出改变操作的第四图。
图38是示出改变操作的第五图。
图39是示出改变操作的第六图。
图40是示出滑动条上的输入操作的第一图。
图41是示出滑动条上的输入操作的第二图。
图42是示出滑动条上的输入操作的第三图。
具体实施方式
在下文中，将参考附图描述本发明的示例实施例。在所有附图中，相同的组成元素被赋予相同的附图标记，并且其描述将适当地不被重复。在每个方框图中，除非特别提及，否则每个方框不但指示硬件单元中的配置还指示功能单元中的配置。
[示例实施例1]
图1是示出根据示例实施例1的信息处理系统3000的方框图。信息处理系统3000包括标记3020。标记3020是信息处理系统3000的用户的身体的任何部分，或者是附着到信息处理系统3000的用户的任何对象。稍后将详细描述标记3020。
信息处理设备2000包括操作区域提取单元2020和识别单元2040。操作区域提取单元2020基于标记3020的位置从捕捉图像中提取操作区域。
识别单元2040计算捕捉图像上的操作区域中操作体的位置或运动。操作体是用于用户的操作的任何对象。例如，操作体是用户身体的一部分(手指等)或由用户身体所持的对象(笔等)。
识别单元2040基于计算出的操作体的位置或运动来识别输入操作。输入操作的目标可以是信息处理设备2000或其它设备。
图2是用于概念性地解释信息处理系统3000的图。在图2所示的示例中，将手表式装置10附接到使用信息处理系统3000的用户的手腕。在图2所示的示例中，标记3020是显示在装置10的触摸面板14上的图像(以下称为标记图像)。在图2所示的示例中，操作体是手指30。
操作区域提取单元2020从由相机20生成的捕捉图像中提取操作区域40。识别单元2040计算手指30相对于操作区域40的位置或运动，并且基于该位置或运动识别输入操作。
这里，识别单元2040相对于操作区域40的内部检测手指30。以上述方式，为了计算手指30的位置或运动而要在其处执行图像处理的图像区域比整个捕捉图像窄。因此，减轻了识别输入操作所需的过程。因此，具有减少了识别输入操作所需的时间或减少了识别输入操作所需的计算机资源量的优点。
应注意，参考图2描述的信息处理系统3000的操作是用于更好地理解信息处理系统3000的示例，并且信息处理系统3000的操作不限于上述示例。稍后将描述信息处理系统3000的操作的细节或变化。
<有利的效果>
本示例实施例的信息处理系统3000基于标记3020的位置从捕捉图像中提取操作区域40。识别单元2040计算操作体相对于操作区域的内部的位置或运动。以上述方式，减轻了识别输入操作所需的过程。因此，具有减少了识别输入操作所需的时间或减少了识别输入操作所需的计算机资源量的优点。
根据本示例实施例的信息处理系统3000，与用户通过使用诸如键盘、鼠标或触摸面板的输入装置执行输入操作的情况不同，当用户执行输入操作时，用户不需要触摸输入装置。因此，本示例实施例的信息处理系统3000适合用于需要用户不触摸输入装置的环境中。
需要用户不触摸输入装置的环境包括例如医疗场所或食品处理场所(食品加工场所等)。在这种环境下，用户(医生、护士、急救人员、食品加工工人等)的手需要保持清洁，或者需要在无菌状态下进行工作。在医疗场所，可能会在预期感染的地方进行工作。在这样的环境下，如果用户不得不使用诸如键盘的输入装置，则在执行输入操作时需要用户清洁其手或更换手套，因此降低了工作效率。在这样的环境下，即使不降低工作效率，也存在毫无理由地厌恶去触摸对象的真实情况。
关于需要用户不触摸输入装置的其它环境，存在诸如使用户的手脏的施工场所的环境。如果用户(建筑工人等)触摸输入装置，则输入装置变脏，因此输入装置容易发生故障。存在用户(辐射清洁工作人员等)不希望触摸到周边对象的环境，诸如进行辐射清洁的场所。
在使用本示例实施例的信息处理系统3000的情况下，需要用户不触摸输入装置的环境中(如在如上述各种环境中)，用户可以执行输入操作而不用触摸输入装置。因此，通过使用本示例实施例的信息处理系统3000，可以在各种环境下在计算机上执行伴随着输入操作的工作。
在下文中，将更详细地描述本示例实施例的信息处理设备2000。
<信息处理设备2000的硬件配置的示例>
信息处理设备2000的每个功能配置单元可以通过实现每个功能单元的硬件(例如，硬件电子电路)来实现，或者可以通过硬件和软件的组合来实现(例如，电子电路和用于控制电子电路的程序的组合)。在下文中，将进一步描述信息处理设备2000的每个功能配置单元通过硬件和软件的组合来实现的情况。
计算机1000是诸如头戴式显示器、平板终端、智能手机、个人计算机(PC)或服务器机器等各种计算机。计算机1000可以是被设计为实现信息处理设备2000的专用计算机，或者可以是通用计算机。
图3是示出实现信息处理设备2000的计算机1000的配置的图。计算机1000包括总线1020、处理器1040、存储器1060、存储装置1080和输入/输出接口1100。总线1020是用于在处理器1040、存储器1060和存储装置1080之间传输和接收数据的数据传输路径。然而，将处理器1040等彼此连接的方法不限于使用总线的连接。处理器1040例如是诸如中央处理单元(CPU)或图形处理单元(GPU)的处理器。存储器1060例如是随机存取存储器(RAM)或只读存储器(ROM)。存储装置1080例如是诸如硬盘、固态驱动器(SSD)或存储卡之类的存储装置。存储装置1080可以是诸如RAM或ROM的存储器。
输入/输出接口1100将计算机1000连接到输入和输出装置。在图3中，输入/输出接口1100连接到相机20。相机20是重复执行成像并产生指示每个成像结果的捕捉图像的任何相机。例如，相机20以30帧/秒(fps)的频率执行成像，以便生成由以时间序列排列的多个捕捉图像形成的视频。应注意，相机20可以是二维相机，或者可以是三维相机。
相机20设置在任何位置。例如，相机20附接到附着到用户的对象。附着到用户的对象例如是头戴式显示器或挂在用户的脖子上的职工ID卡。
图4是示出具有相机20的头戴式显示器的图。头戴式显示器100是眼镜型的头戴式显示器。头戴式显示器100的镜头部分是显示装置102。相机20设置在显示装置102附近。以上述方式，包括在由相机20生成的捕捉图像中的景物与位于佩戴头戴式显示器100的用户的视线方向上的景物相同。
相机20的设置位置不限于附着于用户的对象。例如，相机20可以设置在用户在信息处理设备2000上执行输入操作的房间的墙壁上。在后一种情况下，优选的是，成像范围(成像方向或变焦比)可以使用遥控器通过遥控来改变。
存储装置1080存储用于实现信息处理设备2000的各功能的程序模块。处理器1040执行每个程序模块，以实现对应于程序模块的每个功能。处理器1040在将模块读取到存储器1060之后执行该模块。
计算机1000的硬件配置不限于图3中所示的配置。例如，每个程序模块可以存储在存储器1060中。在这种情况下，计算机1000可以不包括存储装置1080。
<过程的流程>
图5是示出由示例实施例1的信息处理设备2000执行的过程流程的流程图。信息处理设备2000获取捕捉图像(S102)。操作区域提取单元2020计算标记3020的位置(S104)。操作区域提取单元2020基于计算出的标记3020的位置从捕捉图像中提取操作区域40(S106)。识别单元2040计算操作区域40中的操作体的位置或运动(S108)。识别单元2040基于计算出的操作体的位置或运动识别输入操作(S110)。
<获取捕捉图像的方法：S102>
信息处理设备2000获取由相机20生成的捕捉图像(S104)。信息处理设备2000获取捕捉图像有多种方法。例如，信息处理设备2000从相机20获取捕捉图像。在这种情况下，信息处理设备2000可通信地连接到相机20。
在相机20将捕捉图像存储在外部存储装置中的情况下，信息处理设备2000从存储装置获取捕捉图像。在这种情况下，信息处理设备2000可通信地连接到存储设备。
应注意，信息处理设备2000可以获取由相机20生成的所有捕捉图像，或者可以仅获取其中的一些。在后一种情况下，例如，信息处理设备2000在由操作区域提取单元2020计算出标记3020的位置的定时以及随后的定时处仅获取操作图像。在这种情况下，标记3020的位置在不使用捕捉图像的情况下计算出。
<计算标记3020位置的方法：S104>
标记3020是能够由操作区域提取单元2020计算其位置的任何对象。要用作标记3020的对象根据操作区域提取单元2020计算标记3020的位置的方法而不同。在下文中，将描述要用作标记3020的对象，同时具体描述计算标记3020位置的方法。应注意，指示由操作区域提取单元2020识别为标记3020的对象的信息可以预先设置在标记3020中，可以存储在可从操作区域提取单元2020访问的存储装置中，或者可由用户设置。操作区域提取单元2020可以将单个对象或多个对象作为标记3020进行处理。
《通过分析捕捉图像进行计算》
操作区域提取单元2020通过分析捕捉图像来计算标记3020的位置。在这种情况下，标记3020是至少可以在由相机20生成的捕捉图像中确定其位置的任何对象。例如，标记3020是可以用于确定三维坐标系的标记。可用于确定三维坐标系的标记例如是增强现实(AR)标记。然而，可以用于确定三维坐标系的标记可以是以恒定方式获得从某个参考点彼此正交的三个方向的标记，并且不限于AR标记。只要能够在捕捉图像中确定其位置，标记3020就不一定用于确定三维坐标系。
在标记3020附着到用户身体的情况下，标记3020可以附着到用户身体的任何位置。例如，标记附着到用户的手臂部分。这里，手臂部分指示从手到肩部的部分。
例如，在这种情况下，标记是显示在附接到用户的手臂部分的装置10的显示器上的图像。装置10是具有在显示器上显示图像的功能的任何电子装置。应注意，装置10可以直接附着到用户的手臂，或者可以通过衣服附着到用户的手臂。
例如，在图2中，标记3020是显示在装置10的触摸面板14上的标记图像。标记图像可以是预先存储在装置10中的图像，或者可以是存储在装置10的外部存储装置中的图像。在后一种情况下，装置10从存储装置取得标记图像，并显示标记图像。
标记3020不限于如上所述显示在设备上。标记3020可以直接绘制在用户的手臂部分上，或者可以绘制在用户的手臂部分上存在的任何对象上。在后一种情况下，例如，标记3020绘制在附着到用户手指的戒指上，附着到用户手腕的腕带上或者用户穿着的衣服袖子上。应注意，标记3020可以用手绘制，或者可以被印刷。标记3020可以是用户身体的特定部分。例如，标记3020是用户的手背。如上所述，在通过不同于装置10上显示的标记图像的对象来实现标记3020的情况下，当使用信息处理系统3000时，装置10可能不被附着。因此，例如，可以降低实现信息处理系统3000所需的成本。
标记3020可以是发光的发光装置(发光二极管(LED)等)。应注意，在标记3020是发光装置并且操作区域提取单元2020基于标记3020确定三维坐标系的情况下，通过使用三个或更多个发光装置来形成标记3020。操作区域提取单元2020计算从捕捉图像中包括的三个或更多个发光装置中的每一个发出的光的位置。操作区域提取单元2020可以基于每个发光装置的位置来确定三维坐标系。应注意，可以使用已知的方法作为通过使用三个或更多个对象来确定三维坐标系的方法，因此将不重复对其具体方法的描述。
为了从捕捉图像中检测标记3020，操作区域提取单元2020使用用于确定作为标记3020进行处理的对象的信息(关于标记3020的形状、尺寸、颜色等的信息；下文称为标记信息)。信息可以预先设置在操作区域提取单元2020中，可以存储在可以从操作区域提取单元2020访问的存储装置中，或者可以由用户设置。
操作区域提取单元2020通过使用标记信息分析捕捉图像来检测捕捉图像中的标记3020。操作区域提取单元2020计算检测到的标记3020的位置。这里，作为从图像内部检测预定对象并计算图像中对象的位置的技术，可以使用各种已知技术。
可以使用指示标记3020的位置的任何方法。例如，标记3020的位置由捕捉图像上的位置(坐标)表示。图6是示出捕捉图像上的位置的图。在图6中，捕捉图像22是捕捉图像。捕捉图像22上的位置由坐标系中限定的坐标表示，该坐标系以捕捉图像22的左上端为原点，捕捉图像22的向右方向为x方向，以及捕捉图像22的向下方向作为y方向。然而，限定捕捉图像22上的位置的方法不限于基于图6所示的坐标系限定位置的方法。
根据通过分析捕捉图像来计算标记3020的位置的方法，仅在标记3020被包括在相机20的成像范围内的情况下由信息处理设备2000识别用户执行的输入操作。在标记3020不包括在相机20的成像范围内的情况下，不识别用户执行的输入操作。因此，用户可以基于标记3020是否包括在相机20的成像范围内而使用信息处理设备2000从其它工件中分离出作品。因此，可以减少输入操作可能被信息处理设备2000错误地检测到的概率。
例如，在手指30进行书写文献工作而移动的情况下，用户使标记3020不被包括在相机20的成像范围中。以上述方式，信息处理设备2000不识别输入操作。
在使用通过分析捕捉图像来计算标记3020的位置的方法的情况下，更优选的是，相机20被设置为在用户的视线方向上捕捉图像(例如，图4中的相机20)。以上述方式，用户可以容易地执行使标记3020进入相机20的成像范围或者标记3020脱离相机20的成像范围的操作。在期望标记3020被包括在相机20的成像范围中的情况下，用户可以使标记3020被包括在用户的视野中。另一方面，在期望标记3020不被包括在相机20的成像范围中的情况下，用户可以使标记3020不被包括在用户的视野中。
《通过检测声音进行计算》
操作区域提取单元2020可以通过使用从标记3020发出的声音来计算标记3020的位置。在这种情况下，标记3020是任何声源。这里，作为基于从声源发出的声音来计算声源位置的技术，可以使用各种已知技术。
例如，在相机20附近设置三个麦克风。麦克风检测从标记3020发出的声音。操作区域提取单元2020基于分别由三个麦克风检测到从标记3020发出的声音的时间点之间的差异而在由三个麦克风的位置限定的坐标系中计算标记3020的坐标。
操作区域提取单元2020通过使用麦克风的位置与相机20的位置之间的关系，以及诸如相机20的视角之类的信息，将由三个麦克风的位置限定的坐标系中的坐标转换成在捕捉图像中限定的坐标系中的坐标。操作区域提取单元2020计算由捕捉图像指示的平面(图6中的xy平面)中的标记3020的位置。应注意，可以使用已知技术作为将某个坐标系中的坐标转换为另一个坐标系中的坐标的方法。设置麦克风和相机20的位置可以被确定为使得由麦克风的位置限定的坐标系等效于或基本上等效于捕捉图像中限定的坐标系。以上述方式，上述坐标转换不是必需的。
图7是示出标记3020在捕捉图像中的坐标系中的位置的图。在图7中，捕捉图像中的坐标系以捕捉图像的左上端为原点，捕捉图像的向右方向为x方向，捕捉图像的向下方向为y方向，以及捕捉图像的平面图方向作为z方向。标记3020在该坐标系中的位置是(x1，y1，z1)。操作区域提取单元2020将捕捉图像22所指示的xy平面上的标记3020的坐标(x1，y1)作为捕捉图像22上的标记3020的位置。
根据基于声音计算标记3020的位置的方法，不一定可以从捕捉图像中检测到标记3020。因此，标记3020可以被设置在不包括在捕捉图像中的位置(例如，装置10的内部)中。标记3020可以小型化。相机20所需的分辨率可以降低。
<提取操作区域40的方法：S106>
操作区域提取单元2020基于计算出的捕捉图像上的标记3020的位置从捕捉图像中提取操作区域40(S106)。操作区域40是以标记3020的位置为基准而限定的区域。例如，操作区域40是以标记3020的位置(例如中心位置)为中心位置的预定形状所限定的区域。预定形状是诸如圆形或矩形之类的任何形状。
图8是示出以标记3020为中心的操作区域40的图。在图8中，操作区域40以标记3020的中心位置作为其中心位置，并且具有其宽度为预定长度w且高度为预定长度h的矩形形状。
然而，由标记3020的位置限定的位置不限于操作区域40的中心位置。例如，诸如操作区域40的左上端的位置可以由标记3020的位置3020限定。
例如，操作区域40可以是其中心位置等存在于与标记3020的位置在预定方向上隔开预定距离的位置处的区域。图9是示出将与标记3020分离的位置作为其中心位置的操作区域40的图。另外，在图9中，操作区域40的形状是宽度为预定长度w且高度为预定长度h的矩形。然而，图9中的操作区域40的中心位置是从标记3020在由箭头41限定的方向上移动距离d的位置。
应注意，在图8和图9中，操作区域40在由捕捉图像指示的平面(图6中的xy平面)中具有预定形状。然而，操作区域40可以在不同于由捕捉图像指示的平面的平面中具有预定形状。
例如，操作区域40可以在由标记3020限定的三维坐标系中的平面上具有预定形状。图10是示出操作区域40在由标记3020限定的三维坐标系中的xy平面上具有预定形状的情况的第一图。以与图8中的操作区域40相同的方式，图10中的操作区域40将标记3020的中心位置作为其中心位置，并且具有宽度为预定长度w且其高度为预定长度h的矩形形状。然而，在图10中，操作区域40在由标记3020限定的坐标系42中的xy平面上具有矩形形状。更具体地，操作区域40将坐标系42的原点作为其中心位置，w作为坐标系42的x轴方向上的长度，并且h作为坐标系42在y轴方向上的长度。
图11是示出操作区域40在由标记3020限定的三维坐标系中的xy平面上具有预定形状的情况的第二图。以与图9中的操作区域40相同的方式，图11中的操作区域40将在由箭头41限定的方向上移动了距标记3020距离d的位置作为其中心位置，并且具有宽度为预定长度w且高度为预定长度h的矩形形状。然而，在图11中，由箭头41指示的方向是坐标系42中的方向。操作区域40将w作为坐标系42的x轴方向上的长度，并且将h作为坐标系42的y轴方向上的长度。
如上所述，通过使用由标记3020限定的坐标系42来提取操作区域40，并且因此操作区域40的姿势跟踪标记3020的姿势的变化。例如，如图11中所示，假定操作区域40被固定成位于用户的手臂上。在这种情况下，如果用户扭转设置有装置10的手腕，则操作区域40的姿势根据扭转而改变。图12是示出操作区域40的姿势根据标记3020的倾斜而变化的场景的图。
如上所述，如果操作区域40的姿势根据标记3020的姿势的变化而改变，则操作区域40被粘贴在恒定位置。例如，在图12中，操作区域40始终粘贴在用户手臂上的恒定位置。因此，从用户的角度来看，手臂上的同一位置总是操作区域40。因此，用户可以使用信息处理设备2000更直观地执行输入操作。
应注意，指示预定形状的信息或指示用作标记3020的中心的位置的信息(例如，与箭头41有关的信息)可以预先设置在操作区域提取单元2020中，可以存储在可从操作区域提取单元2020访问的存储装置中，或者可以由用户设置。在使用标记3020的坐标系42的情况下，标记3020是可用于确定三维坐标的标记(例如，AR标记)。
操作区域40的尺寸(上述宽度w或高度h)可以以绝对值(例如，像素数量)来限定，或者可以以相对值来限定。在后一种情况下，例如，操作区域40的尺寸由捕捉图像的尺寸的相对值指示。捕捉图像的尺寸的相对值例如是捕捉图像的宽度或高度的相对值为1。例如，操作区域40的尺寸可以由标记3020的尺寸的相对值来指示。标记3020的尺寸的相对值例如是标记3020的宽度、高度、对角线或直径的相对值为1。在操作区域40的尺寸被限定为标记3020的尺寸的相对值的情况下，如果标记3020接近相机20，则操作区域40增加，并且如果标记3020远离相机20，则操作区域40减小。
操作区域提取单元2020可以提取包括在捕捉图像中的预定区域作为操作区域40。例如，操作区域提取单元2020提取设置有标记3020的用户的手臂部分的手臂作为操作区域40。图13是示出操作区域40是用户手臂的情况的图。在图13中，手臂32是操作区域40。
操作区域提取单元2020使用用于检测用户手臂的标记3020。例如，操作区域提取单元2020从捕捉图像22提取指示用户的手臂部分的区域(例如，肉色区域)。操作区域提取单元2020通过将标记3020作为区域中的边界来使用户的手和手臂彼此区分开。在图13的情况下，标记3020(标记图像16)被设置在用户的左手腕上。因此，在指示用户的手臂部分的区域中，存在于标记图像16左侧的区域是手臂，而存在于标记图像16右侧的区域是手。例如，在用户的手臂用作操作区域40的情况下，操作区域提取单元2020提取存在于标记图像16左侧的区域作为操作区域40，该区域指示用户的手臂部分(参考图13)。
应注意，用标记3020作为边界的手臂和手的位置关系(哪一侧是手臂，哪一侧是手)取决于设置有标记3020的手臂部分而不同。例如，操作区域提取单元2020通过使用指示标记3020设置在哪个手臂部分上的信息来识别哪个手臂部分上提供了标记3020。该信息可以预先设置在操作区域提取单元2020中，可以存储在可以从操作区域提取单元2020访问的存储装置中，或者可以由用户设置。例如，操作区域提取单元2020可以将指示用户的手臂部分的区域划分为用标记3020作为边界的两个区域，或者可以将分开的区域的较宽区域识别为指示手臂的区域。
应注意，操作区域提取单元2020可以取代手臂而提取手作为操作区域40。
由操作区域提取单元2020提取的作为操作区域40的优选位置可以是例如包括在用户的手臂或手中的区域。与一般的景物相比，人的手臂或手有单调的颜色或图案。因此，人的手臂或手中包括的区域被用作操作区域40，因此操作体的背景的颜色或形状是单调的。因此，识别单元2040可以容易地检测到操作体。
这里，对于人的手或手臂，不要求看到裸露的皮肤，并且可以佩戴手套或长袖套。一般来说，与周围景物相比，手套或衣服的图案具有单调的颜色或形状。因此，类似地，在手套或衣服的图案是操作体的背景的情况下，可以容易地检测到操作体。
应注意，人的手臂或手是作为操作区域40的优选位置的示例，并且操作区域40不限于人的手臂或手中所包括的区域。
<操作体>
存在由识别单元2040作为操作体进行处理的各种对象。例如，识别单元2040将用户的手臂部分的一部分(例如，手指)或由手臂部分所持的对象(例如，笔)用户的手臂部分作为操作体进行处理。在这种情况下，用户通过在相机20的成像范围内移动手指或笔来执行输入操作。
例如，识别单元2040可以附着到对象或用户身体的标记作为操作体进行处理。例如，标记附着到用户的身体(例如手指)。例如，标记附着到用户所持有的对象(例如笔)。例如，标记被附接到附着到用户的对象上。附着到用户的对象例如是附着到用户手指上的戒指。
应注意，在操作区域提取单元2020通过分析捕捉图像来计算标记3020的位置的情况下，分别限定作为标记(作为操作体进行处理)进行处理的对象以及作为标记3020进行处理的对象使得作为操作体进行处理的标记可以与捕捉图像上的标记3020相区别(就外观而言)。例如，在作为标记(作为操作体进行处理)进行处理的对象以及作为标记3020进行处理的对象中，使形状、颜色或图案彼此不同。
指示由识别单元2040作为操作体进行处理的对象的信息可以预先设置在识别单元2040中，可以存储在可从识别单元2040访问的存储装置中，或者可以由用户设置。
应注意，识别单元2040可以将单个对象或多个对象作为操作体进行处理。
由操作区域提取单元2020提取的作为操作区域40的优选位置可以是例如包括在用户的手臂或手中的区域。与一般的景物相比，人的手臂或手有单调的颜色或图案。因此，人的手臂或手中包括的区域被用作操作区域40，因此操作体的背景的颜色或形状是单调的。因此，识别单元2040可以容易地检测到操作体。
这里，对于人的手或手臂，不要求看到裸露的皮肤，并且可以佩戴手套或长袖套。一般来说，与周围景物相比，手套或衣服的图案具有单调的颜色或形状。因此，类似地，在手套或衣服的图案是操作体的背景的情况下，可以容易地检测到操作体。
应注意，人的手臂或手是作为操作区域40的优选位置的示例，并且操作区域40不限于人的手臂或手中所包括的区域。
<计算操作体位置的方法：S108>
识别单元2040从操作区域40检测操作体，并计算操作体的位置(S108)。这里，可以使用已知技术作为检测包括在图像的预定区域中的预定对象的技术。
识别单元2040限定操作体的位置有各种方法。例如，识别单元2040计算指示操作区域40中的操作体的区域。识别单元2040将包括在计算出的区域中的点作为操作体的位置。在这种情况下，操作体的位置可以是指示操作体的区域中包括的任何点。
例如，在操作体是用户身体的一部分或用户所持的对象的情况下，识别单元2040计算指示操作体的区域的中心。识别单元2040将包括在指示操作体的区域中并且离该区域的中心最远的点作为操作体的位置进行处理。根据该方法，例如，指尖或笔尖是操作体的位置。
图14是示出限定操作体的位置的方法的第一图。在图14中，操作体是用户的手。首先，识别单元2040在操作区域40中确定指示用户的手的区域60。接下来，识别单元2040计算区域60的中心62。识别单元2040将包括在区域60中并且离中心62最远的点64作为操作体的位置进行处理。例如，在区域60中存在多个离中心62最远的点的情况下，识别单元2040将多个点中离标记3020最远的点作为操作体的位置进行处理。
这里，例如，如用手指垫进行输入操作的情况那样，存在稍微偏离指尖的位置优选地作为操作体的位置进行处理的情况。因此，识别单元2040可以计算离操作体的中心最远的点64，或者可以设置稍微偏离的位置(例如，在接近标记3020的方向上偏离预定距离的位置)作为操作体的位置。指示离操作体的中心最远的点64与操作体的位置之间的位置关系的信息可以预先设置在识别单元2040中，可以存储在可从识别单元访问的存储装置中2040，或者可以由用户设置。
例如，在操作体是附着到对象或用户身体的标记的情况下，识别单元2040从捕捉图像确定指示标记的区域，并将该区域的中心位置等作为操作体的位置进行处理。
假定识别单元2040通过使用指示要作为操作体检测的对象的参考图像来检测操作体。在这种情况下，可以在该参考图像中预先限定操作体的位置。识别单元2040确定与操作区域40中的参考图像相似的区域。识别单元2040确定对应于在该区域中的参考图像中限定的操作体的位置的点，并将该点作为操作体进行处理。
图15是示出限定操作体的位置的方法的第二图。在这个示例中，操作体是用户的手指。参考图像120是指示用户手指的形状等的参考图像。操作体的位置121是预先在参考图像中限定的操作体的位置。
识别单元2040确定与操作区域40中的参考图像120类似的区域130。区域130指示用户的手指。当参考图像120被映射到区域130上时，识别单元2040确定对应于操作体的位置121的点131。识别单元2040将点131作为操作体的位置进行处理。
关于识别单元2040限定操作体的位置的方法的信息可以预先设置在识别单元2040中，可以存储在可从识别单元2040访问的存储装置中，或者可以由用户设置。
<计算操作体运动的方法：S108>
识别单元2040从捕捉图像上的操作区域40检测操作体，并且计算操作体的运动。识别单元2040可以通过使用多个捕捉图像来计算操作体的运动，或者可以通过使用单个捕捉图像来计算操作体的运动。在前一种情况下，例如，识别单元2040对多个捕捉图像中的每一个执行图像分析，以计算每个捕捉图像中的操作体的位置。识别单元2040使用指示操作体位置变化的信息作为指示操作体运动的信息。指示操作体的位置变化的信息例如是操作体的位置以时间序列排列的信息。
如上所述，识别单元2040可以通过使用单个捕捉图像来计算操作体的运动。在操作体正在移动的情况下，模糊操作体通常被包括在单个捕捉图像中。因此，识别单元2040从包括模糊操作体的单个捕捉图像计算操作体的运动。
图16是示出包括模糊的用户手指的捕捉图像22的图。在捕捉图像22中，用户的手指30模糊，从而从手指30-A移动到手指30-B。识别单元2040计算手指30-A和手指30-B共同的特征点的位置的变化作为操作体的运动。例如，识别单元2040计算由手指30-A的指尖和手指30-B的指尖的位置变化限定的运动50。
<由识别单元2040识别的输入操作：S112>
识别单元2040基于计算出的操作体的位置或运动识别输入操作(S112)。识别单元2040可以识别基于操作体的位置或运动而限定的各种输入操作。在下文中，将描述可由识别单元2040识别的各种输入操作。
《根据操作体的位置限定的输入操作》
由识别单元2040基于操作体的位置识别各种输入操作。例如，识别单元2040基于操作体的位置从多个选项中接收选择一个选项的输入操作(在下文中，选择操作)。例如，选择操作包括选择是或否的操作。
例如，识别单元2040在操作体位于操作区域40的左半部分的情况下识别选择第一选项的操作，并且在操作体位于操作区域40的右半部分的情况下识别选择第二选项的操作。
图17是示出基于操作体的位置而限定的操作的图。在图17中，操作体是手指30。区域44是操作区域40的左半部分，并且是用于选择是的区域。区域46是操作区域40的右半部分，并且是用于选择否的区域。因此，如图17(a)中所示，如果手指30位于区域44中，则识别单元2040识别选择是的选择操作。另一方面，如图17(b)中所示，如果手指30位于区域46中，则识别单元2040识别选择否的选择操作。
这里，为了方便起见，在图17中显示操作区域40，但是操作区域40可能不一定显示。在显示操作区域40的情况下，信息处理系统3000包括将在稍后描述的示例实施例中描述的显示装置3040。将在稍后描述的示例性实施例中描述用于使用显示装置3040显示操作区域40的方法。
在未显示操作区域40的情况下，例如，信息处理系统3000可以将要执行的输入操作或输入操作的结果作为语音输出给用户。在这种情况下，信息处理系统3000包括输出语音的扬声器等。例如，在图14所示的示例中，信息处理系统3000输出“如果选择是，则将手指放在左侧，并且如果选择否，则将手指放在右侧”的语音指导。例如，在用户将手指30放在左半部分中并且识别单元2040识别出输入操作的情况下，信息处理系统3000输出“选择是”的语音指导。
应注意，如图17中所示，划分操作区域40的方法不限于将操作区域划分为诸如左部分和右部分这两个部分的方法。例如，识别单元2040可以将操作区域40划分为诸如上部和下部这两个部分，或者可以将操作区域40划分为诸如上部、下部、右部和左部这四个部分。
由识别单元2040基于操作体的位置识别的输入操作不限于选择操作。将在稍后描述的示例性实施例中描述基于操作体的位置识别的输入操作的其它示例。
《根据操作体的运动限定的输入操作》
识别单元20401)可以基于计算出的操作体的运动来识别输入形状的输入操作，并且2)可以识别对应于计算出的操作体的运动的预定输入操作。在下文中，将描述它们中的每一个。
《基于操作体的运动来识别输入形状的输入操作的情况》
图18是示出识别输入由操作体的运动限定的形状的输入操作的情况的图。在图18(a)中，识别单元2040识别输入由标记的运动50-A指示的形状51或由运动50-B指示的形状52的输入操作。例如，该输入操作用于执行手写。
在图18(b)中，识别单元2040识别输入与操作体的运动不同的形状的输入操作，但识别形状和尺寸由操作体的运动限定的形状。具体地，识别单元2040识别输入将运动50-C的两端作为对角线的两端的矩形形状54或将运动的两端50-C作为直径的两端的圆形形状56的输入操作。例如，该输入操作被用户用来执行指示特定范围的输入(选择操作等)或绘制预定图形。
指示使用图18(a)中所示的方法和图18(b)中所示的方法中的哪一个的信息可以预先设置在识别单元2040中，可以存储在可从识别单元2040访问的存储装置中，或者可以由用户设置。
《识别出对应于操作体的运动的预定输入操作的情况》
对应于计算出的操作体的运动的预定输入操作是基于所谓的手势输入的输入操作。图19是示出手势输入的图。图19(a)示出轻弹动作，图19(b)示出了捏进/捏出动作。应注意，箭头指示操作体的运动。
操作体的运动与对应于该运动的预定输入操作相关的信息可以预先设置在识别单元2040中，可以预先存储在可从识别单元2040访问的存储装置中，或者可以由用户设置。
《执行移动操作体的动作的位置的处理》
识别单元20401)可以仅将操作体的动作识别为输入，而不管执行移动操作体的动作的位置，以及2)可以将操作体的运动和执行移动操作体的动作的位置的组合识别为输入。在前一种情况下，即使在捕捉图像上的任何位置执行移动操作体的动作，操作体的相同动作也指示相同的输入。另一方面，在后一种情况下，对捕捉图像执行移动操作体的动作的位置具有含义。例如，在用户用圆圈输入围绕捕捉图像中包括的特定对象的输入的情况下，不仅诸如圆形的形状而且该圆圈所围绕的内容都具有含义。
在1)的情况下，例如，如上所述，识别单元2040将由识别单元2040计算出的操作体的运动所限定的形状或者由操作体的运动所限定的姿势识别为输入。例如，识别单元2040可以将操作体的相对坐标中的以操作体的运动起点为基准的转变识别为输入。
另一方面，在2)的情况下，识别单元2040将由识别单元2040计算出的捕捉图像上的操作体的坐标中的转变识别为输入。然而，在1)的情况下，以与2)的情况相同的方式，识别单元2040可以将捕捉图像上的操作体的坐标的转变识别为输入。
其中识别单元2040识别输入的方法1)和2)可以预先设置在识别单元2040中，可以存储在可从识别单元2040访问的存储装置中，或者可以由用户设置。
<指示操作体的位置或运动的方法>
可以使用指示由识别单元2040识别的操作体的位置或运动的任何方法。例如，识别单元2040通过使用操作区域40中的相对位置或运动来指示操作体的位置或运动。
图20是示出通过操作区域40的相对位置或运动来指示操作体的位置或运动的场景的图。在图20中，操作区域40由矩形形状指示。
图20(a)示出了将操作体的位置识别为输入操作的情况。在图20(a)中，作为操作体的位置的坐标(x1，y1)是以操作区域40的左上端为原点，以操作区域40的平面图中的向右方向作为x方向，以及以操作区域40的平面图中的向下方向作为y方向的坐标系中的坐标。应注意，操作区域40中的相对位置可以通过由标记3020限定的坐标系42中的坐标来指示。
图20(b)示出了将操作体的动作识别为输入操作的情况。在图20(b)中，操作体的位置按照(x2，y2)、(x3，y3)和(x4，y4)的顺序变化。这些坐标中的每一个都是图20(a)中描述的坐标系中的坐标。操作体的运动由例如以时间序列排列坐标的信息来指示。应注意，箭头指示操作体的轨迹。然而，为了容易看图，在与操作体的实际轨迹偏离的位置绘制箭头。
操作体的位置或运动被指示为操作区域40中的相对位置，因此具有由识别单元2040容易识别用户想要的输入操作的优点。在下文中，将对此描述原因。首先，如图2中所示，假定手指30是操作体，操作区域40存在于用户的手臂32上，并且装置10的触摸面板14上显示的标记图像16是标记3020。在这种情况下，假定用户执行将手指30保持在手臂32上的相同位置的输入操作。在这种情况下，如果用户移动手臂32，则手指30在捕捉图像22中的位置移动。然而，如果手臂32移动，则不仅手指30而且标记图像16也移动，因此手指30在操作区域40中的相对位置不变。因此，由识别单元2040准确地识别用户想要的“手指30保持在相同位置”的输入操作。
指示操作体的位置或运动的方法不限于操作区域40中的相对位置。图21是示出通过整个捕捉图像中的相对位置或运动来指示操作体的位置或运动的场景的图。图21(a)示出了将操作体的位置识别为输入操作的情况。在图21(a)中，作为操作体的位置的坐标(x1，x1)是以捕捉图像22的左上端为原点，以捕捉图像22的平面图中的右方向作为x方向，并且以捕捉图像22的平面图中的向下方向作为y方向的坐标系中的坐标。
图21(b)示出了将操作体的动作识别为输入操作的情况。在图21(b)中，操作体的位置按照(x2，y2)、(x3，y3)和(x4，y4)的顺序变化。这些坐标中的每一个都是图21(a)中描述的坐标系中的坐标。操作体的运动由例如以时间序列排列坐标的信息来指示。应注意，箭头以与图20(b)中相同的方式指示操作体的轨迹。
指示操作体的位置或运动是由操作区域40中的相对位置或运动指示的，还是由整个捕捉图像中的相对位置或运动指示的信息可以预先设置在识别单元2040中，可以存储在可从识别单元2040访问的存储装置中，或者可以由用户设置。
当操作体的运动被识别为输入操作时，在不管执行移动操作体的动作的位置而仅将操作体的运动识别为输入的情况下，操作体的运动可以通过以运动起点作为原点的相对位置来指示。
应注意，上述指示操作体的位置或运动的方法仅是示例。指示操作体的位置或运动的方法可以是能够指示操作体的位置或运动的任何方法，并且不限于上述方法。
<基于操作体的位置和动作中的一个识别输入操作>
识别单元2040基于操作体的位置或运动识别输入操作。这里，有各种确定操作体的位置和动作中的哪一个用于识别输入操作的方法。例如，预先限定操作体的位置和动作中的哪一个用于识别输入操作。这里，指示操作体的位置和运动中的哪一个用于识别输入操作的信息可以预先设置在识别单元2040中，可以存储在可从识别单元2040访问的存储装置中，或者可以由用户设置。
例如，识别单元2040可以基于操作体的运动程度来确定操作体的位置和运动中的哪一个用于识别输入操作。例如，在预定时间内操作体的移动范围的大小小于预定值的情况下，识别单元2040通过使用操作体的位置来识别输入操作。因此，例如，如果用户将操作体保持在特定位置，则由识别单元2040识别指示位置的输入操作。该操作例如是长时间用鼠标或类似的东西按压特定位置的操作。
在这种情况下，由识别单元2040识别为输入操作的操作体的位置由操作体在预定时间内的位置来限定。例如，识别单元2040将操作体在预定时间内的位置中的一个(例如，初始位置或最后位置)作为操作体的位置进行处理。例如，识别单元2040将基于预定时间内的操作体的位置计算出的统计值(平均值或最频繁值)作为操作体的位置进行处理。
另一方面，在操作体在预定时间内的移动范围的大小等于或大于预定值的情况下，识别单元2040通过使用操作体的移动来识别输入操作。
指示预定时间或预定值的信息可以预先设置在识别单元2040中，可以存储在可从识别单元2040访问的存储装置中，或者可以由用户设置。
[示例实施例2]
图22是示出根据示例实施例2的信息处理系统3000的方框图。示例实施例2的信息处理系统3000具有与示例实施例1的信息处理系统3000相同的功能，除了以下描述之外。
示例实施例2的信息处理系统3000包括显示装置3040。显示装置3040是输出图像的任何装置。例如，显示装置3040是诸如投影图像的投影仪之类的装置。例如，显示装置3040是显示图像的显示装置。例如，显示装置是设置在头戴式显示器100上的显示装置102。
示例实施例2的信息处理设备2000包括显示控制单元2060。显示控制单元2060将图像输出到显示装置3040。在本示例实施例中，显示控制单元2060在显示装置3040上显示指示操作区域40的图像。因此，用户可以在视觉上识别操作区域40。在下文中，指示操作区域的图像将被称为操作区域图像。
<过程的流程>
图23是示出示例实施例2的信息处理设备2000执行的过程流程的流程图。图23的流程图包括图5的流程图中的S106与S108之间的S202。在S202中，显示控制单元2060在显示装置3040上显示提取的操作区域图像。
<显示控制单元2060的细节>
显示控制单元2060在显示装置3040上显示操作区域图像的方法包括：显示操作区域图像而不重叠在捕捉图像上的方法；以及显示重叠在捕捉图像上的操作区域图像的方法。在下文中，将描述每种方法。
《显示操作区域图像而不重叠在捕捉图像上的方法》
假定信息处理设备2000通过使用头戴式显示器100来实现，并且头戴式显示器100的显示装置102是透射式显示装置(头戴式显示器100是透射式头戴式显示器)。在这种情况下，显示装置3040由透射式头戴式显示器100的显示装置102(透镜部分)实现。在这种情况下，产生捕捉图像的相机20被提供用于成像与用户眼睛捕捉的景物相同的景物(例如，图4中的相机20)。在使用这种透射式头戴式显示器100的情况下，用户看到在显示装置102的前方看到的真实对象(现实世界的景物)，以便能够识别周边景物，并且景物是与捕捉图像中包括的景物相同。因此，不需要在显示装置102上显示捕捉图像。
因此，显示控制单元2060显示操作区域图像而不重叠在捕捉图像上。具体地，显示控制单元2060将捕捉图像上的操作区域40的位置转换成显示装置102上的位置，并且在显示装置102上在通过转换计算出的位置处显示操作区域图像。
捕捉图像上的坐标与显示装置102上的坐标之间的对应关系可以基于与相机20相关的各种参数(视角或焦距)或者显示装置102与相机20之间的位置关系。对应关系可以由显示控制单元2060通过使用参数等来计算，或者可以预先设置为设置值。
《显示重叠在捕捉图像上的操作区域图像的方法》
在用户不能直接观看周边景物的情况下，或者包括在捕捉图像中的景物与用户眼睛捕捉的景物不同的情况下(在用户视线方向上的相机20未捕捉图像的情况下)，用户在观看捕捉图像的同时执行输入操作。例如，假定信息处理设备2000通过使用头戴式显示器100来实现，并且头戴式显示器100的显示装置102是非透射式显示装置(头戴式显示器100是非透射式头戴式显示器)。在这种情况下，用户无法直接看到周边景物。因此，在显示装置102上显示由在用户视线方向上捕捉图像的相机20产生的捕捉图像。用户通过观看捕捉图像来识别周边景物。因此，用户在观看捕捉图像的同时执行输入操作。
在相机20被设置在用户的职工ID卡等上的情况下，不一定说相机20在用户的视线方向上捕捉图像。在这种情况下，用户在观看由相机20生成的捕捉图像的同时执行输入操作。应注意，在这种情况下，显示装置3040例如由投影仪、托架型显示装置(例如，PC的显示装置)或便携式终端的显示装置来实现。
如上所述，在用户在观看捕捉图像的同时执行输入操作的情况下，捕捉图像被显示在显示装置3040上。因此，显示控制单元2060通过在显示装置3040上显示重叠在捕捉图像上的操作区域图像而显示操作区域图像。在这种情况下，在包括在捕捉图像的区域中，显示控制单元2060将操作区域图像重叠在由操作区域提取单元2020提取操作区域40的区域中。
<操作区域图像>
操作区域图像可以是任何图像。可以使用显示控制单元2060获取操作区域图像的任何方法。例如，操作区域图像可以预先设置在显示控制单元2060中，可以存储在可从显示控制单元2060访问的存储装置中，或者可以由用户设置。显示控制单元2060可以自动生成指示与从捕捉图像提取的操作区域40的形状相同的形状的图像，或者可以将该图像用作操作区域图像。例如，显示控制单元2060生成指示与操作区域40的形状相同的形状的图像作为操作区域图像，并且以预定颜色绘制形状。
<硬件配置>
图3中示出实现示例实施例2的信息处理设备2000的计算机的硬件配置，例如以与示例实施例1中相同的方式。然而，实现本示例实施例的信息处理设备2000的计算机1000的存储装置1080存储用于实现本示例实施例的信息处理设备2000的各功能的程序模块。显示装置3040经由输入/输出接口1100连接到计算机1000。然而，将显示装置3040连接到计算机1000的方法不限于使用输入/输出接口1100的连接方法。例如，显示装置3040可以通过网络连接到计算机1000。在这种情况下，计算机1000包括用于连接到网络的网络接口。
<有利的效果>
根据本示例实施例的信息处理系统3000，用户可以在视觉上识别操作区域。因此，用户可以容易地识别出优选地执行输入操作的位置，并且因此为用户改进信息处理系统3000的可操作性。
<修改示例>
用户可以在视觉上识别操作区域的方法可以是不同于显示操作区域图像的方法的方法。例如，显示控制单元2060可以在显示操作区域图像的位置处输出预定颜色，使得用户可以在视觉上识别操作区域。在显示装置3040上显示捕捉图像的情况下，显示控制单元2060可以改变提取操作区域40的部分中的捕捉图像的颜色或图案，使得用户可以在视觉上识别操作区域40。
[示例实施例3]
图3中示出示例实施例3的信息处理系统3000，例如，以与示例实施例2的信息处理系统3000相同的方式。示例实施例3的信息处理系统3000具有与示例实施例2的信息处理系统3000相同的功能，除了以下描述。然而，示例性实施例3的显示控制单元2060可以不在显示装置3040上显示操作区域图像。
示例实施例3的显示控制单元2060在显示装置3040上显示指示输入操作目标的图像。以上述方式，用户可以在视觉上识别输入操作目标。在下文中，指示输入操作目标的图像将被称为操作图像。
<过程的流程>
图24是示出由示例实施例3的信息处理设备2000执行的过程流程的流程图。首先，信息处理设备2000接收输入操作，该输入操作是将操作图像输出到显示装置3040的触发(S302)。输入操作可以是由识别单元2040识别的输入操作，或者可以是其它输入操作。在后一种情况下，例如，输入操作是连接到信息处理设备2000的输入装置(鼠标、键盘等)上的操作。
接下来，显示控制单元2060将操作图像输出到显示装置3040(S304)。信息处理设备2000通过执行图5或图22中所示的一系列过程来识别对操作目标的输入操作。显示控制单元2060根据由识别单元2040识别的输入操作在显示装置3040上显示操作结果(S306)。
在显示装置3040上显示的操作结果中包括指示下一个输入操作的操作图像的情况下(S308：是)，图24中的过程进行到S102。另一方面，在操作结果中不包括指示下一个输入操作的操作图像的情况下(S308：否)，图24中的过程结束。
应注意，执行S304中的过程的触发不限于S302中的输入操作。例如，S304中的过程可以在启用信息处理设备2000之后自动执行。如上所述，在不使用输入操作作为触发而执行S304的情况下，图24的流程可能不包括S302。
《显示操作图像的位置》
显示控制单元2060在显示装置3040上的任何位置处显示操作图像。例如，显示控制单元2060在以操作区域40的位置作为基准的位置处显示操作图像。更具体地，显示控制单元2060在操作区域40附近显示操作图像，或者显示重叠在操作区域40上的操作图像。图25是示出在以操作区域40为基准的位置处显示的操作图像的图。在图25中，操作图像是选择图像122-1至选择图像122-4。
在图25(a)中，在操作区域40的附近显示每个选择图像122。更具体而言，各选择图像122被显示为布置在比操作区域40的上侧高出预定距离d的位置。应注意，在本文中，“高出预定距离d”由标记3020(标记图像16)限定的坐标系42中的方向和距离来指示。另一方面，在图25(b)中，每个选择图像122被显示为重叠在操作区域40上。
例如，显示控制单元2060可以在任何位置显示操作图像，而不管操作区域40的位置如何。例如，操作图像的位置被预先限定为捕捉图像上的预定位置。
用于限定操作图像的显示位置的信息可以预先设置在显示控制单元2060中，可以存储在可从显示控制单元2060访问的存储装置中，或者可以由用户设置。
用于限定操作图像的显示位置的信息(例如，上述预定距离d)可以被限定为绝对值(例如，像素的数量)，或者可以被限定为相对值。在后一种情况下，例如，操作图像的显示位置由捕捉图像的尺寸的相对值来指示。例如，操作图像的显示位置可以由标记3020的尺寸的相对值来指示。
这里，以操作区域40的位置作为基准来显示操作图像的方法取决于以与示例实施例2中显示操作区域图像的方法相似的方法来显示操作区域图像而不重叠在捕捉图像上还是重叠在捕捉图像上来显示而不同。在下文中，将描述每种方法。
《显示操作区域图像而不重叠在捕捉图像上的方法》
假定根据与操作区域40的位置的关系来限定捕捉图像的位置。在这种情况下，显示控制单元2060基于捕捉图像上的操作区域40的位置与操作图像的位置之间的位置关系，通过使用捕捉图像上操作区域40的位置来计算操作图像的位置。显示控制单元2060将捕捉图像上的操作图像的位置转换为透射式头戴式显示器100的显示装置102上的位置，并且在显示装置102上通过转换而计算出的位置处显示操作图像。
假定捕捉图像的位置被限定为捕捉图像上的预定位置。在这种情况下，显示控制单元2060将捕捉图像上的操作图像的位置转换为透射式头戴式显示装置100的显示装置102上的位置，并且在显示装置102上通过转换而计算出的位置处显示操作图像。
捕捉图像上的坐标与显示装置102上的坐标之间的对应关系可以基于与相机20有关的各种参数(视角或焦距)或者显示装置102与相机20之间的位置关系来限定。
指示操作区域40与捕捉图像上的操作图像之间的位置关系的信息可以预先设置在显示控制单元2060中，可以存储在可从显示控制单元2060访问的存储装置中，或者可以由用户设置。
《显示重叠在捕捉图像上的操作区域图像的方法》
假定根据与操作区域40的位置的关系限定捕捉图像的位置。在这种情况下，显示控制单元2060基于捕捉图像上操作区域40的位置与操作图像的位置之间的位置关系来计算捕捉图像上的操作图像的位置。显示控制单元2060将在该位置处重叠有操作图像的捕捉图像输出到显示装置3040。
假定捕捉图像的位置被限定为捕捉图像上的预定位置。显示控制单元2060将在预定位置处重叠有操作图像的捕捉图像输出到显示装置3040。
应注意，指示操作区域40与捕捉图像上的操作图像之间的位置关系的信息如上所述。
<获取操作图像的方法>
可以使用显示控制单元2060获取操作图像的任何方法。例如，操作图像可以预先设置在显示控制单元2060中，可以存储在可从显示控制单元2060访问的存储装置中，或者可以由用户设置。
<根据输入操作进行的显示>
显示控制单元2060根据由识别单元2040识别的输入操作执行任何过程。显示控制单元2060使显示装置3040执行指示其结果的显示。这里，可以使用由识别单元2040识别的输入操作与根据输入操作由显示装置3040执行的过程之间的任何对应关系。该对应关系可以预先设置在显示控制单元2060中，可以存储在可从显示控制单元2060访问的存储装置中，或者可以由用户设置。
<硬件配置>
图3中示出实现示例实施例3的信息处理设备2000的计算机的硬件配置，例如，以与示例实施例1中相同的方式。然而，实现本示例实施例的信息处理设备2000的计算机1000的存储装置1080存储用于实现本示例实施例的信息处理设备2000的各功能的程序模块。以与示例实施例2中相同的方式，在本示例实施例中，显示装置3040也通过输入/输出接口1100或网络接口连接到计算机1000。
<有利的效果>
根据本示例实施例，关于操作目标的信息从显示控制单元2060输出到显示装置3040。因此，用户可以在参考关于操作目标的信息的同时执行输入操作。以上述方式，为用户改进了信息处理系统3000的便利性。
[示例1]
将通过示例更详细地描述示例实施例3的信息处理系统3000。图26是示出该示例的信息处理系统3000的使用环境的图。在本示例中，信息处理设备2000被内置在头戴式显示器100中。显示装置3040是头戴式显示器100的显示装置102。相机20被设置在显示装置102附近以在用户的视线方向上捕捉图像。用户在左手腕上佩戴装置10。标记3020显示在装置10的触摸面板14上的标记图像16。
本示例的显示控制单元2060在显示装置3040上显示操作区域图像和操作图像。应注意，在本示例中，操作区域40位于用户的左臂32上。
在本示例中，用户执行从显示装置102上显示的多个图像中选择一个图像的操作。在这种情况下，首先，用户执行选择单个图像作为选择候选的候选选择操作。用户对选择候选进行确定操作。因此，作为确定操作目标的选择候选被确定为选择目标，并且对被确定为选择目标的图像执行各种过程。例如，显示控制单元2060在显示装置102的中心处将选择的图像显示为较大。这里，用户可以使用特定图像作为选择候选，然后可以执行将图像返回到图像不是选择候选的状态的操作(在下文中，取消操作)。
<操作1>
图27是示出候选选择操作的图。四个选择图像122被显示在显示装置102上。为了选择选择候选，用户执行其中“手指30在选择图像122-1到选择图像122-4中的任何一个下保持预定时间或更久”的输入操作。识别单元2040识别输入操作。显示控制单元2060响应于输入操作改变显示装置3040上的显示，使得用户识别出作为输入操作目标的选择图像122变为选择候选。
在图27(a)中，用户将手指30保持在选择图像122-2下。这是用于将选择图像122-2设置为选择候选的候选选择操作。识别单元2040识别该候选选择操作。显示控制单元2060响应于输入操作执行将作为选择候选的选择图像122-2的显示位置相比于其它选择图像122稍微向上移动的过程(图27(b))。
<操作2>
图28是示出确定操作的图。用户执行“手指30在接近作为选择候选的选择图像122的方向上移动预定距离或更长”的输入操作。识别单元2040识别输入操作。在图28(a)的情况下，用户使手指30接近选择图像122-2。显示控制单元2060响应于输入操作在显示装置102的中心处将选择图像122-2显示为较大(图28(b))。
<操作3>
将描述上述确定操作的另一示例。显示控制单元2060将其中“手指30保持在操作区域40上端的预定区域(在下文中，上端区域)中”的中的输入操作作为确定操作进行处理。
图29是示出确定操作的第二图。用户将手指30保持在操作区域40的上端区域132达预定时间或更久(图29(a))。识别单元2040识别输入操作。具体而言，在预定时间内生成的各捕捉图像中的全部手指30位置位于上端区域132的情况下，识别单元2040识别输入操作。显示控制单元2060响应于输入操作以与图28(b)中相同的方式执行在显示装置102的中心处将选择图像122显示为较大的过程(图29(b))。
<操作4>
将描述确定操作的又一个示例。显示控制单元2060将其中“手指30的一部分从操作区域40的上端离开去往操作区域40的外部”的输入操作作为确定操作进行处理。
图30是示出确定操作的第三图。用户执行其中“手指30移动使得手指30的一部分从操作区域40的上端离开”的输入操作。识别单元2040识别输入操作。显示控制单元2060响应于输入操作以与图28(b)中相同的方式执行在显示装置102的中心处将选择图像122显示为较大的过程(图29(b))。
这里，存在各种识别其中“手指30的一部分从操作区域40的上端离开去往操作区域40的外部”的输入操作的各种方法。例如，识别单元2040通过识别“手指30的上端触摸操作区域40的上端，然后手指30进一步向上移动”来识别输入操作。例如，识别单元2040通过识别“手指30正在向上移动，并且包括在操作区域40中的手指30的面积减小”来识别输入操作。例如，识别单元2040可以通过识别“手指30包括在操作区域40的上端区域132中”来识别输入操作。
<操作5>
图31是示出取消操作的图。在图31(a)中，用户执行“手指30远离作为选择候选的选择图像122-2达预定距离或更长”的输入操作。识别单元2040识别输入操作。显示控制单元2060响应于输入操作执行“将选择为选择候选的选择图像122-2返回到其中选择图像未被选择作为选择候选的状态”的过程(图31(b))。
<操作6>
将描述取消操作的另一个示例。显示控制单元2060将其中“手指30保持在操作区域40的下端的预定区域(在下文中，下端区域)中”的输入操作作为取消操作进行处理。
图32是示出取消操作的第二图。用户执行其中“手指30保持在操作区域40的下端区域134达预定时间或更久”的输入操作(图32(a))。识别单元2040识别输入操作。具体而言，在预定时间内生成的各捕捉图像中的全部手指30位置位于下端区域134的情况下，识别单元2040识别输入操作。显示控制单元2060响应于输入操作以与图31(b)中相同的方式执行“将选择作为选择候选的选择图像122-2返回到其中选择图像未被选择作为选择候选的状态”的过程(图32(b))。
<操作7>
将描述取消操作的又一个示例。显示控制单元2060将其中“手指30的一部分从操作区域40的下端离开去往操作区域40的外部”的输入操作作为取消操作进行处理。
图33是示出取消操作的第三图。用户执行其中“手指30移动使得手指30的一部分从操作区域40的下端离开”的输入操作(图33(a))。识别单元2040识别输入操作。显示控制单元2060响应于输入操作以与图31(b)中相同的方式执行“将选择作为选择候选的选择图像122-2返回到其中选择图像未被选择作为选择候选的状态”的过程(图33(b))。
这里，存在识别其中“手指30的一部分从操作区域40的下端离开去往操作区域40的外部”的输入操作的各种方法。例如，识别单元2040通过识别“手指30向下移动，然后在操作区域40中未检测到手指30”来识别输入操作。例如，识别单元2040通过识别“在操作区域40的下端处的预定区域中检测到的手指30的面积减小了预定值或更大”来识别输入操作。例如，识别单元2040可以通过识别“手指30包括在操作区域40的下端区域134中”来识别输入操作。
<操作8>
在本示例中，假定除了图27中所示的选择图像122-1到选择图像122-4之外还存在其它选择图像122等。例如，假定包括选择图像122-1到选择图像122-8的八个图像按此顺序制备为选择图像122。在这种情况下，在图27中所示的显示方法等中，全部选择图像122不能一起显示。
因此，用户执行改变在显示装置3040上显示的选择图像122的输入操作(在下文中，改变操作)。例如，用户执行其中“手指30以预定值的速度或更快的速度向左或向右移动”的输入操作。在由识别单元2040识别出该输入操作的情况下，显示控制单元2060改变要在显示装置3040上显示的选择图像122。
图34是示出改变操作的第一图。在图34(a)中，用户执行其中“手指30以预定值的速度或更快的速度在向左方向上移动”的输入操作。识别单元2040识别输入操作。显示控制单元2060响应于输入操作执行将显示装置3040上显示的选择图像122从选择图像122-1到122-4改变为随后选择图像(选择图像122-5到122-8)的过程(图34(b))。
识别单元2040可以通过使用包括手指30的多个捕捉图像来计算每单位时间手指30的位置变化，来计算手指30的速度。例如，假定图34(a)中手指30的运动由以时间序列中的五个连续捕捉图像中的手指30的位置变化来指示。在这种情况下，例如，识别单元2040计算第一捕捉图像中的手指30的位置与第五捕捉图像中的手指30的位置之间的距离，并且通过将该距离除以产生捕捉图像的时间点之间的差值来计算手指30的速度。应注意，可以使用各种技术作为计算包括在视频中的对象的速度的技术，并且因此计算手指30的速度的方法不限于上述方法。
应注意，由识别单元2040根据手指30的速度识别的输入操作可以包括取决于其速度的多种类型的操作。例如，识别单元2040将以下动作识别为不同的输入操作：以低于第一预定速度的速度移动手指30的动作，以第一预定速度或更高并且低于第二预定速度的速度移动手指30的动作，以及以第二预定速度或更高的速度移动手指30的动作。
图35是示出改变操作的第二图。在图35(a)中，显示选择图像122-5到122-8。用户执行其中“手指30以预定值的速度或更快的速度在向右方向上移动”的输入操作。识别单元2040识别输入操作。显示控制单元2060响应于输入操作执行将显示装置3040上显示的选择图像122从选择图像122-5到122-8改变为之前的选择图像(选择图像122-1到122-4)的过程(图33(b))。
<操作9>
将描述改变操作的另一个示例。显示控制单元2060将其中“手指30保持在操作区域40的左端或右端”的输入操作作为改变操作进行处理。
图36是示出改变操作的第三图。用户执行其中“手指30保持在操作区域40的左端处的预定范围(在下文中，左端区域136)达预定时间或更久”的输入操作(图36(a))。识别单元2040识别输入操作。具体而言，在预定时间内生成的各捕捉图像中的全部手指30位置位于左端区域136的情况下，识别单元2040识别输入操作。显示控制单元2060响应于输入操作以与图34(b)中相同的方式执行将显示装置3040上显示的选择图像122从选择图像122-1到122-4改变为随后选择图像(选择图像122-5到122-8)的过程(图36(b))。
图37是示出改变操作的第四图。用户执行其中“手指30保持在操作区域40的右端处的预定范围(在下文中，右端区域138)中达预定时间或更久”的输入操作(图37(a))。识别单元2040识别输入操作。具体而言，在预定时间内生成的各捕捉图像中的全部手指30位置位于右端区域138的情况下，识别单元2040识别输入操作。显示控制单元2060响应于输入操作以与图35(b)中相同的方式进执行将显示装置3040上显示的选择图像122从选择图像122-5到122-8改变为之前的选择图像(选择图像122-1到122-4)的过程(图35(b))。
<操作10>
将描述改变操作的又一个示例。显示控制单元2060将其中“手指30从操作区域40的左端或右端离开去往操作区域40的外部”的输入操作作为改变操作进行处理。
图38是示出改变操作的第五图。用户执行其中“手指30的一部分从操作区域40的左端离开去往操作区域40的外部”的输入操作(图38(a))。识别单元2040识别输入操作。显示控制单元2060响应于输入操作以与图34(b)中相同的方式执行将显示装置3040上显示的选择图像122从选择图像122-1到122-4改变为随后选择图像(选择图像122-5到122-8)的过程(图38(b))。
这里，存在识别其中“手指30的一部分从操作区域40的左端离开去往操作区域40的外部”的输入操作的各种方法。例如，识别单元2040通过识别“手指30的左端触摸操作区域40的左端，然后手指30进一步向左移动”来识别输入操作。例如，识别单元2040通过识别“手指30正在向左移动，并且包括在操作区域40中的手指30的面积减小”来识别输入操作。例如，识别单元2040可以通过识别“手指30包括在操作区域40的左端区域136中”来识别输入操作。
图39是示出改变操作的第六图。用户执行其中“手指30的一部分从操作区域40的右端离开去往操作区域40的外部”的输入操作(图39(a))。识别单元2040识别输入操作。显示控制单元2060响应于输入操作以与图35(b)中相同的方式执行将显示装置3040上显示的选择图像122从选择图像122-5到122-8改变为之前的选择图像(选择图像122-1到122-4)的过程(图39(b))。
这里，存在识别其中“手指30的一部分从操作区域40的右端离开去往操作区域40的外部”的输入操作的各种方法。例如，识别单元2040通过识别“手指30的右端接触操作区域40的右端，然后手指30进一步向右移动”来识别输入操作。例如，识别单元2040通过识别“手指30正在向右移动，并且包括在操作区域40中的手指30的面积减小”来识别输入操作。例如，识别单元2040可以通过识别“手指30包括在操作区域40的右端区域138中”来识别输入操作。
<显示控制单元2060中的输入操作与过程之间的对应关系>
在由识别单元2040识别的输入操作的类型(例如，其中手指30保持在相同位置达预定时间或更久的输入操作)与过程(例如，将选择图像122设置为选择候选的候选选择过程)之间的任何对应关系可以被采用，并且不限于上述对应关系。这种对应关系可以预先设置在信息处理设备2000中，可以存储在可从信息处理设备2000访问的存储装置中，或者可以由用户设置。
例如，在上述示例中，显示控制单元2060将其中“手指30在接近作为选择候选的选择图像122的方向上移动预定距离或更长”的输入操作作为确定操作进行处理，并且将其中“手指30在远离作为选择候选的选择图像122的方向上移动预定距离或更长”的输入操作作为取消操作进行处理。然而，相反，显示控制单元2060可以将其中“手指30在远离作为候选选择的选择图像122的方向上移动预定距离或更长”的输入操作作为确定操作进行处理，并且将其中“手指30在接近作为选择候选的选择图像122的方向上移动预定距离或更长”的输入操作作为取消操作进行处理。
<不改变显示装置3040上的显示的方法的示例>
用户可能希望手指30从操作区域40离开，使得显示装置3040上的显示不被改变。例如，用户可能希望在执行上述每个操作的过程中暂时停止输入操作。例如，如图27(b)中所示，在选择图像122-2是选择候选的状态下，可以期望手指30从操作区域40离开而不执行确定操作或取消操作。
在这种情况下，用户可以执行不被显示控制单元2060作为上述候选选择操作、确定操作、取消操作或改变操作进行处理的动作。例如，用户缓慢移动手指30而从操作区域40的左端或右端离开。这里，术语“缓慢”指示速度小于其中“手指30以预定值的速度或更快的速度向右移动”的输入操作中的预定值。由于手指30的速度小于预定值，所以即使手指30向左或向右移动，这也不被识别为改变操作。然而，在这种情况下，假定显示控制单元2060被设置为不会将“手指30从操作区域40的左端或右端离开”的输入操作作为改变操作进行处理。
假设识别单元2040不仅识别手指30在水平方向和垂直方向上的位置，而且识别手指30位于深度方向上的位置(由标记图像16限定的坐标系42中的z方向上的位置)。换句话说，识别单元2040基于由标记图像16限定的坐标系42中的手指30的三维位置来识别输入操作。
在这种情况下，例如，操作区域提取单元2020提取将由上述平面指示的操作区域40作为底部并且具有预定值的深度的长方体作为操作区域。以上述方式，例如，在与手臂32分开预定值或更长的位置处执行以“手指30在接近作为选择候选的选择图像122的方向上移动预定距离或更长”为内容的动作的情况下，该动作不被识别为输入操作。因此，用户可以使显示控制单元2060通过将手指30与手臂32分开而不执行各种过程。
应注意，可以使用识别单元2040在深度方向上识别手指30的位置的各种方法。例如，假定相机20是三维相机。在这种情况下，识别单元2040可以获取包括在由相机20生成的捕捉图像中的手指30的三维位置，并且因此可以识别手指30在深度方向上的位置。例如，识别单元2040可以基于捕捉图像中包括的手指30的尺寸来估计手指30在深度方向上的位置。例如，识别单元2040基于包括在捕捉图像中的用户的手臂32和手指30的尺寸之间的比率来计算手指30在深度方向上的位置。
显示控制单元2060可以根据包括在操作区域40中的手指30的尺寸而不是识别手指30的三维位置来改变对输入操作的处理。例如，仅在指示手指30在操作区域中的区域比例等于或小于预定值的情形下执行以“手指30在接近作为选择候选的选择图像122的方向上移动预定距离或更长”为内容的动作的情况下，显示控制单元2060将基于该动作识别的输入操作作为取消操作等进行处理。其中“指示手指30在操作区域中的区域比例等于或小于预定值”的情形指示捕捉图像中手指30的尺寸较小。这也指示手指30位于手臂32附近。
另一方面，在指示手指30在操作区域中的区域比例大于预定值的情形下执行以“手指30在接近作为选择候选的选择图像122的方向上移动预定距离或更长”为内容的动作的情况下，显示控制单元2060不会将基于该动作识别的输入操作作为取消操作等进行处理。其中“指示手指30在操作区域中的区域比例大于预定值”的情形指示捕捉图像中手指30的尺寸较大。这也指示手指30位于远离手臂32的位置。
[示例2]
将通过使用另一示例来描述示例实施例3的信息处理设备2000的具体操作。在本示例中，将描述与具有与示例1中的配置相同的配置的信息处理系统3000中的选择图像122上的操作不同的操作。具体地，将描述滑动条上的输入操作。
图40是示出滑动条上的输入操作的第一图。在图40中，在操作区域40中显示滑动条140。滑动条140具有滑块142。在该示例中，如果滑块142向右移动，则图像150被放大，并且如果滑块142向左移动，则图像150被缩小。
用户执行其中“手指30在放置手指30以与手柄142重叠的状态下向右移动”的输入操作(图40(a))。识别单元2040识别输入操作。显示控制单元2060响应于输入操作执行将滑块142被显示的位置改变到手指30移动到的位置的过程(图40(b))。由于滑块142向右移动，所以显示控制单元2060根据滑块142移动的距离(手指30移动的距离)执行放大图像150的过程(图40(b))。
图41是示出滑动条上的输入操作的第二图。用户执行其中“手指30在放置手指30以与手柄142重叠的状态下向左移动”的输入操作(图41(a))。识别单元2040识别输入操作。显示控制单元2060响应于输入操作执行将滑块142被显示的位置改变到手指30移动到的位置的过程(图41(b))。由于滑块142向左移动，所以显示控制单元2060根据滑块142移动的距离(手指30移动的距离)执行缩小图像150的过程(图41(b))。
将描述移动滑块142的操作的其它变化。图42是示出滑动条上的输入操作的第三图。在图42(a)中，用户执行其中“手指30保持在滑动条140上的不显示滑块142的位置处预定时间或更久”的输入操作。识别单元2040识别输入操作。显示控制单元2060响应于输入操作执行将滑块142的显示位置改变为手指30的位置的过程(图42(b))。由于滑块142向右移动，所以显示控制单元2060根据滑块142移动的距离(手指30移动的距离)来执行放大图像150的过程(图42(b))。
应注意，在图42(a)所示的情形中，假定执行将手指30保持在滑块142的左侧而不是其右侧的输入操作。在这种情况下，由于滑块142向左移动，所以显示控制单元2060根据滑块142移动的距离执行缩小图像150的过程。
如上所述，已经参考附图描述了本发明的示例实施例，但是这些仅是本发明的示例，并且可以采用示例实施例和示例实施例以外的各种配置的组合。
例如，由信息处理设备2000根据由识别单元2040识别的输入操作执行的过程不限于由显示控制单元2060执行的显示装置3040的控制。例如，信息处理设备2000可以执行各种过程，诸如复制各种数据的过程、删除数据的过程、加密数据的过程、再现数据的过程以及根据由识别单元2040识别的输入操作启用应用程序的过程。
例如，假定在示例实施例1中，文件浏览器被显示在显示装置3040上，并且选择图像122(参考图27等)是分别指示文件的图标。在这种情况下，例如，如果作为确定操作目标的图标是文档文件，则信息处理设备2000启用诸如文档文件查看器软件之类的应用程序，并且利用启用的应用程序打开文档文件。类似地，如果作为确定操作目标的图标是音乐文件或运动图像文件，则信息处理设备2000启用诸如音乐或视频播放软件之类的应用程序，并且利用启用的应用程序来再现音乐文件或运动图像文件。类似地，如果作为确定操作目标的图标是应用程序的图标，则信息处理设备2000启用该应用程序。
类似地，在示例1中，限定了用于删除过程的输入操作等。在这种情况下，例如，如果用户在其中特定选择图像122是选择候选的状态下执行用于删除过程的输入操作，则信息处理设备2000删除对应于作为选择候选的选择图像122的数据。
上述每个过程的执行结果不一定显示在显示装置3040上。
以下，添加参考实施例的示例。
1.一种信息处理系统，包括：
标记，所述标记是附着到用户的对象或者是所述用户的身体的一部分；以及
信息处理设备，
其中，所述信息处理设备包括：
操作区域提取单元，所述操作区域提取单元基于所述标记的位置从由相机生成的捕捉图像中提取操作区域，以及
识别单元，所述识别单元计算所述操作区域中操作体的位置或运动，并且基于计算出的位置或运动识别输入操作。
2.根据1所述的信息处理系统，
其中，所述标记是附着到所述用户的手臂部分的对象，以及
其中，所述操作区域是所述手臂部分上的区域。
3.根据1所述的信息处理系统，其中所述标记是在附着到所述用户的装置的显示器上显示的图像。
4.根据1至3中任一项所述的信息处理系统，其中，所述识别单元识别对应于所述操作体的速度的输入操作。
5.根据1至4中任一项所述的信息处理系统，还包括：
显示图像的显示装置，
其中，所述信息处理设备包括显示控制单元，所述显示控制单元在所述显示装置上显示指示所述操作区域的操作区域图像。
6.根据5所述的信息处理系统，
其中，所述显示装置是透射式头戴式显示器的显示装置，
其中，所述显示控制单元基于所述捕捉图像上的位置与所述显示装置上的位置之间的对应关系，将所述捕捉图像上的所述操作区域图像的位置转换为所述显示装置上的位置，并且在所述显示装置上的通过转换获得的位置处显示所述操作区域图像。
7.根据5所述的信息处理系统，
其中，所述显示装置是非透射头戴式显示器或投影仪的显示装置，并且
其中，所述显示控制单元在所述显示装置上显示所述捕捉图像，在提取所述操作区域的位置处将所述操作区域图像重叠到所述捕捉图像上。
8.根据5至7中任一项所述的信息处理系统，
其中，所述显示控制单元执行：
在所述显示装置上显示作为指示输入操作目标的图像的操作目标图像，以及
响应于由所述识别单元识别的输入操作来改变所述显示装置上的显示。
9.根据8所述的信息处理系统，
其中，所述识别单元识别以下操作：
将所述操作体定位在所述操作目标图像附近；
使所述操作体接近所述操作目标图像；
使所述操作体远离所述操作目标图像；
使所述操作体从所述操作区域离开的操作；或者
将所述操作体定位在所述操作区域的一端的预定范围内的区域内。
10.根据9所述的信息处理系统，
其中所述显示控制单元执行以下过程：
根据识别出将所述操作体定位在所述操作目标图像附近的操作，将所述操作目标图像设置为选择候选；以及
在所述操作目标图像是所述选择候选的状态下，响应于识别出以下任何一项将所述选择候选确定为选择目标：使所述操作体接近所述选择候选的输入操作，将所述操作体定位在所述操作区域的上端的预定区域中的操作，以及使所述操作体从所述操作区域的上端离开去往外部的操作。
11.根据10所述的信息处理系统，其中在所述操作目标图像是所述选择候选的状态下，所述显示控制单元响应于识别出以下任何一项，执行将作为所述选择候选的所述操作目标图像改变为其中所述操作目标图像不是所述选择候选的状态的过程：使所述操作体远离所述选择候选的操作，将所述操作体定位在所述操作区域的下端的预定区域中的操作，以及使所述操作体从所述操作区域的下端离开去往外部的操作。
12.根据8至11中任一项所述的信息处理系统，
其中，所述识别单元识别以预定值的速度或更快的速度移动所述操作体的操作，并且
其中，所述显示控制单元响应于识别出以预定值的速度或更快的速度移动所述操作体的操作，执行将显示在所述显示装置上的所述操作目标图像改变为另一操作目标图像的过程。
13.根据8至12中任一项所述的信息处理系统，
其中，所述显示控制单元在所述显示装置上显示指示滑动条的操作目标图像，
其中，所述识别单元识别将所述操作体与所述滑动条的滑块重叠且所述操作体沿着所述滑动条的条移动的输入操作，并且
其中，所述显示控制单元将所述滑动条的滑块的显示位置改变为所述操作体移动到的位置。
14.一种信息处理设备，包括：
操作区域提取单元，所述操作区域提取单元基于标记的位置从由相机生成的捕捉图像中提取操作区域；以及
识别单元，所述识别单元计算所述操作区域中操作体的位置或运动，并且基于计算出的位置或运动来识别输入操作；
其中，所述标记是附着到用户的对象或者是所述用户的身体的一部分。
15.根据14所述的信息处理设备，
其中，所述标记是附着到所述用户的手臂部分的对象，并且
其中，所述操作区域是所述手臂部分上的区域。
16.根据14所述的信息处理设备，其中，所述标记是在附着到所述用户的装置的显示器上显示的图像。
17.根据14至16中任一项所述的信息处理设备，其中，所述识别单元识别对应于所述操作体的速度的输入操作。
18.根据14至17中任一项所述的信息处理设备，还包括显示控制单元，所述显示控制单元在显示装置上显示指示所述操作区域的操作区域图像。
19.根据18所述的信息处理设备，
其中，所述显示装置是透射式头戴式显示器的显示装置，
其中，所述显示控制单元基于所述捕捉图像上的位置与所述显示装置上的位置之间的对应关系，将所述捕捉图像上的所述操作区域图像的位置转换为所述显示装置上的位置，并且在所述显示装置上的通过转换获得的位置处显示所述操作区域图像。
20.根据18所述的信息处理设备，
其中，所述显示装置是非透射头戴式显示器或投影仪的显示装置，并且
其中，所述显示控制单元在所述显示装置上显示所述捕捉图像，在提取所述操作区域的位置处将所述操作区域图像重叠到所述捕捉图像上。
21.根据18至20中任一项所述的信息处理设备，
其中，所述显示控制单元执行：
在所述显示装置上显示作为指示输入操作目标的图像的操作目标图像；以及
响应于由所述识别单元识别的输入操作来改变所述显示装置上的显示。
22.根据21所述的信息处理设备，
其中，所述识别单元识别以下操作：
将所述操作体定位在所述操作目标图像附近；
使所述操作体接近所述操作目标图像；
使所述操作体远离所述操作目标图像；
使所述操作体从所述操作区域离开的操作；或者
将所述操作体定位在所述操作区域的一端的预定范围内的区域内。
23.根据22所述的信息处理设备，
其中，所述显示控制单元执行以下过程：
根据识别出将所述操作体定位在所述操作目标图像附近的操作，将所述操作目标图像设置为选择候选；以及
在所述操作目标图像是所述选择候选的状态下，响应于识别出以下任何一项将所述选择候选确定为选择目标：使所述操作体接近所述选择候选的输入操作，将所述操作体定位在所述操作区域的上端的预定区域中的操作，以及使所述操作体从所述操作区域的上端离开去往外部的操作。
24.根据23所述的信息处理设备，其中，在所述操作目标图像是所述选择候选的状态下，所述显示控制单元响应于识别出以下任何一项，执行将作为所述选择候选的所述操作目标图像改变为其中所述操作目标图像不是所述选择候选的状态的过程：使所述操作体远离所述选择候选的操作，将所述操作体定位在所述操作区域的下端的预定区域中的操作，以及使所述操作体从所述操作区域的下端离开去往外部的操作。
25.根据21至24中任一项所述的信息处理设备，
其中，所述识别单元识别以预定值的速度或更快的速度移动所述操作体的操作，并且
其中，所述显示控制单元响应于识别出以预定值的速度或更快的速度移动所述操作体的操作，执行将显示在所述显示装置上的所述操作目标图像改变为另一操作目标图像的过程。
26.根据21至25中任一项所述的信息处理设备，
其中，所述显示控制单元在所述显示装置上显示指示滑动条的操作目标图像，
其中，所述识别单元识别将所述操作体与所述滑动条的滑块重叠且所述操作体沿着所述滑动条的条移动的输入操作，并且
其中，所述显示控制单元将所述滑动条的滑块的显示位置改变为所述操作体移动到的位置。
27.一种由计算机执行的控制方法，包括：
操作区域提取步骤，基于标记的位置从由相机生成的捕捉图像中提取操作区域；以及
识别步骤，计算所述操作区域中操作体的位置或运动，以及基于计算出的位置或运动来识别输入操作，
其中，所述标记是附着到用户的对象或者是所述用户的身体的一部分。
28.根据27所述的控制方法，
其中，所述标记是附着到所述用户的手臂部分的对象，以及
其中，所述操作区域是所述手臂部分上的区域。
29.根据27所述的控制方法，其中，所述标记是在附着到所述用户的装置的显示器上显示的图像。
30.根据27至29中任一项所述的控制方法，其中，在所述识别步骤中，识别对应于所述操作体的速度的输入操作。
31.根据27至30中任一项所述的控制方法，还包括显示控制步骤，用于在显示装置上显示指示所述操作区域的操作区域图像。
32.根据31所述的控制方法，
其中，所述显示装置是透射式头戴式显示器的显示装置，
其中，在所述显示控制步骤中，基于所述捕捉图像上的位置与所述显示装置上的位置之间的对应关系，将所述捕捉图像上的所述操作区域图像的位置转换为所述显示装置上的位置，并且在所述显示装置上的通过转换获得的位置处显示所述操作区域图像。
33.根据31所述的控制方法，
其中，所述显示装置是非透射头戴式显示器或投影仪的显示装置，以及
其中，在所述显示控制步骤中，在所述显示装置上显示所述捕捉图像，在提取所述操作区域的位置处将所述操作区域图像重叠到所述捕捉图像上。
34.根据31至33中任一项所述的控制方法，
其中，在所述显示控制步骤中，
在所述显示装置上显示作为指示输入操作目标的图像的操作目标图像；以及
响应于由所述识别单元识别的输入操作来改变所述显示装置上的显示。
35.根据34所述的控制方法，
其中，在所述识别步骤中，识别以下操作：
将所述操作体定位在所述操作目标图像附近；
使所述操作体接近所述操作目标图像；
使所述操作体远离所述操作目标图像；
使所述操作体从所述操作区域离开的操作；或者
将所述操作体定位在所述操作区域的一端的预定范围内的区域内。
36.根据35所述的控制方法，
其中，在所述显示控制步骤中，执行以下过程：
根据识别出将所述操作体定位在所述操作目标图像附近的操作，将所述操作目标图像设置为选择候选；以及
在所述操作目标图像是所述选择候选的状态下，响应于识别出以下任何一项将所述选择候选确定为选择目标：使所述操作体接近所述选择候选的输入操作，将所述操作体定位在所述操作区域的上端的预定区域中的操作，以及使所述操作体从所述操作区域的上端离开去往外部的操作。
37.根据36所述的控制方法，其中，在所述显示控制步骤中，在所述操作目标图像是所述选择候选的状态下，响应于识别出以下任何一项，执行将作为所述选择候选的所述操作目标图像改变为其中所述操作目标图像不是所述选择候选的状态的过程：使所述操作体远离所述选择候选的操作，将所述操作体定位在所述操作区域的下端的预定区域中的操作，以及使所述操作体从所述操作区域的下端离开去往外部的操作。
38.根据33至37中任一项所述的控制方法，
其中，在所述识别步骤中，识别以预定值的速度或更快的速度移动所述操作体的操作，并且
其中，在所述显示控制步骤中，响应于识别出以预定值的速度或更快的速度移动所述操作体的操作，执行将显示在所述显示装置上的所述操作目标图像改变为另一操作目标图像的过程。
39.根据34至38中任一项所述的控制方法，
其中，在所述显示控制步骤中，在所述显示装置上显示指示滑动条的操作目标图像，
其中，在所述识别步骤中，识别将所述操作体与所述滑动条的滑块重叠且所述操作体沿着所述滑动条的条移动的输入操作，并且
其中，在所述显示控制步骤中，将所述滑动条的所述滑块的显示位置改变为所述操作体已经移动到的位置。
40.一种使计算机执行以下操作的程序：
操作区域提取步骤，基于标记的位置从由相机生成的捕捉图像中提取操作区域；以及
识别步骤，计算所述操作区域中操作体的位置或运动，以及基于所述计算出的位置或运动来识别输入操作，
其中，所述标记是附着到用户的对象或者是所述用户的身体的一部分。
41.根据40所述的程序，
其中，所述标记是附着到所述用户的手臂部分的对象，并且
其中，所述操作区域是所述手臂部分上的区域。
42.根据40所述的程序，其中，所述标记是在附着到所述用户的装置的显示器上显示的图像。
43.根据40至42中任一项所述的程序，其中在所述识别步骤中，识别对应于所述操作体的速度的输入操作。
44.根据40至43中任一项所述的程序，使所述计算机进一步执行在显示装置上显示指示所述操作区域的操作区域图像。
45.根据44所述的程序，
其中，所述显示装置是透射式头戴式显示器的显示装置，
其中，在所述显示控制步骤中，基于所述捕捉图像上的位置与所述显示装置上的位置之间的对应关系，将所述捕捉图像上的所述操作区域图像的位置转换为所述显示装置上的位置，并且在所述显示装置上的通过转换获得的位置处显示所述操作区域图像。
46.根据44所述的程序，
其中，所述显示装置是非透射头戴式显示器或投影仪的显示装置，并且
其中，在所述显示控制步骤中，在所述显示装置上显示所述捕捉图像，在提取所述操作区域的位置处将所述操作区域图像重叠到所述捕捉图像上。
47.根据44至46中任一项所述的程序，
其中，在所述显示控制步骤中，
在所述显示装置上显示作为指示输入操作目标的图像的操作目标图像，以及
响应于在所述识别步骤中识别的输入操作来改变所述显示装置上的显示。
48.根据47所述的程序，
以下操作：
将所述操作体定位在所述操作目标图像附近；
使所述操作体接近所述操作目标图像；
使所述操作体远离所述操作目标图像；
使所述操作体从所述操作区域离开的操作；或者
将所述操作体定位在所述操作区域的一端的预定范围内的区域内。
49.根据48所述的程序，
其中，在所述显示控制步骤中，执行以下过程：
根据识别出将所述操作体定位在所述操作目标图像附近的操作，将所述操作目标图像设置为选择候选；以及
在所述操作目标图像是所述选择候选的状态下，响应于识别出以下任何一项将所述选择候选确定为选择目标：使所述操作体接近所述选择候选的输入操作，将所述操作体定位在所述操作区域的上端的预定区域中的操作，以及使所述操作体从所述操作区域的上端离开去往外部的操作。
50.根据49所述的程序，其中，在所述显示控制步骤中，在所述操作目标图像是所述选择候选的状态下，响应于识别出以下任何一项，执行将作为所述选择候选的所述操作目标图像改变为其中所述操作目标图像不是所述选择候选的状态的过程：使所述操作体远离所述选择候选的操作，将所述操作体定位在所述操作区域的下端的预定区域中的操作，以及使所述操作体从所述操作区域的下端离开去往外部的操作。
51.根据46至50中任一项所述的程序，
其中，在所述识别步骤中，识别以预定值的速度或更快的速度移动所述操作体的操作，并且
其中，在所述显示控制步骤中，响应于识别出以预定值的速度或更快的速度移动所述操作体的操作，执行将显示在所述显示装置上的所述操作目标图像改变为另一操作目标图像的过程。
52.根据47至51中任一项所述的程序，
其中，在所述显示控制步骤中，在所述显示装置上显示指示滑动条的操作目标图像，
其中，在所述识别步骤中，识别将所述操作体与所述滑动条的滑块重叠且所述操作体沿着所述滑动条的条移动的输入操作，并且
其中，在所述显示控制步骤中，将所述滑动条的所述滑块的显示位置改变为所述操作体已经移动到的位置。
本申请基于并要求2016年2月25日提交的日本专利申请第2016-033960号的优先权；其全部内容以引用方式并入本文中。

Claims (16)

1.一种信息处理系统，包括：
标记，所述标记是附着到用户的对象，或者是所述用户的身体的一部分；以及
信息处理设备，
其中，所述信息处理设备包括：
操作区域提取单元，所述操作区域提取单元基于所述标记的位置从由相机生成的捕捉图像中提取操作区域，以及
识别单元，所述识别单元计算所述操作区域中操作体的位置或运动，并且基于计算出的位置或运动识别输入操作。
2.根据权利要求1所述的信息处理系统，
其中，所述标记是附着到所述用户的手臂部分的对象，以及
其中，所述操作区域是所述手臂部分上的区域。
3.根据权利要求1所述的信息处理系统，其中，所述标记是在附着到所述用户的装置的显示器上显示的图像。
4.根据权利要求1至3中任一项所述的信息处理系统，其中，所述识别单元识别对应于所述操作体的速度的输入操作。
5.根据权利要求1至4中任一项所述的信息处理系统，还包括显示图像的显示装置，
其中，所述信息处理设备包括显示控制单元，所述显示控制单元在所述显示装置上显示指示所述操作区域的操作区域图像。
6.根据权利要求5所述的信息处理系统，
其中，所述显示装置是透射式头戴式显示器的显示装置，
其中，所述显示控制单元基于所述捕捉图像上的位置与所述显示装置上的位置之间的对应关系，将所述捕捉图像上的所述操作区域图像的位置转换为所述显示装置上的位置，并且在所述显示装置上的通过转换获得的位置处显示所述操作区域图像。
7.根据权利要求5所述的信息处理系统，
其中，所述显示装置是非透射头戴式显示器或投影仪的显示装置，以及
其中，所述显示控制单元在所述显示装置上显示所述捕捉图像，在提取所述操作区域的位置处将所述操作区域图像重叠到所述捕捉图像上。
8.根据权利要求5至7中任一项所述的信息处理系统，
其中，所述显示控制单元执行：
在所述显示装置上显示作为指示输入操作目标的图像的操作目标图像；以及
响应于由所述识别单元识别的输入操作来改变所述显示装置上的显示。
9.根据权利要求8所述的信息处理系统，
其中，所述识别单元识别以下操作：
将所述操作体定位在所述操作目标图像附近；
使所述操作体接近所述操作目标图像；
使所述操作体远离所述操作目标图像；
使所述操作体从所述操作区域离开的操作；或者
将所述操作体定位在所述操作区域的一端的预定范围内的区域内。
10.根据权利要求9所述的信息处理系统，
其中，所述显示控制单元执行以下过程：
根据识别出将所述操作体定位在所述操作目标图像附近的操作，将所述操作目标图像设置为选择候选；以及
在所述操作目标图像是所述选择候选的状态下，响应于识别出以下任何一项将所述选择候选确定为选择目标：使所述操作体接近所述选择候选的输入操作，将所述操作体定位在所述操作区域的上端的预定区域中的操作，以及使所述操作体从所述操作区域的上端离开去往外部的操作。
11.根据权利要求10所述的信息处理系统，其中，在所述操作目标图像是所述选择候选的状态下，所述显示控制单元响应于识别出以下任何一项，执行将作为所述选择候选的所述操作目标图像改变为其中所述操作目标图像不是所述选择候选的状态的过程：使所述操作体远离所述选择候选的操作，将所述操作体定位在所述操作区域的下端的预定区域中的操作，以及使所述操作体从所述操作区域的下端离开去往外部的操作。
12.根据权利要求8至11中任一项所述的信息处理系统，
其中，所述识别单元识别以预定值的速度或更快的速度移动所述操作体的操作，以及
其中，所述显示控制单元响应于识别出以预定值的速度或更快的速度移动所述操作体的操作，执行将显示在所述显示装置上的所述操作目标图像改变为另一操作目标图像的过程。
13.根据权利要求8至12中任一项所述的信息处理系统，
其中，所述显示控制单元在所述显示装置上显示指示滑动条的操作目标图像，
其中，所述识别单元识别将所述操作体与所述滑动条的滑块重叠且所述操作体沿着所述滑动条的条移动的输入操作，以及
其中，所述显示控制单元将所述滑动条的滑块的显示位置改变为所述操作体移动到的位置。
14.一种信息处理设备，包括：
操作区域提取单元，所述操作区域提取单元基于标记的位置从由相机生成的捕捉图像中提取操作区域；以及
识别单元，所述识别单元计算所述操作区域中操作体的位置或运动，并且基于计算出的位置或运动来识别输入操作；
其中，所述标记是附着到用户的对象或者是所述用户的身体的一部分。
15.一种由计算机执行的控制方法，包括：
操作区域提取步骤，基于标记的位置从由相机生成的捕捉图像中提取操作区域；以及
识别步骤，计算所述操作区域中操作体的位置或运动，以及基于计算出的位置或运动来识别输入操作，
其中，所述标记是附着到用户的对象或者是所述用户的身体的一部分。
16.一种使计算机执行以下操作的程序：
操作区域提取步骤，基于标记的位置从由相机生成的捕捉图像中提取操作区域；以及
识别步骤，计算所述操作区域中操作体的位置或运动，以及基于计算出的位置或运动来识别输入操作，
其中，所述标记是附着到用户的对象或者是所述用户的身体的一部分。
CN201680053040.XA 2016-02-25 2016-09-20 信息处理系统、信息处理设备、控制方法和程序 Pending CN108027655A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016033960 2016-02-25
JP2016-033960 2016-02-25
PCT/JP2016/077731 WO2017145423A1 (ja) 2016-02-25 2016-09-20 情報処理システム、情報処理装置、制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN108027655A true CN108027655A (zh) 2018-05-11

Family

ID=59685004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053040.XA Pending CN108027655A (zh) 2016-02-25 2016-09-20 信息处理系统、信息处理设备、控制方法和程序

Country Status (5)

Country Link
US (1) US10372229B2 (zh)
JP (1) JP6350772B2 (zh)
CN (1) CN108027655A (zh)
TW (1) TWI716527B (zh)
WO (1) WO2017145423A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245611A (zh) * 2019-06-14 2019-09-17 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN110286825A (zh) * 2019-06-26 2019-09-27 西南民族大学 一种基于机器视觉的机械式全自动鼠标操作装置
US20200356162A1 (en) * 2019-05-10 2020-11-12 Apple Inc. Electronic Device System With Controllers
CN113168221A (zh) * 2018-11-26 2021-07-23 索尼集团公司 信息处理设备、信息处理方法和程序

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11199946B2 (en) 2017-09-20 2021-12-14 Nec Corporation Information processing apparatus, control method, and program
JP7087364B2 (ja) * 2017-12-04 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
CN109582147B (zh) * 2018-08-08 2022-04-26 亮风台（上海）信息科技有限公司 一种用于呈现增强交互内容的方法以及用户设备
US11321926B2 (en) * 2019-12-18 2022-05-03 Apple Inc. Method and device for content placement
JP7556245B2 (ja) 2020-09-17 2024-09-26 富士フイルムビジネスイノベーション株式会社 情報処理装置、表示装置、情報処理システムおよびプログラム
JPWO2023276058A1 (zh) * 2021-06-30 2023-01-05
US11775077B2 (en) * 2021-12-03 2023-10-03 Htc Corporation Method for activating system function in response to triggered icon on hand object, host, and computer readable storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011257943A (ja) * 2010-06-08 2011-12-22 Canon Inc ジェスチャ操作入力装置
JP2012079138A (ja) * 2010-10-04 2012-04-19 Olympus Corp ジェスチャ認識装置
US20120262558A1 (en) * 2006-11-02 2012-10-18 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
CN102763057A (zh) * 2010-03-15 2012-10-31 日本电气株式会社 输入设备、方法和程序
JP2013114467A (ja) * 2011-11-29 2013-06-10 Nikon Corp 表示システム、表示方法およびプログラム
JP2013190491A (ja) * 2012-03-12 2013-09-26 Panasonic Corp ネガ型フォトレジスト組成物
US8624836B1 (en) * 2008-10-24 2014-01-07 Google Inc. Gesture-based small device input

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008156437A1 (en) * 2006-04-10 2008-12-24 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US7719563B2 (en) * 2003-12-11 2010-05-18 Angus Richards VTV system
WO2007135913A1 (ja) * 2006-05-19 2007-11-29 Hitachi Medical Corporation 医用画像表示装置及びプログラム
JP4921113B2 (ja) * 2006-10-25 2012-04-25 キヤノン株式会社 接触提示装置及び方法
WO2009024971A2 (en) * 2007-08-19 2009-02-26 Saar Shai Finger-worn devices and related methods of use
US9082213B2 (en) * 2007-11-07 2015-07-14 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
GB0808061D0 (en) * 2008-05-02 2008-06-11 Univ Teeside Computer input device
EP2590396B1 (en) * 2010-07-02 2018-08-08 Sony Interactive Entertainment Inc. Information processing system and information processing method
JP5746529B2 (ja) * 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
JP5765133B2 (ja) * 2011-08-16 2015-08-19 富士通株式会社 入力装置、入力制御方法及び入力制御プログラム
JP2015504616A (ja) 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
US9566004B1 (en) * 2011-11-22 2017-02-14 Kinevid, Llc. Apparatus, method and system for measuring repetitive motion activity
JP2013190941A (ja) 2012-03-13 2013-09-26 Nikon Corp 情報入出力装置、及び頭部装着表示装置
JP5174978B1 (ja) * 2012-04-26 2013-04-03 株式会社三菱東京Ｕｆｊ銀行 情報処理装置、電子機器およびプログラム
US20130324857A1 (en) * 2012-05-31 2013-12-05 The Regents Of The University Of California Automated system for workspace, range of motion and functional analysis
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
KR20140078853A (ko) * 2012-12-18 2014-06-26 삼성전자주식회사 증강현실시스템 및 그 제어방법
US9417762B2 (en) * 2013-01-09 2016-08-16 Northrop Grumman Systems Corporation System and method for providing a virtual immersive environment
JP2014228945A (ja) * 2013-05-20 2014-12-08 コニカミノルタ株式会社 領域指定装置
JP6270495B2 (ja) * 2014-01-16 2018-01-31 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
WO2015139750A1 (en) * 2014-03-20 2015-09-24 Telecom Italia S.P.A. System and method for motion capture
JP6390163B2 (ja) * 2014-05-16 2018-09-19 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP6674192B2 (ja) * 2014-05-28 2020-04-01 ソニー株式会社 画像処理装置と画像処理方法
US10061023B2 (en) * 2015-02-16 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Object detection apparatus and method
US9823755B2 (en) * 2015-02-26 2017-11-21 Konica Minolta Laboratory U.S.A., Inc. Method and apparatus for interactive user interface with wearable device
JP5932082B2 (ja) * 2015-03-04 2016-06-08 株式会社東芝 認識装置
US9503687B2 (en) * 2015-03-24 2016-11-22 Fuji Xerox Co., Ltd. Personalized meeting event capture using egocentric tracking in smart spaces
WO2016185845A1 (ja) * 2015-05-21 2016-11-24 日本電気株式会社 インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
WO2017057107A1 (ja) * 2015-09-28 2017-04-06 日本電気株式会社 入力装置、入力方法、及びプログラム
WO2017138545A1 (ja) * 2016-02-08 2017-08-17 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
JP6256497B2 (ja) * 2016-03-04 2018-01-10 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
US9986113B2 (en) * 2016-05-06 2018-05-29 Fuji Xerox Co., Ltd. Information processing apparatus and nontransitory computer readable medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262558A1 (en) * 2006-11-02 2012-10-18 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US8624836B1 (en) * 2008-10-24 2014-01-07 Google Inc. Gesture-based small device input
CN102763057A (zh) * 2010-03-15 2012-10-31 日本电气株式会社 输入设备、方法和程序
JP2011257943A (ja) * 2010-06-08 2011-12-22 Canon Inc ジェスチャ操作入力装置
JP2012079138A (ja) * 2010-10-04 2012-04-19 Olympus Corp ジェスチャ認識装置
JP2013114467A (ja) * 2011-11-29 2013-06-10 Nikon Corp 表示システム、表示方法およびプログラム
JP2013190491A (ja) * 2012-03-12 2013-09-26 Panasonic Corp ネガ型フォトレジスト組成物

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗正汉: "《NEC整合穿戴式裝置與擴增實境技術，讓⼿臂就是系統輸入介⾯》", 《HTTPS://WWW.ITHOME.COM.TW/NEWS/100065》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168221A (zh) * 2018-11-26 2021-07-23 索尼集团公司 信息处理设备、信息处理方法和程序
US20200356162A1 (en) * 2019-05-10 2020-11-12 Apple Inc. Electronic Device System With Controllers
US10948980B2 (en) * 2019-05-10 2021-03-16 Apple Inc. Electronic device system with controllers
CN110245611A (zh) * 2019-06-14 2019-09-17 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN110245611B (zh) * 2019-06-14 2021-06-15 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN110286825A (zh) * 2019-06-26 2019-09-27 西南民族大学 一种基于机器视觉的机械式全自动鼠标操作装置

Also Published As

Publication number Publication date
TW201737023A (zh) 2017-10-16
US10372229B2 (en) 2019-08-06
US20180253149A1 (en) 2018-09-06
JP6350772B2 (ja) 2018-07-04
TWI716527B (zh) 2021-01-21
JPWO2017145423A1 (ja) 2018-06-14
WO2017145423A1 (ja) 2017-08-31

Similar Documents

Publication Publication Date Title
CN108027655A (zh) 信息处理系统、信息处理设备、控制方法和程序
US11861070B2 (en) Hand gestures for animating and controlling virtual and graphical elements
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US20220084279A1 (en) Methods for manipulating objects in an environment
JP6256497B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
CN111766937B (zh) 虚拟内容的交互方法、装置、终端设备及存储介质
CN116724285A (zh) 用于控制虚拟和图形元素的微手势
JP6390799B2 (ja) 入力装置、入力方法、及びプログラム
WO2016185845A1 (ja) インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
US20140240225A1 (en) Method for touchless control of a device
US20160004320A1 (en) Tracking display system, tracking display program, tracking display method, wearable device using these, tracking display program for wearable device, and manipulation method for wearable device
CN108027656B (zh) 输入设备、输入方法和程序
US20180032139A1 (en) Interactive system control apparatus and method
US11049306B2 (en) Display apparatus and method for generating and rendering composite images
CN108369451A (zh) 信息处理装置、信息处理方法及程序
CN109144598A (zh) 基于手势的电子面罩人机交互方法与系统
JP6601480B2 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
CN106095088B (zh) 一种电子设备及其图像处理方法
US20240168565A1 (en) Single-handed gestures for reviewing virtual content
CN109144235A (zh) 基于头手协同动作的人机交互方法与系统
CN117940964A (zh) 手工制作的增强现实体验
CN117616367A (zh) 增强现实体验的策展的情境叠加

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180511