CN104615242A - 图像识别装置、操作判断方法以及程序 - Google Patents

图像识别装置、操作判断方法以及程序 Download PDF

Info

Publication number
CN104615242A
CN104615242A CN201510015361.8A CN201510015361A CN104615242A CN 104615242 A CN104615242 A CN 104615242A CN 201510015361 A CN201510015361 A CN 201510015361A CN 104615242 A CN104615242 A CN 104615242A
Authority
CN
China
Prior art keywords
operator
mentioned
image
action
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510015361.8A
Other languages
English (en)
Inventor
泉贤二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DAO GENXIAN
Shimane Prefecture
Original Assignee
DAO GENXIAN
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DAO GENXIAN filed Critical DAO GENXIAN
Publication of CN104615242A publication Critical patent/CN104615242A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像识别装置、操作判断方法以及程序，能够准确地判断操作。在图像读取部(301)中读取由摄像机(201)拍摄得到的数据(S401)，使用图像提取部(302)从该数据中提取操作者的图像(S402)。根据提取出的操作者(102)的图像来形成虚拟操作面和操作区域(S403)。针对成人操作者(810)根据身高即视线的位置、臂长来形成操作区域(811)，在儿童操作者(820)的情况下，考虑身高变矮且手臂也变短，由此能够相应地设定操作区域(821)。

Description

图像识别装置、操作判断方法以及程序
本申请是申请日为2010年8月12日、国家申请号为201080035693.8、发明名称为“图像识别装置、操作判断方法以及程序”的申请的分案申请。
技术领域
本发明涉及图像识别装置以及操作判断方法，更详细地说，涉及从由摄像机等拍摄得到的图像中对测量对象的动作进行判断的图像识别装置以及操作判断方法。
背景技术
近年来，作为计算机、电子设备与人之间的接口、即人机接口而提出了各种设备、方法，特别是提出了一种技术即在游戏机、操作引导设备等中使用照相机来拍摄操作者整体或者一部分，根据其图像来判断操作者的意向并进行动作。例如，在专利文献1中提出了一种技术，即具备：主计算机，其对由CCD照相机拍摄得到的图像中的物体的形状、动作进行识别；以及显示器，其显示由主计算机识别得到的物体的形状、动作，当用户面朝向CCD照相机并通过手势等施加指示时，施加的手势被显示在显示器的显示画面上，能够通过手势使用箭头光标的图标来选择显示在显示画面上的虚拟开关等，不需要鼠标等输入装置，就能够非常简单地进行设备的操作。
最近，还提出了一种输入系统，从拍摄得到的图像中将手指的动作、形状识别为某种姿势，从而进行操作输入。例如，在能够用姿势进行画面操作的演示、不需要触摸面板的非接触公众信息系统(kiosk)终端的输入装置中，当面向大画面的操作者朝向一般设置于画面下部位置的照相机进行各种操作时，其内容被反映到大画面上。通过在本技术领域中公知的方法从这样拍摄得到的图像中提取操作者的形状、动作，例如与预先确定并保存在数据库中的图案进行比较，由此判断操作者的形状、动作的意义而用于设备的控制。
另一方面，如图13所示，作为对操作者图像的获取技术，使用支持三维或者立体的照相机来拍摄操作者，也能够再现立体图像，还用于安全检查等用途。通过再现立体图像，能够立体地掌握操作者的动作，例如操作者的动作、特别是手的动作在前后都能够进行识别，因此与使用二维图像的情况相比，姿势的变化增加。另外，如果提取出多个操作者作为图像，即使是多人也因为立体图像而分为前后关系，因此能够仅提取最前面的操作者的动作来用于操作的输入。
专利文献1：日本特开2004-078977号公报
发明内容
发明要解决的问题
然而，以往的姿势操作没有确立约定俗成的标准这样的任何标准姿势，除了使用食指进行XY坐标的指示操作以外，无法直观地识别用户通过什么样的动作能够进行怎样的操作。关于“点击”、“双击”、“拖动”等···、有通过在几秒钟的等待时间的期间中固定在空间坐标来指示点击操作的情况，但是由于设定的等待时间过长等而妨碍舒适的操作的情况也不少。因而，存在以下问题：没有一种现实的方法能够容易理解且舒适地进行点击、决定(双击等)等操作。
另外，以往的姿势检测装置与如触摸面板这样的操作者能够直接接触的输入装置不同，以往的姿势检测装置难以获取操作者明确的意思。即，存在以下问题：即使操作者进行某种动作，也不容易判断该动作是有意输入的动作还仅是习惯性动作。其结果，存在以下问题：如果例如不以不自然的明显的方式进行单纯的姿势则无法识别，或者需要与姿势有关的预先的规定，并且无法使用复杂的姿势。
本发明是鉴于这种问题而完成的，其目的在于提供一种图像识别装置以及操作判断方法，通过使操作者在识别出处于正在进行与哪一个输入有关的操作的状态的基础上对装置进行动作，由此能够准确地判断操作。
用于解决问题的方案
为了达到这种目的，本发明涉及一种图像识别装置，其特征在于，具备：三维摄像单元，其获取操作者的图像来生成立体图像数据；操作面形成单元，其根据由上述三维摄像单元获取到的操作者的图像，形成虚拟操作面；操作判断单元，其利用上述三维摄像单元来获取操作者的至少一部分的图像相对于所形成的该虚拟操作面的动作，根据上述操作者的一部分与上述虚拟操作面之间的位置关系来判断该动作是否为操作；以及信号输出单元，当被判断为上述动作是操作时，该信号输出单元输出规定的信号。
本发明的特征在于，上述操作判断单元在上述操作者的一部分位于比上述虚拟操作面更靠上述三维摄像单元侧的位置时判断为上述动作是操作。
本发明的特征在于，上述操作判断单元根据上述操作者的一部分位于比上述虚拟操作面更靠上述三维摄像单元侧的位置的部分的形状或者动作来判断正在进行哪种操作。
本发明的特征在于，上述操作判断单元在预先保存有与操作者的一部分的形状或者动作相对应的操作内容的存储单元中进行搜索，将与匹配的形状或者动作相对应的操作判断为所输入的操作。
本发明的特征在于，还具备以面向操作者的方式配置的图像显示单元，上述操作判断单元以使操作者能够识别操作的判断结果的方式，使当前时刻的操作判断结果显示于上述图像显示单元。
本发明的特征在于，还具备以面向操作者的方式配置的图像显示单元，当上述虚拟操作层的区域内获取到上述操作者的动作时，在上述图像显示单元中显示预先分配给该虚拟操作层的标识。
本发明的特征在于，还具备能够由上述操作者进行视觉观察的图像显示单元，该图像显示单元根据相对于由上述操作面形成单元形成的虚拟操作面在上述三维摄像单元的相反侧的上述操作者的一部分与上述虚拟操作面之间的位置关系计算出相应的距离，显示与该距离相应地发生变化的标识，从而显示要判断的操作。
本发明的特征在于，在上述操作者的一部分位于比上述虚拟操作面更靠上述三维摄像单元侧的位置时，上述图像显示单元停止该标识的变化而显示判断的操作。
本发明的特征在于，还具备操作内容决定单元，当在根据与上述虚拟操作面之间的位置关系而确定的两个以上的虚拟操作层中的任一个虚拟操作层的区域内获取到上述操作者的动作时，该操作内容决定单元根据预先分配给该虚拟操作层的操作种类以及操作者在该虚拟操作层内的动作来决定上述操作的内容。
本发明的特征在于，上述操作面形成单元在与上述操作者的上半身的位置信息相应的位置处形成上述虚拟操作面。
本发明的特征在于，上述操作面形成单元根据上述图像显示单元的位置来调整上述虚拟操作面的位置和角度。
本发明涉及一种操作判断方法，用于通过图像识别装置来识别操作者的图像并判断操作内容，该操作判断方法的特征在于，具备以下步骤：三维摄像步骤，获取操作者的图像来生成立体图像数据；操作面形成步骤，根据由上述三维摄像单元获取到的操作者的图像，形成虚拟操作面；操作判断步骤，利用上述三维摄像单元来获取操作者的至少一部分的图像相对于所形成的该虚拟操作面的动作，根据上述操作者的一部分与上述虚拟操作面之间的位置关系来判断该动作是否为操作；以及信号输出步骤，当被判断为上述动作是操作时，输出规定的信号。
本发明涉及一种程序，执行使图像识别装置识别操作者的图像并判断操作内容的操作判断方法，该程序的特征在于，该操作判断方法具备以下步骤：三维摄像步骤，获取操作者的图像来生成立体图像数据；操作面形成步骤，根据由上述三维摄像单元获取到的操作者的图像，形成虚拟操作面；操作判断步骤，利用上述三维摄像单元来获取操作者的至少一部分的图像相对于所形成的该虚拟操作面的动作，根据上述操作者的一部分与上述虚拟操作面之间的位置关系来判断该动作是否为操作；以及信号输出步骤，当被判断为上述动作是操作时，输出规定的信号。
发明的效果
本发明具备：三维摄像单元，其获取操作者的图像来生成立体图像数据；操作面形成单元，其根据由三维摄像单元获取到的操作者的图像来形成虚拟操作面；操作判断单元，其利用三维摄像单元来获取操作者的至少一部分图像相对于所形成的该虚拟操作面的动作，根据操作者的一部分与虚拟操作面之间的位置关系来判断该动作是否为操作；以及信号输出单元，其被当判断为动作是操作时，该信号输出单元输出规定的信号，由此，操作者不需要掌握特殊姿势也需要不熟悉操作，而使身体整体或者一部分进行动作，由此就能够准确地将动作判断为表示操作者意志的操作。
附图说明
图1是表示本实施方式的操作输入系统的一例的图。
图2是示意性地表示本实施方式的操作输入系统与计算机之间的关系的框图。
图3是表示本实施方式的在计算机的CPU内进行处理的程序的功能模块的一例的框图。
图4是本实施方式的处理的流程图。
图5是表示本发明的一个实施方式所涉及的根据操作面形成基准形成的虚拟的操作面的样子的图。
图6是表示本发明的一个实施方式所涉及的根据操作面形成基准形成的虚拟的操作面的样子的图。
图7是表示以往的使用了3D照相机取入多个操作者的图像的情况下的图像的一例的图。
图8是表示本发明的一个实施方式所涉及的操作输入辅助的操作区域设定的一例的图。
图9是表示本发明的一个实施方式所涉及的基于画面或者照相机的位置来调整操作区域的一例的图。
图10是表示本发明的一个实施方式所涉及的基于画面或者照相机的位置来调整操作区域的另一例的图。
图11是表示本发明的一个实施方式所涉及的基于画面或者照相机的位置来调整操作区域的另一例的图。
图12是用于说明本发明的一个实施方式所涉及的基于画面或者照相机的位置来调整操作区域的方法的图。
图13是表示以往的使用了3D照相机取入操作者的图像的方法的图。
图14是表示本发明的一个实施方式的使用了基于标记的虚拟操作面的操作输入系统的一例的图。
图15是表示本发明的一个实施方式所涉及的操作输入方法的具体操作的一例的图。
图16是表示本发明的一个实施方式所涉及的基于画面或者照相机的位置来调整操作区域的一例的图。
图17是表示本发明的一个实施方式所涉及的操作输入辅助的具体显示的一例的图。
图18是表示本发明的一个实施方式所涉及的虚拟操作面以及操作区域的样子的图。
图19是表示本发明的一个实施方式所涉及的操作者的动作与显示在画面中的图标之间的关系的图。
图20是表示本发明的一个实施方式所涉及的操作输入画面的具体显示的一例的图。
图21是表示本发明的一个实施方式所涉及的能够在操作输入画面中使用的各种图标的例子的图。
图22是表示本发明的一个实施方式所涉及的操作者的动作与显示在画面中的图标之间的关系的图。
图23是表示本发明的一个实施方式所涉及的操作输入画面的菜单按钮的颜色变化的样子的图。
图24是表示本发明的一个实施方式所涉及的操作输入画面的菜单按钮的浓淡变化的样子的图。
图25是表示通过本实施方式输入使显示在画面上的图形进行移动的指示的一例的显示画面的图。
图26是表示本发明的一个实施方式所涉及的操作者的动作与显示在画面上的菜单之间的关系的图。
图27是表示本发明的另一个实施方式所涉及的操作者的动作与显示在画面上的菜单之间的关系的图。
图28是表示本发明的又一个实施方式所涉及的操作者的动作与显示在画面上的菜单之间的关系的图。
图29是表示本发明的一个实施方式所涉及的虚拟操作面和操作面形成基准的样子的图。
图30是表示本发明的一个实施方式所涉及的根据投影仪的画面或者照相机的位置来调整操作区域的一例的图。
图31是表示本发明的一个实施方式所涉及的操作者的动作与显示在画面上的菜单之间的关系的图。
具体实施方式
下面，参照附图详细说明本发明的实施方式。
(第一实施方式)
图1是表示本实施方式的操作输入系统的一例的图。本实施方式的显示器111被配置在操作者102的前面，操作者102考虑到在与显示器111之间的固定位置上存在虚拟的操作面，而认识到手指等的形状成为操作判断的对象，能够对操作输入系统进行操作。在显示器111中显示本系统作为目标的各种应用程序用的各种影像，但是除此以外，可以如后述那样辅助操作输入，即例如将成为对象的操作者102的部位等显示在画面的角落，使操作者102识别在当前时刻能够被判断为操作的动作。使用摄像机201对操作者102的动作进行拍摄，通过计算机110对拍摄得到的影像进行处理，根据操作者102的位置、身高以及臂长等，或者根据身高、肩宽等身体尺寸信息，来设定最佳虚拟操作面以及包括该虚拟操作面的操作区域的位置和大小，判断从虚拟操作面向显示器111侧伸出的部分的姿势是指哪种操作。即，计算机110根据从摄像机201得到的数据，制作操作者102的立体图像，并且计算出虚拟操作面的位置，并且根据后述的摄像机201、显示器111的位置、配置方式来对虚拟操作面的位置和大小等进行调整，以虚拟操作面为基准来确定操作者102的手指等是否向摄像机201侧伸出，将该部分作为操作的对象来判断操作内容。
在图1中，为了获取图像，将摄像机201安装于显示器111的上部来进行拍摄，但是只要能够如图8至图12那样得到所需的图像，则并不限定于此，还能够使用红外线照相机等在本技术领域中公知的任意摄像单元，设置位置也能够选择显示器附近的任意位置。在此，在本实施方式中作为摄像机201使用三维(或者3D)照相机，由此能够制作包括操作者在内的立体图像。
并且，在本实施方式的系统中安装有未图示的扬声器等声音输出装置，还能够通过声音将显示内容、与操作有关的信息传达给操作者。通过设置这种功能，不仅在显示器中以图像的方式显示操作内容，关于指示事项、结果，还同时以声音传播来判明虚拟操作面，因此即使是视觉有障碍的操作者也能够进行操作。
图5以及图6是用于具体地说明虚拟操作面的作用的图。本实施方式的虚拟操作面701是根据操作者102的身高、臂长或者身高、肩宽等身体尺寸信息来设定的，用户102在自己自然地伸展手臂时，捕捉虚拟存在的操作面701，在要进行各种操作的情况下，能够以操作面701为基准将手601向前伸出并表示姿势。另外，在包括虚拟操作面的操作区域内，用户采用任意的姿势之后，能够以向虚拟操作面的前方按压(决定)的行为来决定动作，或者设定为在决定操作之后进行按压这种判断的基准，因此用户易于识别，操作性接近以往的触摸面板操作。另一方面，与以往的触摸面板相比，操作变化压倒性地增加(两手操作、动作、多个手指等)。
在本实施方式中，当照相机201捕捉到操作者102的图像时，实时地形成图5以及图6所示那样的虚拟操作面701，但是在操作者开始操作之前，操作者的站立位置不固定，因此虚拟操作面不确定，也不容易进行操作判断。因此，在本实施方式中，在操作者的身体在三维照相机的摄像范围内静止固定时间的时刻开始虚拟操作面的设定处理。
这样能够实时地形成本实施方式的虚拟操作面，但是在这种情况下，也通过某种方法将操作者的站立位置限制在对于其系统来说最佳的固定范围内，由此能够更正确地进行操作判断。例如，虽然未图示，但还能够在地板上描绘表示站立位置的脚印，或者通过显示器、系统的配置使操作者识别固定的限制范围的存在或者竖立屏风来使其在固定范围内进行操作。操作者能够自然地识别的虚拟操作面的位置、大小等受到操作者与显示器之间的位置关系的很大影响，优选在系统整体上预先假设显示器、照相机、操作者的位置等，因此通过这样进行限制，操作者能够对虚拟操作面所存在的位置大致进行推测并操作。
另外，如图7所示，在本实施方式中在存在多个操作对象者、即由照相机201获取多个人物的情况下，将其中的例如处于最前列的人710确定为操作者102而形成虚拟操作面。当然，能够与系统对应地以各种方式确定将多人中的哪个选择为操作者102，但是除了最前面的优先用户之外不提供操作区域，由此能够防止错误动作、错误输入(单人输入的情况)。
图2是示意性地示出本实施方式的图像识别装置的计算机110的结构的框图。在计算机110中安装有显示器701，连接有对操作者102等进行拍摄的摄像机201，拍摄得到的图像被取入到计算机110。在CPU 210中对拍摄得到的图像进行作为本实施方式的特征的图像的提取、位置的计算等，根据计算出的位置来决定身体的一部分是否从操作面朝向摄像机侧伸出。计算机110通常具备CPU 210，在RAM 212上执行存储在ROM 211等中的程序，将基于从图像识别装置输入的图像所得到的处理结果输出到显示器111等。在本实施方式中，显示器111主要用于输出由操作者要体验的各种应用程序提供的各种影像，但是如后述那样还显示成为操作输入的辅助的信息。
图3是表示本实施方式的计算机110的CPU 210内进行处理的程序的功能模块的一例的框图。如图3所示，通过图像读取部301、图像提取部302、图像位置计算部303以及操作判断部304来执行本系统中的处理。此外，在本实施方式中，通过四个模块来执行从接收来自摄像机201的图像到进行数据的输出为止的处理，但是并不限定于此，还能够使用其它模块、或者更少的模块来进行处理。
(本实施方式的处理)
如图6所示，在本实施方式中，根据由摄像机201拍摄得到的操作者102的图像来形成虚拟操作面，确定同样拍摄得到的操作者102的一部分即手、手指的位置，并且进行处理来算出虚拟的操作面701与操作者102的手指601之间的位置关系。在本实施方式中，作为进行这种处理的前提，当设想本技术领域中公知的初始设定、例如重新设置了本实施方式的图像识别装置的情况时，需要将作为预先准备而利用的摄像机201的利用透镜的失真、显示器111与透镜之间的距离等信息输入到装置。并且，预先调整阈值设定等。当系统的初始设定结束时，进行本实施方式的处理，下面，参照图4说明该处理。
图4是本实施方式的处理的流程图。首先，在图像读取部301中读取由摄像机201拍摄得到的数据(S401)，使用图像提取部302从该数据中提取操作者的图像(S402)。
这种准备的结果是，根据提取出的操作者102的图像来形成虚拟操作面和操作区域(S403)。在此，参照图8等，操作面的形状呈从地板起垂直地竖立的长方形，但是并不限定于此，能够根据操作者的操作方式来形成各种形状、大小的操作面。
在此，操作区域是指包括作为本实施方式的特征的虚拟操作面并且操作者的成为操作主体的手、手指等主要进行动作的区域，如在到达后述的虚拟操作面为止的辅助中说明的那样，从操作者的身体超过虚拟操作面的固定区域被用于本申请的发明的操作识别。例如，如图8所示，对于成人操作者810，可以考虑身高(视线的位置)、臂长而形成为操作区域811那样，在儿童操作者820的情况下，身高变得更低而手臂也变短，因此可以与此相应地设定操作区域821。如果在这种操作区域中设定虚拟操作面，则通过操作者自然地活动手、手指，能够根据手、手指的动作来判断操作者意图进行的操作。
更具体地说，例如，能够将深度设为到操作者向前方伸出手的指尖儿为止，将宽度设为到操作者向正侧面伸出手时的左右手腕的长度为止，将高度设为从操作者的头部位置起至腰部位置的范围。另外，在将本实施方式的系统的对象者设为从小学低年级至成人的情况下，身高幅度大致为100cm至195cm左右，作为其身高差，操作区域或者虚拟操作面的上下位置的校正幅度大约需要100cm。
此外，关于虚拟操作面、操作区域的设定，能够每次执行，也能够在固定条件下执行，或者还能够预先或者每次选择它们的设定时刻。
操作判断部304当利用操作输入系统所形成的虚拟操作面与操作者102之间的相对关系(S404)，从操作面的摄像机201来看，操作者102的一部分来到近前时，判断为操作开始(S405)，根据各部的形状(打开手掌或者立起两个手指等)、动作，判断其形状、动作为预先设想的哪种操作(S406)。在此，什么样的形状、动作与哪种操作对应，能够由系统独立地决定，也能够引入本技术领域所公知的任意方法来决定。判断的结果是，作为存在这种操作的输入而通过计算机110来执行(S407)，在本来没有从虚拟操作面向近前侧伸出手的情况下，判断为没有进行操作而结束(S408)。操作内容的判断并不限定于在此说明的方法，在本实施方式中还能够使用公知的任意方法。另外，还省略了具体的判断方法，但是通常将预先确定的姿势等操作者的身体形状、动作以及该形状、动作所意味的操作内容保存到数据库等，在图像提取之后，对该数据库进行访问，判断操作内容。此时，当然也能够通过在本技术领域中公知的方法来利用图像识别技术、人工智能等，来提高判断精度。
在此，可以理解在操作者为成人的情况下与操作者为儿童的情况下，在哪个位置以哪种程度的大小形成虚拟操作面会发生变化，但除了操作者的身高等体形之差以外，还需要根据照相机201的位置、显示器111的位置、安装角度来调整虚拟操作面。通常，三维照相机能够相对于CCD、透镜面平行或者同心圆状地进行相对于对象物的距离的测量。在将显示器设置成操作者的视线高度，照相机处于接近的位置，并分别与地板垂直设置的情况下，如果操作者也处于直立位置，则生成适当操作区域之后，可以说不需要特别对相互的位置关系等进行调整、校正。但是，在天花板吊挂式显示器的情况下、利用超大型显示器或者投影仪等的情况下，与照相机设置位置、显示器以及操作者之间的位置关系可假设各种状况。
通常，操作者一边观察操作对象画面一边进行输入操作，因此始终与将操作者的视线和操作对象画面连结起来的直线垂直地配置虚拟操作面，如果不生成沿着该虚拟操作面的操作区域，则操作者沿Z方向的按压行程的角度产生不一致，即使操作者对作为目标的点进行按压操作，也随着按压而沿着某角度偏斜而无法进行正常的操作。因而，在形成虚拟操作面的情况下，需要根据显示器、照相机以及操作者的位置、配置方式来调整要形成的角度、大小或者根据情况调整位置。
参照图9，如图8所示那样配合操作者820来确定操作区域821和虚拟操作面601，但是在如图9示出的例子那样照相机201被配置于显示器111的上部的情况下，如果虚拟操作面601不与操作者820伸出手臂的方向910垂直，则操作者820得不到对虚拟操作面的良好的操作感，因此需要形成与照相机201的视场方向垂直的平面。
另外，参照图10，显示器111本身被设置于上方，并且安装成形成角度，因此虚拟操作面701形成与向上方倾斜的方向1010相垂直的面，使得操作者820能够仰视而操作显示器111。在这种情况下，也与图9示出的例子同样地，照相机201的视场1011与视场方向1010形成一定的角度而倾斜，因此需要进行校正使得由照相机201读取到的信息与倾斜的虚拟操作面701一致。并且，参照图11，照相机201被设置在与显示器111分离的地板附近，操作者820的视场1110与照相机201的视场形成更大的角度，因此需要进行相应量的校正。
图12是用于说明确定虚拟操作面701和操作区域821的一例的图。在本实施方式中，为了形成虚拟操作面，使用显示器111和照相机201的位置、设置方法(以哪种程度的角度进行了设置等)、操作者820的站立位置、身高等信息。即，作为一例，首先计算出操作者820的眼睛相对于显示器111的高度(身高)、从站立位置起与操作者的视线垂直的虚拟操作面701。接着，测量将操作者820的头部与身体连结起来的线A-B以及照相机201的视场的中心线1210的角度，校正虚拟操作面和操作区域的倾斜。手臂的行程也可以从操作者的图像中提取，还可以根据得到的身高的信息、还根据每个身高的平均手臂长度信息来确定手臂的行程。或者，还能够使用与后述的第二实施方式的操作面形成基准相同的标记等，设定虚拟操作面的位置、大小、角度等。例如，在设置系统的阶段，将附加了标记的台、引导杆等放置在最佳的位置来使用照相机进行拍摄，根据这些拍摄得到的标记的位置来设定虚拟操作面，在实际使用时，能够除去最初设置的台、引导杆，根据操作者的体形等来进行校正而形成虚拟操作面和操作区域。
如上所述，本实施方式的虚拟操作面和操作区域根据照相机、显示器以及操作者的位置、配置方式等，被确定为能够进行自然的操作以及更容易的操作判断，对实际操作者的动作进行检测，判断正在进行哪种操作。但是，在此没有说明的具体处理、例如从三维照相机的图像中如何确定位置、形状或者操作者的一部分是否经过了虚拟操作面的判断处理等本实施方式的安装时所需的处理，使用本技术领域中公知的任意方法都能够完成。
(操作输入的辅助)
如上述说明的那样，仅使用三维摄像机来形成虚拟操作面，操作者就能够在空间上识别触摸面板那样的操作面，通过对该操作面进行各种操作，能够利用身体的全部或者一部分进行操作输入，并且通过将操作者相对于虚拟操作面的影像显示在显示器111等来辅助操作输入，由此能够更容易地有效利用本实施方式的系统。
图17是表示将成为这种操作输入的辅助的引导部显示在显示器111的一例的图。例如，在用指针指示显示在显示器111的中心部的图像的某个部位的情况下，操作者与显示虚拟操作面的图像重叠地伸出手指从而能够指示期望的位置，但是如图17示出的指针901那样显示这样指示的样子，由此操作者能够一边识别确认当前进行的操作，一边执行下一个操作。根据本例进行说明，例如，当从操作面伸出手指时显示在画面上，指针901缩回而消失或者浓淡变化来进行显示，操作者能够根据手的动作以及显示在显示器111中的指针的样子，以自然的方式执行本实施方式的输入法。同样地将以图5以及图6示出那样的方式表示操作者本身的样子的操作画面902以缩小的方式显示在显示器111的右上角，从而能够显示出在系统中当前正在进行哪种动作、判断为哪种操作，并且，表示将手的动作图形化而得到的折线图903，使操作者本身意识到手的前后动作是怎样等，由此能够期望得到更正确的操作。另外，虽然未图示，但可以将能够用于系统中的姿势显示在引导中，促使操作者效仿该姿势进行操作输入来进行辅助。
(虚拟操作面的近前侧的操作辅助)
在本实施方式中，操作者以在空间上虚拟地形成的虚拟操作面为基准，以如同在此存在触摸面板那样的输入设备的方式进行操作，由此来可靠地判断其操作内容，但是在作为操作者的一部分的手或者手指等达到虚拟操作面之前，即在从操作者要执行某种操作而开始活动手或者手指开始，直到按压虚拟操作面为止的期间也进行操作辅助，由此能够更容易、更高精度地进行操作输入。
基本上，这种操作辅助的原理在于，操作者相对于虚拟操作面的部位、例如与手或者手指的位置的动作一致地，在显示器111上可视地显示操作者要进行哪种操作，由此能够引导操作者来进行正确的操作输入。
参照图18以及图19说明这一点，在本实施方式中，在预先由操作者在固定的站立位置上进行操作的情况下而预先设定的、适合于在该站立位置对虚拟操作面进行操作的位置、或者与操作者的站立位置相配合的适当位置来形成虚拟操作面701。同样地，如图18所示，设定操作者820的适当的操作区域821。如上所述，在显示器111中通过各种方式来表示当前正要进行哪种操作，由此使操作者能够识别自己的操作。
参照图19说明这种方式之一，在操作者要对系统进行某种操作的情况下，在本例中将手臂2401相对于显示器111前后进行活动，由此手或者手指601的位置发生变化，因此当其样子显示在显示器111中时，当伸出的手指601到达固定位置时，此时执行在显示器111的画面上指示的项目等从而系统进行固定处理。在图19的例子中，由于手指601相对于虚拟操作面701的位置(深度)不同而图标的大小发生变化，手指601越接近虚拟操作面则图标越小，能够使操作者识别通过自己的操作聚焦到固定的位置的情况。并且，在图标变得最小的位置，确定操作而执行与此相应的处理。
图20是表示以上操作的结果是图标在显示器111的画面2501上如何发生变化的图。参照图20，假设在显示器111的画面2501中例如显示电视节目表，要进行与某一节目有关的操作。在这种状态下，例如在操作者要选择“设定变更”的菜单按钮的情况下，操作者如上述那样要向显示器111伸出手指601而进行选择。在本实施方式中，当手指601相对于虚拟操作面接近到固定距离时，在画面2501中显示图标2503。手指的位置还较远，因此该图标显示图19示出的图标中的位于右侧的比较大的图标。当操作者进一步伸出手臂2401时，该图标在接近作为目标的选择项目“设定变更”的同时变小，在固定大小的图标2502时成为特别的图标，当手指横穿虚拟操作面时判断为选择了指示位置的项目。
这样，在图20的例子中，根据手指601的位置使显示在画面2501中的图标的大小发生变化，由此操作者能够掌握自己的动作在系统中是如何被识别的，直观地识别虚拟操作面的位置，从而能够进行菜单的选择等操作。在此，与操作者的整体图像同样地能够通过使用三维照相机来提取包括手指601、手臂2401的操作者整体以及各部位的位置、大小。由此，能够掌握画面内的物体的进深等，因此能够根据这些信息来算出与虚拟操作面之间的距离、位置关系。但是，本实施方式中使用的三维照相机、位置的提取、距离的计算等能够使用在本技术领域中公知的任意方法，因此，在此省略其说明。
在此，显示在画面上的图标呈圆形且大小与操作者的动作一致地发生变化，但是并不限定于此，能够如图21示出的那样使用各种方式的图标并使其发生各种变化。即，参照图21，(1)是手指的方式的图标，与上述图20的例子同样地，越接近虚拟操作面则越小。(2)表示圆形且逐渐变小但是当输入或者选择被确定时变化为特别的形状来表示被确定的情况。在该图标、其它图标的情况下，还能够代替形状、大小的变化，或者与形状、大小的变化相配合地使图标的颜色发生变化。例如，以蓝色、绿色、黄色、红色等使得从冷色系变化为暖色系，由此操作者能够直观地识别操作被聚焦而被确定的情况。(3)是X那样的形状，在位于远处的情况下，不仅大并且变得模糊，随着接近而图标的大小变小，并且模糊消失而形成明显的形状。(4)是图标整体的大小不变化，成为描绘在其中的图形产生形状变化并被聚焦的样子来进行识别。在这种情况下，也能够使图形的颜色发生变化。图21示出的(5)也是使形状发生变化的情况。在图21中，还能够与手指的动作相应地使图标的形状、颜色等发生变化，当超过虚拟操作面时如栏2601所示那样瞬间变化为各种形状、颜色或者闪烁而使操作者识别判断为操作的情况。另外，虽然未图示，但作为其它图标的变化，最初透明而手指越接近虚拟操作面则越变为不透明这种变化也是有效的。
在此，在图标的变化中不怎么使形状特别发生变化而使颜色、浓度发生变化的情况下，如图22所示，当不怎么使图标移动而使手指601接近时，颜色变为暖色系或者变浓，从而能够确定输入。
另外，在以上例子中，为了确认操作的判断状况，显示图标，根据操作者的动作使颜色、形状发生变化，但是，例如图23、图24所示，在本来如菜单那样预先将指示的位置固定的情况下，即使不特意显示图标，也根据手指601所指示的位置与菜单的哪个项目按钮最接近来决定，通过使对根据手指601的动作、特别是相对于虚拟操作面的距离来指示的项目按钮填充的颜色或者填充浓度发生变化，来识别虚拟操作面的位置，从而能够容易地进行操作输入。图23是表示随着接近手指601而使所选择的该按钮的颜色从冷色系变化为暖色系的例子的图。作为本例的颜色的选择，例如设为(2)蓝色、(3)绿色、(4)黄色、(5)红色时，操作者能够直观地识别出当成为红色时被确定。同样地，图24是表示使按钮的填充浓度发生变化的例子的图。
作为同样的菜单的选择例，还存在图26示出的一例，在此进行说明，例如当图19的手指601进入到虚拟操作面701的近前的固定区域时，在画面上显示菜单4301，当该手指601进一步接近虚拟操作面701时，在图26示出的菜单的例如项目4302上显示大图标2610。之后，当手指601到达虚拟操作面701时，项目4302的选择被确定而显示小图标2611，通知该情况。之后，还能够当通过使手指601左右上下移动来使菜单的选择项目进行移动并在期望的项目上静止固定时间时，进行与所选择的项目相应的处理。另外，还能够当在执行选择之前手指601向虚拟操作面701近前的固定区域的后方移动时消除菜单。在图31中，也与图26同样地，当手指601进入到虚拟操作面701近前的固定区域时，显示菜单，但是，在此为视频影像控制的例子。在本例中，也与图26示出的例子同样地，能够使用大图标3110和小图标3111来进行菜单操作。
并且，参照图25说明其它输入操作的例子。图25是表示通过本实施方式而输入使显示在画面中的图形进行移动的指示的一例的显示画面的图。通过使操作者的手或者手指与虚拟操作面接触而进行移动来进行指示。首先，示出当使手指等接近画面时使图标从画面4211的图标4201缩小为画面4212的图标4202而接近虚拟操作面的情况。之后，当接触虚拟操作面时，如画面4213的图标4203那样使颜色发生变化来放置，当在这种状态下向上移动手指等时显示画面4214的橡皮筋4204等来表示移动方向，由此操作者能够确认自己的操作。另外，当向右方向移动手指时，能够显示画面4215的橡皮筋4205。这样，显示根据手指等到达虚拟操作面之后的上下左右的拖拽距离而伸缩的橡皮筋(在图25中箭头)(在手指移出虚拟操作面之前图标4203的位置是固定的)，能够根据伸缩距离使移动速度发生变化，并根据伸展角度使得在3D空间内进行移动的方向发生变化(箭头前端跟随手臂、手指等的动作)。
以上，关于图18示出的操作者与显示器大致处于相同高度的、即虚拟操作面与操作者的水平方向前面大致垂直地形成的情况，说明了本实施方式的原理，但是该原理不受到这种操作者与显示器之间的位置关系、形状的影响，而能够具有各种配置、结构。例如，还能够应用图10至图12示出的系统的配置。在这种情况下，三维照相机201也与显示器111一起倾斜，因此基本上与上述配置在水平位置的情况没有很大差异，但是假设为将照相机设置于其它位置，通过本技术领域中公知的任意方法来进行位置校正等，由此也能够计算出操作者的部位与虚拟操作面之间的位置关系，从而判断操作。
(虚拟操作面的深侧的操作-虚拟操作层)
在本实施方式中，操作者以在空间上虚拟地形成的虚拟操作面为基准，以如同在此存在触摸面板那样的输入设备的方式进行操作，由此来可靠地判断其操作内容，根据向相对于虚拟操作面的深侧方向、即从操作者离开的方向的虚拟操作面与操作者的手等身体的一部分或者穿戴在身体上的物体的位置关系，来决定这样判断的操作的内容。例如，在从操作者离开的方向即z轴方向上设定两层或者三层的操作区域作为虚拟操作层，根据操作者的手进入到哪一层来决定操作的种类，根据该层内的手的动作来决定操作内容。此时，如果在操作者视觉识别的显示画面上显示手的位置、操作的种类等，则操作者能够更容易地进行操作的识别。此外能够通过算出上述形成的虚拟操作面与操作者的一部分之间的距离的方法来获取操作者的一部分与分割各层的面之间的z方向的距离。
更具体地进行说明，图27示出的触发面701是本实施方式的虚拟操作面，当利用上述实施方式中的任一个而手指601从触发面701向z轴方向进入时，判断为进行了操作。并且，通过面4501和4502将触发面701前面的操作区域分割成层A至C这三层，从而分配分别不同的操作的种类。在图27的例子中，对层A分配对象的旋转操作，对层B分配放大缩小的操作，对层C分配对象的移动操作。在各层中，通过移动手指601来执行所决定的操作。例如，在层A中，在手指601通过触发面701时表示手指601的图标、例如以旋转图标4503所示的位置为中心而指定的对象与手指601的动作相配合地旋转。在层B中，例如能够在显示器111中显示放大缩小图标4504，当将手指601向z方向移动时对象被放大，当向相反方向移动时对象缩小。
同样地，在层C中能够在显示器111中显示的指定的对象上的手指601的位置处显示移动图标4505，并与手指601的动作相配合地移动。在此，能够将分割层间的面4501和4502配置成各层形成相同的厚度，还能够将分割层间的面4501和4502配置成根据分配给层的操作种类不同而层的厚度不同。例如在图27的例子中，在层B中被分配放大缩小的操作，但是必须通过前后的移动来表现放大缩小，因此与层A、层C相比，通常z方向的移动大，因此还能够使层B更厚来易于进行操作。
图28是表示本实施方式的其它图标的例子的图。在图28示出的例子中，对层A分配确定显示器111上的操作位置的操作，对层B分配对所确定的位置上的对象进行“捕捉”的操作，对层C分配将捕捉到的对象抛出或者移动的操作。
如上所述，在对通过虚拟操作面被判断为操作后的操作内容进行判断时，不仅通过手指、手的动作，还能够根据其z方向的位置、即虚拟操作层来确定操作的种类，因此在手指、手的动作中准备多个各种姿势图案，并且用户需要掌握这些，与此相比，能够仅通过简单的动作来分别使用复杂的操作。
此外，在上述、特别是图27示出的例子中，配置了在各层间能够连续地进行手、手指等的一系列动作的操作，但在无法连续地进行操作的配置的情况下(图28示出的例子)，以下两个点成为问题。即，(1)在到达作为目标的虚拟操作层之前通过其它层，而施加了操作者不需要的指示；以及(2)在结束目的操作而将手从操作区域抽出的情况下，通过其它虚拟操作层，而施加了操作者不需要的指示。为了避免上述问题，例如考虑以下方法等。即，将与操作的手相反的手插入到操作区域内的多传感状态(例如，在用右手进行操作的情况下，将左手放入到操作区域内的状态)设定为无操作(或者其相反的有操作)的状态，根据与操作的手相反的手的抽出和放入来判断是否进行各层的操作(在本例中通过两手操作，但是也可以考虑在XY平面上设置抽出用区域等各种方法)。
以上，当使用本实施方式时，操作者不需要预先记住或者决定姿势，就能够通过其动作来进行系统的操作，除此以外，可以知道操作者的姿势、各部例如手的动作，因此还可以用于使用了全身的游戏中，从而实现复合现实感(MR)。
(第二实施方式)
本实施方式除了操作面形成基准以外基本上与上述第一实施方式的系统结构相同。即，在本实施方式中，根据第一实施方式的系统以及处理，通过导入图14所示那样还能够使操作者感知的固定的标记101那样的被称为操作面形成基准的概念，操作者将其作为标记而更容易识别虚拟操作面。即，图14等示出的标记101是操作者102用于识别虚拟操作面的操作面形成基准，如图16所示，用户102捕捉显示在地板上的标记101的上方虚拟地存在的操作面701来进行各种操作，能够以标记101为基准将手601伸向前方来表示姿势。还能够将标记101的横向宽度设为操作面的宽度。另外，还能够使用辅助标记等来划分标记101的前后，或者使用辅助标记来确定操作区域，或者作为三维角度(perspective)计算要素，形状、方向也是自由的，还可以表示适合于测量的区域。
在这种具备标记101的操作输入系统中，如图16所示，在标记101的上部虚拟地形成操作面701，操作者102根据标记101设想虚拟的操作面701而伸出手601，或者与显示器111连动地移动手601而在触摸面板上选定画面上的一部分和操作面701并进行触摸，由此能够容易地进行输入操作。另外，在操作区域中用户作任意姿势之后，通过线段式的向前方按压(决定)的行为来决定动作，或者设定为在决定操作之后按压这样的判断基准，因此用户易于识别，操作性接近以往的触摸面板操作。
在本实施方式中，参照图16等，虚拟操作面被表示为在标记的正上方垂直地形成，但是在图9至图11示出的系统的配置的情况下，例如可以是只有虚拟操作面的底边与操作面形成基准相配合而虚拟操作面整体倾斜，或者使所形成的位置与身高相配合地改变位置。在这种情况下，例如，首先根据标记101来算出固定的操作面，之后根据操作者的图像来进行校正，由此调整为在适当的位置形成虚拟操作面。或者，根据测量出的标记101的位置以及预先设定的显示器111和照相机201的位置来算出操作面，并且能够从操作者的图像中提取身高、臂长等，添加这些信息来校正虚拟操作面的位置、大小以及角度等。
另外，作为操作面形成基准的标记是能够视觉识别的，操作者视觉识别标记而将其作为基准，大致估计虚拟操作面所存在的位置而进行操作。因而，虚拟操作面需要形成于标记的上方，但是从操作者来看，前后的位置关系有可能根据操作者、系统整体的状况而发生变化。通常，如图29所示，例如在地板等上配置标记4401的情况等下，根据操作者102的眼睛的位置进行设置时，考虑到站立在接近标记4401的正上方的位置的情况较多，因此在相对于标记4401而与操作者102相反的相反侧稍微离开的位置4402处形成虚拟操作面701，这是考虑到为手臂提供充裕的动作空间而使其能够自然地进行操作。另一方面，如后所述，在图15示出的桌子的边上粘贴标记1902的情况下，通过粘贴了标记的相反侧的边来限制操作者的动作、即在该边的前面无法使身体接近操作面，因此能够适当地选定桌子的宽度使得容易进行操作。在这种情况下，考虑到虚拟操作面形成于标记的正上方能够使操作者更容易识别虚拟操作面。在第一实施方式中，测量操作者的臂长来设定这种前后的位置，但是如果采用操作者能够感知的标记则也能够客观地形成操作面。
这样，在上述第一实施方式中考虑手臂的行程来设定包括虚拟操作面的操作区域，但是通过对标记进行各种各样的组合，能够更客观地、即能够以任意操作者都能用眼睛观察并以固定的精确度进行识别的方式来确定操作区域。
并且，作为本实施方式的操作面形成基准，能够在捕捉到的画面上大范围、适当且同时分散配置测量标记，因此能够进行可靠性非常高的测量。另外，除了这种效果之外，还能够与保证标记始终处于照相机的摄影范围内的情况的校准系统一起使用，从而能够实现节省空间、多功能的装置，基本上在初始设置的校准之后，不需要每次再次进行测量。
如上所述那样，标记101被摄像机201拍摄而成为操作面形成基准，为了使之更容易，标记材料能够使用本技术领域中公知的各种材料。但是，通常根据所使用的照相机选择适当的材料。例如，通常在照相机的情况下，需要从背景颜色突出的有特征的着色法，在使用红外线照相机的情况下，能够使用回射材料等。另一方面，激光在黑色部分等反射较小的颜色、材料的情况下不容易测量反射光，因此通过激光不使用标记、回射材料等而使用黑色条等，由此激光照射的部分不反射而画面上产生缺损，因此这样也能够检测条的位置。
例如，在通过固定的着色法来附加标记的情况下，具体地说，能够如以下那样进行处理而提取标记。在图像读取部301中读取由摄像机201拍摄得到的数据，从该数据中提取标记101的图像，例如在彩色图像的情况下，由图像提取部302选出被预先决定为标记的颜色区域而仅提取标记101的图像。具体地说，在本实施方式中，对彩色NTSC信号的亮度信号Y与色差信号U、V各自中设定上下阈值而提取满足全部阈值的像素，但是并不限定于此，还能够使用本技术领域中公知的任意方法。这样，三维地掌握标记101的位置，算出虚拟的操作面成为什么样的操作面并存储到数据库。当彩色提取结束时，并且在存在辅助标记的情况下也进行同样的处理来提取辅助标记之后，通过图像位置计算部303对提取出的标记部分进行黑白二值化，算出构成从摄像机201拍摄得到的图像中提取出的标记的纵横的边的像素数。将获取到的图像的纵横的边长度、倾斜，与成为基准的图像进行比较来算出摄像空间的倾斜、刻度。在本实施方式中，在算出倾斜、刻度的情况下，还能够至少在四点以上的部位设置标记而设为基准。例如，如果存在四点以上的基准点则将这些基准点进行连结而设为线段，从而能够进行校准。
如上所述那样，能够将适当的材料粘贴到地板上来作为标记使用，但是并不限定于此，能够直接涂敷到地板上或者使用本技术领域中公知的任意的附着方法。另外，在上述说明中，作为操作面形成基准使用标记101，但是并不限定于此，能够将任意的部件、结构用于立体测量基准。例如，标记不仅是图1示出的形状，还能够设为各种形状的图形，也可以在多个点上设置多个具有固定面积的标记。
另外，作为操作面形成基准，还能够在立体物、例如图15示出的桌子状的立体物1901上附加标记1902、1903而设为操作面形成基准由此形成虚拟操作面701，例如使用手指601对该虚拟操作面701进行操作，由此能够进行输入操作。此外，当参照图16时，虚拟操作面的形状形成为从地板起垂直地竖立的长方形，但是并不限定于此，能够根据标记101的形状、配置方法来形成各种形状、大小的操作面。例如图16示出的标记101为与显示器111的面平行的固定长度的直线，因此虚拟的操作面变为操作面701的形状，但是还能够将标记设为倾斜地形成固定角度的直线，在这种情况下，形状与图16示出的操作面701相同，但是形成为方向是与显示器111形成固定角度而倾斜地放置的标记。在这种情况下，操作者102也能够捕捉到通过将标记倾斜地配置而虚拟地形成的操作面，因此意识到该操作面而进行操作即可。另外，立体地配置辅助标记，还能够设为相对于地板也形成固定角度的斜面的操作面或者设为曲面的操作面。此外，在本实施方式中说明了以根据标记等形成的虚拟操作面为基准进行处理，但是本技术领域人员能够理解到，在实际的计算处理中，也可以根据操作面来算出操作者的位置。这是由于，始终是由操作者意识到虚拟的操作面而进行操作输入。
另外，在使用图15示出的带标记的放置台的情况下，后述的图18所示，例如使用标记1903仅将操作者102的上半身作为对象区域2301，还能够仅将从虚拟操作面701向前面伸出的部分的动作判断为操作。通过设为这种结构，在操作者将图15示出的放置台设为身体的支承而进行输入操作的情况下，即使下半身、特别是脚部从虚拟操作面向前伸出，也能够始终仅将上半身的动作识别为操作。
在使用操作面形成基准来形成虚拟操作面等的情况下，还能够在通过立体标记进行测量而设定基准面和测量区域之后除去立体标记，事后在地板上仅设置线等标记，以使得可判断所生成的基准面。例如，在无法设立立体引导杆等的狭窄空间等不合适始终设置立体标记的环境中，这种虚拟操作面的形成方法较有效。另外，在地板平面校准图案的情况下，尽管会由于3D照相机的设置角度不同而比立体校准更难测量、或者在利用地板时会难以选择具备良好的适应性(耐磨损、滑动防止等)的材料，但是替换为无校准机的简单的地板校准会更容易实施。另外，与上述同样地进行测量之后，替换为不具有校准功能(标记)的立体引导。替换为重视设计或廉价的的类型会较有效，用户仍然能够视觉识别。
上述任意方法都成为在进行校准后用户能够视觉识别其位置而替换为与移动限制有关的其它单元(立体或者平面)的方法。并且，不限于仅以照相机侧进行校准方法，而可以预先将基准面设定在易于使用的距离、位置，之后，在该面(区域)上事后设置地板面或者立体引导，使得用户侧能够进行识别。
在此，参照图29说明本实施方式中的标记与虚拟操作面之间的关系。在本实施方式中，基本上在桌子、台等的边上附加标记而操作者对形成于标记的上方的虚拟操作面进行接触或者移动手来使系统识别作为输入操作的情况。此时，桌子、台的没有附加标记的边限制操作者的动作，适度地辅助举起的手自然地接触虚拟操作面。当参照图29说明该概念时，在作为操作面形成单元的标记4402的上方形成虚拟操作面701，但是，另一方面，通过任意的动作限制单元4401使操作者102与虚拟操作面保持固定距离，由此能够使操作者102通过自然向前伸出的手601对虚拟操作面进行操作。在本实施方式中，虚拟操作面701形成于标记4402的正上方，但是第一实施方式说明那样还能够以标记4402为基准进行前后移动。例如，动作限制单元4401基本上是固定的，因此当根据操作者102的体形在标记4402的正上方形成虚拟操作面时，有可能会变得过近或者过远而导致使用感变差，在这种情况下，能够按照每个操作者而根据标记4402使形成虚拟操作面的位置前后移动。
以上，在本实施方式中，根据使用三维照相机对操作者能够感知的操作面形成基准和操作者本身进行拍摄得到的图像来形成虚拟操作面，因此易于客观地确定虚拟操作面的位置，也结合考虑操作者的身高等，因此操作者能够得到没有不适感的自然操作感觉。
(第三实施方式)
本实施方式基本上与上述第一和第二实施方式的系统结构相同，代替显示器作为显示用而使用投影仪这一点与上述第一和第二实施方式不同。即，在本实施方式中，其处理与上述第一和第二实施方式基本相同，但是代替LCD、等离子等显示器111，而如图30所示那样将影像从投影仪3011投影到屏幕3010，由此对操作者通知各种信息。在本实施方式的系统中，在第一实施方式等中配置了LCD等的显示面上仅配置有屏幕，因此如图30所示那样能够将投影影像的投影仪3011、照相机201以及对它们进行控制的计算机设为一体型。这种一体型的系统通常放置在操作者与屏幕之间，因此例如图示那样，为了识别进入禁止区域，放置有引导杆3012，还能够将该引导杆3012借用于第二实施方式那样的操作面形成基准。
在本实施方式中，仅显示方法与第一实施方式不同，显示面本身差别不大，因此虚拟操作面和操作区域的设定以及操作的判断处理等基本上与第一和第二实施方式相同。但是，如上所述，投影仪、照相机以及计算机形成一体型，被配置在操作者与显示面(屏幕3010)之间，因此照相机201的位置有些不同，与照相机被设置于显示面的下部等的第一实施方式等的情况相比，操作区域等的角度的调整幅度变大。另外，引导杆3012与虚拟操作面701之间的位置关系与第二实施方式所说明的情况不同，并不限定于在引导杆3012的正上方形成虚拟操作面701。这是由于，例如当操作者感知到在地板上有意识地描绘有如图14所示的固定的标记101时，与兼用于进入防止的本实施方式的导杆3012作为操作面形成基准的作用相同，但是形成虚拟操作面的位置根据与操作者之间的位置关系、与操作者之间的关系不同而不同。能够使用本技术领域中公知的任意知识，根据系统以导杆3012为基准在远端侧或者近前侧形成虚拟操作面。
以上，在本实施方式中，通过将投影仪用于显示用，能够将投影仪、照相机以及计算机设为一体型，因此设置、处理变得容易，并且在画面为大型的情况下，与使用大型LCD相比，其对设置容易性、费用更为有利。

Claims (13)

1.一种图像识别装置，其特征在于，具备：
三维摄像单元，其获取操作者的图像来生成立体图像数据；
操作面形成单元，其根据由上述三维摄像单元获取到的操作者的图像，形成虚拟操作面；
操作判断单元，其利用上述三维摄像单元来获取操作者的至少一部分的图像相对于所形成的该虚拟操作面的动作，根据上述操作者的一部分与上述虚拟操作面之间的位置关系来判断该动作是否为操作；以及
信号输出单元，当被判断为上述动作是操作时，该信号输出单元输出规定的信号。
2.根据权利要求1所述的图像识别装置，其特征在于，
上述操作判断单元在上述操作者的一部分位于比上述虚拟操作面更靠上述三维摄像单元侧的位置时判断为上述动作是操作。
3.根据权利要求1或2所述的图像识别装置，其特征在于，
上述操作判断单元根据上述操作者的一部分位于比上述虚拟操作面更靠上述三维摄像单元侧的位置的部分的形状或者动作来判断正在进行哪种操作。
4.根据权利要求3所述的图像识别装置，其特征在于，
上述操作判断单元在预先保存有与操作者的一部分的形状或者动作相对应的操作内容的存储单元中进行搜索，将与匹配的形状或者动作相对应的操作判断为所输入的操作。
5.根据权利要求1～4中的任一项所述的图像识别装置，其特征在于，
还具备以面向操作者的方式配置的图像显示单元，
上述操作判断单元以使操作者能够识别操作的判断结果的方式，使当前时刻的操作判断结果显示于上述图像显示单元。
6.根据权利要求1～4中的任一项所述的图像识别装置，其特征在于，
还具备以面向操作者的方式配置的图像显示单元，
当上述虚拟操作层的区域内获取到上述操作者的动作时，在上述图像显示单元中显示预先分配给该虚拟操作层的标识。
7.根据权利要求1～4中的任一项所述的图像识别装置，其特征在于，
还具备能够由上述操作者进行视觉观察的图像显示单元，该图像显示单元根据相对于由上述操作面形成单元形成的虚拟操作面在上述三维摄像单元的相反侧的上述操作者的一部分与上述虚拟操作面之间的位置关系计算出相应的距离，显示与该距离相应地发生变化的标识，从而显示要判断的操作。
8.根据权利要求7所述的图像识别装置，其特征在于，
在上述操作者的一部分位于比上述虚拟操作面更靠上述三维摄像单元侧的位置时，上述图像显示单元停止该标识的变化而显示判断的操作。
9.根据权利要求1～8中的任一项所述的图像识别装置，其特征在于，
还具备操作内容决定单元，当在根据与上述虚拟操作面之间的位置关系而确定的两个以上的虚拟操作层中的任一个虚拟操作层的区域内获取到上述操作者的动作时，该操作内容决定单元根据预先分配给该虚拟操作层的操作种类以及操作者在该虚拟操作层内的动作来决定上述操作的内容。
10.根据权利要求1～9中的任一项所述的图像识别装置，其特征在于，
上述操作面形成单元在与上述操作者的上半身的位置信息相应的位置处形成上述虚拟操作面。
11.根据权利要求1～10中的任一项所述的图像识别装置，其特征在于，
上述操作面形成单元根据上述图像显示单元的位置来调整上述虚拟操作面的位置和角度。
12.一种操作判断方法，用于通过图像识别装置来识别操作者的图像并判断操作内容，该操作判断方法的特征在于，具备以下步骤：
三维摄像步骤，获取操作者的图像来生成立体图像数据；
操作面形成步骤，根据由上述三维摄像单元获取到的操作者的图像，形成虚拟操作面；
操作判断步骤，利用上述三维摄像单元来获取操作者的至少一部分的图像相对于所形成的该虚拟操作面的动作，根据上述操作者的一部分与上述虚拟操作面之间的位置关系来判断该动作是否为操作；以及
信号输出步骤，当被判断为上述动作是操作时，输出规定的信号。
13.一种程序，执行使图像识别装置识别操作者的图像并判断操作内容的操作判断方法，该程序的特征在于，该操作判断方法具备以下步骤：
三维摄像步骤，获取操作者的图像来生成立体图像数据；
操作面形成步骤，根据由上述三维摄像单元获取到的操作者的图像，形成虚拟操作面；
操作判断步骤，利用上述三维摄像单元来获取操作者的至少一部分的图像相对于所形成的该虚拟操作面的动作，根据上述操作者的一部分与上述虚拟操作面之间的位置关系来判断该动作是否为操作；以及
信号输出步骤，当被判断为上述动作是操作时，输出规定的信号。
CN201510015361.8A 2009-08-12 2010-08-12 图像识别装置、操作判断方法以及程序 Pending CN104615242A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-187449 2009-08-12
JP2009187449A JP4701424B2 (ja) 2009-08-12 2009-08-12 画像認識装置および操作判定方法並びにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080035693.8A Division CN102473041B (zh) 2009-08-12 2010-08-12 图像识别装置、操作判断方法以及程序

Publications (1)

Publication Number Publication Date
CN104615242A true CN104615242A (zh) 2015-05-13

Family

ID=43586084

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510015361.8A Pending CN104615242A (zh) 2009-08-12 2010-08-12 图像识别装置、操作判断方法以及程序
CN201080035693.8A Expired - Fee Related CN102473041B (zh) 2009-08-12 2010-08-12 图像识别装置、操作判断方法以及程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201080035693.8A Expired - Fee Related CN102473041B (zh) 2009-08-12 2010-08-12 图像识别装置、操作判断方法以及程序

Country Status (7)

Country Link
US (2) US8890809B2 (zh)
EP (1) EP2466423B1 (zh)
JP (1) JP4701424B2 (zh)
KR (1) KR101347232B1 (zh)
CN (2) CN104615242A (zh)
CA (2) CA2886208A1 (zh)
WO (1) WO2011018901A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978033A (zh) * 2015-07-08 2015-10-14 北京百马科技有限公司 一种人机交互设备
CN108345377A (zh) * 2017-01-25 2018-07-31 武汉仁光科技有限公司 一种基于Kinect的自适应用户身高的交互方法
CN109643206A (zh) * 2016-06-28 2019-04-16 株式会社尼康 控制装置、显示装置、程序及检测方法
WO2022021980A1 (zh) * 2020-07-30 2022-02-03 北京市商汤科技开发有限公司 虚拟对象的控制方法、装置、电子设备及存储介质

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
GB2488785A (en) * 2011-03-07 2012-09-12 Sharp Kk A method of user interaction with a device in which a cursor position is calculated using information from tracking part of the user (face) and an object
GB2488784A (en) * 2011-03-07 2012-09-12 Sharp Kk A method for user interaction of the device in which a template is generated from an object
JP5864043B2 (ja) * 2011-04-12 2016-02-17 シャープ株式会社 表示装置、操作入力方法、操作入力プログラム、及び記録媒体
JP2012252386A (ja) * 2011-05-31 2012-12-20 Ntt Docomo Inc 表示装置
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
JP5921835B2 (ja) * 2011-08-23 2016-05-24 日立マクセル株式会社 入力装置
JP5581292B2 (ja) * 2011-09-30 2014-08-27 楽天株式会社 検索装置、検索方法、記録媒体、ならびに、プログラム
WO2013089190A1 (ja) * 2011-12-16 2013-06-20 オリンパスイメージング株式会社 撮像装置及びその撮像方法、コンピュータにより処理可能な追尾プログラムを記憶する記憶媒体
US10345911B2 (en) 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
EP2795430A4 (en) * 2011-12-23 2015-08-19 Intel Ip Corp TRANSITION MECHANISM FOR A COMPUTER SYSTEM WITH USER DETECTION
US9684379B2 (en) * 2011-12-23 2017-06-20 Intel Corporation Computing system utilizing coordinated two-hand command gestures
US9678574B2 (en) 2011-12-23 2017-06-13 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
JP2013132371A (ja) * 2011-12-26 2013-07-08 Denso Corp 動作検出装置
JP2013134549A (ja) * 2011-12-26 2013-07-08 Sharp Corp データ入力装置およびデータ入力方法
EP2610714B1 (en) * 2012-01-02 2016-08-10 Alcatel Lucent Depth camera enabled pointing behavior
US9222767B2 (en) 2012-01-03 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for estimating depth
JP5586641B2 (ja) * 2012-02-24 2014-09-10 東芝テック株式会社 商品読取装置及び商品読取プログラム
US20130239041A1 (en) * 2012-03-06 2013-09-12 Sony Corporation Gesture control techniques for use with displayed virtual keyboards
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101424562B1 (ko) * 2012-06-11 2014-07-31 한국과학기술원 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템
JP2014002502A (ja) * 2012-06-18 2014-01-09 Dainippon Printing Co Ltd 手のばし検出装置、手のばし検出方法及びプログラム
JP5654526B2 (ja) * 2012-06-19 2015-01-14 株式会社東芝 情報処理装置、キャリブレーション方法及びプログラム
JP2014029656A (ja) * 2012-06-27 2014-02-13 Soka Univ 画像処理装置および画像処理方法
JP5921981B2 (ja) * 2012-07-25 2016-05-24 日立マクセル株式会社 映像表示装置および映像表示方法
US20140123077A1 (en) * 2012-10-29 2014-05-01 Intel Corporation System and method for user interaction and control of electronic devices
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
CN104813258B (zh) * 2012-11-22 2017-11-10 夏普株式会社 数据输入装置
JP5950806B2 (ja) * 2012-12-06 2016-07-13 三菱電機株式会社 入力装置、情報処理方法、及び情報処理プログラム
US20140340498A1 (en) * 2012-12-20 2014-11-20 Google Inc. Using distance between objects in touchless gestural interfaces
JP6167529B2 (ja) * 2013-01-16 2017-07-26 株式会社リコー 画像投影装置、画像投影システム、制御方法およびプログラム
JP6029478B2 (ja) * 2013-01-30 2016-11-24 三菱電機株式会社 入力装置、情報処理方法、及び情報処理プログラム
JP5950845B2 (ja) * 2013-02-07 2016-07-13 三菱電機株式会社 入力装置、情報処理方法、及び情報処理プログラム
JP2018088259A (ja) * 2013-03-05 2018-06-07 株式会社リコー 画像投影装置、システム、画像投影方法およびプログラム
US9519351B2 (en) * 2013-03-08 2016-12-13 Google Inc. Providing a gesture-based interface
JP6044426B2 (ja) * 2013-04-02 2016-12-14 富士通株式会社 情報操作表示システム、表示プログラム及び表示方法
JP6207240B2 (ja) * 2013-06-05 2017-10-04 キヤノン株式会社 情報処理装置及びその制御方法
WO2015002421A1 (ko) * 2013-07-02 2015-01-08 (주) 리얼밸류 휴대용 단말기의 제어방법, 이를 실행하기 위한 프로그램을 저장한 기록매체, 애플리케이션 배포서버 및 휴대용 단말기
WO2015002420A1 (ko) * 2013-07-02 2015-01-08 (주) 리얼밸류 휴대용 단말기의 제어방법, 이를 실행하기 위한 프로그램을 저장한 기록매체, 애플리케이션 배포서버 및 휴대용 단말기
JP6248462B2 (ja) * 2013-08-08 2017-12-20 富士ゼロックス株式会社 情報処理装置及びプログラム
KR102166330B1 (ko) * 2013-08-23 2020-10-15 삼성메디슨 주식회사 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치
JP6213193B2 (ja) * 2013-11-29 2017-10-18 富士通株式会社 動作判定方法及び動作判定装置
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
CN103713823B (zh) * 2013-12-30 2017-12-26 深圳泰山体育科技股份有限公司 实时更新操作区位置的方法及系统
EP2916209B1 (en) * 2014-03-03 2019-11-20 Nokia Technologies Oy Input axis between an apparatus and a separate apparatus
US20150323999A1 (en) * 2014-05-12 2015-11-12 Shimane Prefectural Government Information input device and information input method
KR101601951B1 (ko) 2014-09-29 2016-03-09 주식회사 토비스 공간 터치 입력이 수행되는 곡면디스플레이 장치
JP6520918B2 (ja) 2014-12-26 2019-05-29 株式会社ニコン 制御装置、電子機器、制御方法およびプログラム
US10359883B2 (en) 2014-12-26 2019-07-23 Nikon Corporation Detection device, electronic apparatus, detection method and program
KR20170101769A (ko) 2014-12-26 2017-09-06 가부시키가이샤 니콘 검출 장치 및 프로그램
US9984519B2 (en) 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
CN104765459B (zh) * 2015-04-23 2018-02-06 无锡天脉聚源传媒科技有限公司 虚拟操作的实现方法及装置
CN104866096B (zh) * 2015-05-18 2018-01-05 中国科学院软件研究所 一种利用上臂伸展信息进行命令选择的方法
KR101685523B1 (ko) * 2015-10-14 2016-12-14 세종대학교산학협력단 사용자의 신체적 특징과 뇌파 집중 지수를 이용한 가상 모니터 개념의 인터페이스 방법 및 그 시스템
KR101717375B1 (ko) * 2015-10-21 2017-03-17 세종대학교산학협력단 가상 모니터 기반의 핸드 마우스를 이용한 게임 인터페이스 방법 및 그 시스템
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
CN105404384A (zh) * 2015-11-02 2016-03-16 深圳奥比中光科技有限公司 手势操作方法、利用手势定位屏幕光标的方法及手势系统
US10610133B2 (en) 2015-11-05 2020-04-07 Google Llc Using active IR sensor to monitor sleep
JP6569496B2 (ja) * 2015-11-26 2019-09-04 富士通株式会社 入力装置、入力方法、及びプログラム
US10289206B2 (en) * 2015-12-18 2019-05-14 Intel Corporation Free-form drawing and health applications
JP6230666B2 (ja) * 2016-06-30 2017-11-15 シャープ株式会社 データ入力装置、データ入力方法、及びデータ入力プログラム
US20180024623A1 (en) * 2016-07-22 2018-01-25 Google Inc. Detecting user range of motion for virtual reality user interfaces
WO2018083737A1 (ja) * 2016-11-01 2018-05-11 マクセル株式会社 表示装置及び遠隔操作制御装置
JP6246310B1 (ja) 2016-12-22 2017-12-13 株式会社コロプラ 仮想空間を提供するための方法、プログラム、および、装置
KR101821522B1 (ko) * 2017-02-08 2018-03-08 윤일식 모니터를 이용한 엘리베이터 동작제어장치 및 방법
KR102610690B1 (ko) * 2017-02-24 2023-12-07 한국전자통신연구원 외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법
CN107015644B (zh) * 2017-03-22 2019-12-31 腾讯科技（深圳）有限公司 虚拟场景中游标的位置调节方法及装置
KR101968547B1 (ko) * 2017-07-17 2019-04-12 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2019026713A1 (ja) * 2017-08-04 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN107861403B (zh) * 2017-09-19 2020-11-13 珠海格力电器股份有限公司 一种电器的按键锁定控制方法、装置、存储介质及电器
JP7017675B2 (ja) * 2018-02-15 2022-02-09 有限会社ワタナベエレクトロニクス 非接触入力システム、方法およびプログラム
US20200012350A1 (en) * 2018-07-08 2020-01-09 Youspace, Inc. Systems and methods for refined gesture recognition
JP7058198B2 (ja) * 2018-08-21 2022-04-21 グリー株式会社 画像表示システム、画像表示方法及び画像表示プログラム
AU2020226861A1 (en) 2019-02-18 2021-10-14 Arkh Litho Holdings, LLC Interacting with a smart device using a pointing controller
KR20220156601A (ko) * 2020-03-23 2022-11-25 후아웨이 테크놀러지 컴퍼니 리미티드 디바이스의 손 제스처 기반 제어를 위한 방법 및 시스템
JP7041211B2 (ja) * 2020-08-03 2022-03-23 パラマウントベッド株式会社 画像表示制御装置、画像表示システム及びプログラム
TWI813907B (zh) * 2020-09-30 2023-09-01 優派國際股份有限公司 觸控顯示裝置及其操作方法
JP2022163813A (ja) * 2021-04-15 2022-10-27 キヤノン株式会社 装着型の情報端末、その制御方法及びプログラム
CN113569635A (zh) * 2021-06-22 2021-10-29 惠州越登智能科技有限公司 一种手势识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN200947919Y (zh) * 2006-08-23 2007-09-19 陈朝龙 辅助鼠标操作的支撑结构
CN101064076A (zh) * 2007-04-25 2007-10-31 上海大学 远景定向查询展示装置及方法
CN101185114A (zh) * 2005-05-27 2008-05-21 摩托罗拉公司 用于手持电子装置的用户接口控制器方法和设备
US20080120577A1 (en) * 2006-11-20 2008-05-22 Samsung Electronics Co., Ltd. Method and apparatus for controlling user interface of electronic device using virtual plane
US20090183125A1 (en) * 2008-01-14 2009-07-16 Prime Sense Ltd. Three-dimensional user interface

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612177A (ja) * 1992-06-29 1994-01-21 Canon Inc 情報入力方法及びその装置
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP2001236179A (ja) * 2000-02-22 2001-08-31 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6911995B2 (en) * 2001-08-17 2005-06-28 Mitsubishi Electric Research Labs, Inc. Computer vision depth segmentation using virtual surface
JP4974319B2 (ja) * 2001-09-10 2012-07-11 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
JP2004013314A (ja) * 2002-06-04 2004-01-15 Fuji Xerox Co Ltd 位置測定用入力支援装置
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
JP2004078977A (ja) 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
HU0401034D0 (en) * 2004-05-24 2004-08-30 Ratai Daniel System of three dimension induting computer technology, and method of executing spatial processes
JP2008505379A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元タッチ型インタラクションにおけるタッチダウン型フィードフォワード
WO2006041097A1 (ja) * 2004-10-12 2006-04-20 Nippon Telegraph And Telephone Corporation ３次元ポインティング方法、３次元表示制御方法、３次元ポインティング装置、３次元表示制御装置、３次元ポインティングプログラム、及び３次元表示制御プログラム
US8614676B2 (en) * 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
JP4608326B2 (ja) * 2005-01-26 2011-01-12 株式会社竹中工務店 指示動作認識装置及び指示動作認識プログラム
ITUD20050152A1 (it) * 2005-09-23 2007-03-24 Neuricam Spa Dispositivo elettro-ottico per il conteggio di persone,od altro,basato su visione stereoscopica,e relativo procedimento
WO2007126286A1 (en) * 2006-04-28 2007-11-08 Mtekvision Co., Ltd. Non-contact selection device
JP4481280B2 (ja) * 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8354997B2 (en) * 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
KR100827243B1 (ko) * 2006-12-18 2008-05-07 삼성전자주식회사 3차원 공간상에서 정보를 입력하는 정보 입력 장치 및 그방법
US8963828B2 (en) * 2007-06-04 2015-02-24 Shimane Prefectural Government Information inputting device, information outputting device and method
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
US8462148B1 (en) * 2009-04-01 2013-06-11 Perceptive Pixel Inc. Addressing rotational exhaustion in 3D manipulation
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US8261211B2 (en) * 2009-10-01 2012-09-04 Microsoft Corporation Monitoring pointer trajectory and modifying display interface
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101185114A (zh) * 2005-05-27 2008-05-21 摩托罗拉公司 用于手持电子装置的用户接口控制器方法和设备
CN200947919Y (zh) * 2006-08-23 2007-09-19 陈朝龙 辅助鼠标操作的支撑结构
US20080120577A1 (en) * 2006-11-20 2008-05-22 Samsung Electronics Co., Ltd. Method and apparatus for controlling user interface of electronic device using virtual plane
CN101064076A (zh) * 2007-04-25 2007-10-31 上海大学 远景定向查询展示装置及方法
US20090183125A1 (en) * 2008-01-14 2009-07-16 Prime Sense Ltd. Three-dimensional user interface

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978033A (zh) * 2015-07-08 2015-10-14 北京百马科技有限公司 一种人机交互设备
CN109643206A (zh) * 2016-06-28 2019-04-16 株式会社尼康 控制装置、显示装置、程序及检测方法
CN108345377A (zh) * 2017-01-25 2018-07-31 武汉仁光科技有限公司 一种基于Kinect的自适应用户身高的交互方法
WO2022021980A1 (zh) * 2020-07-30 2022-02-03 北京市商汤科技开发有限公司 虚拟对象的控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CA2886208A1 (en) 2011-02-17
EP2466423A4 (en) 2015-03-11
CN102473041A (zh) 2012-05-23
EP2466423B1 (en) 2018-07-04
US9535512B2 (en) 2017-01-03
EP2466423A1 (en) 2012-06-20
US20120119988A1 (en) 2012-05-17
CA2768893C (en) 2015-11-17
KR101347232B1 (ko) 2014-01-03
US8890809B2 (en) 2014-11-18
WO2011018901A1 (ja) 2011-02-17
CA2768893A1 (en) 2011-02-17
KR20120040211A (ko) 2012-04-26
JP4701424B2 (ja) 2011-06-15
JP2011039844A (ja) 2011-02-24
CN102473041B (zh) 2015-01-07
US20150130715A1 (en) 2015-05-14

Similar Documents

Publication Publication Date Title
CN102473041B (zh) 图像识别装置、操作判断方法以及程序
CN102057347B (zh) 图像识别装置、操作判断方法及程序
CN103154858B (zh) 操作输入装置与方法及程序
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US10001844B2 (en) Information processing apparatus information processing method and storage medium
CN104471511B (zh) 识别指点手势的装置、用户接口和方法
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
CN103124945B (zh) 图像识别装置和操作判断方法以及程序
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
CN106095088A (zh) 一种电子设备及其图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150513