CN103488283B - 信息处理设备及其控制方法和背景确定方法 - Google Patents

信息处理设备及其控制方法和背景确定方法 Download PDF

Info

Publication number
CN103488283B
CN103488283B CN201310225068.5A CN201310225068A CN103488283B CN 103488283 B CN103488283 B CN 103488283B CN 201310225068 A CN201310225068 A CN 201310225068A CN 103488283 B CN103488283 B CN 103488283B
Authority
CN
China
Prior art keywords
background
region
image
unit
subregion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310225068.5A
Other languages
English (en)
Other versions
CN103488283A (zh
Inventor
久保山英生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103488283A publication Critical patent/CN103488283A/zh
Application granted granted Critical
Publication of CN103488283B publication Critical patent/CN103488283B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种信息处理设备及其控制方法和背景确定方法。该信息处理设备检测在背景区域中移动的并且包括除识别对象以外的物体的移动体。所述信息处理设备将所述背景区域中存在所述移动体的部分区域设置为背景未确定区域，并且在设置为所述背景未确定区域的各部分区域中，将被视为在所述背景区域中不存在所述识别对象的部分区域设置为背景确定区域。所述信息处理设备识别由所述背景确定区域中移动的识别对象所引起的操作。

Description

信息处理设备及其控制方法和背景确定方法
技术领域
本发明涉及一种可以识别用户动作的信息处理设备。
背景技术
如下的装置正越来越得到广泛使用，其在该装置可以从利用可见光照相机或红外线照相机所拍摄的图像检测手区域，(即，包括用户手的区域)，并且可以基于所检测到的区域的移动和位置来识别姿势操作或对所显示用户界面所进行的操作。
如日本特开2009-104297所述，可以使用作为能够检测进行姿势操作的手的技术的背景减除技术，来提取通过拍摄背景中存在的用户手所获得的图像和通过仅拍摄背景所获得的背景图像之间的差。可以使用上述方法来检测手区域、并且基于所检测到的手区域的形状或移动来判断操作。
此外，日本特开2010-92224所述的用于管理实物后面的背景图像的方法包括：将摄像范围分割成多个部分区域，并且针对输入图像的各部分区域，将包括运动体(例如，人物)的运动体区域与不包括任何运动体的背景区域进行区分。该方法还包括：以通过更新整个摄像范围中不包括任何运动体的背景图像从而获得最新背景图像的方式，来组合从各个部分区域所获得的最新背景区域。
然而，为了精确地检测识别对象(例如，用户手)，在上述方法中，重要的是背景图像中所包括的物体是静止的。例如，在识别对象与除识别对象以外的物体一起在背景区域上移动的情况下，可能无法精确地检测由识别对象的移动所源起的操作。
发明内容
本发明涉及一种能够精确地识别基于诸如用户手等的识别对象的移动的操作的技术。
根据本发明的一方面，一种信息处理设备，其能够识别由识别对象所引起的操作，所述信息处理设备包括：检测单元，用于检测在背景区域中移动的并且包括除所述识别对象以外的物体的移动体；设置单元，用于将构成所述背景区域的部分区域中的在所述背景区域中存在所述检测单元所检测到的移动体的部分区域设置为背景未确定区域，并且在设置为所述背景未确定区域的各部分区域中，进一步将被视为在所述背景区域中不存在所述识别对象的部分区域设置为背景确定区域；以及识别单元，用于识别由所述背景确定区域中移动的所述识别对象所引起的操作。
根据本发明的一方面，一种信息处理设备的控制方法，其中，所述信息处理设备能够识别由识别对象所引起的操作，所述控制方法包括以下步骤：检测在背景区域中移动的并且包括除所述识别对象以外的物体的移动体；将构成所述背景区域的一部分的在所述背景区域中存在所述移动体的部分区域设置为背景未确定区域，并且在设置为所述背景未确定区域的各部分区域中，将被视为在所述背景区域中不存在所述识别对象的部分区域设置为背景确定区域；以及识别由所述背景确定区域中移动的所述识别对象所引起的操作。
根据本发明的一方面，一种基于背景减除技术的背景确定方法，包括以下步骤：将输入图像的摄像范围分割成多个部分区域；将所述多个部分区域设置为能够基于所述背景减除技术识别由识别对象所引起的操作的背景确定区域或者基于所述背景减除技术无法识别由所述识别对象所引起的操作的背景未确定区域；将所述多个部分区域中的除所述识别对象以外的物体正移动的区域设置为所述背景未确定区域；以及将设置为所述背景未确定区域的部分区域中的除所述识别对象以外的物体已停止的区域设置为所述背景确定区域。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1A示出信息处理设备的外观，并且图1B示出信息处理设备的硬件结构。
图2A和2B示出信息处理设备的功能结构。
图3是示出基于用户动作的操作的识别处理的例子的流程图。
图4A～4D示出对信息处理设备所进行的用户操作的例子。
图5A是示出可以通过信息处理设备进行的背景图像控制处理的例子的流程图，并且图5B是示出可以通过信息处理设备进行的背景图像控制处理的另一例子的流程图。
图6A～6D示出对信息处理设备所进行的用户操作的例子。
图7A是示出可以通过信息处理设备进行的背景图像控制处理的例子的流程图，并且图7B是示出可以通过信息处理设备进行的检测辅助处理的例子的流程图。
图8A示出信息处理设备分割得到的部分区域的例子，图8B是示出可以通过信息处理设备进行的区域分割处理的例子的流程图，并且图8C是示出可以通过信息处理设备进行的区域分割处理的例子的流程图。
图9示出以俯拍方式拍摄的表示操作面的各种状态的图像。
具体实施方式
下面参考附图详细说明本发明的典型实施例。下面的典型实施例所述的构件仅是例子。本发明的范围不局限于下面的典型实施例。
图1A示出根据典型实施例的信息处理设备100的外观。信息处理设备100包括位于相对于操作面11的上方位置的投影仪。投影仪可以对投影图像进行投影，其中该投影图像包括使得用户触摸操作面11以进行输入操作的用户界面用的显示对象10(例如，按钮或图标)。位于上方位置的照相机105可以基于俯拍视频来识别用户动作，或者可以获得位于操作面11的背景区域中的实物12的图像数据。触摸传感器107可以检测识别对象(例如，用户手)和操作面11之间的距离以判断用户是否触摸了操作面11。
图1B示出根据本典型实施例的信息处理设备的硬件结构。在图1B中，中央处理单元(CPU)101可以执行控制程序以进行要通过信息处理设备进行的各种处理用的计算和逻辑判断，并且可以控制经由系统总线108相连接的各构件。
只读存储器(ROM)102是用于存储CPU101要执行的控制程序的程序存储器。存储在ROM102中的程序包括以下参考下面的流程图所述的各种类型的处理过程。随机存取存储器(RAM)103可用于向CPU101提供工作区、错误处理数据保存区和控制程序装载区。
存储装置104是连接至信息处理设备的硬盘或外部存储装置。存储装置104存储与本典型实施例有关的数据和程序。照相机105是用于拍摄输入图像的摄像单元。在本典型实施例中，将照相机105置于上方位置以拍摄操作区的图像。显示装置106例如是可以基于电子数据来显示各种显示对象和图像的众所周知的显示装置或投影仪。
在本典型实施例中，在投影仪将投影图像投影显示在操作面11上时，触摸传感器107基于用户进行操作所使用的识别对象(例如，用户手)和操作面11之间的距离来检测用户在操作面11上的触摸操作。触摸传感器107例如是红外线传感器。
在本典型实施例中，照相机105和显示装置106内置于信息处理设备中。然而，可以将信息处理设备配置成控制外部连接的照相机和外部连接的显示装置。
图2A示出根据本典型实施例的信息处理设备的功能结构。图2A所示的信息处理设备包括获取单元201、分割单元202、第一检测单元203、更新单元204、设置单元205、显示控制单元206、识别单元207和第二检测单元208，可以由CPU101、ROM102和RAM103构成。获取单元201用于获取照相机105所拍摄的输入图像。
分割单元202用于将照相机105的摄像范围分割成多个部分区域。分割单元202可以将照相机105所拍摄的输入图像和背景图像分割成多个部分区域，从而使得可以单独处理各部分区域。
第一检测单元203用于使用背景减除技术，从输入图像来检测存在移动体的特定背景区域。此外，第一检测单元203用于判断所检测到的移动体是包括识别对象还是包括除识别对象以外的任何物体。
更新单元204用于控制第一检测单元203检测移动体时要使用的背景图像。根据需要，更新单元204进行用于基于输入图像更新背景图像的处理。设置单元205用于将各部分区域设置为背景确定区域或背景未确定区域。在这种情况下，针对各部分区域，设置单元205控制显示装置106在用户界面上要显示的显示对象的有效/无效，并且向显示控制单元206发送有效/无效通知。
在本典型实施例中，设置单元205将背景上存在第一检测单元203所检测到的移动体的部分区域设置为背景未确定区域。此外，如果移动体在背景未确定区域中停止或消失，则设置单元205认为在背景区域中不存在识别对象，并且将该区域设置为背景确定区域。
显示控制单元206用于生成显示图像，以控制显示装置106在操作面上要显示的内容，并且用于将所生成的显示图像输出给显示装置106。更具体地，显示控制单元206用于管理构成显示图像的各显示对象的位置。
识别单元207用于在设置单元205所设置的背景确定区域中，基于第一检测单元203所检测到的移动体的移动和形状，来识别用户操作。触摸传感器107构成了识别单元207。
本典型实施例中识别单元207所识别出的用户操作例如是使用识别对象物体(例如，用户手)的触摸操作或姿势操作。触摸操作是触摸操作面上所显示的对象以指示执行与所触摸对象相关联的处理的用户所进行的操作。
姿势操作是由以与姿势模型(即，预先设置的模式)一致的方式移动识别对象物体以指示执行与该姿势模型相关联的处理的用户所进行的操作。
在识别触摸操作时，识别单元207基于移动与姿势模型一致的识别对象物体的位置信息和从显示控制单元206所获得的显示对象的位置信息，来识别所触摸的显示对象。
第二检测单元208用于分析输入图像，并且检测第一检测单元203所检测到的已进入摄像范围的移动体的位置。然而，在不需要的情况下，也可以省略第二检测单元208。下面说明使用第二检测单元208的变形例。
图9示出操作面的各种状态下所拍摄的俯拍图像(即，输入图像)的例子。例如，图像901是操作台上没有放置任何东西的状态下所拍摄的操作台的图像。可以使用图像901作为背景减除技术中的初始状态背景图像。
图像902是操作台上存在移动体的状态下所拍摄的操作台的输入图像。图像903是可通过提取图像901和图像902之间的差所检测到的移动体的图像。
在本典型实施例中，移动体是如下的物体(或者物体组)，其中该物体(或者物体组)是与检测期间的运动状态无关地作为背景图像和输入图像之间的差所提取的区域、并且针对所提取区域存在变化。使用上述背景减除技术，有效地响应于可以以预定间隔从照相机105所获得的各输入图像来检测移动体并且追踪所检测到的移动体的移动。
在本典型实施例中，用户使用手来进行姿势操作。因此，用户手是信息处理设备要识别的对象。图像902中要检测的移动体是用户手(即，识别对象)本身。
因此，信息处理设备参考预先存储的各手姿势，对要检测的移动体的移动进行模式匹配，并且将匹配分数高的姿势识别为用户所进行的姿势操作。
图像904是在用户进行用于利用信息处理设备的照相机105从纸质文档读取图像的操作时、在操作面上放置实物(例如，打印的纸质文档)的状态下所拍摄的输入图像。例如，在背景图像如图像901的初始状态那样保持不更新的情况下，在提取背景图像和输入图像904之间的差时，可以获得物体组的图像905。图像905的物体组包括可检测为单个移动体的在背景上移动的用户手和纸质文档这两者。
在这种情况下，尽管便于追踪移动体，但是难以基于应用于手姿势的模式匹配来精确地识别手姿势操作。
为了仅基于背景减除技术来检测用户手(即，识别对象)，如图像906所示，需要获取没有包括用户手的情况下置于操作台上的文档的图像，使用该图像作为背景图像。在提取更新后的背景图像906和输入图像904之间的差时，可获得仅包括用户手(即，移动体)的图像907。然而，为了拍摄更新后的背景图像906，用户需要从照相机105的摄像范围临时移除手。
在这种情况下，为了获得可用于基于背景减除技术从拍摄图像检测包括识别对象(例如，用户手)的区域的背景图像，根据第一典型实施例的信息处理设备将图像分割成多个区域，并且确定各部分区域的背景图像。
图像908包括照相机105的在与输入图像904相同的输入图像中被分割成16个部分区域的摄像范围。在这种情况下，根据需要，信息处理设备可以更新如上所述分割得到的各部分区域的背景图像。因此，信息处理设备可以在无需用户从摄像范围完全移除手的情况下获得适当的背景图像。
在图像908的状态下，如果向各部分区域应用使用初始状态背景图像的背景减除技术来检测移动体，则在不包括任何移动体的区域中可以直接使用初始状态背景图像。此外，当基于与初始状态背景图像的差检测到移动体时，在用户手没有完全停止而持续移动的同时，所放置的纸质文档立即停止。
因此，信息处理设备可以基于仅包括纸质文档的区域中的输入图像来重新更新背景图像。换句话说，信息处理设备不更新图像908中存在用户手的两个区域(即，以虚线包围的区域)中的背景图像。
如果对于背景没有更新的部分区域提取初始状态背景图像901和输入图像之间的差，则根据图像909可以理解，纸质文档的一部分与识别对象一起检测到的可能性较高。更具体地，在这种情况下，无法精确地检测用户手，并且可能错误地识别动作。
另一方面，在第一典型实施例中，如果检测到包括除识别对象以外的实物的移动体，则信息处理设备将背景图像分割成多个部分区域，并且确定各部分区域的背景图像。然后，信息处理设备仅在确定了背景图像的区域中，识别源自基于背景减除技术所检测到的用户动作的操作。
图3是示出根据本典型实施例的信息处理设备可进行的基于用户动作的操作的识别处理的流程图。下面参考图3详细说明各步骤要进行的处理。在本典型实施例中，在启动信息处理设备时开始该处理。
在本典型实施例中，用户使用用户手作为识别对象。此外，在本典型实施例中，假定背景图像在用户将物体置于操作面上时发生变化。在这种情况下，不考虑在显示装置106显示显示对象时在操作面上可能发生的变化。
在本典型实施例中，可以使用不存在识别对象和实物这两者的状态下显示装置106在操作面上显示显示对象时由照相机105所拍摄的图像，作为显示显示对象的状态下的背景图像。
可选地，作为另一示例性处理，更新单元204可以从显示控制单元206获取显示装置106要显示的内容，并且可以生成包括操作台图像和该显示内容的合成背景图像。在这种情况下，显示装置106以反映操作面上的变化的方式来显示合成图像。
然而，即使在显示装置106显示图像时在操作面上发生变化的情况下，根据本典型实施例的处理也可应用于更新背景图像。在这种情况下，可以降低更新单元204的处理负荷。此外，由于处理设备免除了下面的噪声，因而可以精确地检测识别对象，其中所述噪声是由于投影仪和操作面之间的距离的物理偏差而在显示装置106要显示的内容被检测为移动体时可能发生的噪声。
首先，在步骤S301，获取单元201获取照相机105所拍摄的输入图像。在本典型实施例中，输入图像是利用可见光照相机所拍摄的自然图像。然而，例如，输入图像也可以是利用可基于反射红外光拍摄图像的红外线照相机所拍摄的图像。
步骤S301由获取单元201所获取到的图像对应于构成照相机105连续拍摄的视频的多个帧中的一个帧，并且该图像在执行下面的处理期间被定期更新。作为示例性更新操作，获取单元201可以每隔照相机105所拍摄的视频的预定数量的帧或者每隔恒定时间来更新输入图像。
在步骤S302，第一检测单元203根据背景减除技术，基于预先获取的背景图像和获取单元201所获取的输入图像，检测输入图像中包括移动体的区域(以下称为“检测移动体”)。
在紧挨在信息处理设备启动之后要进行的初始处理中，假定预先获取的背景图像是照相机105在不存在识别对象和实物的状态下所拍摄的图像。在第二次处理以及随后的处理中，使用通过下述处理更新后的背景图像。
在本典型实施例中，“移动体”对应于作为背景图像和输入图像之间的差所提取的区域。更具体地，移动体是与输入图像获取操作时的运动状态无关地在背景中已发生变化的区域。因此，例如，如果背景在移除被置于识别对象上的物体时发生变化，则将曾存在被移除的物体的区域检测为移动体，即背景图像和输入图像之间的差。第一检测单元203将移动体检测操作时要使用的背景图像存储在RAM103中。
在步骤S303，第一检测单元203判断所检测到的移动体是否包括除用户手(即，识别对象)以外的物体。在本典型实施例中，第一检测单元203参考预先学习的人手形状数据进行模式匹配，并且基于所获取的似然度来判断移动体是否包括人手。
如果判断为移动体不包括人手，则存在如下可能性：用户手保持该物体；将该物体置于操作面上；或者移除了所放置的物体。因此，判断为所检测到的移动体包括除识别对象以外的物体。
如果判断为包括除识别对象以外的物体(步骤S303为“是”)，则需要更新背景图像。因此，操作进入步骤S304。另一方面，如果判断为所检测到的移动体是识别对象(步骤S303为“否”)，则不需要更新背景图像。因此，操作进入步骤S313。
在步骤S304，设置单元205将整个输入图像设置为背景未确定区域。在初始状态下，将整个输入图像预先设置为信息处理设备识别用户操作的背景确定区域。背景确定区域是已确定了基于背景减除技术来检测识别对象所要使用的背景图像、并且将移动体(即，检测结果)判断为识别对象的区域。
另一方面，背景未确定区域是仍未确定基于背景减除技术来检测识别对象所要使用的背景图像的区域。在本典型实施例中，为了避免误识别，信息处理设备不识别背景未确定区域中的任何用户操作。
当设置单元205在步骤S304将整个输入图像设置为背景未确定区域时，设置单元205向显示控制单元206发送用以通知已使得操作面上所显示的所有显示对象无效的通知。在这种情况下，在生成显示图像并且输出给显示装置106时，显示控制单元206可以从显示内容删除各无效显示对象或者改变该对象的颜色，以通知用户该显示对象不可操作。
在步骤S305，分割单元202将照相机105的摄像范围分割成多个部分区域。在本典型实施例中，分割单元202将整个摄像范围分割成各自具有恒定矩形形状的两个以上的部分区域。然后，分割单元202将输入图像的各部分区域(即，分割区域其中之一)与背景图像的部分区域(即，分割区域其中之一)相关联地进行存储。
在步骤S306，更新单元204选择部分区域其中之一(即，分割区域其中之一)。
然后，在步骤S307，更新单元204判断在所选择的部分区域中输入图像与背景图像是否一致。如果输入图像与背景图像一致，则在部分区域的背景中不存在移动体。因此，可以理解，无需更新背景图像。
如果判断为在所选择的部分区域中输入图像与背景图像不一致(步骤S307为“否”)，则可能需要更新背景。因此，操作进入步骤S308。如果判断为在所选择的部分区域中输入图像与背景图像一致(步骤S307为“是”)，则操作在跳过步骤S309要进行的背景图像更新处理的情况下进入步骤S310。
在步骤S308，更新单元204判断所检测到的移动体在所选择的部分区域中是否已停止。更新单元204从获取单元201中获取所选择的部分区域的输入图像以进行比较，其中所获取的输入图像是与预定持续时间相对应的多个帧。作为比较结果，如果没有发生变化，则更新单元204判断为移动体在所选择的部分区域中已停止。
在本典型实施例中，如果图像在两秒内没有变化，则更新单元204判断为所选择的部分区域是静止的。如果判断为所选择的部分区域是静止的(步骤S308为“是”)，则操作进入步骤S309。如果判断为所选择的部分区域不是静止的(步骤S308为“否”)，则在所选择的区域中包含识别对象的可能性较高。因此，操作在跳过步骤S309要进行的背景图像更新处理的情况下进入步骤S310。
在步骤S309，更新单元204更新所选择的部分区域的背景图像。在本典型实施例中，更新单元204将与该时刻最终所获取的输入图像相对应的部分区域图像设置为所选择的部分区域的背景图像，并且更新存储在第一检测单元203中的背景图像的相应部分。
接着，在步骤S310，更新单元204判断是否存在未选择的部分区域。在本典型实施例中，作为示例性判断方法，更新单元204针对步骤S306所选择的部分区域设置选择标志，从而使得可以参考该选择标志来检查是否存在未选择的部分区域。
如果判断为存在至少一个未选择的部分区域(步骤S310为“是”)，则操作返回至步骤S306以对下一剩余部分区域重复上述步骤S306～S310的处理。如果判断为选择了所有部分区域(步骤S310为“否”)，则操作进入步骤S311。
在步骤S311，设置单元205将多个部分区域中的在背景中没有发生任何变化或者更新了背景图像的各部分区域设置为背景确定区域。
在本典型实施例中，作为区域区分方法，如果步骤S308的判断结果为“否”，则更新单元204对部分区域设置移动体标志。如果没有设置移动体标志，则设置单元205将部分区域设置为背景确定区域。
在这种情况下，设置单元205向显示控制单元206发送用以通知使得背景确定区域中所包括的显示对象有效的通知。当显示对象处于有效状态时，如果用户操作UI，则可以识别出用户操作。
显示控制单元206进行如下通知：用户可以通过向显示装置106输出包括各有效的显示对象或颜色改变的显示对象的显示图像来进行操作。
在步骤S312，第一检测单元203在背景确定区域中检测识别对象。第一检测单元203使用存储在RAM103中的背景图像和获取单元201新获取的输入图像，基于背景减除技术来检测移动体。
由于更新了背景图像，因而所检测到的移动体是用户手(即，识别对象)的可能性较高。因此，在本典型实施例中，第一检测单元203向识别单元207发送用以通知所检测到的移动体是识别对象的通知。进行应用于所检测到的移动体和人手形状数据的模式匹配能够识别出用户手。
在步骤S313，识别单元207识别由识别对象所引起的操作。在本典型实施例中，识别单元207检测用户手的移动或形状，或者测量用户手和操作面之间的距离，并且如果满足预定条件，则识别单元207识别为输入了与预定条件相对应的操作。
例如，如果用户手和显示特定显示对象的位置之间的距离短于预定距离，则可以认为触摸了该特定显示对象。因此，识别单元207识别为输入了与该特定显示对象相对应的操作。
此外，如果用户手的移动与预定姿势模式相一致，则识别单元207识别为输入了与该姿势模式相对应的操作。
在步骤S314，判断是否通过步骤S313所识别出的操作停用了信息处理设备。在第二次及随后的处理中，如果认为移动体在第一次处理时从被设置为背景未确定区域的区域所包括的部分区域中消失，则将该部分区域设置为背景确定区域。
例如，在判断为存储在第一检测单元203中的未更新背景图像与输入图像一致的情况下(步骤S307为“是”)，意味着移动体已从所选择的区域消失。
此外，在判断为移动体已停止的情况下(步骤S308为“是”)，识别对象消失的可能性较高。因此，设置单元205将所选择的区域设置为背景确定区域。信息处理设备在被停用时终止基于用户动作的操作的识别处理。
在本典型实施例中，信息处理设备重复上述处理直到被停用为止。
下面参考图4A～4D说明操作根据第一典型实施例的信息处理设备的用户所进行的操作的例子。
图4A示出用户将纸质文档(即，实物)405放置于操作面上的操作状态。在这种情况下，显示控制单元206围绕纸质文档405显示多个显示对象404。在本典型实施例所述的操作例子中，各黑色矩形表示操作有效的显示对象，并且各白色矩形表示操作无效的显示对象。
首先，在步骤S301，获取单元201获取照相机105所拍摄的摄像范围401的输入图像402。然后，在步骤S302，第一检测单元203基于背景减除技术，检测识别对象(即，用户手)406作为移动体。
更具体地，在这种情况下，在移动体中包括除识别对象以外的物体(步骤S303为“是”)。因此，需要更新背景图像。因而，在步骤S304，设置单元205将整个输入图像402设置为背景未确定区域。
因此，使所有显示对象404无效。显示控制单元206将各显示对象404显示为白色矩形。然后，在步骤S305，分割单元202将摄像范围401分割成16个部分区域403。
图4B示出经过了背景图像控制处理的各个部分区域的操作状态。作为16个部分区域403的一部分的以虚线包围的区域406’不包括初始背景图像的变化(步骤S307为“是”)。因此，更新单元204不进行背景图像更新处理。
移动体在背景区域407是静止的(步骤S308为“是”)。因此，在步骤S309，更新单元204更新区域407的背景图像。另一方面，用户手正在背景区域408(即，以粗线包围的区域)中移动(并非静止)。因此，更新单元204不更新该背景图像。
因此，在步骤S311，设置单元205将区域408设置为背景未确定区域，并且将各区域406和407设置为背景确定区域。换句话说，区域408中的显示对象404保持无效。在这种情况下，显示控制单元206在区域408中将显示对象404显示为白色矩形。另一方面，使其它显示对象404有效。显示控制单元206在区域407中将这些对象404显示为黑色矩形。
图4C示出用户手臂移动以触摸有效显示对象409的操作状态。第一检测单元203可以通过重复基于用户动作的操作的识别处理，来检测背景确定区域中的识别对象(即，用户手)。因此，识别单元207可以识别触摸了显示对象409的用户所进行的操作。
此外，在用户手已从区域408的部分区域消失的情况下，更新单元204判断为该部分区域是静止的(步骤S308为“是”)。因此，在步骤S309，更新单元204更新部分区域的背景图像。结果，减少了背景未确定区域410。
如上所述，根据本典型实施例的信息处理设备将图像分割成多个区域，更新各分割区域的背景，并且仅在更新了背景图像的区域中识别基于背景减除技术所检测到的源自于用户动作操作。
因此，即使背景在用户将操作所需物体放置于操作面上时发生变化，用户也无需从照相机105的摄像范围移除识别对象。此外，由于仅在获取到最新背景图像的区域中进行用户动作检测处理，因而可以降低误识别的数量。
在上述典型实施例中，信息处理设备在步骤S304将整个输入图像设置为背景未确定区域。然后，信息处理设备对所有分割部分区域进行背景图像控制处理。然后，信息处理设备参考背景图像控制处理的结果来设置背景确定区域。
然而，在初始状态下将整个区域设置为背景确定区域、并且在步骤S308中更新单元204判断为部分区域图像并未静止的情况下将部分区域设置为背景未确定区域，这也是可以的。
此外，在本典型实施例中，在步骤S307中所选择的部分区域与背景图像一致的情况下，更具体地，在图像中没有发生变化的情况下，信息处理设备不更新背景图像。因此，可以降低背景图像更新处理负荷。然而，该处理不局限于上述例子。例如，也可以更新所有静止部分区域的背景图像。
此外，在本典型实施例中，信息处理设备在步骤S302中从初始状态背景图像检测移动体。在所检测到的移动体包括除识别对象以外的任何物体的情况下，信息处理设备进行背景图像控制处理。然而，可以使用任何其它方法来判断是否进行背景图像控制处理。
例如，也可以在所获取的输入图像中检测操作面上的预定位置处可能发生的颜色变化。在这种情况下，在颜色发生变化的情况下，考虑到物体放置于操作面上的可能性较高，信息处理设备可以进行背景图像控制处理。
在所选择的模式是用于在实物放置于操作面上的状态下进行操作的功能模式的情况下，不管是否存在背景中发生的变化，都可以不断地分割摄像范围并进行背景图像控制处理。
下面说明第一典型实施例的变形例。在第一典型实施例中，由于在摄像范围的部分区域中存在识别对象的可能性较高，因而在存在移动体的情况下，信息处理设备不更新该区域中的背景图像。在这种情况下，信息处理设备将未更新的部分区域设置为背景未确定区域。
另一方面，在本典型实施例中，信息处理设备不仅将可能存在识别对象的区域设置为背景未确定区域，还将与上述区域邻接的部分区域设置为另一背景未确定区域。即使在背景确定区域中仅包括识别对象的一部分的情况下，这一变形例也可以降低误识别的数量。
例如，在第一典型实施例中，根据图9所示的图像908，如上所述，在以虚线包围的区域中(即，在摄像范围的16个部分区域的其中两个中)包括用户手。因此，信息处理设备不更新以虚线包围的区域中的背景图像。因此，信息处理设备将虚线包围的区域设置为背景未确定区域，并且将其余区域设置为背景确定区域。然后，信息处理设备基于背景减除技术，仅在背景确定区域中进行识别对象检测处理。
图像910是用户手已移除时可获得的输入图像的例子。在这种情况下，通过在背景确定区域中提取背景图像和输入图像之间的差，可以获得图像911。图像911没有包括用户手的一部分。在这种情况下，由于不能精确地检测整个用户手，因而可能无法精确地进行应用于手姿势的模式匹配。
特别地，通过图像911可以理解，在用户伸出手臂的状态下，在尽管仅检测到手(即，识别对象)的前端但未能检测和识别出手臂的中间部分的情况下，趋于发生上述情况。然而，用户伸出手臂触摸所显示的显示对象的可能性较高。
因此，在第一典型实施例的变形例中，信息处理设备识别已进入摄像范围的用户手臂的位置。此外，信息处理设备识别与用户伸出手臂时用户手可能存在的背景未确定区域在手臂伸出方向上邻接的部分区域。然后，信息处理设备将所识别出的部分区域设置为背景未确定区域。因此，使存在于所识别出的部分区域中的对象无效。
根据第一典型实施例的变形例的信息处理设备具有与第一典型实施例所述外观和硬件结构相同的外观和硬件结构。在第一典型实施例的变形例中，第二检测单元208通过检测设置单元205所设置的背景未确定区域的位置和背景未确定区域与摄像范围的周边缘相接触的接触点，来识别已进入摄像范围的识别对象(即，用户手)的位置。
除已设置的背景未确定区域以外，根据第一典型实施例的变形例的设置单元205还将从上述用户手进入位置指向背景未确定区域的方向(即，用户手进入方向)上的邻接部分区域设置为背景未确定区域。通过其余功能结构要进行的处理与第一典型实施例所述的处理相同。
图5A是示出通过根据第一典型实施例的变形例的信息处理设备可以进行的背景图像控制处理的流程图。在该变形例中，在完成图3所示流程图的步骤S301～S311的处理之后，信息处理设备执行图5A所示的背景图像控制处理。
因此，在该变形例中，与第一典型实施例相同，在完成了步骤S301～S311的处理之后，操作进入图5A所示的步骤S601。
在步骤S601，第二检测单元208在输入图像中检测已进入摄像范围的用户手的位置。
在本典型实施例中，各部分区域具有矩形形状。因此，第二检测单元208检测摄像范围的周边缘与步骤S311中设置单元205已设置为背景未确定区域的部分区域相接触的接触点。第二检测单元208将所检测到的接触点指定为用户手进入位置。在存在各自与摄像范围的周边缘相接触的多个背景未确定区域的情况下，例如，在用户手臂弯曲的情况下，第二检测单元208将与背景未确定区域相接触的摄像范围的整个周边缘指定为用户手进入位置。
接着，在步骤S602，设置单元205识别从所识别出的进入位置指向背景未确定区域的方向(即，用户手进入方向)。
在本典型实施例中，各部分区域具有矩形形状。因此，设置单元205识别与摄像范围的周边缘垂直、并且从步骤S601所检测到的位置延伸的向着内侧的方向。由于在用户手沿着所识别出的方向伸出时在背景未确定区域中包括用户手的一部分，因而在这种情况下所识别出的方向上无法精确地识别出操作的可能性较高。
在步骤S603，设置单元205识别与已设置的背景未确定区域在步骤S602所识别出的方向上邻接的部分区域。假定由于在用户手伸出至所识别出的部分区域以进行操作时未能检测到用户手的一部分，因而在这种情况下所识别出的部分区域中可能发生误识别。
然后，在步骤S604，设置单元205将步骤S603所识别出的区域设置为背景未确定区域。在完成了上述设置的情况下，操作返回至图3所示流程图的步骤S312。
下面参考图4D说明操作根据第一典型实施例的变形例的信息处理设备的用户所进行的操作的例子。
在图4D中，通过图4C所示的一系列处理已设置了背景未确定区域410。在这种情况下，第二检测单元208检测摄像范围401的周边缘与背景未确定区域410相接触的接触点。更具体地，在步骤S601，第二检测单元208检测已进入摄像范围401的用户手的位置411。
然后，在步骤S602，设置单元205将与摄像范围401的周边缘垂直的向着内侧的方向412识别为从所检测到的手进入位置411指向背景未确定区域410的方向。
设置单元205将与已设置的背景未确定区域410在方向412上邻接的区域413设置为附加背景未确定区域。因此，使区域413中要显示的各显示对象404无效，并且通过显示控制单元206将其显示为白色矩形。
如上所述，根据第一典型实施例的变形例的信息处理设备考虑到相对于背景未确定区域的位置关系来识别可能发生误识别的部分区域，并且将所识别出的部分区域设置为背景未确定区域。对部分区域中的UI的有效/无效的控制可以提高UI的操作精度。
根据上述变形例，信息处理设备仅将与步骤S311已设置的背景未确定区域在特定方向上邻接的部分区域设置为附加背景未确定区域。然而，本实施例的变形例不局限于上述例子。
例如，除邻接部分区域以外，还可以将位于在步骤S602所识别出的方向上延伸的延长线上的所有部分区域设置为背景未确定区域。此外，还可以与方向无关地将各自与步骤S311已设置的背景未确定区域邻接的所有部分区域设置为背景未确定区域。
然而，如本典型实施例所述，对要设置为背景未确定区域的部分区域的数量进行限制，这使得由于可以减少操作未识别区域，因而可以降低用户可能具有的压力。
在第二典型实施例中，说明用于以引导识别对象移出背景未确定区域的方式来控制操作面上的显示内容的例子。第二典型实施例可以防止用户手持续保持在已被设置为背景未确定区域的部分区域中。结果，切实有效地增加了背景确定区域。
根据第二典型实施例的信息处理设备具有与第一典型实施例所述相同的外观和硬件结构。在第二典型实施例中，第二检测单元208可以识别已进入摄像范围的识别对象(即，用户手)的位置。为此，第二检测单元208检测设置单元205已设置为背景未确定区域的区域的位置，并且检测背景未确定区域与摄像范围的周边缘相接触的接触点。
此外，根据第一典型实施例的变形例的显示控制单元206使得显示装置106显示用于引导用户手移出设置单元205所设置的背景未确定区域外部的显示对象。其余功能结构要进行的处理与第一典型实施例所述的处理相同。
图5B是示出通过根据第二典型实施例的信息处理设备可以进行的背景图像控制处理的流程图。在本典型实施例中，信息处理设备在完成了图3所示流程图的步骤S301～S311的处理之后，执行图5B所示的背景图像控制处理。
更具体地，在本典型实施例中，在完成了步骤S311的背景确定区域设置处理之后，操作进入图5B所示的步骤S701。
在步骤S701，第二检测单元208检测已进入摄像范围的用户手的位置。在本典型实施例中，各部分区域具有矩形形状。因此，第二检测单元208检测摄像范围的周边缘与步骤S311中设置单元205设置为背景未确定区域的部分区域相接触的接触点。第二检测单元208将所检测到的接触点指定为用户手进入位置。
接着在步骤S702，显示控制单元206基于第二检测单元208所检测到的用户手进入位置和预先所学习的表示图像中人手长度的信息，来估计手可移动范围。显示控制单元206存储所估计出的位置信息。
然后，在步骤S703，显示控制单元206估计用户手已移出背景未确定区域、并且包含在所估计出的可移动范围内的位置。显示控制单元206获取所估计出的位置信息。
在本典型实施例中，显示控制单元206估计步骤S701所检测到的用户手进入位置沿摄像范围的边在水平方向上可移动的位置。例如，显示控制单元206在与步骤S311所设置的背景未确定区域和摄像范围的周边缘两者邻接的部分区域中，获得步骤S702所估计出的用户手可移动范围内所包括的范围。显示控制单元206存储所估计出的位置信息。
在步骤S704，显示控制单元206确定所需显示对象的显示位置，从而使得可以将该显示对象设置在由步骤S703所存储的位置信息所表示的范围内。显示控制单元206使得显示装置106将显示对象显示在所确定的位置处。可以根据用户操作状况来确定这种情况下要显示的显示对象。这种情况下要显示的显示对象使得用户能够启动接着要操作的功能。
下面参考图6A说明操作根据第二典型实施例的信息处理设备的用户所进行的操作的例子。
在图6A中，通过图4C所示的一系列处理，已设置了包括两个部分区域的背景未确定区域410。在这种情况下，第二检测单元208检测摄像范围802的周边缘与背景未确定区域801相接触的接触点。更具体地，在步骤S701，第二检测单元208检测已进入摄像范围802的用户手的位置803。
然后，在步骤S702，显示控制单元206基于预先所学习的表示图像中人手长度的信息，来估计手可移动范围804。此外，显示控制单元206在与背景未确定区域801和摄像范围802的周边缘两者邻接的部分区域中，估计用户手可移动范围804中所包括的范围。显示控制单元206确定所估计出的范围内显示对象的显示位置805。在步骤S704，显示控制单元206使显示装置106显示显示对象。
如上所述，在本典型实施例中，信息处理设备对以引导用户手移出背景未确定区域外部的方式来显示显示对象的位置进行控制。结果，在将用户手引导至背景未确定区域外部的情况下，信息处理设备基于此时所获取的输入图像，对所有部分区域进行背景图像控制处理，并且可以获得适当的背景图像以基于背景减除技术来检测识别对象。
此外，根据第二典型实施例所述的信息处理设备，用户仅需触摸信息处理设备所显示的显示对象。用户不必考虑是否需要进行背景图像控制处理。
在上述的本典型实施例中，如图6A所示，信息处理设备将显示对象显示在所估计出的显示位置处，以使得用户能够通过触摸该显示对象来进行操作。然而，步骤S704中用于显示显示对象的方式不局限于上述例子。
例如，如图6B所示，也可以采用用于显示滑动条或滚动条作为显示对象以使得用户能够移动识别对象来进行操作的显示模式。可以以跨背景未确定区域和背景确定区域、或者在背景未确定区域附近的方式来显示滑动条或滚动条。在这种情况下，必然可以将识别对象从背景未确定区域引导至背景确定区域。因此，在背景未确定区域中不会存在任何识别对象。可以判断为移动体已停止。可以确定出背景。
根据本典型实施例的信息处理设备在功能上可被配置成：改变显示对象的显示模式以使得用户能够根据是否存在任何剩余的背景未确定区域来操作相同功能。
例如，在设置单元205设置背景未确定区域时，可以将功能上可作为用于ON/OFF切换预定功能的可操作开关进行操作的显示对象显示为滑动条式开关。在这种情况下，可以以将用户手引导至背景未确定区域外部的方式来设置显示对象。
另一方面，在将整个摄像范围设置为背景确定区域的情况下，显示按钮式开关来进行切换处理也是可行的。如果移动用户手并非是必须的，则优先选择便于操作的UI。因此，用户可以自然地继续该操作。
在第三典型实施例中，在第二次及随后的处理中，信息处理设备基于操作面上所显示的用户操作显示对象的位置，来估计可能存在识别对象的部分区域。如下所述，信息处理设备将所估计出的部分区域设置为背景未确定区域。
根据第三典型实施例的信息处理设备具有与第一典型实施例所述相同的外观和硬件结构。图2B示出根据本典型实施例的功能结构。图2B所示的信息处理设备与图2A所示的信息处理设备的不同在于还包括可以通过CPU101、ROM102和RAM103所构成的估计单元209。将估计单元209配置成基于操作显示对象的位置来估计可能存在识别对象的区域。
图7A是示出可以通过第二典型实施例的信息处理设备进行的背景图像控制处理的流程图。在本典型实施例中，信息处理设备在完成了图3所示流程图的步骤所301～S313的处理的情况下，开始图7A所示的背景图像控制处理。
在本典型实施例中，在识别单元207完成了步骤S313的基于识别对象的操作的识别处理之后，操作进入图7A所示的步骤S1001。
在步骤S1001，估计单元209判断步骤S313中识别单元207所识别出的操作是否是显示对象触摸操作。如果判断为所识别出的操作是触摸操作(步骤S1001为“是”)，则操作进入步骤S1002。另一方面，如果判断为所识别出的操作不是触摸操作(步骤S1001为“否”)，则信息处理设备终止背景图像控制处理。然后，操作返回至图3所示的基于用户动作的操作的识别处理。
在步骤S1002，估计单元209识别用户所操作的显示对象的位置。在本典型实施例中，估计单元209识别包括所操作的显示对象的显示位置的部分区域。
然后，在步骤S1003，估计单元209估计可能存在用户手的区域。在本典型实施例中，估计单元209将与步骤S1002所识别出的部分区域邻接的区域估计为可能存在用户手的区域。
然而，还可以在步骤S1002中识别显示对象所显示的坐标位置，并且基于所识别出的坐标位置和预先学习的人手长度信息来估计可能存在用户手的限制区域。
在步骤S1004，更新单元204更新除步骤S1003所估计出的区域以外的所有部分区域的背景图像。在本典型实施例中，更新单元204基于步骤S313操作显示对象时的输入图像的相应部分，来重写(更新)背景图像。
在步骤S1005，设置单元205将经过了步骤S1004所进行的背景图像更新处理的各部分区域设置为背景确定区域。因此，在本典型实施例中，可以在步骤S311中被设置为背景确定区域的区域中和步骤S1005中被设置为背景确定区域的区域中检测识别对象。
如果完成了背景确定区域设置处理，则操作返回至图3所示的基于用户动作的操作的识别处理。
下面参考图6C说明操作根据第三典型实施例的信息处理设备的用户所进行的操作的例子。
图6C包括背景未确定区域1101，其中，背景未确定区域1101包括如图4B所示通过一系列处理已设置的两个部分区域。在这种情况下，假定识别出触摸显示对象1102的用户的操作(步骤S1001为“是”)。在步骤S1003，估计单元209将包括所操作的显示对象的部分区域和邻接部分区域估计为可能存在用户手的区域1103。
然后，在步骤S1004，更新单元204更新除所估计出的区域1103以外的区域1104的背景图像。然后，在步骤S1005，设置单元205将更新后的区域1104设置为附加背景确定区域。结果，可以以与图4C所示的例子相同的方式减少背景未确定区域。
如上所述，当用户触摸显示对象时，根据本典型实施例的信息处理设备基于触摸位置来估计可能存在用户手的区域。因此，没有必要判断各部分区域是否是静止的。此外，可以同时更新多个部分区域的背景图像。
为了判断部分区域是否是静止的，需要获取与照相机105所拍摄的视频的多个帧相对应的输入图像来进行比较。因此，采用本典型实施例，带来了缩短所需处理时间的效果。
在第四典型实施例中，如下所述，根据显示对象所显示的位置和检测到识别对象的位置来改变分割摄像范围时要参考的颗粒度水平。
根据第四典型实施例的信息处理设备具有与第一典型实施例所述相同的外观和硬件结构。根据本典型实施例的分割单元202基于显示控制装置206要显示的显示对象的位置信息或第一检测单元203所检测到的识别对象的位置信息，来改变分割摄像范围时要参考的颗粒度水平。其余功能结构要进行的处理与第一典型实施例所述的处理相同。
首先，在图8A中，俯视图1501(位于左侧)包括操作面上所显示的显示对象的周边区域的精细分割区域。图8B是示出用于实现俯视图1501所示的分割例子的区域分割处理的流程图。在本典型实施例中，信息处理设备根据图3所示的流程图进行基于用户动作的操作的识别处理。然而，在步骤S305，信息处理设备进行图8B所示的区域分割处理。
因此，在本典型实施例中，与第一典型实施例相同，信息处理设备进行根据图3所示流程图的处理。在完成将整个摄像范围设置为背景未确定区域的步骤S304的处理之后，操作进入图8B所示的步骤S1201。
在步骤S1201，分割单元202从显示控制单元206获取与操作面上所显示的显示对象有关的位置信息。可选地，也可以通过分析获取单元201所获取的输入图像来识别实际正显示的显示对象的位置信息。
在步骤S1202，分割单元202根据所获取的显示对象的位置信息，来确定各部分区域的大小。在本典型实施例中，分割单元202将以所获取的显示对象为中心的预定范围分割成与剩余范围相比各自具有1/4大小的精细部分区域。
在步骤S1203，分割单元202将摄像范围分割成具有步骤S1202所确定的大小的部分区域。然后，操作返回至图3所示的基于用户动作的操作的识别处理。
接着，在图8A中，俯视图1502(位于右侧)包括第一检测单元203所检测到的移动区域(即，包括移动体的区域)的周边区域的精细分割区域。根据俯视图1502的例子，信息处理设备进行图8C所示的区域分割处理，作为在图3所示的基于用户动作的操作的识别处理的步骤S305中要进行的处理。
首先，在步骤S1204，分割单元202获取第一检测单元203所检测到的移动区域的位置信息。
在步骤S1205，分割单元202根据所获取的移动区域的位置信息，来确定各部分区域的大小。在本典型实施例中，分割单元202将以所获取的移动区域为中心的预定范围分割成与剩余范围相比各自具有1/4大小的精细部分区域。
在步骤S1206，分割单元202将摄像范围分割成具有步骤S1205所确定的大小的部分区域。然后，操作返回至图3所示的基于用户动作的操作的识别处理。
如上所述，在本典型实施例中，信息处理设备在显示对象所显示的位置或检测到识别对象的位置附近的有限区域内，将摄像范围分割成精细部分区域。通常，识别对象可能移动进入所显示的显示对象的附近的可能性较高。因此，期望在该特定区域中精确地检测识别对象。
第一检测单元203所检测到的移动区域包括识别对象的可能性较高。因此，期望在该移动区域中精确地进行检测。如本典型实施例所述，当精细地分割部分区域时，在识别对象(即，移动体)稍微移动的情况下，该识别对象立即从精细分割区域中消失。
更具体地，即使识别对象的移动小，精细分割区域也变成静止的。优点在于：增加了可以更新背景图像的区域。因此，根据本发明的信息处理设备可以精细地更新背景图像，并且可以扩大可识别用户操作的背景确定区域。
在上述第一典型实施例的变形例中，如果由于识别对象的一部分包括在背景未确定区域中而无法检测到识别对象的该部分，则信息处理设备进行用于扩大背景未确定区域以消除任何误识别的处理。
另一方面，在本典型实施例中，在仅检测到识别对象的一部分的状况下，如下所述，使用除背景减除技术以外的方法以基于有限图像信息来辅助整个识别对象的检测。
根据第五典型实施例的信息处理设备具有与第一典型实施例所述相同的外观、硬件结构和功能配置。然而，根据本典型实施例的第一检测单元203被配置成通过分析与基于背景减除技术所检测到的移动区域(即，包括移动体的区域)有关的图像信息、并且从输入图像提取移动体的形状来检测该移动体。
接着，图7B是示出根据第五典型实施例的信息处理设备可以进行的检测辅助处理的流程图。在本典型实施例中，信息处理设备根据图3所示的流程图来进行基于用户动作的操作的识别处理。然而，在步骤S312，信息处理设备进行图7B所示的检测辅助处理。
因此，在本典型实施例中，在完成与第一典型实施例相同的图3所示流程图的步骤S311的背景确定区域设置处理之后，操作进入图7B所示的步骤S1301。
在步骤S1301，第一检测单元203基于背景减除技术，在背景确定区域中检测识别对象。第一检测单元203使用存储在RAM103中的更新后的背景图像和获取单元201新获取的输入图像，基于背景减除技术来检测移动体。由于更新了背景图像，因而所检测到的移动体是用户手(即，识别对象)的可能性较高。
在步骤S1302，第一检测单元203判断第一检测单元203所检测到的识别对象是否与步骤S311所设置的背景未确定区域相接触。
当所检测到的识别对象与背景未确定区域相接触时，识别对象部分地包括在背景未确定区域中。换句话说，未检测到整个识别对象的可能性较高。因此，如果判断为所检测到的识别对象与背景未确定区域相接触(步骤S1302为“是”)，则操作进入步骤S1303以检测整个识别对象。
另一方面，如果判断为所检测到的识别对象与背景未确定区域不接触(步骤S1302为“否”)，则操作返回至图3所示流程图的步骤S313。
在步骤S1303，第一检测单元203分析输入图像，并且提取识别对象的形状。在本典型实施例中，第一检测单元203在输入图像上对包括步骤S1301所检测到的识别对象的区域和背景未确定区域进行图像处理。
例如，第一检测单元203进行用于从图像检测边缘的处理。第一检测单元203通过从包括识别对象的区域到背景未确定区域进行所检测到的边缘的追踪，提取整个识别对象的形状。然而，用于提取识别对象的形状的方法不局限于上述例子。例如，也可以校验亮度的连续性或者进行使用椭圆模型、人手或手臂的形状数据的模式匹配。
在步骤S1304，第一检测单元203基于所提取的形状来检测识别对象。在本典型实施例中，第一检测单元203通过进行应用于经由步骤S1303的边缘检测处理所提取的形状和预先学习的人手形状数据的模式匹配，来确定存在识别对象的区域。
在完成用于确定包括识别对象的区域和检测该识别对象的处理之后，操作返回至图3所示流程图的步骤S313。然而，如果在步骤S1303中边缘或亮度连续性不充分或者当模型匹配度较低时，无法检测到识别对象1404。在这种情况下，可以保持基于背景减除技术在步骤S1301所获得的检测结果。
图6D示出根据本典型实施例的例子。如果在如图6D所示设置背景确定区域1401和背景未确定区域1402的状态下第一检测单元203基于背景减除技术检测到识别对象1404，则可检测识别对象1403(即，黑色部分)与背景未确定区域1402相接触(步骤S1302为“是”)。
因此，在本典型实施例中，信息处理设备对包括识别对象1403的输入图像进行图像处理，以检测边缘并提取识别对象1404的整体形状。
如上所述，在本典型实施例中，如果基于背景减除技术仅检测到识别对象的一部分，则信息处理设备基于所检测到的部分图像信息，使用除背景减除技术以外的方法来辅助整个识别对象的检测以识别用户操作。因此，即使在无法更新整个摄像范围的背景图像的状态下，信息处理设备也可以检测识别对象，并且可以识别用户操作。因此，可以提高信息处理设备的可操作性。
此外，还可以通过执行下面的处理来实现本发明。更具体地，该处理包括：经由网络或者适当的存储介质向系统或设备提供可以实现上述典型实施例的功能的软件程序，并且使设置在该系统或设备中的计算机(或者CPU或微处理单元(MPU))读取并执行该程序。
根据本发明，可以精确地识别源自识别对象(即，用户手)的移动的操作。
还可以通过读出并执行记录在存储介质(例如，非瞬态计算机可读存储介质)上的计算机可执行指令以进行本发明的上述一个以上的实施例的功能的系统或设备的计算机以及通过下面的方法来实现本发明的各实施例，其中，系统或设备的计算机例如从存储介质读出并执行计算机可执行指令以进行上述一个以上的实施例的功能来进行该方法。计算机可以包含一个以上的中央处理单元(CPU)、微处理单元(MPU)或其它电路，并且可以包括单独计算机或单独计算机处理器的网络。可以例如通过网络或者存储介质将计算机可执行指令提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如紧凑型光盘(CD)、数字多功能盘(DVD)或蓝光光盘(BD)TM)、闪存装置和存储卡等的一个或多个。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。

Claims (15)

1.一种信息处理设备，其能够识别基于识别对象的姿势的操作，其特征在于，所述信息处理设备包括：
获取单元，用于获取具有预定空间的图像作为摄像范围；
检测单元，用于根据表示所述预定空间的背景的背景图像和所述获取单元所获取的图像，来检测在所述背景上存在的移动体；
更新单元，用于在所述检测单元所检测到的所述移动体包括除所述识别对象以外的物体的情况下，在通过对所述预定空间的所述背景进行分割而得到的多个部分区域中，识别出存在所述移动体并且被视为在所述背景上不存在所述识别对象的部分区域，并且所述更新单元还用于使用在所述获取单元所获取到的图像中的、所识别出的部分区域的图像部分来部分地更新所述背景图像；以及
识别单元，用于根据所述检测单元基于所述更新单元所更新的背景图像和所述获取单元所要新获取的图像之间的比较而检测到的移动体的至少一部分来识别所述识别对象，并且还用于识别基于所述识别对象的姿势的操作。
2.根据权利要求1所述的信息处理设备，其中，还包括：
设置单元，所述设置单元用于将通过对所述预定空间的背景进行分割而得到的多个部分区域中的、存在所述移动体的部分区域设置为背景未确定区域，并且将被设置为所述背景未确定区域的部分区域中的、被视为在所述背景上不存在所述识别对象的部分区域的部分区域重新设置为背景确定区域，其中，所述设置单元将所述背景未确定区域中的、所述移动体停止了预定期间的区域以及不再检测到所述移动体的区域视为在所述背景上不存在所述识别对象的区域，以及
在所述预定空间中，所述识别单元识别由所述设置单元设置为所述背景确定区域的部分区域中的所述识别对象的姿势，并且不识别由所述设置单元设置为所述背景未确定区域的部分区域中的所述识别对象的姿势。
3.根据权利要求2所述的信息处理设备，其中，还包括：
显示控制单元，用于在包括在所述预定空间的背景的部分中的预定操作面上显示显示对象，
其中，所述识别单元识别与所述识别对象所触摸的显示对象相对应的操作。
4.根据权利要求3所述的信息处理设备，其中，所述显示控制单元使投影仪将所述显示对象投影在所述预定操作面的与所述设置单元所设置的背景确定区域相对应的部分上。
5.根据权利要求3所述的信息处理设备，其中，所述识别对象在触摸所述显示控制单元要显示的显示对象之后在预定方向上滑动所述显示对象的操作被识别为与所述显示对象相对应的操作。
6.根据权利要求3所述的信息处理设备，其中，所述显示控制单元估计所述识别对象的可移动范围，并且在使投影仪将所述显示对象投影在所述预定操作面上的包括在所估计出的可移动范围中的部分上。
7.根据权利要求3所述的信息处理设备，其中，还包括：
估计单元，用于基于所述识别对象所触摸的显示对象的位置信息来估计存在所述识别对象的可能性较高的区域，
其中，所述设置单元将所述部分区域中的所估计出的部分区域设置为所述背景未确定区域。
8.根据权利要求3所述的信息处理设备，其中，还包括：
分割单元，用于将所述背景区域分割成所述部分区域，
其中，所述分割单元在所述显示控制单元所显示的显示对象的周边区域中对所述背景区域进行精细分割。
9.根据权利要求3所述的信息处理设备，其中，还包括：
分割单元，用于将所述背景区域分割成所述部分区域，
其中，所述分割单元在所述移动体的周边区域中对所述背景区域进行精细分割。
10.根据权利要求2所述的信息处理设备，其中，还包括：
所述检测单元在所述设置单元设置为所述背景未确定区域的区域中，基于与已经根据所述更新单元所更新的背景图像和所述获取单元所要新获取的图像之间的比较而检测到的移动体有关的信息，来检测所述移动体。
11.根据权利要求2所述的信息处理设备，其中，所述设置单元将所述部分区域中的、存在于相对于设置为所述背景未确定区域的区域的特定方向上的并且与设置为所述背景未确定区域的区域邻接的部分区域设置为所述背景未确定区域。
12.根据权利要求11所述的信息处理设备，其中，所述特定方向是所述识别对象的进入所述预定空间的方向。
13.一种信息处理设备的控制方法，其中，所述信息处理设备能够识别基于识别对象的姿势的操作，其特征在于，所述控制方法包括以下步骤：
获取步骤，用于获取具有预定空间的图像作为摄像范围；
检测步骤，用于根据表示所述预定空间的背景的背景图像和所述获取步骤所获取的图像，来检测在所述背景上存在的移动体；
更新步骤，用于在所述检测步骤所检测到的所述移动体包括除所述识别对象以外的物体的情况下，在通过对所述预定空间的所述背景进行分割而得到的多个部分区域中，识别出存在所述移动体并且被视为在所述背景上不存在所述识别对象的部分区域，并且所述更新步骤还用于使用在所述获取步骤所获取到的图像中的、所识别出的部分区域的图像部分来部分地更新所述背景图像；以及
识别步骤，用于根据所述检测步骤基于所述更新步骤所更新的背景图像和所述获取步骤所要新获取的图像之间的比较而检测到的移动体的至少一部分来识别所述识别对象，并且还用于识别基于所述识别对象的姿势的操作。
14.一种基于背景减除技术的背景确定方法，其特征在于，包括以下步骤：
将输入图像的摄像范围分割成多个部分区域；
将所述多个部分区域设置为能够基于所述背景减除技术识别由识别对象所引起的操作的背景确定区域或者基于所述背景减除技术无法识别由所述识别对象所引起的操作的背景未确定区域；
将所述多个部分区域中的除所述识别对象以外的物体正移动的区域设置为所述背景未确定区域；以及
将设置为所述背景未确定区域的部分区域中的除所述识别对象以外的物体已停止的区域设置为所述背景确定区域，
其中，所述背景减除技术包括以下步骤：
获取步骤，用于获取具有预定空间的图像作为摄像范围；以及
检测步骤，用于根据表示所述预定空间的背景的背景图像和所述获取步骤所获取的图像，来检测在所述背景上存在的移动体。
15.根据权利要求14所述的背景确定方法，其中，还包括以下步骤：
基于应用于所述输入图像的所述背景减除技术来检测移动体；以及
判断所检测到的移动体是否包括除所述识别对象以外的物体，
其中，在判断为所检测到的移动体不是所述识别对象的情况下，将所述输入图像的摄像范围分割成多个部分区域。
CN201310225068.5A 2012-06-07 2013-06-07 信息处理设备及其控制方法和背景确定方法 Expired - Fee Related CN103488283B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-129888 2012-06-07
JP2012129888A JP6095283B2 (ja) 2012-06-07 2012-06-07 情報処理装置、およびその制御方法

Publications (2)

Publication Number Publication Date
CN103488283A CN103488283A (zh) 2014-01-01
CN103488283B true CN103488283B (zh) 2016-12-07

Family

ID=48576832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310225068.5A Expired - Fee Related CN103488283B (zh) 2012-06-07 2013-06-07 信息处理设备及其控制方法和背景确定方法

Country Status (4)

Country Link
US (2) US9129182B2 (zh)
EP (1) EP2672427B1 (zh)
JP (1) JP6095283B2 (zh)
CN (1) CN103488283B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6095283B2 (ja) * 2012-06-07 2017-03-15 キヤノン株式会社 情報処理装置、およびその制御方法
TWI505135B (zh) * 2013-08-20 2015-10-21 Utechzone Co Ltd 顯示畫面的控制系統、輸入裝置及控制方法
JP6289254B2 (ja) 2014-05-02 2018-03-07 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP6197952B2 (ja) * 2014-05-12 2017-09-20 富士通株式会社 商品情報出力方法、商品情報出力プログラムおよび制御装置
US9934453B2 (en) * 2014-06-19 2018-04-03 Bae Systems Information And Electronic Systems Integration Inc. Multi-source multi-modal activity recognition in aerial video surveillance
JP2016009266A (ja) * 2014-06-23 2016-01-18 コニカミノルタ株式会社 撮影システム、撮影の方法、およびコンピュータープログラム
JP6482196B2 (ja) * 2014-07-09 2019-03-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム、及び記憶媒体
US20160371847A1 (en) * 2014-07-24 2016-12-22 Bonanza.com, LLC Background profiles
JP6602009B2 (ja) * 2014-12-16 2019-11-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6841232B2 (ja) * 2015-12-18 2021-03-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6390657B2 (ja) * 2016-04-07 2018-09-19 トヨタ自動車株式会社 車両用表示装置
CN106249895B (zh) * 2016-08-09 2019-03-05 清华大学 一种机器人识别环境变化时的人机交互方法以及系统
KR101881469B1 (ko) * 2016-08-11 2018-07-25 주식회사 매크론 스티커 영상을 위한 오브젝트 추출 방법 및 그 장치
CN106502420A (zh) * 2016-11-14 2017-03-15 北京视据科技有限公司 基于图像色差识别的虚拟按键触发方法
WO2022021432A1 (zh) * 2020-07-31 2022-02-03 Oppo广东移动通信有限公司 手势控制方法及相关装置
CN112183560B (zh) * 2020-10-27 2024-09-06 维沃移动通信有限公司 图像识别方法及装置
JP2022170221A (ja) * 2021-04-28 2022-11-10 キヤノン株式会社 撮像装置
CN113469138A (zh) * 2021-07-28 2021-10-01 浙江大华技术股份有限公司 对象检测方法和装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100591100C (zh) * 2006-08-29 2010-02-17 索尼株式会社 图像处理装置、图像处理方法和计算机程序
CN101907923A (zh) * 2010-06-29 2010-12-08 汉王科技股份有限公司 信息提取方法、装置及系统
CN102324019A (zh) * 2011-08-12 2012-01-18 浙江大学 一种视频序列中自动提取手势候选区域的方法及系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6184858B1 (en) * 1998-02-06 2001-02-06 Compaq Computer Corporation Technique for updating a background image
JP2000090277A (ja) * 1998-09-10 2000-03-31 Hitachi Denshi Ltd 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置
JP2003162723A (ja) * 2001-11-26 2003-06-06 Fujitsu Ltd 画像処理プログラム
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
JP2004265291A (ja) * 2003-03-04 2004-09-24 Yamatake Corp 背景差分処理法および装置
JP3970877B2 (ja) * 2004-12-02 2007-09-05 独立行政法人産業技術総合研究所 追跡装置および追跡方法
US9621749B2 (en) * 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
JP4711885B2 (ja) * 2006-05-25 2011-06-29 三菱電機株式会社 遠隔操作装置及び方法
JP4720700B2 (ja) * 2006-09-21 2011-07-13 セイコーエプソン株式会社 画像検出装置、画像検出方法及び画像検出プログラム
CN101231755B (zh) * 2007-01-25 2013-03-06 上海遥薇(集团)有限公司 运动目标跟踪及数量统计方法
CA2591808A1 (en) * 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
KR101375665B1 (ko) * 2007-08-08 2014-03-18 삼성전자주식회사 배경 변화 추정 방법 및 장치, 및 이를 이용한 움직임 검출 방법 및 장치
JP5228439B2 (ja) 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
JP4894741B2 (ja) * 2007-12-03 2012-03-14 ソニー株式会社 情報処理装置および情報処理方法、プログラム、並びに記録媒体
JP2010072841A (ja) * 2008-09-17 2010-04-02 Fuji Xerox Co Ltd 表示制御プログラム、表示制御装置及び表示装置
JP5213627B2 (ja) 2008-10-07 2013-06-19 キヤノン株式会社 画像処理装置及び画像処理方法
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
WO2012016374A1 (en) * 2010-08-03 2012-02-09 Empire Technology Development Llc Method for identifying objects in video
JP5701005B2 (ja) * 2010-10-15 2015-04-15 キヤノン株式会社 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
US20130250379A1 (en) * 2012-03-20 2013-09-26 Panasonic Corporation System and method for scanning printed material
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
JP6095283B2 (ja) * 2012-06-07 2017-03-15 キヤノン株式会社 情報処理装置、およびその制御方法
US10839227B2 (en) * 2012-08-29 2020-11-17 Conduent Business Services, Llc Queue group leader identification
JP6261266B2 (ja) * 2013-10-02 2018-01-17 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検知装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100591100C (zh) * 2006-08-29 2010-02-17 索尼株式会社 图像处理装置、图像处理方法和计算机程序
CN101907923A (zh) * 2010-06-29 2010-12-08 汉王科技股份有限公司 信息提取方法、装置及系统
CN102324019A (zh) * 2011-08-12 2012-01-18 浙江大学 一种视频序列中自动提取手势候选区域的方法及系统

Also Published As

Publication number Publication date
EP2672427A3 (en) 2016-02-10
EP2672427A2 (en) 2013-12-11
JP6095283B2 (ja) 2017-03-15
US9330304B2 (en) 2016-05-03
US20130330006A1 (en) 2013-12-12
CN103488283A (zh) 2014-01-01
EP2672427B1 (en) 2017-12-06
US9129182B2 (en) 2015-09-08
US20150347828A1 (en) 2015-12-03
JP2013254377A (ja) 2013-12-19

Similar Documents

Publication Publication Date Title
CN103488283B (zh) 信息处理设备及其控制方法和背景确定方法
KR101761050B1 (ko) 인간-컴퓨터 자연스러운 3차원 손 제스처 기반 내비게이션 방법
KR101514168B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
CN105320366B (zh) 识别拍摄图像中的特定物体的信息处理装置及其控制方法
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
CN104254817B (zh) 快速手势重新约定
CN102196220B (zh) 信息处理设备和信息处理方法
US20130077831A1 (en) Motion recognition apparatus, motion recognition method, operation apparatus, electronic apparatus, and program
US20130101169A1 (en) Image processing method and apparatus for detecting target
CN105354551B (zh) 基于单目摄像头的手势识别方法
TW201019239A (en) Method, apparatus and computer program product for providing adaptive gesture analysis
JPH0844490A (ja) インターフェイス装置
TWI526877B (zh) Input device, machine, input method and recording medium
KR101514170B1 (ko) 입력 장치, 입력 방법 및 기록 매체
JP6334767B1 (ja) 情報処理装置、プログラム、及び情報処理方法
CN113168221B (zh) 信息处理设备、信息处理方法和程序
KR20150106823A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP2018081630A (ja) 検索装置、検索方法およびプログラム
JP6325659B2 (ja) 操作画面表示装置、操作画面表示方法およびプログラム
CN107797748B (zh) 虚拟键盘输入方法和装置及机器人
JPWO2016006090A1 (ja) 電子機器、方法及びプログラム
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
CN108073267A (zh) 基于运动轨迹的三维控制方法及装置
JP2015184906A (ja) 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム
KR101609861B1 (ko) 사용자 동작에 기초한 입력 제어 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161207

CF01 Termination of patent right due to non-payment of annual fee