CN102141839B - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN102141839B
CN102141839B CN201110049131.5A CN201110049131A CN102141839B CN 102141839 B CN102141839 B CN 102141839B CN 201110049131 A CN201110049131 A CN 201110049131A CN 102141839 B CN102141839 B CN 102141839B
Authority
CN
China
Prior art keywords
image
unique point
unit
point
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110049131.5A
Other languages
English (en)
Other versions
CN102141839A (zh
Inventor
鹤见辰吾
土居正一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102141839A publication Critical patent/CN102141839A/zh
Application granted granted Critical
Publication of CN102141839B publication Critical patent/CN102141839B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

图像处理设备和方法及其程序。图像处理设备包含被配置成从所捕获的图像中提取特征点的提取单元；被配置成识别特征点的位置的识别单元；被配置成基于特征点的位置执行控制，以显示指示特征点的特征点指针的显示控制单元；和被配置成基于特征点的位置，提交对应于特征点的位置或特征点运动的命令的提交单元。

Description

图像处理设备和方法
对相关专利申请的交叉引用 
本发明包含与2007年9月19日向日本专利局提交的日本专利申请JP 2007-241679有关的主题，这里通过引用合并了该专利申请的全部内容。 
技术领域
本发明涉及图像处理设备和方法及程序。更具体地，本发明涉及以最小处理量允许指示设备的高识别鲁棒性和高准确位置检测的图像处理设备和方法，并且涉及其程序。 
背景技术
近来，已经提出在照相机中使用多个界面来识别被用作指示设备的用户的手的姿势，并且基于识别结果提供设备控制。 
例如，日本待审专利申请公开说明书No.8-44490公开了被配置成从电荷耦合器件(CCD)照相机输入的所捕获的图像中提取对应于用户的手的部分并且基于手的形状或位置执行控制的界面。 
发明内容
在从所捕获的图像中提取对应于用户的手的部分的情况下，提取例如所捕获的图像中所有对象的轮廓，并且使用例如匹配的技术，根据轮廓形状选择对应于手的部分，导致大量处理和相对较长的处理时间。此外，由于存在各种手的形状，在基于轮廓形状的手的识别情况下，手的识别的鲁棒性较低，并且手的位置检测的准确性也较低。 
因此，期望以最小处理量提供指示设备的高识别鲁棒性和高准确位置检测。 
根据本发明的实施例，图像处理设备包含以下单元。提取装置从所捕 获的图像提取特征点。识别装置识别特征点的位置。显示控制装置基于特征点的位置执行控制以显示指示该特征点的特征点指针。提交装置基于特征点的位置提交对应于该特征点的位置或该特征点的运动的命令。 
在根据本发明的实施例的图像处理设备中，显示控制装置可以基于特征点的位置执行控制以显示特征点指针和预定用户界面，并且提交装置可以基于特征点的位置提交对应于用户界面中在该特征点的位置处显示的用户界面的命令。 
在根据本发明的实施例的图像处理设备中，提取装置可以从所捕获的图像中提取多个特征点，并且提交装置可以针对每个特征点，基于特征点的位置提交对应于该特征点的位置或该特征点的运动的命令。 
在根据本发明的实施例的图像处理设备中，显示控制装置可以针对每个特征点，基于特征点的位置执行控制以显示指示该特征点的特征点指针和预定用户界面，并且提交装置可以针对每个特征点，基于特征点的位置提交对应于用户界面中在该特征点的位置处显示的用户界面的命令。 
在根据本发明的实施例的图像处理设备中，显示控制装置可以针对每个特征点，基于特征点的位置执行控制以显示指示该特征点的特征点指针并且显示预定用户界面，预定用户界面由多个特征点共享，并且提交装置可以针对每个特征点，基于特征点的位置提交对应于用户界面中在该特征点的位置处显示的用户界面的命令。 
在根据本发明的实施例的图像处理设备中，提取装置可以从所捕获的图像中提取多个特征点，并且提交装置可以提交对应于多个特征点的位置或运动的命令。 
根据本发明的另一个实施例，被配置成从所捕获的图像中提取特征点的图像处理设备的图像处理方法包含步骤：从所捕获的图像中提取特征点；识别特征点的位置；基于特征点的位置，显示指示该特征点的特征点指针；和基于特征点的位置，提交对应于该特征点的位置或该特征点的运动的命令。 
根据本发明的另一个实施例，一个程序使计算机执行从所捕获的图像中提取特征点的图像处理，该图像处理包含步骤：从所捕获的图像中提取特征点；识别特征点的位置；基于特征点的位置，显示指示该特征点的特征点指针；和基于特征点的位置，提交对应于该特征点的位置或该特征点的运动的命令。 
根据本发明的实施例，从所捕获的图像中提取特征点，识别特征点的位置，基于特征点的位置显示指示该特征点的特征点指针，和基于特征点的位置提交对应于该特征点的位置或该特征点的运动的命令。 
因此，根据本发明的实施例，通过最小处理量实现了指示设备的高识别鲁棒性和高准确位置检测。 
附图说明
图1是示出根据本发明的第一实施例的图像处理设备的概况的图例； 
图2是示出图1所示的图像处理设备的示例结构的方框图； 
图3是示出抓住特征点指针的运动的图例； 
图4是示出在图2所示的图像处理设备中使用指示设备的例子的图例； 
图5是示出在图2所示的图像处理设备中使用指示设备的例子的图例； 
图6是示出在图2所示的图像处理设备中使用指示设备的例子的图例； 
图7是示出在图2所示的图像处理设备中使用指示设备的例子的图例； 
图8是示出在图2所示的图像处理设备中使用指示设备的例子的图例； 
图9是示出在图2所示的图像处理设备中使用指示设备的例子的图例； 
图10是示出在图2所示的图像处理设备中使用指示设备的例子的图例； 
图11是示出在图2所示的图像处理设备中使用指示设备的例子的图例； 
图12是示出在图2所示的图像处理设备中使用指示设备的第二个例子的图例； 
图13是示出在图2所示的图像处理设备中使用指示设备的第二个例子的图例； 
图14是示出在图2所示的图像处理设备中使用指示设备的第二个例子的图例； 
图15是示出在图2所示的图像处理设备中使用指示设备的第二个例子的图例； 
图16是示出在图2所示的图像处理设备中使用指示设备的第二个例子的图例； 
图17是示出在图2所示的图像处理设备中使用指示设备的第二个例子的图例； 
图18是示出在图2所示的图像处理设备中使用指示设备的第二个例子的图例； 
图19是示出在图2所示的图像处理设备中使用指示设备的第二个例子的图例； 
图20是示出在图2所示的图像处理设备中使用指示设备的第二个例子的图例； 
图21是示出由图2所示的图像处理设备执行的图像处理的流程图； 
图22是示出根据本发明的第二实施例的图像处理设备的示例结构的方框图； 
图23是示出在图22所示的图像处理设备中使用指示设备的例子的图例； 
图24是示出由图22所示的图像处理设备执行图像处理的流程图； 
图25是示出由两个用户执行操作的例子的图例； 
图26是示出由两个用户执行操作的另一个例子的图例； 
图27是示出根据本发明的第三实施例的图像处理设备的示例结构的方框图； 
图28是示出在图27所示的图像处理设备中使用指示设备的例子的图例； 
图29是示出在图27所示的图像处理设备中使用指示设备的例子的图例； 
图30是示出在图27所示的图像处理设备中使用指示设备的例子的图例； 
图31是示出在图27所示的图像处理设备中使用指示设备的例子的图例； 
图32是示出在图27所示的图像处理设备中使用指示设备的例子的图例； 
图33是示出在图27所示的图像处理设备中使用指示设备的例子的图例； 
图34是示出在图27所示的图像处理设备中使用指示设备的例子的图例； 
图35是示出在图27所示的图像处理设备中使用指示设备的例子的图例； 
图36是示出在图27所示的图像处理设备中使用指示设备的例子的图例； 
图37是示出在图27所示的图像处理设备中使用指示设备的例子的图例； 
图38是示出在图27所示的图像处理设备中使用指示设备的例子的图例；和 
图39是示出由图27所示的图像处理设备执行的图像处理的流程图。 
具体实施方式
在描述本发明的实施例之前，讨论权利要求的特征和本发明的实施例所公开的具体元素之间的对应关系。这个描述旨在保证本说明书中描述了支持要求保护的发明的实施例。于是，即使以下实施例中的元素未被描述为与本发明的某个特征相关，这也不必定表明该元素与权利要求的该特征无关。反之，即使实施例中的元素被描述为与本发明的某个特征相关，这也不必定表明该元素与权利要求的其它特征无关。 
根据本发明的实施例，图像处理设备(图2所示的图像处理设备11)包含从所捕获的图像中提取特征点的提取装置(例如，图2所示的特征点提取单元34)；识别特征点的位置的识别装置(例如，图2所示的计算单元35)；基于特征点的位置执行控制，以显示指示特征点的特征点指针的显示控制装置(例如，图2所示的合成装置39)；和基于特征点的位置，提交对应于特征点的位置或特征点的运动的命令的提交装置(例如，图2所示 的命令提交单元38)。 
根据本发明的另一个实施例，被配置成从所捕获的图像中提取特征点的图像处理设备(例如，图2所示的图像处理设备11)的图像处理方法包含步骤：从所捕获的图像中提取特征点(例如，图21所示的步骤S13)；识别特征点的位置(例如，图21所示的步骤S17)；基于特征点的位置，显示指示特征点的特征点指针(例如，图21所示的步骤S15)；和基于特征点的位置，提交对应于特征点的位置或特征点的运动的命令(例如，图21所示的步骤S19)。 
参考附图详细描述本发明的具体实施例。 
图1示出根据本发明的第一实施例的图像处理设备的概况。 
参照图1，图像处理设备11包含被配置成捕获用户的图像的照相机12。图像处理设备11分析用户的所捕获的图像，并且在例如显示监视器的、在图像处理设备11上提供的显示单元13上显示通过分析得到的图像。 
在图1所示的例子中，用户观看频道1(1ch)上的电视节目。在这个例子中，用户首先向照相机12挥手以改变要观看的电视节目的频道。 
接着，如图1所示，在图像处理设备11中，在显示单元13的频道1的电视节目图像上显示指示所捕获的图像的特征点的特征点指针14，和要进行操作以选择每个频道的用户界面(UI)15-1到15-7。在显示单元13上，也半透明的方式显示所捕获的图像的镜像或水平翻转的图像。将UI15-1到15-7沿环绕原始特征点指针14的预定圆圈的圆周布置。为UI 15-1到15-7分配可选频道的编号。 
接着，当观看当前显示单元13上以半透明的方式显示的所捕获的图像时，用户执行动作：用其手指从左边和右边包围现实世界的对应于特征点指针14的空间体积，使得用户的手可以围绕空间体积闭合。在以下说明中，这个运动被称为″抓住″。用户移动抓住特征点指针14的手，使得特征点指针14可以被叠加在UI 15-1到15-7中分配有期望观看的电视节目的频道号的UI上。 
图像处理设备11检测由用户从使用照相机12捕获的图像中抓住的特征点指针14指示的特征点的位置，并且提交UI 15-1到15-7中对应于位于特征点的位置的UI的命令。 
例如，在图1中，用户移动其用手指抓住特征点指针14的手，使得特征点指针14能够被放在显示单元13显示的UI 15-4上，UI 15-4分配有 频道″6″。接着，提交显示频道6的电视节目图像的命令。结果，用户可以观看频道6的电视节目。 
在下面的描述中，UI 15-1到15-7被共同称作″UI 15″，除非另外单独标识。 
图2是示出图1所示的图像处理设备11的示例结构的方框图。 
图2所示的图像处理设备11包含照相机12、显示单元13、图像获得单元31、帧缓冲器32、触发检测单元33、特征点提取单元34、计算单元35、UI绘制单元36、命令确定单元37、命令提交单元38和合成单元39。 
照相机12可以是摄像机，其包含被配置成将光学图像转换成电信号的光电转换单元，例如CCD传感器或互补金属氧化物半导体(CMOS)传感器，并且照相机12被配置成捕获用户的图像。照相机12向图像获得单元31逐帧提供所捕获的图像。 
图像获得单元31向帧缓冲器32和合成单元39提供从照相机12提供的所捕获的图像。帧缓冲器32存储在对应于预定数量的帧的时间段逐帧从图像获得单元31提供的所捕获的图像。 
触发检测单元33从帧缓冲器32中读取所捕获的图像。触发检测单元33基于所捕获的图像检测指示用户向照相机12挥手的触发。可以使用例如分析时域中的频率分量的方法，或使用帧间差值分析运动区域的运动的方法来检测触发。触发检测单元33向特征点提取单元34提供指示在所捕获的图像内检测到用户挥手的区域的区域信息。 
特征点提取单元34从帧缓冲器32中读取所捕获的图像。特征点提取单元34在由触发检测单元33提供的区域信息指定的所捕获的图像的区域内使用亮度分量提取一个角点作为特征点。术语″角点″表示在X方向(水平方向)和Y方向(垂直方向)上都具有较大亮度梯度的点。 
角点的例子包含Harris角点和使用SUSAN操作符提取的角点。例如，在可以从http://www.oita-ri.go.jp/report/2002/2002_12.pdf的主页得到的、标题为″Detection of an Image Feature Point using the SUSAN Operator″的文章中描述了使用SUSAN操作符提取角点的技术。 
因此，由于特征点提取单元34使用所捕获的图像的亮度分量提取特征点，所以在照明环境条件下的特征点提取的鲁棒性较高。 
特征点提取单元34向计算单元35和UI绘制单元36提供指示所提 取的特征点的位置的提取位置信息。 
计算单元35从帧缓冲器32中读取所捕获的图像的两个相邻帧。计算单元35根据所捕获图像的已读取的两个帧和特征点提取单元34提供的提取位置信息或指示特征点的当前位置的特征点信息，针对每个帧计算特征点的光流。 
例如，可以使用块匹配方法或梯度法计算光流。如上所述，由于角点是在X方向和Y方向上具有较大亮度梯度的点，所以光流的计算准确度较高。 
计算单元35还基于光流识别特征点的当前位置，并且更新特征点信息。计算单元35向UI绘制单元36和命令确定单元37提供特征点信息。 
UI绘制单元36事先存储特征点指针图像和UI图像。UI绘制单元36基于从特征点提取单元34提供的提取位置信息确定UI的布置，使得可以将UI围绕特征点排列。UI绘制单元36向合成单元39提供事先存储在其中的指示UI的布置的UI信息和UI图像。UI绘制单元36还向合成单元39提供事先存储在其中的特征点指针图像和从计算单元35提供的提取位置信息或特征点信息。UI绘制单元36还向命令确定单元37提供UI信息。 
命令确定单元37基于从计算单元35提供的特征点信息和从UI绘制单元36提供的UI信息，检测当前在特征点的位置处显示的UI。命令确定单元37向命令提交单元38提供指示已经操作UI的事件和标识该UI的标识信息。 
命令确定单元37事先存储表，表中特征点的运动和事件或命令彼此相关。命令确定单元37基于从计算单元35提供的特征点信息，识别特征点的位置的轨迹，并且从事先存储在其中的表中读取与由轨迹指示的运动相关的事件或命令。命令确定单元37向命令提交单元38提供所读取的事件或命令。 
命令提交单元38事先存储表，表中标识信息和对应于由标识信息标识的UI的命令彼此相关。命令提交单元38基于从命令确定单元37提供的事件和标识信息，从事先存储在其中的表中读取与标识信息标识的UI相关的命令，并且提交该命令。命令提交单元38还提交从命令确定单元37提供的事件或命令作为命令。 
合成单元39从例如通过调谐器或通过网络连接的设备的外部设备(未示出)获得期望观看的内容的图像。合成单元39向显示单元13提供所期 望的图像，使得所期望的图像被直接显示为显示期望图像的屏幕的图像(以下简称″图像观看屏幕″)。 
合成单元39还基于从UI绘制单元36提供的UI信息、UI图像、提取位置信息或特征点信息、和特征点指针图像，将UI图像和特征点指针图像与图像观看屏幕的图像合并，并且向显示单元13提供合成图像以用于显示。 
此外，合成单元39产生从图像获得单元31提供的所捕获的图像的镜象。合成单元39还将所捕获的图像的镜象与图像观看屏幕的合成图像合并，使得所捕获图像的镜象可以以半透明方式在合成UI图像和特征点指针图像的图像观看屏幕上显示。合成单元39向显示单元13提供结果合成图像以用于显示。 
现在参照图3描述抓住特征点指针14的动作。 
在图3中，空间体积51是其位置对应于图1所示显示单元13上显示的特征点指针14的位置的空间体积。如图3所示，当用户通过手指从左边和右边包围空间体积51来用其手的抓住特征点指针14，使得手可以围绕空间体积51闭合时，特征点位于抓住特征点指针14的手的图像中。 
当用户移动抓住特征点指针14的手时，指示手的运动的光流被作为特征点的光流来计算。结果，用户可以使用抓住特征点指针14的手作为指示设备。 
因此，图像处理设备11被配置成识别由通过用户的手抓住的特征点指针14指示而且和用户的手一起移动的特征点，而不是基于用户的手的形状等等识别用户的手以检测手的运动，并且检测特征点的运动为用户的手的运动。因此，与基于用户的手的形状等等识别用户的手以检测手的运动的情况相比，可以用最小量的处理来提高指示设备的位置检测的识别鲁棒性和精度。 
此外，在图像处理设备11中，一旦用户用其手的抓住了特征点指针14，则可以检测到手的运动。假定一旦用户移动其手则检测手的运动的检测方法被称为全自动手姿势检测方法，图像处理设备11使用的检测方法可以被称作半自动手姿势检测方法。 
现在参考图4到11描述图像处理设备11中指示设备的使用。 
如图4所示，首先，用户在观看例如频道1上的电视节目期间向照相机12挥动其手。在图像处理设备11中，用户的手的挥动被检测为区域 61内的触发，并且在区域61中提取特征点。 
接着，如图5所示，在显示单元13上，将所捕获的图像的镜象以半透明方式显示在图像观看屏幕上，在图像观看屏幕上当前正显示频道1的电视节目的图像，并且根据特征点显示特征点指针14和UI 15。因而，用户可以同时观看作为要观看的目标的频道1的电视节目的图像，面对照相机12的用户的图像、特征点指针14和UI 15。 
接着，如图6所示，在观看当前在显示单元13上显示的特征点指针14的同时，用户用其右手的手指从左边和右边包围对应于特征点指针14的空间体积，使得用户的右手可以以图7所示的方式围绕空间体积闭合。即，用户抓住特征点指针14。 
接着，例如，在观看在显示单元13上当前显示的特征点指针14和UI 15的同时，用户以图8所示的方式将其抓住特征点指针14的右手移动到相对照相机12的左边，使得特征点指针14可以被叠加在显示单元13的图像观看屏幕上的UI 15-2上。 
因而，设置频道3的电视节目作为要观看的目标的命令被作为与UI15-2相关的命令提交。结果，如图8所示，要在显示单元13上显示的目标图像被从频道1的电视节目图像转变到频道3的电视节目图像。 
接着，如图9所示，用户将其抓住特征点指针14的右手移动到相对照相机12的右边。接着，如图10所示，用户将其抓住特征点指针14的右手相对照相机12向下移动以便将特征点指针14移动到UI 15定义的圆圈外部。因而，提交终止界面显示过程的命令。 
结果，如图11所示，从显示单元13删除所捕获的图像、特征点指针14和UI 15。即，在显示单元13的图像观看屏幕上只显示目标图像，即频道3的电视节目。 
如图9所示，当用户还期望转变要观看的电视节目频道而不是终止界面显示过程时，用户将其抓住特征点指针14的右手相对照相机12向右移动以返回特征点指针14到UI 15定义的圆圈内，并且接着移动其抓住特征点指针14的右手，使得特征点指针14可以被叠加在UI 15中分配有期望频道号的UI 15上。结果，用户期望的频道的电视节目图像被显示在显示单元13上，并且在这个图像上显示所捕获的图像、特征点指针14和UI 15。 
在图4到11中，要观看的目标是例如电视节目，并且已经描述了转 变要观看的电视节目频道的指示设备的使用。然而，要观看的目标不局限于电视节目。 
例如，如图12到20所示，要观看的目标可以是网页。在这种情况下，如图12所示，首先，用户在例如观看具有链接82的网页(网页1)期间向照相机12挥动其手。在图像处理设备11中，用户手的挥动被检测为区域81内的触发，并且在区域81中提取特征点。 
接着，如图13所示，在显示单元13上，将所捕获的图像的镜象以半透明方式显示在具有链接82的网页上，并且根据特征点显示特征点指针83和UI 91到93。UI 91用于观看前一个网页，并且UI 92用于观看下一个网页。UI 93用于终止界面显示过程。 
接着，如图14所示，在观看当前在显示单元13上显示的特征点指针83的同时，用户用其右手的手指从左边和右边包围对应于特征点指针83的空间体积，使得用户的右手可以以图15所示的方式围绕空间体积闭合。即，用户抓住特征点指针83。 
接着，如图16所示，用户沿相对照相机12的顺时针方向将其抓住特征点指针83的右手以圆圈方式移动两次，并且接着停止两秒或更长时间。这个动作(以下简称″两圆圈运动和停止动作″)对应于鼠标的点击。根据两圆圈运动和停止动作，图像处理设备11提交改变特征点指针83的颜色的命令。 
接着，例如，如图17所示，在观看当前在显示单元13上显示的链接82、颜色已经改变的特征点指针83和UI 91到93的同时，用户将其抓住特征点指针83的右手相对照相机12向右移动，使得颜色已经改变的特征点指针83可以被叠加在显示单元13的图像观看屏幕上的链接82上，并且接着停止若干秒。 
因而，在图像处理设备11中，将对应于在链接82上点击鼠标的事件作为命令提交，并且还提交将特征点指针83的颜色恢复到原始颜色的命令。结果，如图18所示，要在显示单元13上显示的目标图像被从具有链接82的网页(网页1)转变到对应于链接82的网页(网页2)，并且将特征点指针83的颜色恢复到原始颜色。 
接着，如图19所示，用户将其抓住特征点指针83的右手相对照相机12向下移动，使得特征点指针83可以被叠加在显示单元13的图像观看屏幕上的UI 93上。因而，提交终止界面显示过程的命令。 
结果，如图20所示，从显示单元13删除所捕获的图像、特征点指针83和UI 91到93。即，在显示单元13的图像观看屏幕上只显示要观看的目标图像，即网页(网页2)。 
因此，图像处理设备11允许基于特征点指针83的无手光标指示，和对应于点击鼠标的事件的提交。因而，图像处理设备11识别特征点的位置作为鼠标的位置，从而控制现有浏览器以显示网页，而无需针对Web浏览器来显示UI 91到93。 
接着，参考图21描述由图2所示的图像处理设备11执行的图像处理。例如，这个图像处理在用户操作例如遥控器的操作单元(未示出)以提供观看要观看的目标图像的指令时开始。 
在步骤S10，合成单元39开始在显示单元13上显示目标图像。具体地，合成单元39开始从外部设备(未示出)获得目标图像并且向显示单元13提供目标图像的操作。 
在步骤S11，照相机12开始逐帧获得所捕获的图像的操作。所捕获的图像被提供给和存储在帧缓冲器32。所捕获的图像还被提供给合成单元39。 
在步骤S12，基于帧缓冲器32中存储的所捕获的图像，确定触发检测单元33是否已经检测到指示用户向照相机12挥动其手的触发。如果在步骤S12确定未检测到触发，则处理前进到步骤S22。 
如果在步骤S12确定检测到触发，则触发检测单元33向特征点提取单元34提供区域信息。接着在步骤S13，特征点提取单元34在帧缓冲器32中存储的所捕获的图像的区域中使用亮度分量提取一个角点作为特征点，该区域通过触发检测单元33提供的区域信息指定。 
例如，在图4所示区域61上的区域信息被从触发检测单元33提供给特征点提取单元34的情况下，特征点提取单元34在区域61中使用亮度分量提取单个特征点。特征点提取单元34向计算单元35和UI绘制单元36提供指示所提取的特征点的位置的提取位置信息。 
在步骤S14，UI绘制单元36基于从特征点提取单元34提供的提取位置信息，确定UI的布置，使得可以将UI围绕该特征点排列。UI绘制单元36向合成单元39提供事先存储在其中的有关UI的UI信息和UI图像。UI绘制单元36还向合成单元39提供从计算单元35提供的提取位置信息或特征点信息，和事先存储在其中的特征点指针图像。UI绘制单元 36还向命令确定单元37提供UI信息。 
在步骤S15，合成单元39基于从UI绘制单元36提供的信息和图像，即UI信息、UI图像、提取位置信息或特征点信息，和特征点指针图像，开始显示单个特征点指针和UI。 
具体地，合成单元39终止向提供单元13提供目标图像。接着，合成单元39根据UI信息、UI图像、提取位置信息或特征点信息和特征点指针图像，开始将单个特征点指针的图像和UI图像与图像观看屏幕的图像合并，并且向显示单元13提供该合成图像的操作。因而，例如，在显示单元13的图像观看屏幕上显示图5所示的特征点指针14和UI 15。 
在步骤S16，合成单元39使用从图像获得单元31提供的所捕获的图像，开始半透明显示所捕获的图像。 
具体地，合成单元39开始产生所捕获的图像的镜象的操作，并且终止向显示单元13提供单个特征点指针的图像和UI图像与图像观看屏幕的图像合并的合成图像。合成单元39还开始下述操作：进一步将作为在步骤S15开始的合并的结果而获得的合成图像与所捕获的图像的镜象合并，使得所捕获的图像的镜象可以以半透明方式在合并单个特征点指针的图像和UI图像的图像观看屏幕上显示，并且向显示单元13提供该结果合成图像。因而，例如，如图5所示，将所捕获的图像的水平翻转图像以半透明方式在显示单元13的图像观看屏幕上显示。 
在步骤S17，计算单元35根据帧缓冲器32中存储的所捕获的图像的连续两个帧和从特征点提取单元34提供的提取位置信息或特征点信息，计算单个特征点的光流。接着，计算单元35基于该光流，识别特征点的当前位置，并且更新特征点信息。计算单元35向UI绘制单元36和命令确定单元37提供特征点信息。 
在步骤S18，命令确定单元37基于从计算单元35提供的特征点信息和从UI绘制单元36提供的UI信息，确定是否从命令提交单元38提交命令。 
具体地，例如，命令确定单元37基于特征点信息和UI信息，确定当前在特征点的位置处显示的UI是否被找到。如果确定当前在特征点的位置处显示的UI被找到，则命令确定单元37确定要提交命令。如果确定这种UI未被找到，则命令确定单元37确定没有要提交的命令。 
此外，例如，命令确定单元37基于特征点信息，确定抓住特征点指 针83的用户的右手是否如图16所示执行两圆圈运动和停止动作。如果确定已经执行两圆圈运动和停止动作，则命令确定单元37确定要提交命令。如果确定没有执行两圆圈运动和停止动作，则命令确定单元37确定没有要提交的命令。 
如果在步骤S18确定要提交命令，则命令确定单元37向命令提交单元38提供对应于要提交的命令的事件和标识信息，或要作为命令提交的事件或命令。接着，在步骤S19，命令提交单元38提交基于从命令确定单元37提供的事件和标识信息的命令，或对应于从命令确定单元37提供的事件或命令的命令。 
例如，在如图8所示从命令确定单元37提供指示使用特征点指针14对UI 15的操作的事件和标识已经操作的UI 15-2的标识信息的情况下，命令提交单元38基于该事件和标识信息，提交将频道3的电视节目设置为要观看的目标的命令。 
此外，在以图16所示的方式执行两圆圈运动和停止动作之后，特征点指针83被以图17所示的方式叠加在链接82上，并且对应于链接82上的鼠标点击的事件和将特征点指针83的颜色恢复到原始颜色的命令被提供给命令确定单元37的情况下，命令提交单元38提交所提供的事件和命令作为命令。在步骤S19的处理之后，处理前进到步骤S20。 
如果在步骤S18确定没有要提交的命令，则过程跳过步骤S19并且进入步骤S20。在步骤S20，合成单元39确定是否终止界面相关图像的显示。具体地，合成单元39确定终止显示界面相关图像的命令是否已经从命令提交单元38提供。 
如果在步骤S20确定界面相关图像的显示未被终止，则过程返回到步骤S17，并且基于帧缓冲器32中存储的所捕获的图像的随后两个相继帧和在过程的前一迭代更新的特征点信息，计算特征点的光流。接着，执行后续处理。 
如果在步骤S20确定界面相关图像的显示要被终止，则在步骤S21，合成单元39终止特征点指针、UI和所捕获的图像的显示。具体地，合成单元39终止从步骤S16开始的向显示单元13提供合成图像，并且开始向显示单元13提供目标图像。结果，例如，如图11所示，在显示单元13上只显示要观看的目标图像，即频道3的电视节目的图像。接着，过程前进到步骤S22。 
在步骤S22，合成单元39根据用户对操作单元(未示出)的操作确定是否终止观看。如果在步骤S22确定不终止观看，则过程返回到步骤S12并且重复步骤S12到S22的处理直到确定观看要被终止。 
如果在步骤S22确定要终止观看，则在步骤S23，图像获得单元31终止获得所捕获的图像的操作。在步骤S24，合成单元39终止目标图像的显示。具体地，合成单元39终止从外部设备(未示出)获得目标图像的操作。接着，过程结束。 
在前面的描述中，图像处理设备11由单个用户操作。图像处理设备11可以由多个用户操作。 
图22示出由两个用户操作的图像处理设备的示例结构。 
参照图22，图像处理设备111包含照相机12、显示单元13、图像获得单元31、帧缓冲器32、触发检测单元121、特征点提取单元122、计算单元123、UI绘制单元124、命令确定单元125、命令提交单元126和合成单元127。在图22中，与图2所示的那些相同或类似的组件被表示成相同附图标记，并且不重复描述。 
像图2所示的触发检测单元33那样，图像处理设备111的触发检测单元121从帧缓冲器32读取所捕获的图像。触发检测单元121基于所捕获的图像，检测指示第一用户向照相机12挥手的第一触发。触发检测单元121向特征点提取单元122提供对应于第一触发的区域信息。 
触发检测单元121还在检测第一触发之后的预定时间周期内检测指示第二用户向照相机12挥动其手的第二触发。触发检测单元121向特征点提取单元122提供对应于第二触发的区域信息。 
像图2所示的特征点提取单元34那样，特征点提取单元122从帧缓冲器32读取所捕获的图像。特征点提取单元122使用由对应于从触发检测单元121提供的第一触发的区域信息指定的所捕获的图像的区域中的亮度分量，提取一个角点作为第一用户的特征点，并且向计算单元123和UI绘制单元124提供所提取特征点的提取位置信息。 
特征点提取单元122还以类似于第一用户的方式，使用由对应于第二触发的区域信息指定的所捕获的图像的区域中的亮度分量，提取第二用户的特征点，并且向计算单元123和UI绘制单元124提供所提取特征点的提取位置信息。 
像图2所示的计算单元35那样，计算单元123从帧缓冲器32读取所 捕获的图像的两个相继帧。计算单元123根据所捕获的图像的所读取的两个帧和从特征点提取单元122提供的第一用户的特征点的提取位置信息或第一用户的特征点信息，针对每个帧计算第一用户的特征点的光流。计算单元123基于该光流，识别第一用户的特征点的当前位置，并且更新第一用户的特征点的特征点信息。 
计算单元123还以类似于第一用户的方式，根据所捕获的图像的两个帧和第二用户的特征点的提取位置信息或特征点信息，计算第二用户的光流。计算单元123向UI绘制单元124和命令确定单元125提供第一用户的特征点的特征点信息和第二用户的特征点的特征点信息。 
UI绘制单元124事先存储第一和第二用户的特征点指针和UI图像。UI绘制单元124基于从特征点提取单元122提供的第一用户的特征点的提取位置信息，确定第一用户的UI的布置，使得第一用户的UI可以围绕第一用户的特征点排列。UI绘制单元124向合成单元127提供事先存储在其中的第一用户的UI的UI信息和第一用户的UI图像。 
UI绘制单元124还向合成单元127提供从计算单元123提供的第一用户的特征点的提取位置信息或第一用户的特征点的特征点信息，和事先存储在其中的第一用户的特征点的特征点指针图像。UI绘制单元124还向命令确定单元125提供第一用户的UI的UI信息。 
UI绘制单元124还以类似于第一用户的方式，向合成单元127提供第二用户的信息和图像，即UI的UI信息、UI图像、特征点的提取位置信息或特征点信息和特征点指针图像。UI绘制单元124还以类似于第一用户的方式，向命令确定单元125提供第二用户的UI的UI信息。 
命令确定单元125基于从计算单元123提供的第一用户的特征点的特征点信息，和从UI绘制单元124提供的第一用户的UI的UI信息，检测第一用户的UI中当前在第一用户的特征点的位置处显示的UI。命令确定单元125向命令提交单元126提供指示已经操作第一用户的一个UI的事件和标识第一用户的一个UI的标识信息。 
像图2所示的命令确定单元37那样，命令确定单元125事先存储表，表中特征点的运动和事件或命令彼此相关。命令确定单元125基于从计算单元123提供的特征点信息，识别第一用户的特征点的位置的轨迹，并且从事先存储在其中的表中读取与由轨迹指示的运动相关的事件或命令。命令确定单元125向命令提交单元126提供所读取的事件或命令，以作为第 一用户的事件或命令。 
命令确定单元125还以类似于第一用户的方式，向命令提交单元126提供第二用户的事件和标识信息，或第二用户的事件或命令。 
像图2所示的命令提交单元38那样，命令提交单元126事先存储表，表中标识信息和对应于由标识信息标识的UI的命令彼此相关。命令提交单元126基于从命令确定单元125提供的第一用户的事件和标识信息，读取与由标识信息标识的第一用户的UI相关的命令，并且提交所读取的命令作为第一用户的命令。 
命令提交单元126还提交从命令确定单元125提供的第一用户的事件或命令作为第一用户的命令。命令提交单元126还以类似于第一用户的方式提交第二用户的命令。 
合成单元127从外部设备(未示出)获得第一用户要观看的第一目标图像和第二用户要观看的第二目标图像。然后，合成单元127将第一和第二目标图像合并，使得第一和第二目标图像在图像观看屏幕的半个部分上显示，并且将合成图像设置为图像观看屏幕的图像。 
合成单元127向显示单元13提供图像观看屏幕的图像以用于显示。结果，第一用户要观看的第一目标图像在显示单元13的图像观看屏幕的半个部分上显示，并且第二用户要观看的第二目标图像在图像观看屏幕的另一半个部分上显示。 
合成单元127还根据从UI绘制单元124提供的第一和第二用户的信息和图像，即UI信息、UI图像、提取位置信息或特征点信息和特征点指针图像，将第一和第二用户的UI图像和特征点指针图像与图像观看屏幕的图像合并。 
像图2所示的合成单元39那样，合成单元127产生从图像获得单元31提供的所捕获的图像的镜象。合成单元127还将所捕获的图像的镜象与图像观看屏幕的合成图像合并，使得所捕获的图像的镜象可以以半透明方式在合并第一和第二用户的UI图像和特征点指针的图像观看屏幕上显示。合成单元127向显示单元13提供结果合成图像以用于显示。 
现在参考图23描述图22所示的图像处理设备111中指示设备的使用。 
在图23所示的例子中，第一用户期望观看频道3上的电视节目，并且第二用户期望观看频道8上的电视节目。在图23中，在显示单元13 的图像观看屏幕的左半部分上显示频道3的电视节目图像，并且在图像观看屏幕的右半部分上显示频道8的电视节目图像。 
当第一用户从相对照相机12的左边向照相机12挥动其手并且第二用户从相对照相机12的右边向照相机12挥动其手时，在已经检测到用户手的挥动的区域中提取第一和第二用户的特征点。因而，如图23所示，在显示单元13的图像观看屏幕的左半部分上显示指示第一用户的特征点的第一特征点指针141，和在图像观看屏幕的右半部分上显示指示第二用户的特征点的第二特征点指针142。 
此外，如图23所示，根据第一用户的特征点的提取位置信息，在显示单元13的图像观看屏幕的左半部分显示第一用户的UI 151，并且根据第二用户的特征点的提取位置信息，在图像观看屏幕的右半部分显示第二用户的UI 152。如图23所示，还以半透明方式在显示单元13上显示第一和第二用户的所捕获的图像。在图23所示的例子中，UI 151由类似于图1所示的UI 15-1到15-7的UI形成，并且UI 152由类似于图1所示的UI 15-1到15-7的UI形成。UI 151和152被用于选择每个频道。 
因此，在显示单元13上显示第一和第二特征点指针141和142和两个用户的UI 151和152。这允许两个用户中的一个抓住第一特征点指针141以选择期望观看的电视节目的频道，并且允许另一个用户抓住第二特征点指针142以选择期望观看的电视节目的频道。 
接着，参考图24描述由图22所示的图像处理设备111执行的图像处理。例如，这个图像处理在用户操作例如遥控器的操作单元(未示出)以提供观看要观看的目标图像的指令时开始。 
在步骤S40，合成单元127开始显示两个用户要观看的目标图像。具体地，合成单元127开始从外部设备(未示出)获得第一用户要观看的目标图像和第二用户要观看的目标图像，合并所获得的目标图像以产生图像观看屏幕的图像和向显示单元13提供图像观看屏幕的图像的操作。因而，例如，如图23所示，在显示单元13的图像观看屏幕的左半部分显示第一用户要观看的目标图像，并且在图像观看屏幕的右半部分显示第二用户要观看的目标图像。 
在步骤S41，像图21所示的步骤S11那样，照相机12开始逐帧获得所捕获的图像的操作。所捕获的图像被提供给和存储在帧缓冲器32。所捕获的图像还被提供给合成单元127。 
在步骤S42，基于帧缓冲器32中存储的所捕获的图像，确定触发检测单元121是否已经检测到指示第一用户向照相机12挥动其手的第一触发。如果在步骤S42确定未检测到第一触发，则过程前进到步骤S53。 
如果在步骤S42确定已经检测到第一触发，则触发检测单元121向特征点提取单元122提供对应于第一触发的区域信息。接着在步骤S43，确定触发检测单元121是否在检测第一触发之后的预定时间周期内检测到第二用户的第二触发。如果在步骤S43确定未检测到第二触发，则过程前进到步骤S53。 
如果在步骤S43确定已经检测到第二触发，则触发检测单元121向特征点提取单元122提供对应于第二触发的区域信息。 
接着在步骤S44，特征点提取单元122使用帧缓冲器32中存储的、由对应于从触发检测单元121提供的第一触发的区域信息指定的所捕获的图像的区域中的亮度分量，提取第一用户的特征点，并且使用由对应于从触发检测单元121提供的第二触发的区域信息指定的所捕获的图像的区域中的亮度分量，提取第二用户的特征点。特征点提取单元122向计算单元123和UI绘制单元124提供指示第一用户的特征点的位置的提取位置信息和指示第二用户的特征点的位置的提取位置信息。 
在步骤S45，UI绘制单元124基于从特征点提取单元122提供的两个用户的提取位置信息，确定两个用户的UI的布置，使得第一用户的UI可以围绕第一用户的特征点排列并且第二用户的UI可以围绕第二用户的特征点排列。UI绘制单元124向合成单元127提供事先存储在其中的两个用户的UI上的UI信息和两个用户的UI图像。UI绘制单元124还向合成单元127提供从计算单元123提供的两个用户的提取位置信息或两个用户的特征点的特征点信息，和事先存储在其中的两个用户的特征点指针图像。UI绘制单元124还向命令确定单元125提供两个用户的UI信息。 
在步骤S46，合成单元127基于从UI绘制单元124提供的两个用户的信息和图像，即UI信息、UI图像、提取位置信息或特征点信息，和特征点指针图像，开始显示两个用户的特征点指针和两个用户的UI。 
步骤S47到S55的处理分别类似于图21所示的步骤S16到S24的处理，并且这里不再描述。针对每个特征点执行步骤S48到S50的处理。 
在上述例子中，两个用户抓住特征点指针141和142以选择要在显示单元13的图像观看屏幕的单独屏幕部分上显示的期望频道。可选地，如 图25所示，两个用户可以选择要在显示单元13的整个图像观看屏幕上显示的频道。 
在图25所示的例子中，在显示单元13的整个图像观看屏幕上显示频道3的电视节目图像以作为要观看的目标图像。用户抓住和操作特征点指针141和142以选择要在显示单元13的整个图像观看屏幕上显示的电视节目的频道。 
可选地，如图26所示，UI可以被两个用户共享。在图26所示的例子中，两个特征点指针171和172和三个UI 181到183被两个用户共享，并且在具有三个链接161到163、作为要观看的图像的网页(网页3)上显示。用户的所捕获的图像还以半透明方式在网页(网页3)上显示。因而，用户可以使用特征点指针171或172操作UI 181到183。 
当两个用户使用两个特征点指针操作图22所示的图像处理设备111时，可以由单个用户使用多个特征点指针操作图像处理设备。 
图27示出由单个用户使用两个特征点指针操作的图像处理设备的示例结构。 
参照图27，图像处理设备211包含照相机12、显示单元13、图像获得单元31、帧缓冲器32、触发检测单元33、特征点提取单元221、计算单元222、命令确定单元223、命令提交单元224和合成单元225。在图27中，与图2所示的那些相同或类似的组件被表示成相同附图标记，并且不重复描述。 
像图2所示的特征点提取单元34那样，图像处理设备211的特征点提取单元221从帧缓冲器32读取所捕获的图像。特征点提取单元221使用由从触发检测单元33提供的区域信息指定的所捕获的图像的区域中的亮度分量，提取两个角点作为特征点，并且向计算单元222和合成单元225提供两个特征点的提取位置信息。 
像图2所示的计算单元35那样，计算单元222从帧缓冲器32读取所捕获的图像的两个相继帧。计算单元222根据所捕获的图像的所读取两个帧和从特征点提取单元221提供的两个特征点的提取位置信息或两个特征点的特征点信息，针对每个帧计算两个特征点的光流。计算单元222根据两个光流更新两个特征点的特征点信息，并且向命令确定单元223和合成单元225提供更新的特征点信息。 
命令确定单元223事先存储表，表中两个特征点的运动和命令彼此相 关。命令确定单元223基于两个特征点的特征点信息，识别两个特征点的位置轨迹，并且从事先存储在其中的表中读取对应于由轨迹指示的运动的命令。命令确定单元223向命令提交单元224提供两个特征点的所读取的命令和特征点信息。 
命令提交单元224根据从命令确定单元223提供的命令，提交使用特征点信息的命令或不使用特征点信息的命令。 
像图2所示的合成单元39那样，合成单元225从外部设备(未示出)获得期望观看的内容图像。接着，如合成单元39，合成单元225向显示单元13提供包含期望图像的图像，使得该图像被作为图像观看屏幕的图像直接显示。 
合成单元225还基于从特征点提取单元221提供的提取位置信息，或从计算单元222提供的特征点信息，和事先存储在其中的特征点指针图像，将特征点指针图像与图像观看屏幕的图像合并。 
此外，像图2所示的合成单元39那样，合成单元225产生从图像获得单元31提供的所捕获的图像的镜象。合成单元225还将所捕获的图像的镜象与图像观看屏幕的合成图像合并，使得所捕获的图像的镜象可以以半透明方式在合并特征点指针的图像观看屏幕上显示。合成单元225向显示单元13提供结果合成图像以用于显示。 
现在参考图28到38描述图像处理设备211中指示设备的使用。 
如图28所示，用户在显示要观看的照片251期间向照相机12挥动其手。在图像处理设备211中，在区域252内检测作为触发的用户手的挥动，并且在区域252中提取两个特征点。 
接着，如图29所示，在显示单元13上，将所捕获的图像的镜象以半透明方式在当前正在显示照片251的图像观看屏幕上显示，并且根据两个特征点显示特征点指针261和262。 
接着，如图30所示，用户在观看当前在显示单元13上显示的特征点指针261和262时，通过其左手的手指从左边和右边包围对应于特征点指针261的空间体积，并且通过其右手的手指从左边和右边包围对应于特征点指针262的空间体积。 
接着，如图31所示，用户的左手围绕对应于特征点指针261的空间体积闭合，并且用户的右手围绕对应于特征点指针262的空间体积闭合。即，用户分别通过其左和右手抓住特征点指针261和262。 
接着，用户移动其手，使得当前在显示单元13上显示的特征点指针261和262可以沿水平方向，即左右方向并排排列，使得例如如图2所示，抓住特征点指针261和262的手执行两圆圈运动和停止动作。因而，图像处理设备211提交转变特征点指针261和262的颜色的命令和固定照片251和特征点指针261和262之间的位置关系的命令，以作为对应于手的两圆圈运动和停止动作的命令。 
结果，如图32所示，特征点指针261和262的颜色首先转变成例如红色。接着，转换到下述状态：如图33所示，特征点指针261和262捕获照片251，并且特征点指针261和262的颜色被转变成例如蓝色。 
接着，如图34所示，用户将其抓住特征点指针261的左手和其抓住特征点指针262的右手分别向相对照相机12的左和右移动，以增加水平方向上右手和左手之间的距离。因而，提交放大照片251而不改变照片251和特征点指针261和262之间的位置关系的命令。 
结果，对于在如图34所示的移动之后特征点指针261和262之间的距离相对于在图33所示的移动之前特征点指针261和262之间的原始距离的增量，如图34所示，在水平方向上与该增量成比例地放大照片251。 
尽管未在附图中示出，但用户可以将其抓住特征点指针261的左手和其抓住特征点指针262的右手分别向相对照相机12的右和左移动，从而减小水平方向上右手和左手之间的距离，以在水平方向上缩小照片251。在这种情况下，对于在移动之后特征点指针261和262之间的距离相对于在移动之前特征点指针261和262之间的距离的减小量，在水平方向上与该减小量成比例地缩小照片251。 
此外，尽管未在附图中示出，但用户可以在将其抓住特征点指针261的左手和其抓住特征点指针262的右手并排沿垂直方向，即上下方向放置之后执行两圆圈运动和停止动作，并且可以增加或降低垂直方向上手之间的距离，从而在垂直方向上放大或缩小照片251。 
接着，如图35所示，用户将其抓住特征点指针261的左手及其抓住特征点指针262的右手沿顺时针方向移动预定角度。因而，提交旋转照片251而不改变照片251和特征点指针261和262之间的位置关系的命令。 
结果，如图35所示，将照片251顺时针旋转角度θ，该角度θ被定义在图34所示的转动之前连接特征点指针261和262的特征线263和图35所示转动之后的特征线264之间。可以在显示单元13上显示特征线263 和264，也可以不显示。 
接着，如图36所示，用户在图35所示的状态下停止两秒。响应于这个动作，提交将特征点指针261和262的颜色改变为原始颜色的命令和解除照片251和特征点指针261和262之间的固定位置关系的命令。 
结果，如图36所示，将特征点指针261和262的颜色恢复到原始颜色。接着，完成由特征点指针261和262对照片251的捕获。 
接着，如图37所示，用户将其抓住特征点指针261的左手及其抓住特征点指针262的右手相对照相机12向下移动，使得特征点指针261和262可以被放置在显示单元13的图像观看屏幕的外部。因而，提交终止接口显示过程的命令。 
结果，如图38所示，从显示单元13删除所捕获的图像和特征点指针261和262。即，在显示单元13的图像观看屏幕上只显示要观看的目标，即照片251。 
已经参考图28到38描述了用户放大、缩小或旋转照片251的情况。用户可以通过移动其抓住特征点指针261的左手及其抓住特征点指针262的右手而不改变其间距离来移动照片251。 
用户的手除了两圆圈运动和停止动作之外的任何操作可以被用作触发，以切换到特征点指针261和262捕获照片251的状态。例如，用户可以移动其抓住特征点指针261和262中的至少一个的手，使得特征点指针261和262中的至少一个可以被叠加在当前正在显示单元13上显示的预定UI，并且这个操作可以被检测为触发。 
接着，参考图39描述由图27所示的图像处理设备211执行的图像处理。例如，这个图像处理在用户操作例如遥控器的操作单元(未示出)以提供观看要观看的目标图像的指令时开始。 
步骤S60到S62的处理分别类似于图21所示的步骤S10到S12的处理，并且这里不再描述。 
在步骤S63，特征点提取单元221使用在帧缓冲器32中存储的所捕获的图像的区域中的亮度分量，提取两个角点作为特征点，该亮度分量由从触发检测单元33提供的区域信息指定。特征点提取单元221向计算单元222和合成单元225提供指示所提取的特征点的位置的提取位置信息。 
在步骤S64，合成单元225基于从特征点提取单元221提供的两个特 征点的提取位置信息，或从计算单元222提供的两个特征点的特征点信息，和特征点指针图像，开始显示两个特征点指针。结果，例如，如图29所示，在显示单元13的图像观看屏幕上显示两个特征点指针261和262。 
在步骤S65，像图21所示的步骤S16的处理那样，合成单元225使用从图像获得单元31提供的所捕获的图像开始半透明显示所捕获的图像。结果，例如，如图29所示，将所捕获的图像的水平翻转图像以半透明方式在显示单元13的图像观看屏幕上显示。 
在步骤S66，计算单元222根据帧缓冲器32中存储的所捕获的图像的两个帧和从特征点提取单元221提供的两个特征点的提取位置信息或两个特征点的特征点信息，计算两个特征点的光流。接着，计算单元222根据每个特征点的光流，更新每个特征点的特征点信息。计算单元222向命令确定单元223和合成单元225提供两个特征点的特征点信息。 
在步骤S67，命令确定单元223基于从计算单元222提供的两个特征点的特征点信息，确定是否从命令提交单元224提交命令。 
具体地，命令确定单元223基于两个特征点的特征点信息，识别两个特征点的位置轨迹，并且确定命令是否与事先存储在其中的表中包含的轨迹指示的运动相关。如果确定命令被包含在事先存储的表中，则命令确定单元223确定要提交命令。如果确定命令未包含在表中，则命令确定单元223确定不提交命令。 
如果在步骤S67确定要提交命令，则命令确定单元223向命令提交单元224提供对应于两个特征点的运动和特征点信息的命令。接着在步骤S68，命令提交单元224根据从命令确定单元223提供的命令，提交使用特征点信息的命令或不使用特征点信息的命令。 
具体地，例如，如图32所示，在用户在其手抓住特征点指针261和262执行其手的两圆圈运动和停止动作的情况下，命令提交单元224提交对应于特征点指针261和262的运动的命令以作为不使用特征点信息的命令，上述命令是从命令确定单元223提供的，是改变特征点指针261和262的颜色的命令和固定照片251和特征点指针261和262之间的位置关系的命令。 
此外，例如，如图34所示，在用户增加其抓住特征点指针261的左手及其抓住特征点指针262的右手之间的水平方向上的距离的情况下，命 令提交单元224提交从命令确定单元223提供的、对应于特征点指针261和262的运动的命令以作为使用特征点信息的命令，即根据放大照片251但不改变照片251和特征点指针261和262之间的位置关系的命令，在水平方向上与基于特征点信息的增量成比例地放大照片251的命令。 
如果在步骤S67确定没有要提交的命令，则过程跳过步骤S68并且进入步骤S69。在步骤S69，像如图21所示的步骤S21的处理那样，合成单元225确定是否终止界面相关图像的显示。具体地，合成单元225确定是否从命令提交单元224提供了终止显示界面相关图像的命令。 
如果在步骤S69确定不终止显示界面相关图像，则过程返回到步骤S66。接着，基于帧缓冲器32中存储的所捕获的图像的后续两个相继帧和有关两个特征点的、在过程的前一迭代更新的特征点信息，计算两个特征点的光流。接着，执行后续处理。 
如果在步骤S69确定终止显示界面相关图像，则在步骤S70，合成单元225终止特征点指针和所捕获的图像的显示。 
步骤S71到S73的处理分别类似于图21所示的步骤S22到S24的处理，并且这里不再描述。 
在上述说明中，用户的手向照相机12的挥动被检测为触发。然而，任何其他操作可以被检测为触发。例如，在图像处理设备11(或111或211)配有遥控器的情况下，遥控器上提供的预定按钮的操作可以被检测为触发。在这种情况下，指示预定区域的区域信息被输出为区域信息。 
在上述说明中，角点被提取为特征点。可选地，位于轮廓线上的点可以被提取为特征点。在这种情况下，位于轮廓线上的任何点可以被提取为特征点，导致比提取角点作为特征点稳定性低的特征点指针定位。然而，一旦用户通过其手抓住特征点，则特征点被定位在手内。因而，像角点被提取为特征点的情况那样，图像处理设备11(或111或211)以最低量处理允许高识别鲁棒性和高精度位置检测。 
此外，在上述说明中，计算特征点的光流的方法被用于检测特征点的运动。特征点的运动可以使用例如模板匹配的任何其他方法来检测。 
在说明书中，描述程序记录介质中存储的程序的步骤可以以时间序列方式执行。这些步骤不必以时间序列方式执行，并且可以并行或单独执行。 
本发明的实施例不局限于上述实施例，并且可以在不偏离本发明的范围的前提下进行各种修改。 
本领域的技术人员应当理解，根据设计需求和其它因素，可以进行各种修改，组合，子组合和变化，只要它们在所附权利要求书或其等同表述的范围内。 

Claims (6)

1.一种图像处理设备，包括：
提取装置，用于根据指示在所捕获的图像内检测到触发的区域的区域信息通过使用亮度分量而从所捕获的图像中提取特征点；
识别装置，用于识别特征点的位置；
显示控制装置，用于基于特征点的位置执行控制以显示指示与用户的手抓住的空间对应的特征点的特征点指针；和
提交装置，用于基于特征点的位置提交对应于特征点的位置或特征点的运动的命令。
2.如权利要求1所述的图像处理设备，其中显示控制装置基于特征点的位置执行控制以显示特征点指针和预定用户界面，并且
其中，提交装置基于特征点的位置提交对应于用户界面中正在特征点的位置处显示的用户界面的命令。
3.如权利要求1所述的图像处理设备，其中提取装置根据指示在所捕获的图像中检测到触发的区域的区域信息通过使用所述亮度分量而从所捕获的图像中提取多个特征点，并且
其中，提交装置提交对应于所述多个特征点的位置或运动的命令。
4.如权利要求3所述的图像处理设备，其中针对每个所述特征点，显示控制装置基于所述特征点的位置执行控制，以显示指示所述特征点的特征点指针和预定用户界面，并且
其中，针对每个所述特征点，提交装置基于所述特征点的位置提交对应于用户界面中在所述特征点的位置处显示的用户界面的命令。
5.如权利要求3所述的图像处理设备，其中针对每个所述特征点，显示控制装置基于所述特征点的位置执行控制，以显示指示所述特征点的特征点指针并且显示预定用户界面，该预定用户界面由所述多个特征点共享，并且
其中，针对每个所述特征点，提交装置基于所述特征点的位置提交对应于用户界面中在所述特征点的位置处显示的用户界面的命令。
6.一种用于配置成从所捕获的图像中提取特征点的图像处理设备的图像处理方法，该图像处理方法包括步骤：
根据指示在所获取的图像内检测到触发的区域的区域信息通过使用亮度分量而从所捕获的图像中提取特征点；
识别特征点的位置；
基于特征点的位置，显示指示与用户的手抓住的空间对应的特征点的特征点指针；和
基于特征点的位置，提交对应于特征点的位置或特征点的运动的命令。
CN201110049131.5A 2007-09-19 2008-09-17 图像处理设备和方法 Expired - Fee Related CN102141839B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-241679 2007-09-19
JP2007241679A JP4569613B2 (ja) 2007-09-19 2007-09-19 画像処理装置および画像処理方法、並びにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2008102115447A Division CN101393477B (zh) 2007-09-19 2008-09-17 图像处理设备和方法

Publications (2)

Publication Number Publication Date
CN102141839A CN102141839A (zh) 2011-08-03
CN102141839B true CN102141839B (zh) 2015-04-29

Family

ID=39745285

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201110049131.5A Expired - Fee Related CN102141839B (zh) 2007-09-19 2008-09-17 图像处理设备和方法
CN2008102115447A Expired - Fee Related CN101393477B (zh) 2007-09-19 2008-09-17 图像处理设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2008102115447A Expired - Fee Related CN101393477B (zh) 2007-09-19 2008-09-17 图像处理设备和方法

Country Status (4)

Country Link
US (3) US8643598B2 (zh)
EP (1) EP2040156B1 (zh)
JP (1) JP4569613B2 (zh)
CN (2) CN102141839B (zh)

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
US20090075711A1 (en) 2007-06-14 2009-03-19 Eric Brosius Systems and methods for providing a vocal experience for a player of a rhythm action game
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
US20090310027A1 (en) * 2008-06-16 2009-12-17 James Fleming Systems and methods for separate audio and video lag calibration in a video game
US8663013B2 (en) 2008-07-08 2014-03-04 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8146020B2 (en) * 2008-07-24 2012-03-27 Qualcomm Incorporated Enhanced detection of circular engagement gesture
EP2352078B1 (en) * 2008-10-01 2022-09-07 Sony Interactive Entertainment Inc. Information processing apparatus, information processing method, information recording medium, and program
US20120202569A1 (en) * 2009-01-13 2012-08-09 Primesense Ltd. Three-Dimensional User Interface for Game Applications
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US8176442B2 (en) * 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8566713B2 (en) 2009-08-20 2013-10-22 Samsung Electronics Co., Ltd. Data transfer method and system
US20140053115A1 (en) * 2009-10-13 2014-02-20 Pointgrab Ltd. Computer vision gesture based control of a device
GB2483168B (en) 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
EP2494432B1 (en) * 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
JP5617246B2 (ja) * 2010-01-12 2014-11-05 ソニー株式会社 画像処理装置、物体選択方法及びプログラム
KR20110084653A (ko) * 2010-01-18 2011-07-26 삼성전자주식회사 휴대단말에서 프라이버시 보호 방법 및 장치
JP2011186636A (ja) 2010-03-05 2011-09-22 Sony Corp 情報処理装置および方法、並びにプログラム
US8550908B2 (en) 2010-03-16 2013-10-08 Harmonix Music Systems, Inc. Simulating musical instruments
WO2011148607A1 (ja) 2010-05-28 2011-12-01 パナソニック株式会社 ジェスチャ認識装置及びジェスチャ認識方法
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
CA2802348A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9134800B2 (en) 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
JP5621421B2 (ja) * 2010-09-06 2014-11-12 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
KR101364571B1 (ko) * 2010-10-06 2014-02-26 한국전자통신연구원 영상 기반의 손 검출 장치 및 그 방법
EP2455841A3 (en) * 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
TW201222429A (en) * 2010-11-23 2012-06-01 Inventec Corp Web camera device and operating method thereof
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US9575561B2 (en) * 2010-12-23 2017-02-21 Intel Corporation Method, apparatus and system for interacting with content on web browsers
JP5653206B2 (ja) 2010-12-27 2015-01-14 日立マクセル株式会社 映像処理装置
KR20130105725A (ko) * 2011-01-06 2013-09-25 포인트그랩 엘티디. 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
US9189072B2 (en) * 2011-02-08 2015-11-17 Lg Electronics Inc. Display device and control method thereof
US20130318445A1 (en) * 2011-02-28 2013-11-28 April Slayden Mitchell User interfaces based on positions
KR101226668B1 (ko) * 2011-03-25 2013-01-25 주식회사 아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
CN103608761B (zh) * 2011-04-27 2018-07-27 日本电气方案创新株式会社 输入设备、输入方法以及记录介质
GB2491473B (en) * 2011-05-31 2013-08-14 Pointgrab Ltd Computer vision based control of a device using machine learning
US20150117712A1 (en) * 2011-05-31 2015-04-30 Pointgrab Ltd. Computer vision based control of a device using machine learning
JP5845002B2 (ja) 2011-06-07 2016-01-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5840399B2 (ja) * 2011-06-24 2016-01-06 株式会社東芝 情報処理装置
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
JP5202712B2 (ja) * 2011-10-28 2013-06-05 株式会社東芝 表示装置、及び情報送信方法
KR20130047890A (ko) * 2011-11-01 2013-05-09 삼성전기주식회사 원격 조정 장치 및 원격 조정 장치의 제스처 인식 방법
JP2013097646A (ja) * 2011-11-02 2013-05-20 Fujitsu Mobile Communications Ltd 情報処理装置及びその方法
JP6243112B2 (ja) * 2011-12-09 2017-12-06 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
KR101237472B1 (ko) * 2011-12-30 2013-02-28 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR20130078490A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 전자 장치 및 그의 제어 방법
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
TWI454966B (zh) * 2012-04-24 2014-10-01 Wistron Corp 手勢控制方法及手勢控制裝置
KR101370022B1 (ko) * 2012-05-02 2014-03-25 주식회사 매크론 동작 인식 리모트 컨트롤러
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
CN103455253B (zh) * 2012-06-04 2018-06-08 乐金电子(中国)研究开发中心有限公司 一种与视频设备交互的方法及用于交互的视频设备
JP5935529B2 (ja) * 2012-06-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US9740450B2 (en) * 2012-07-12 2017-08-22 Nec Display Solutions, Ltd. Image display device, image display system, and image display method
US9575565B2 (en) 2012-07-13 2017-02-21 Juice Design Co., Ltd. Element selection device, element selection method, and program
TW201405443A (zh) * 2012-07-17 2014-02-01 Wistron Corp 手勢輸入系統及方法
FR2995704B1 (fr) 2012-09-19 2015-12-25 Inst Nat De Sciences Appliquees Methode de selection de mode d'interactivite
US10220303B1 (en) * 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
US9625995B2 (en) 2013-03-15 2017-04-18 Leap Motion, Inc. Identifying an object in a field of view
JP2014191688A (ja) 2013-03-28 2014-10-06 Sony Corp 情報処理装置、情報処理方法、及び、記憶媒体
US10514767B2 (en) 2013-04-02 2019-12-24 Sony Corporation Information processing apparatus and information processing method
GB2513200A (en) * 2013-04-21 2014-10-22 Biogaming Ltd Kinetic user interface
CN103226389B (zh) * 2013-04-27 2017-05-03 苏州佳世达电通有限公司 依据手势执行应用程序的方法
US10620775B2 (en) * 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9436288B2 (en) 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US9529513B2 (en) * 2013-08-05 2016-12-27 Microsoft Technology Licensing, Llc Two-hand interaction with natural user interface
CN103793922B (zh) * 2013-09-12 2016-07-06 电子科技大学 一种特定姿态实时检测方法
US20150123890A1 (en) * 2013-11-04 2015-05-07 Microsoft Corporation Two hand natural user input
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
US10782787B2 (en) * 2014-06-06 2020-09-22 Adobe Inc. Mirroring touch gestures
CN104049760B (zh) * 2014-06-24 2017-08-25 深圳先进技术研究院 一种人机交互命令的获取方法及系统
DE102014010352A1 (de) * 2014-07-10 2016-01-14 Iconmobile Gmbh Interaktiver Spiegel
DE102014014498B4 (de) * 2014-09-25 2024-08-08 Alcon Inc. Mit einem Touchscreen ausgestattetes Gerät sowie Verfahren zur Steuerung eines derartigen Geräts
US11258983B2 (en) * 2014-09-25 2022-02-22 Steve H. McNelley Immersive communication terminals
WO2016051521A1 (ja) * 2014-09-30 2016-04-07 三菱電機エンジニアリング株式会社 画面操作装置及び画面操作方法
US9619049B2 (en) * 2015-02-18 2017-04-11 International Business Machines Corporation One-handed operation of mobile electronic devices
WO2016185541A1 (ja) * 2015-05-18 2016-11-24 三菱電機株式会社 表示制御装置および画像表示装置
JP6799963B2 (ja) * 2015-08-27 2020-12-16 株式会社ブリヂストン 樹脂管、樹脂管の製造方法、及び配管構造
CN107199888A (zh) 2016-03-18 2017-09-26 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
USD800755S1 (en) * 2016-06-08 2017-10-24 Stripe, Inc. Display screen or portion thereof with animated graphical user interface
US10678327B2 (en) * 2016-08-01 2020-06-09 Microsoft Technology Licensing, Llc Split control focus during a sustained user interaction
DE112017004394T5 (de) * 2016-09-01 2019-05-16 Mitsubishi Electric Corporation Gestenbeurteilungseinrichtung, Gestenbedienungseinrichtung und Gestenbeurteilungsverfahren
FR3068803A1 (fr) * 2017-09-19 2019-01-11 Orange Procede et dispositif de traitement de donnees d'un environnement de realite virtuelle.
CN108062525B (zh) * 2017-12-14 2021-04-23 中国科学技术大学 一种基于手部区域预测的深度学习手部检测方法
JP2022122637A (ja) * 2021-02-10 2022-08-23 シャープ株式会社 表示装置、表示方法、及び表示プログラム
WO2023017628A1 (ja) * 2021-08-10 2023-02-16 ソニーグループ株式会社 情報処理システム、制御方法
US20240310921A1 (en) * 2023-03-17 2024-09-19 NEX Team Inc. Methods and Systems for Offloading Pose Processing to a Mobile Device for Motion Tracking on a Hardware Device without a Camera

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797284A (zh) * 2004-12-30 2006-07-05 中国科学院自动化研究所 基于玩家姿势和语音的电子游戏场景和角色控制方法

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US73838A (en) * 1868-01-28 eivot
US301474A (en) * 1884-07-08 Celestin bergeron
US237151A (en) * 1881-02-01 Kettle-holder
US260379A (en) * 1882-07-04 Albert feabnaught
US78639A (en) * 1868-06-09 Improved evapoeatoe
US305895A (en) * 1884-09-30 Distributing-roller for mucilage
US271423A (en) * 1883-01-30 Machine for clipping hats
US110513A (en) * 1870-12-27 Improvement in carriage-bows
US128141A (en) * 1872-06-18 Assiqffoe to himself
US338328A (en) * 1886-03-23 Louis winterhalder
US306846A (en) * 1884-10-21 Bell-plate and card-receiver
US127674A (en) * 1872-06-11 Improvement in cultivators
US265346A (en) * 1882-10-03 Edwaed thielb
US35066A (en) * 1862-04-22 Snow-plow
US301476A (en) * 1884-07-08 brown
US104132A (en) * 1870-06-14 Improved wood-box
US141101A (en) * 1873-07-22 Improvement in hot-air flues for heating-furnaces
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
JP3298870B2 (ja) * 1990-09-18 2002-07-08 ソニー株式会社 画像処理装置及び画像処理方法
JP3114813B2 (ja) * 1991-02-27 2000-12-04 日本電信電話株式会社 情報入力方法
JP2873338B2 (ja) * 1991-09-17 1999-03-24 富士通株式会社 動物体認識装置
JP3309421B2 (ja) * 1992-03-12 2002-07-29 ソニー株式会社 タイトル入力装置とその方法
JP3599115B2 (ja) * 1993-04-09 2004-12-08 カシオ計算機株式会社 楽器ゲーム装置
JPH06301474A (ja) * 1993-04-14 1994-10-28 Casio Comput Co Ltd 位置検出装置
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US20020126161A1 (en) * 1994-07-05 2002-09-12 Hitachi, Ltd. Information processing system
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
EP0823683B1 (en) * 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
JP3458543B2 (ja) * 1995-07-25 2003-10-20 株式会社日立製作所 手形状認識機能付き情報処理装置
JPH09128141A (ja) * 1995-11-07 1997-05-16 Sony Corp 制御装置および制御方法
JPH09237151A (ja) * 1996-03-01 1997-09-09 Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko グラフィカルユーザインタフェース
JP3257585B2 (ja) * 1996-03-29 2002-02-18 株式会社ビジュアルサイエンス研究所 空間マウスを用いた映像化装置
JPH11305895A (ja) * 1998-04-21 1999-11-05 Toshiba Corp 情報処理装置
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
FI20001429A (fi) * 2000-06-15 2001-12-16 Nokia Corp Vaihtoehdon valitseminen
JP2002306846A (ja) * 2001-04-12 2002-10-22 Saibuaasu:Kk ゲーム装置用コントローラ
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
JP2004110513A (ja) * 2002-09-19 2004-04-08 Gen Tec:Kk ポインタ移動制御システム
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) * 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
US7686692B2 (en) * 2004-05-10 2010-03-30 Sony Computer Entertainment Inc. Pattern codes used for interactive control of computer applications and video game applications
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
JP3746060B2 (ja) * 2004-07-20 2006-02-15 コナミ株式会社 ゲーム装置、コンピュータの制御方法及びプログラム
JP4419768B2 (ja) * 2004-09-21 2010-02-24 日本ビクター株式会社 電子機器の制御装置
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
EP1865404A4 (en) * 2005-03-28 2012-09-05 Panasonic Corp USER INTERFACE SYSTEM
JP2006338328A (ja) * 2005-06-02 2006-12-14 Fuji Xerox Co Ltd 操作システム、処理装置、指示装置、操作方法およびプログラム
KR100643306B1 (ko) * 2005-06-13 2006-11-10 삼성전자주식회사 리모트 컨트롤에서의 선택 위치 또는 방향과 동일한 위치또는 방향의 메뉴를 선택할 수 있는 사용자 인터페이스를제공하는 장치 및 방법
JP2007087100A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 電子機器システム
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
EP2296079A3 (en) * 2005-10-26 2011-04-13 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
US7869646B2 (en) * 2005-12-01 2011-01-11 Electronics And Telecommunications Research Institute Method for estimating three-dimensional position of human joint using sphere projecting technique
KR100682987B1 (ko) * 2005-12-08 2007-02-15 한국전자통신연구원 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그방법
US8549442B2 (en) * 2005-12-12 2013-10-01 Sony Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
WO2007097548A1 (en) * 2006-02-20 2007-08-30 Cheol Woo Kim Method and apparatus for user-interface using the hand trace
JP4621157B2 (ja) 2006-03-09 2011-01-26 富士フイルム株式会社 携帯型画像通信システムならびにそのシステムを構成する送信装置および受信装置ならびにそれらの制御方法
JP2007272488A (ja) * 2006-03-31 2007-10-18 Yokogawa Electric Corp 画像処理装置、監視カメラ及び画像監視システム
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US7979809B2 (en) * 2007-05-11 2011-07-12 Microsoft Corporation Gestured movement of object to display edge
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP5183398B2 (ja) * 2008-09-29 2013-04-17 株式会社日立製作所 入力装置
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
US8305188B2 (en) * 2009-10-07 2012-11-06 Samsung Electronics Co., Ltd. System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797284A (zh) * 2004-12-30 2006-07-05 中国科学院自动化研究所 基于玩家姿势和语音的电子游戏场景和角色控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUSAN—A New Approach to Low Level Image Processing;STEPHEN M. SMITH,J.MICHAEL BRADY;《International Journal of Computer Vision》;19971231;第23卷(第1期);第45-78页第1，2节 *

Also Published As

Publication number Publication date
JP2009075685A (ja) 2009-04-09
CN101393477B (zh) 2013-10-30
US20090073117A1 (en) 2009-03-19
JP4569613B2 (ja) 2010-10-27
EP2040156A2 (en) 2009-03-25
CN102141839A (zh) 2011-08-03
US8643598B2 (en) 2014-02-04
US20150035752A1 (en) 2015-02-05
CN101393477A (zh) 2009-03-25
US8896535B2 (en) 2014-11-25
EP2040156B1 (en) 2020-06-17
EP2040156A3 (en) 2013-01-16
US20130169537A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
CN102141839B (zh) 图像处理设备和方法
JP6153564B2 (ja) カメラとマーク出力とによるポインティング装置
CN102422306B (zh) 增强型手持式屏幕感测指针
JP5264844B2 (ja) ジェスチャ認識装置及び方法
JP4575829B2 (ja) 表示画面上位置解析装置及び表示画面上位置解析プログラム
US8884985B2 (en) Interface apparatus, method, and recording medium
US20140240225A1 (en) Method for touchless control of a device
US20150062004A1 (en) Method and System Enabling Natural User Interface Gestures with an Electronic System
US20100111441A1 (en) Methods, components, arrangements, and computer program products for handling images
US20100164864A1 (en) Direction controlling system and method of an electronic device
KR20110100582A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2012238293A (ja) 入力装置
CN108027656A (zh) 输入设备、输入方法和程序
WO2011096571A1 (ja) 入力装置
CN103327385B (zh) 基于单一图像传感器的距离识别方法及装置
JP2011188023A (ja) 情報処理装置、情報処理方法およびプログラム
KR100849532B1 (ko) 무접점 마우스 기능을 가지는 장치 및 방법
JP2014081788A (ja) ハンドジェスチャ認識装置及びその制御方法
JP2018085118A (ja) 情報処理装置、情報処理方法およびプログラム
JP2011100396A (ja) 映像表示装置
JP2011186537A (ja) 情報処理装置、情報処理方法およびプログラム
JP2017211739A (ja) ユーザインターフェース装置およびユーザインターフェースプログラム
JP6260673B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2005332061A (ja) 操作装置、操作入力端末、操作方法、および、操作プログラム
CN116185178A (zh) 一种非接触式文档演示方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150429

Termination date: 20210917