CN102207819B - 信息处理器和信息处理方法 - Google Patents

信息处理器和信息处理方法 Download PDF

Info

Publication number
CN102207819B
CN102207819B CN201110074093.9A CN201110074093A CN102207819B CN 102207819 B CN102207819 B CN 102207819B CN 201110074093 A CN201110074093 A CN 201110074093A CN 102207819 B CN102207819 B CN 102207819B
Authority
CN
China
Prior art keywords
image
finger
target device
application drawing
drawing picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110074093.9A
Other languages
English (en)
Other versions
CN102207819A (zh
Inventor
松田晃一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102207819A publication Critical patent/CN102207819A/zh
Application granted granted Critical
Publication of CN102207819B publication Critical patent/CN102207819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)
  • Studio Devices (AREA)

Abstract

公开了一种信息处理器和信息处理方法。信息处理器包括：存储部分，用于存储表示目标设备的外观特征的数据和用于目标设备的操作的操作图像的数据；获取部分，用于获取照相机拍摄的图像；识别部分，用于基于存储部分中存储的特征量数据来识别图像中包括的对象；显示控制部分，用于如果识别部分将图像中包括的对象识别为目标设备，则基于存储部分中存储的操作图像的数据来显示操作图像；手指识别单元，用于识别照相机拍摄的图像中包括的用户手指的图像内位置；以及控制单元，用于如果由手指识别单元识别的用户手指的图像内位置对应于在显示器上显示的操作图像的位置，则向目标设备发送命令，该命令用于指示要利用操作图像执行的操作。

Description

信息处理器和信息处理方法
技术领域
本发明涉及信息处理器、信息处理方法和程序，更具体地，涉及允许更容易地远程操作目标设备的信息处理器、信息处理方法和程序。
背景技术
为了操作家用电器或其他设备，通常按下在目标设备的主体上设置的开关，或者如果目标设备是照明设备则按下墙壁上的开关。此外，如果目标设备在远处，则使用遥控器来操作目标设备。
日本公开专利申请No.特开平6-153016公开了一种用于通过以下方式来远程操作目标设备的技术：以眼镜形式对观众显示操作菜单，并检测用户对操作菜单的操作。
发明内容
为了通过按下开关来操作目标设备，操作员必须移动到开关所处的位置来操作。此外，操作员必须记住每一个目标设备的开关的位置。
为了使用遥控器来操作目标设备，操作员不必移动。然而，操作员必须寻找遥控器并将遥控器握在他的或她的手中，然后寻找正确的开关(按钮)并且按下它。此外，遥控器具有不同形状。因此，操作员必须记住每一个目标设备的遥控器上的开关位置。
根据上述情况进行了本发明，并且本发明的目的是更容易地远程操作目标设备。
根据本发明的一个实施例，提供了一种信息处理器，包括存储单元、获取单元、识别单元、显示控制单元、手指识别单元和控制单元。所述存储单元存储用于表示目标设备的外观特征的数据和用于所述目标设备的操作的操作图像的数据。所述获取单元获取由照相机拍摄的图像。所述识别单元基于所述存储单元中存储的特征量数据来识别所述图像中包括的对象。如果所述识别单元将所述图像中包括的对象识别为所述目标设备，则所述显示控制单元基于所述存储单元中存储的所述操作图像的数据来显示所述操作图像。所述手指识别单元识别由所述照相机拍摄的所述图像中包括的用户的手指的图像内位置。如果由所述手指识别单元识别的所述用户的手指的图像内位置对应于在所述显示器上显示的所述操作图像的位置，则所述控制单元向所述目标设备发送命令。所述命令指示要利用所述操作图像执行的操作。
所述显示控制单元可以在显示器的与所述图像中包括的目标设备的图像内位置对应的位置上显示所述操作图像。
所述手指识别单元可以进一步识别所述图像中包括的所述用户的手指的图像内大小。当所述图像中的所述用户的手指位于与在所述显示器上显示的所述操作图像的位置对应的位置上，并且在该位置上所述用户的手指的图像内大小在变得比紧接着的之前小之后再一次变大时，所述控制单元可以发送所述命令。
所述手指识别单元可以进一步识别所述图像中包括的所述用户的手指的图像内大小。当所述图像中的所述用户的手指位于与在所述显示器上显示的操作图像的位置对应的位置上，并且在该位置上所述用户的手指的图像内大小变得比紧接着的之前小时，所述控制单元可以发送所述命令。
所述信息处理器可以进一步包括设置信息存储单元，所述设置信息存储单元用于存储设置信息，所述设置信息用于表示与所述操作图像的显示相关的设置的细节。在该情况下，所述显示控制单元可以根据所述设置信息的所述细节来控制所述操作图像的显示。
根据本发明的另一个实施例，提供了一种信息处理方法，包括以下步骤：存储用于表示目标设备的外观特征的数据和用于所述目标设备的操作的操作图像的数据；获取由照相机拍摄的图像；基于所存储的特征量数据来识别所述图像中包括的对象；如果将所述图像中包括的对象识别为所述目标设备，则基于所存储的所述操作图像的数据来显示所述操作图像；识别由所述照相机拍摄的所述图像中包括的用户的手指的图像内位置；以及如果所识别的所述用户的手指的图像内位置对应于所述操作图像的位置，则向所述目标设备发送命令，所述命令用于指示要利用所述操作图像执行的操作。
根据本发明的另一个实施例，提供了一种程序，用于使得计算机执行处理，所述处理包括以下步骤：存储用于表示目标设备的外观特征的数据和用于所述目标设备的操作的操作图像的数据；获取由照相机拍摄的图像；基于存储单元中存储的特征量数据来识别所述图像中包括的对象；以及如果识别单元将所述图像中包括的所述对象识别为所述目标设备，则基于所述存储单元中存储的所述操作图像的数据来显示所述操作图像。
在本发明的模式中，存储用于表示目标设备的外观特征的数据和用于所述目标设备的操作的操作图像的数据。获取由照相机拍摄的图像。基于存储单元中存储的特征量数据来识别所述图像中包括的对象。如果识别单元将所述图像中包括的对象识别为所述目标设备，则基于所述存储单元中存储的所述操作图像的数据来显示所述操作图像。
本发明允许更容易地远程操作目标设备。
附图说明
图1是图示根据本发明的一个实施例的使用信息处理器的MR系统的外观的示例的图；
图2是图示佩带HMD2的用户看到的内容示例的一组图；
图3是图示当用户操作按钮时他或她看到的内容示例的一组图；
图4是图示操作图像的显示的示例的一组图；
图5是图示信息处理器的硬件配置的示例的框图；
图6是图示信息处理器的功能配置的示例的框图；
图7是描述对象识别的图；
图8是描述由信息处理器执行的操作图像显示处理的流程图；
图9是描述操作图像的显示位置的一组图；
图10是描述由信息处理器执行的控制处理的流程图；
图11是接图10的用于描述由信息处理器执行的控制处理的流程图；
图12A和12B是图示手指大小改变的示例的图；
图13是描述由目标设备执行的处理的流程图；
图14是图示信息处理器的功能配置的另一个示例的框图；
图15是图示操作图像的显示的示例的一组图；
图16是图示操作图像的显示的另一个示例的一组图；
图17是图示不同类型的HMD的外观的示例的图；
图18是图示PDA(个人数字助理)的外观的示例的图；以及
图19是图示PDA的外观的另一个示例的图。
具体实施方式
＜第一实施例＞
[MR(混合现实)系统]
图1是图示根据本发明的一个实施例的使用信息处理器的MR系统的外观的示例的图。
如图1中所示，用户U携带作为便携式计算机的信息处理器1。用户U还佩带头戴式显示器(HMD)2。信息处理器1和HMD2可以以有线或无线方式来彼此通信。
HMD2具有照相机11和显示器12。
照相机11被附接到它可以拍摄到在佩带HMD2的用户U前方的场景的位置。照相机11的拍摄范围包括用户U的视线。由照相机11拍摄的图像被发送到信息处理器1。照相机11继续以预定的帧速率来拍摄图像(运动图像)。这允许由用户U看到的场景的图像被提供给信息处理器1。
显示器12被附接到佩带HMD2的用户U的眼睛的前方。显示器12包括透明构件，并且基于从信息处理器1发送的数据来显示例如图像。用户U可以看到在显示器12之外的场景。用户U也可以看到在显示器12上显示的图像。
例如，由用户U携带的信息处理器1识别由用户U看到的对象，以基于由照相机11拍摄的图像来确定对象是什么。信息处理器1存储对象识别数据，该对象识别数据用于识别由用户U看到的对象。对象识别数据包括用于表示从目标设备21的外观图像提取的目标设备21的外观特征的数据。
也就是说，照相机11拍摄的图像包括用户U的视线。因此，在假定由照相机11拍摄的图像中包括的对象是由用户U看到的对象的情况下，进行对象识别。
此外，如果信息处理器1检测到用户U正在看目标设备21，则基于目标设备21的GUI(图形用户界面)数据来在显示器12上显示操作图像比如按钮。信息处理器1存储与包括目标设备21在内的各个设备相关联的GUI数据。该GUI数据被设计用于显示用于设备的操作的操作图像。
图2是图示佩带HMD2的用户看到的内容的示例的一组图。
在图2中所示的示例中，通过框来包围用户U的视野。然而，事实上，用户U看到比在图2中所示的场景更宽的场景。
如在图2的左图中所示，目标设备21位于相对于用户U略有距离的桌子上。在刚看到目标设备21之后，用户U仅看到在显示器12之外的他或她前方的场景，因为在显示器12上未显示图像。照相机11拍摄如图2的左图中图示的场景。
如果基于由照相机11拍摄的图像检测到用户U正在看目标设备21，则在显示器12上显示用于目标设备21的操作的操作图像。在由轮廓线勾勒出的箭头#1指向的图中图示当在显示器12上示出操作图像时用户U看到的内容。
在图2中所示的示例中，操作图像G包括接通(ON)按钮和关断(OFF)按钮。接通按钮被操作来接通电源。关断按钮被操作来关断电源。以相同的颜色来显示接通和关断按钮的图像。
以预定的透明度来在显示器12上显示操作图像G。显示器12的显示表面比目标设备21更接近眼睛位置。因此，就用户U看到的内容而言，操作图像G看起来好像按钮位于比目标设备21更在前的位置。在显示器12的位置上显示操作图像G，在所述位置，图像G看起来与目标设备21交叠。
如果在该条件下用户U在看目标设备21的同时移动，则操作图像G保持与用户U面对面而不改变其形状或方位，并且响应于用户看到的内容的改变而显示在不同位置，以便看起来与目标设备21交叠。在轮廓线勾勒的箭头#2指向的图中图示当从不同角度着目标设备21时用户U看到的内容。
用户U可以通过虚拟地按下如上所述的在显示器12上所示的操作图像G中的按钮来操作目标设备21。
图3是图示当用户操作按钮时他或她看到的内容的示例的一组图。
信息处理器1能够识别用户U的手指。例如，如果用户U进行比如如图3的左图中所示的将他的或她的手指放在操作图像G中的接通按钮上并按下同一按钮的动作，则信息处理器1确定已经按下了接通按钮。信息处理器1控制操作图像G的显示，使得接通按钮改变颜色，如由箭头#11指向的图中所示。在图3的右图中所示的操作图像G中的接通按钮被加阴影，以指示该按钮已经改变了颜色。
应当注意，显示器12的显示表面比用户U的手指更接近眼睛位置。因此，事实上，用户U的手指未放在按钮上。
如下所述，当由照相机11拍摄的图像中的手指位置对应于按钮在显示器12上显示的位置时，信息处理器1确定用户的手指放在按钮上。此外，如果在该条件下由照相机11拍摄的图像中的手指的大小变小，则信息处理器1确定按钮已经被按下。
当确定按钮已经被按下时，信息处理器1通过无线通信来向目标设备21发送命令，以指示向按钮分配的处理的执行。响应于该命令，目标设备21执行适合于该命令的处理。
这使得即使设备位于远处，用户U也能通过看该设备来显示用于操作该设备的按钮。此外，用户U可以使用所显示的按钮来操作该设备。也就是说，用户U可以容易地操作该设备，而不用看用于操作该设备的开关或者将遥控器握在他的或她的手中。
只要可以获得用于对象识别的识别数据和GUI数据，就可以操作任何种类的设备。
图4是图示用于嵌入在房间天花板中的照明设备的操作的操作图像的显示示例的一组图，所述照明设备不同于目标设备21。
下面将描述在信息处理器1中可以获得用于图4的左图中所示的照明设备22-1至22-3的识别数据和GUI数据的情况。照明设备22-1至22-3具有例如相同的产品编号。如果目标设备的类型相同，则仅需要一组识别数据和GUI数据。
当基于由照相机11拍摄的图像确定用户U正在看照明设备22-1至22-3时，操作图像G1至G3被显示为使得与照明设备22-1至22-3交叠，如箭头#21指向的图中所示。
操作图像可以根据目标设备和用户U之间的距离而改变大小。在图4中所示的示例中，用于照明设备22-1的操作图像G1被显示得大于分别用于距离用户U更远的照明设备22-2至22-3的操作的操作图像G2和G3。
用户U可以通过虚拟地按下操作图像G1中的按钮来操作照明设备22-1。类似地，用户U可以通过虚拟地按下操作图像G2中的按钮来操作照明设备22-2。仍然类似地，用户U可以通过虚拟地按下操作图像G3中的按钮来操作照明设备22-3。
下面将描述由信息处理器1执行以便如上所述地显示操作图像并控制目标设备的一系列处理。
[信息处理器的配置]
图5是图示信息处理器1的硬件配置示例的框图。
CPU(中央处理单元)31、ROM(只读存储器)32和RAM(随机存取存储器)33经由总线34彼此连接。
输入/输出接口35也连接到总线34。输入部分36、输出部分37、存储部分38、通信部分39和驱动器40连接到输入/输出接口35。
输入部分36与HMD2进行通信，并接收由HMD2的照相机11拍摄的图像。
输出部分37向HMD2发送显示数据，并在显示器12上显示操作图像。
存储部分38包括例如硬盘或非易失性存储器，并存储用于目标设备的识别数据和GUI数据。
通信部分39包括例如网络接口，比如无线LAN(局域网)模块，并与经由网络连接的服务器进行通信。在存储部分38中存储的用于目标设备的识别数据和GUI数据例如被从服务器下载，并被提供到信息处理器1。
驱动器40从安装在驱动器40中的可拆卸介质41读取数据，并向可拆卸介质41写入数据。
图6是图示信息处理器1的功能配置示例的框图。
在信息处理器1中实现图像获取部分51、识别部分52、显示控制部分53、模型数据存储部分54、GUI数据存储部分55、通信控制部分56、手指识别部分57、手指数据存储部分58、设备控制部分59和设备信息存储部分60。
图6中所示的部分的至少一些被实现为由图5中所示的CPU31执行预定程序的结果。模型数据存储部分54、GUI数据存储部分55、手指数据存储部分58和设备信息存储部分60例如形成为存储部分38。
图像获取部分51获取已经被输入部分36接收的、由照相机11拍摄的图像。图像获取部分51向识别部分52和手指识别部分57输出所获取的图像。
识别部分52从图像获取部分51接收图像作为查询图像，并基于模型数据存储部分54中存储的模型数据来识别包括在所述图像中的对象。模型数据存储部分54存储用于表示从包括目标设备的外观的图像中提取的目标设备的特征的数据。下面将描述由识别部分52执行的对象识别。
识别部分52向显示控制部分53输出例如所识别的对象(目标设备)的ID以及用于表示所识别的对象与照相机11(用户U)之间的相对位置关系的姿势信息，作为识别结果。例如，基于姿势信息来识别用户U相对于所识别的目标设备的距离和方向。目标设备的ID也被提供给设备控制部分59。
显示控制部分53从GUI数据存储部分55读取GUI数据。GUI数据与从识别部分52提供的ID相关联。此外，显示控制部分53控制图5中所示的输出部分37来向HMD2发送GUI数据，以便在显示器12上显示操作图像。GUI数据存储部分55将目标设备的ID和GUI数据彼此相关联地存储。从显示控制部分53输出的GUI数据也被提供给手指识别部分57。
此外，如果响应于在显示器12上显示的按钮的按下来从手指识别部分57提供按钮ID，则显示控制部分53例如通过改变被按下的按钮的颜色来控制操作图像的显示。
通信控制部分56控制通信部分39来与服务器71进行通信，并下载用于目标设备识别的模型数据和用于目标设备的GUI数据。服务器71例如由制造和销售目标设备的制造商管理，并具有用于模型数据和GUI数据的数据库。通信控制部分56在模型数据存储部分54中存储所下载的模型数据，并在GUI数据存储部分55中存储所下载的GUI数据。
手指识别部分57基于存储在手指数据存储部分58中的数据来识别包括在从图像获取部分51提供的图像中的用户U的手指的位置和大小。手指数据存储部分58将诸如手指颜色和轮廓的信息存储为手指识别数据。
当基于所识别的用户U的手指的位置和大小确定已经按下在显示器12上显示的按钮时，手指识别部分57向显示控制部分53和设备控制部分59输出按钮ID，即已经按下的按钮的标识信息。作为操作图像显示的按钮中的每一个都被分配ID。基于从显示控制部分53提供的GUI数据来识别每一个按钮显示在显示器12上的位置。
当从手指识别部分57提供了按钮ID时，设备控制部分59从设备信息存储部分60读取命令。这个命令指示向被按下的按钮分配的处理的执行。设备信息存储部分60将目标设备的ID和与目标设备相关的信息彼此相关联地存储，与目标设备相关的信息例如是命令和网络地址。
设备控制部分59例如控制通信部分39来与目标设备21进行通信，并向目标设备21发送从设备信息存储部分60读取的命令。
如图6中所示，在目标设备21中实现通信控制部分81和控制部分82。
通信控制部分81从信息处理器1接收命令，并向控制部分82输出所述命令。
控制部分82根据从通信控制部分81提供的命令来控制目标设备21的各个部分去执行由所述命令指示了其执行的处理。
图7是描述对象(目标设备)识别的图。
在识别部分52使用的算法中有RandomizedFern和SIFT(尺度不变特征变换)。在“FastKeypointRecognitionusingRandomFernsMustafaOzuysal，MichaelCalonder，VincentLePetiteandPascalFuaEcolePolytechniqueFederaledeLausanne(EPEL)ComputerVisionLaboratory，&CFacultyCH-1015Lausanne，Switzerland”中公开了RandomizedFern。一方面，在“DistinctiveImageFeaturesfromScale-InvariantKeypointsDavidG.LoweJanuary5，2004”中公开了SIFT。
如图7中所示，在作为学习设备的服务器71中实现图像处理部分91、特征点检测部分92、特征量提取部分93和组合部分94。图7中所示的所有部分被实现为由服务器71的CPU执行预定程序的结果。服务器71还包括如图5中所示的计算机。
图像处理部分91向模型图像应用仿射变换或其他处理，并将结果产生的模型图像输出到特征点检测部分92。每一个目标设备的外观图像作为模型图像被顺序地提供到图像处理部分91。模型图像也被提供到特征量提取部分93。
特征点检测部分92将从图像处理部分91提供的模型图像中的点确定为模型特征点，并向特征量提取部分93输出用于表示模型特征点的位置的信息。
特征量提取部分93从构成模型图像的像素中提取位置对应于模型特征点的位置的像素的信息，作为模型特征量。由特征量提取部分93提取的模型特征量数据与包括在从中提取特征量的模型图像中的目标设备的ID相关联地被登记在模型词典D1中。模型词典D1包括将目标设备的ID与从包括目标设备的图像中提取的每一个模型特征点的模型特征量数据相关联的数据。
此外，特征量提取部分93向组合部分94输出所提取的模型特征量数据。
组合部分94将输入的三维模型数据和从特征量提取部分93提供的模型特征量数据组合。用于表示与每一个目标设备对应的三维形式的数据作为三维模型数据被输入到组合部分94。
例如，组合部分94基于三维模型数据来计算当从各个角度看目标设备时每一个模型特征点在三维模型上的位置。组合部分94向计算出的模型特征点的位置中的每一个分配模型特征量数据，从而将三维模型数据与模型特征量数据组合，并产生三维模型数据D2。
由组合部分94产生的模型词典D1和三维模型数据D2被提供到信息处理器1，并被存储在模型数据存储部分54中。
如图7中所示，识别部分52包括图像处理单元101、特征点检测单元102、特征量提取单元103、匹配单元104和姿势估计单元105。由照相机11拍摄并且由图像获取部分51获取的图像作为查询图像被提供到图像处理单元101。该查询图像还被提供到特征量提取单元103。
图像处理单元101象图像处理部分91所做的那样向查询图像应用仿射变换或其他处理，并将结果产生的查询图像输出到特征点检测单元102。
特征点检测单元102将从图像处理单元101提供的查询图像中的点确定为查询特征点，并向特征量提取单元103输出用于表示查询特征点的位置的信息。
特征量提取单元103从构成查询图像的像素中提取位置与查询特征点的位置对应的像素的信息，作为查询特征量。特征量提取单元103向匹配单元104输出所提取的查询特征量数据。
匹配单元104基于包括在模型词典D1中的特征量数据来执行K-NN搜索或其他最邻近搜索，从而确定最接近每一个查询特征点的模型特征点。匹配单元104例如基于最接近查询特征点的模型特征点的数量来选择具有最大数量的最接近模型特征点的目标设备。匹配单元104输出所选择的目标设备的ID作为识别结果。
从匹配单元104输出的目标设备的ID不仅被提供到图6中所示的显示控制部分53和设备控制部分59，而且还被提供到姿势估计单元105。姿势估计单元105还被提供用于表示每一个查询特征点的位置的信息。
姿势估计单元105从模型数据存储部分54读取由匹配单元104识别的目标设备的三维模型数据D2。姿势估计单元105基于三维模型数据D2来识别最接近每一个查询特征点的模型特征点在三维模型上的位置。姿势估计单元105输出用于表示目标设备与用户U之间的位置关系的姿势信息。
如果能够识别与从照相机11拍摄的查询图像检测出的每一个查询特征点最接近的模型特征点在三维模型上的位置，则有可能确定从目标设备的哪个位置拍摄到查询图像，所述位置即用户U所处的位置。
此外，如果将包括在图像中的目标设备的大小和相对于该目标设备的距离预先关联，则有可能基于包括在由照相机11拍摄的查询图像中的目标设备的大小来确定从目标设备到用户U的距离。
如上所述地识别用户U所看的目标设备与用户U之间的相对位置关系。
三维模型数据D2包含当从各个角度看目标设备时获得的每个模型特征点的信息。使用三维模型数据D2的对象识别使得有可能通过使用图像作为查询图像来识别在该图像中包括的目标设备，而不论目标设备的图像是从哪个方向拍摄的。
应当注意，不仅由单目照相机拍摄的图像可以用作用于对象识别的查询图像，而且由立体照相机拍摄的图像也可以用作用于对象识别的查询图像。
[信息处理器的操作]
在此参考在图8中所示的流程图来描述由信息处理器1执行的用于显示操作图像的处理。例如在照相机11拍摄图像期间重复图8中所示的处理。
在步骤S1中，图像获取部分51获取由照相机11拍摄的图像。
在步骤S2中，识别部分52在由图像获取部分51获取的图像中执行对象识别。
在步骤S3中，确定在由照相机11拍摄的图像中是否包括目标设备，即用户U是否在看目标设备。
如果在步骤S3中确定用户U不在看目标设备，则显示控制部分53在步骤S4中确定操作图像是否显示在显示器12上。
如果在步骤S4中确定操作图像显示在显示器12上，则显示控制部分53停止显示操作图像。当停止操作图像的显示时，或当在步骤S4中确定未显示操作图像时，处理返回到步骤S1，以重复随后的处理步骤。
另一方面，当在步骤S3中确定用户U在看目标设备时，设备控制部分59在步骤S6中确定是否可获得用户U正在看的目标设备的网络地址。当在步骤S3中确定用户U在看目标设备时，识别部分52向设备控制部分59提供目标设备的ID。设备控制部分59搜索设备信息存储部分60，从而验证是否与目标设备的ID相关联地存储了网络地址。
如果在步骤S6中确定不可获得目标设备的网络地址，则设备控制部分59控制通信部分39例如在步骤S7中向未示出的路由器设备发起查询，从而获取目标设备的网络地址。设备控制部分59将所获取的网络地址与目标设备的ID相关联地存储在设备信息存储部分60中。网络地址用于通过网络向目标设备发送命令。
当由于用户U在看的目标设备的网络地址已经存储在设备信息存储部分60中，因此在步骤S6中确定可获得该网络地址时，跳过步骤S7中的处理步骤。
显示控制部分53在步骤S8中确定用户U在看的目标设备的操作图像是否显示在显示器12上。
如果在步骤S8中确定未显示目标设备的操作图像，则显示控制部分53从GUI数据存储部分55中读取目标设备的GUI数据，并在显示器12上显示操作图像。根据照相机11的位置和目标设备的姿势在显示器12上将操作图像显示为面对用户U。
另一方面，当在步骤S8中确定显示了目标设备的操作图像时，显示控制部分53在步骤S10中根据照相机11的当前位置和目标设备的当前姿势来改变在显示器12上的操作图像的显示位置。
当在步骤S9开始操作图像的显示时，或者当在步骤S10中改变了操作图像的显示位置时，处理返回到步骤S1，以重复随后的处理步骤。
图9是用于描述操作图像的显示位置的一组图。
图9的顶部图像由照相机11拍摄，并包括目标设备21。图像中的目标设备21的位置(例如，目标设备21的区域的中心位置)由位置p1表示。
图9的中间图像示出显示器12的显示区域。构成显示器12的显示区域的每一个像素的位置与照相机11拍摄的图像的像素之一的位置相关联。操作图像G被显示为使得例如操作图像G的中心匹配位置p11。位置p11是目标设备21在显示器12上的位置，并且对应于位置p1，所述位置p1是目标设备21在照相机11拍摄的图像中的位置。
结果，当被用户U看时，操作图像G看起来与目标设备21交叠，如在图9的底部图像中所示。
如果目标设备21的位置和姿势响应于用户U的移动而在照相机11拍摄的图像中移动，则操作图像G的显示被更新，使得例如操作图像G的中心继续匹配目标设备21在显示器12上的位置，该位置对应于目标设备21在图像中的位置。
接下来，将参考在图10和11中所示的流程图来描述由信息处理器1执行的用于控制目标设备的处理。例如，当在显示器12上显示操作图像时，重复图10和11中所示的处理。
在步骤S21中，手指识别部分57从手指数据存储部分58清除按钮ID和手指大小信息，并将按下标记设置为假以便初始化。
按钮ID是向在显示器12上显示的作为操作图像的按钮分配的ID。在手指数据存储部分58中存储例如用户U的手指所放在的按钮的ID。
手指大小信息表示包括在由照相机11拍摄的图像中的手指的大小。例如，通过在由照相机11拍摄的图像中包括的手指区域中的像素数来表示手指大小。
按下标记表示用户U是否正在使用他的或她的手指来按下按钮。按下标记被设置为真的情况指示正在按下按钮。另一方面，按下标记被设置为假的情况表示按钮未被按下。
在步骤S22中，图像获取部分51获取由照相机11拍摄的图像。
在步骤S23中，手指识别部分57基于从图像获取部分51提供的图像来识别用户U的手指的位置。手指识别部分57确定手指是否放在作为操作图像显示的按钮中的任何一个上。
例如，当与由照相机11拍摄的图像中的手指位置对应的、在显示器12上的手指位置(例如，指尖)位于按钮的显示区域内时，确定手指位于按钮中的任何一个上。
如果在步骤S23中确定手指未放在按钮中的任何一个上，则处理返回到步骤S22，以重复随后的处理步骤。
另一方面，当在步骤S23中确定手指放在按钮中的任何一个上时，手指识别部分57在步骤S24中确定手指所放在的按钮的ID是否存储在手指数据存储部分58中。
如果在步骤S24中确定手指所放在的按钮的ID未存储在手指数据存储部分58中，则手指识别部分57在步骤S25中确定按下标记是否被设置为真。
如果在步骤S25中确定按下标记被设置为真，则处理返回到步骤S21，以重复随后的处理步骤。如果作为在按下按钮后向侧面滑动手指的结果，恰好在所述确定之前手指所放在的并被按下的按钮与手指正放在的按钮不同，则确定按下标记被设置为真。
当因为按下标记被设置为假导致手指识别部分57在步骤S25中确定按下标记未被设置为真时，手指识别部分57在步骤S26中将手指所放在的按钮的ID存储在手指数据存储部分58中。
当在步骤S24中确定在手指数据存储部分58中存储了手指所放在的按钮的ID时，跳过在步骤S25和S26中的处理步骤。
在步骤S27中，手指识别部分57基于由照相机11拍摄的图像中包括的手指区域中的像素数和其他数据来计算手指大小。
在步骤S28中，手指识别部分57确定是否在手指数据存储部分58中存储了手指大小信息。
如果在步骤S28中确定在手指数据存储部分58中未存储手指大小信息，则手指识别部分57在手指数据存储部分58中存储用于表示在步骤S27中计算出的大小的手指大小信息。然后，处理返回到步骤S22以重复随后的处理步骤。
另一方面，当在步骤S28中确定在手指数据存储部分58中存储了手指大小信息时，手指识别部分57在步骤S30中计算由手指数据存储部分58中存储的手指大小信息表示的大小和所计算出的大小的差。
手指数据存储部分58中存储的手指大小信息表示从由照相机11较早拍摄的图像计算的手指大小。另一方面，在步骤S27中计算出的大小表示从由照相机11较晚(当前)拍摄的图像计算的手指大小。
因此，较早和较晚手指大小的差是正值的情况表示手指大小在由照相机11拍摄的图像中变小，如图12A中所示，即用户U按下了按钮。
另一方面，较早和较晚手指大小的差是负值的情况表示手指大小在由照相机11拍摄的图像中变大，如图12B中所示，即用户U将按钮从按钮的按下位置释放。以下，根据情况，将较早和较晚手指大小的差称为手指大小差。
返回来参见图11的描述，手指识别部分57在步骤S31中确定在步骤S30中计算的手指大小差是否是正的并且大于阈值。
当在步骤S31中确定手指大小差是正的并且大于阈值时，手指识别部分57在步骤S32中将按下标记设置为真。当将按钮按下阈值那么多或超过阈值时，按下标记被设置为真。然后，处理返回到步骤S22，以重复随后的处理步骤。
另一方面，当在步骤S31中确定手指大小差是负的、或虽然是正的但是小于阈值时，手指识别部分57在步骤S33中确定手指大小差是否是负的以及手指大小差的绝对值是否大于阈值。
当在步骤S33中确定手指大小差是负的并且手指大小差的绝对值大于阈值时，手指识别部分57确定按下标记是否被设置为真。
当在步骤S34中确定按下标记被设置为真时，设备控制部分59在步骤S35中从设备信息存储部分60读取命令。该命令指示被分配到由按钮ID标识的按钮的处理的执行。当在步骤S34中确定按下标记被设置为真时，在手指数据存储部分58中存储的按钮ID被提供到设备控制部分59。此外，设备控制部分59向目标设备21发送从设备信息存储部分60读取的命令。
当在已经通过放在按钮上的手指按下按钮之后将按钮从按下位置释放阈值那么多或超过阈值时，确定手指大小差是负的，手指大小差的绝对值大于阈值，并且按下标记被设置为真。
在概念上讲，当在已经虚拟地按下按钮之后释放按钮时发送命令。可以仅当虚拟地按下了按钮时就发送命令。
如果在步骤S35中发送命令，则处理返回到步骤S22，以执行随后的处理步骤。如果在步骤S33中确定手指大小差是负的并且手指大小差的绝对值不大于阈值，或者如果在步骤S34中确定按下标记未被设置为真，则执行从步骤S22起和步骤S22以外的处理步骤。
接下来，将参考图13中所示的流程图来描述由目标设备21执行的用于从信息处理器1接收命令的处理。
在步骤S51中，目标设备21的通信控制部分81从信息处理器1接收命令。由通信控制部分81接收的命令被提供到控制部分82。
在步骤S52中，控制部分82确定从信息处理器1发送的命令是否是可执行的。
如果在步骤S52中确定所述命令不是可执行的，则控制部分82在步骤S53中控制通信控制部分81来向信息处理器1发送信息，以通知所述命令不是可执行的。
另一方面，当在步骤S52中确定所述命令是可执行的，则控制部分82在步骤S54中执行所述命令以执行适当的处理。例如，当响应于按下图3中所示的接通按钮而从信息处理器1发送命令时，作为适合于该命令的处理，目标设备21的电源被接通以便启动。
上面的处理使得用户U有可能更容易地远程操作目标设备。
[修改示例]
可以根据用户U的偏好来定制操作图像的显示。
图14是图示信息处理器1的功能配置的另一个示例的框图。
在图14中，通过相同的附图标记来表示与图6中所示的那些部分相似的部分，并且，根据情况省略描述以避免冗长。图14中所示的配置与图6中所示的配置的不同之处在于：增加了设置信息存储部分61。
设置信息存储部分61存储设置信息，所述设置信息表示已经由用户U输入的与操作图像的显示相关的设置的细节。象如上所述的按钮的操作那样，也例如通过使用虚拟按钮来进行与操作图像的显示相关的设置的输入。
例如，在设置信息存储部分61中存储作为操作图像显示的按钮的大小、颜色和布置位置。
为了显示操作图像，显示控制部分53从设置信息存储部分61中读取设置信息，并根据由已经读取的设置信息表示的设置来显示操作图像。
这允许用户U以他的或她偏好的大小和颜色来显示按钮。
此外，可以改变在按钮上显示的文本或符号的大小。例如，用于儿童或老人的文本或符号被显示得比用于其他年龄组的人的文本或符号大。在这种情况下，用户预先指定文本或符号将被显示的大小。
或者，按钮上显示的内容可以改变。虽然在图4中所示的示例中在操作图像G1至G3中显示文本“接通(ON)”和“关断(OFF)”，但是可以取而代之显示文本“接通灯”和“关断灯”。
此外，如果在信息处理器1中可获得与同一设备相关联的多个不同的操作图像，则用户能够指定要显示哪个操作图像。例如，用户能够指定用于显示简单操作图像或复杂图像的设置，所述简单操作图像仅包括接通和关断按钮，所述复杂图像允许目标设备的复杂操作。
图15和16是图示照明设备22-1至22-3的操作图像的示例的图。
例如，如果对于操作图像G1至G3可获得两个数据，一个如图15中右侧所示，另一个如图16中右侧所示，则根据用户设置来切换照明设备22-1至22-3的操作图像。这允许用户使用他或她偏好的操作图像来操作目标设备。
虽然以上描述了从服务器71下载用于目标设备的识别数据，但是也可以由信息处理器1使用由照相机11捕获的图像作为模型图像来产生识别数据。
可以在用户到用户或终端到终端的基础上定制用于如上所述地设定显示的菜单显示本身。
另一方面，上面已经描述了HMD2是具有透射显示器12的所谓的透光型HMD的情况。然而，替代地，也可以使用视频透射型HMD。
图17是图示视频透射型HMD的外观示例的图。
视频透射型HMD2例如具有眼镜的形式。当戴上HMD2时，在用户U前方出现由附接为从HMD2面向前的照相机11所拍摄的图像。此外，一个或多个操作图像看起来与由照相机11拍摄的图像中包括的一个或多个目标设备重叠，如上所述。
可以通过假图像投影来完成由照相机11拍摄的图像和操作图像的显示，假图像投影包括使用半反射镜或用于由用户识别图像的其他设备形成假图像。或者，可以通过视网膜投影来完成图像的显示，所述视网膜投影包括直接在视网膜上形成图像。
＜第二实施例＞
图18是图示PDA的外观示例的图。
图18中所示的PDA101具有与信息处理器1类似的能力。如图19中所示的照相机111被设置在PDA101的背部。由照相机111拍摄的图像出现在PDA101的外壳的前部设置的显示器112上。在显示器112上层压了例如触摸板。
例如，如果用户U在他的或她的手中拿着PDA101并将照相机111瞄准为使得在拍摄范围内包括目标设备，则在显示器112上显示目标设备，并且基于由照相机111拍摄的图像来执行对象识别。照相机111可以是立体照相机而不是单目照相机。此外，照相机111不一定被直接地设置在PDA101上。相反，照相机111可以被设置在具有与PDA101不同的外壳的设备上。在这种情况下，由照相机111拍摄的图像通过有线或无线通信被传送到PDA101。
另一方面，当检测到目标设备被包括在由照相机111拍摄的图像中时，目标设备的操作图像看起来与显示器112上显示的目标设备交叠。例如，如参考图2和4所述，在显示器112上显示一个或多个操作图像。用户U可以通过直接使用手指按下显示器112上显示的操作图像来操作目标设备。
＜程序＞
应当注意，可以通过硬件或软件来执行上述系列处理。如果通过软件来执行所述系列处理，则从程序记录介质向包含在专用硬件中的计算机、通用个人计算机或其他计算机安装构成该软件的程序。
要安装的程序被提供和记录在如图5中所示的可拆卸介质41上，所述可拆卸介质41比如是光盘(例如，CD-ROM(致密盘-只读存储器)、DVD(数字通用盘))或半导体存储器。或者，可以经由诸如局域网、因特网或数字广播等有线或无线传输介质来提供程序。可以将程序预先安装到ROM32或存储部分38。
由计算机执行的程序可以不仅包括根据所述顺序按照时间执行的处理，而且包括并行地被执行或者当必要时被执行(比如调用)的处理。
本发明的实施例不限于如上所述的那些，而是可以在不背离本发明的精神和范围的情况下以各种方式被修改。
本申请包含与2010年3月29日在日本专利局提交的日本优先权专利申请JP2010-076301中公开的主题相关的主题，所述日本优先权专利申请的整体内容通过引用合并于此。
本领域内的技术人员应当明白，可以根据设计要求和其他因素来进行各种修改、组合、子组合和变更，只要所述修改、组合、子组合和变更在所附的权利要求或其等同内容的范围内。

Claims (6)

1.一种信息处理器，包括：
存储单元，用于存储用于表示目标设备的外观特征的数据和用于所述目标设备的操作的操作图像的数据；
获取单元，用于获取由照相机拍摄的图像；
识别单元，用于基于所述存储单元中存储的特征量数据来识别所述图像中包括的对象；
显示控制单元，用于如果所述识别单元将所述图像中包括的对象识别为所述目标设备，则基于所述存储单元中存储的所述操作图像的数据来显示所述操作图像；
手指识别单元，用于识别由所述照相机拍摄的所述图像中包括的用户的手指的图像内位置；以及
控制单元，用于如果由所述手指识别单元识别的所述用户的手指的图像内位置对应于在所述显示器上显示的所述操作图像的位置，则向所述目标设备发送命令，所述命令用于指示要利用所述操作图像执行的操作。
2.根据权利要求1所述的信息处理器，其中，
所述显示控制单元在显示器的与所述图像中包括的所述目标设备的图像内位置对应的位置上显示所述操作图像。
3.根据权利要求1所述的信息处理器，其中，
所述手指识别单元进一步识别所述图像中包括的所述用户的手指的图像内大小，以及
当所述图像中的所述用户的手指位于与所述显示器上显示的所述操作图像的位置对应的位置上，并且在该位置上所述用户的手指的图像内大小在变得比前一刻小之后再一次变大时，所述控制单元发送所述命令。
4.根据权利要求1所述的信息处理器，其中，
所述手指识别单元进一步识别所述图像中包括的所述用户的手指的图像内大小，以及
当所述图像中的所述用户的手指位于与在所述显示器上显示的所述操作图像的位置对应的位置上，并且在该位置上所述用户的手指的图像内大小变得比前一刻小时，所述控制单元发送所述命令。
5.根据权利要求1所述的信息处理器，进一步包括：
设置信息存储单元，用于存储设置信息，所述设置信息表示与所述操作图像的显示相关的设置的细节，其中，
所述显示控制单元根据所述设置信息的所述细节来控制所述操作图像的显示。
6.一种信息处理方法，包括以下步骤：
存储用于表示目标设备的外观特征的数据和用于所述目标设备的操作的操作图像的数据；
获取由照相机拍摄的图像；
基于所存储的特征量数据来识别所述图像中包括的对象；
如果将所述图像中包括的对象识别为所述目标设备，则基于所存储的所述操作图像的数据来显示所述操作图像；
识别由所述照相机拍摄的所述图像中包括的用户的手指的图像内位置；以及
如果所识别的所述用户的手指的图像内位置对应于所述操作图像的位置，则向所述目标设备发送命令，所述命令用于指示要利用所述操作图像执行的操作。
CN201110074093.9A 2010-03-29 2011-03-22 信息处理器和信息处理方法 Active CN102207819B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010076301A JP5743416B2 (ja) 2010-03-29 2010-03-29 情報処理装置、情報処理方法、およびプログラム
JP2010-076301 2010-03-29

Publications (2)

Publication Number Publication Date
CN102207819A CN102207819A (zh) 2011-10-05
CN102207819B true CN102207819B (zh) 2016-01-20

Family

ID=44484929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110074093.9A Active CN102207819B (zh) 2010-03-29 2011-03-22 信息处理器和信息处理方法

Country Status (5)

Country Link
US (2) US9058057B2 (zh)
EP (1) EP2372495B1 (zh)
JP (1) JP5743416B2 (zh)
KR (1) KR20110109883A (zh)
CN (1) CN102207819B (zh)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5731272B2 (ja) * 2011-05-09 2015-06-10 双葉電子工業株式会社 被操縦体の無線操縦装置
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP5780142B2 (ja) 2011-12-07 2015-09-16 富士通株式会社 画像処理装置、画像処理方法
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9674264B2 (en) 2012-03-12 2017-06-06 Ntt Docomo, Inc. Remote control system, remote control method, communication device, and program
JP6008086B2 (ja) * 2012-03-26 2016-10-19 セイコーエプソン株式会社 頭部装着型表示装置
JP6066037B2 (ja) * 2012-03-27 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
CN103425380A (zh) * 2012-05-14 2013-12-04 联想(北京)有限公司 一种信息处理的方法和设备
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
JP6011154B2 (ja) * 2012-08-24 2016-10-19 富士通株式会社 画像処理装置、画像処理方法
BR112015005692A2 (pt) 2012-09-21 2017-07-04 Sony Corp dispositivo de controle, e, meio de armazenamento.
JP5962403B2 (ja) 2012-10-01 2016-08-03 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP5787099B2 (ja) 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
JP6102213B2 (ja) * 2012-11-22 2017-03-29 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
CN103873959B (zh) * 2012-12-13 2019-02-05 联想(北京)有限公司 一种控制方法和电子设备
JP6111659B2 (ja) * 2012-12-28 2017-04-12 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
JP5962547B2 (ja) 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9766709B2 (en) * 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US20140285520A1 (en) * 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
US9927949B2 (en) 2013-05-09 2018-03-27 Amazon Technologies, Inc. Recognition interfaces for computing devices
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US20160147300A1 (en) * 2013-06-28 2016-05-26 Nokia Technologies Oy Supporting Activation of Function of Device
JP6206099B2 (ja) * 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
EP2916209B1 (en) * 2014-03-03 2019-11-20 Nokia Technologies Oy Input axis between an apparatus and a separate apparatus
US9766715B2 (en) 2014-05-01 2017-09-19 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
JP6427942B2 (ja) * 2014-05-01 2018-11-28 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
JP6500477B2 (ja) * 2015-02-12 2019-04-17 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016015024A (ja) * 2014-07-02 2016-01-28 株式会社東芝 操作支援装置及び操作支援システム
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
WO2016046139A1 (en) * 2014-09-25 2016-03-31 Philips Lighting Holding B.V. Control of lighting
EP3007146A1 (en) 2014-10-07 2016-04-13 Thomson Licensing System for controlling an electronic device and head mounted unit for such a system
CN105635776B (zh) * 2014-11-06 2019-03-01 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及系统
CN105653248A (zh) * 2014-11-14 2016-06-08 索尼公司 控制装置、方法以及电子设备
JP6295995B2 (ja) * 2015-04-28 2018-03-20 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法
JP6507827B2 (ja) * 2015-04-28 2019-05-08 京セラドキュメントソリューションズ株式会社 表示システム
CN105141913A (zh) * 2015-08-18 2015-12-09 华为技术有限公司 可视化远程控制可触控设备的方法、系统和相关设备
CN105138123B (zh) * 2015-08-24 2018-10-26 小米科技有限责任公司 设备控制方法及装置
JP2017117159A (ja) * 2015-12-24 2017-06-29 シャープ株式会社 端末装置及び双方向通信システム
CN105528081B (zh) * 2015-12-31 2019-02-19 广州创幻数码科技有限公司 一种混合现实显示方法、装置及系统
CN105528083B (zh) * 2016-01-12 2018-10-23 广州创幻数码科技有限公司 一种混合现实识别关联方法及装置
US20180164895A1 (en) * 2016-02-23 2018-06-14 Sony Corporation Remote control apparatus, remote control method, remote control system, and program
CN109076679B (zh) * 2016-04-06 2020-06-30 飞利浦照明控股有限公司 控制照明系统
US11044405B1 (en) * 2016-09-16 2021-06-22 Apple Inc. Location systems for electronic device interactions with environment
JP6432583B2 (ja) * 2016-10-28 2018-12-05 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
JP7112399B2 (ja) 2016-12-05 2022-08-03 マジック リープ， インコーポレイテッド 複合現実環境における仮想ユーザ入力制御
JP6350705B2 (ja) * 2017-03-16 2018-07-04 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
CN106980374A (zh) * 2017-03-28 2017-07-25 联想(北京)有限公司 显示控制方法、显示控制装置及电子设备
JP6244069B1 (ja) * 2017-04-17 2017-12-06 株式会社オプティム 遠隔作業支援システム、遠隔作業支援方法、及びプログラム
JP6257826B1 (ja) * 2017-05-31 2018-01-10 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置
EP3659017B1 (en) 2017-07-26 2023-04-05 Magic Leap, Inc. Training a neural network with representations of user interface devices
US10068403B1 (en) * 2017-09-21 2018-09-04 Universal City Studios Llc Locker management techniques
WO2019181143A1 (ja) * 2018-03-22 2019-09-26 三菱自動車工業株式会社 車両制御システム
JP7229749B2 (ja) * 2018-12-14 2023-02-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、記録媒体、および、情報処理システム
KR20210150862A (ko) * 2020-06-04 2021-12-13 주식회사 브이터치 제스처를 인식하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2023228337A1 (ja) * 2022-05-25 2023-11-30 日本電信電話株式会社 提示システム、提示方法及び提示プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3259366B2 (ja) 1992-10-30 2002-02-25 ソニー株式会社 遠隔操作装置
US6937742B2 (en) * 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP4323180B2 (ja) * 2003-02-13 2009-09-02 日本電信電話株式会社 自己画像表示を用いたインタフェース方法、装置、およびプログラム
JP2005031045A (ja) * 2003-07-11 2005-02-03 Olympus Corp 情報呈示装置及び情報呈示システム
JP2005149409A (ja) * 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
US7903838B2 (en) * 2004-01-30 2011-03-08 Evolution Robotics, Inc. Vision-enabled household appliances
JP2005339266A (ja) * 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
JP2008508621A (ja) * 2004-08-03 2008-03-21 シルバーブルック リサーチ ピーティワイ リミテッド ウォークアップ印刷
JP2006146803A (ja) * 2004-11-24 2006-06-08 Olympus Corp 操作装置及び遠隔操作システム
JP4676303B2 (ja) * 2005-10-18 2011-04-27 株式会社日立製作所 端末装置
US7620316B2 (en) * 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
JP2007259329A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 遠隔制御装置、システムおよび方法
JP2009146333A (ja) * 2007-12-18 2009-07-02 Panasonic Corp 空間入力動作表示装置
JP5176112B2 (ja) * 2008-07-03 2013-04-03 財団法人ヒューマンサイエンス振興財団 制御システム及び制御方法
JP4720874B2 (ja) * 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP4720890B2 (ja) 2008-09-26 2011-07-13 ブラザー工業株式会社 液体吐出装置

Also Published As

Publication number Publication date
CN102207819A (zh) 2011-10-05
US20110234386A1 (en) 2011-09-29
US9058057B2 (en) 2015-06-16
KR20110109883A (ko) 2011-10-06
US20150241986A1 (en) 2015-08-27
EP2372495B1 (en) 2019-04-03
EP2372495A2 (en) 2011-10-05
JP2011209965A (ja) 2011-10-20
JP5743416B2 (ja) 2015-07-01
EP2372495A3 (en) 2015-11-25
US9891715B2 (en) 2018-02-13

Similar Documents

Publication Publication Date Title
CN102207819B (zh) 信息处理器和信息处理方法
US9369638B2 (en) Methods for extracting objects from digital images and for performing color change on the object
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
US8976160B2 (en) User interface and authentication for a virtual mirror
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
US7940986B2 (en) User interface system based on pointing device
KR102506341B1 (ko) 거울을 가상화하는 디바이스들, 시스템들 및 방법들
CN108304063B (zh) 信息处理装置、信息处理方法和计算机可读介质
JP5110138B2 (ja) Ａｒ処理装置、ａｒ処理方法及びプログラム
US20090251484A1 (en) Avatar for a portable device
CN105210113A (zh) 具有一般和全景相机移动的单眼视觉slam
CN111199583B (zh) 一种虚拟内容显示方法、装置、终端设备及存储介质
TW201738847A (zh) 組裝指示系統及組裝指示方法
CN112073764A (zh) 一种显示设备
JP2020119156A (ja) アバター生成システム、アバター生成装置、サーバ装置、アバター生成方法、およびプログラム
CN113795863A (zh) 用于图像的深度图的处理
JP6714632B2 (ja) 情報表示端末及び情報表示方法
CN114008582A (zh) 信息处理装置、信息处理方法和程序
CN111796740A (zh) 基于可穿戴智能设备的无人车控制方法、装置及系统
JP6404526B2 (ja) 撮像画像共有システム、撮像画像共有方法及びプログラム
JP2012248206A (ja) Ａｒ処理装置、ａｒ処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant