CN107924239B - 遥控系统、遥控方法和记录介质 - Google Patents

遥控系统、遥控方法和记录介质 Download PDF

Info

Publication number
CN107924239B
CN107924239B CN201780002498.7A CN201780002498A CN107924239B CN 107924239 B CN107924239 B CN 107924239B CN 201780002498 A CN201780002498 A CN 201780002498A CN 107924239 B CN107924239 B CN 107924239B
Authority
CN
China
Prior art keywords
user
unit
remote control
positional relationship
operation instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780002498.7A
Other languages
English (en)
Other versions
CN107924239A (zh
Inventor
冈本秀男
中川贵晶
土井宏真
近藤员弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107924239A publication Critical patent/CN107924239A/zh
Application granted granted Critical
Publication of CN107924239B publication Critical patent/CN107924239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及一种遥控装置、遥控方法、遥控系统和程序，通过本发明，能够仅用手和眼睛的直观动作来实现遥控。多个成像单元拍摄使用者的眼睛和手以及被操作的设备所在的空间的图像。基于拍摄的图像来识别使用者的眼睛和手以及被操作的设备的位置，并且根据使用者的眼睛和被操作的设备之间的位置关系来识别使用者的视线。当手被保持在包含视线的直线上的位置时由使用者执行的动作被认为是用于被操作的设备的操作指令，并且操作指令被发送到被操作的设备，从而使该设备进行操作。本发明可应用于遥控装置。

Description

遥控系统、遥控方法和记录介质
技术领域
本发明涉及遥控装置、遥控方法、遥控系统和程序，特别地，涉及一种能够通过感觉容易地实现遥控的遥控装置、遥控方法、遥控系统和程序。
背景技术
本发明提供一种在室内装置或车内装置中实现遥控的技术。
例如，提出一种不使用遥控器来实现遥控的技术(参见专利文献1)。
另外，提出一种通过移动手来做出决策(诸如触摸被投影到头戴式显示器(HMD：Head Mount Display)上的图像等)，并由此来实现遥控的技术(参见专利文献2)。
引用列表
专利文献
专利文献1：日本专利申请特开第2006-301654号
专利文献2：日本专利第5791131号
发明内容
技术问题
然而，例如，因为使用者必须使用遥控器，或者使用者必须学习不自然的动作，所以很难容易且直观地使用各种遥控技术。
换句话说，在专利文献1的情况下，将使用者的意图发送到设备需要花费时间，并且需要不自然的动作。
另外，在专利文献2的情况下，假设通过HMD来实现触摸投影图像的操作，其中视角和手的动作的感觉均不同于日常，因此需要对显示器上的视野以及手的操作速度等的差距进行修正。这也需要不自然的动作。
鉴于上述情况作出本发明，并且特别地，本发明仅通过使用手和眼睛的直观动作来实现遥控。
技术方案
根据本发明的第一方面的遥控装置包括：位置检测单元，所述位置检测单元用于检测待操作的装置的位置以及使用者的眼睛和手的位置；使用者动作识别单元，当所述眼睛、所述手和所述装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；操作指令指定单元，所述操作指令指定单元指定用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的所述动作；以及驱动指令单元，所述驱动指令单元基于由所述操作指令指定单元指定的所述操作指令来驱动所述待操作的装置。
使用者动作识别单元可被构造成基于眼睛、手和装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的视线，并且在保持所述手位于作为所述视线的直线上的位置关系时，识别所述使用者的动作。
使用者动作识别单元可被构造成基于眼睛、手和装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的视线，并且当保持所述手的预定手指位于作为所述视线的直线上的位置关系时，将所述手在作为所述视线的所述直线上的动作识别为所述使用者的动作。
所述待操作的装置进一步包括显示单元，所述显示单元显示UI(用户界面)图像，用以控制所述装置的操作，并且所述使用者动作识别单元可被构造成基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的所述显示单元上的预定UI图像的视线，并且将保持所述手位于作为所述视线的直线上的位置关系时所述使用者作出的动作识别为所述使用者对所述UI图像的动作。
显示单元可以被构造成使用者佩戴的透明型头戴式显示器(HMD：Head MountDisplay)，并且使用者动作识别单元可被构造成基于眼睛、手和装置之间的位置关系来指定从眼睛到在用作装置的显示单元的HMD上的预定UI图像的使用者的视线，并且将当在所述手位于作为所述视线的直线上的位置关系被保持时在从所述使用者观看到的相对于所述HMD的前方位置处所述使用者作出的动作识别为所述使用者对所述UI图像的动作。
所述位置检测单元可以被构造成：当该位置检测单元未能检测到眼睛和手中的至少一者的位置时，基于被检测使用者的其它身体部位来估计眼睛和手的位置，并且所述使用者动作识别单元可以被构造成：当眼睛、手和装置之间的估计的位置关系保持为预定位置关系时，识别使用者的动作。
位置检测单元可以被构造成包括在多个成像方向上拍摄图像的多个成像单元，并且基于由所述多个成像单元拍摄的图像来检测所述待操作的装置以及所述使用者的所述眼睛和所述手的位置。
使用者动作识别单元可以被构造成：当所述眼睛中的右眼、手和装置之间的第一位置关系、所述眼睛中的左眼、手和装置之间的第二位置关系以及左眼和右眼之间的中间位置、手和装置之间的第三位置关系中的任一者保持为预定位置关系时，识别使用者的动作。
根据本发明的第一个方面的遥控方法包括以下步骤：检测待操作的装置以及使用者的眼睛和手的位置；当眼睛、手和装置之间的位置关系保持为预定位置关系时，识别所述使用者的动作；指定用于待操作的装置的操作指令，该操作指令对应于使用者的动作；并且基于指定的操作指令来驱动待操作的装置。
根据本发明的第一方面的程序为使计算机起以下作用的程序：位置检测单元，该位置检测单元用于检测待操作的装置以及使用者的眼睛和手的位置；使用者动作识别单元，当眼睛、手和装置之间的位置关系保持为预定位置关系时，该使用者动作识别单元识别使用者的动作；操作指令指定单元，该操作指令指定单元指定用于待操作的装置的操作指令，该操作指令对应于使用者的动作；以及驱动指令单元，该驱动指令单元基于由操作指令指定单元指定的操作指令来驱动待操作的装置。
在本发明的第一个方面中，检测待操作的装置以及使用者的眼睛和手的位置；当眼睛、手和装置之间的位置关系保持为预定位置关系时，识别使用者的动作；指定用于待操作的装置的操作指令，该操作指令对应于使用者的动作；并且基于指定的操作指令来驱动待操作的装置。
根据本发明的第二个方面的遥控系统包括：多个待操作的装置，所述多个待操作的装置包括至少一个主装置和不同的至少一个从装置，所述主装置包括：位置检测单元，该位置检测单元用于检测主装置、从装置以及使用者的眼睛和手的位置；使用者动作识别单元，当眼睛、手和主装置之间的位置关系或眼睛、手和从装置之间的位置关系保持为预定位置关系时，该使用者动作识别单元识别使用者的动作；操作指令指定单元，该操作指令指定单元指定用于主装置或从装置的操作指令，该操作指令对应于使用者的动作；主驱动指令单元，该主驱动指令单元基于操作指令来驱动主装置；以及主通信单元，该主通信单元向从装置发送操作指令；所述从装置包括：从通信单元，该从通信装置接收从主装置发送的用于从装置的操作指令；以及从驱动指令单元，该从驱动指令单元基于操作指令来驱动从装置。
当遥控系统包括第一操作装置和第二操作装置时，第一操作装置为主装置或从装置并具有显示功能，第二操作装置为主装置或从装置并且待被操作；位置检测单元可以被构造成检测第一操作装置、第二操作装置以及使用者的手和眼睛的位置；使用者动作识别单元可被构造成当眼睛、手和第一操作装置之间的位置关系保持为预定的第一位置关系时，识别使用者的第一预定动作，并且将第一操作装置识别为用于显示控制第二操作装置的UI的目标装置；操作指令指定单元可被构造成根据使用者的第一动作来指定使第一操作装置显示用于控制第二操作装置的UI的操作指令；主驱动指示单元可以被构造成基于显示用于控制第二操作装置的UI的操作指令来驱动第一操作装置；使用者动作识别单元可以被构造成当眼睛、手和第二操作装置之间的位置关系保持为预定的第二位置关系时，识别使用者的第二预定动作，并且将第二操作装置识别为用于进行与由第一操作装置显示的UI的操作相对应的操作的目标装置；操作指示指定单元可以被构造成根据使用者的第二动作来指定使第二操作装置进行与由第一操作装置显示的UI的操作相对应的操作的操作指令；并且主驱动指令单元可以被构造成基于与由第一操作装置显示的UI的操作相对应的操作指令来驱动第二操作装置。
所述从装置可以被构造成幕帘开闭设备。
所述从装置可以被构造成用于车辆的后座的倾倒装置。
使用者动作识别单元可被构造成当所述使用者的视线是通过所述车辆的后视镜朝向作为所述从装置的用于所述后座的所述倾倒装置的视线时，并且当保持所述手位于作为所述视线的直线上的位置关系时，基于所述眼睛、所述手和所述从装置之间的位置关系来识别所述使用者的动作。
在本发明的第二方面中，提供了一种包括多个待操作的装置的遥控系统，所述多个待操作的装置包括至少一个主装置和不同的至少一个从装置。借助于主装置，当使用者的眼睛、手和主装置之间的位置关系或眼睛、手和从装置之间的位置关系保持为预定位置关系时，可检测主装置、从装置、眼睛和手之间的位置，并识别使用者的动作；指定用于主装置或从装置的操作指令，该操作指令对应于使用者的动作；基于指定的操作指令来驱动主装置；并且向从装置发送操作指令。借助于从装置，可接收从主装置发送的用于从装置的操作指令，并且基于操作指令来驱动从装置。
本发明的有益效果
根据本发明的一个方面，能够通过仅使用手和眼睛的直观动作来实现遥控。
附图说明
图1是应用了本发明的操作装置的第一实施例的外观图。
图2是说明用于实现图1的操作装置的功能的图。
图3是说明图1的操作装置的遥控处理的流程图。
图4是说明图1的操作装置的第一变形例的图。
图5是说明图1的操作装置的第二变形例的图。
图6是包括本发明适用的操作装置的操作装置系统的第二实施例的外观图。
图7是说明用于实现图6的操作装置系统的功能的图。
图8是说明图7的操作装置系统的遥控处理的流程图。
图9是说明图6的操作装置系统的第一变形例的图。
图10是说明图6的操作装置系统的第二变形例的图。
图11是说明视线的修正的图。
图12是说明通用个人计算机的构造示例的图。
具体实施方式
下面将参照附图来详细说明本发明的适用实施例。请注意，在本说明书和附图中，具有基本相同功能构造的部件由相同附图标记表示，并且将省略这些部件的重复说明。
另外，将按下列顺序进行说明。
1.第一实施例
2.第一实施例的第一变形例
3.第一实施例的第二变形例
4.第二实施例
5.第二实施例的第一变形例
6.第二实施例的第二变形例
7.视线的修正
8.应用例
《1.第一实施例》
图1和图2分别示出了应用了本发明的遥控装置的操作装置的第一实施例的构造例。请注意，图1是操作装置的外观图，图2是说明用于实现图1的操作装置的功能的框图。
例如，图1中的操作装置11是可被使用者遥控的家用电器。操作装置11的示例包括可被遥控的空调、灯、内部通话系统，以及个人计算机(PC：personal computer)。
操作装置11的外观包括成像单元31和显示单元32.
成像单元31包括，例如多个互补金属氧化物半导体(CMOS：Complementary MetalOxide Semiconductor)图像传感器。成像单元31拍摄操作装置11的使用者所在空间的图像以及用于识别使用者的眼睛以及指尖在该空间内的位置和使用者的视线的位置的图像。
更具体地，成像单元31包括从多个方向拍摄空间的图像的图像传感器。成像单元31可以拍摄空间内的图像并且也可以例如像深度摄像机那样测量各个图像中的距离。换句话说，成像单元31测量在图像中使用者的位置以及使用者的眼睛、手和指尖的位置，并由此识别它们在空间内的位置。另外，当成像单元31由单目摄像机构成时，成像单元31至少需要从至少三个方向拍摄图像。因此，需要至少三个以上的成像单元31。
显示单元32由液晶显示器(LCD：Liquid Crystal Display)或有机电致发光器件(EL：Electro-Luminescence)等构成，并且显示用于控制操作装置11的操作的UI(UserInterfaces)。
另外，操作装置11包括作为功能的控制单元51和驱动单元52。
控制单元51控制操作装置11的全部操作。控制单元51基于由成像单元31提供的图像来识别在空间内的使用者的眼睛和指尖的位置，并由此识别针对操作装置11的使用者的操作指令，并对驱动单元52进行控制和驱动，以完成相应的操作。
更具体地，控制单元51包括眼睛/指尖/目标装置位置检测单元71、使用者动作识别单元72、操作指令判定单元73以及驱动指令单元74。
眼睛/指尖/目标装置位置检测单元71基于从成像单元31提供的图像来识别使用者，并且识别使用者的眼睛和指尖的位置。另外，眼睛/指尖/目标装置位置检测单元71检测眼睛、指尖和目标装置之间的位置关系。
更具体地，眼睛/指尖/目标装置位置检测单元71具有检测诸如手、腿、头部或者移动身体等人体姿态以及检测人脸图像的功能，并且还可以提取包括在人脸图像中的诸如眼睛、鼻子、嘴以及耳朵等的不同器官。眼睛/指尖/目标装置位置检测单元71通过这些功能来指定眼睛和指尖的位置。另外，当图像未示出眼睛、指尖等时，眼睛/指尖/目标装置位置检测单元71基于姿势或者除眼睛之外的鼻子、嘴、耳朵等的位置来估计指尖和眼睛的位置。
当眼睛、指尖、目标装置各自的位置有特定位置关系时，眼睛/指尖/目标装置位置检测单元71将各个位置的信息提供给使用者动作识别单元72。请注意，目标装置是指图1的实施例中的操作装置11本身。
此处，特定位置关系是指例如以下位置关系：如图1所示，使用者的眼睛12、使用者的手13的指尖13a以及作为目标装置的操作装置11在直线上对齐的位置关系，其中，该直线是从使用者的眼睛12开始至作为目标装置的操作装置11结束的视线。当建立这种位置关系时，作为进行向用作目标装置的眼睛/指尖/目标装置位置检测单元71自身给出特定指令的操作的状态，眼睛/指尖/目标装置位置检测单元71假设各位置的信息的变化。在保持该位置关系期间，眼睛/指尖/目标装置位置检测单元71向使用者动作识别单元72提供各个位置的信息。
使用者动作识别单元72基于由眼睛/指尖/目标装置位置检测单元71识别的眼睛、指尖和目标装置各自的位置的信息的时间序列变化来识别使用者的动作，该动作是通过移动指尖和手掌而对用作目标装置的操作装置11作出的，并且使用者动作识别单元72向操作指令判定单元73提供该动作的信息。
换句话说，更具体地，如图1所示，当在显示单元32上显示作为UI的操作按钮32a～32d时，使用者动作识别单元72例如识别以下信息作为动作的信息，该信息指示眼睛12、指尖13a和在作为目标装置的操作装置11的显示单元32上显示的操作装置32c的位置位于视线所在的直线上，并且按时间顺序指示出：指尖13a移动至操作装置11侧或者至眼睛12侧，重复这些动作，并且在相同的位置处停留预定的时间。使用者动作识别单元72随后将识别的动作的信息供给至操作指令判定单元73。
操作指令判定单元73获取从使用者动作识别单元72供给的动作的信息，基于所述动作的信息来确定作为使用者意图的操作指令，并且向驱动指令单元74提供操作指令的信息作为判定结果。
更具体地，操作指令判定单元73存储控制规则，其中，动作和与其对应的操作指令(驱动单元52的具体驱动器内容、UI图像等)为内置存储器(未示出)中规定的信息。操作指令判定单元73确定与从使用者动作识别单元72提供的动作相对应的操作指令，从而向驱动指令单元74提供确定的操作指令。
换句话说，例如，如图1所示，当提供指示眼睛12、指尖13a和操作按钮32c位于视线所在的直线上并指示在以上状态下指尖13移动至操作装置11侧的信息时，操作指令判定单元73从控制规则中寻找相应的操作指令以进行判定。例如，当操作按钮32c被按压并且显示其已被选择时，操作指令判定单元73向驱动指令单元74提供对应的操作指令的信息。
基于由操作指令判定单元73提供的操作指令的信息，驱动指令单元74给出用于操作驱动单元52的指令，使得驱动单元52执行相应的操作。
更具体地，驱动指令单元74生成例如用于控制操作的UI，并且在作为驱动单元52的一部分的显示单元32上显示UI。另外，驱动指令单元74切换UI的显示并且使显示单元32基于来自操作指令判定单元73的操作指令的信息而显示UI。换句话说，例如，当指尖13a在空间内指向位置Pc，且由此眼睛12、指尖13a和操作按钮32c配置在视线L所在的直线上时，为了指示操作按钮32c被选定，驱动指令单元74控制作为驱动单元52的一部分的显示单元32以将操作按钮32c的框显示为与其它框不同的颜色。
请注意，在图1中，当眼睛12和操作按钮32a～32d在固定的位置时，并且当指尖13a指向空间内的位置Pa时，眼睛12，指尖13a和操作按钮32a在视线L所在的直线上对齐。在该状态下，当指尖13a沿视线L移动至操作装置11侧时，假设按压并且选定操作按钮32a。同样地，当用指尖13a选定空间内的位置Pb和Pd时，假设选定操作按钮32b和32d。
另外，当显示与操作指令的信息对应的UI时，向使用者反馈表示操作装置11如何识别操作指令的信息(在下文中，也被简称为识别信息)。识别信息的反馈不仅可以通过在显示单元32上显示UI来进行，也可以通过其它技术进行提示，只要可以将识别信息提示给使用者即可。
更具体地，向使用者提示识别信息的技术可以使例如诸如光发射二极管(LED：Light Emission Diode)等的发光单元发射对应于操作指令的光(光包括具有与操作指令相对应的颜色、闪烁图案等的光)，使诸如扬声器等的声音输出单元输出对应于操作指令的声音(声音包括对应于操作指令的旋律等)，或者使用于预定气味以发出对应于操作指令的气味的气味生成单元(气味包括类型对应于操作指令的花的香味)。额外地，操作装置11本身可以进行对应于操作指令的反应和操作。
驱动单元52包括用于操作操作装置11的驱动机构并且根据操作指令进行操作，例如，对于空调来说，设置风量、温度等；对于灯来说，开启/关闭该灯以及调节亮度等；对于内部通话系统来说，为开启/关闭通话；并且对于PC等，进行各种类型的算法处理和显示处理等。另外，驱动单元52包括显示单元32，并且基于操作指令来切换UI的显示以进行显示。另外，UI不限于操作按钮，并且可以是可直观操作的其它对象。例如，UI可以为操作标签、操作杆等。此外，在使用诸如操作标签或者操作杆等的UI时，对应于操作指令的动作可包括诸如拿起并转动标签的手的动作和诸如抓住和操纵操作杆的手的动作。
<遥控处理>
下面，将参照图3的流程图说明操作装置11的遥控处理。
在步骤S11中，成像单元31拍摄在操控操作装置11的使用者所在的方向上的图像，并且将拍摄的图像提供给控制单元51。
在步骤S12中，眼睛/指尖/目标装置位置检测单元71基于由成像单元31提供的图像来检测使用者的眼睛和指尖以及作为目标装置的操作装置11在空间内的位置。
在步骤S13中，眼睛/指尖/目标装置位置检测单元71确定使用者的眼睛和指尖以及目标装置之间的位置关系是否处于视线L所在的直线上。在步骤S13中，例如，如图1所示，当使用者将视线L给到操作按钮32c(该操作按钮为操作装置11的显示单元32上的UI)时并且当使用者移动他/她的指尖13a至视线L上，使得使用者的眼睛12和指尖13以及作为在显示单元上32上的显示的UI的操作按钮32c在该直线上对齐时，处理进行到步骤S14。
在步骤S14中，使用者动作识别单元72基于由眼睛/指尖/目标装置位置检测单元71识别的眼睛、指尖和目标装置的各自位置的信息的时间序列变化来识别使用者的动作，该动作是通过移动指尖而对用作目标装置的操作装置11作出的。然后，使用者动作识别单元72向操作指令判定单元73提供所识别动作的信息。
在步骤S15中，当获取从使用者动作识别单元72提供的动作的信息时，操作指令判定单元73基于在内置存储器中储存的控制规则来确定用于操作装置11的操作指令，该操作指令是与使用者的动作相对应的使用者的意图。操作指令判定单元73还将作为判定结果的操作指令的信息提供给驱动指令单元74。
在步骤S16中，驱动指令单元74判断操作指令的信息是否给出了某些操作的指令。在步骤S16中，如果给出某些操作的指令，则处理进行到步骤S17。
在步骤S17中，驱动指令单元74控制驱动单元52来执行对应于操作指令的操作。
换句话说，在目标操作装置11特定的初始处理中，驱动指令单元74在显示单元32上显示用于控制操作装置11的操作的UI。例如，在图1的情况下，在显示单元32上显示有作为UI的操作按钮32a～32d。
另外，在显示操作按钮32a～32d的状态下，例如，在动作的信息为按下操作按钮32c的动作的信息的情况下，为了提供指示操作按钮32c被按下的信息，驱动指令单元74将作为UI的操作按钮32c的框的显示切换为使所显示的操作按钮32c的框发出具有预定颜色的光的显示。
另外，基于控制规则，例如，在按下操作按钮32c使得作为目标装置的操作装置11的驱动单元52控制空调的风量或者温度的情况下，即，在为了针对操作指令而改变风量或温度的设定，而需要增加风扇电机的转速从而增大压缩机的转速或风扇的风量的情况下，驱动指令单元74控制作为驱动单元52的压缩机或者风扇，以提高转数或风量。
在步骤S18中，驱动单元74确定控制指令是否指示终止操作。如果控制指令未指示终止操作，则处理返回步骤S12并且重复后续处理。
另外，在步骤S13中，在眼睛、指尖和目标装置没有在直线上对齐的情况下，跳过步骤S14～S17的处理。
另外，在步骤S16中，如果未给出用于某些操作的指令，即，例如，未识别出给出了操作指令，或者如果实际上没有给出操作指令，则跳过步骤S17的处理。
换句话说，在这种情况下，重复步骤S11到S16以及步骤S18的处理直到操作的内容被确定。当操作的内容被确定并且基于操作指令还需要进行操作的情况下，执行步骤S17的处理，并且控制驱动单元52以进行操作。
通过上述的处理，使用者将视线L朝向任一操作按钮32a～32d，每个操作按钮均为显示在如图1所示的待被操作的操作装置11的显示单元32上的UI，接着，使用者以使指尖保持在视线L所在的直线上的方式来放置指尖13a，使得能够指定待被操作的操作装置11。另外，当在包括任一操作按钮32a～32d的直线上进行预定动作时，会识别按钮的选择，使得能够指示操作装置11来进行预定操作。
结果，不需要诸如遥控器等的附属装置，并且不需要学习控制所特别需要的操作，可以仅用眼睛和指尖的直观动作来遥控目标装置。
请注意，为了指定眼睛和指尖的位置，以上说明了使用拍摄立体图像的成像单元31来拍摄的图像的示例。然而，当眼睛和指尖的空间位置是特定时，可以使用其它方法。例如，可以拍摄红外图像，并且可以从检测到体温的区域中轮廓指定眼睛和指尖的位置。
另外，例如，在眼睛未被摄像的图像中，例如，在该图像中只出现了头的后部，可以基于头的后部来估计头的形状。另外，可以基于头的形状来指定脸的位置，并且基于脸的构造来指定眼睛的位置。
另外，对于指尖来说，例如，在食指立起的手的形状下，只识别食指的指尖，而在五个手指张开的情况下，则不检测食指的指尖的位置。这样，可以减少使用者动作的错误检测，以便高精度地识别动作。
此外，以上已经说明了用使用者的手或者指尖给出操作指令的示例，但是也可使用其它对象。例如，可以使用眨眼的次数。另外，除直观动作外，使用者可以使用需要学习的动作。这样，能够实现更高水平的遥控。另外，对于用于基于使用者的眼睛来指定操作装置11的视线，在操作装置11较小的情况下，可以容易地指定视线的方向。然而，在操作装置较大的情况下，所有宽广范围的方向的视线均可能是目标。在这方面，为了指定视线的方向，具有一定尺寸的操作装置11可以设置有例如具有能够指定视线的方向的尺寸的标记等，并且当检测到朝向所述标记的视线时，可以识别出视线朝向设有该标记的操作装置。
《2.第一实施例的第一变形例》
以上说明了将显示单元32设置于操作装置11以在显示单元32上显示UI的示例。然而，可以在头戴式显示器(HMD：Head Mount Display)上显示UI。
图4示出了被构造成在HMD 91上显示UI的操作装置11的外观的构造示例。在这种情况下，在眼睛12和指尖13a之间的HMD 91上显示UI的控制按钮91a～91d。因此，在这种情况下，如图4所示，当眼睛12、操作按钮91c以及指尖13a在视线L所在的直线上对齐时，假设选定操作装置91c。
对于使用者操作来说，不同之处在于，UI被显示在HMD 91上。使用者只需将视线朝向作为UI的操作按钮91a～91d中的任一者并且将指尖13a放置在视线的末端。这也使得操作装置11能够通过直观的操作而被遥控。
请注意，在图4的情况下，操作装置11以及HMD 91通过通信设备(在附图中未示出)以有线或无线的方式彼此连接，并且驱动指令单元74被构造成控制HMD 91上的UI的显示。
另外，图4的操作装置11的遥控处理基本上与参照图3的流程图说明的处理相同，因此省略其说明。
《3.第一实施例的第二变形例》
另外，已经说明了图4的操作装置11由操作装置11的主体和HMD 91构成的示例。然而，用于指定眼睛12和指尖13a的位置的成像单元31可以设置在操作装置11的主体之外的位置处，只要能够指定眼睛12和指尖13a的位置即可。例如，成像单元31可以设置在HMD 91处或者其附近。
图5示出了被构造成在HMD 91或者其附近处设置成像单元31的操作装置11的外观的构造示例。
换句话说，在这种情况下，成像单元31以有线或无线的方式连接到操作装置11，并且向操作装置11的主体的控制单元51提供拍摄的图像。
另外，图4的操作装置11的遥控处理基本上与参照图3的流程图说明的处理相同，因此省略其说明
《4.第二实施例》
以上说明了操作装置11为单个操作装置的示例。然而，例如，可以提供多个操作装置并利用多个成像单元来测量使用者的眼睛和指尖以及目标操作装置的位置，从而能够切换多个操作装置，以根据测量结果进行遥控。
图6示出了操作装置系统的构造示例，其中，利用多个操作装置和多个成像单元来测量使用者的眼睛和指尖以及目标操作装置的位置，因此可以切换多个操作装置以根据测量结果进行遥控。
图6中的操作装置系统包括操作装置11-1～11-6以及成像单元31-1～31-3。请注意，在图6中，假设成像单元31-1～31-3分别被提供给操作装置11-1～11-3，并且假设不为操作装置11-4～11-6提供成像单元。另外，例如，操作装置11-1～11-6分别为空调，灯、内部通话系统、PC、种植机以及显示器。
另外，在操作装置11-1～11-6中，作为空调的操作装置11-1是主装置并且控制作为从装置的操作装置11-2～11-6的操作。换句话说，如果操作装置11-1～11-6中的任一者被设定为目标装置，则作为空调的操作装置11-1识别使用者的眼睛和指尖以及目标装置之间的位置关系以及使用者操作，确定操作指令，指定操作指令，并且向目标装置提供操作指令。
因此，在图6的操作装置系统中，需要至少一个主装置。换句话说，在图1中，可以假设单个操作装置11本身为主装置。另外，可以在操作装置系统中设置每者均可以起主装置的作用的多个操作装置11。在这种情况下，作为主装置的任一操作装置11会控制作为目标装置的操作装置11的操作。
下面，将说明具体的遥控方法的示例。例如，如图6所示，当眼睛12、手13以及操作装置11-1在作为视线L1的直线上对齐时，作为主装置的操作装置11-1基于由成像单元31-1～31-3拍摄的图像来识别出目标装置为操作装置11-1。
随后，使用者从手13的打开状态移动手13a以进行诸如捏等的动作，并且将眼睛的视线从视线L1移动到视线L2，并且将手移动到手13a’，并且然后移动到打开的手13’。因此，眼睛12、手13’以及作为显示器的操作装置11-6在作为视线L2的直线上对齐。
这里，基于控制规则，通过一系列的动作，由显示器组成的操作装置11-6显示操作装置11-1的UI，并且使用者将视线L2朝向显示在该操作装置11-6上的UI，并且使用者移动在作为视线L2的直线上的手13’以执行对应于UI的动作。因此，实现了操作装置11-1的遥控。
结果，使用者将视线L2朝向显示在显示器11-6上的UI，并且使用者移动在作为视线L2的直线上的手13’。因此，操作装置11-1可以通过图3的遥控处理而被遥控，这与图1的操作装置11的方法相同。
<用于实现图6的操作装置系统的功能性构造示例>
下面，参考图7，将对用于实现作为主装置的操作装置11-1的以及作为从装置的操作装置11-2～11-6的功能性构造示例进行说明，其中，操作装置11-1～11-6用于实现图6的操作装置系统。请注意，假设成像单元31-1～31-3分别被提供给操作装置11-1～11-3，并且假设不为操作装置11-4～11-6提供成像单元。然而，如图1的操作装置11的情况，由成像单元31-1～31-3拍摄的图像是用于识别眼睛、手(指尖)、目标操作装置、UI以及动作的图像，并且向作为主装置的操作装置11提供任意图像，并且作为主装置的操作装置11执行对应的处理。
另外，操作装置11-1至11-6可以通过包括因特网、局域网(LAN：Local AreaNetwork)等的网络101互相地接收并发送信息和数据。通过各个成像单元31-1～31-3拍摄的图像被提供给作为主装置的操作装置11-1。操作装置11-1基于从时间序列图像中获得的使用者手的位置的变化来识别使用者的动作，并基于控制规则来指定对应于使用者的动作的操作指令，以向目标装置提供操作指令，该目标装置为用作从装置的操作装置11-2～11-6的中任一者。
虽然作为主装置的操作装置11-1的基本功能与图1中的操作装置的基本功能相同，但是操作装置11-1还包括通信单元201。
通信单元201经由网络101接收由成像单元31-2和31-3提供的图像并且还向由操作指令判定单元73确定的作为目标装置的操作装置11-2～11-6发送操作指令。
作为从装置的操作装置11-2～11-6的各者包括通信单元231、控制单元232以及驱动单元233。另外，在这些操作装置中，操作装置11-2和11-3分别包括成像单元31-2和31-3。
通信单元231与通信单元201基本相同。通信单元231向作为主装置的操作装置11-1提供由成像单元31拍摄且经由网络101从控制单元232提供的图像，获取从作为主装置的操作装置11-1提供的操作指令，并且将操作指令提供给控制单元232。
控制单元232控制作为从装置的操作装置11-2至11-6的全部操作并且包括驱动控制单元251。
驱动控制单元251与驱动控制单元74基本相同。然而，由于主装置未设置有对应于显示单元32的功能，因此在这种情况下，向作为主装置的操作装置11-1提供必要的控制信息，这种控制信息包括UI显示图像、显示控制所需的UI所必需的UI图像以及控制规则的信息。
操作装置11-1获取作为从装置的操作装置11-2至11-6的控制信息，从装置具有在显示器上显示UI的未知的功能，该功能未设置于作为主装置的操作装置11-1。因此操作装置11-1可以识别和控制由从装置的驱动单元233实现的各种操作。
驱动单元233基本上与驱动单元52相同，并且对应于各从装置的功能。例如，驱动单元233是在作为灯的操作装置11-2中的发光单元、作为内部通话系统的操作装置11-3中的电话功能和对讲功能、作为PC的操作装置11-4中的算法处理功能、作为种植机的操作装置11-5中的植物的肥料供应功能或供水功能等以及作为显示器的操作装置11-6中的显示功能。
<图6的操作装置系统的遥控处理>
下面，将参照图8的流程图来说明图6的操作装置系统的遥控处理。请注意，在本处理的说明中，图6的操作装置11-1是主装置，用于控制作为主装置的操作装置11-1的操作的UI由具有显示功能的操作装置11-6显示，并且对所显示的UI进行与以上参照图3的流程图所述的遥控处理相同的处理，从而进行遥控。
在步骤S31中，成像单元31-1拍摄在操控操作装置11-1至11-6的使用者所在的方向上的图像，并且将拍摄的图像提供给控制单元51。
这里，在步骤S51中，成像单元31-2拍摄在操控操作装置11-1至11-6的使用者所在的方向上的图像，并且将拍摄的图像提供给控制单元232。
在步骤S52中，控制单元232控制通信单元231，以将拍摄的图像经由网络101传输至操作装置11-1。
在步骤S32中，控制单元51获取从成像单元31-1传输的图像和从操作装置11-2发送并经由通信单元201接收的图像，然后将这些图像提供至眼睛/指尖/目标装置检测单元71。此时，同样地，将拍摄的图像从包括成像单元31-3的操作装置11-3提供给作为主装置的操作装置11-1。另外，在未包括成像单元31的操作装置11-4至11-6中，跳过步骤S51和步骤S52的处理。
在步骤S33中，基于从成像单元31-1提供的图像以及从操作装置11-2至11-3传输的图像，眼睛/指尖/目标装置位置检测单元71检测空间内的使用者的眼睛和手以及可能是目标装置的每个操作装置11-1到11-6的位置。
在步骤S34中，眼睛/指尖/目标装置位置检测单元71判断使用者的眼睛和手以及目标装置之间的位置关系是否是在直线上。在步骤S34中，例如，如图6所示，当使用者将视线朝向操作装置11-1且使用者移动他/她的手并将手放在视线L上使得使用者的眼睛12和手13(指尖13a)和操作装置11-1在直线上对齐时，处理进行到步骤S35。
在步骤S35中，眼睛/指尖/目标装置位置检测单元71指定作为目标装置的操作装置11。在图6的示例中，操作装置11-1被指定为目标装置。
在步骤S36中，操作指令判定单元73判定包括作为目标装置的操作装置11的UI图像和控制规则等的控制信息是否储存在内置储存器中(在附图中未示出)。在步骤S36中，例如，如果确定没有控制操作装置11-1的操作的经历并且未存储控制信息，则处理进行到步骤S37。
在步骤S37中，操作指令判定单元73控制通信单元201，以向待控制的操作装置11请求控制信息。
在步骤S53中，作为从装置的操作装置11的驱动控制单元251控制通信单元231以确定控制信息是否被请求。在步骤S53中，当控制信息被步骤S37的处理请求时，处理前进到步骤S54。
在步骤S54中，驱动控制单元251读出存储在存储器(在附图中未示出)中的包括用于控制操作装置11的UI图像以及控制规则的控制信息，并且控制通信单元231以向作为主装置的操作装置11-1发送所述控制信息。
在步骤S38中，操作指令判定单元73获取待控制的操作装置11的控制信息并且将控制信息储存在储存器中(在附图中未示出)。请注意，在本示例中，操作对象是作为主装置的操作装置11-1，并且操作装置11-1当然将控制信息保持在操作装置11-1自身中。因此，在步骤S36中，假设存在控制信息，则跳过步骤S37和S38的处理。另外，同样地，在步骤S53中，由于未请求控制信息，因此跳过步骤S54的处理。
在步骤S39中，使用者动作识别单元72基于由眼睛/指尖/目标装置位置检测单元71识别的眼睛、指尖和目标装置的位置的信息的时间序列变化来识别使用者的动作，该动作是对用作目标装置的操作装置11作出的。使用者动作识别单元72随后将识别的动作的信息提供至操作指令判定单元73。
例如，使食指和拇指从手13的打开的状态变成在食指和拇指的指尖处彼此接触，以作出由手13a表示的抓取的动作，并且当将视线从视线L1移动到视线L2时，会识别出将手移动到手13a’，并接着移动到手13’的动作。然后，将识别的动作的信息提供至操作指令判定单元73。
在步骤S40中，当获取由使用者动作识别单元72提供的动作的信息时，操作指令判定单元73在注册在储存于内置存储器的控制信息中的动作中寻找相应的动作，判定(指定)与寻找到的动作相关联的操作指令，并且将作为判定结果的操作指令的信息提供至驱动控制单元74。
换句话说，如图6所示，在使食指和拇指从手13的打开的状态变为在食指和拇指的指尖处彼此接触，从而使手13a的形状类似抓取之后，将手移动到手13a’，然后打开手并移动到手13’，同时将视线从朝向操作装置11-1的视线L1移动到朝向操作装置11-6的视线L2。识别出这种动作目的在于在操作装置11-6上显示用于控制作为目标装置的操作装置11-1的UI。
换句话说，在这种情况下，目标装置为2个装置：作为空调并作为主装置的操作装置11-1；以及作为用于显示控制操作装置11-1用的UI的显示器并作为从装置的操作装置11-6。
在步骤S41中，操作指令判定单元73判断操作指令的信息是否给出针对某些操作的指令。在步骤S41中，如果给出针对某些操作的指令，处理进行到步骤S42。
在步骤S42中，驱动控制单元74基于操作指令的信息来控制通信单元201，以向对应于目标装置的操作装置11发送操作指令。
在步骤S55中，驱动控制单元251控制通信单元231以判断是否接收到操作指令。在步骤S55中，例如，当通过步骤S42的处理发送了操作指令时，处理进行到步骤S56。
在步骤S56中，驱动控制单元51控制驱动单元233以驱动对应于操作指令的操作。
换句话说，例如，用于控制操作装置11-1的操作的UI的显示图像的信息作为操作指令经由通信单元201被发送至作为从装置的操作装置11-6。
例如，在使食指和拇指从手13的打开的状态变为在食指和拇指的指尖处彼此接触，从而使手13a的形状类似抓取之后，将手移动到手13a’，然后打开手并移动到手13'，同时将视线从朝向操作装置11-1的视线L1移动到朝向操作装置11-6的视线L2。为了与这种动作相对应，发送用于使操作装置11-6显示用于控制作为目标装置的操作装置11-1用的UI的操作指令。通过该处理，作为显示器和从装置的操作装置11-6使作为驱动单元233的显示器显示用于控制作为目标装置和空调的操作装置11-1，如图6所示。
另外，在操作指令给出针对作为空调和目标装置的操作装置11-1的指令以执行如图6所示在操作装置11-6上显示的UI菜单所指定的操作的情况下，作为主装置和目标装置的操作装置11-1的驱动控制单元74控制驱动单元52。
通过上述的处理，例如，为了增加压缩机的转数或者风扇的风量，从而改变风量或者温度的设定，驱动指令单元74控制作为目标装置的操作装置11-1的驱动单元52以增加风扇电机的转数。
请注意，在步骤S43中，驱动指令单元74判断操作指令是否给出终止操作的指令。如果操作指令没有指示终止操作的指令，处理返回步骤S31并且重复后续处理。
另外，在步骤S34中，在眼睛、指尖以及目标装置未在直线上对齐时，跳过步骤S35～S42。另外，在步骤S43中，如果操作指令的操作被判定为指示终止，则处理被终止。此时，在步骤S57中，在驱动指令单元251中，操作也被判定为终止。请注意，如果在步骤S57中判定未给出终止的指令，则处理返回步骤S51并且重复后续处理。
另外，在步骤S41中，如果未给出针对某些操作的指令，即，如果未确定操作的内容并且不知晓给出了何种操作指令，由于使用者的动作涉及时间序列动作，并且除非观察所述时间序列动作预定的时间，否则不能确定操作，因此跳过步骤S42的处理。
通过上述的处理，在如图6所示待操作的操作装置不具有显示功能的情况下，使用者可以使用作为从装置的具有显示功能的操作装置来显示UI并且可以控制其它的操作装置。
结果，不需要诸如遥控器等的附属装置，可以仅用眼睛和指尖的直观动作来遥控目标装置。请注意，期望的是作为主装置的操作装置11可以随时进行操作。因此，例如，期望的是，操作装置11总是连接到电源。另外，以上说明如下示例：将主装置设定为操作对象，使从装置显示用于控制主装置的UI，并且通过操作UI来驱动主装置。然而，当然，可以将第一从装置设定为操作对象，可以使具有显示功能的第二从装置显示UI，并且可以操作所显示的UI使得可以控制第一从装置的驱动。在这种情况下，显示UI的第二从装置由于实现了显示UI的功能而也成为待操作的装置。相反地，具有显示功能的主装置可以显示用于控制从装置的操作的UI，并且可以操作所显示的UI使得可以控制作为待操作的装置的从装置的驱动。
《5.第二实施例的第一变形例》
以上说明了如下示例，当待遥控的第一操作装置没有显示UI的功能时，可以经由网络单独地遥控具有显示功能的第二操作装置以显示UI，使得可以遥控第一操作装置。然而，在待遥控的操作装置不需要UI时，操作装置可以直接被遥控而不需要UI。
换句话说，例如，如图9所示，可以提供由幕帘构成的操作装置11-11来代替操作装置11-6，并且在基于成像单元31-1至31-3而使眼睛12和手13处于朝向幕帘的使用者的视线上的状态下，例如，当手13移动至手13’或向在相反的方向移动以给出打开关闭的帘幕或关闭打开的窗帘的指示时，帘幕可被驱动以打开或关闭。
请注意，如图9中所示的示例中的遥控处理与参照图8的流程图说明的处理相同，因此省略其说明。
《6.第二实施例的第二变形例》
另外，如图10所示，在车辆的情景下，车辆内的后座281可以被构造成图7中的驱动单元233。当将视线L11朝向后座281的预定标记并且眼睛12A和指尖13A处于视线L11上的状态下，指尖13A可以在箭头方向上移动以使后座281倾倒。同样地，当指尖13A在箭头的相反方向上移动时，倾倒的后座可以恢复到初始位置。
在这种情况下，后座281可以被构造成单个操作装置11，如图1的示例中的遥控装置。可选地，如图6所示的示例，其中车辆的发动机控制单元(ECU：Engine Control Unit)被构造成主装置并且后座281被构造成从装置的遥控系统可以被构造成起作用。
另外，在图10的情况下，作为操作装置11的车辆包括后视镜271等。在这种情况下，在眼睛12B和指尖13B通过后视镜271而出现在朝向后座281的预定标记的使用者的视线L12上的状态下，指尖13B可以在箭头方向上移动以便倾倒后座。同样地，当指尖13B在箭头的相反方向上移动时，倾倒的后座可以恢复到初始位置。
请注意，期望容易地识别用于控制倾倒的预定标记。另外，虽然以上说明了车辆的后座为操作装置11的示例，但是，本发明不限于此，只要操作装置与使用者距离近即可。例如，操作装置只需要存在于诸如火车、船只、飞机或会场等不可到达的位置，并且涉及遥控。
另外，图10中的遥控处理可以通过与参照图3的流程图说明的遥控处理相同的遥控处理来实现，因此省略其说明。
另外，以上说明了如下示例：将通过成像单元31拍摄的图像用于识别眼睛、手、目标装置以及诸如显示单元等将被使用者遥控的操作装置的位置。然而，也可以使用其它的构造，只要该构造可以测量位置即可。例如，红外像机等可以用于从温度接近人体体温的热源的轮廓中指定眼睛和手的位置。
另外，在不能从由成像单元31拍摄的图像中直接检测诸如使用者的眼睛、手或手指等指示行为的部位的位置的位置关系的情况下，可以提供基于人体形状(头发、耳朵、头、肩、颈、面部方向、呼吸、音、声、人体特征、形状、骨骼结构的估计、肌肉、手臂、肘部、肩部、朝向或可识别的辅助部分或者它们的评估信息)来估计位置并修正位置的功能。
请注意，以上作为变形例说明控制幕帘的打开/关闭以及后座的倾倒的示例。然而，也可以使用其它的构造，只要其可以通过遥控来控制操作即可。例如，可以使用诸如所谓的无人机等的用旋转翼、固定翼等飞行的飞行器、各种机器人真空吸尘器、无线电控制装置、行李分拣装置或虚拟物体(其在虚拟空间中被设定为操作装置)。
《7.视线的修正》
如图11的左部、中间部和右部所示的，视线起自右眼12R、左眼12L或者两者之间的中间位置12C，并终止于目标操作装置或者UI显示位置。
因此，如果提供任何一种设定，能够实现更高精度的遥控。
在这点上，可以通过校准而预先设定以上那些视线中的视线的定义。因此，可以实现更高精度的遥控。
另外，可以基于眼睛的位置以及当动作能够被识别时存在或者不存在误差来进行学习，并可以根据使用者进行修正。
《8.应用例》
<由软件执行的示例>
顺便提及地，可以通过硬件来执行上述一系列处理，并且也可以通过软件来执行这些处理。当通过软件来执行一系列处理时，构成软件的程序从记录介质安装至结合在专用硬件中的计算机中，或安装至例如通过安装各种程序来执行各种功能的通用个人计算机中。
图12示出了通用个人计算机的构造示例。该个人计算机包括中央处理单元(CPU：Central Processing Unit)1001。输入/输出接口1005经由总线1004连接至CPU 1001。只读存储器(ROM：Read Only Memory)1002和随机存储器(RAM：Random Access Memory)1003连接至总线1004。
输入单元1006、输出单元1007、存储单元1008以及通信单元1009连接至输入/输出接口1005，该输入单元包括诸如使用者输入操作命令用的键盘和鼠标等的输入设备，该输出单元将处理操作屏幕或处理结果的图像输出到显示装置，该存储单元包括储存程序或者各种类型信息的硬盘驱动器等，并且该通信单元包括局域网(LAN：Local Area Network)适配器并且经由以互联网为代表的网络进行通信处理。另外，驱动器1010连接至输入/输出接口1005。驱动器1010对诸如磁盘(包括软磁盘)、光盘(包括只读存储器光盘(CD-ROM：Compact Disc-Read Only Memory)和数字多功能光盘(DVD：Digital Versatile Disc))、磁光盘(包括小型磁盘(MD：Mini-Disc))或半导体存储器等的可移动媒介1011读取并写入数据。
CPU 1001根据存储在ROM 1002中的程序或者从诸如磁盘、光盘、磁光盘或者半导体存储器等的可移动媒介1011中读取、安装在存储单元1008中并接着从存储单元1008加载至RAM 1003的程序来执行各种类型的处理。另外，当CPU 1001执行各种类型的处理时，RAM1003适当地存储必要的数据等。
在如上所述构造的计算机中，CPU 1001经由输入/输出接口1005以及总线1004将例如储存在储存单元1008中的程序加载至RAM 1003，并且执行该程序以进行上述一系列处理。
可以通过例如记录在作为封装媒介等的可移动媒介1011上的方式来提供由计算机(CPU 1001)执行的程序。另外，可以通过诸如局域网、因特网以及数字卫星广播系统等的有线或无线的传输媒介来提供程序。
在计算机中，当可移动媒介1011被装载到驱动器1010时，可以经由输入/输出接口1005将程序安装到储存单元1008。另外，程序可以经由有线或者无线传输媒介被通信单元1009接收并且安装在储存单元1008中。另外，程序可以预先安装在ROM 1002或者储存单元1008中。
请注意，由计算机执行的程序可以是按照在本说明书中所说明的顺序按时间顺序处理的程序，或者可以是被并行处理或在必要的时刻处(诸如在执行调用时)被处理的程序。
另外，在本说明书中，系统是指多个构成元件(设备、模块(部件)等)的集合，而不论是否所有构成元件均包含在同一外壳中。因此，容纳在独立的外壳中并且经由网络相互连接的多个设备是系统，而包括在一个外壳中的多个模块的装置也是系统。
请注意，本发明的实施例不限于上述实施例，并且在不脱离本发明的要点的情况下可以对上述实施例进行各种修改。
例如，本发明可以具有云计算的构造，在该构造中，多个设备分担一个功能，并且通过网络协同执行处理。
另外，上述流程图中说明的步骤可以由一个设备执行，或者由多个设备分担并执行。
此外，在一个步骤包括多个处理步骤的情况下，单个步骤的多个处理步骤可以由一个设备执行，或者由多个设备分担并执行。
请注意，本发明还可以具有以下构造。
<1>一种遥控装置，其包括：
位置检测单元，所述位置检测单元用于检测待操作的装置的位置以及使用者的眼睛和手的位置；
使用者动作识别单元，当所述眼睛、所述手和所述装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；
操作指令指定单元，所述操作指令指定单元指定用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的所述动作；以及
驱动指令单元，所述驱动指令单元基于由所述操作指令指定单元指定的所述操作指令来驱动所述待操作的装置。
<2>根据<1>所述的遥控装置，其中，
所述使用者动作识别单元基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的视线，并且在保持所述手位于作为所述视线的直线上的位置关系时，识别所述使用者的动作。
<3>根据<2>所述的遥控装置，其中，
所述使用者动作识别单元基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的视线，并且当保持所述手的预定手指位于作为所述视线的直线上的位置关系时，将所述手在作为所述视线的所述直线上的动作识别为所述使用者的动作。
<4>根据<1>至<3>中任一项所述的遥控装置，其中，
所述待操作的装置进一步包括显示单元，所述显示单元显示UI(用户界面)图像，用以控制所述装置的操作；并且
所述使用者动作识别单元基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到所述装置的所述显示单元上的预定UI图像的视线，并且将保持所述手位于作为所述视线的直线上的位置关系时所述使用者作出的动作识别为所述使用者对所述UI图像的动作。
<5>根据<4>所述的遥控装置，其中，
所述显示单元为所述使用者佩戴的透明型HMD(头戴显示器)；并且
所述使用者动作识别单元基于所述眼睛、所述手和所述装置之间的位置关系来指定所述使用者的从所述眼睛到在用作所述装置的所述显示单元的所述HMD上的预定UI图像的视线，并且将当在所述手位于作为所述视线的直线上的位置关系被保持时在从所述使用者观看到的相对于所述HMD的前方位置处所述使用者作出的动作识别为所述使用者对所述UI图像的动作。
<6>根据<1>至<5>中任一项所述的遥控装置，其中，
当所述位置检测单元未能检测到所述眼睛和所述手中的至少一者的位置时，所述位置检测单元基于被检测的所述使用者的其它身体部位来估计所述眼睛和所述手的位置，并且
当所述眼睛、所述手和所述装置之间的估计的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作。
<7>根据<1>至<6>中任一项所述的遥控装置，其中，
所述位置检测单元包括多个成像单元，所述多个成像单元在多个成像方向上拍摄图像，并且基于由所述多个成像单元拍摄的图像来检测所述待操作的装置以及所述使用者的所述眼睛和所述手的位置。
<8>根据<1>至<7>中任一项所述的遥控装置，其中，
当所述眼睛中的右眼、所述手与所述装置之间的第一位置关系、所述眼睛中的左眼、所述手与所述装置之间的第二位置关系以及所述左眼和所述右眼之间的中间位置、所述手与所述装置之间的第三位置关系中的任一者保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作。
<9>根据<1>所述的遥控装置，进一步包括：
提示单元，所述提示单元向所述使用者提示用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的动作。
<10>根据<9>所述的遥控装置，其中，
所述提示单元包括：显示对应于所述操作指令的UI的显示单元；发出对应于所述操作指令的光的发光单元；输出对应于所述操作指令的声音的声音输出单元；生成对应于所述操作指令的气味的气味生成单元；或者所述待操作的装置的反应或动作，所述反应或所述动作对应于所述操作指令。
<11>一种遥控方法，其包括以下步骤：
检测待操作的装置以及使用者的眼睛和手的位置；
当所述眼睛、所述手和所述装置之间的位置关系保持为预定位置关系时，识别所述使用者的动作；
指定用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的动作；并且
基于指定的所述操作指令来驱动所述待操作的装置。
<12>一种使计算机起以下功能的程序：
位置检测单元，所述位置检测单元用于检测待操作的装置的位置以及使用者的眼睛和手的位置；
使用者动作识别单元，当所述眼睛、所述手和所述装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；
操作指令指定单元，所述操作指令指定单元指定用于所述待操作的装置的操作指令，所述操作指令对应于所述使用者的动作；以及
驱动指令单元，所述驱动指令单元基于由所述操作指令指定单元指定的所述操作指令来驱动所述待操作的装置。
<13>一种遥控系统，其包括：
多个待操作的装置，所述多个待操作的装置包括至少一个主装置和不同的至少一个从装置，
所述主装置包括：
位置检测单元，所述位置检测单元用于检测所述主装置、所述从装置以及使用者的眼睛和手的位置；
使用者动作识别单元，当所述眼睛、所述手与所述主装置之间的位置关系或所述眼睛、所述手与所述从装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；
操作指令指定单元，所述操作指令指定单元指定用于所述主装置或所述从装置的操作指令，所述操作指令对应于所述使用者的动作；
主驱动指令单元，所述主驱动指令单元基于所述操作指令来驱动所述主装置；以及
主通信单元，所述主通信单元向所述从装置发送所述操作指令，所述从装置包括：
从通信单元，所述从通信装置接收从所述主装置发送的用于所述从装置的所述操作指令；以及
从驱动指令单元，所述从驱动指令单元基于所述操作指令来驱动所述从装置。
<14>根据<13>所述的遥控系统，其中，
当所述遥控系统包括第一操作装置和第二操作装置时，所述第一操作装置为所述主装置或所述从装置并具有显示功能，所述第二操作装置为所述主装置或所述从装置并且待被操作；
所述位置检测单元检测所述第一操作装置、所述第二操作装置以及所述使用者的所述手和所述眼睛的位置；
当所述眼睛、所述手与所述第一操作装置之间的位置关系保持为预定的第一位置关系时，所述使用者动作识别单元识别所述使用者的第一预定动作，并且将所述第一操作装置识别为用于显示控制所述第二操作装置的UI的目标装置；
所述操作指令指定单元根据所述使用者的所述第一动作来指定使所述第一操作装置显示用于控制所述第二操作装置的UI的操作指令；
所述主驱动指示单元基于用于显示控制所述第二操作装置的UI的所述操作指令来驱动所述第一操作装置；
当所述眼睛、所述手和所述第二操作装置之间的位置关系保持为预定的第二位置关系时，所述使用者动作识别单元识别所述使用者的第二预定动作，并且将所述第二操作装置识别为用于进行与由所述第一操作装置显示的UI的操作相对应的操作的目标装置；
所述操作指令指定单元根据所述使用者的所述第二动作来指定使所述第二操作装置进行与由所述第一操作装置显示的UI的操作相对应的操作的操作指令；并且
所述主驱动指令单元基于与由所述第一操作装置显示的UI的操作相对应的所述操作指令来驱动所述第二操作装置。
<15>根据<13>所述的遥控系统，其中，
所述从装置为幕帘开闭设备。
<16>根据<13>所述的遥控系统，其中，
所述从装置为用于车辆的后座的倾倒装置。
<17>根据<16>所述的遥控系统，其中，
当所述使用者的视线是通过所述车辆的后视镜朝向作为所述从装置的用于所述后座的所述倾倒装置的视线时，并且当保持所述手位于作为所述视线的直线上的位置关系时，所述使用者动作识别单元基于所述眼睛、所述手和所述从装置之间的位置关系来识别所述使用者的动作，所述倾斜装置为所述从装置。
<18>根据<13>所述的遥控系统，其中，
所述从装置包括用旋转翼或固定翼飞行的飞行器、各种机器人真空吸尘器、无线电控制装置、行李分拣装置和虚拟物体。
附图标记列表
11、11-1～11-6、11-11 操作装置
12、12A、12B、12’ 眼睛
13、13A、13B、13’ 手
13a、13a’ 指尖
31 成像单元
32 显示单元
51 控制单元
52 驱动单元
71 眼睛/指尖/目标装置位置检测单元
72 使用者动作识别单元
73 操作指令判定单元
74 驱动指令单元
91 显示单元
111 成像单元
121 网络
201 通信单元
231 通信单元
232 控制单元
233 驱动单元
251 驱动控制单元
281 后座

Claims (11)

1.一种遥控系统，其包括：
多个待操作的装置，所述多个待操作的装置包括至少一个主装置和不同的至少一个从装置，
所述主装置包括：
位置检测单元，所述位置检测单元用于检测所述主装置、所述从装置以及使用者的眼睛和手的位置；
使用者动作识别单元，当所述眼睛、所述手与所述主装置之间的位置关系或所述眼睛、所述手与所述从装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；
操作指令指定单元，所述操作指令指定单元指定用于所述主装置或所述从装置的操作指令，所述操作指令对应于所述使用者的动作；
主驱动指令单元，所述主驱动指令单元基于所述操作指令来驱动所述主装置；以及
主通信单元，所述主通信单元向所述从装置发送所述操作指令，所述从装置包括：
从通信单元，所述从通信装置接收从所述主装置发送的用于所述从装置的所述操作指令；以及
从驱动指令单元，所述从驱动指令单元基于从所述主装置发送的所述操作指令来驱动所述从装置，其中，
当所述遥控系统包括第一操作装置和第二操作装置时，所述第一操作装置为所述主装置或所述从装置并具有显示功能，所述第二操作装置为所述主装置或所述从装置并且待被操作；
所述位置检测单元检测所述第一操作装置、所述第二操作装置以及所述使用者的所述手和所述眼睛的位置；
当所述眼睛、所述手与所述第一操作装置之间的位置关系保持为预定的第一位置关系时，所述使用者动作识别单元识别所述使用者的第一预定动作，并且将所述第一操作装置识别为用于显示控制所述第二操作装置的UI的目标装置；
所述操作指令指定单元根据所述使用者的所述第一预定动作来指定使所述第一操作装置显示用于控制所述第二操作装置的UI的操作指令；
所述主驱动指示单元基于用于显示控制所述第二操作装置的UI的所述操作指令来驱动所述第一操作装置；
当所述眼睛、所述手和所述第二操作装置之间的位置关系保持为预定的第二位置关系时，所述使用者动作识别单元识别所述使用者的第二预定动作，并且将所述第二操作装置识别为用于进行与由所述第一操作装置显示的UI的操作相对应的操作的目标装置；
所述操作指令指定单元根据所述使用者的所述第二预定动作来指定使所述第二操作装置进行与由所述第一操作装置显示的UI的操作相对应的操作的操作指令；并且
所述主驱动指令单元基于与由所述第一操作装置显示的UI的操作相对应的所述操作指令来驱动所述第二操作装置。
2.根据权利要求1所述的遥控系统，其中，
所述从装置为幕帘开闭设备。
3.根据权利要求1所述的遥控系统，其中，
所述从装置为用于车辆的后座的倾倒装置。
4.根据权利要求3所述的遥控系统，其中，
当所述使用者的视线是通过所述车辆的后视镜朝向作为所述从装置的用于所述后座的所述倾倒装置的视线时，并且当保持所述手位于作为所述视线的直线上的位置关系时，所述使用者动作识别单元基于所述眼睛、所述手和所述从装置之间的位置关系来识别所述使用者的动作。
5.根据权利要求1所述的遥控系统，其中，
所述从装置包括用旋转翼或固定翼飞行的飞行器、各种扫地机器人、无线电控制装置、行李分拣装置和虚拟物体。
6.一种遥控系统的遥控方法，所述遥控系统包括：
多个待操作的装置，所述多个待操作的装置包括至少一个主装置和不同的至少一个从装置，
所述主装置包括：
位置检测单元，所述位置检测单元用于检测所述主装置、所述从装置以及使用者的眼睛和手的位置；
使用者动作识别单元，当所述眼睛、所述手与所述主装置之间的位置关系或所述眼睛、所述手与所述从装置之间的位置关系保持为预定位置关系时，所述使用者动作识别单元识别所述使用者的动作；
操作指令指定单元，所述操作指令指定单元指定用于所述主装置或所述从装置的操作指令，所述操作指令对应于所述使用者的动作；
主驱动指令单元，所述主驱动指令单元基于所述操作指令来驱动所述主装置；以及
主通信单元，所述主通信单元向所述从装置发送所述操作指令，所述从装置包括：
从通信单元，所述从通信装置接收从所述主装置发送的用于所述从装置的所述操作指令；以及
从驱动指令单元，所述从驱动指令单元基于从所述主装置发送的所述操作指令来驱动所述从装置，其中，
当所述遥控系统包括第一操作装置和第二操作装置时，所述第一操作装置为所述主装置或所述从装置并具有显示功能，所述第二操作装置为所述主装置或所述从装置并且待被操作；
所述位置检测单元检测所述第一操作装置、所述第二操作装置以及所述使用者的所述手和所述眼睛的位置；
当所述眼睛、所述手与所述第一操作装置之间的位置关系保持为预定的第一位置关系时，所述使用者动作识别单元识别所述使用者的第一预定动作，并且将所述第一操作装置识别为用于显示控制所述第二操作装置的UI的目标装置；
所述操作指令指定单元根据所述使用者的所述第一预定动作来指定使所述第一操作装置显示用于控制所述第二操作装置的UI的操作指令；
所述主驱动指示单元基于用于显示控制所述第二操作装置的UI的所述操作指令来驱动所述第一操作装置；
当所述眼睛、所述手和所述第二操作装置之间的位置关系保持为预定的第二位置关系时，所述使用者动作识别单元识别所述使用者的第二预定动作，并且将所述第二操作装置识别为用于进行与由所述第一操作装置显示的UI的操作相对应的操作的目标装置；
所述操作指令指定单元根据所述使用者的所述第二预定动作来指定使所述第二操作装置进行与由所述第一操作装置显示的UI的操作相对应的操作的操作指令；并且
所述主驱动指令单元基于与由所述第一操作装置显示的UI的操作相对应的所述操作指令来驱动所述第二操作装置。
7.根据权利要求6所述的遥控方法，其中，
所述从装置为幕帘开闭设备。
8.根据权利要求6所述的遥控方法，其中，
所述从装置为用于车辆的后座的倾倒装置。
9.根据权利要求8所述的遥控方法，其中，
当所述使用者的视线是通过所述车辆的后视镜朝向作为所述从装置的用于所述后座的所述倾倒装置的视线时，并且当保持所述手位于作为所述视线的直线上的位置关系时，所述使用者动作识别单元基于所述眼睛、所述手和所述从装置之间的位置关系来识别所述使用者的动作。
10.根据权利要求6所述的遥控方法，其中，
所述从装置包括用旋转翼或固定翼飞行的飞行器、各种扫地机器人、无线电控制装置、行李分拣装置和虚拟物体。
11.一种记录介质，其安装有使计算机起到操作遥控方法的程序，所述遥控方法是根据权利要求6-10中任一项所述的遥控方法。
CN201780002498.7A 2016-02-23 2017-02-10 遥控系统、遥控方法和记录介质 Active CN107924239B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016031983 2016-02-23
JP2016-031983 2016-02-23
PCT/JP2017/004845 WO2017145787A1 (ja) 2016-02-23 2017-02-10 遠隔操作装置、および遠隔操作方法、遠隔操作システム、並びにプログラム

Publications (2)

Publication Number Publication Date
CN107924239A CN107924239A (zh) 2018-04-17
CN107924239B true CN107924239B (zh) 2022-03-18

Family

ID=59686637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002498.7A Active CN107924239B (zh) 2016-02-23 2017-02-10 遥控系统、遥控方法和记录介质

Country Status (5)

Country Link
US (1) US20180217671A1 (zh)
EP (1) EP3422152A4 (zh)
JP (1) JP6859999B2 (zh)
CN (1) CN107924239B (zh)
WO (1) WO2017145787A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019003228A (ja) * 2017-06-09 2019-01-10 富士通株式会社 機器連携システム、機器連携装置、機器連携方法及び機器連携プログラム
JP6891741B2 (ja) * 2017-09-04 2021-06-18 トヨタ自動車株式会社 マスタスレーブロボットの動作終了方法
JP2019139465A (ja) * 2018-02-09 2019-08-22 ソニー株式会社 制御装置、制御方法及びプログラム
CN110889315B (zh) * 2018-09-10 2023-04-28 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及系统
CN110045904A (zh) * 2018-11-14 2019-07-23 蔚来汽车有限公司 人机交互系统、方法及包括该系统的车辆
JP7159903B2 (ja) * 2019-02-19 2022-10-25 コベルコ建機株式会社 目標位置推測装置
JP7393427B2 (ja) 2019-06-10 2023-12-06 マクセル株式会社 操作支援システム
CN113299416A (zh) * 2021-04-29 2021-08-24 中核核电运行管理有限公司 一种核电厂操作人员操作意图智能识别系统及方法
TWI802115B (zh) * 2021-11-30 2023-05-11 仁寶電腦工業股份有限公司 無人機的控制裝置及其控制方法
EP4468120A1 (en) * 2023-05-24 2024-11-27 Leica Instruments (Singapore) Pte. Ltd. System, method, and computer program for controlling a user interface
WO2024240812A1 (en) * 2023-05-24 2024-11-28 Leica Instruments (Singapore) Pte. Ltd. System, method, and computer program for controlling a user interface
EP4468119A1 (en) * 2023-05-24 2024-11-27 Leica Instruments (Singapore) Pte. Ltd. System, method, and computer program for controlling a user interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246856A (ja) * 2002-12-18 2004-09-02 National Institute Of Advanced Industrial & Technology インタフェース装置
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的系统和方法
WO2015008164A2 (en) * 2013-06-27 2015-01-22 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
EP2843508A1 (en) * 2013-08-30 2015-03-04 LG Electronics, Inc. Wearable glasses-type terminal and system having the same
CN104813258A (zh) * 2012-11-22 2015-07-29 夏普株式会社 数据输入装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4413203B2 (ja) 2006-05-08 2010-02-10 富士通株式会社 画像呈示装置
JP4845755B2 (ja) * 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5791131B2 (ja) 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
KR101231510B1 (ko) * 2010-10-11 2013-02-07 현대자동차주식회사 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
JP5730086B2 (ja) * 2011-03-18 2015-06-03 Ｎｅｃパーソナルコンピュータ株式会社 入力装置および入力方法
US9030425B2 (en) * 2011-04-19 2015-05-12 Sony Computer Entertainment Inc. Detection of interaction with virtual object from finger color change
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US9377937B2 (en) * 2012-04-06 2016-06-28 Samsung Electronics Co., Ltd. Method and device for executing object on display
EP2857939B1 (en) * 2012-05-25 2018-08-29 National University Corporation Shizuoka University Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method
WO2014147715A1 (ja) * 2013-03-18 2014-09-25 株式会社 東芝 情報処理装置、制御方法およびプログラム
WO2015037273A1 (ja) * 2013-09-12 2015-03-19 三菱電機株式会社 操作入力装置及び方法、並びにプログラム及び記録媒体
JP6428020B2 (ja) * 2014-07-24 2018-11-28 セイコーエプソン株式会社 Ｇｕｉ装置
US10317775B2 (en) * 2014-10-03 2019-06-11 Andra Motion Technologies Inc. System and techniques for image capture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246856A (ja) * 2002-12-18 2004-09-02 National Institute Of Advanced Industrial & Technology インタフェース装置
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的系统和方法
CN104813258A (zh) * 2012-11-22 2015-07-29 夏普株式会社 数据输入装置
WO2015008164A2 (en) * 2013-06-27 2015-01-22 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
EP2843508A1 (en) * 2013-08-30 2015-03-04 LG Electronics, Inc. Wearable glasses-type terminal and system having the same

Also Published As

Publication number Publication date
JP6859999B2 (ja) 2021-04-14
WO2017145787A1 (ja) 2017-08-31
US20180217671A1 (en) 2018-08-02
EP3422152A4 (en) 2020-03-11
JPWO2017145787A1 (ja) 2018-12-13
EP3422152A1 (en) 2019-01-02
CN107924239A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
CN107924239B (zh) 遥控系统、遥控方法和记录介质
US9891715B2 (en) Information processor, information processing method and program
US10394334B2 (en) Gesture-based control system
CN108170279B (zh) 头显设备的眼动和头动交互方法
CN110647237A (zh) 在人工现实环境中基于手势的内容共享
US20110187643A1 (en) User interface system based on pointing device
CN110209309B (zh) 信息处理装置及存储程序的计算机可读介质
US20180005445A1 (en) Augmenting a Moveable Entity with a Hologram
US10438399B2 (en) Paired local and global user interfaces for an improved augmented reality experience
EP4189526B1 (en) Systems and methods for object tracking using fused data
JP2018142090A (ja) キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システム
US20210034162A1 (en) Control device, control method, and program
CN110543234A (zh) 信息处理装置和非暂时性计算机可读介质
US20180164895A1 (en) Remote control apparatus, remote control method, remote control system, and program
CN111819841B (zh) 信息处理装置、信息处理方法和存储介质
JP7165604B2 (ja) 仮想オブジェクト出力装置及び仮想オブジェクト出力方法
CN118647957A (zh) 信息处理装置和信息处理方法
WO2021106552A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021131950A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2025007855A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム
WO2025024476A1 (en) Systems, devices, and methods for audio presentation in a three-dimensional environment
CN117011928A (zh) 一种空调控制方法、系统、电子设备和车辆
JP2019139793A (ja) キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant