CN110543233B - 信息处理设备和非暂时性计算机可读介质 - Google Patents

信息处理设备和非暂时性计算机可读介质 Download PDF

Info

Publication number
CN110543233B
CN110543233B CN201811546913.8A CN201811546913A CN110543233B CN 110543233 B CN110543233 B CN 110543233B CN 201811546913 A CN201811546913 A CN 201811546913A CN 110543233 B CN110543233 B CN 110543233B
Authority
CN
China
Prior art keywords
user
image
information processing
processing apparatus
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811546913.8A
Other languages
English (en)
Other versions
CN110543233A (zh
Inventor
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Publication of CN110543233A publication Critical patent/CN110543233A/zh
Application granted granted Critical
Publication of CN110543233B publication Critical patent/CN110543233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/327—Initiating, continuing or ending a single-mode communication; Handshaking therefor
    • H04N1/32765—Initiating a communication
    • H04N1/32771—Initiating a communication in response to a request, e.g. for a particular document
    • H04N1/32776—Initiating a communication in response to a request, e.g. for a particular document using an interactive, user-operated device, e.g. a computer terminal, mobile telephone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1238—Secure printing, e.g. user identification, user rights for device usage, unallowed content, blanking portions or fields of a page, releasing held jobs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1268—Job submission, e.g. submitting print job order or request not the print data itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开涉及信息处理设备和非暂时性计算机可读介质。该信息处理设备包括检测单元和控制单元。检测单元检测在显示待操作的物体的图像的显示面与用户之间由用户进行的运动。该运动是在不接触显示面的情况下进行的。控制单元指示物体执行与检测到的用户的运动对应的操作。

Description

信息处理设备和非暂时性计算机可读介质
技术领域
本公开涉及一种信息处理设备和非暂时性计算机可读介质。
背景技术
存在这样的技术，其识别其图像被包括在通过使用由用户操作的便携式装置中内置的摄像头拍摄的图像中的装置，并且将与识别到的装置对应的虚拟用户界面显示在增强现实空间中，以使得能够通过该虚拟用户界面操作该装置。(例如，参见日本特开2013-172432号公报)
发明内容
基于用户通过接触给出的指示来操作该装置。
本公开使得可以在不使用用户通过接触进行的操作的情况下操作实际空间中存在的物体。
根据本公开的第一方面，提供了一种信息处理设备，该信息处理设备包括：检测单元，该检测单元检测用户在显示待操作的物体的图像的显示面与用户之间进行的运动，该运动是在不接触显示面的情况下进行的；以及控制单元，该控制单元指示物体执行与检测到的用户的运动对应的操作。
根据本公开的第二方面，提供了根据第一方面所述的信息处理设备，其中，基于所拍摄的图像将物体的图像显示在显示面上。
根据本公开的第三方面，提供了根据第一方面所述的信息处理设备，其中，检测单元通过处理所拍摄的图像来检测用户的手或者手指的运动。
根据本公开的第四方面，提供了根据第一方面所述的信息处理设备，其中，检测单元通过使用测得的距离有关的信息来检测用户的手或者手指的运动。
根据本公开的第五方面，提供了根据第一方面所述的信息处理设备，其中，将用户的手或者手指的图像与物体的图像重叠地显示在显示面上。
根据本公开的第六方面，提供了根据第一方面所述的信息处理设备，其中，针对物体的各相应部分准备与用户的运动对应的操作。
根据本公开的第七方面，提供了根据第一方面所述的信息处理设备，其中，在用户被允许操作物体的情况下，控制单元指示物体执行操作。
根据本公开的第八方面，提供了根据第一方面所述的信息处理设备，其中，在物体不能执行与检测到的用户的运动对应的操作的情况下，通知用户。
根据本公开的第九方面，提供了根据第八方面所述的信息处理设备，其中，把正确操作物体的方法通知给用户。
根据本公开的第十方面，提供了根据第一方面所述的信息处理设备，其中，控制单元根据物体来确定与检测到的用户的运动对应的操作的内容。
根据本公开的第十一方面，提供了根据第一方面所述的信息处理设备，其中，控制单元获取通过与物体通信即可操作的物体的功能。
根据本公开的第十二方面，提供了根据第一方面所述的信息处理设备，其中，控制单元把建议用户的身体部位的指示重叠显示在物体上。
根据本公开的第十三方面，提供了根据第一方面所述的信息处理设备，其中，控制单元向用户通知已经接收到用户的运动作为操作。
根据本公开的第十四方面，提供了根据第十三方面所述的信息处理设备，其中，在用户相对于所述显示面非接触地移动了的身体部位处通过触觉对所述用户进行通知。
根据本公开的第十五方面，提供了根据第十三方面所述的信息处理设备，其中，控制单元对于运动已被接受为操作的身体部位，按照与接受前不同的方式进行显示。
根据本公开的第十六方面，提供了根据第一方面所述的信息处理设备，其中，控制单元把用于操作物体的装备重叠显示在用户的身体上。
根据本公开的第十七方面，提供了根据第一方面所述的信息处理设备，其中，控制单元把与物体所在的环境匹配的装备重叠显示在用户的身体上。
根据本公开的第十八方面，提供了根据第一方面所述的信息处理设备，其中，在与用户的运动对应的操作需要对物体进行物理操作的情况下，控制单元指示具有可动部的不同装置执行该操作。
根据本公开的第十九方面，提供了根据第一方面所述的信息处理设备，其中，在显示面上显示的物体的图像是：通过对图像中的待操作的物体的图像进行进一步拍摄而得到的图像。
根据本公开的第二十方面，提供了根据第一方面所述的信息处理设备，其中，显示面形成在空中。
根据本公开的第二十一方面，提供了根据第一方面所述的信息处理设备，其中，显示面被显示为增强现实或者混合现实。
根据本公开的第二十二方面，提供了一种信息处理设备，该信息处理设备包括：检测单元，检测单元检测用户在不接触待操作的物体的情况下执行的运动；以及控制单元，控制单元根据是在显示物体的图像的显示面与用户之间检测到用户的运动、还是在图像中拍摄到物体的显示面与物体之间检测到该运动，来切换指示物体进行的操作的内容。
根据本公开的第二十三方面，提供了根据第二十二方面所述的信息处理设备，其中，在显示面与用户之间检测到的用户的运动和在显示面与物体之间检测到的用户的运动与物体的不同部分相关。
根据本公开的第二十四方面，提供了根据第二十三方面所述的信息处理设备，其中，在显示面与用户之间检测到的用户的运动与物体的在当从用户看时近前侧上的面相关；以及在显示面与物体之间检测到的用户的运动与物体的在当从用户看时进深侧上的面相关。
根据本公开的第二十五方面，提供了根据第二十二方面所述的信息处理设备，其中，在显示面与用户之间检测到的用户的运动和在显示面与物体之间检测到的用户的运动与物体的相同部分相关。
根据本公开的第二十六方面，提供了根据第二十二方面所述的信息处理设备，其中，控制单元仅基于在显示面与用户之间检测到的用户的运动或者仅基于在显示面与物体之间检测到的用户的运动，作为有效运动，来指示物体。
根据本公开的第二十七方面，提供了根据第二十六方面所述的信息处理设备，其中，针对各种功能，设置被视为有效运动的运动检测的位置。
根据本公开的第二十八方面，提供了根据第二十六方面所述的信息处理设备，其中，由用户指定被视为有效运动的运动检测的位置。
根据本公开的第二十九方面，提供了一种存储程序的非暂时性计算机可读介质，该程序使计算机执行处理，该处理包括：检测在显示待操作的物体的图像的显示面与用户之间由用户进行的运动，该运动是在不接触显示面的情况下进行的；以及指示物体执行与检测到的用户的运动对应的操作。
根据本公开的第三十方面，提供了一种存储程序的非暂时性计算机可读介质，该程序使计算机执行处理，该处理包括：检测用户在不接触待操作的物体的情况下执行的运动；以及根据是在显示物体的图像的显示面与用户之间检测到用户的运动还是在图像中拍摄到物体的显示面与物体之间检测到该运动，来切指示换物体进行的操作的内容。
根据本公开的第一方面，使得可以在不使用用户通过接触进行的操作的情况下，操作实际空间中存在的物体。
根据本公开的第二方面，使得可以在不使用用户通过接触进行的操作的情况下，操作实际空间中存在的物体。
根据本公开的第三方面，使得可以在不使用用户通过接触进行的操作的情况下，操作实际空间中存在的物体。
根据本公开的第四方面，使得可以在不使用用户通过接触进行的操作的情况下，操作实际空间中存在的物体。
根据本公开的第五方面，用户能够确认画面上在他/她自己的手或者手指与待操作的物体之间的位置关系。
根据本公开的第六方面，可以针对各个部分进行不同的操作。
根据本公开的第七方面，还可以支持要求权限的操作。
根据本公开的第八方面，可以将错误的操作通知给用户。
根据本公开的第九方面，可以提醒用户进行正确的操作。
根据本公开的第十方面，用户能够操作甚至不同的物体。
根据本公开的第十一方面，控制单元能够指示与物体的功能匹配的操作。
根据本公开的第十二方面，用户能够确认画面上的物体的同时操作物体。
根据本公开的第十三方面，用户能够确认对操作的确定。
根据本公开的第十四方面，用户能够确认对操作的确定。
根据本公开的第十五方面，用户能够确认对操作的确定。
根据本公开的第十六方面，可以增强真实感。
根据本公开的第十七方面，可以增强真实感。
根据本公开的第十八方面，控制单元能够指示执行甚至要求物理接触的操作。
根据本公开的第十九方面，用户能够操作甚至不在他/她眼前的物体。
根据本公开的第二十方面，使得可以在不使用用户通过接触进行的操作的情况下操作实际空间中存在的物体。
根据本公开的第二十一方面，使得可以在不使用用户通过接触进行的操作的情况下，操作实际空间中存在的物体。
根据本公开的第二十二方面，使得可以在不使用用户通过接触进行的操作的情况下，操作实际空间中存在的物体。
根据本公开的第二十三方面，可以减少误操作。
根据本公开的第二十四方面，可以减少误操作。
根据本公开的第二十五方面，可以根据检测到用户的运动的位置来切换操作的内容。
根据本公开的第二十六方面，可以根据检测到用户的运动的位置来进行有效操作与无效操作之间的切换。
根据本公开的第二十七方面，可以针对各种功能来进行有效操作与无效操作之间的切换。
根据本公开的第二十八方面，可以减少用户进行的误操作。
根据本公开的第二十九方面，使得可以在不使用用户通过接触进行的操作的情况下，操作实际空间中存在的物体。
根据本公开的第三十方面，使得可以在不使用用户通过接触进行的操作的情况下，操作实际空间中存在的物体。
附图说明
下面将基于以下附图来详细描述本公开的示例性实施例，其中：
图1图示了根据第一示例性实施例的系统的示例；
图2图示了右手与智能手机之间的位置关系；
图3图示了图像形成设备的硬件配置的示例；
图4图示了智能手机的硬件配置的示例；
图5图示了处理电路部通过执行程序实施的功能配置的示例；
图6是图示了处理电路部执行的处理操作的示例的流程图；
图7图示了在不触摸显示图像形成设备的图像作为操作目标的液晶显示器的情况下，操作图像形成设备的示例；
图8图示了在不触摸显示图像形成设备的图像作为操作目标的液晶显示器的情况下，通过在空中向前移动食指来操作图像形成设备的示例；
图9图示了将接收了操作通知给用户的不同方法；
图10图示了将接收了操作通知给用户的不同方法；
图11图示了将接收了操作通知给用户的不同方法；
图12图示了不将食指图像显示在液晶显示器上的方法；
图13图示了不将食指图像显示在液晶显示器上的不同方法；
图14图示了建议由智能手机检测到的食指的位置的方法的示例；
图15图示了操作目标是具有通信功能的计算器的情况。
图16图示了操作目标是杆的情况。
图17图示了操作目标是杆的情况的不同示例。
图18图示了操作目标是绕着铰接部分打开和关闭的单扇平开门的情况；
图19图示了通过使用智能手机拍摄用户进行运动以在空中推出其右手的图像，来略微打开单扇平开门的状态；
图20图示了通过使用智能手机拍摄用户进行运动以在空中推出其右手的图像，来大大打开单扇平开门的状态；
图21图示了单扇平开门设置有杆类型的手柄(杆式手柄)的情况；
图22图示了通知用户甚至在单扇平开门被打开到最大可允许角度之后还检测到连续推动手势的功能的示例；
图23图示了图像拍摄目标是照明器材的情况；
图24图示了图像拍摄目标是用于打开照明器材的开关的情况；
图25图示了图像拍摄目标是显示在显示设备上的计算器图像的情况；
图26图示了通过使用智能手机拍摄到图像中的用户的运动与对显示在液晶显示器上的操作元件的操作相关联的示例；
图27图示了根据第二示例性实施例的系统的示例；
图28图示了在第二示例性实施例中使用的眼镜式终端的结构的示例；
图29图示了在第二示例性实施例中使用的眼镜式终端的硬件配置的示例；
图30图示了将保险柜拍摄到图像中作为操作目标的情况；
图31图示了保险柜的硬件配置的示例；
图32是图示了微处理单元(MPU)执行的处理操作的示例的流程图；
图33图示了根据第四示例性实施例的系统的示例；
图34图示了智能手机接收用户的身体部位的运动作为对如针对前面讨论的示例性实施例所描述的单扇平开门的操作的情况；
图35图示了多个用户经由网络分享有关操作的信息的方案；
图36图示了通过使用三个智能手机中的一个智能手机将单扇平开门推开的情况；
图37图示了在这三个智能手机之间分享单扇平开门是打开的状态的场景；
图38图示了通过手势提供移动盆栽植物的指令的情况；
图39图示了机器人的硬件配置；
图40图示了如何使用机器人来移动盆栽植物；
图41图示了面向图像形成设备的位置的不同示例；
图42图示了通过手势来打开和关闭纸张容纳部的示例；
图43图示了设置有对打印的纸张进行打孔处理或者装订处理的机构的情况的操作示例；
图44A至图44C图示了在通过食指图像选择了后处理设备图像的情况下在显示部上产生的画面变化，其中，图44A图示了在接收到食指图像做出的手势之前的显示，图44B图示了在接收到食指图像做出的手势之后的显示，并且图44C图示了接收到手势进行的操作的智能手机的画面的示例；
图45图示了根据第九示例性实施例的系统的示例；
图46图示了右手与智能手机之间的位置关系；
图47A和图47B图示了在两种类型的操作方法之间的切换，其中，图47A图示了在空中在液晶显示器与用户之间移动右手的方法，并且图47B图示了在空中在智能手机与图像形成设备之间移动右手的方法；
图48A和图48B图示了在相对于智能手机近前侧上进行操作的情况与在相对于智能手机进深侧上进行操作的情况之间切换作为操作目标的物体的一部分的情况，其中，图48A图示了在液晶显示器与用户之间执行由用户进行的操作的情况下的关系，并且图48B图示了在智能手机与图像形成设备之间执行由用户进行的操作的情况下的关系；
图49A和图49B图示了在相对于智能手机近前侧上进行操作的情况与在相对于智能手机进深侧上进行操作的情况之间切换操作模式的情况，其中，图49A图示了在液晶显示器与用户之间执行用户进行的操作的情况下的关系，并且图49B图示了在智能手机与图像形成设备之间执行由用户进行的操作的情况下的关系；
图50A和图50B图示了根据在相对于智能手机近前侧上进行操作的情况和在相对于智能手机进深侧上进行操作的情况将操作设置为有效和无效的情况，其中，图50A图示了在液晶显示器与用户之间执行用户进行的操作的情况，并且图50B图示了在智能手机与图像形成设备之间执行由用户进行的操作的情况；
图51图示了在液晶显示器上显示的设置画面的示例；
图52图示了针对各种功能确定要检测手势的位置的设置的画面的示例；
图53图示了根据第十一示例性实施例的空中图像形成系统的示意配置；
图54图示了形成空中图像的便携式装置的示例；
图55A和图55B图示了通过将右手移到相对于空中图像近前侧上的位置来操作物体的示例，其中，图55A图示了从用户看时空中图像和右手看起来的样子，并且图55B图示了在用户、空中图像和右手之间的位置关系；
图56A和图56B图示了通过将右手移到相对于空中图像进深侧上的位置来操作物体的示例，其中，图56A图示了从用户看时空中图像和右手看起来的样子，并且图56B图示了在用户、空中图像和右手之间的位置关系；
图57A和图57B图示了通过使从显示装置输出的光通过专用光学板来形成空中图像的空中图像形成设备的原理，其中，图57A图示了在部件与空中图像之间的位置关系，并且图57B图示了光学板的剖面结构的一部分，此处，显示装置和光学板分别是光学组件的示例；
图58图示了形成三维图像作为空中图像的空中图像形成设备的原理；
图59A和图59B图示了使用微反射镜阵列形成空中图像的空中图像形成设备的原理，该微反射镜阵列具有如下结构：构成二面角反射器的微小矩形孔在平面内等间隔排列，其中，图59A图示了在部件与空中图像之间的位置关系，并且图57B图示了放大后的微反射镜阵列的一部分；
图60图示了使用分束器和逆反射片的空中图像形成设备的原理；以及
图61图示了形成空中图像作为等离子体发光二极管类集的空中图像形成设备的原理。
具体实施方式
下面将参照附图来详细描述本公开的示例性实施例。
<第一示例性实施例>
<系统示例>
将参照图1和图2来描述根据第一示例性实施例的整个系统的配置和在用户与装置之间的位置关系。
图1图示了根据第一示例性实施例的系统的示例。
图2图示了右手302与智能手机200之间的位置关系。
根据第一示例性实施例的系统包括：在记录介质(下文中有时会代表性地称为“纸张”)上形成图像的图像形成设备100；和拍摄图像形成设备100的图像的智能手机200。
在本示例性实施例的情况下，用户300通过智能手机200来操作作为操作目标的图像形成设备100。
在本示例性实施例的情况下，如图1和图2所示，用户300在左手301拿着智能手机200的同时在空中移动右手302，将图形形成设备100上的操作输入至智能手机200。
用户300可以在右手302拿着智能手机200的同时在空中移动左手301。
如图1和图2所示，用于输入操作的右手302放置在用户300的头部与智能手机200之间，并且不与智能手机200的显示面接触。
根据本示例性实施例的智能手机200检测用户的右手302(例如，食指)的运动，并且指示图像形成设备100执行与运动检测对应的操作。即，用户在不触摸图像形成设备100的操作面和智能手机200的操作面的情况下在图像形成设备100上输入的操作。
然而，应该注意，左手301与智能手机200接触。
图像形成设备100具有生成副本的复印功能、读取文档的图像的扫描功能、将传真图像发送至不同装置和从不同装置接收传真图像的传真发送/接收功能、将图像记录在纸张上的打印功能等。通过将扫描功能和打印功能相结合来实施复印功能。
图像形成设备100不必具有复印功能、扫描功能、和传真发送/接收功能中的所有功能，并且例如，图像形成设备100可以是专注这些功能中的其中一种功能的设备，诸如复印机、扫描仪、传真发送器/接收器、或者打印机(包括三维打印机)。图像形成设备100还可以是具有选自这些功能中的多种功能的组合的设备。
图像形成设备100包括：用于接收来自用户300的操作并且将各种类型的信息呈现给用户300的用户界面部110、读取文档的图像的图像读取单元120、将图像记录在纸张上的图像形成单元130、以及容纳纸张的容纳部140。
智能手机200是便携式终端设备，并且包括用于拍摄图像的摄像头、显示屏、通信功能等，稍后会讨论。
图像形成设备100的图像100A显示在智能手机200的显示屏上，如图1所示。
此处，图像形成设备100是真实空间存在的作为操作目标的物体的示例，并且智能手机200是与用户300接触使用的信息处理设备的示例。
<图像形成设备的配置>
图3图示了图像形成设备100的硬件配置的示例。
图3中与图1对应的部分用对应的附图标记表示。
用户界面部110包括用于显示操作画面等的显示部111、和接收用户输入的操作的操作接收部112。
例如，显示部111包括液晶显示面板、有机电致发光(EL：electro-luminescence)显示面板等。
操作接收部112包括接收由用户输入的操作的按钮、触摸板等。
图像读取单元120包括：从文档读取图像的图像读取部、和将文档传输至图像读取部的文档传输部。图像读取单元120设置在图像形成单元130顶部。
图像形成单元130包括：用作控制部的微处理单元(MPU)131、只读存储器(ROM)132、和随机存取存储器(RAM)133。
MPU 131通过执行从ROM 132读取的程序(诸如固件)来提供各种类型的功能。RAM133用作程序的工作区域。
此外，图像形成单元130包括：用于存储图像数据等的存储部134、对图像数据进行颜色校正和色调校正等图像处理的图像处理部135、使用电子照相系统或者喷墨系统将图像形成在纸张上的图像形成部136、用于外部通信的通信部137等。
存储部134包括非易失性存储介质，诸如硬盘设备或者半导体存储器。存储部134存储通过图像读取单元120读取的文档的图像数据、和通过通信部137接收到的图像数据。
例如，图像处理部135包括专用处理器或者处理板。
通信部137包括局域网(LAN)接口或者用于传真通信网络服务的接口。LAN接口用于与前面讨论的智能手机200(见图1)通信。
MPU 131、ROM 132、RAM 133、存储部134、图像处理部135、图像形成部136、和通信部137通过总线138彼此连接。前面讨论的用户界面部110和图像读取单元120通过接口139连接至总线138。
<智能手机的配置>
图4图示了智能手机200的硬件配置的示例。
智能手机200包括处理数据的处理电路部210、存储程序和数据的非易失性存储器221、接收和输出音频信号的音频电路222、显示图像的液晶显示器(LCD)223、电源控制装置224、拍摄图像的两个摄像头225A和225B、检测与操作面的接触的触摸板226、发送和接收符合Wi-Fi(注册商标)标准的无线信号的Wi-Fi(无线保真)模块227、发送和接收符合Bluetooth(注册商标)标准(其是近场通信标准中的一种)的无线信号的Bluetooth(注册商标)模块228、以及向未与物体接触的身体部位给出人工触觉的空中触觉模块229。
在本示例性实施例的情况下，设置有用于拍摄图像形成设备100的图像的摄像头225A的面、和设置有液晶显示器223的面，分别是前面和后面。
这使用户能够在确认液晶显示器223上的图像的同时，使用摄像头225A拍摄真实空间中存在的物体(例如，图像形成设备)的图像和用户自己的身体部位(例如，手指、手和脚)。
另一方面，拍摄操作智能手机200的用户300的图像的摄像头225B设置在与液晶显示器223相同的面上。摄像头225A和摄像头225B设置在相对的面上。
在摄像头225A拍摄的图像被显示在液晶显示器223上的情况下，摄像头225B拍摄的图像用于检测用户300的手势(身体部位的运动)。在这种情况下，摄像头225B拍摄的图像不被显示在液晶显示器223上，或者被显示为对摄像头225A拍摄的图像进行补充的图像。
根据来自用户的指令，可以将摄像头225B拍摄的图像显示在液晶显示器223上，替代摄像头225A拍摄的图像或者从存储器221再现的图像。
在自拍模式中使用智能手机200的情况下，将摄像头225B拍摄的图像显示在液晶显示器223上。
在本示例性实施例中，使用液晶显示器223。然而，也可以将诸如有机电致发光(EL)显示器等不同显示单元用作显示面。
例如，根据本示例性实施例的空中触觉模块229包括超声换能器阵列，在该超声换能器阵列中，多个超声换能器排列成网格形状。这种类型的空中触觉模块229能够在空中的期望位置处生成超声波的聚集点。通过调节聚集点的分布或者振动的强度，来改变用户感知到的触觉。
例如，可以根据作为操作目标的功能来改变所生成的触觉。例如，在接收到特定功能的操作等情况下，在检测到用户的运动时生成触觉。可以通过触觉来发送不同用户的运动和该运动的强度。空中触觉模块229是应用触觉的应用单元的示例。
处理电路部210包括：控制从存储器221读取数据和将数据写入存储器221中的存储器控制部211、执行处理的多个中央处理单元(CPU)核212、管理电力供应的电源管理部213、管理内置系统的操作的系统管理部214、处理音频信号的音频处理部215、实时处理图像的图形处理单元(GPU)216、将图像显示在液晶显示器223上的显示控制部217、用于与外部模块连接的外部接口218、和处理基带信号的基带电路219。
图5图示了处理电路部210通过执行程序实施的功能配置的示例。
此处，处理电路部210是检测单元的示例，并且还是控制单元的示例。
处理电路部210用作：通过处理图像数据来检测用户进行的手势的手势检测部251、检测操作目标物体的操作目标检测部252、从操作目标物体(在本示例性实施例中是图像形成设备100)获取有关物体的功能的信息的目标功能获取部253、接收由用户作出的手势作为操作的操作接收部254、将与接收到的操作对应的指令发送至目标物体的指令发送部255、以及将接收了操作通知给用户的通知部256。
例如，根据本示例性实施例的手势检测部251从摄像头225B拍摄的图像检测用户身体部位(例如，手指、手和脚)的运动，作为手势。运动的含义对于被检测为操作目标的各个物体而言有所不同。即使是针对相同物体的运动的含义也会对于作为操作目标的不同功能而有所不同。
根据本示例性实施例的手势的示例包括推、拉、转动、抓、踢、踩、点击、双击、拖动、轻击、快滑、和滑动。可以使用深度学习功能来指定手势。
可以采用不同的方法来检测手势。例如，可以单独地或者组合地采用飞行时间(ToF)方法、结构化光(SL)时序图案投影方法、使用超声波或者毫米波来测量隔物体的距离的方法等来检测手势。在ToF方法中，通过针对各个像素测量直到半导体激光器或者从发光二极管(LED)发出的光在被物体反射之后返回的时间，来检测隔物体的距离。在结构化光(SL)时序图案投影方法中，基于在通过拍摄物体的图像得到的像素中出现的亮度变化，测量隔投影有按时间顺序变化的垂直条纹图案的物体的距离。该组合可以包括通过处理拍摄的图像来识别手势的技术。
根据本示例性实施例的操作目标检测部252执行将从摄像头225B拍摄的图像检测到的用户身体部位与待通过摄像头225A拍摄到图像中的作为操作目标的物体(例如，图像形成识别100)、该物体的操作元件等相关联的处理。
这是因为，在本示例性实施例的情况下，如图2所示，作为操作目标的物体和被用于输入操作的用户身体部位放置在智能手机200的相对侧。
操作目标检测部252提取通过处理摄像头225B拍摄的图像提前确定的身体部位(例如，指尖、手和脚)，并且指定提取的身体的该部位在液晶显示器223中的位置。
之后，操作目标检测部252使用液晶显示器223中指定的位置(像素)，来检测摄像头225A拍摄的图像中作为操作目标的物体、该物体的操作元件等。
根据本示例性实施例的操作元件的示例包括待操作的物理结构(例如，按钮和开关)和按照软件的方式再现的画面上的指示(例如，按钮和开关)。
该处理中使用的图像不限于从设置在与液晶显示器223相对侧上的面上的摄像头225A获取的实时图像数据，并且可以是从存储器221获取的或者从外部获取的图像数据。
在画面中包括多个物体的情况下，操作目标检测部252可以检测靠近摄像头225A拍摄的图像中的画面的中心的物体，作为目标。
操作目标检测部252可以检测用户从通过无线LAN等与智能手机200连接的装置列表中选择的装置，作为操作目标。
例如，根据本示例性实施例的目标功能获取部253通过与操作目标检测部252检测到的物体通信，来获取与可操作的操作元件有关的信息。例如，目标功能获取部253使用无线LAN获取有关操作元件的信息。
例如，目标功能获取部253还可以从各个可通信装置获取与可操作的操作元件有关的信息。
操作目标不限于具有通信功能的物体。这种操作目标的示例包括：植物和自然物体。同样，在这种情况下，目标功能获取部253可以通过与不同装置(诸如，能够代替人进行运动的机器人)通信，来获取与可执行的操作有关的信息。
根据本示例性实施例的操作接收部254接收检测到的手势作为与操作目标物体的特定功能相关联的操作。
如图2所示，在面向用户的位置处存在操作目标物体。摄像头225A拍摄操作目标物体的图像的方向和摄像头225B(见图4)拍摄用户身体部位的图像的方向是相反的方向。
此处，相反的方向不必是彼此完全相反。
根据本示例性实施例的指令发送部255将与接收到的操作对应的指令发送至目标物体(例如，图像形成设备100)。指令发送部255也具有从目标物体获取对指令的响应(例如，指令的接收)的功能。
在特定手势和功能的指令与操作目标物体的各个部分相关联的情况下，指令发送部255可以通过手势发送接收到的指令。在这种情况下，操作画面上的操作不是必要的。
在必须在操作画面上进行操作的情况下，必须进行操作以便选择操作画面中设置的多种选择中的一种选择或者达到位于深层次中的选择。
然而，在为操作目标物体的特定部分分配了特定手势和特定功能的情况下，可以利用更少的操作发送指令。因此，可以选择性地快速执行多种功能。
根据本示例性实施例的通知部256通过音频电路222或者液晶显示器223进行各种类型的通知，这些通知协助用户通过手势进行操作。
<处理电路部进行的处理操作>
图6是图示了处理电路部210(见图5)执行的处理操作的示例的流程图。在图6中，用符号S来表示步骤。
根据本示例性实施例的处理电路部210识别由设置在与液晶显示器223(见图4)相同面上的摄像头225B拍摄的图像中包括的人体的部位(例如，手指、手和脚)(步骤S101)。
接下来，处理电路部210检测识别到的这部位(例如，指尖)的运动(步骤102)。
例如，上述处理由手势检测部251(见图5)执行。
之后，处理电路部210指定重叠在画面上的检测到的这部位上的位置(像素)处的物体或者该物体的一部分(步骤103)。例如，上述处理由操作目标检测部252(见图5)执行。
处理电路部210还事先或者并行地识别操作目标物体。在未能指定操作目标物体的情况下，处理电路部210发出可能未能操作目标物体的通知、应该拍摄包括模型等的图像的通知等。例如，该处理由通知部256(见图6)执行。
随后，处理电路部210接收检测到的人体的运动作为对指定的物体或者部分的操作(步骤104)。例如，该处理由操作接收部254执行。
在没有功能与指定的部分相关的情况下，或者在运动检测与相关的功能的执行无关的情况下，处理电路部210偶尔不接收运动检测作为操作。
接下来，处理电路210确定目标物体是否可通过通信来控制(步骤105)。例如，该处理也由操作接收部254执行。
在步骤105中得到肯定结果的情况下，处理电路部210将指示执行操作的信号发送至目标物体(步骤106)。
在步骤105中得到否定结果的情况下，处理电路部210确定是否存在能够代替人进行操作的任何自运行设备(步骤107)。
在步骤107中得到肯定结果的情况下，处理电路部210将指示执行操作的信号发送至自运行设备(步骤108)。
在步骤107中得到否定结果的情况下，处理电路部210发出未能进行操作的通知(步骤109)。
<操作示例>
下面将描述使用前面讨论的功能实施的操作示例。
<操作示例1>
图7图示了在不触摸显示图像形成设备100的图像作为操作目标的液晶显示器223的情况下，操作图像形成设备100的示例。
当拍摄图像时，用户用左手301拿着智能手机200。同时，在不接触液晶显示器223的情况下，在液晶显示器223与用户之间移动右手302。
该操作示例与现有使用方式的不同之处在于，右手302不接触液晶显示器223的显示面。
在图7的情况下，将用户界面部110的一部分放大显示在智能手机200的液晶显示器223上。
该显示状态可通过对液晶显示器223上显示的图像形成设备100的图像执行缩放操作得到。例如，智能手机200设置有通过轻击画面数次来放大或者缩小画面的功能。因此，可在右手302不触摸液晶显示器223的情况下，通过用拿着智能手机200的左手301的食指轻击画面数次来改变画面的放大比例。如果使用了语音识别技术，也可以在右手302不触摸液晶显示器223的情况下改变放大比例。
在图7的情况下，将拍摄有真实空间中存在的用户界面部110的一部分的图像270(语言切换按钮271和画面亮度调节按钮272)和食指图像302A，显示在液晶显示器223上。
食指图像302A不是摄像头225B自身拍摄的图像，而是提前准备好的要显示的图像、图标等。
这是因为摄像头225B拍摄到图像中的右手302的食指是手指的球(手掌)的侧面，并且，如果按照原样显示了拍摄的图像，则会在液晶显示器223上得到不自然的图像。
在本示例性实施例中，从存储器221(见图4)读取提前从手的手背的侧面所拍摄的手指的图像或者图标，并且将其组合在从摄像头225B拍摄的图像检测到的位置处进行显示。
这种显示再现出如果用户用其指尖触摸液晶显示器223的面其会看起来的样子。
在用于进行操作的右手302和液晶显示器223的显示面彼此靠近的情况下(例如，在食指位于离显示面约1厘米的情况下)，并非始终需要显示食指图像302A。然而，食指图像302A的显示，使用户能够容易地确认用户自己的食指所指的是液晶显示器223上显示的图像的哪一部分。
为了使用食指的运动来操作图像形成设备100，需要事先指定图像形成设备100作为操作目标。
为了指定图像形成设备100，例如，可以使用通过处理图像形成设备100的图像指定模型的技术、检测图像中包括的字符信息(诸如型号)的技术、允许从液晶显示器223上显示的候选选择一个候选的技术等。
此处，例如，该候选是作为通过无线LAN等与智能手机200连接的装置列表而给出的。
假设已经指定图像形成设备100作为操作目标。
在图7的情况下，可操作的两个操作元件(语言切换按钮271和画面亮度调节按钮272)显示在液晶显示器223上。然而，可以显示三个或者更多个操作元件，或者可以显示仅一个操作元件。
在图7的情况下，两个操作元件显示在液晶显示器223上，因此必须在空中移动右手，从而使作为操作目标的操作元件的图像和食指图像302A彼此重叠。
右手302在空中的移动也被智能手机200检测作为用户的运动。然而，应该注意，水平方向上的运动与对图像中所拍摄的操作元件的操作的运动无关。
因此，在将食指图像302A重叠在画面亮度调节按钮272上之前进行的运动不被接收作为对操作元件的操作。
在本示例性实施例中，由于操作目标包括按钮，所以检测食指图像302A的运动。然而，可以根据操作目标来确定身体部位作为检测目标。例如，可以将人体的一部位(诸如手、手臂或者脚)确定为检测目标。可以通过指定检测目标来避免误操作。
图8图示了在不触摸显示图像形成设备100的图像作为操作目标的液晶显示器223的情况下通过在空中向前移动食指来操作图像形成设备100的示例。
图8中与图7对应的部分用对应的附图标记表示。
此处，推操作是指，在将右手302朝着智能手机200的显示面移动的方向上的运动。
具体地，推操作对应在实际空间中推动用户界面部110上显示的操作元件的运动。
在图8所示的液晶显示器223上，食指图像302A重叠在画面亮度调节按钮272上，因此智能手机200将推操作检测为推动画面亮度调节按钮272的操作。
在本示例性实施例的情况下，智能手机200将操作元件与运动之间的关系存储在存储器221(见图4)中。存储器221可以存储在提供给图像形成设备100的一些操作元件与运动之间的关系。
可以将提供给图像形成设备100的一些操作元件与运动(别识别为操作)之间的关系存储在图像形成设备100中，并且可以通过图像形成设备100来执行指定操作元件作为操作目标的处理。
在图8中，智能手机200能够与图像形成设备100通信，因此将指示画面亮度调节按钮272的操作发送至图像形成设备100。
根据本示例性实施例的智能手机200准备有将接收了操作通知给用户的功能。
因此，在图8中，通过改变画面亮度调节按钮272的显示方式来将接收了操作通知给用户。
改变显示方式的方法的示例包括：增加显示有作为操作目标的按钮的区域的亮度、使该区域闪烁、以及将该区域改变成不同的颜色。
在图8的情况下，通过从空中触觉模块229生成的超声波向右手302的食指的球(手掌)的侧面施加振动。该振动给了用户已经接收到对按钮的操作的触觉。
将接收了操作通知给用户的功能不是必要的。
<操作示例2>
图9图示了将接收了操作通知给用户的不同方法。
图9中与图8对应的部分用对应的附图标记表示。
在图9的情况下，虽然未改变画面亮度调节按钮272的显示，但是从扬声器(未图示)中输出了“点击”声音。
该声音的生成使用户能够确认自己的运动已经被接收作为操作。
在使用声音的通知方法中，可以生成一句话“已经接收到操作”。
同样，在这种情况下，通过从空中触觉模块229生成的超声波向食指施加振动。
<操作示例3>
图10图示了将接收了操作通知给用户的不同方法。
图10中与图8对应的部分用对应的附图标记表示。
在图10的情况下，虽然未改变画面亮度调节按钮272的显示，但是另外显示了小画面280，该小画面280指示接收了操作。
在图10所示的画面280中写入字符串“已经接收到操作”。当然，该字符串是示例性的。
同样，在这种情况下，通过从空中触觉模块229生成的超声波向食指施加振动。
<操作示例4>
图11图示了将接收了操作通知给用户的不同方法。
图11中与图8对应的部分用对应的附图标记表示。
在图11的情况下，虽然未改变画面亮度调节按钮272的显示，但是已经从接收到操作之前的方式改变了食指图像302A的显示方式。
改变显示方式的方法的示例包括：增加显示有食指图像302A的区域的亮度、使该区域闪烁、以及将该区域改变成不同的颜色。
同样，在这种情况下，通过从空中触觉模块229生成的超声波向食指施加振动。
<操作示例5>
图12图示了不将食指图像302A显示在液晶显示器223上的方法。
图12中与图8对应的部分用对应的附图标记表示。
在始终显示进入了设置在与液晶显示器223相同面上的摄像头225B拍摄的图像范围内的人体的一部位的方法中，例如，操作元件的大部分可能会被人体的这部位遮住。例如，写在操作元件上的字符可能会被手或者手臂的图像遮住。
在这种情况下，用户可能无法在画面上确认作为操作目标的操作元件，或者仅无法确认其一部分，这可能会妨碍操作。
如果未能确认写在操作元件上的字符，则用户可能无法看清自己正在操作什么操作元件，并且可能会进行误操作。
因此，在图12中，已经通过图像处理从画面擦除了食指图像302A。在这种情况下，用户在操作期间可以确认自己在画面上正在操作什么操作元件作为操作目标。
然而，应该注意，在不显示食指图像302A的情况下，用户无法知道自己的食指正指向画面中的哪个位置。因此，改变指尖所在的操作元件(在图12中是画面亮度调节按钮272)的显示方式，以避免导致误操作。在接收到用户进行的操作的情况下，可以从接收到操作之前的显示方式改变已经被操作的操作元件的显示方式。
<操作示例6>
图13图示了不将食指图像302A显示在液晶显示器223上的不同方法。
图13中与图12对应的部分用对应的附图标记表示。
同样，在图13的情况下，改变智能手机200检测到的食指所在的操作元件(画面亮度调节按钮272)的显示方式，来协助用户进行的确认。
在图13中，另外，还显示了具有指示已经接收到操作的字符串的画面280。
该显示使用户能够操作被自己身体部位挡住的无法从视觉上识别的特定操作元件。
在提供了改变操作元件的显示方式的功能的情况下，用户不会将操作元件误以为是操作目标。在通知接收了操作的情况下，进一步地，可以增强用户的可操作性。
<操作示例7>
图14图示了建议由智能手机200检测到的食指的位置的方法的示例。
图14中与图13对应的部分用对应的附图标记表示。
虽然在操作示例6中根本没有显示食指图像302A，但还可以设想的是，存在确认画面上的位置的请求。
图14图示了鉴于这种请求提供的显示方法，并且图示了食指图像302A所在的区域的轮廓线。该轮廓线使用户能够容易地确认在智能手机200检测到的食指的位置与操作元件的位置之间的关系。此处的轮廓线是建议用户的身体部位的指示的示例。
在图14中，食指图像302A的轮廓线用虚线指示。然而，可以显示通过图像处理得到的透明图像来替代实际图像。此处的透明图像也是建议用户的身体部位的指示的示例。
可以选择性地仅将指尖部分用轮廓线显示或者显示为透明图像，而将其它部分显示为实际图像。相反，可以选择性地仅将指尖部分显示为实际图像。减少了被人体的一部分的图像遮住的面积，因此可以容易地确认作为操作目标的物体的图像。
<操作示例8>
图15图示了操作目标是具有通信功能的计算器400的情况。
在该示例的情况下，用户可以操作计算器400来确认计算结果，即使右手的指尖被弄脏，也不会弄脏计算器400。
在图15的情况下，将用户的食指图像302A作为透明图像重叠显示在计算器图像400A上。与轮廓线不同，显示透明图像从而使得可以透过透明图像看到实际图像。
然而，在操作元件的尺寸较小(诸如，计算器400的操作元件)的情况下，存在推动错误的可能性。
因此，液晶显示器223上显示的身体部位的大小可以是可选择的。例如，可以相对于实际图像增加或者减小身体的这部分的大小。身体的这部分的大小可以是可逐步调节的。
有望通过设置这种功能来减少操作元件的误推动。
<操作示例9>
图16图示了操作目标是杆500的情况。
根据本示例性实施例的杆500的示例包括控制柱、摇杆、变速杆、指示灯杆、制动杆和车辆控制器。
在图16的情况下，操作目标是杆500，因此用户在空中伸出右手302就好像抓着什么一样。在该示例的情况下，当右手302前后左右移动时，杆500根据来自检测到右手302的运动的智能手机200的指令做相同的运动。
液晶显示器223显示抓着杆图像500A的右手图像302B。可以将右手图像302B简单地重叠显示在杆图像500A上。
不必结合右手302来移动杆500，并且仅仅需要根据右手302的运动来控制待由杆500控制的目标。
这是因为杆500是输入设备，不是最终控制目标。因此，杆500与智能手机200之间的通信是不必要的。即使智能手机200不能与杆500通信，也仅需要智能手机200能够与待根据杆500的操作进行控制的装置通信。
根据本操作示例的智能手机200准备有根据用户属性或者使用环境装饰液晶显示器223上显示的用户的身体部位的功能。
例如，虽然在操作示例1(见图7)中显示了要显示的图像或者与摄像头225B(见图4)拍摄到图像中的身体部位对应的图标，但在图16中的示例中显示了戴着薄手套的右手图像302B。手套是装备的示例。
要使用的装饰类型可由用户事先选择，或者可以存储在智能手机200的存储器221(见图4)中。可替代地，可以从杆500(或者包括杆500的装置)、外部服务器等提供待使用的装饰类型的通知。
待用于装饰的图像数据可以存储在智能手机200的存储器221，或者可以从包括杆500的装置、外部服务器等提供。
液晶显示器223上显示的右手图像302B的形状和大小根据图像拍摄方式而不同。因此，智能手机200还具有根据右手图像302B的形状和大小而使装饰图像变形的功能。
在本示例性实施例的情况下，通过智能手机200执行应用程序来实施该功能。可以通过使用不同的计算机(诸如从外部设置到智能手机200的服务器)来执行图像处理，从而将处理结果反映在液晶显示器223上的显示中。
图17图示了操作目标是杆500的情况的不同示例。
图17中与图16对应的部分用对应的附图标记表示。
图17假设冬天在室外操作杆500的情况。因此，在图17的情况下，添加厚手套，作为对右手图像302B的装饰。
按照这种方式，利用液晶显示器223上显示的装饰后的右手图像302B，给了用户与他/她实际操作杆500的情况下相同的感觉，增强了操作的真实感觉。
<操作示例10>
图18图示了操作目标是绕着铰接部分打开和关闭的单扇平开门600的情况。
单扇平开门600包括电气地打开和关闭单扇平开门600的打开/关闭机构610。打开/关闭机构610附接至设置有门口的墙壁面。另外，此处的打开/关闭机构610能够直接或者间接地通过无线LAN等于智能手机200通信。
被用于打开和关闭照明器材(未图示)的开关700附接至接近门口的墙壁面。
因此，单扇平开门图像600A和开关图像700A显示在智能手机200的液晶显示器223上。
在图18的情况下，用户的右手302放置在液晶显示器223与用户之间的空间中，并且不与液晶显示器223的显示面接触。
当然，用户的右手302不与单扇平开门600接触。
图18中图示的单扇平开门600在被推动时朝着进深侧打开，并且在被朝着近前侧拉动时关闭。
图19图示了通过使用智能手机200拍摄用户进行运动以在空中推出其右手302的图像来略微打开单扇平开门600的状态。
在图19中，用箭头来指示右手302的运动方向。智能手机200检测右手302的该运动作为打开单扇平开门600的操作。智能手机200将指示执行检测到的操作的信号发送至打开/关闭机构610。
在这种情况下，智能手机200可以把在图像上检测到的右手302的运动速度发送至打开/关闭机构610。在这种情况下，打开/关闭机构610能够将给出的速度反映在打开/关闭机构610打开单扇平开门600的速度中。即，可以在与实际操作单扇平开门600的情况相似的感觉下打开单扇平开门600。
图20图示了通过使用智能手机200拍摄用户进行运动以在空中推出其右手302的图像来大大地打开单扇平开门600的状态。
在图20中，继续右手302的运动，并且也继续打开/关闭机构610进行的驱动。
可以进行控制从而使得，在检测到打开单扇平开门600的操作之后，即使停止了右手302的运动，也继续对单扇平开门600的驱动。这是因为右手302可在智能手机200进行的图像拍摄期间移动的范围比作为驱动目标的单扇平开门600可移动的范围要窄。可以根据智能手机200来实施该控制，或者可以根据打开/关闭机构610来实施该控制。
在检测到朝着近前侧拉动右手302的情况下，智能手机200检测该运动作为关闭单扇平开门600的操作。
图21图示了单扇平开门600设置有杆类型的手柄(杆式手柄)620的情况。
为了打开这种单扇平开门600，需要在抓住和转动杆类型的手柄620之后做出推动运动。
在图21中，右手图像302B重叠显示在单扇平开门图像600A和手柄图像620A上。
在顺序地检测到两种阶段中的这种运动的情况下，图21中图示的智能手机200检测到打开单扇平开门600的操作。在检测之后的操作与参照图19和图20所描述的操作相同。
在图18至图21中，图示了单扇平开门600作为示例。然而，本公开不限于打开和关闭时门面会画出弧形的平开门，也可以适用于由凹槽或者导轨引导以线性地打开和关闭的滑动门、通过结合平开门和滑动门得到的滑行移门、折叠门、旋转门等。
门不限于单扇平开门，也可以是双扇平开门。
<操作示例11>
将描述警告用户误操作或者接收了不期望的操作的功能。
图22图示了通知用户甚至在单扇平开门600被打开到最大可允许角度之后还检测到连续推动手势的功能的示例。
图22中与图19对应的部分用对应的附图标记表示。
在图22的情况下，在液晶显示器223的下部显示有包括警告语“门不能再进一步打开了！”的小画面290。
该通知可以通过语音进行。该通知不限于字符和声音，并且可以改变被识别为操作目标的物体的图像等。
虽然在该示例中用户获知了可移动范围的上限，但可以把检测到在不可移动方向上的操作通知给用户。另外，可以将如何进行正确操作通知给用户。
然而，应该注意，不需要始终将正确操作通知给用户。
这种情况的示例包括操作目标是保险柜的情况下。这是因为除了特定人之外的人不被允许解锁保险柜。可以将如何进行正确操作通知给：发送了操作的指令的、经过智能手机200的用户账户等验证的操作者(诸如，获得授权的人或者所有者)。
<操作示例12>
图23图示了图像拍摄目标是照明器材800的情况。
图23中图示的照明器材800通过电线(未图示)电连接至位置保持型开关700。当开关700被操作打开时，打开照明器材800。当开关700被操作关闭时，关闭照明器材800。
在图23的情况下，照明器材800设置有如下功能，接收当照明器材800处于关闭状态时在空中推出右手302的操作作为打开操作，并且接收当照明器材800处于打开状态时在空中推出右手302的操作作为关闭操作。
因此，当利用智能手机200的液晶显示器223上显示的照明器材图像800A上重叠的右手图像302B进行推出右手302的运动时，将用于切换状态的信号从已经检测到这种运动的智能手机200输出至照明器材800。
具体地，当打开照明器材800时，输出指示关闭的信号，并且当关闭照明器材800时，输出指示打开的信号。
照明器材800的状态的切换不限于两种阶段。例如，当打开照明器材800时，可以通过用户的运动在亮度在多个阶段中不同的状态之间进行切换。在来自照明器材800的照明光的颜色可切换的情况下，可以通过用户的运动来切换颜色。
在前面的说明中，将在空中推出右手302的运动检测作为一操作。然而，可以将利用一个手指进行的运动和利用两个手指进行的运动分别检测作为打开操作和关闭操作，并且可以将举起手指的运动和保持手指水平的运动分别检测作为打开操作和关闭操作。即，可以将设置在与液晶显示器223相同面上的摄像头225B拍摄的图像中的手指的数量或者手指的方向与特定操作相关联。
按照任何方式，可以在不直接触摸照明器材800的情况下操作照明器材800的操作状态。
图24图示了图像拍摄目标是用于打开照明器材800的开关700的情况。
图24中与图23对应的部分带有对应的附图标记。
如前面讨论的，通过打开开关700的操作来打开照明器材800，并且通过关闭开关700的操作来关闭照明器材800。
图24与图23的不同之处在于，仅选择性地将食指的指尖显示为图像302A，而不显示其它部分。按照这种方式仅显示与操作有关的部分使用户能够确认操作目标。
在开关700具有与智能手机200通信的功能的情况下，当存在在空中推出右手302使食指图像302A重叠在开关图像700A上的操作时，智能手机200输出接通和断开开关700的信号。
在一些情况下，开关700不具有与智能手机200通信的功能。同样，在这种情况下，如果已经向智能手机200给出了在开关700与照明器材800之间的关系，那么可以接收在空中推出右手302使食指图像302A重叠在开关图像700A上的运动，作为对照明器材800的操作。
可替代地，控制目标可以是空调、音频装置、家用电器等。
<操作示例13>
在前面讨论的操作示例中，智能手机200拍摄真实空间中存在的物体的图像。然而，图像拍摄目标可以是实际存在的物体的图像。
图25图示了图像拍摄目标是显示在显示设备900上的计算器图像400A的情况。
图25中与图15对应的部分用对应的附图标记表示。
例如，显示设备900是电视接收器或者监视器。计算器图像400A是从通过拍摄实际存在的计算器400的图像得到的图像数据再现的图像。
通过拍摄显示设备900的图像得到的计算器图像400B和食指图像302A显示在智能手机200的液晶显示器223上。当然，右手302未接触显示设备900。
该操作示例与参照图15描述的操作示例8基本相同，不同之处在于，智能手机200进行图像拍摄的目标与实际存在的作为操作目标的计算器400不同。
同样，在这种情况下，如果事先从通过无线LAN等与智能手机200连接的装置列表中指定了作为操作目标的计算器400，则可以按照操作示例8中相同的方式来操作计算器400。
即使不知道计算器图像400A与实际存在的计算器400之间的关系，智能手机200也能够通过识别图像的技术，检测到图像拍摄目标是计算器。在这种情况下，智能手机200可以指派实际存在的并且能与其通信的计算器400以指示执行与用户的运动对应的操作。
然而，应该注意，在计算器400未准备好进行智能手机200检测到的操作的情况下，通过拍摄手势的图像不可以操作可通信的计算器400。
<操作示例14>
前面讨论的操作示例假设在摄像头225A(见图4)拍摄作为操作目标的物体的图像或者该物体的图像的同时、通过摄像头225B将用户身体部位拍摄到图像中的情况。然而，图像拍摄目标可以是作为操作目标的物体的图像。
图26图示了通过使用智能手机200拍摄到图像中的用户的运动与对显示在液晶显示器223上的操作元件的操作相关联的示例。
图26中与图7对应的部分用对应的附图标记表示。
在图26的情况下，液晶显示器223显示通过拍摄实际存在的图像形成设备100的用户界面部110的一部分的图像而得到的图像270(语言切换按钮271和画面亮度调节按钮272)。然而，图像形成设备100不位于摄像头225A的前面。
然而，应该注意，作为操作目标的图像形成设备100被连接成，能够经由网络(诸如互联网或者LAN)与智能手机200通信。
在图26中，将与液晶显示器223并排设置的摄像头225B拍摄的用户身体部位的图像(例如，右手302的食指的图像302A)组合在显示画面上进行显示。
具体地，将指示食指的位置的食指图像302A组合在通过拍摄用户界面部110的一部分的图像得到的图像270中画面亮度调节按钮272的位置处。
智能手机200对组合后的图像进行图像处理。当智能手机200接收到食指的运动作为操作时，智能手机200将指示执行该操作的信号发送至对应的图像形成设备100。
<第二示例性实施例>
在前面讨论的第一示例性实施例的情况下，通过使用智能手机(见图1)将用户进行的手势拍摄到图像中，并且使用该手势来操作实际存在的图像形成设备100(见图1)。然而，用户进行的手势不限于通过智能手机200被拍摄到图像中。
图27图示了根据第二示例性实施例的系统的示例。
图27中与图1对应的部分用对应的附图标记表示。
在图27的情况下，用户戴着眼镜式终端1010。
眼镜式终端1010被配置成使高透明度光学元件被设置在戴着眼镜式终端1010的用户的眼睛处。
这使戴着眼镜式终端1010的用户能够通过高透明度光学元件直接从视觉上识别出位于真实空间中的图像形成设备100。
图28图示了在第二示例性实施例中使用的眼镜式终端1010的结构的示例。
多家制造商已经将眼镜式终端1010投入实际使用。这种类型的眼镜式终端1010也称为透光装置、视网膜投影装置等。
图28中图示的眼镜式终端1010包括高透明度导光板1011、可透可见光的衍射光栅1012A和1012B、显示作为操作目标的一部分的图像的小显示部1013、和拍摄用户前面的场景的图像的摄像头1014。
例如，导光板1011具有85％或者更高的透明度。这允许用户能够通过导光板1011直接从视觉上识别出前面的场景。导光板1011是透明部件的示例。
在图28中，由图像形成设备100反射的外部光L1直接通过导光板1011和可透可见光的衍射光栅1012B，以被引导至眼球310。可透可见光的衍射光栅1012B具有平板形状，并且设置在眼球310的前面。
此处的可透可见光的衍射光栅1012B还实现了在眼球310的方向上衍射光L2的功能，光L2在导光板1011内部被反射的同时被传播。
光L2是从显示部1013投影到导光板1011并且之后被可透可见光的衍射光栅1012A反射的光线。
例如，可透可见光的衍射光栅1012A和1012B可以是全息衍射光栅。可透可见光的衍射光栅1012B用作所谓的半反射镜。因此，眼球310看见重叠在实际存在的场景上的作为虚拟图像的用户界面部图像110A(见图27)。换言之，用户300从视觉上识别出增强现实或者混合现实。
图29图示了在第二示例性实施例中使用的眼镜式终端1010的硬件配置的示例。
眼镜式终端1010包括通过执行程序(包括固件)控制整个设备的CPU 1021、存储诸如BIOS和固件等这样的程序的ROM 1022、和被用作执行程序的区域的RAM1023。
CPU 1021、ROM 1022和RAM 1023用作计算机1020。
拍摄外界的图像的摄像头1014、显示由摄像头1014拍摄的图像等的显示部1013、检测各种物理量的传感器1024、和用于外部通信的通信接口1025连接至计算机1020。
传感器1024的示例包括：检测身体的倾斜的陀螺仪传感器、测量距目标物体的距离的距离传感器、检测眼镜式终端1010的位置的全球定位系统(GPS)传感器、和视线检测传感器。
此处的眼镜式终端1010用作安装至用户的头部因此是用于与用户接触的信息处理设备的示例。
眼镜式终端1010可以用于使用两个手输入一操作。因此，相较于使用智能手机200的情况，眼镜式终端1010使得可以扩大可输入的操作的范围。
戴着眼镜式终端1010的用户感知到用户界面部图像110A在用户自己前面(例如，前面2.5米)浮在空中。
因此，同样，在本示例性实施例中，作为操作目标的图像形成设备100、用户界面部图像110A(虚拟显示面)和右手302从进深侧按照这个顺序按顺序地设置。
<第三示例性实施例>
针对根据前面讨论的示例性实施例的操作目标装置(例如，图像处理设备、计算器、杆、门和照明器材)，物理操作和通过手势进行的操作彼此没有差别。
将相对于第三示例性实施例来描述仅接收通过手势进行的操作的装置。
图30图示了将保险柜1100拍摄到图像中作为操作目标的情况。
图30中图示的保险柜1100不仅具有在其前面上设置的锁芯1101或者推动按钮1102被正确地物理操作的情况下被解锁的功能，还具有禁用对锁芯1101或者推动按钮1102的物理操作的功能。
在禁用物理操作的情况下，在从智能手机200接收到与推动按钮1102的操作对应的信号的情况下，将保险柜1100解锁。
在本示例性实施例中，保险柜图像1100A和食指图像302A显示在液晶显示器223上。当然，食指图像302A对应右手302的食指。右手302不触摸保险柜1100或者液晶显示器223，并且在空中移动。
图31图示了保险柜1100的硬件配置的示例。
保险柜1100包括锁芯1101、操作面上打印有字母数字字符的多个推动按钮1102、存储诸如固件等数据的ROM 1112、用作程序的工作区域的RAM 1113、用于与诸如智能手机200(见图3)等外部装置通信的通信部1114、以及电气地解锁和锁闭锁芯1101的解锁控制部1115。例如，这些部分经由总线1116彼此连接。
图32是图示了由MPU 1111执行的处理操作的示例的流程图。在图32中，用符号S来表示步骤。
首先，MPU 1111确定是否已经禁用物理操作(步骤S201)。
在步骤201中得到肯定结果的情况下，MPU 1111启用仅接收来自智能手机200的操作的设置(步骤S202)。
在步骤201中得到否定结果的情况下，MPU 1111启用接收物理操作的设置(步骤S203)。在启用了接收物理操作的设置的情况下，还启用来自智能手机200的操作。
在进行这种设置之后，MPU 1111确定操作的内容是否与解锁条件匹配(步骤204)。
在步骤204中得到肯定结果的情况下，MPU 1111解锁锁芯1101(步骤205)。
在步骤204中得到否定结果的情况下，MPU 1111禁用该操作(步骤S206)。
例如，在禁用物理操作的情况下，即使将正确的钥匙插入到锁芯1101(见图31)中或者按照正确的顺序操作了推动按钮1102(见图31)，也维持锁闭状态。另一方面，在从智能手机200给出按照正确的顺序操作推动按钮1102的指令的情况下，允许解锁。
根据本示例性实施例的保险柜1100使得能够通过即使进行了正确的物理操作也启动不解锁保险柜1100的设置，来增强了犯罪防范能力。另外，结合使用智能手机200实施的个人验证功能，能够解锁保险柜1100的用户不限于特定的个人(能够操作智能手机200的用户)。
<第四示例性实施例>
将描述通过手势操作由网络摄像头等拍摄到图像中的对象就好像该对象就在眼睛前面一样的方法。
本示例性实施例与操作示例10(图18至图22)基本相同，不同之处在于操作目标不是实际存在于用户前面。
图33图示了根据第四示例性实施例的系统的示例。
在图33中图示的系统中，通过网络1300将从网络摄像头1200输出的图像数据发送至智能手机200，并且将其显示在液晶显示器223上。
将单扇平开门600的图像600A显示在液晶显示器223上，如图33所示。
在图33的情况下，不将与用户的右手302对应的图像显示在液晶显示器223上。
图34图示了智能手机200接收用户的身体部位(右手302)的运动作为对如针对前面讨论的示例性实施例所描述的单扇平开门600的操作的情况。
图34中与图33对应的部分带有对应的附图标记。
在图34中，将智能手机200的摄像头225B拍摄的右手图像302B重叠在单扇平开门图像600A上。
在这种状态下，当移动右手302以在空中推出时，将指示单扇平开门600的打开操作的信号输出至通过网络1300连接的打开/关闭机构610。
图35图示了多个用户经由网络1300分享有关操作的信息的方案。图35中与图34对应的部分带有对应的附图标记。
图35图示了通过服务器1400获取从网络摄像头1200输出的图像数据，并且然后将其分发给三个智能手机200的情况。服务器1400的功能可以内置在网络摄像头1200中。
在图35的情况下，所有智能手机200显示单扇平开门图像600A。
图36图示了使用这三个智能手机200中的一个智能手机将单扇平开门600推开的情况。图36中与图35对应的部分用对应的附图标记表示。
在图36的情况下，通过服务器1400将经由这三个智能手机200中的一个智能手机接收到的操作发送至单扇平开门600的打开/关闭机构610。在同时对单扇平开门600进行了多个操作的情况下，根据本示例性实施例的服务器1400优先考虑最早到达的操作。在矛盾的操作同时到达的情况下，可以暂停这些操作的执行。短语“同时”是指，操作在提前确定的时段内到达。
图37图示了在这三个智能手机200之间分享单扇平开门600是打开的状态的场景。图37中与图36对应的部分用对应的附图标记表示。
使用本方案使多个人能够通过他们的手势操作一个装置。
<第五示例性实施例>
虽然在前面讨论的示例性实施例中智能手机200上显示的操作目标是一装置，但将描述操作目标不具有通信功能的情况。
图38图示了通过手势来提供移动盆栽植物1500的指令的情况。在图38中，将用户的右手图像302B和盆栽植物图像1500A显示在智能手机200的画面上。同样，在这种情况下，实际空间中的右手302未触摸盆栽植物1500或者液晶显示器223。
盆栽植物1500不具有通信功能或者不是自运行设备。因此，与前面讨论的示例性实施例不同，即使通过智能手机200的摄像头225B将右手302的运动拍摄到图像中，也不能根据该运动来移动盆栽植物1500。
在本示例性实施例中，将具有自运行功能的人形机器人1600指定为手势的操作发送目的地。例如，可以从可与智能手机200通信的装置列表指定作为指令发送目的地的机器人1600。
虽然图38所示的机器人1600具有人形外观，但机器人可以具有任何外观，只要能提供必需的功能即可。例如，机器人可以看起来像狗或者猫等动物、诸如花或者树等植物、或者诸如汽车(包括火车)或者飞机等车辆或飞行器。
图38所示的机器人1600包括身体部分1611、头部1612、手臂1613和1615、手1614和1616、以及腿1617和1618。
身体部分1611存储用于信号处理的电子组件。身体部分1611可以设置有显示装置或者声学装置。
头部1612经由设置在颈部处的接合机构联接至身体部分1611。在本示例性实施例的情况下，接合机构可绕着三个轴旋转。绕着三个轴的旋转包括偏转(绕着z轴旋转)、滚转(绕着x轴旋转)和俯仰(绕着y轴旋转)。此处的接合机构是可动部的示例。
接合机构不必绕着所有三个轴旋转，并且接合机构可以仅绕着一个轴或者两个轴旋转。这种旋转由马达(未图示)来实施，或者可以手动实施。不排除将头部1612相对于身体部分1611固定的情况。
头部1612设置有眼睛1612A和1612B。眼睛1612A和1612B可以装饰性地设置，或者可以包括内置的图像拍摄设备、投影仪、照明器材等。头部1612可以设置有可移动的耳朵。
根据本示例性实施例的手臂1613和1615经由接合机构联接至身体部分1611。手臂1613和1615的上臂和前臂经由接合机构彼此联接。此处的接合机构可以是多轴类型或者单轴类型，与头部1612的接合机构一样。绕着轴的旋转可以由马达(未图示)来实施，或者可以手动实施。手臂1613和1615可以固定至身体部分161。此处的接合结构也是可动部的示例。
手臂1613和1615可以弯曲到提前确定的角度，以用于输送物体。
手1614和1616经由设置在手腕部处的接合机构分别联接至手臂1613和1615。手1614和1616的手掌和手指经由接合机构彼此联接。此处的接合机构可以是多轴类型或者单轴类型，与头部1612的接合机构一样。绕着轴的旋转可以由马达(未图示)来实施，或者可以手动实施。在本示例性实施例的情况下，手1614和1616可以通过打开和关闭手指来抓住物体。此处的接合机构也是可动部的示例。
手1614和1616可以分别相对于手臂1613和1615固定。
腿1617和1618可以经由接合机构联接至身体部分1611，或者可以作为轮子或者链轨等自运行设备附接至身体部分1611。
在腿1617和1618经由接合机构联接至身体部分1611的情况下，接合机构可以是多轴类型或者单轴类型，与头部1612的接合机构一样。
绕着轴的旋转可以由马达(未图示)来实施，或者可以手动实施。腿1617和1618可以相对于身体部分161固定。此处的接合结构也是可动部的示例。
图39图示了机器人1600的硬件配置。
机器人1600包括：控制整个设备的运动的控制部1621，拍摄机器人周围的场景的图像的摄像头1622，再现对话语音、曲调和音效的扬声器1623，用于输入或者获取声音的麦克风1624，诸如接合机构等可移动机构1625，用于与外部设备(例如，智能手机)通信的通信部1626，显示图像的显示部1627，移动整个设备的移动机构1628，向各个部分供电的电源1629，用于收集各个部分的状态和周围事物的信息的传感器1630，和用于获取位置信息的位置检测部1631。例如，这些部分经由总线1632彼此连接。
应该理解，图39中图示的硬件配置是示例性的。因此，机器人1600不必设置有前面讨论的所有功能部。
机器人1600可以进一步设置有功能部(未图示)。例如，机器人1600可以设置有电源按钮、存储设备(诸如硬盘设备或者半导体存储器)、热源(包括冷却源)等。
控制部1624是所谓的计算机，并且包括CPU、ROM和RAM。ROM存储待由CPU执行的程序。CPU读取ROM中存储的程序，并且将RAM用作工作区域来执行程序。CPU通过执行程序来控制构成机器人1600的各个部分的操作。
此处的程序包括与实施与人工智能有关的算法相关联的程序。构成控制部1624的CPU和RAM提供了供人工智能使用的计算资源。
例如，根据本示例性实施例的控制部1624处理通过摄像头1622、麦克风1624和传感器1630获取的信息，人工智能自主地确定与周围环境和机器人1600的状态匹配的操作。
例如，可以通过扬声器1623输出语音，可以通过通信部1626发送消息，并且可以通过显示部1627输出图像。
控制部1621可以通过这种信息的输入和输出以及可移动机构1625的运动，来与用户建立通信。通信的应用的示例包括客户出席和主要会议。
控制部1621还具有如下功能，其在发生了不知道的状况的情况下，通过互联网搜索或者与外部计算机通信来收集附加信息，并且根据与搜索中发现的事件的相似度来寻找解决方案。
在本示例性实施例的情况中，由控制部1621所获取的信息的示例包括通过视觉、听觉、触觉、味觉、嗅觉以及平衡感和温度获得的信息。
通过识别摄像头1622拍摄的图像的处理来实施视觉。
通过识别麦克风1624获取的声音的处理来实施听觉。
触觉的示例包括表层感觉(诸如触摸、疼痛和温度)、深层感觉(诸如，压力、位置和振动)、和皮质觉(诸如两点辨别和三维辨别)。
控制部1621能够从触觉上辨别不同之处。
触觉、味觉、嗅觉以及平衡感和温度由各种类型的传感器1630进行的信息检测来实施。温度包括环境温度、内部温度、以及人或者动物的体温。
控制部1621获取的信息可以包括人或者动物的脑电波。在这种情况下，可以通过通信部1626接收从安装至人等的脑电波检测装置发出的信息，来获得脑电波。
在本示例性实施例的情况下，摄像头1622设置在眼睛1612A和1612B(见图38)的位置处。
例如，在使用投影仪作为显示部1627的情况下，可以将投影仪设置在眼睛1612A和1612B(见图38)中的一个或者两个处。可以将投影仪设置在身体部分1611或者头部1612处。
可移动机构1625不仅可以用于输送物体还可以用于表达感觉。
在使用可移动机构1625来输送物体的情况下，例如，通过手臂1613和1615以及手1614和1616(见图38)的变形，可移动机构1625实施诸如抓住物体、保持物体和支撑物体这样的操作。
在使用可移动机构1625来表达感觉的情况下，例如，通过头部1612、手臂1613和1615、手1614和1616等(见图38)，可移动机构1625实施诸如将头倾斜、抬头看、环顾四周、欢呼、和伸出手指这样的操作。
根据本示例性实施例的通信部1626无线地与外部设备通信。
机器人1600设置有多个通信部1626，其数量与被假设为通信目标的外部设备所使用的通信方法的数量对应。通信方法的示例包括红外通信、可见光通信、近距离无线通信、Wi-Fi(注册商标)、Bluetooth(注册商标)、RFID(注册商标)、ZigBee(注册商标)、IEEE802.11a(注册商标)、MulteFire、和低功耗广域网(LPWA)。
用于无线通信的频带包括短波长区域(例如，800MHz至920MHz)和长波长区域(例如，2.4GHz和5GHz)。
可以使用通信电缆来将通信部1626和外部设备彼此连接。
显示部1627可以用于与用户实现可视通信。例如，显示部1627可以显示文字和图形。
在显示部1627设置在头部1612处的情况下，显示部1627显示面部表情。
在本示例性实施例的情况下，使用轮子或者链轨作为移动机构1628。然而，可以使用推进器或者压缩空喷射机构利用气动力来移动机器人1600。
根据本示例性实施例，使用二次电池作为电源1629。然而，也可以使用一次电池、燃料电池、和生成电力的太阳能电池中的任何一种。
可替代地，除了从电源1629接收电力供应之外，机器人1000还可以通过电力电缆从外部设备接收电力供应。
在本示例性实施例的情况下，机器人1600设置有位置检测部1631。
例如，位置检测部1631利用了从全球定位系统(GPS)信号读取位置信息的方法，使用等效于GPS信号的信号来测量室内位置的室内消息传递系统(IMES)方法，通过多个Wi-Fi接入点发出的无线电波的强度、到达时间等来测量位置的Wi-Fi位置测量方法，通过对基站定期生成的信号的响应的方向和延迟时间来测量位置的基站位置测量方法，通过接收不可听范围内的超声波来测量位置的超声波位置测量方法，通过从使用Bluetooth的信标接收无线电波来测量位置的Bluetooth位置测量方法，使用通过使来自发光二极管(LED)等的照明光闪烁所传送的位置信息来测量位置的可见光位置测量方法，或者使用加速度传感器、陀螺仪传感器等来测量当前位置的自主导航方法。
图40图示了如何使用机器人1600来移动盆栽植物1500。
图40中与图38对应的部分用对应的附图标记表示。
如在其它示例性实施例中，用户在智能手机200前面的空间中移动右手302，并且拍摄该运动的图像。
当接收到右手302的运动作为操作时，智能手机200指示能够移动到盆栽植物1500的机器人1600执行该操作。此处的操作是将盆栽植物1500移到旁边。
当接收到移动指令时，机器人1600移动到作为移动目标的盆栽植物1500所在位置，抓住盆栽植物1500并将其移到旁边。
在这种情况下，智能手机200显示抓住并且移动盆栽植物图像1500的机器人图像1600A和右手图像302B。在图40的情况下，将右手图像302B显示为透明图像以使用户能够容易地确认机器人图像1600A。
在图40的情况下，盆栽植物1500和机器人1600都实际存在于用户眼睛前面，因此不太需要按照透明的方式相似右手图像302B。然而，在智能手机200上显示的盆栽植物图像1500A不存在于用户眼睛前面的情况下(例如，在智能手机200显示来自网络摄像头的图像的情况下)，可以按照透明的方式显示右手图像302B以使用户能够容易地确认实际空间中的场景。
<第六示例性实施例>
在前面讨论的示例性实施例中，智能手机200放置在作为操作目标的物体前面，以便处于面向作为操作目标的物体的位置。然而，所面向的位置不限于前面的位置。
图41图示了面向图像形成设备100的位置的不同示例。
在图41中，智能手机200放置在图像形成设备100的右斜前方的位置P1处、图像形成设备100的右斜后方的位置P2处、图像形成设备100后方的位置P3处、图像形成设备100的左斜后方的位置P4处、和图像形成设备100的左斜前方的位置P4处。这些位置是面向图像形成设备100的位置的示例。
当用户从不同方向拍摄图像形成设备100的图像时，摄像头225A将不同的部分或者操作元件拍摄到图像中。因此，即使摄像头225B将用户的相同运动拍摄到图像中，也可以对图像形成设备100进行不同的操作。
<第七示例性实施例>
在前面讨论的示例性实施例中，通过手势来操作图像形成设备100(见图1)的用户界面部110(见图1)上显示的按钮。然而，可以通过手势来打开和关闭纸张容纳部140(见图1)。
图42图示了通过手势来打开和关闭纸张容纳部140的示例。纸张容纳部140是操作目标，因此将纸张容纳部140的图像140A和用户的右手图像302B彼此重叠地显示在智能手机200的液晶显示器223上。在图42中，如箭头所指示的，朝着近前侧(在更靠近用户自己的方向上，或者在远离液晶显示器223的方向上)拉动右手302。
在本示例的情况下，即使不操作用户界面部110上显示的按钮，也朝着近前侧拉动被检测为重叠在右手图像302B上的纸张容纳部140。
当然，作为前提条件，图形形成设备100中应当内置有驱动纸张容纳部140的马达(未图示)。还可以通过朝着进深侧移动右手302来关闭纸张容纳部140。
<第八示例性实施例>
在前面讨论的示例性实施例中，通过手势来实施与在直接操作用户界面部110的情况下进行的操作相似的操作。在通过手势指定作为操作目标的特定部分的情况下，可以将用户界面部110上显示的内容切换为包括与所指定的部分相关联的按钮的显示。
图43图示了设置有对打印的纸张进行打孔处理或者装订处理的机构(后处理设备150)的情况的操作示例。后处理设备150可以包括存储机构。
在图43中，将食指图像302A重叠在后处理设备图像150A上。
在本示例性实施例的情况下，将通过食指图像302A进行的选择操作和打开与后处理设备150相关联的设置页面的功能分配给后处理设备图像150A。
图44A至图44C图示了在通过食指图像302A选择了后处理设备图像150A(见图43)的情况下在显示部111上产生的画面变化，其中，图44A图示了在接收到食指图像302A做出的手势之前的显示；图44B图示了在接收到食指图像302A做出的手势之后的显示，并且图44C图示了接收到手势进行的操作的智能手机200的画面的示例。
在图44A至图44C的情况下，当智能手机200将用户界面部110(见图43)的显示部分111拍摄到图像中时，即使不通过手势来操作显示部分111，也会将显示部分111切换至包括指定是否要执行装订处理的按钮110B的画面。按照这种方式，在将特定操作和特定功能分配给特定部分的情况下，可以利用少量的操作来完成指令。即，提高了操作效率。
当然，分配有特定手势和特定功能的部分不限于后处理设备150。例如，这种部分可以是图像形成设备100(见图1)的后面。在利用设置在图像中拍摄的后面上的连接终端或者通信线接收到通过手势进行的选择的情况下，显示部111可以显示用于调节或者设置连接终端的菜单画面。
<第九示例性实施例>
在前面讨论的示例性实施例中，如图2所示，在显示面(例如，液晶显示器223)与用户300之间在空中移动用于指示操作的右手302。然而也可以在作为操作目标的物体与智能手机200之间在空中移动右手302。
下面将参照图45和图46来描述根据第九示例性实施例的整个系统的配置和在用户与装置之间的位置关系。
图45图示了根据第九示例性实施例的系统的示例。
图46图示了右手302与智能手机200之间的位置关系。
从图45与图1之间的比较以及图46与图2之间的比较可见，不同之处在于用户300的右手302的位置。
在本示例性实施例的情况下，通过摄像头225A同时将作为操作目标的物体(图像形成设备100)和用户的右手302拍摄到图像中。因此，在根据本示例性实施例的使用方式的情况下，不需要使用设置在与液晶显示器223(见图7)相同面上的摄像头225B。
同样，在本示例性实施例的情况下，用户能够在不触摸物体的情况下操作该物体。
在本示例性实施例的情况下，可以将摄像头225A拍摄的食指图像按照原样显示在液晶显示器223上。
可以将本示例性实施例中所述的在智能手机200与作为操作目标的图像形成设备100之间移动右手302(用于输入操作)的方法与前面讨论的第一至第八示例性实施例中的任何一个示例性实施例相组合。可以利用这些组合来实现与根据示例性实施例的操作相似的操作。
<第十示例性实施例>
将针对本示例性实施例来描述将前面讨论的两种类型的操作方法彼此组合的情况。
图47A和图47B图示了在两种类型的操作方法之间的切换，其中，图47A图示了在空中在液晶显示器223与用户300之间移动右手302的方法，并且图47B图示了在空中在智能手机200与图像形成设备100之间移动右手302的方法。
即，图47A中的方法对应第一至第八示例性实施例，并且图47B中的方法对应第九示例性实施例。
根据本示例性实施例的智能手机200的基本硬件配置和功能配置与根据第一示例性实施例相同。
在本示例性实施例的情况下，操作接收部254(见图5)还设置有如下功能，其检测是在与智能手机200的液晶显示器223相同侧上的空间中执行了用户300对操作的输入，还是在相对侧上的空间中执行了这种输入，并且基于检测结果确定该操作的内容。
将根据本示例性实施例的操作接收部254设置为：如果在不同的空间中执行了手势，那么，即使是在作为操作目标的物体或者部分相同并且检测到用户300进行了相同的手势的情况下，也接收不同的操作。
可替代地，可以将操作接收部254设置为区分这些手势。
该设置可以由用户单独地改变。可以针对与物体或者部分或者执行操作的各个用户相关联的个别功能，来设置是否要区分这些手势。
<操作示例1>
图48A和图48B图示了，在相对于智能手机200近前侧上进行操作的情况与在相对于智能手机200进深侧上进行操作的情况之间，切换作为操作目标的物体的一部分的情况，其中，图48A图示了在液晶显示器223与用户300之间进行用户300进行的操作的情况下的关系，并且图48B图示了在智能手机200与图像形成设备100之间进行用户300进行的操作的情况下的关系。
根据物体和一部分的组合来确定与用户的运动对应的操作。因此，可以将不同的操作分配给不同物体的相同部分。
在图48A和图48B的示例中，将在相对于智能手机200近前侧上进行的操作与图像形成设备100的前面(近前侧上的面)相关，并且将在相对于智能手机200进深侧上进行的操作与图像形成设备100的后面(进深侧上的面)相关。
在本操作示例的情况下，用户可以根据其希望操作图像形成设备100的前面还是后面，来在相对于智能手机200近前侧或者进深侧上的空间中通过手势进行操作。
例如，在用户300在相对于智能手机200近前侧上移动右手302的情况下，即使在图像形成设备100的前面和后面上都设置有操作元件，也将用户进行的操作接收为对设置在前面上的操作元件的操作。
另一方面，在用户300在相对于智能手机200进深侧上移动右手302的情况下，即使在图像形成设备100的前面和后面上都设置有操作元件，也将用户进行的操作接收为对设置在后面上的操作元件的操作。
从用户300所在位置看不到图像形成设备100的后面，并且可以将显示切换为事先拍摄的或者提前准备的后面的图像。这种图像切换不是必要的。
后面上设置的功能通常比前面上设置的功能数量要少，并且还有类型限制。因此，即使是在未显示后面的图像的情况下，也可以显示可操作功能列表，以便选择与用户300进行的操作相关的功能。
<操作示例2>
图49A和图49B图示了在相对于智能手机200近前侧上进行操作的情况与在相对于智能手机200进深侧上进行操作的情况之间切换操作模式的情况，其中，图49A图示了在液晶显示器223与用户300之间进行由用户300进行的操作的情况下的关系，并且图49B图示了在智能手机200与图像形成设备100之间进行用户300进行的操作的情况下的关系。
在图49A和图49B的情况下，操作目标是相同的，不理会用户300进行的操作的位置差异。即，操作目标是用户界面部110，不理会操作的位置差异。
然而，在本操作示例的情况下，在相对于智能手机200近前侧上进行操作的情况下，按照普通用户模式来执行操作，而在相对于智能手机200进深侧上进行操作的情况下，按照管理员模式来执行操作。
在用户300注册为管理员的条件下，可以按照管理员模式进行操作。
可替代地，仅在用户300成功登录图像形成设备100的情况下，才可以按照管理员模式进行操作。
<操作示例3>
图50A和图50B图示了，根据在相对于智能手机200近前侧上进行操作的情况和在相对于智能手机200进深侧上进行操作的情况，将操作设置为有效和无效的情况，其中，图50A图示了在液晶显示器223与用户300之间进行用户300进行的操作的情况，并且图50B图示了在智能手机200与图像形成设备100之间进行用户300进行的操作的情况。
在图50A和图50B的情况下，将相对于智能手机200近前侧上进行的操作接收为有效操作，而将相对于智能手机200进深侧上进行的操作接收为无效操作。
即，在相对于智能手机200近前侧上进行操作的情况下，启用用户界面部110上的操作，而在相对于智能手机200进深侧上进行操作的情况下，禁用用户界面部110上的操作。
期望的是，该设置应该可由用户300改变。
图51图示了在液晶显示器223上显示的设置画面223A的示例。
图51中图示的画面223A用于设置要检测手势的位置，并且对应于将检测在相对于智能手机200近前侧上执行的手势的功能设置为启动并且将检测在进深侧上进行的手势的功能设置为关闭的示例。
图51中的设置对应图50A和图50B中图示的操作示例。
可以针对各种功能确定要检测手势的位置的设置。
图52图示了针对各种功能确定要检测手势的位置的设置的画面223B的示例。
在相对于智能手机200近前侧上执行由用户进行的操作的情况和在相对于智能手机200进深侧上进行这种操作的情况中，功能A和功能D的操作都是有效的。
例如，在相对于智能手机200进深侧上执行由用户进行的操作的情况中，功能B和功能F的操作都是有效的。
例如，在相对于智能手机200近前侧上执行由用户进行的操作的情况中，功能C和功能E的操作都是有效的。
<第十一示例性实施例>
在本示例性实施例中，将操作画面显示为空中图像。
图53图示了根据第十一示例性实施例的空中图像形成系统2000的示意配置。空中图像形成系统2000是信息处理系统的示例。
在本示例性实施例中，空中图像2010是在空中形成以便再现光的状态(等效于从物体反射的光的状态)的图像。
空中图像2010被形成为浮在空中，因此人能够穿过空中图像2010。
在本示例性实施例中，将作为用户300要操作的目标的物体(例如，图像形成设备100的用户界面部110)的图像显示在空中图像2010中。
在图53的情况下，通过摄像头2020拍摄用户界面部110的图像，并且将其提供给空中图像形成设备2030。
在本示例性实施例的情况下，将操作目标的图像(例如，“AAAAA/AAAAA/AAAAA/AAAAA”，符号“/”指示换行符)显示在空中图像2010中。然而，可以显示不同的图像。
不仅可以将静止图像显示在空中图像2010中，还可以将移动图像显示在空中图像2010中。
在图53中，空中图像2010具有矩形的外边缘。然而，可以根据需要确定空中图像2010的外边缘的形状。例如，形成有物体图像的空间可以是形成有空中图像2010的空间的全部。此处的空中图像2010的示例包括操作按钮的图像、人的图像、动物的图像、产品的图像和水果的图像。
在图53中，空中图像2010具有平面形状。然而，空中图像2010可以具有三维形状，诸如曲面形状、球形形状和立方体形状。
虽然偶尔会独立地设置空中图像2010，但可以将多个空中图像2010设置在一个空间中。
图53中图示的空中图像形成系统2000包括：在空中形成空中图像2010的空中图像形成设备2030、拍摄用户300对空中图像2010的操作的图像的摄像头2040、以及基于拍摄到图像中的用户300的运动来控制空中图像形成设备2030和图像形成设备100的运动的控制设备2050。
根据示例性实施例的空中图像形成设备2030是图像形成单元的示例。
对于前面讨论的示例性实施例而言，控制设备2050的共同之处在于，通过将用户300在空中图像2010上的运动与检测到这种运动的位置相结合来规定操作的内容。
控制设备2050使用识别从摄像头2040输入的图像的技术，来规定操作的内容。
此处的控制设备2050是根据规定的内容来控制图像形成设备100的信息处理设备的示例。
虽然根据本示例性实施例的控制设备2050与其它示例性实施例的不同之处在于控制设备2050不用于与用户300接触，但是控制设备2050与其它示例性实施例的共同之处在于待执行的操作的内容。
例如，摄像头2040设置在摄像头2040能够将用户300的手或者指尖的运动拍摄到图像中的位置。
虽然图53图示了设置有一个摄像头2040的情况，但也可以设置多个摄像头2040。所述多个摄像头2040彼此不同之处可以在于，附接位置或者图像拍摄方向。不同的附接位置和不同的图像拍摄方向减少了盲点，从而提高了对用户300的操作的检测或者规定的精度。
虽然图53中使用了摄像头2040，但也可以使用不同类型的传感器。例如，还可以使用检测横过与空中图像2010平行形成的检测平面的物体的传感器。例如，通过红外线来形成该检测平面。
图54图示了形成空中图像2010的便携式装置2060的示例。
在图54的情况下，用户300用左手301握住装置2060。空中图像形成设备2030、摄像头2040和控制设备2050容纳在装置2060中。装置2060不限于便携类型，并且可以随着其外壳移动。
图55A和图55B图示了通过将右手302移到相对于空中图像2010近前侧上的位置来操作物体(例如，图像形成设备100)的示例，其中，图55A图示了当从用户300看时空中图像2010和右手302看起来的样子，并且图55B图示了在用户300、空中图像2010和右手302之间的位置关系。
图56A和图56B图示了通过将右手302移到相对于空中图像2010进深侧上的位置来操作物体(例如，图像形成设备100)的示例，其中，图56A图示了当从用户300看时空中图像2010和右手302看起来的样子，并且图56B图示了在用户300、空中图像2010和右手302之间的位置关系。
根据本示例性实施例的装置2060检测右手302是放置在相对于空中图像2010近前侧还是进深侧上，并且根据检测结果改变控制内容。
下面将描述空中图像形成设备2030的特定示例。
图57A和图57B图示了通过使从显示装置3001输出的光通过专用光学板3002来形成空中图像2010的空中图像形成设备3000A的原理，其中，图57A图示了在部件与空中图像2010之间的位置关系，并且图57B图示了光学板3002的剖面结构的一部分。显示装置3001和光学板3002分别是光学组件的示例。
光学板3002具有如下结构：设置有具有用作反射镜的壁面的短玻璃条3002A的板、和在与短玻璃条3002A的方向正交的方向上设置有短玻璃条3002B的板彼此垂直堆叠。
光学板3002通过使用短玻璃条3002A和3002B将从显示装置3001输出的光反射两次，来将显示装置3001上显示的图像再现在空中，以在空中形成图像。
显示装置3001与光学板3002之间的距离以及光学板3002与空中图像2010之间的距离彼此相等。显示装置3001上显示的图像的尺寸与空中图像2010的尺寸彼此相等。
图58图示了形成三维图像作为空中图像2010的空中图像形成设备3000B的原理。空中图像形成设备3000B通过使被实际物体3003的面反射的光通过环状的两个光学板3002，来将三维图像(空中图像2010)再现在空中。光学板3002不必彼此串联设置。
图59A和图59B图示了使用微反射镜阵列3004形成空中图像2010的空中图像形成设备3000C的原理，该微反射镜阵列3004具有如下结构：构成二面角反射器的微小矩形孔3004A在平面内等间隔排列，其中，图59A图示了在部件与空中图像2010之间的位置关系，并且图57B图示了放大后的微反射镜阵列3004的一部分。例如，一个孔3004A形成为方形，各条边长100μm。微反射镜阵列3004是光学组件的示例。
图60图示了使用分束器3006和逆反射片3007的空中图像形成设备3000D的原理。分束器3006设置为相对于显示装置3005的显示面成45度。
逆反射片3007设置为，在分束器3006对显示图像的反射方向上相对于显示装置3005的显示面成90度。显示装置3005、分束器3006和逆反射片3007是光学组件的示例。
在空中图像形成设备3000D的情况下，从显示装置3005输出的光在逆反射片3007的方向上被分束器3006反射，接着被逆反射片3007逆反射，并且通过分束器3006以在空中形成图像。空中图像2010形成在光形成图像的位置处。
图61图示了形成空中图像2010作为等离子体发光二极管类集的空中图像形成设备3000E的原理。
在空中图像形成设备3000E的情况下，红外脉冲激光器3008输出脉冲激光，并且XYZ扫描仪3009将脉冲激光凝聚在空中。此时，聚集点3010附近的气体暂时地形成等离子体以发光。例如，脉冲频率为100Hz或者更低，并且，例如，脉冲光发射时间是纳秒级的。红外脉冲激光器3008和XYZ扫描仪3009是光学组件的示例。
<其它示例性实施例>
虽然上面已经描述了本公开的示例性实施例，但本公开的技术范围不限于上面讨论的示例性实施例。从所附权利要求书明显可见的是，可以对上面讨论的示例性实施例进行的各种修改和改进也落入本公开的技术范围内。
(1)例如，在前面讨论的示例性实施例中，智能手机200(见图1)或者眼镜式终端(见图27)用于操作实际空间中存在的物体。然而，接收用户进行的手势作为操作的信息处理设备可以是平板终端、所谓的数码相机、诸如游戏装置这样的玩具、手表类可穿戴终端、或者具有内置摄像头的接触镜片，例如，包括有图像拍摄摄像头、显示部和通信部。具有内置摄像头的接触镜片是可穿戴终端的示例，并且也称为“智能接触镜片”。智能接触镜片包括例如设置在用于与角膜接触的镜片中的摄像头、天线和电子组件(诸如发送/接收电路和信号处理电路)，并且可通过眨眼睛来操作。例如，可以进行快门释放、缩放、光圈设置和聚焦的操作。
(2)在前面讨论的示例性实施例中，智能手机200执行接收通过智能手机200拍摄到图像中的用户身体部位的运动作为操作的处理。然而，可以将智能手机200用作拍摄身体部位的运动的图像的单元，并且外部设备(例如，服务器)可以执行接收这种运动作为操作的处理。
(3)在前面讨论的示例性实施例中，将手套描述为根据使用情况装饰用户身体部位的物体的示例。然而，可以增添衣服等作为装饰。可以在画面上修剪指甲。在使用脚来进行操作的情况下，可以增添与使用情况匹配的鞋类作为装饰。鞋类的示例包括商务鞋、运动鞋、凉鞋和靴子。
(4)在前面讨论的示例性实施例的情况下，通过图57A和57B至图61中图示的其中一种方案来生成空中图像。然而，生成空中图像的方法不限于此。例如，可以使用所谓的全息方法来生成空中图像。
出于图示和说明之目的，已经呈现了对本发明的示例性实施例的前述说明。并不旨在力求详尽或者将本公开局限于所公开的精确形式。显然，本领域的技术人员会想到许多修改和变化。选择和描述实施例是为了最好地阐释本公开及其实际应用的原理，从而使本领域的技术人员能够理解本公开用于适合于预期的特定用途的各种实施例和各种修改。本公开的范围旨在由所附权利要求书及其等效物限定。

Claims (30)

1.一种信息处理设备，所述信息处理设备包括：
第一摄像头，所述第一摄像头位于所述信息处理设备的第一表面上并且被配置为拍摄待操作的物体；
第二摄像头，所述第二摄像头位于所述信息处理设备的与所述第一表面相对的第二表面上并且被配置为拍摄用户；
检测单元，所述检测单元检测所述用户在显示所述待操作的物体的图像的显示面与所述用户之间进行的运动，所述运动是在不接触所述显示面的情况下进行的，其中，所述显示面位于所述第二表面上；以及
控制单元，所述控制单元指示所述物体执行与检测到的所述用户的运动对应的操作。
2.根据权利要求1所述的信息处理设备，
其中，基于所拍摄的图像将所述物体的图像显示在所述显示面上。
3.根据权利要求1所述的信息处理设备，
其中，所述检测单元通过处理所拍摄的图像来检测所述用户的手或者手指的运动。
4.根据权利要求1所述的信息处理设备，
其中，所述检测单元使用与测得的距离有关的信息来检测所述用户的手或者手指的运动。
5.根据权利要求1所述的信息处理设备，
其中，所述用户的手或者手指的图像与所述物体的图像重叠地显示在所述显示面上。
6.根据权利要求1所述的信息处理设备，
其中，针对所述物体的各相应部分准备与所述用户的运动对应的操作。
7.根据权利要求1所述的信息处理设备，
其中，在所述用户被允许操作所述物体的情况下，所述控制单元指示所述物体执行所述操作。
8.根据权利要求1所述的信息处理设备，
其中，在所述物体不能执行与检测到的所述用户的运动对应的操作的情况下，通知所述用户。
9.根据权利要求8所述的信息处理设备，
其中，把正确操作所述物体的方法通知给所述用户。
10.根据权利要求1所述的信息处理设备，
其中，所述控制单元根据所述物体来确定与检测到的所述用户的运动对应的操作内容。
11.根据权利要求1所述的信息处理设备，
其中，所述控制单元获取所述物体的能够通过与所述物体的通信而进行操作的功能。
12.根据权利要求1所述的信息处理设备，
其中，所述控制单元把建议所述用户的身体部位的指示重叠显示在所述物体上。
13.根据权利要求1所述的信息处理设备，
其中，所述控制单元向所述用户通知已经接收到所述用户的运动作为操作。
14.根据权利要求13所述的信息处理设备，
其中，在用户相对于所述显示面非接触地移动了的身体部位处通过触觉对所述用户进行通知。
15.根据权利要求13所述的信息处理设备，
其中，所述控制单元对于运动已被接受为操作的身体部位，按照与接受前不同的方式进行显示。
16.根据权利要求1所述的信息处理设备，
其中，所述控制单元把用于操作所述物体的装备重叠显示在所述用户的身体上。
17.根据权利要求1所述的信息处理设备，
其中，所述控制单元把与所述物体所在的环境匹配的装备重叠显示在所述用户的身体上。
18.根据权利要求1所述的信息处理设备，
其中，在与所述用户的运动对应的操作需要对所述物体进行物理操作的情况下，所述控制单元指示具有可动部的不同装置执行该操作。
19.根据权利要求1所述的信息处理设备，
其中，在所述显示面上显示的所述物体的图像是通过对图像中的待操作物体的图像进行进一步拍摄而得到的图像。
20.根据权利要求1所述的信息处理设备，
其中，所述显示面形成在空中。
21.根据权利要求1所述的信息处理设备，
其中，所述显示面被显示为增强现实或者混合现实。
22.一种信息处理设备，所述信息处理设备包括：
第一摄像头，所述第一摄像头位于所述信息处理设备的第一表面上并且被配置为拍摄待操作的物体；
第二摄像头，所述第二摄像头位于所述信息处理设备的与所述第一表面相对的第二表面上并且被配置为拍摄用户；
检测单元，所述检测单元检测所述用户在不接触所述待操作的物体的情况下执行的运动；以及
控制单元，所述控制单元根据是在显示所述物体的图像的显示面与所述用户之间检测到所述用户的运动、还是在图像中拍摄到所述物体的所述显示面与所述物体之间检测到该运动，来切换指示所述物体进行的操作的内容，其中，所述显示面位于所述第二表面上。
23.根据权利要求22所述的信息处理设备，
其中，在所述显示面与所述用户之间检测到的所述用户的运动和在所述显示面与所述物体之间检测到的所述用户的运动与所述物体的不同部分相关。
24.根据权利要求23所述的信息处理设备，
其中，在所述显示面与所述用户之间检测到的所述用户的运动与所述物体的从所述用户看时近前侧的面相关；以及
在所述显示面与所述物体之间检测到的所述用户的运动与所述物体的从所述用户看时进深侧的面相关。
25.根据权利要求22所述的信息处理设备，
其中，在所述显示面与所述用户之间检测到的所述用户的运动和在所述显示面与所述物体之间检测到的所述用户的运动与所述物体的相同部分相关。
26.根据权利要求22所述的信息处理设备，
其中，所述控制单元仅基于在所述显示面与所述用户之间检测到的所述用户的运动或者仅基于在所述显示面与所述物体之间检测到的所述用户的运动，作为有效运动，来指示所述物体。
27.根据权利要求26所述的信息处理设备，
其中，针对各功能，设置被视为所述有效运动的运动检测位置。
28.根据权利要求26所述的信息处理设备，
其中，由所述用户指定被视为所述有效运动的运动检测位置。
29.一种存储程序的非暂时性计算机可读介质，所述程序使计算机执行处理，所述处理包括：
使用位于信息处理设备的第一表面上的第一摄像头拍摄待操作的物体；
使用位于所述信息处理设备的与所述第一表面相对的第二表面上的第二摄像头拍摄用户；
检测所述用户在显示所述待操作的物体的图像的显示面与所述用户之间进行的运动，所述运动是在不接触所述显示面的情况下进行的，其中，所述显示面位于所述第二表面上；以及
指示所述物体执行与检测到的所述用户的运动对应的操作。
30.一种存储程序的非暂时性计算机可读介质，所述程序使计算机执行处理，所述处理包括：
使用位于信息处理设备的第一表面上的第一摄像头拍摄待操作的物体；
使用位于所述信息处理设备的与所述第一表面相对的第二表面上的第二摄像头拍摄用户；
检测所述用户在不接触所述待操作的物体的情况下执行的运动；以及
根据是在显示所述物体的图像的显示面与所述用户之间检测到所述用户的运动、还是在图像中拍摄到所述物体的所述显示面与所述物体之间检测到该运动，来切换指示所述物体进行的操作的内容，其中，所述显示面位于所述第二表面上。
CN201811546913.8A 2018-05-29 2018-12-18 信息处理设备和非暂时性计算机可读介质 Active CN110543233B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-102770 2018-05-29
JP2018102770A JP7135444B2 (ja) 2018-05-29 2018-05-29 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
CN110543233A CN110543233A (zh) 2019-12-06
CN110543233B true CN110543233B (zh) 2024-06-07

Family

ID=68693388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811546913.8A Active CN110543233B (zh) 2018-05-29 2018-12-18 信息处理设备和非暂时性计算机可读介质

Country Status (3)

Country Link
US (1) US11265428B2 (zh)
JP (1) JP7135444B2 (zh)
CN (1) CN110543233B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7119398B2 (ja) * 2018-02-06 2022-08-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7155613B2 (ja) * 2018-05-29 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP2022123692A (ja) * 2021-02-12 2022-08-24 ソニーグループ株式会社 画像処理装置、画像処理方法、画像処理システム
CN113030947B (zh) * 2021-02-26 2023-04-07 北京京东方技术开发有限公司 非接触式控制装置以及电子设备
JP2023046979A (ja) * 2021-09-24 2023-04-05 富士フイルムビジネスイノベーション株式会社 照合装置及びプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005063225A (ja) * 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
CN103389794A (zh) * 2012-05-08 2013-11-13 联发科技股份有限公司 交互显示系统及其方法
CN103620526A (zh) * 2011-06-21 2014-03-05 高通股份有限公司 在计算机视觉应用中扩展交互半径的手势控制型技术
KR20150051769A (ko) * 2013-11-05 2015-05-13 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
JP2015213212A (ja) * 2014-05-01 2015-11-26 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
JP2016148899A (ja) * 2015-02-10 2016-08-18 嘉泰 小笠原 電子機器
DE102015204978A1 (de) * 2015-03-19 2016-09-22 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Ausgabesystems mit einer Anzeigevorrichtung und zumindest einer weiteren Ausgabevorrichtung
KR20170052247A (ko) * 2015-11-04 2017-05-12 전자부품연구원 차량용 비접촉식 스크린 패드
JP2017120556A (ja) * 2015-12-28 2017-07-06 株式会社ブリリアントサービス 操作用ヘッドマウントディスプレイ、操作用ヘッドマウントディスプレイの制御方法および操作用ヘッドマウントディスプレイのプログラム
CN107199888A (zh) * 2016-03-18 2017-09-26 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
JP2017187922A (ja) * 2016-04-05 2017-10-12 カルソニックカンセイ株式会社 車載用情報処理システム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI423112B (zh) * 2009-12-09 2014-01-11 Ind Tech Res Inst 可攜式虛擬輸入操作裝置與其操作方法
JP2012088959A (ja) * 2010-10-20 2012-05-10 Kddi Corp 遠隔操作システム、遠隔操作方法およびプログラム
JP2012108771A (ja) * 2010-11-18 2012-06-07 Panasonic Corp 画面操作システム
US9152306B2 (en) * 2011-03-29 2015-10-06 Intel Corporation Techniques for touch and non-touch user interaction input
JP5803323B2 (ja) * 2011-06-24 2015-11-04 ブラザー工業株式会社 操作支援プログラム
JP2013172432A (ja) 2012-02-23 2013-09-02 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
JP5935529B2 (ja) * 2012-06-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5696908B2 (ja) * 2013-02-15 2015-04-08 コニカミノルタ株式会社 操作表示システム
US20140258880A1 (en) * 2013-03-07 2014-09-11 Nokia Corporation Method and apparatus for gesture-based interaction with devices and transferring of contents
JP6425416B2 (ja) * 2013-05-10 2018-11-21 国立大学法人電気通信大学 ユーザインタフェース装置およびユーザインタフェース制御プログラム
JP5509391B1 (ja) * 2013-06-07 2014-06-04 株式会社アスカネット 再生画像の指示位置を非接触で検知する方法及び装置
JP6500477B2 (ja) * 2015-02-12 2019-04-17 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10782657B2 (en) * 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
JP2015228097A (ja) * 2014-05-30 2015-12-17 株式会社ニコン 電子機器、電子機器システム及びプログラム
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
WO2016135473A1 (en) * 2015-02-25 2016-09-01 Bae Systems Plc Apparatus and method for effecting a control action in respect of system functions
JP6596883B2 (ja) * 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
JP6304497B2 (ja) * 2015-04-25 2018-04-04 京セラドキュメントソリューションズ株式会社 画像形成システムおよび拡張現実プログラム
JP6354653B2 (ja) * 2015-04-25 2018-07-11 京セラドキュメントソリューションズ株式会社 拡張現実操作システムおよび拡張現実操作プログラム
JP6507827B2 (ja) * 2015-04-28 2019-05-08 京セラドキュメントソリューションズ株式会社 表示システム
US20180292907A1 (en) * 2015-05-28 2018-10-11 Itay Katz Gesture control system and method for smart home
JP2017062709A (ja) * 2015-09-25 2017-03-30 新光商事株式会社 ジェスチャー操作装置
JP6274186B2 (ja) * 2015-11-10 2018-02-07 コニカミノルタ株式会社 画像形成装置、画像形成システム、及びプログラム
US10317989B2 (en) * 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
JP6689492B2 (ja) * 2016-03-14 2020-04-28 富士ゼロックス株式会社 端末装置、データ処理システム及びプログラム
US20180053352A1 (en) * 2016-08-22 2018-02-22 Daqri, Llc Occluding augmented reality content or thermal imagery for simultaneous display
JP2018082275A (ja) * 2016-11-15 2018-05-24 京セラ株式会社 電子機器、プログラムおよび制御方法
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
JP6687157B2 (ja) * 2017-07-14 2020-04-22 京セラドキュメントソリューションズ株式会社 表示装置および表示システム
JP2019053426A (ja) * 2017-09-13 2019-04-04 富士ゼロックス株式会社 情報処理装置及びプログラム
US20190094977A1 (en) * 2017-09-25 2019-03-28 Kabushiki Kaisha Toshiba Input apparatus, image forming apparatus, and input method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005063225A (ja) * 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
CN103620526A (zh) * 2011-06-21 2014-03-05 高通股份有限公司 在计算机视觉应用中扩展交互半径的手势控制型技术
CN103389794A (zh) * 2012-05-08 2013-11-13 联发科技股份有限公司 交互显示系统及其方法
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
KR20150051769A (ko) * 2013-11-05 2015-05-13 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
JP2015213212A (ja) * 2014-05-01 2015-11-26 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
JP2016148899A (ja) * 2015-02-10 2016-08-18 嘉泰 小笠原 電子機器
DE102015204978A1 (de) * 2015-03-19 2016-09-22 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Ausgabesystems mit einer Anzeigevorrichtung und zumindest einer weiteren Ausgabevorrichtung
KR20170052247A (ko) * 2015-11-04 2017-05-12 전자부품연구원 차량용 비접촉식 스크린 패드
JP2017120556A (ja) * 2015-12-28 2017-07-06 株式会社ブリリアントサービス 操作用ヘッドマウントディスプレイ、操作用ヘッドマウントディスプレイの制御方法および操作用ヘッドマウントディスプレイのプログラム
CN107199888A (zh) * 2016-03-18 2017-09-26 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
JP2017187922A (ja) * 2016-04-05 2017-10-12 カルソニックカンセイ株式会社 車載用情報処理システム

Also Published As

Publication number Publication date
US11265428B2 (en) 2022-03-01
US20190373119A1 (en) 2019-12-05
JP7135444B2 (ja) 2022-09-13
CN110543233A (zh) 2019-12-06
JP2019207573A (ja) 2019-12-05

Similar Documents

Publication Publication Date Title
CN110543233B (zh) 信息处理设备和非暂时性计算机可读介质
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
US10643390B2 (en) Head mounted display, method for controlling head mounted display, and computer program
JP2023100884A (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
US9772720B2 (en) Flexible room controls
EP2956221B1 (en) Control device with passive reflector
US11514705B2 (en) Information processing apparatus and non-transitory computer readable medium to allow operation without contact
CN110045816A (zh) 近眼显示器和系统
CN109313500A (zh) 纤细形状因子的无源光学和惯性跟踪
US20150346701A1 (en) Systems and methods of gestural interaction in a pervasive computing environment
CN105009039A (zh) 使用imu的直接全息图操纵
CN106125921A (zh) 3d映射环境中的凝视检测
CN106919262A (zh) 增强现实设备
JP2012115414A (ja) ゲーム装置、ゲームを提供する方法、ゲームプログラム、および、ゲームシステム
JP7271909B2 (ja) 表示装置、及び、表示装置の制御方法
US11223729B2 (en) Information processing apparatus and non-transitory computer readable medium for instructing an object to perform a specific function
WO2022014445A1 (ja) 検出装置及び検出方法
KR102039948B1 (ko) 증강현실이나 가상현실에 기초하여 가상의 인체 장기를 렌더링하는 이동 단말기 및 이를 이용하는 시스템
WO2003003185A1 (en) System for establishing a user interface
US20220276824A1 (en) Augmented reality device and electronic device interacting with augmented reality device
CN117321547A (zh) 来自电子眼睛佩戴设备的情境视觉和语音搜索
CN206906983U (zh) 增强现实设备
US20240105173A1 (en) Method and apparatus for providing virtual space in which interaction with another entity is applied to entity
KR20240018990A (ko) 증강 현실에서 사용자를 인증하는 장치 및 방법
KR20240062980A (ko) 메타버스에서 외부 장치를 사용하는 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant