CN110209309A - 信息处理装置及存储程序的计算机可读介质 - Google Patents

信息处理装置及存储程序的计算机可读介质 Download PDF

Info

Publication number
CN110209309A
CN110209309A CN201811029577.XA CN201811029577A CN110209309A CN 110209309 A CN110209309 A CN 110209309A CN 201811029577 A CN201811029577 A CN 201811029577A CN 110209309 A CN110209309 A CN 110209309A
Authority
CN
China
Prior art keywords
user
information processing
processing unit
movement
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811029577.XA
Other languages
English (en)
Inventor
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN110209309A publication Critical patent/CN110209309A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明为一种信息处理装置及存储程序的计算机可读介质，可不利用通过使用者的接触所进行的操作，而进行现实的空间内所存在的物体的操作。与使用者接触来使用的信息处理装置包括：探测部件，探测从相向的位置对现实的空间内所存在的作为操作的对象的物体进行操作时的使用者的动作，即在与物体不接触的状态下在现实的空间内进行的使用者的动作；以及控制部件，对物体指示对应于所探测到的使用者的动作的操作的执行。

Description

信息处理装置及存储程序的计算机可读介质
技术领域
本发明涉及一种信息处理装置及存储程序的计算机可读介质。
背景技术
已提出有对由内置在使用者进行操作的便携式设备中的照相机所拍摄的图像中所包含的设备进行识别，将对应于所识别的设备的虚拟使用者界面显示在增强现实(augmented reality)的空间内，并通过此虚拟使用者界面来操作设备。
[现有技术文献]
[专利文献]
[专利文献1]日本专利特开2013-172432号公报
发明内容
[发明所要解决的问题]
在设备的操作中，将通过使用者的接触所进行的指示作为前提。
本发明可不利用通过使用者的接触所进行的操作，而进行现实的空间内所存在的物体的操作。
[解决问题的技术手段]
技术方案1中记载的发明是一种信息处理装置，其包括：探测部件，探测从相向的位置对现实的空间内所存在的作为操作的对象的物体进行操作时的使用者的动作，即在与所述物体不接触的状态下在现实的空间内进行的使用者的动作；以及控制部件，对所述物体指示对应于所探测到的使用者的动作的操作的执行；且所述信息处理装置与使用者接触来使用。
技术方案2中记载的发明是技术方案1中记载的信息处理装置，其中所述探测部件根据对所述物体与使用者的身体的一部分同时进行拍摄所得的图像来探测使用者的动作。
技术方案3中记载的发明是技术方案2中记载的信息处理装置，其中所述图像的拍摄者为使用者。
技术方案4中记载的发明是技术方案3中记载的信息处理装置，其中使用者的身体的一部分叠加在所述物体上来显示。
技术方案5中记载的发明是技术方案2中记载的信息处理装置，其中所述控制部件将所探测到的使用者的动作和被探测到与使用者的身体的一部分的重叠的所述物体在所述图像上建立关联。
技术方案6中记载的发明是技术方案5中记载的信息处理装置，其中所述控制部件将预先设定的身体的一部分作为探测的对象。
技术方案7中记载的发明是技术方案6中记载的信息处理装置，其中所述预先设定的身体的一部分为手指或手。
技术方案8中记载的发明是技术方案6中记载的信息处理装置，其中所述预先设定的身体的一部分为脚。
技术方案9中记载的发明是技术方案1中记载的信息处理装置，其中所述探测部件将所述物体与使用者的身体的一部分被同时拍摄时的使用者的动作作为探测的对象。
技术方案10中记载的发明是技术方案1中记载的信息处理装置，其中对应于使用者的动作的操作是针对所述物体的每个个别的部位来准备。
技术方案11中记载的发明是技术方案1中记载的信息处理装置，其中只要是动作被探测到的使用者为被允许操作所述物体的使用者的情况，则所述控制部件对所述物体指示操作的执行。
技术方案12中记载的发明是技术方案1中记载的信息处理装置，其中当无法在所述物体中执行对应于所探测到的使用者的动作的操作时，向使用者报告。
技术方案13中记载的发明是技术方案12中记载的信息处理装置，其中报告对于所述物体的正确的操作的方法。
技术方案14中记载的发明是技术方案1中记载的信息处理装置，其中所述控制部件根据所述物体，决定对应于所探测到的使用者的动作的操作的内容。
技术方案15中记载的发明是技术方案1中记载的信息处理装置，其中所述控制部件通过与所述物体的通信而取得可进行操作的所述物体的功能。
技术方案16中记载的发明是技术方案1中记载的信息处理装置，其中所述控制部件透过性地显示使用者的身体，以不使所述物体被使用者的身体遮挡。
技术方案17中记载的发明是技术方案1中记载的信息处理装置，其中所述控制部件选择性地显示使用者的身体的一部分，以不使所述物体被使用者的身体遮挡。
技术方案18中记载的发明是技术方案1中记载的信息处理装置，其中所述控制部件将暗示使用者的身体的部位的表述叠加在所述物体上来显示。
技术方案19中记载的发明是技术方案1中记载的信息处理装置，其中所述控制部件向使用者报告已将使用者的动作作为操作来接受。
技术方案20中记载的发明是技术方案19中记载的信息处理装置，其中所述控制部件以与接受前不同的形态显示作为操作所接受的身体的部位。
技术方案21中记载的发明是技术方案1中记载的信息处理装置，其中所述控制部件将用于所述物体的操作的装备叠加在使用者的身体上来显示。
技术方案22中记载的发明是技术方案1中记载的信息处理装置，其中所述控制部件将对应于所述物体所存在的环境的装备叠加在使用者的身体上来显示。
技术方案23中记载的发明是技术方案1中记载的信息处理装置，其中所述探测部件根据对显示所述物体的像的画面与使用者的身体的一部分同时进行拍摄所得的图像，探测使用者的身体的一部分的动作。
技术方案24中记载的发明是技术方案1中记载的信息处理装置，其中所述控制部件根据将对所述物体进行拍摄所得的图像与对使用者的身体的一部分进行拍摄所得的图像合成所得的图像，决定对应于使用者的动作的操作的内容。
技术方案25中记载的发明是技术方案1中记载的信息处理装置，其中当对应于使用者的动作的操作需要对于所述物体的物理的操作时，所述控制部件对具有可动部的另一设备指示操作的执行。
技术方案26中记载的发明是一种信息处理装置，其包括控制部件，所述控制部件当从与使用者接触来使用的终端接收到指示对应于在与本装置不接触的状态下在现实的空间内进行的使用者的动作的操作的执行的通信时，允许所指示的操作的执行。
技术方案27中记载的发明是技术方案26中记载的信息处理装置，其中只要是来自所述终端的指示，则所述控制部件允许操作的执行。
技术方案28中记载的发明是一种程序，其使与使用者接触来使用的计算机作为探测部件与控制部件发挥功能，所述探测部件从使用者的地点探测从相向的位置对现实的空间内所存在的作为操作的对象的物体进行操作时的使用者的动作，即在与所述物体不接触的状态下在现实的空间内进行的使用者的动作，所述控制部件对所述物体指示对应于所探测到的使用者的动作的操作的执行。
[发明的效果]
根据技术方案1记载的发明，能够不利用通过使用者的接触所进行的操作，而进行现实的空间内所存在的物体的操作。
根据技术方案2记载的发明，能够以与利用接触的情况相同的动作操作物体。
根据技术方案3记载的发明，能够以与利用接触的情况相同的动作操作物体。
根据技术方案4记载的发明，使用者可在画面上确认自己的动作与作为操作的对象的物体的位置关系。
根据技术方案5记载的发明，能够以与利用接触的情况相同的动作操作物体。
根据技术方案6记载的发明，可减少误操作。
根据技术方案7记载的发明，可减少误操作。
根据技术方案8记载的发明，可减少误操作。
根据技术方案9记载的发明，可减少误操作。
根据技术方案10记载的发明，可使操作效率化。
根据技术方案11记载的发明，可限定操作者。
根据技术方案12记载的发明，可通知不正确的操作。
根据技术方案13记载的发明，可提示正确的操作。
根据技术方案14记载的发明，可指示对应于物体的操作。
根据技术方案15记载的发明，可指示对应于物体的操作。
根据技术方案16记载的发明，可在已在画面上确认物体的状态下进行操作。
根据技术方案17记载的发明，可在已在画面上确认物体的状态下进行操作。
根据技术方案18记载的发明，可减少误操作。
根据技术方案19记载的发明，可确认操作的确定。
根据技术方案20记载的发明，可确认操作的确定。
根据技术方案21记载的发明，可提高现实感。
根据技术方案22记载的发明，可提高现实感。
根据技术方案23记载的发明，即便在使用者的前面不存在作为操作的对象的物体，也能够以与利用接触的情况相同的动作操作物体。
根据技术方案24记载的发明，即便在使用者的前面不存在作为操作的对象的物体，也能够以与利用接触的情况相同的动作操作物体。
根据技术方案25记载的发明，可指示也执行需要物理的接触的操作。
根据技术方案26记载的发明，可不利用通过使用者的接触所进行的操作，而进行现实的空间内所存在的物体的操作。
根据技术方案27记载的发明，可提高操作的安全性。
根据技术方案28记载的发明，可不利用通过使用者的接触所进行的操作，而进行现实的空间内所存在的物体的操作。
附图说明
图1是说明实施方式1的系统的一例的图。
图2是说明图像形成装置的硬件构成的一例的图。
图3是说明智能手机的硬件构成的一例的图。
图4是说明处理电路部通过程序的执行而实现的功能构成的一例的图。
图5是说明在处理电路部中执行的处理动作的一例的流程图。
图6是说明作为拍摄者的使用者以使自己的食指与图像形成装置重叠的方式进行拍摄的样子的图。
图7是说明对如在与图像形成装置不接触的状态下在空中按食指般的动作进行拍摄的样子的图。
图8是说明向使用者报告操作的接受的另一方法的图。
图9是说明向使用者报告操作的接受的另一方法的图。
图10是说明向使用者报告操作的接受的另一方法的图。
图11是说明不使食指的像显示在液晶显示器中的方法的图。
图12是说明不使食指的像显示在液晶显示器中的另一方法的图。
图13是说明不使食指的像显示在液晶显示器中的另一方法的图。
图14是说明操作的对象为具有通信的功能的计算器的情况的图。
图15是说明操作的对象为操作杆的情况的图。
图16是说明操作的对象为操作杆的情况的另一例的图。
图17是说明将以安装有铰链的部分为轴来开闭的单开门作为操作的对象的情况的图。
图18是通过利用智能手机拍摄使用者朝空中推出右手的动作来说明单开门已略微打开的状态的图。
图19是通过利用智能手机拍摄使用者朝空中推出右手的动作来说明单开门已大幅度打开的状态的图。
图20是说明在单开门上安装有操作杆式的把手的情况的图。
图21是说明将照明器具作为拍摄的对象的情况的图。
图22是说明将控制照明器具的点灯的开关作为拍摄的对象的情况的图。
图23是说明将显示在显示装置中的计算器的像作为拍摄的对象的情况的图。
图24是说明将由智能手机所拍摄的使用者的动作与显示在画面上的操作元件的操作建立关联的情况的图。
图25是说明实施方式2的系统的一例的图。
图26是说明将保险柜作为操作的对象进行拍摄的情况的图。
图27是说明保险柜的硬件构成的一例的图。
图28是说明由微处理器(Micro Processing Unit，MPU)所执行的处理动作的一例的流程图。
图29是说明实施方式4的系统的一例的图。
图30表示如所述实施方式中所说明般，利用智能手机将使用者的身体的一部分的动作作为单开门的操作来接受的情况。
图31是说明多个使用者经由网络而共有操作的信息的结构的图。
图32是说明使用三台智能手机中的一台将单开门推开的情况的图。
图33是说明单开门已被打开的状态由三台智能手机共有的样子的图。
图34是说明通过肢体动作来指示盆栽的移动的情况的图。
图35是说明机器人的硬件构成的图。
图36是说明使用机器人的盆栽的移动的图。
图37是说明与图像形成装置相向的位置的其他例的图。
图38是说明通过肢体动作来将用纸的收容部开闭的例子的图。
图39是说明安装有用于对经印刷的用纸施加穿孔处理或装订处理的机构(后处理装置)的情况的操作例的图。
图40中的(A)至(C)是说明在后处理装置的像通过食指的像来选择的情况下执行的显示部中产生的画面的变化的图。图40中的(A)表示接受利用食指的像的肢体动作前的显示，图40中的(B)表示接受利用食指的像的肢体动作后的显示，图40中的(C)表示接受利用肢体动作的操作的智能手机的画面例。
图41是说明向使用者报告单开门打开至所容许的最大的角度为止后也继续推的肢体动作被探测的情况的功能的一例的图。
符号的说明
100：图像处理装置
200：智能手机
400：计算器
500：操作杆
600：单开门
700：开关
800：照明器具
900：显示装置
1000、1300：网络
1010：眼镜型的终端
1100：保险柜
1200：网络摄像头
1400：服务器
1500：盆栽
1600：机器人
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
＜实施方式1＞
＜系统例＞
图1是说明实施方式1的系统的一例的图。
图1中所示的系统包含将图像形成在记录材料(以下，也存在代表性地记作“用纸”的情况)上的图像形成装置100、及对图像形成装置100进行拍摄的智能手机200。
图像形成装置100是现实的空间内所存在的物体的一例，并且也是信息处理装置的一例。
图像形成装置100具备：生成复制物的复制功能、读取原稿的图像的扫描功能、与其他设备之间交接传真图像的传真收发功能、将图像记录在用纸上的印刷功能等。复制功能通过将扫描功能与印刷功能组合来实现。
另外，图像形成装置100无需同时具备复制功能、扫描功能、传真收发功能，也可以是对任一个功能特别强化的装置，例如复印机、扫描器、传真收发机、打印机(包含三维打印机)。另外，图像形成装置100也可以具有将这些功能的一部分选择性地组合而成的装置构成。
图像形成装置100包括：使用者界面部110，用于来自使用者的操作的接受或对于使用者的各种信息的提示；图像读取单元120，读取原稿的图像；图像形成单元130，将图像记录在用纸上；以及收容部140，收容用纸。
智能手机200是便携型的终端装置，如后述般具备拍摄用的照相机、显示画面、通信功能等。智能手机200为信息处理装置的一例。
在图1中所示的智能手机200的显示画面中显示有图像形成装置100的像100A。
＜图像形成装置的构成＞
图2是说明图像形成装置100的硬件构成的一例的图。
在图2中，对与图1的对应部分标注对应的符号来表示。
使用者界面部110具备用于操作画面等的显示的显示部111、及接受使用者的输入操作的操作接受部112。
显示部111例如包含液晶显示面板或有机电致发光(Electro Luminescence，EL)显示面板等。
操作接受部112包含接受由使用者所进行的操作输入的按钮或触摸板等。
图像读取单元120具有从原稿读取图像的图像读取部、及将原稿搬送至图像读取部中的原稿搬送部。图像读取单元120配置在图像形成单元130的上部。
图像形成单元130具有作为控制部发挥功能的MPU(Micro Processing Unit)131、只读存储器(Read Only Memory，ROM)132、及随机存取存储器(Random Access Memory，RAM)133。
MPU 131执行从ROM 132中读出的固件(firmware)等程序，并提供各种功能。RAM133用作程序的作业区域。
除此以外，在图像形成单元130中具有用于图像数据等的存储的存储部134、对图像数据施加色彩校正或灰阶校正等图像处理的图像处理部135、通过电子照片方式或喷墨方式来将图像形成在用纸上的图像形成部136、用于与外部的通信的通信部137等。
存储部134具有硬盘装置或半导体存储器等非易失性的存储媒体。在存储部134中存储由图像读取单元120所读取的原稿的图像数据、或通过通信部137所接收的图像数据。
图像处理部135例如包含专用的处理器或处理板。
通信部137具备局域网(Local Area Network，LAN)接口或传真通信网服务的接口。在与所述智能手机200(参照图1)的通信中使用LAN接口。
另外，MPU 131、ROM 132、RAM 133、存储部134、图像处理部135、图像形成部136、通信部137通过总线138而相互连接。另外，所述使用者界面部110与图像读取单元120通过接口139而与总线138连接。
＜智能手机的构成＞
图3是说明智能手机200的硬件构成的一例的图。
智能手机200包括：处理电路部210，对数据进行处理；非易失性的存储器221，存储程序或数据；音频电路222，输入输出音频信号；液晶显示器(Liquid Crystal Display，LCD)223，显示图像；电源控制元件224；照相机225，拍摄图像；触摸板226，探测对于操作面的接触；无线保真(Wireless Fidelity，WiFi)模块227，收发依据WiFi(注册商标)规格的无线信号；以及蓝牙(Bluetooth)(注册商标)模块228，收发依据作为近距离无线通信规格之一的的蓝牙(注册商标)规格的无线信号。
在本实施方式的情况下，设置照相机225的面与设置液晶显示器223的面处于表面与背面的关系。
因此，使用者可一面利用照相机225拍摄现实的空间内所存在的物体(例如图像形成装置)与自己的身体的一部分(例如手指、手、脚)，一面利用液晶显示器223确认其图像。
另外，在设置有多个照相机225的情况或设置有多个液晶显示器223的情况下，只要将至少一组照相机225与液晶显示器223配置在表面与背面的位置上即可。
在本实施方式中使用液晶显示器223，但也可以使用有机EL(Electro-Luminescence)显示器等显示部件。
在处理电路部210中设置有：存储器控制部211，与存储器221之间控制数据的读写；多个中央处理器核心(Central Processing Unit Core，CPU core)212，执行处理；电源管理部213，管理电源的供给；系统管理部214，管理嵌入式系统(embedded system)的动作；音频处理部215，对音频信号进行处理；图形处理器(Graphics Processing Unit，GPU)216，实时地对图像进行处理；显示器控制部217，将图像显示在液晶显示器223中；外部接口(I/F)218，用于与外部的模块的连接；以及基带电路219，对基带信号进行处理。
图4是说明处理电路部210通过程序的执行而实现的功能构成的一例的图。
此处的处理电路部210是探测部件的一例，并且也是控制部件的一例。
处理电路部210作为对图像数据进行处理来探测使用者的肢体动作的肢体动作探测部251、探测作为操作的对象的物体的操作对象探测部252、从作为操作的对象的物体(本实施方式中为图像形成装置100)中取得物体所具备的功能的信息的对象侧功能取得部253、将使用者的肢体动作作为操作来接受的操作接受部254、将对应于所接受的操作的指示发送至作为对象的物体中的指示发送部255、以及向使用者报告操作的接受的报告部256来发挥功能。
本实施方式中的肢体动作探测部251根据由照相机225所拍摄的图像，将使用者的身体的一部分(例如手指、手、脚)的动作作为肢体动作来探测。动作的意思在作为操作的对象来探测的各物体(例如图像形成装置100)中不同。
在本实施方式中的肢体动作中，例如包含推、拉、转、握、踢、踩、点击、双击、拖拽、轻敲、轻弹、滑动等。
本实施方式中的操作对象探测部252对显示在液晶显示器223(参照图3)中的图像进行分析来探测成为操作的对象的物体或其操作元件等。
在本实施方式中的操作元件中，包含成为操作的对象的物理的构造物(例如按钮、开关)、以软件方式再现的画面上的显示(例如按钮、开关)等。
用于处理的图像并不限定于从设置在智能手机200中的照相机225中取得的实时的图像数据，也可以是从存储器221或外部取得的图像数据。
当在画面内包含多个物体时，操作对象探测部252例如可将显示在液晶显示器223中的像更靠近画面的中央的物体作为对象来探测，也可以将与使用者的身体的一部分的像重叠的位置的物体作为操作的对象来探测。
另外，操作对象探测部252也可以将由使用者从通过无线LAN等而正与智能手机200连接的一组设备中所选择的设备作为操作的对象来探测。
本实施方式中的对象侧功能取得部253例如通过与由操作对象探测部252所探测到的物体的通信，取得可进行操作的操作元件的信息。例如使用无线LAN来取得操作元件的信息。
另外，对象侧功能取得部253例如也可以从可进行通信的各个设备取得可进行操作的操作元件的信息。
另外，操作的对象未必具有通信功能。例如当操作的对象为植物或自然物时不具有通信功能。在此情况下，对象侧功能取得部253也可以与可代行人的动作的机器人等设备进行通信，而取得可执行的操作的信息。
本实施方式中的操作接受部254将所探测到的肢体动作与作为操作的对象的物体的特定的功能建立关联并作为操作来接受。
另外，如图1所示，作为操作的对象的物体存在于与使用者相向的位置上。因此，照相机225(参照图3)对使用者的身体的一部分进行拍摄的方向与对作为操作的对象的物体进行拍摄的方向变得相同。
此处，所谓相向的位置，只要使用者与作为操作的对象的物体相对即可，未必需要是正面。例如只要与使用者之间存在某个相对的部分(例如物体的侧面的部分、背面的部分)，便可将操作的对象与使用者的肢体动作建立关联，且可对建立了关联的物体发出指示。因此，使用者相对于物体而位于斜前方的情况也包含在相对的情况中。
本实施方式中的指示发送部255对作为对象的物体(例如图像形成装置)发送对应于所接受的操作的指示的执行。另外，指示发送部255也具备从作为对象的物体之侧取得对于指示的应答(例如指示的接受等)的功能。
另外，在作为操作的对象的物体的各部分别与特有的肢体动作和功能的指示建立了关联的情况下，指示发送部225也可以发送通过肢体动作所接受的指示。在此情况下，不需要对于操作画面的操作。
此外，当将对于操作画面的操作作为必需操作时，需要从配置在操作画面内的多个选择项中选择一个的操作或到达位于深的阶层的选择项。但是，在对作为操作的对象的物体的特定的部位分别分配了特定的肢体动作与特定的功能的情况下，能够以更少的操作发送指示。作为结果，可快速地选择性地执行多个功能。
本实施方式中的报告部256通过音频电路222或液晶显示器223，执行对利用使用者的肢体动作的操作进行辅助的各种报告。
＜由处理电路部所进行的处理动作＞
图5是说明在处理电路部210中执行的处理动作的一例的流程图。在图5中，由记号S来表示步骤。
本实施方式中的处理电路部210对映入液晶显示器223(参照图3)的画面内的人体的一部分(例如手指)进行识别(步骤101)。
继而，处理电路部210对所识别的人体的一部分的动作进行探测(步骤102)。
以上的处理例如由肢体动作探测部251(参照图4)执行。
其后，处理电路部210对在画面内与人体的一部分的像重叠的物体的部位进行确定(步骤103)。此处理例如由操作对象探测部252(参照图4)执行。
另外，处理电路部210也事先或同时进行作为操作的对象的物体的识别。当无法确定作为操作的对象的物体时，处理电路部210报告无法确定作为操作的对象的物体、应拍摄包含外形等的图像等。此处理例如由报告部256(参照图4)执行。
继而，处理电路部210将所探测到的人体的动作作为对于所确定的部位的操作来接受(步骤104)。此处理例如由操作接受部254执行。另外，在不存在与所确定的部位建立了对应的功能的情况、或与建立了对应的功能的执行无关的动作的情况下，处理电路部210有时也不将所探测到的动作作为操作来接受。
继而，处理电路部210判定是否可通过通信来控制作为对象的物体(步骤105)。此处理例如也由操作接受部254执行。
当在步骤105中获得了肯定结果时，处理电路部210将指示操作的执行的信号发送至作为对象的物体中(步骤106)。
当在步骤105中获得了否定结果时，处理电路部210判定是否存在可代行操作的自走装置(步骤107)。
当在步骤107中获得了肯定结果时，处理电路部210将指示操作的执行的信号发送至自走装置中(步骤108)。
当在步骤107中获得了否定结果时，处理电路部210报告无法操作的意思(步骤109)。
＜操作例＞
以下，对使用所述功能来实现的操作例进行说明。
＜操作例1＞
图6是说明作为拍摄者的使用者以使自己的食指301与图像形成装置100重叠的方式进行拍摄的样子的图。
在此拍摄时，使用者利用左手保持智能手机200。食指301为使用者的右手，未接触图像形成装置100。
在图6的情况下，在智能手机200的液晶显示器223中，使用者界面部110的一部分以被扩大的状态显示。
此显示的状态通过在图像形成装置100的像显示在液晶显示器223中的状态下，将与液晶显示器223的画面接触的两根手指之间以展开的方式移动而获得。另外，若使用语音识别技术，则即便不接触液晶显示器223，也可以放大。
在图6的情况下，对现实的空间内所存在的使用者界面部110的一部分进行拍摄所得的像270(语言切换用的按钮271与画面亮度调整用的按钮272)、及食指的像301A显示在液晶显示器223中。
如上所述，现实的空间内的位置关系是从最里侧起依次为图像形成装置100、使用者的食指301、智能手机200。
因此，由智能手机200所拍摄的食指的像301A以叠加在使用者界面部的像270的跟前的方式显示。
然而，在通过食指301的动作来操作图像形成装置100时，必须事先将图像形成装置100确定为操作的对象。
图像形成装置100的确定例如可使用对图像形成装置100的图像进行处理来确定机种的技术、探测图像中所含有的型号等文字信息的技术、从显示在液晶显示器223中的候补中选择的技术等。此处的候补例如作为通过无线LAN等而正与智能手机200连接的一组设备来提供。
此处，设为已将图像形成装置100确定为操作的对象。
在图6的情况下，在液晶显示器223中显示有可进行操作的两个操作元件(语言切换用的按钮271与画面亮度调整用的按钮272)，但也可以显示三个以上的操作元件，也可以仅显示一个操作元件。
在图6的情况下，由于在液晶显示器223中显示有两个操作元件，因此必须以作为操作的对象的操作元件与食指的像301A重叠的方式使食指301在空中移动。
在智能手机200中，所述食指301在空中的移动也作为使用者的动作而被探测。但是，朝水平方向的动作未与正被拍摄的对于操作元件的操作的动作建立对应。
因此，食指的像301A与画面亮度调整用的按钮272重叠之前的动作未作为对于操作元件的操作来接受。
另外，在本实施方式中，由于操作的对象为按钮类，因此探测食指的像301A的动作，但作为探测的对象的身体的一部分也可以对应于操作的对象来决定。例如也可以将手、手臂、脚等人体的一部分作为探测的对象。通过确定探测的对象，可避免误操作。
图7是说明对如在与图像形成装置100不接触的状态下在空中按食指301般的动作进行拍摄的样子的图。在图7中，对与图6对应的部分标注对应的符号来表示。
此处的如按食指301般的动作是指朝食指301从智能手机200离开的方向的动作。换言之，是指朝图像形成装置100的方向的动作。
具体而言，在真实空间内，变成与按显示在使用者界面部110中的操作元件的情况相同的动作。其原因在于：使用者的视线的方向与照相机225(参照图3)的拍摄的方向一致。
在图7中所示的液晶显示器223中，由于食指的像301A与画面亮度调整用的按钮272重叠，因此智能手机200将食指301的动作作为按画面亮度调整用的按钮272的操作来探测。
在本实施方式的情况下，在智能手机200中，操作元件与动作的关系存储在存储器221(参照图3)中。不过，存储在存储器221中的关系也可以是关于设置在图像形成装置100中的操作元件中的一部分。
另外，设置在图像形成装置100中的操作元件的影像与作为操作来识别的动作的关系存储在图像形成装置100中，图像形成装置100也可以执行确定作为操作的对象的操作元件的处理。
在图7中，由于可与图像形成装置100进行通信，因此智能手机200将指示画面亮度调整用的按钮272的操作的信号发送至图像形成装置100中。
在本实施方式中的智能手机200中准备有向使用者报告操作的接受的功能。
因此，在图7中，使画面亮度调整用的按钮272的显示的形态变化，而向使用者报告操作的接受。
此处，使显示的形态变化的方法例如可使用提升显示有成为操作的对象的按钮的区域的亮度、使其闪烁、使其变化成其他颜色等方法。
另外，向使用者报告操作的接受的功能并非必需功能。
＜操作例2＞
图8是说明向使用者报告操作的接受的另一方法的图。
在图8中，对与图7的对应部分标注对应的符号来表示。
在图8的情况下，虽然在画面亮度调整用的按钮272的显示中无变化，但从未图示的扬声器中输出有“喀嚓”的声音。
通过此声音的产生，使用者可确认自己的动作已作为操作而被接受。
另外，利用声音的报告的方法也能够以“已接受操作”等措词的形式发出。
＜操作例3＞
图9是说明向使用者报告操作的接受的另一方法的图。
在图9中，对与图7的对应部分标注对应的符号来表示。
在图9的情况下，虽然在画面亮度调整用的按钮272的显示中无变化，但追加地显示有表示操作的接受的小的画面280。
在图9中所示的画面280中记述有“已接受操作”的字符串。当然，此字符串为一例。
＜操作例4＞
图10是说明向使用者报告操作的接受的另一方法的图。
在图10中，对与图7的对应部分标注对应的符号来表示。
在图10的情况下，虽然在画面亮度调整用的按钮272的显示中无变化，但使食指的像301A的显示的形态从作为操作来接受前的形态进行变化。
此处，使显示的形态变化的方法例如可使用提升显示有食指的像301A的区域的亮度、使其闪烁、使其变化成其他颜色等方法。
＜操作例5＞
图11是说明不使食指的像301A(参照图7)显示在液晶显示器223中的方法的图。
在图11中，对与图7的对应部分标注对应的符号来表示。
例如在始终显示侵入至照相机225(参照图3)的拍摄的范围内的人体的一部分的方法中，也存在操作元件的大部分被人体的一部分遮挡的可能性。例如，存在记载在操作元件中的文字被手或手臂的像遮挡的可能性。
在此种情况下，使用者无法在画面上确认作为操作的对象的操作元件、或只可以确认一部分，因此有时在操作上产生障碍。
若无法确认记载在操作元件中的文字，则不仅不知道正在操作哪个操作元件，而且也成为误操作的原因。
因此，在图11中，通过图像处理来使食指的像301A从画面上消失。在此情况下，使用者可在操作的期间内，在画面上确认将哪个操作元件作为操作的对象。
＜操作例6＞
另一方面，在操作例5的情况(参照图11)下，未显示食指的像301A，由此也存在难以知道操作元件与食指的像301A的位置的关系、或不知道操作是否实际上已被接受的可能性。
图12是说明不使食指的像301A(参照图7)显示在液晶显示器223中的另一方法的图。
在图12中，对与图11的对应部分标注对应的符号来表示。
在图12中，实际上使食指的像301A所重叠的位置的操作元件(此处，画面亮度调整的按钮272)的显示的形态变化，而支援使用者的确认。另外，在图12中，也显示有以字符串记述已接受操作的画面280。
通过此显示，不会因自己的身体的一部分而妨碍辨认，可对特定的操作元件进行操作。另外，在具有使操作元件的显示的形态变化的功能的情况下，只要不与操作的对象弄错即可。进而，在操作的接受被报告的情况下，可提高使用者的操作性。
＜操作例7＞
图13是说明不使食指的像301A(参照图7)显示在液晶显示器223中的另一方法的图。
在图13中，对与图11的对应部分标注对应的符号来表示。
在操作例6中，虽然完全未显示食指的像301A，但也可以想到欲确认在画面上的位置这一期望。
图13是考虑了此种期望的显示的方法，其显示有食指的像301A所在的区域的轮廓线。通过显示轮廓线，使用者可容易地确认食指301的位置与操作元件的位置的关系。此处的轮廓线是暗示使用者的身体的部位的表述的一例。
另外，在图13中，由虚线来表示食指的像301A的轮廓线，但也可以将通过图像处理而转换成透过像的图像替换成实像来显示。此处的透过像也是暗示使用者的身体的部位的表述的一例。
另外，也可以通过轮廓线或透过像来选择性地仅表达指尖的部分，指尖以外由实像来显示，相反地也可以由实像来选择性地仅显示指尖的部分。由于被人体的一部分的像遮挡的面积减少，因此作为操作的对象的物体的像的确认变得容易。
＜操作例8＞
图14是说明操作的对象为具有通信的功能的计算器400的情况的图。
在此例的情况下，使用者即便右手的指尖脏，也可以不弄脏计算器400来进行操作，并确认运算的结果。
在图14的情况下，使用者的食指的像301A作为透过像而叠加在计算器的像400A上来显示。透过像与轮廓线不同，如实像透明般显示。
但是，在如计算器400般操作元件的尺寸小的情况下，留有按错的可能性。
因此，也可以设为可选择显示在液晶显示器223中的身体的一部分的大小。例如也可以设为与实像相比可变大、或变小。另外，也可以设为可阶段性地进行调整。
通过准备此功能，而期待操作元件的按错的减少。
＜操作例9＞
图15是说明操作的对象为操作杆500的情况的图。
本实施方式中的操作杆500例如包含操纵杆、控制杆、变速杆、方向指示器杆、制动杆、车辆的控制器。
在图15的情况下，由于操作的对象为操作杆500，因此使用者如握住某物般朝空中伸出右手310。在此例的情况下，若使右手310朝前后左右移动，则通过来自探测此动作的智能手机200的指示，操作杆500进行相同的动作。
在液晶显示器223中，右手的像310A如握住操作杆的像500A般来显示。另外，右手的像310A也可以仅叠加在操作杆的像500A上来显示。
不过，无需使操作杆500与右手310联动来移动，只要在由操作杆500所控制的对象中出现对应于右手310的动作的控制即可。
其原因在于：操作杆500是输入装置而并非最终的控制的对象。因此，操作杆500与智能手机200的通信并非必需。即便无法与操作杆500进行通信，只要智能手机200与由操作杆500的操作所控制的设备之间可进行通信即可。
在此操作例中的智能手机200中，准备有对应于使用者的属性或使用的环境对显示在液晶显示器223中的使用者的身体的一部分进行装饰的功能。
例如在操作例1(参照图6)的情况下，由照相机225(参照图3)所拍摄的身体的一部分直接以实像来显示，但在图15的例子中，显示有戴上了薄手套的右手的像310A。此处的手套为装备的一例。
所使用的装饰的种类可事先由使用者选择，也可以从操作杆500(或具备操作杆500的设备)侧进行通知，也可以存储在智能手机200的存储器221(参照图3)中，也可以从外部的服务器等进行通知。
另外，用于装饰的图像数据可存储在智能手机200的存储器221中，也可以从具备操作杆500的设备、外部的服务器等提供。
另外，显示在液晶显示器223中的右手的像310A的形状或大小也根据拍摄的方式而不同。因此，在智能手机200中，也具备对应于右手的像310A的形状或大小来使进行装饰的图像变形的功能。
在本实施方式的情况下，此功能通过智能手机200中的应用程序的执行来实现。不过，也可以使用设置在智能手机200的外部的服务器等计算机执行图像处理，并在液晶显示器223的显示中反映处理的结果。
图16是说明操作的对象为操作杆500的情况的另一例的图。
在图16中，对与图15的对应部分标注对应的符号来表示。
在图16的情况下，设想冬季在室外对操作杆500进行操作的情况。因此，在图16的情况下，厚手套作为装饰而附加在右手的像310A上。
如此，在液晶显示器223中显示经装饰的右手的像310A，由此可对使用者赋予与对操作杆500进行实际操作的情况相同的印象，可提高操作的真实感。
＜操作例10＞
图17是说明将以安装有铰链的部分为轴来开闭的单开门600作为操作的对象的情况的图。
在单开门600上安装有电动地打开或关闭单开门600的机构610。机构610安装在设置有出入口的壁面侧。另外，此处的机构610可通过无线LAN等而直接或间接地与智能手机200进行通信。
另外，在出入口的附近的壁面上安装有用于未图示的照明器具的点灯或熄灯的开关700。
因此，在智能手机200的液晶显示器223中显示有单开门的像600A与开关的像700A。
另外，使用者的右手310位于将现实的空间内所存在的单开门600与智能手机200连结的线上。右手310与单开门600不接触。
因此，在液晶显示器223中，右手的像310A如与单开门的像600A重叠般来显示。在图17的情况下，右手的像310A为实像。
图17中所示的单开门600通过推而朝里侧方向打开，若朝跟前拉，则关闭。
图18是通过利用智能手机200拍摄使用者朝空中推出右手310的动作来说明单开门600已略微打开的状态的图。
在图18中，由箭头来表示右手310的动作方向。在智能手机200中，此右手310的动作作为打开单开门600的操作来探测。智能手机200将指示所探测到的操作的执行的信号发送至机构610中。
此时，智能手机200也可以将在图像上所探测到的右手310的动作的速度发送至机构610中。在此情况下，机构610可对应于所提供的速度而反映在打开单开门600的速度中。即，能够以接近对单开门600进行实际操作的情况的感觉打开单开门600。
图19是通过利用智能手机200拍摄使用者朝空中推出右手310的动作来说明单开门600已大幅度打开的状态的图。
在图19中，右手310的动作继续，由机构610所进行的驱动也继续。
另外，在打开单开门600的动作被探测到后，也能够以即便右手310的动作停止，也继续进行单开门600的驱动的方式进行控制。其原因在于：在利用智能手机200的拍摄过程中，右手310可移动的范围相对于作为驱动的对象的单开门600摆动的范围而言狭小。此控制可作为智能手机200的功能来实现，也可以作为机构610的功能来实现。
另外，在朝跟前拉右手310的动作被探测到的情况下，智能手机200将此动作作为关闭单开门600的操作来探测。
图20是说明在单开门600上安装有操作杆式的把手(杆状手柄)620的情况的图。
在打开此单开门600时，需要如握住操作杆式的把手620进行旋转，其后推出般的动作。
在图20中，右手的像310A叠加在单开门的像600A与把手的像620A上来显示。
在所述两阶段的动作依次被探测到的情况下，图20中所示的智能手机200将所述两阶段的动作作为打开单开门600的操作来探测。探测后的动作与使用图18及图19的说明相同。
另外，在图17～图20中例示了单开门600，但并不限定于门的面描绘弧形来开闭的铰链门，也可以是由槽或导轨引导而直线式地开闭的拉门、将铰链门与拉门组合而成的滑动滑门(glide slide door)、折叠门、旋转门等。
另外，门并不限定于单开，也可以是双开。
＜操作例11＞
图21是说明将照明器具800作为拍摄的对象的情况的图。
图21中所示的照明器具800通过未图示的配线而与位置保持型的开关700电性连接。若对开关700进行接通操作，则照明器具800点灯，若对开关700进行断开操作，则照明器具800熄灯。
在图21的情况下，在照明器具800中设定有如下的功能：将在已熄灯的状态下食指301被朝空中推出的动作作为点灯的操作来接受，将在已点灯的状态下食指301被朝空中推出的动作作为熄灯的操作来接受。
因此，将食指的像301A叠加在智能手机200的液晶显示器223中所显示的照明器具的像800A上，若进行朝空中推出食指301的动作，则从探测到此动作的智能手机200对照明器具800输出切换状态的信号。具体而言，若照明器具800为点灯状态，则输出指示熄灯的信号，若照明器具800为熄灯状态，则输出指示点灯的信号。
另外，照明器具800的状态的切换并不限定于两个阶段。例如即便在点灯的状态下，也可以通过使用者的动作来切换明亮度不同的几个阶段的状态。另外，在照明器具800可切换照明光的颜色的情况下，也可以通过使用者的动作来切换颜色。
另外，在所述说明中，将朝空中推出食指301的动作作为操作来探测，但也可以将一根手指作为点灯来探测，将两根手指作为熄灯来探测，也可以若竖起手指则作为点灯来探测，若平放手指则作为熄灯来探测。即，也可以将由照相机225(参照图3)所拍摄的手指的根数或手指的朝向与特定的操作建立关联。
总之，可不直接接触照明器具800，而对照明器具800的动作的状态进行操作。
图22是说明将控制照明器具800的点灯的开关700作为拍摄的对象的情况的图。
在图22中，对与图21的对应部分标注对应的符号。
如上所述，照明器具800通过开关700的接通操作而点灯，通过开关700的断开操作而熄灯。
另外，在图22的情况下，在选择性地仅将食指的前端作为像301A来显示，而未显示其他部位这一点上与图21不同。通过如所述般仅显示与操作相关的部位，由使用者所进行的操作的对象的确认变得容易。
当在开关700中具备与智能手机200进行通信的功能时，若在使食指的像301A叠加在开关的像700A上的状态下，有朝空中推出食指301的动作的操作，则智能手机200输出对开关700的接通与断开进行切换的信号。
另外，也存在开关700不具有与智能手机200进行通信的功能的情况。在此情况下，只要开关700与照明器具800的关系被提供至智能手机200中，则也可以将使食指的像301A叠加在开关的像700A上的状态下的朝空中推出食指301的动作作为对于照明器具800的操作来接受。
另外，控制的对象也可以是除此以外的空调、音频设备、家电制品等。
＜操作例12＞
在所述操作例中，利用智能手机200拍摄现实的空间内所存在的物体，但拍摄的对象也可以是实际存在的物体的像。
图23是说明将显示在显示装置900中的计算器的像400A作为拍摄的对象的情况的图。
在图23中，对与图14的对应部分标注对应的符号来表示。
显示装置900例如为电视接收机或监视器。此处的计算器的像400A是将对实际存在的计算器400进行拍摄所得的图像数据再生的像。
此处，在智能手机200的液晶显示器223中，显示有对显示装置900进行拍摄所得的计算器的像400B与食指的像301A。当然，食指301未接触显示装置900。
在此操作例中，除智能手机200的拍摄对象与作为操作的对象的实际存在的计算器400不同以外，与使用图14所说明的操作例8相同。
在此情况下，只要事先从通过无线LAN等而正与智能手机200连接的一组设备中确定作为操作的对象的计算器400，则也可以与操作例8同样地进行计算器400的操作。
另外，即便计算器的像400A与实际存在的计算器400的关系不明，智能手机200也可以通过识别图像的技术而探测到拍摄的对象为计算器。在此情况下，智能手机200也可以指定可进行通信的实际存在的计算器400，并指示对应于使用者的动作的操作的执行。
但是，当在可进行通信的计算器400中未准备由智能手机200所探测到的操作时，无法通过肢体动作的拍摄来对计算器400进行操作。
＜操作例13＞
在所述操作例中，设想利用设置在智能手机200中的照相机225(参照图3)对作为操作的对象的物体(或其像)与使用者的身体的一部分同时进行拍摄的情况，但也可以不对作为操作的对象的物体进行拍摄。
图24是说明将由智能手机200所拍摄的使用者的动作与显示在画面上的操作元件的操作建立关联的情况的图。
在图24中，对与图6的对应部分标注对应的符号来表示。
在图24的情况下，作为操作的对象的图像形成装置100经由互联网或LAN等网络1000而与智能手机200可通信地连接。
在图24的情况下，在液晶显示器223中显示有对使用者界面部110的一部分进行拍摄所得的像270(语言切换用的按钮271与画面亮度调整用的按钮272)。
虽然在智能手机200的前方不存在图像形成装置100，但在液晶显示器223中，显示有由照相机225所拍摄的食指的像301A与像270的合成像。
智能手机200若将此合成像作为图像处理的对象，将食指301的动作作为操作来接受，则朝对应的图像形成装置100发送指示操作的执行的信号。
＜实施方式2＞
在所述实施方式1的情况下，利用智能手机200(参照图1)拍摄使用者的肢体动作，并用于实际存在的图像形成装置100(参照图1)的操作，但使用者的肢体动作的拍摄并不限定于智能手机200。
图25是说明实施方式2的系统的一例的图。
在图25中，对与图1的对应部分标注对应的符号来表示。
在图25的情况下，使用者戴上了眼镜型的终端1010。眼镜型的终端1010的硬件构成(参照图3)或软件构成(参照图4)与智能手机200相同。但是，在眼镜型的终端1010中未安装触摸板226(参照图3)。
在眼镜型的终端1010的情况下，使用者可自由地使用双手。因此，眼镜型的终端1010可用于使用双手的操作的输入。例如，可用于对于人型的机器人的操作的指示。因此，与使用智能手机200的情况相比，可扩大可输入的操作的范围。
另外，图25的使用者看得见使用者界面部的像110A。
＜实施方式3＞
在所述实施方式中，作为操作的对象的设备(例如图像处理装置、计算器、操作杆、门、照明器具)在不对物理的操作与利用肢体动作的操作进行区分这一点上相同。
在实施方式3中，对可将操作的接受限定于利用肢体动作的操作的设备进行说明。
图26是说明将保险柜1100作为操作的对象进行拍摄的情况的图。
在图26中所示的保险柜1100中，除以配置在前面的锁芯(cylinder)1101或按钮1102被以物理方式正确地操作为条件使解锁有效的功能以外，也具有使这些物理的操作无效化的功能。
在物理的操作已无效化的情况下，当从智能手机200接收到对应于按钮1102的操作的信号时使解锁有效化。
在此实施方式中，在液晶显示器223中也显示有保险柜的像1100A与食指的像301A。当然，食指的像301A对应于食指301。食指301未接触保险柜1100，而在空中移动。
图27是说明保险柜1100的硬件构成的一例的图。
保险柜1100包括：锁芯1101；多个按钮1102，在操作面上印有字母数字；MPU 1111；ROM 1112，存储固件等数据；RAM 1113，用作程序的作业区域；通信部1114，用于与智能手机200(参照图26)等外部设备的通信；以及解锁控制部1115，电动地将锁芯1101解锁或上锁。
图28是说明由MPU 1111所执行的处理动作的一例的流程图。
首先，MPU 1111判定物理的操作是否已无效化(步骤201)。
当在步骤201中获得了肯定结果时，MPU 1111使仅接受来自智能手机200的操作的设定有效化(步骤202)。
另一方面，当在步骤201中获得了否定结果时，MPU 1111使接受物理的操作的设定有效化(步骤203)。在接受物理的操作的设定有效的情况下，来自智能手机200的操作也有效。
在这些设定后，MPU 1111判定操作的内容是否符合解锁的条件(步骤204)。
当在步骤204中获得了肯定结果时，MPU 1111对锁芯1101进行解锁(步骤205)。
另一方面，当在步骤204中获得了否定结果时，MPU 1111使操作无效化(步骤206)。
例如在物理的操作已无效化的情况下，不论是将正确的钥匙插入锁芯1101(参照图26)中，还是以正确的顺序操作按钮1102(参照图26)，均维持上锁状态。另一方面，当从智能手机200提供了以正确的顺序操作按钮1102的指示时，解锁被允许。
在本实施方式的保险柜1100中，将即便物理的操作正确也无法解锁的设定设为有效，由此可提高防盗性。另外，通过将使用智能手机200的个人认证的功能加以组合，而将可对保险柜1100进行解锁的使用者限定成特定的个人(可操作智能手机200的使用者)。
＜实施方式4＞
此处，对如由网络摄像头(web camera)等所拍摄的被摄体仿佛位于眼前般利用肢体动作进行操作的方法进行说明。
图29是说明实施方式4的系统的一例的图。
在图29中所示的系统中，从网络摄像头1200中输出的图像数据经由网络1300而发送至智能手机200中，并显示在液晶显示器223中。
在图29中所示的液晶显示器223中显示有对单开门600进行拍摄所得的像600A。
图30表示如所述实施方式中所说明般，利用智能手机200将使用者的身体的一部分(此处为右手310)的动作作为单开门600的操作来接受的情况。
在图30中，对与图29的对应部分标注对应的符号。
在图30中，由智能手机200所拍摄的右手的像310A叠加在单开门的像600A上。
在此状态下，若如在空气中推出般移动右手310，则朝经由网络1300来连接的机构610中输出指示单开门600的打开操作的信号。
图31是说明多个使用者经由网络1300而共有操作的信息的结构的图。在图31中，对与图30的对应部分标注对应的符号。
在图31中，表示服务器1400取得从网络摄像头1200中输出的图像数据，其后发送至三台智能手机200中的情况。另外，服务器1400的功能也可以内置在网络摄像头1200中。
在图31的情况下，在任一台智能手机200中均显示有单开门的像600A。
图32是说明使用三台智能手机200中的一台将单开门600推开的情况的图。在图32中，对与图31的对应部分标注对应的符号来表示。
在图32的情况下，通过三台中的一台智能手机200所接受的操作通过服务器1400而发送至单开门600的机构610中。另外，在同时产生了多个对于单开门600的操作的情况下，本实施方式中的服务器1400使先到达的操作优先。另外，在矛盾的操作同时到达的情况下，也可以保留执行。所谓“同时”，是指在预先设定的区间内到达的意思。
图33是说明单开门600已被打开的状态由三台的智能手机200共有的样子的图。在图33中，对与图32的对应部分标注对应的符号来表示。
若使用此结构，则多人可通过各自的肢体动作来操作一个设备。
＜实施方式5＞
在所述实施方式中，对显示在智能手机200中的操作的对象为设备的情况进行了说明，但此处对在操作的对象中未设置通信的功能的情况进行说明。
图34是说明通过肢体动作来指示盆栽1500的移动的情况的图。在图34中，在智能手机200的画面中显示有使用者的右手的像310A与盆栽的像1500A。在此情况下，位于真实空间内的右手310也未接触盆栽1500。
在盆栽1500中既未安装通信功能，也未安装自走装置。因此，即便如所述实施方式般，利用智能手机200拍摄右手310的动作，也无法通过此动作来使盆栽1500移动。
在本实施方式中，指定具有自走功能的人型的机器人1600作为利用肢体动作的操作的发送对象。另外，作为指示的发送对象的机器人1600例如只要从可与智能手机200进行通信的一组设备中指定即可。
图34中所示的机器人1600虽然其外观采用人型，但只要搭载有必要的功能，则外观任意。例如也可以是模仿狗或猫等动物、花或树等植物、车(包含电车)或飞机等交通工具者。
图34中所示的机器人1600具有躯干部1611，头部1612，手臂1613、手臂1615，手1614、手1616，脚1617、脚1618。
在躯干部1611中储存有用于信号处理的电子零件。在躯干部1611中也可以搭载显示元件或音响设备。
头部1612经由设置在脖子的部分的关节机构而与躯干部1611连结。在本实施方式的情况下，关节机构可绕着三轴进行旋转。所谓绕着三轴的旋转，是指偏航(yaw)(绕着z轴的旋转)、翻滚(roll)(绕着x轴的旋转)、俯仰(pitch)(绕着y轴的旋转)这三个。此处的关节机构为可动部的一例。
无需相对于三轴均可进行旋转，也可以是仅相对于一轴可进行旋转、或相对于双轴可进行旋转。这些旋转可通过未图示的马达来实现，但也可以通过手动来进行。不过，不妨碍头部1612相对于躯干部1611得到固定的情况。
在头部1612上设置有眼睛1612A、眼睛1612B。眼睛1612A及眼睛1612B可作为装饰来配置，也可以内置拍摄装置、投影机、照明器具等。在头部1612上也可以配置可动式的耳朵。
本实施方式中的手臂1613及手臂1615经由躯干部1611与关节机构而连结。手臂1613及手臂1615的上臂与前臂经由关节机构而连结。与头部1612同样地，此处的关节机构可以是多轴，也可以是单轴。另外，绕着轴的旋转可通过未图示的马达来实现，也可以通过手动来实现。不过，手臂1613及手臂1615也可以固定在躯干部1611上。此处的关节机构也是可动部的一例。
另外，若将手臂1613及手臂1615弯折成预先设定的角度，则可用于物体的搬运。
手1614及手1616经由设置在手腕的部分的关节机构而与手臂1613及手臂1615连结。手1614及手1616的手掌与手指均经由关节机构而连结。与头部1612同样地，此处的关节机构可以是多轴，也可以是单轴。另外，绕着轴的旋转可通过未图示的马达来实现，也可以通过手动来实现。在本实施方式的情况下，手1614及手1616可通过手指的开闭来抓住物体。此处的关节机构也是可动部的一例。
手1614及手1616也可以相对于手臂1613及手臂1615而固定。
脚1617及脚1618可经由关节机构而与躯干部1611连结，也可以作为车轮或履带等自走装置而安装在躯干部1611上。
当脚1617及脚1618经由关节机构而与躯干部1611连结时，与头部1612同样地，关节机构可以是多轴，也可以是单轴。
另外，绕着轴的旋转可通过未图示的马达来实现，也可以通过手动来实现。另外，脚1617及脚1618也可以相对于躯干部1611而固定。此处的关节机构也是可动部的一例。
图35是说明机器人1600的硬件构成的图。
机器人1600包括：控制部1621，控制装置整体的动作；照相机1622，拍摄机器人周边的图像；扬声器1623，使会话用的语音、乐曲、音效再生；麦克风1624，用于声音的输入或取得；关节机构等可动机构1625；通信部1626，用于与外部装置(例如智能手机)的通信；显示部1627，显示图像；移动机构1628，使装置整体移动；电源1629，对各部供给电力；传感器1630，用于各部的状态或周边信息的收集；以及位置探测部1631，用于位置信息的取得。所述各部例如通过总线1632来相互连接。
当然，图35中所示的硬件构成为一例。因此，机器人1600无需搭载所述的所有功能部。
另外，机器人1600也可以进而搭载未图示的功能部。例如机器人1600也可以搭载电源按钮、存储装置(硬盘装置、半导体存储器等)、热源(包含冷却源)等。
控制部1621是所谓的计算机，具有CPU、ROM、RAM。在ROM中存储有通过CPU来执行的程序。CPU读出存储在ROM中的程序，并将RAM用于作业区域来执行程序。通过程序的执行，CPU控制构成机器人1600的各部的动作。
在此处的程序中包含与对应于人工智能的算法的实现相关的程序。构成控制部1621的CPU或RAM提供人工智能所使用的计算资源。
本实施方式中的控制部1621例如通过人工智能来对通过照相机1622、麦克风1624、传感器1630所取得的信息进行处理，并自主地决定对应于机器人1600的周边环境或状态的动作。
例如也可以通过扬声器1623来输出语音、通过通信部1626来发送消息、通过显示部1627来输出图像。
通过这些信息的输入输出或可动机构1625的动作，控制部1621可与使用者之间实现交流。在交流的应用例中，例如也包含会客或会议的进行等。
控制部1621也搭载如下的功能：在产生了不明的事态的情况下，通过在互联网上检索或与外部的计算机的通信来收集追加的信息，并根据与检索事项的类似度来发现解决方案。
在本实施方式的情况下，在控制部1621所取得的信息中例如包含视觉、听觉、触觉、味觉、嗅觉、平衡感觉、温度。
视觉通过由照相机1622所拍摄的图像的识别处理来实现。
听觉通过由麦克风1624所取得的声音的识别处理来实现。
在触觉中例如包含表面感觉(触觉、痛觉、温度觉)、深部觉(压觉、位置感觉、振动感觉等)、皮质性感觉(两点辨别觉、立体辨别能力等)。
控制部1621可对触觉的差异进行区分。
触觉、味觉、嗅觉、平衡感觉、温度通过利用各种传感器1630的信息的探测来实现。另外，温度也包含周边温度、内部温度、人或动物的体温等。
进而，在控制部1621所取得的信息中也可以包含人或动物的脑波。在此情况下，只要通过通信部1626来接收从人等所穿戴的脑波探测元件中发送的信息即可。
在本实施方式的情况下，照相机1622配置在眼睛1612A及眼睛1612B(参照图34)的位置上。
当将投影机用作显示部1627时，投影机例如可配置在眼睛1612A及眼睛1612B(参照图1)的任一者或两者上。另外，投影机也可以配置在躯干部1611或头部1612上。
除物体的搬送以外，可动机构1625也能够以表达感情的目的来使用。
当用于物体的搬送时，可动机构1625通过手臂1613、手臂1615或手1614、手1616(参照图34)的变形，例如实现抓住物体、抱住物体、支撑物体等动作。
当用于感情的表达时，可动机构1625例如通过头部1612，手臂1613、手臂1615，手1614、手1616等(参照图34)的驱动，执行歪头、仰视、环视周围(东张西望)、进行欢呼、用手来指等动作。
本实施方式中的通信部1626通过无线方式来与外部进行通信。
在机器人1600中，作为通信对象所设想的外部装置中所使用的通信方式有多少，搭载多少通信部1626。通信方式例如有红外线通信、可见光通信、近距离无线通信、WiFi(注册商标)、蓝牙(注册商标)、射频识别(Radio Frequency Identification，RFID)(注册商标)、紫蜂协议(ZigBee)(注册商标)、电气和电子工程师协会(Institute of Electricaland Electronics Engineers，IEEE)802.11a(注册商标)、莫特火(MulteFire)、低功率广域(Low Power Wide Area，LPWA)等。
用于无线通信的频带有短波长带(例如800MHz～920MHz)、长波长带(例如2.4GHz，5GHz)等。
另外，也可以将通信电缆用于通信部1626与外部装置的连接。
显示部1627也可以用于与使用者之间实现视觉的交流。例如在显示部1627中也可以显示文字或图形。
当将显示部1627配置在头部1612上时，也可以在显示部1627中显示表情。
在本实施方式的情况下，在移动机构1628中使用车轮或履带，但也可以使用螺旋桨或压缩空气的吹出机构，通过空气的力来使机器人1600移动。
在本实施方式中的电源1629中使用二次电池，但只要可产生电力，则也可以使用一次电池、燃料电池、太阳能电池的任一者。
另外，也可以采用通过电源电缆从外部接受电力的供给的构成来代替电源1629。
在本实施方式的情况下，在机器人1600中搭载有位置探测部1631。
在位置探测部1631中，例如利用从全球定位系统(Global Positioning System，GPS)信号中读取地点信息的方式、使用与GPS同等的信号对室内的位置进行定位的室内通信系统(Indoor Messaging System，IMES)方式、根据从WiFi的多个接入点所发送的电波的强度或到达时间等对位置进行定位的WiFi定位方式、根据对于从基站中定期地产生的信号的应答的方位与延迟时间对位置进行定位的基站定位方式、接收听不见区域的超声波来对位置进行定位的声波定位方式、接收来自使用蓝牙的信标的电波来对位置进行定位的蓝牙定位方式、使用通过发光二极管(Light Emitting Diode，LED)等的照明光的闪烁所传达的位置信息来对位置进行定位的可见光定位方式、使用加速度传感器或陀螺传感器等对当前位置进行定位的自律航法方式等。
图36是说明使用机器人1600的盆栽1500的移动的图。
在图36中，对与图34的对应部分标注对应的符号来表示。
与其他实施方式同样地，使用者在智能手机200的前方的空间移动右手310，并拍摄此动作。
将右手310的动作作为操作来接受的智能手机200对可朝盆栽1500移动的机器人1600指示此操作的执行。此处的操作是朝盆栽1500的横向的移动。
接收到移动的指示的机器人1600若移动至作为移动的对象的盆栽1500的场所为止，则抓住盆栽1500朝横向移动。
此时，在智能手机200中显示抓住盆栽的像1500A进行移动的机器人的像1600A与右手的像310A。在图36的情况下，将右手的像310A作为透过像来显示，以容易确认机器人的像1600A。
在图36的情况下，在使用者的眼前既实际存在盆栽1500，也实际存在机器人1600，因此透过性地显示右手的像310A的必要性低，但当显示在智能手机200中的盆栽的像1500A不在使用者的眼前时(例如在智能手机200中显示有网络摄像头的图像时)，通过透过性地显示右手的像310A，而容易确认真实空间的样子。
＜其他实施方式＞
以上，对本发明的实施方式进行了说明，但本发明的技术范围并不限定于所述实施方式中所记载的范围。根据权利要求书的记载而明确，对所述实施方式施加各种变更或改良而成者也包含在本发明的技术范围内。
(1)例如在所述实施方式中，将智能手机200(参照图1)或眼镜型的终端(参照图25)用于现实的空间内所存在的物体的操作，但只要具有拍摄用的照相机、显示部、及通信部，则将使用者的肢体动作作为操作来接受的信息处理装置例如也可以是输入板终端，也可以是所谓的数码相机，也可以是游戏机。
(2)在所述实施方式中，利用智能手机200执行将由智能手机200所拍摄的自己的身体的一部分的动作作为操作来接受的处理，但也可以将智能手机200用作拍摄身体的一部分的动作的部件，并利用外部的装置(例如服务器)执行将此动作作为操作来接受的处理。
(3)在所述实施方式中，作为对应于使用的场景而对使用者的身体的一部分进行装饰的例子，例示了手套，但也可以附加衣服类作为装饰。另外，在画面上，在指甲上也可以涂有指甲油。另外，在使用脚进行操作的情况下，也可以附加对应于使用的场景的鞋类作为装饰。例如也可以是商务鞋、运动鞋、拖鞋、长靴等。
(4)在所述实施方式中，将智能手机200位于作为操作的对象的物体的正面侧的情况作为相向的位置的例子进行了说明，但相向的位置并不限定于正面。
图37是说明与图像形成装置100相向的位置的其他例的图。
在图37中表示从图像形成装置100来看，智能手机200位于右斜前方、右斜后方、后方、左斜后方，左斜前方的例子。这些均为与图像形成装置100相向的位置的一例。
(5)在所述实施方式中，对通过肢体动作来对显示在图像形成装置100(参照图1)的使用者界面部110(参照图1)中的按钮类进行操作的情况进行了说明，但也可以通过肢体动作来将用纸的收容部140(参照图1)开闭。
图38是说明通过肢体动作来将用纸的收容部140开闭的例子的图。由于操作的对象为用纸的收容部140，因此在智能手机200的液晶显示器223中显示有收容部的像140A与使用者的右手的像310A。在图38中，如由箭头所示般，右手310正被朝跟前方向拉。在此例的情况下，即便不对显示在使用者界面部110中的按钮进行操作，与右手的像310A的重叠被检测到的用纸的收容部140也被朝跟前侧抽出。当然，作为前提，对收容部140进行驱动的未图示的马达必须内置在图像形成装置100中。另外，若使右手310朝里侧方向移动，则也可以将用纸的收容部140关闭。
(6)在所述实施方式中，对通过肢体动作来实现与直接操作使用者界面部110(参照图1)时相同的操作的情况进行了说明，但在通过肢体动作而指定了作为操作的对象的特定的部位的情况下，也可以将显示在使用者界面部110中的内容切换成包含与所指定的部位有关联的按钮类的显示。
图39是说明安装有用于对经印刷的用纸施加穿孔处理或装订处理的机构(后处理装置150)的情况的操作例的图。另外，在后处理装置150中也可以包含分类机构。
在图39中，食指的像301A叠加在后处理装置的像150A上。
在本实施方式的情况下，对后处理装置的像150A分配了利用食指的像301A的选择的操作、及翻开与后处理装置150相关的设定的页的功能。
图40中的(A)至(C)是说明在后处理装置的像150A(图39参照)通过食指的像301A来选择的情况下执行的显示部111中产生的画面的变化的图。图40中的(A)表示接受利用食指的像301A的肢体动作前的显示，图40中的(B)表示接受利用食指的像301A的肢体动作后的显示，图40中的(C)表示接受利用肢体动作的操作的智能手机200的画面例。
在图40中的(A)至(C)中，利用智能手机200拍摄显示部111，即便不通过肢体动作来进行操作，也切换成包含用于指定是否执行装订处理的按钮110B的画面。如此，在对特定的部位分配了特定的操作与特定的功能的情况下，能够以少的操作来完成指示。即，可使操作效率化。
当然，分配特定的肢体动作与特定的功能的部位并不限定于后处理装置150。例如也可以是图像形成装置100(参照图1)的背面。当在拍摄了配置在背面的连接用的端子或通信线的状态下接受了利用肢体动作的选择时，也可以使用于连接用的端子的调整或设定的菜单画面显示在显示部111中。
(7)在所述实施方式中，将利用肢体动作的操作的接受显示在智能手机200的液晶显示器223中，但也可以设置当接受了错误的操作或设想外的操作时对使用者进行警告的功能。
图41是说明向使用者报告单开门600打开至所容许的最大的角度为止后也继续推的肢体动作被探测的情况的功能的一例的图。
在图41中，对与图19的对应部分标注对应的符号来表示。
在图41的情况下，在液晶显示器223的下部显示有包含“无法进一步打开！”的警告文的小的画面290。
另外，报告也可以通过语音来进行。另外，报告并不限定于文字与声音，也可以对被识别为操作的对象的物体的像进行变更等。
另外，此处告知了可动范围的上限，但也可以报告朝原本不可动的方向的操作的探测。另外，也可以报告正确的操作的方式。
但是，关于正确的操作，无需经常进行报告。例如当操作的对象为保险柜时。其原因在于：保险柜不容许特定的人以外的解锁。另外，也可以对可根据正发送操作的指示的智能手机200的使用者账户等进行认证的操作者(具有权限者、所有者等)报告正确的操作的方法。

Claims (28)

1.一种信息处理装置，包括：
探测部件，探测从相向的位置对现实的空间内所存在的作为操作的对象的物体进行操作时的使用者的动作，即在与所述物体不接触的状态下在现实的空间内进行的使用者的动作；以及
控制部件，对所述物体指示对应于所探测到的使用者的动作的操作的执行；且
所述信息处理装置与使用者接触来使用。
2.根据权利要求1所述的信息处理装置，其中：所述探测部件根据对所述物体与使用者的身体的一部分同时进行拍摄所得的图像来探测使用者的动作。
3.根据权利要求2所述的信息处理装置，其中：所述图像的拍摄者为使用者。
4.根据权利要求3所述的信息处理装置，其中：使用者的身体的一部分叠加在所述物体上来显示。
5.根据权利要求2所述的信息处理装置，其中：所述控制部件将所探测到的使用者的动作和被探测到与使用者的身体的一部分的重叠的所述物体在所述图像上建立关联。
6.根据权利要求5所述的信息处理装置，其中：
所述控制部件将预先设定的身体的一部分作为探测的对象。
7.根据权利要求6所述的信息处理装置，其中：所述预先设定的身体的一部分为手指或手。
8.根据权利要求6所述的信息处理装置，其中：所述预先设定的身体的一部分为脚。
9.根据权利要求1所述的信息处理装置，其中：所述探测部件将所述物体与使用者的身体的一部分被同时拍摄时的使用者的动作作为探测的对象。
10.根据权利要求1所述的信息处理装置，其中：对应于使用者的动作的操作是针对所述物体的每个个别的部位来准备。
11.根据权利要求1所述的信息处理装置，其中：只要是动作被探测到的使用者为被允许操作所述物体的使用者的情况，则所述控制部件对所述物体指示操作的执行。
12.根据权利要求1所述的信息处理装置，其中：当无法在所述物体中执行对应于所探测到的使用者的动作的操作时，向使用者报告。
13.根据权利要求12所述的信息处理装置，其中：报告对于所述物体的正确的操作的方法。
14.根据权利要求1所述的信息处理装置，其中：所述控制部件根据所述物体，决定对应于所探测到的使用者的动作的操作的内容。
15.根据权利要求1所述的信息处理装置，其中：所述控制部件通过与所述物体的通信而取得可进行操作的所述物体的功能。
16.根据权利要求1所述的信息处理装置，其中：所述控制部件透过性地显示使用者的身体，以不使所述物体被使用者的身体遮挡。
17.根据权利要求1所述的信息处理装置，其中：所述控制部件选择性地显示使用者的身体的一部分，以不使所述物体被使用者的身体遮挡。
18.根据权利要求1所述的信息处理装置，其中：所述控制部件将暗示使用者的身体的部位的表述叠加在所述物体上来显示。
19.根据权利要求1所述的信息处理装置，其中：所述控制部件向使用者报告已将使用者的动作作为操作来接受。
20.根据权利要求19所述的信息处理装置，其中：所述控制部件以与接受前不同的形态显示作为操作所接受的身体的部位。
21.根据权利要求1所述的信息处理装置，其中：所述控制部件将用于所述物体的操作的装备叠加在使用者的身体上来显示。
22.根据权利要求1所述的信息处理装置，其中：所述控制部件将对应于所述物体所存在的环境的装备叠加在使用者的身体上来显示。
23.根据权利要求1所述的信息处理装置，其中：所述探测部件根据对显示所述物体的像的画面与使用者的身体的一部分同时进行拍摄所得的图像，探测使用者的身体的一部分的动作。
24.根据权利要求1所述的信息处理装置，其中：所述控制部件根据将对所述物体进行拍摄所得的图像与对使用者的身体的一部分进行拍摄所得的图像合成所得的图像，决定对应于使用者的动作的操作的内容。
25.根据权利要求1所述的信息处理装置，其中：当对应于使用者的动作的操作需要对于所述物体的物理的操作时，所述控制部件对具有可动部的另一设备指示操作的执行。
26.一种信息处理装置，包括：
控制部件，所述控制部件当从与使用者接触来使用的终端接收到指示对应于在与本装置不接触的状态下在现实的空间内进行的使用者的动作的操作的执行的通信时，允许所指示的操作的执行。
27.根据权利要求26所述的信息处理装置，其中：只要是来自所述终端的指示，则所述控制部件允许操作的执行。
28.一种存储程序的计算机可读介质，所述程序使与使用者接触来使用的计算机作为探测部件与控制部件发挥功能，
所述探测部件从使用者的地点探测从相向的位置对现实的空间内所存在的作为操作的对象的物体进行操作时的使用者的动作，即在与所述物体不接触的状态下在现实的空间内进行的使用者的动作，
所述控制部件对所述物体指示对应于所探测到的使用者的动作的操作的执行。
CN201811029577.XA 2018-02-28 2018-09-05 信息处理装置及存储程序的计算机可读介质 Pending CN110209309A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-034105 2018-02-28
JP2018034105A JP2019149066A (ja) 2018-02-28 2018-02-28 情報処理装置及びプログラム

Publications (1)

Publication Number Publication Date
CN110209309A true CN110209309A (zh) 2019-09-06

Family

ID=67685115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811029577.XA Pending CN110209309A (zh) 2018-02-28 2018-09-05 信息处理装置及存储程序的计算机可读介质

Country Status (3)

Country Link
US (3) US10789459B2 (zh)
JP (1) JP2019149066A (zh)
CN (1) CN110209309A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155613B2 (ja) * 2018-05-29 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US10778856B1 (en) * 2019-07-31 2020-09-15 Seeminex.Com, Inc. Multi-purpose/multi-function portable electronic device which includes a display monitor and a scanner disposed below the display monitor and extending to cross the display monitor, and a base configured to support the scanner, the base including a first portion and a second portion, where the first portion at least partially vertically overlapping the display monitor and the scanner
JP7363399B2 (ja) * 2019-11-15 2023-10-18 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム、及び情報処理プログラム
JP7537186B2 (ja) 2020-09-04 2024-08-21 株式会社リコー 画像形成装置及び制御プログラム
US20220374190A1 (en) * 2021-05-24 2022-11-24 Google Llc Overlaying an image of a conference call participant with a shared document

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190941A (ja) * 2012-03-13 2013-09-26 Nikon Corp 情報入出力装置、及び頭部装着表示装置
US20140232747A1 (en) * 2013-02-15 2014-08-21 Konica Minolta, Inc. Operation display system and operation display method
US20160316081A1 (en) * 2015-04-25 2016-10-27 Kyocera Document Solutions Inc. Augmented reality operation system, and non-transitory computer-readable recording medium storing augmented reality operation program
US20170262045A1 (en) * 2016-03-13 2017-09-14 Logitech Europe S.A. Transition between virtual and augmented reality
JP2017175387A (ja) * 2016-03-23 2017-09-28 富士ゼロックス株式会社 情報処理システム及び電子機器

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US20120326966A1 (en) 2011-06-21 2012-12-27 Qualcomm Incorporated Gesture-controlled technique to expand interaction radius in computer vision applications
JP2013172432A (ja) 2012-02-23 2013-09-02 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
JP2013205983A (ja) 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
JP5935529B2 (ja) * 2012-06-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP6079060B2 (ja) * 2012-08-29 2017-02-15 株式会社リコー 携帯端末、画像形成方法及び画像形成システム
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9134794B2 (en) * 2013-08-20 2015-09-15 Kabushiki Kaisha Toshiba System to identify user and device the user is intending to operate
JP2015116336A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 複合現実感アリーナ
JP6500477B2 (ja) * 2015-02-12 2019-04-17 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP6439451B2 (ja) * 2015-01-08 2018-12-19 コニカミノルタ株式会社 操作システム及び画像形成装置
EP3262488B1 (en) * 2015-02-25 2021-04-07 BAE Systems PLC Apparatus and method for effecting a control action in respect of system functions
JP6464889B2 (ja) * 2015-03-31 2019-02-06 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
US20170185141A1 (en) * 2015-12-29 2017-06-29 Microsoft Technology Licensing, Llc Hand tracking for interaction feedback
US20180053352A1 (en) * 2016-08-22 2018-02-22 Daqri, Llc Occluding augmented reality content or thermal imagery for simultaneous display
JP2019008482A (ja) * 2017-06-22 2019-01-17 京セラドキュメントソリューションズ株式会社 点字触覚提示装置及び画像形成装置
JP6962041B2 (ja) * 2017-07-13 2021-11-05 コニカミノルタ株式会社 画像処理装置、画像表示方法、およびコンピュータプログラム
US20190212962A1 (en) * 2017-07-14 2019-07-11 Kyocera Document Solutions Inc. Display device and display system
KR102431712B1 (ko) * 2017-09-04 2022-08-12 삼성전자 주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190941A (ja) * 2012-03-13 2013-09-26 Nikon Corp 情報入出力装置、及び頭部装着表示装置
US20140232747A1 (en) * 2013-02-15 2014-08-21 Konica Minolta, Inc. Operation display system and operation display method
US20160316081A1 (en) * 2015-04-25 2016-10-27 Kyocera Document Solutions Inc. Augmented reality operation system, and non-transitory computer-readable recording medium storing augmented reality operation program
US20170262045A1 (en) * 2016-03-13 2017-09-14 Logitech Europe S.A. Transition between virtual and augmented reality
JP2017175387A (ja) * 2016-03-23 2017-09-28 富士ゼロックス株式会社 情報処理システム及び電子機器

Also Published As

Publication number Publication date
US20200380253A1 (en) 2020-12-03
US20210397829A1 (en) 2021-12-23
US10789459B2 (en) 2020-09-29
US11144751B2 (en) 2021-10-12
US20190266393A1 (en) 2019-08-29
US11514705B2 (en) 2022-11-29
JP2019149066A (ja) 2019-09-05

Similar Documents

Publication Publication Date Title
CN110209309A (zh) 信息处理装置及存储程序的计算机可读介质
CN204695082U (zh) 智能管家机器人
CN106257909B (zh) 移动终端及其控制方法
CN105473021B (zh) 可穿戴设备及相关系统
CN103877727B (zh) 一种由手机控制并通过手机进行交互的电子宠物
US20150140934A1 (en) Wireless motion activated user device with bi-modality communication
CN110543233B (zh) 信息处理设备和非暂时性计算机可读介质
US9226330B2 (en) Wireless motion activated user device with bi-modality communication
CN105723692B (zh) 移动终端及其控制方法
CN106055081A (zh) 移动终端及其控制方法
CN103942938A (zh) 以便携式智能设备为控制中枢的智能交互系统
CN105527944A (zh) 具有时段划分功能的智能控制系统
US10820089B2 (en) Enigma system
US20180217671A1 (en) Remote control apparatus, remote control method, remote control system, and program
CN109153122A (zh) 基于视觉的机器人控制系统
US11223729B2 (en) Information processing apparatus and non-transitory computer readable medium for instructing an object to perform a specific function
CN110345407A (zh) 一种基于深度学习的智能矫姿台灯及矫姿方法
CN105955488A (zh) 一种操控终端的方法和装置
CN105761184A (zh) 一种智能教学魔法棒管理软件系统
CN105843399A (zh) 一种基于开源无线鼠标的智能助残系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No. 3, chiban 9, Dingmu 7, Tokyo port, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: No.3, 7-fan-3, Kawasaki, Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.