CN111492339A - 信息处理设备、信息处理方法以及记录介质 - Google Patents

信息处理设备、信息处理方法以及记录介质 Download PDF

Info

Publication number
CN111492339A
CN111492339A CN201880080597.1A CN201880080597A CN111492339A CN 111492339 A CN111492339 A CN 111492339A CN 201880080597 A CN201880080597 A CN 201880080597A CN 111492339 A CN111492339 A CN 111492339A
Authority
CN
China
Prior art keywords
information processing
control
user
control target
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880080597.1A
Other languages
English (en)
Inventor
铃木诚司
井田健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111492339A publication Critical patent/CN111492339A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/007—Telephonic communication systems specially adapted for combination with other electrical systems with remote control systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

[问题]为了提供一种能够使用户能够直观地识别已经向其发出了操作命令的受控设备的信息处理设备、信息处理方法以及记录介质。[解决方案]提供了一种信息处理设备，该信息处理设备包括：控制部，其用于执行以下处理：将用户的注视引导至受控设备的位置的处理；以及根据注视引导的定时来控制要在受控设备上执行操作命令的定时的处理。

Description

信息处理设备、信息处理方法以及记录介质
技术领域
本公开内容涉及信息处理设备、信息处理方法以及记录介质。
背景技术
近年来，信息处理设备(例如，智能电话、平板终端和数字标牌)已经被广泛使用，并且在被配置成执行复杂处理或显示的这样的信息处理设备中，已经从各种角度进行了与显示对象(即，UI：用户接口)有关的开发。例如，已经开发了可以由用户更加直观地操作的UI、可以容易地实现复杂操作的UI、提高用户便利性的UI等。作为示例，以下专利文献1公开了用于在桌子上显示UI以实现UI与用户之间的交互的技术。
近年来，随着物联网(IoT)的广泛使用，连接至网络以便与其他设备协作操作的家用电器也已经被广泛使用。
引用列表
专利文献
专利文献1：JP 2015-90524A
发明内容
技术问题
常规设备(例如，电视)是在不与其他设备协作的情况下独立操作的。因此，通过使用设备上安装的显示器或LED足以提供有关用户的操作的反馈。然而，当连接至网络并且与其他设备协作操作(例如，与桌子上显示的UI的协作)的家用电器的数目也随着IoT的广泛使用而增加时，出现了用户难以注意到来自该设备的反馈的问题。
因此，本公开内容提出了一种被配置成使用户直观地注意到已经向哪个控制目标设备发出了操作命令的信息处理设备、信息处理方法以及记录介质。
问题的解决方案
根据本公开内容，提供了一种信息处理设备，该信息处理设备包括：控制单元，执行以下操作：将用户的视线引导至控制目标设备的位置的处理；以及根据引导视线的定时来控制在控制目标设备中运行操作命令的定时的处理。
根据本公开内容，提供了一种信息处理方法，该信息处理方法包括：通过处理器将用户的视线引导至控制目标设备的位置；以及通过处理器根据引导视线的定时来控制在控制目标设备中运行操作命令的定时。
根据本公开内容，提供了一种记录介质，该记录介质记录有程序，程序使计算机用作控制单元，控制单元执行以下操作：将用户的视线引导至控制目标设备的位置的处理；以及根据引导视线的定时来控制在控制目标设备中运行操作命令的定时的处理。
发明的有益效果
如上所述，根据本公开内容，可以使用户直观地注意到已经向哪个控制目标设备发出了操作命令。
注意，上述效果不一定是限制性的，并且与以上效果一起或代替以上效果，可以实现本描述中描述的效果中的任一效果或者可以从本描述领会的其他效果。
附图说明
图1是示出根据本公开内容的实施方式的信息处理系统的概况的图。
图2是示出根据本实施方式的系统的配置的示例的框图。
图3是示出根据本实施方式的通过语音调用代理的图。
图4是示出根据本实施方式的通过菜单UI调用代理的图。
图5是示出在根据本实施方式的系统的信息处理设备中执行的设备控制的处理的示例的流程图。
图6是示出由根据本实施方式的设备执行的转移呈现处理的示例的流程图。
图7是示出根据本实施方式的通过使用代理图像的至设备的注视引导和至设备的转移呈现的图。
图8是示出根据本实施方式的通过使用代理图像来计算至设备的注视引导中的轨迹的图。
图9是示出根据本实施方式的正在移动的代理图像的变形的示例的图。
图10是示出根据本实施方式的代理转移呈现的示例的图。
图11是示出由根据本实施方式的系统执行的转移呈现处理的示例的流程图。
图12是示出将根据本实施方式的系统应用于竞技攀岩的示例的图。
图13是示出将根据本实施方式的系统应用于可变形机器人的示例的图。
图14是示出根据本实施方式的信息处理设备的硬件配置示例的框图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的优选实施方式。注意，在本描述和附图中，具有基本上相同的功能配置的组成元件由相同的附图标记表示，并且省略其重复描述。
将按以下顺序进行描述。
1.根据本公开内容的实施方式的信息处理系统的概况
2.配置示例
2-1.输出设备200
2-2.传感器设备300
2-3.信息处理设备100
3.操作处理
3-1.调用代理
3-2.设备控制的处理
3-3.由设备执行的转移呈现处理
3-4.由系统执行的转移呈现处理
3-5.补充说明
4.应用示例
5.硬件配置示例
6.结论
<<1.根据本公开内容的实施方式的信息处理系统的概况>>
图1是示出根据本公开内容的实施方式的信息处理系统的概况的图。根据本实施方式的信息处理系统包括信息处理设备100(图1中未示出)、输出设备200(在图1中，作为示例，示出了投影仪210和TV 220)和传感器设备300。
传感器设备300是感测各种信息的设备。例如，传感器设备300包括摄像装置、深度传感器、麦克风等，以感测关于用户和用户所处的空间的信息。例如，传感器设备300感测用户的位置、姿势、移动和视线、房间形状、家具布置等。
输出设备200是从信息处理设备100输出各种信息的设备，假设例如，投影仪210和TV 220。投影仪210被配置成将信息投影至用作投影位置(即，投影表面或投影区域)的适当位置(即，区域)上。适当位置包括在传感器设备300执行感测的空间中的墙壁、地板、桌子或其他家具。注意，投影位置不限于平坦的表面，并且可以具有弯曲的表面或者可以划分成多个表面。此外，通过多个投影仪或所谓的移动投影仪来实现投影仪210，从而在空间中的任何物体上进行投影。
可以使用单个或多个输出设备200和传感器设备300。
在图1所示的示例中，通过投影仪210将显示图像20显示在桌子30的上表面上。显示图像20是指示响应于用户的输入来自应用的交互的显示对象，并且包括例如各种UI(例如，静止图像、移动图像(视频)、菜单屏幕或控制屏幕)。
对显示图像20的用户操作输入由传感器设备300检测，并且用户可以利用操作工具(例如，手)来触摸显示图像20，或者将操作工具移动至显示图像20附近以对显示图像20执行各种操作输入。
显示图像20的显示位置不限于桌子30的上表面，并且可以是空间中的任何位置(例如，墙壁、地板或家具)，并且显示图像20的显示位置是自动地或根据用户的指令来控制的。
在此，在空间中的设备(例如，诸如家用电器的IoT设备)被通信地连接至信息处理设备100的情况下，信息处理设备100能够通过对在桌子30上显示的控制屏幕(显示图像20)的用户操作输入来控制每个设备的开/关等。此时，由于用户在看控制屏幕的同时进行操作，因此用户可能难以注意到哪个设备实际上正在他/她的控制下进行操作。此外，例如，当用户操作控制屏幕以使他/她的房屋内部进入电影模式时，许多设备彼此协作地进行操作，例如，使TV的图像质量进入电影模式，将音频系统设置为深低音模式，并且将天花板灯变暗。然而，大量变更同时发生，并且用户可能无法立即了解发生了什么。
在此，作为示例，已经使用来自在桌子30上显示的控制屏幕的操作的示例描述了问题，但是在用户通过使用在智能电话上操作的应用执行操作时，也会发生类似的问题。
为了解决这样的问题，本公开内容提出了下述机制，该机制向用户呈现适当的反馈并且使用户能够直观地注意到向哪个控制目标设备是否发出了操作命令。
具体地，在本公开内容中，处理如下执行。将用户的视线引导至要运行操作命令的设备的位置，即控制目标设备的位置，并且根据引导视线的定时来控制在控制目标设备中运行操作命令的定时。具体地，将用户的视线引导至控制目标设备以控制控制目标设备在完成引导之后呈现反馈(如果可能，使用设备的特性进行反馈呈现)，该反馈指示操作命令已作用于控制目标设备，并且可以使用户直观地注意到控制目标设备上的动作。
<<2.配置>>
图2是示出根据本实施方式的系统1的配置的示例的框图。如图2所示，系统1包括信息处理设备100、输出设备200和传感器设备300。
<2-1.输出设备200>
输出设备200包括投影仪210、TV 220、平板电脑230、智能电话240、PC 250、扬声器260和单向扬声器270。注意，系统1可以包括投影仪210、TV 220、平板电脑230、智能电话240、PC 250、扬声器260和单向扬声器270中的一个或它们的组合作为输出设备200，或者可以包括相同类型的多个设备。
投影仪210是将图像投影在空间中的任何位置上的投影设备。例如，投影仪210可以是固定的广角投影仪或包括可操作为改变投影方向的可平移/可倾斜移动部分的所谓的移动投影仪。TV 220是接收电视广播的无线电波并且输出图像和声音的设备。平板电脑230通常是具有比智能电话240更大的屏幕并且可以无线通信的移动设备，并且平板电脑230被配置成输出图像、声音、振动等。智能电话240通常是具有比平板电脑230更小的屏幕并且可以无线通信的移动设备，并且智能电话240被配置成输出图像、声音、振动等。PC 250可以是固定台式PC或移动笔记本PC，并且被配置成输出图像、声音等。扬声器260经由数字模拟转换器(DAC)和放大器将语音数据转换成模拟信号，并且输出(再现)该模拟信号。单向扬声器270是被配置成在单个方向上形成方向性的扬声器。
输出设备200基于信息处理设备100的控制来输出信息。除了输出的信息的内容之外，信息处理设备100还被配置成控制输出方法。例如，信息处理设备100被配置成控制投影仪210的投影方向或控制单向扬声器270的方向性。
注意，输出设备200可以包括使能够进行任何输出操作的组成元件，而不是上述组成元件。例如，输出设备200可以包括可穿戴设备(例如，头戴式显示器(HMD)、增强现实(AR)眼镜)和时钟类型设备。
此外，输出设备200可以包括照明设备、空调、音乐再现设备等。
<2-2.传感器设备300>
传感器设备300包括摄像装置310、深度传感器320和麦克风330。
摄像装置310是包括透镜系统、驱动系统和成像元件并且捕获图像(静止图像或移动图像)的成像设备(例如，RGB摄像装置)。深度传感器320是获取红外距离测量设备、超声距离测量设备、激光成像检测和测距(LiDAR)、立体摄像装置等的深度信息的设备。麦克风330是收集周围声音并且输出经由放大器和模拟数字转换器(ADC)转换成数字信号的语音数据的设备。麦克风330可以具有阵列麦克风。
传感器设备300基于信息处理设备100的控制来感测信息。例如，信息处理设备100被配置成控制摄像装置310的变焦倍数和成像方向。
注意，传感器设备300可以包括能够进行任何感测操作的组成元件，而不是上述组成元件。例如，传感器设备300可以包括由用户向其输入信息的设备，诸如，鼠标、键盘、触摸面板、按钮、开关或操纵杆。此外，传感器设备300可以包括各种传感器，例如，加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、照度传感器、力传感器、超声传感器、大气压传感器、气体传感器(Co2)和热像仪。
<2-3.信息处理设备100>
信息处理设备100包括接口(I/F)单元110、姿势检测单元120、用户检测单元130、环境检测单元140、设备检测单元150、存储单元160和控制单元170。
·I/F单元110
I/F单元110是将信息处理设备100连接至另一设备的连接装置。例如，I/F单元110通过通用串行总线(USB)连接器来实现，并且向输出设备200和传感器设备300的每个组成元件输入信息并从输出设备200和传感器设备300的每个组成元件输出信息。
·姿势检测单元120
姿势检测单元120具有基于由传感器设备300感测到的信息来检测关于用户的姿势信息的功能。例如，姿势信息可以通过深度摄像装置、热像仪、RGB摄像装置或超声传感器来检测。例如，姿势信息包括关于用户的手移动、臂移动、姿态(例如，骨骼信息)、视线和触摸操作的信息。更具体地，姿势检测单元120检测指示移动的方向作为姿势信息，例如，手指指向、头部移动或视线，或者检测对投影位置(例如，墙壁、地板、桌子、其他家具等)的触摸操作。触摸操作也被检测为对投影在墙壁、地板、家具等上的显示图像的用户操作输入。例如，当在桌子30上显示显示图像20时，姿势检测单元120分析从传感器设备300输入的捕获图像或深度信息，获取位于显示屏幕上的用户的手或手指的位置或深度信息(即，三维信息)，并且检测用户的手在高度方向上与桌子30的触摸/接近和从桌子30上的移开。在本描述中，用户利用操作工具(例如，手)触摸或接近信息或显示屏幕也被称为“触摸”。
姿势检测单元120将检测到的姿势信息输出至控制单元170。
·用户检测单元130
用户检测单元130具有基于由传感器设备300感测到的信息来检测关于用户的信息(用户信息)的功能。
用户信息可以包括指示在由传感器设备300感测的空间中的用户的位置和数目的信息。可以通过热像仪、RGB摄像装置、红外传感器、超声传感器等来检测用户的位置和数目。
用户信息可以包括指示用户的视线的信息。指示用户的视线的信息包括指示视点位置和视线方向的信息。指示用户的视线的信息可以包括指示用户的面部或头部的方向的信息，或者还可以包括指示眼球的方向的信息。可以通过分析由RGB摄像装置、红外摄像装置、由用户佩戴的眼睛摄像装置等获得的用户眼睛的图像来检测指示用户的视线的信息。
用户信息可以包括指示用户的姿态的信息。可以通过分析由RGB摄像装置、红外摄像装置等获得的图像来检测指示用户的姿态的信息。
用户信息可以包括指示用户的说话语音的信息。可以通过分析由麦克风获得的语音信息来检测指示用户的说话语音的信息。
用户检测单元130将检测到的用户信息输出至控制单元170。
·环境检测单元140
环境检测单元140具有基于由传感器设备300感测到的信息来检测环境信息的功能。环境信息是关于用户所在空间的信息。环境信息可以包括各种信息。
环境信息可以包括指示用户所在空间的形状的信息。指示空间的形状的信息例如包括指示形成该空间的对象(例如，壁表面、天花板、地板、门、家具或家居用品)的形状的信息。指示空间的形状的信息可以具有二维信息或三维信息(例如，点云)。可以基于由例如红外距离测量、超声距离测量、立体摄像装置等获得的深度信息来检测指示空间的形状的信息。
环境信息可以包括指示投影表面的状态的信息。例如，投影表面的状态表示投影表面的不平坦和颜色。可以基于由例如LiDAR获得的深度信息来检测投影表面的不平坦。可以通过分析例如由RGB摄像装置捕获的图像来检测投影表面的颜色。
环境信息可以包括指示投影表面的亮度的信息。可以通过照度传感器或RGB摄像装置来检测投影表面的亮度。
环境信息可以包括指示对象在空间中的位置(三维位置)的信息。例如，可以通过图像识别来检测杯子、椅子、桌子、电子设备等在房间中的位置。此外，例如，可以通过与智能电话与无线LAN的接入点之间的通信有关的无线电波强度来检测智能电话在房间中的位置。
环境信息可以包括环境声音。可以通过麦克风来检测环境声音。
环境检测单元140将检测到的环境信息输出至控制单元170。
设备检测单元150具有检测关于空间中的设备的信息(设备信息)的功能。设备信息可以包括设备的存在和设备的三维位置。
信息处理设备100经由I/F单元110连接至每个设备(输出设备200)。例如，I/F单元110通过无线/有线局域网(LAN)、数字生活网络联盟(DLNA)(注册商标)、Wi-Fi(注册商标)、蓝牙(注册商标)、USB连接或另一专用线路连接至空间中的每个设备。设备检测单元150通过经由I/F单元110的设备的连接来掌握每个设备的存在。
可以基于由传感器设备300感测到的信息来识别设备的三维位置。例如，设备检测单元150可以通过分析由传感器设备300的红外(IR)摄像装置捕获的红外图像来提取设置在设备处的回射材料，并且识别设备在空间中的位置。此外，设备检测单元150可以通过分析由传感器设备300的摄像装置(RGB摄像装置)捕获的捕获图像来提取设置在设备处的特定图案(制造商名称、二维条形码等)，并且识别设备在空间中的位置。此外，设备检测单元150可以利用传感器设备300的麦克风获取从每个设备发送的唯一超声波，并且识别设备在空间中的位置。另外，设备检测单元150可以通过传感器设备300感测用户的位置规范操作(例如，指向、触摸、视线或放置标记)和注册操作(UI选择、语音话音等)，并且识别设备在空间中的位置。
设备检测单元150将检测到的设备信息输出至控制单元170。
已经描述了检测关于空间中的人、环境和设备的信息的功能。在本描述中，通过姿势检测单元120、用户检测单元130、环境检测单元140和设备检测单元150对每个信息的检测对应于空间识别，并且获得的信息(空间环境感测处理的结果)也被称为空间信息。
·控制单元170
控制单元170根据各种程序来控制信息处理设备100中的整个操作。控制单元170包括显示控制单元171和声音控制单元173。显示控制单元171控制由输出设备200执行的显示。声音控制单元173控制由输出设备200输出的声音。
此外，控制单元170可以控制经由I/F单元110连接的各种设备的操作。可以由信息处理设备100控制的设备也称为“控制目标设备”。除了上述输出设备200的示例之外，控制目标设备还包括IoT家用电器，例如，洗衣机或冰箱、用于玩具、家具和私家车以及家庭设施(例如，地板供暖、水浴加热器、浴室烘干机、门/窗锁、百叶窗和车库)的各种IoT设备。控制单元170经由I/F单元110将用于预定控制的指令命令(控制信号)发送至控制目标设备。
此外，控制单元170基于从空间内部获取的信息来获取操作命令。
例如，控制单元170分析用户的语音话音、操作输入(在空间中显示的控制屏幕上的姿势或操作)、用户的状况等，并且获取与控制目标设备的控制有关的操作命令。
具体地，例如，控制单元170通过使用语音识别引擎从由麦克风330收集的语音信息(说话语音)获取字符串，进一步执行语法分析以识别用户话音的内容，并且检测操作触发。操作触发可以是预定的关键字(例如，系统名称、对系统的调用等)或操作指令(例如，“显示”、“示出”、“转移至○○模式”、“开灯”等)。当检测到触发时，控制单元170生成操作命令。操作命令是用于使空间中的设备执行操作的控制信号。控制单元170从识别的用户话音内容获取控制目标设备和控制内容，并且生成操作命令。例如，当用户说“打开TV”时，控制单元170将用户的话音有效地识别为“TV_ON命令”。
另外，例如，控制单元170可以分析其中用户似乎觉得冷的状况，并且识别有效命令，例如，打开加热器。在这种情况下，控制单元170可以在发出操作命令之前使代理被显示并且向用户呈现命令内容(例如，“您想打开加热器吗？”或“我将打开加热器”)。.
接下来，在将生成的操作命令发出(发送)至控制目标设备之前，控制单元170执行用户的注视引导处理。换句话说，根据本实施方式的控制单元170将用户的视线引导至控制目标设备，根据引导定时来控制控制目标设备的操作(控制在控制目标设备中运行操作命令的定时)，并且可以使用户直观地注意到控制目标设备上的动作。例如，注视引导处理通过图像或声音来执行。例如，控制单元170在注视引导完成的定时执行将操作命令发送至控制目标设备的控制。注视引导完成的定时表示例如引导图像到达控制目标设备的位置的定时。例如，可以将距控制目标设备的端部预定距离内或距控制目标设备的重心的位置预定距离内的引导图像确定为“引导图像到达控制目标设备的位置处”。更具体地，例如，控制单元170通过由投影仪210在用户视线的方向上显示引导图像并且将引导图像移动至控制目标设备的位置来将用户的视线引导至控制目标设备。然后，在将引导图像移动至控制目标设备的位置之后，控制单元170向控制目标设备发出操作命令以操作控制目标设备(例如，打开TV)。“注视引导完成的定时”不限于以上示例，并且例如，可以是引导图像到达控制目标设备的位置并且用户的视线的方向指向控制目标设备的定时。可替选地，“注视引导完成的定时”可以是引导图像到达控制目标设备的位置并且控制单元170从控制目标设备接收到操作命令运行准备完成通知的定时(假设信息处理设备100已经预先向控制目标设备发送了用于操作命令的执行准备指示命令)。
此外，控制单元170可以在向控制目标设备发出操作命令之前将引导图像移动至控制目标设备的位置，控制引导图像到控制目标设备的转移呈现的输出，并且然后向控制目标设备发出操作命令。转移呈现的输出使得能够向用户直观地指示由系统进行的控制已作用于控制目标设备。为了控制转移呈现的输出，例如，假设从控制目标设备输出的声音、图像显示、振动、移动或由投影仪210将预定图像投影到控制目标设备上。例如，当控制目标设备在引导图像被移动至控制目标设备的位置之后稍微移动时，用户可以直观地识别出由系统进行的控制已作用于控制目标设备。此外，控制单元170可以在完成对这样的转移呈现的输出的控制的定时向控制目标设备发出操作命令。
控制单元170还可操作为识别讲话的人。在该系统中，由于所有用户在空间中的位置和姿态由用户检测单元130和环境检测单元140周期性地识别，因此利用麦克风获取一定音量或更高的语音信号的控制单元170通过使用麦克风阵列来识别讲话的人的方向，并且通过参照预先识别的所有用户的位置来识别讲话的人。因此，例如，控制单元170可以如上所述在讲话的人的视线方向上显示引导图像。
·存储单元160
存储单元160由存储在控制单元170的处理中使用的程序、操作参数等的只读存储器(ROM)和临时存储适当变化的参数等的随机存取存储器(RAM)来实现。此外，存储单元160存储由姿势检测单元120检测到的姿势信息、由用户检测单元130检测到的用户信息、由环境检测单元140检测到的环境信息以及由设备检测单元150检测到的设备信息等。
上面已经具体描述了根据本实施方式的信息处理设备100的配置。注意，信息处理设备100的配置不限于图2所示的示例。例如，信息处理设备100可以在与输出设备200和传感器设备300相同的空间中，或者可以在另一空间中。此外，信息处理设备100可以在网络上。此外，可以在外部设备中设置信息处理设备100的配置的至少一些。通过适当地分布信息处理设备100的配置，可以改善实时性、减少处理负荷并且确保安全性。
<<3.操作处理>>
接下来，将参照附图具体描述根据本实施方式的信息处理系统的操作处理。
<3-1.调用代理>
首先，用户通过语音或姿势调用代理。信息处理设备100分析由传感器设备300从空间获取的信息，并且当调用代理或系统的名称时或当识别到预定姿势时，由投影仪210投影代理图像。
图3是示出根据本实施方式的通过语音调用代理的图。如图3的左侧所示，例如，当用户说出代理的名字“Michael”时，信息处理设备100利用阵列麦克风识别用户的话音和方向(讲话的人的位置)。接下来，信息处理设备100利用深度摄像装置来捕获位于指定方向的用户的图像，并且识别用户的面部指向的方向V(或视线)。接下来，如图3的右侧所示，信息处理设备100通过使用投影仪210在面部指向的方向V之前显示代理图像10。
图4是示出根据本实施方式的通过控制UI调用代理的图。如图4的左侧所示当用户轻击桌子、壁等时，如图4的中央所示信息处理设备100利用投影仪210在轻击的位置处投影并且显示菜单UI 21。然后，当用户从菜单UI 21选择项目“代理”时，信息处理设备100投影并且显示代理图像10。在这种情况下，代理图像10显示在轻击的位置处。
<3-2.设备控制的处理>
将参照图5对当用户在如上所述调用代理之后经由代理控制设备时执行的操作处理进行描述。图5是示出在根据本实施方式的系统1的信息处理设备100中执行的设备控制的处理的示例的流程图。
如图5所示，首先，信息处理设备100基于从麦克风330获取的语音信息来识别用户的话音(步骤S103)。例如，当用户对代理说出“打开TV”时，信息处理设备100分析用户话音的内容以将话音有效地识别为TV_ON命令。
接下来，信息处理设备100从用户所讲语音识别出有效的操作命令(步骤S106)。如果命令是有效命令，则信息处理设备100确定命令被发送至的目的地设备(控制目标设备)。例如，“打开TV”指示TV 220，以及“播放音乐”指示音乐播放器(或扬声器260)。当话音识别失败时(步骤S106/否)，信息处理设备100可以不做任何事情而结束，或者可以提示用户再次讲话，例如“请再次讲话”。
接下来，信息处理设备100确定所确定的目的地设备是否是被配置成执行转移呈现的设备(步骤S109)。转移呈现表示来自目标设备的反馈，这使用户直观地了解系统已作用于设备。为了使代理看起来像转移至设备，反馈被称为“转移呈现”。假设通过例如图像显示、声音输出、振动或预定移动来提供来自设备的反馈。例如，由于TV 220包括显示器，因此信息处理设备100确定转移呈现是可能的。可以通过信息处理设备100向设备询问是否可以执行转移呈现，或者可以基于预先从设备获取的设备信息来确定是否可以执行转移呈现。
接下来，当设备被配置成执行转移呈现时(步骤S109/是)，信息处理设备100控制设备以执行转移呈现(步骤S112)。稍后将参照图6描述细节。
另一方面，如果设备不支持转移呈现(步骤S109/否)，则信息处理设备100控制系统以执行转移呈现(步骤S115)。由系统进行的转移呈现是使用除了控制目标设备之外的设备的控制。例如，预定的图像被投影仪210投影在控制目标设备上，使得控制目标设备看起来像在做移动。稍后将参照图6描述细节。
在完成转移呈现的输出之后，信息处理设备100向该设备发出(发送)操作命令(步骤S118)。例如，当识别的有效命令是TV_ON命令时，信息处理设备100发出用于将对TV 220的输入切换至上次设置的输入的操作命令。具体地，例如，如果用户在上次关闭电源时正在看频道3上的数字地面电视广播，则发出DIGITAL_3CH命令。在这种情况下，信息处理设备100将信号发送至高清多媒体接口(HDMI(注册商标))1。例如，当由设备输出转移呈现时，可以通过从设备接收完成通知来确定转移呈现的输出完成。此外，例如，当由系统输出转移呈现时，可以通过从系统接收完成通知来确定转移呈现的输出完成。
<3-3.由设备执行的转移呈现处理>
图6是示出由根据本实施方式的设备执行的转移呈现处理的示例的流程图。
如图6所示，首先，信息处理设备100向设备输出转移准备命令(步骤S123)。转移准备命令用于准备输出转移呈现、使设备准备执行反馈呈现。例如，当采用TV 220时，TV 220被打开并且切换至HDMI 1。作为切换TV 220的输入的方法，可以使用DLNA(注册商标)，或者可以使用专用的Web API。
接下来，如果设备的转移准备完成(步骤S126/是)，则信息处理设备100开始注视引导(步骤S129)。由设备进行的转移准备完成可以通过从设备接收到准备完成通知来确认，或者可以在经过预定时间(超时)之后将其视为准备完成。
注视引导是将用户的视线引导至设备的处理，并且例如通过在用户的视线的方向上显示引导图像来执行。在本实施方式中，将已经显示的代理图像10(参见图3和图4)用作引导图像。例如，如图7的左上部分所示，信息处理设备100通过将代理图像10从当前显示位置(在用户的视线方向上显示)移动至TV 220来实现注视引导。
此时，信息处理设备100计算用于注视引导的轨迹42。在此，图8是示出计算用于注视引导的轨迹的图。如图8所示，信息处理设备100可以限定平面40，计算平面40与真实空间中的壁表面之间的交点，并且获得轨迹42，其中，平面40包括三个点，例如，代理图像10的源点M1、用户的视点位置P和代理图像10的目的地点M2。注意，真实空间中的壁表面由深度摄像装置等识别。此外，当绘画或另一对象位于轨迹42上并且不适合视频投影时，信息处理设备100可以计算避免障碍物的轨迹。
信息处理设备100根据计算出的轨迹42输出注视引导动画。具体地，如图7的左侧所示，控制投影，使得代理图像10沿着轨迹42从当前位置移动至TV 220。此时，信息处理设备100可以使代理图像10变形以利于注视引导。例如，如图9所示，代理图像10可以在移动之前变形为单纯的点状，使得代理图像10可以在到达TV 220的位置时恢复为原始形状。
此外，在注视引导开始之后，信息处理设备100可以立即将代理图像10的移动速度设置为慢速(足够慢，使得用户可以视觉上跟随代理图像10)。这使得可以防止用户看不到代理图像10。此外，信息处理设备100可以利用深度摄像装置等来识别用户的视线的方向，以顺序确定用户是否正在跟随代理图像10。如果用户似乎失去其位置，则信息处理设备100可以控制例如代理图像10保持位置或闪烁，以使用户再次找到代理图像10。
接下来，如果注视引导结束(步骤S132/是)，则信息处理设备100向该设备发出转移呈现输出命令(步骤S135)。注视引导可以在引导图像到达设备时完成，或者可以在引导图像到达设备并且用户看设备时完成。可替选地，注视引导可以在引导图像到达设备并且经过预定时间时完成。
在此，将描述转移呈现的示例。例如，当目的地是TV 220时，信息处理设备100在代理图像10到达TV 220的位置时将代理图像10的输出目的地从投影仪210切换至TV 220。因此，如图7的右上部分所示，这使得有可能在TV 220上显示代理图像10，并且用户可以识别出仿佛代理转移至TV 220。此时，代替将来自投影仪210的输出(即，注视引导)快速地切换至来自TV 220的输出(即，转移呈现的输出)，代理图像10可以被划分成同时从投影仪210和TV 220两者临时输出，仿佛代理图像10的一部分从TV 220的屏幕端进入，如图10所示。在图10所示的示例中，代理图像10包括来自投影仪210的投影图像11和TV 220的显示图像221。这使得可以进一步有效地使代理看起来像转移至TV 220。注意，当代理图像10在注视引导期间被示出为如图9所示的点时，代理图像10可以在到达目的地之后恢复为示出正常形状。以这种方式，注视引导和转移呈现可以同时执行。
然后，信息处理设备100确认转移呈现的输出完成(步骤S138)。当从设备接收到转移呈现输出完成通知时，或者当在发出转移呈现输出命令之后经过预定时间(超时)时，可以确定转移呈现的输出完成。可替选地，当用户看转移呈现时，可以确定转移呈现的输出完成。当转移呈现的输出完成时，信息处理设备100向设备发出操作命令，并且使设备运行操作命令，如参照图5所描述的。具体地，例如，如图7的右下部分所示，对TV220的输入被切换至上次设置的频道。
上面已经描述了根据本实施方式的转移呈现处理的示例。注意，图6所示的操作处理是示例，并且本公开内容不限于图6所示的示例。例如，可以并行地执行在步骤S123至S126中描述的转移呈现准备处理和在步骤S129至S132中描述的注视引导处理。只需要在注视引导的结束时完成转移呈现准备。注意，信息处理设备100可以执行控制，使得注视引导结束的定时与转移呈现准备完成的定时相匹配。例如，可以通过使代理图像10绕行、做无用移动或降低其移动速度来调整代理图像10到达目标设备的时间(注视引导完成的时刻)。
此外，例如，可以不按图6所示的顺序执行步骤S132和步骤S135。换句话说，如图10所示，可以同时执行注视引导和转移呈现，并且信息处理设备100可以在发出转移呈现输出命令之后执行完成注视引导的处理。
<3-4.由系统执行的转移呈现处理>
图11是示出由根据本实施方式的系统执行的转移呈现处理的示例的流程图。如果设备不支持转移呈现，则系统输出转移呈现。
如图11所示，首先，信息处理设备100开始注视引导(步骤S153)。注视引导的细节与上述步骤S129至S132中的那些相同。
接下来，如果注视引导结束(步骤S156/是)，则信息处理设备100执行从系统输出转移呈现的处理(步骤S159)。换句话说，来自系统的转移呈现的输出是用于通过使用除了控制目标设备(不支持转移呈现输出的设备)之外的设备使用户感觉仿佛是由控制目标设备提供反馈的控制。例如，信息处理设备100可以通过利用投影仪210等将预定的视频投影至控制目标设备上，在设备周围照明，执行投影映射等输出转移呈现来投影图像，从而使用户产生仿佛设备在移动的幻觉。
然后，信息处理设备100确认转移呈现的输出完成(步骤S162)。当从被配置成输出转移呈现的另一设备例如投影仪210接收到转移呈现输出完成通知时，或者当在由投影仪210开始转移呈现的输出之后经过了预定时间(超时)时，可以确定转移呈现的输出完成。可替选地，当用户看转移呈现时，可以确定转移呈现的输出完成。
上面已经描述了根据本实施方式的转移呈现处理的示例。注意，图11所示的操作处理是示例，并且本公开内容不限于图11所示的示例。例如，可以不按图11所示的顺序执行步骤S156和S159。换句话说，可以同时执行注视引导和转移呈现，或者信息处理设备100可以在控制转移呈现的输出之后执行完成注视引导的处理。
此外，信息处理设备100可以与步骤S153至S162所示的处理并行地输出用于指示控制目标设备准备运行操作命令的准备命令。例如，在控制目标设备需要很长时间才能启动的情况下，如果在发出操作命令之前激活了控制目标设备，并且在激活期间执行了注视引导和转移呈现，则可以在完成转移呈现的输出之后运行操作命令，而无需等待时间。
<3-5.补充说明>
上面已经具体描述了根据本实施方式的设备控制的处理。注意，图5、图6和图11中的每一个所示的操作处理是示例，并且本公开内容不限于图5、图6和图11所示的示例。例如，不必输出使代理看起来像转移的转移呈现，并且信息处理设备100可以在注视引导之后向设备发出操作命令。此时，当引导图像到达设备的位置时，当引导图像到达设备的位置并且经过了预定时间时，当引导图像到达设备的位置并且用户看设备时，或者当从设备接收到操作命令运行准备完成通知时(操作命令运行准备命令已预先发送至设备)，信息处理设备100可以向设备发出操作命令以使设备运行操作命令。
此外，信息处理设备100可以计算注视引导完成的定时，并且预先向设备发出操作命令。例如，信息处理设备100可以计算注视引导所需的时间，并且在N秒之后发送用于运行操作命令的指令命令。可替选地，设备可以识别注视引导完成的定时，并且控制运行操作命令的定时。例如，当从信息处理设备100接收到注视引导完成的通知时，设备可以运行操作命令；或者当从信息处理设备100接收到注视引导完成的通知时并且在经过预定时间之后或者当用户看设备时，设备可以运行操作命令。
此外，信息处理设备100可以在设备确定转移呈现完成的定时之后预先发出用于运行操作命令的指令命令。例如，当在设备中完成转移呈现的输出时，当在转移呈现的输出之后经过了预定时间时，或者当输出了转移呈现并且用户的视线的方向指向设备时(当用户看转移呈现时)，设备完成转移呈现并且根据指令命令运行操作命令。
<<4.应用示例>>
根据本公开内容的系统可以应用于例如娱乐，包括但不限于家庭系统。
(竞技攀岩)
例如，在竞技攀岩中，当响应于其中一个用户的话音来执行某些控制时，系统可以被配置成输出将注视引导到控制目的地的效果。图12是示出应用于竞技攀岩的示例的图。
在图12所示的示例中，假设游戏是在用户A和用户B在攀爬壁时竞争的竞技攀岩，其中用户按顺序通过语音交替地指定对手的突破口(hole)，直到没有可用的突破口为止。例如，如图12的上侧所示当用户A通过语音指定“5B”时，如图12的下侧所示系统1可以输出下述效果，在该效果中，效果图像15从用户A的附近飞向指定的对手的突破口，攻击指定的对手的突破口，并且使该突破口不可用。
此外，在竞技攀岩中，系统1也可以在下述游戏中执行控制以输出类似的效果，在该游戏中，用户位于左右两侧，将用户的手和脚两者固定至优选位置，用户按顺序通过语音指定区域，并且第一个猜中对手的手和脚的区域的用户获胜。
另外，这样的效果可以应用于国际象棋、日本象棋等，包括但不限于竞技攀岩。
(可变形机器人)
图13是示出将本系统应用于可变形机器人的示例的图。图13所示的机器人25是通过语音变形的机器人。例如，当用户选择“搅拌车”和机器人25时，系统1将代理图像10移动至机器人25的位置，执行用户的注视引导处理，并且还在机器人25周围投影效果图像27，并且输出使代理看起来像转移至机器人25的呈现。同时，系统1发送准备命令以使机器人25执行用于在注视引导和转移呈现期间开始变形的准备操作。这使得可以在转移呈现的输出完成之后开始变形。
(转移呈现的派生示例)
例如，如果用户说“将闹钟设置为8:00”，则系统1使代理转移至闹钟，但是对闹钟的转移呈现的输出可以包括转动指针、瞬时鸣响闹钟等。
此外，例如，如果用户说“在电热水壶中煮一些水”，则系统1使代理转移至电热水壶，但是对电热水壶的转移呈现的输出可以包括投影视频，该视频示出从电热水壶喷出蒸汽之类的东西或电热水壶的盖子快速打开和关闭。
此外，例如，如果用户说“呼叫祖母”，则系统1使代理转移至电话，但是作为对电话的转移呈现的输出可以包括例如从电话发出拨号声。
此外，例如，如果用户说“加热洗澡水”，则系统1使代理转移至浴室，但是对浴室的转移呈现的输出可以包括例如将代理图像朝向浴室移动以进行注视引导，并且从浴室附近的扬声器等输出声音例如“我将加热浴水”。
此外，例如，如果用户说“打开风扇”，则系统1使代理转移至风扇，但是对风扇的转移呈现的输出可以包括例如使风扇左右摆动。
此外，例如，如果用户说“播放音乐”，则系统1使代理转移至扬声器，但是对扬声器的转移呈现的输出可以包括例如从扬声器发出瞬时声音(声音效果)或者使扬声器在扬声器带有照明的情况下瞬时闪烁。
(触发以识别有效命令)
系统1可以被配置成根据空间环境(包括但不限于用户的语音话音、姿势或状况)来识别有效命令。例如，当室温高于预定的最佳温度时，系统可以向用户呈现消息例如“由于温度高而打开空调”以开始运行有效命令。
(根据设备状态的转移呈现的修改)
例如，如果TV 220已经打开，则在TV 220上更改视频以输出转移呈现可能会妨碍用户的观看。在这种情况下，系统1可以通过投影在TV 220周围的照明来呈现转移。
此外，例如，当TV 220已经打开并且用户说“频道5”以使代理切换TV 220的频道时，不必输出转移呈现或向TV 220发出准备命令。在这种情况下，由于命令需要用户的迅速反应，因此系统1可以立即发出操作命令。当用户已经观看TV 220时，系统1在TV 220周围显示代理图像10，并且立即运行操作命令。
(注视引导的应用示例)
在注视引导的呈现中，可以执行呈现使得代理不移动自身，而是使命令可视化并且在代理保持在原始位置处的情况下将命令朝向设备移动。例如，系统1可以投影例如示出无线电波从代理图像10到设备位置的传输的效果。
此外，当用户说“打开TV并且开灯”时，首先，可以执行对TV 220的注视引导以打开TV 220，并且然后可以执行从TV 220到灯(照明设备或照明设备的开关)的注视引导以开灯。可替选地，可以投影效果以使从代理图像10到TV 220和灯(照明设备)的命令的顺序或同时发出可视化。
<<5.硬件配置示例>>
最后，将参照图14描述根据本实施方式的信息处理设备的硬件配置。图14是示出根据本实施方式的信息处理设备的硬件配置示例的框图。注意，图14所示的信息处理设备900可以实现例如图2所示的信息处理设备100。由根据本实施方式的信息处理设备100执行的信息处理是通过下面描述的软件与硬件之间的协作来实现的。
如图14所示，信息处理设备900包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。信息处理设备900包括桥接器904、外部总线904b、接口905、输入设备906、输出设备907、存储设备908、驱动器909、连接端口911和通信设备913。代替CPU 901或除了CPU 901之外，信息处理设备900可以包括处理电路，例如，电路、DSP或ASIC。
CPU 901用作算术处理设备和控制设备，并且根据各种程序控制信息处理设备900中的整个操作。此外，CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、操作参数等。RAM 903临时存储在CPU 901的执行中使用的程序、在其执行期间适当地改变的参数等。CPU 901可以形成例如图2所示的姿势检测单元120、用户检测单元130、环境检测单元140、设备检测单元150和控制单元170。
CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a彼此连接。主机总线904a经由桥接器904连接至外部总线904b(例如，外围部件互连/接口(PCI)总线)。注意，主机总线904a、桥接器904和外部总线904b不一定分开配置，并且其功能可以安装在一个总线上。
输入设备906由用户向其输入信息的设备(例如，鼠标、键盘、触摸面板、按钮、麦克风、开关和操纵杆)来实现。例如，输入设备906可以包括使用红外光或另一无线电波的远程控制设备，或者可以包括支持信息处理设备900的操作的外部连接设备(例如，移动电话或PDA)。此外，例如，输入设备906可以包括输入控制电路，该输入控制电路基于通过使用上述输入装置由用户输入的信息来生成输入信号，并且将该输入信号输出至CPU 901。信息处理设备900的用户可以操作输入设备906以将各种数据输入至信息处理设备900，并且指示信息处理设备900执行处理操作。
输出设备907包括被配置成在视觉上或听觉上向用户通知所获取的信息的设备。这样的设备包括CRT显示设备、液晶显示设备、等离子显示设备、EL显示设备、诸如激光投影仪、LED投影仪和灯的显示设备、诸如扬声器和耳机的声音输出设备、打印机设备等。例如，输出设备907输出通过由信息处理设备900执行的各种处理而获得的结果。具体地，显示设备以诸如文本、图像、表格或图表的各种形式视觉地显示通过由信息处理设备900执行的各种处理而获得的结果。另一方面，声音输出设备将包括再现的语音数据、声音数据等的音频信号转换成模拟信号，并且可听地输出该模拟信号。
存储设备908是形成为信息处理设备900的存储单元的示例的数据存储设备。例如，存储设备908由磁存储单元设备(例如HDD、半导体存储设备、光学存储设备或磁光存储设备)来实现。存储设备908还可以包括存储介质、在存储介质上记录数据的记录设备、从存储介质读取数据的读取设备、删除在存储介质上记录的数据的删除设备等。存储设备908存储有由CPU 901执行的程序、各种数据、从外部获取的各种数据等。存储设备908可以形成例如图2所示的存储单元160。
驱动器909是存储介质读取器/写入器，并且内置在信息处理设备900中或从外部附接至信息处理设备900。驱动器909读取记录在可移动存储介质(例如已安装的磁盘、光盘、磁光盘或半导体存储器)上的信息，并且将该信息输出至RAM 903。此外，驱动器909还被配置成在可移动存储介质上写入信息。
连接端口911是连接至外部设备的接口，并且是与外部设备一起以通过例如通用串行总线(USB)来发送数据的连接端口。连接端口911可以形成例如图2所示的I/F单元110。然后，连接端口911连接至图2所示的输出设备200和传感器设备300。
通信设备913是通信接口，该通信接口包括例如用于连接至网络920的通信设备等。例如，通信设备913包括用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)或无线USB(WUSB)的通信卡等。通信设备913可以是光通信路由器、非对称数字用户线(ADSL)路由器、各种通信调制解调器等。例如，通信设备913被配置成根据预定协议(例如TCP/IP)与因特网或另一通信设备发送和接收信号等。通信设备913可以形成例如图2所示的I F单元110。然后，通信设备913可以与图2所示的输出设备200和传感器设备300进行通信。
网络920是用于从连接至网络920的设备发送的信息的有线或无线传输路径。例如，网络920可以包括公用线路网络，例如，因特网、电话线路网络或卫星通信网络、包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)等。网络920可以包括专用线路网络，例如，因特网协议-虚拟专用网络(IP-VPN)。
已经描述了可以实现根据本实施方式的信息处理设备900的功能的硬件配置示例。上述组成元件中的每一个可以使用通用构件来实现，或者可以通过专用于每个组成元件的功能的硬件来实现。因此，可以在每次执行本实施方式时根据技术水平适当地改变要使用的硬件配置。
注意，如上所述，可以创建用于实现根据本实施方式的信息处理设备900的每个功能的计算机程序，并且可以将该计算机程序安装在PC等上。另外，还可以提供存储有这样的计算机程序的计算机可读记录介质。例如，记录介质包括磁盘、光盘、磁光盘或闪存。此外，例如，上述计算机程序可以经由网络而不使用记录介质来分发。
<<6.结论>>
上面已经参照附图详细描述了本公开内容的优选实施方式，但是本技术不限于这样的示例。显然，本领域技术人员可以在所附权利要求书的范围中提出的技术构思内找到各种变更和修改，并且应当理解的是，这些变更和修改自然将落入本公开内容的技术范围内。
例如，还可以创建计算机程序以使信息处理设备100中内置的硬件(例如，CPU、ROM和RAM)用作信息处理设备100。此外，还提供了存储有计算机程序的计算机可读存储介质。
另外，本文中描述的效果仅是示例性和说明性的，而不是限制性的。换句话说，根据本公开内容的技术可以通过本文中的描述与上述效果一起或代替上述效果呈现对于本领域技术人员而言明显的其他效果。
另外，本技术还可以具有以下结构。
(1)一种信息处理设备，包括：
控制单元，其执行以下操作：
将用户的视线引导至控制目标设备的位置的处理；以及
根据引导所述视线的定时来控制在所述控制目标设备中运行操作命令的定时的处理。
(2)根据(1)所述的信息处理设备，其中，
所述控制单元在所述视线的引导完成的定时执行将所述操作命令发送至所述控制目标设备的控制。
(3)根据(1)所述的信息处理设备，其中，
所述控制单元执行指示命令发送至所述控制目标设备的控制，所述指示命令指示在所述视线的引导完成的定时运行所述操作命令。
(4)根据(2)或(3)所述的信息处理设备，其中，
所述控制单元获取所述控制目标设备在空间中的三维位置信息，以及
通过从投影设备投影引导图像并且使所述引导图像移动至所述控制目标设备的位置，来引导所述用户的视线。
(5)根据(4)所述的信息处理设备，其中，
所述视线的引导完成的定时是所述引导图像到达所述控制目标设备的所述位置的定时。
(6)根据(4)所述的信息处理设备，其中，
所述视线的引导完成的定时是所述引导图像到达所述控制目标设备的所述位置并且所述用户的视线的方向指向所述控制目标设备的定时。
(7)根据(4)所述的信息处理设备，其中，
所述视线的引导完成的定时是所述引导图像到达所述控制目标设备的所述位置并且从所述控制目标设备接收到所述操作命令的运行准备完成通知的定时。
(8)根据(4)至(6)中任一项所述的信息处理设备，其中，
所述控制单元在使将所述引导图像移动至所述控制目标设备的所述位置之后执行向所述控制目标设备输出转移呈现的控制，以及
在完成输出所述转移呈现的控制的定时执行将所述操作命令发送至所述控制目标设备的控制。
(9)根据(8)所述的信息处理设备，其中，
所述控制单元在所述引导图像到达所述控制目标设备的位置之后，将所述转移呈现的输出命令发送至所述控制目标设备。
(10)根据(9)所述的信息处理设备，其中，
所述控制单元当接收到在所述控制目标设备中的所述转移呈现的输出完成通知时，执行将所述操作命令发送至所述控制目标设备的控制。
(11)根据(9)或(10)所述的信息处理设备，其中，
所述转移呈现的输出命令是指示由所述控制目标设备进行的预定声音、图像显示、振动或移动的命令。
(12)根据(11)所述的信息处理设备，其中，
所述转移呈现的输出命令是指示在所述控制目标设备的显示单元上显示所述引导图像的命令。
(13)根据(9)至(12)中任一项所述的信息处理设备，其中，
所述控制单元执行向所述控制目标设备发送指令命令的控制，所述指令命令用于指示所述控制目标设备完成之后、在所述转移呈现的输出后经过了预定时间时或者当输出所述转移呈现并且所述用户的视线方向指向所述控制目标设备时，完成所述转移呈现并且运行所述操作命令。
(14)根据(8)所述的信息处理设备，其中，
所述控制单元在所述引导图像到达所述控制目标设备的位置之后，执行将所述引导图像投影至所述控制目标设备上的控制，作为输出所述转移呈现的控制。
(15)根据(14)所述的信息处理设备，其中，
所述控制单元在将所述引导图像投影至所述控制目标设备上之后，在经过了预定时间后或者当所述用户的视线方向指向所述控制目标设备时，执行结束所述引导图像的投影并且将所述操作命令发送至所述控制目标设备的控制。。
(16)根据(1)至(15)中任一项所述的信息处理设备，其中，
所述控制单元基于从所述用户的说话语音获取的指令来生成所述操作命令。
(17)根据(1)至(15)中任一项所述的信息处理设备，其中，
所述控制单元基于所述用户的状况来生成所述操作命令。
(18)一种信息处理方法，包括：
由处理器将用户的视线引导至控制目标设备的位置；以及
由所述处理器根据引导所述视线的定时来控制在所述控制目标设备中运行操作命令的定时。
(19)一种记录介质，记录有程序，所述程序使计算机用作控制单元，所述控制单元执行以下操作：
将用户的视线引导至控制目标设备的位置的处理；以及
根据引导所述视线的定时来控制在所述控制目标设备中运行操作命令的定时的处理。
附图标记列表
10 代理图像
40 平面
42 轨迹
100 信息处理设备
110 I/F单元
120 姿势检测单元
130 用户检测单元
140 环境检测单元
150 设备检测单元
160 存储单元
170 控制单元
171 显示控制单元
173 声音控制单元
200 输出设备
210 投影仪
230 平板电脑
240 智能电话
260 扬声器
270 单向扬声器
300 传感器设备
310 摄像装置
320 深度传感器
330 麦克风

Claims (19)

1.一种信息处理设备，包括：
控制单元，其执行以下处理：
将用户的视线引导至控制目标设备的位置的处理；以及
根据引导所述视线的定时来控制在所述控制目标设备中运行操作命令的定时的处理。
2.根据权利要求1所述的信息处理设备，其中，
所述控制单元在所述视线的引导结束的定时执行将所述操作命令发送至所述控制目标设备的控制。
3.根据权利要求1所述的信息处理设备，其中，
所述控制单元执行将指示命令发送至所述控制目标设备的控制，所述指示命令指示在所述视线的引导结束的定时运行所述操作命令。
4.根据权利要求2所述的信息处理设备，其中，
所述控制单元获取所述控制目标设备在空间中的三维位置信息，以及
通过从投影设备投影引导图像并使所述引导图像移动至所述控制目标设备的位置，来引导所述用户的视线。
5.根据权利要求4所述的信息处理设备，其中，
所述视线的引导结束的定时是所述引导图像到达所述控制目标设备的位置的定时。
6.根据权利要求4所述的信息处理设备，其中，
所述视线的引导结束的定时是所述引导图像到达所述控制目标设备的位置并且所述用户的视线的方向指向所述控制目标设备的定时。
7.根据权利要求4所述的信息处理设备，其中，
所述视线的引导结束的定时是所述引导图像到达所述控制目标设备的位置并且从所述控制目标设备接收到所述操作命令的运行准备完成通知的定时。
8.根据权利要求4所述的信息处理设备，其中，
所述控制单元在使所述引导图像移动至所述控制目标设备的位置之后执行向所述控制目标设备输出转移呈现的控制，以及
在完成输出所述转移呈现的控制的定时执行将所述操作命令发送至所述控制目标设备的控制。
9.根据权利要求8所述的信息处理设备，其中，
所述控制单元在所述引导图像到达所述控制目标设备的位置之后，将所述转移呈现的输出命令发送至所述控制目标设备。
10.根据权利要求9所述的信息处理设备，其中，
所述控制单元当接收到所述控制目标设备中的所述转移呈现的输出完成通知时，执行将所述操作命令发送至所述控制目标设备的控制。
11.根据权利要求9所述的信息处理设备，其中，
所述转移呈现的输出命令是指示由所述控制目标设备进行的预定声音输出、图像显示、振动或移动的命令。
12.根据权利要求11所述的信息处理设备，其中，
所述转移呈现的输出命令是指示在所述控制目标设备的显示单元上显示所述引导图像的命令。
13.根据权利要求9所述的信息处理设备，其中，
所述控制单元执行向所述控制目标设备发送指示命令的控制，所述指示命令用于指示所述控制目标设备在所述转移呈现的输出完成之后、在所述转移呈现的输出后经过了预定时间时或者当输出所述转移呈现并且所述用户的视线方向指向所述控制目标设备时，完成所述转移呈现并且运行所述操作命令。
14.根据权利要求8所述的信息处理设备，其中，
所述控制单元在所述引导图像到达所述控制目标设备的位置之后，执行将所述引导图像投影至所述控制目标设备上的控制，作为输出所述转移呈现的控制。
15.根据权利要求14所述的信息处理设备，其中，
所述控制单元在将所述引导图像投影至所述控制目标设备上之后，在经过了预定时间后或者当所述用户的视线方向指向所述控制目标设备时，执行结束所述引导图像的投影并且将所述操作命令发送至所述控制目标设备的控制。
16.根据权利要求1所述的信息处理设备，其中，
所述控制单元基于从用户的说话语音获取的指示来生成所述操作命令。
17.根据权利要求1所述的信息处理设备，其中，
所述控制单元基于所述用户的状况来生成所述操作命令。
18.一种信息处理方法，包括：
由处理器将用户的视线引导至控制目标设备的位置；以及
由所述处理器根据引导所述视线的定时来控制在所述控制目标设备中运行操作命令的定时。
19.一种记录介质，记录有程序，所述程序使计算机用作控制单元，所述控制单元执行以下处理：
将用户的视线引导至控制目标设备的位置的处理；以及
根据引导所述视线的定时来控制在所述控制目标设备中运行操作命令的定时的处理。
CN201880080597.1A 2017-12-21 2018-09-26 信息处理设备、信息处理方法以及记录介质 Withdrawn CN111492339A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-245033 2017-12-21
JP2017245033A JP2019113928A (ja) 2017-12-21 2017-12-21 情報処理装置、情報処理方法、および記録媒体
PCT/JP2018/035729 WO2019123754A1 (ja) 2017-12-21 2018-09-26 情報処理装置、情報処理方法、および記録媒体

Publications (1)

Publication Number Publication Date
CN111492339A true CN111492339A (zh) 2020-08-04

Family

ID=66994593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880080597.1A Withdrawn CN111492339A (zh) 2017-12-21 2018-09-26 信息处理设备、信息处理方法以及记录介质

Country Status (6)

Country Link
US (1) US11449451B2 (zh)
EP (1) EP3731076A4 (zh)
JP (1) JP2019113928A (zh)
KR (1) KR20200101912A (zh)
CN (1) CN111492339A (zh)
WO (1) WO2019123754A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244372B2 (en) * 2019-02-27 2022-02-08 International Business Machines Corporation Remote determination of a suitable item

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10253510A1 (de) * 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
US8645985B2 (en) * 2005-09-15 2014-02-04 Sony Computer Entertainment Inc. System and method for detecting user attention
JP4829696B2 (ja) * 2006-06-19 2011-12-07 日本電信電話株式会社 会話支援システム
WO2008085206A2 (en) * 2006-12-29 2008-07-17 Prodea Systems, Inc. Subscription management of applications and services provided through user premises gateway devices
US9003326B2 (en) * 2008-09-23 2015-04-07 Apple Inc. Indicating input focus by showing focus transitions
JPWO2010044204A1 (ja) 2008-10-15 2012-03-08 パナソニック株式会社 光投射装置
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US10394320B2 (en) * 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
JP5702411B2 (ja) * 2013-01-21 2015-04-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
KR20150039355A (ko) * 2013-10-02 2015-04-10 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6070512B2 (ja) 2013-11-05 2017-02-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9533772B2 (en) * 2014-07-09 2017-01-03 Honeywell International Inc. Visual search assistance for an occupant of a vehicle
JP2016169080A (ja) * 2015-03-12 2016-09-23 パナソニックＩｐマネジメント株式会社 照明機能を有する検索システム

Also Published As

Publication number Publication date
KR20200101912A (ko) 2020-08-28
EP3731076A4 (en) 2021-02-24
JP2019113928A (ja) 2019-07-11
WO2019123754A1 (ja) 2019-06-27
EP3731076A1 (en) 2020-10-28
US11449451B2 (en) 2022-09-20
US20210081343A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
KR102269035B1 (ko) 서버 및 서버의 그룹 액션 제어방법
JP6721713B2 (ja) 動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置
US9983687B1 (en) Gesture-controlled augmented reality experience using a mobile communications device
JP5214968B2 (ja) オブジェクト発見方法及びシステム、装置制御方法及びシステム及びインターフェース、ポインティング装置
WO2018163637A1 (ja) 情報処理装置、情報処理方法及び記録媒体
US11373650B2 (en) Information processing device and information processing method
JP2017529576A (ja) レーダベースのジェスチャ感知およびデータ伝送
JP2015524110A (ja) コンテキスト・ユーザー・インターフェース
US20220057922A1 (en) Systems and interfaces for location-based device control
JP6569726B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20180196503A1 (en) Information processing device, information processing method, and program
US10701661B1 (en) Location determination for device control and configuration
CN115496850A (zh) 家居设备控制方法、智能穿戴设备和可读存储介质
CN111492339A (zh) 信息处理设备、信息处理方法以及记录介质
CN111819841B (zh) 信息处理装置、信息处理方法和存储介质
CN109144598A (zh) 基于手势的电子面罩人机交互方法与系统
RU2673464C1 (ru) Способ распознавания и управления бытовой техникой мобильным телефоном и мобильный телефон для его реализации
US11221684B2 (en) Information processing device, information processing method, and recording medium
WO2019235263A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111208903B (zh) 信息传输方法、穿戴式设备及介质
US20240198226A1 (en) Method and ar glasses for ar glasses interactive display
WO2019082520A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN116048276A (zh) 基于头戴显示设备的虚拟遥控方法及头戴显示设备
CN111167115A (zh) 交互式游戏系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200804

WW01 Invention patent application withdrawn after publication