CN113165177B - 信息处理装置、用于处理信息的方法和程序 - Google Patents

信息处理装置、用于处理信息的方法和程序 Download PDF

Info

Publication number
CN113165177B
CN113165177B CN201980078795.9A CN201980078795A CN113165177B CN 113165177 B CN113165177 B CN 113165177B CN 201980078795 A CN201980078795 A CN 201980078795A CN 113165177 B CN113165177 B CN 113165177B
Authority
CN
China
Prior art keywords
real object
information processing
controller
processing apparatus
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980078795.9A
Other languages
English (en)
Other versions
CN113165177A (zh
Inventor
郭晶晶
渡边明香
横野顺
尾崎夏子
吴嘉宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113165177A publication Critical patent/CN113165177A/zh
Application granted granted Critical
Publication of CN113165177B publication Critical patent/CN113165177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63HTOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00Self-movable toy figures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Toys (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供一种信息处理装置包括:真实性判断单元,该真实性判断单元判断基于感测数据检测的对象是真实对象还是非真实对象;以及控制单元,该控制单元基于通过真实性判断单元做出的判断的结果来执行预定控制。

Description

信息处理装置、用于处理信息的方法和程序
技术领域
本公开涉及一种信息处理装置、用于处理信息的方法和程序。
背景技术
已经描述了一种识别人并与所识别的人交互的机器人设备。例如,下面所述的专利文献1公开了一种引导机器人,该引导机器人从通过立体照相机获得的图像中检测人的存在和位置,并与所检测的人交互。
引用列表
专利文献
专利文献1:日本专利申请公开No.2007-276080
发明内容
本发明要解决的问题
在专利文献1中公开的技术中,通过引导机器人获得的图像中包括的所有人都被假设为真实的人。在这样的前提下,已经存在机器人设备不当地操作的风险。
鉴于上述要点构思了本公开,并且本公开的目的是提供一种信息处理装置、用于处理信息的方法和程序,确定对象的真实性并基于确定的结果执行控制。
问题的解决方案
例如,本公开针对:
一种信息处理装置,包括:
真实性确定器,该真实性确定器确定基于感测数据检测到的对象是真实对象还是非真实对象;并且
控制器,该控制器基于通过真实性确定器做出的确定的结果来执行预定控制。
例如,本公开针对:
一种用于处理信息的方法,该方法包括:
使用真实性确定器确定基于感测数据检测到的对象是真实对象还是非真实对象;并且
使用控制器基于通过真实性确定器做出的确定的结果来执行预定控制。
例如,本公开针对:
一种使计算机执行用于处理信息的方法的程序,包括:
使用真实性确定器确定基于感测数据检测到的对象是真实对象还是非真实对象;并且
使用控制器基于通过真实性确定器做出的确定的结果来执行预定控制。
附图说明
【图1】图1是当解释本公开的背景时要参考的图。
【图2】图2是示出根据实施例的机器人设备的示例性外观的透视图。
【图3】图3是示出根据本实施例的机器人设备的示例性内部配置的框图。
【图4】图4是用于解释被确定为真实对象或非真实对象的对象混合存在的情况的具体示例的图。
【图5】图5是示出与真实对象有关的感测数据和与非真实对象有关的感测数据被存储在数据库中的图。
【图6】图6是用于解释根据本实施例的通过感测状态控制器的示例性传感器控制的图。
【图7】图7是用于解释根据本实施例的通过机器人设备执行的处理的整体流程的流程图。
【图8】图8是用于解释在被确定为真实对象或非真实对象的对象混合存在的情况中通过根据本实施例的动作控制器执行的示例性控制的流程图。
【图9】图9是示出与真实对象有关的感测数据和与非真实对象有关的感测数据被存储在数据库中的图。
【图10】图10是用于解释确定对象的真实性的过程的流程图。
具体实施方式
以下,将参照附图描述本公开的实施例等。注意,将按照以下顺序给出描述。
<背景>
<实施例>
<变型例>
下面要描述的实施例等是本公开的优选具体示例,并且本公开的内容不限于那些实施例等。
<背景>
首先,将描述本公开的背景以便于理解本公开。如图1所示,将考虑一定的空间(客厅AR作为具体示例)。在客厅AR中,三个人,从HU1到HU3,坐在沙发上看电视广播。在本示例中,假定三个人HU1至HU3是父亲、母亲和孩子。在电视设备TV的屏幕上显示新闻播报员HU4,在电视设备TV上再现电视广播的视频。在客厅AR中,存在作为示例性信息处理装置的自推进式机器狗(机器人设备1)。
机器人设备1包括例如照相机,并且检测通过照相机获得的图像中包括的人。在检测到人的情况下,机器人设备1接近这个人并做出诸如举起手、坐在大腿上等吸引人的姿态。这里,在将新闻播报员HU4检测为人的情况下,例如,如在上述专利文献1公开的技术中,当在图像中包括的所有人是真实的前提下执行控制时,机器人设备1接近新闻播报员HU4或伸出手。鉴于上述,通过确定由机器人设备1识别的对象是真实的还是非真实的,并且基于确定的结果执行控制,机器人设备1能够适当地操作。考虑到以上各点,将详细说明本公开的实施例。
注意,尽管在上面的示例中将在电视设备TV(具体地,新闻播报员HU4)上显示的对象描述为示例性非真实对象,但并非所有要在显示屏幕上显示的对象都是非真实对象。例如,可以将显示在显示屏幕上的已经被机器人设备1识别的人(具体地,机器人设备1的所有者)确定为真实对象。
<实施例>
【机器人设备的示例性外观】
如图2所示,将描述自推进式机器狗设备1作为本公开的实施例中的示例性信息处理装置。不用说,本公开还可以应用于其他形状的机器人和各种称为智能音箱的代理设备。
在机器人设备1内部的适当位置,诸如关节处结合有电动机,诸如伺服电动机。电动机操作以适当地驱动机器人设备1的四条腿,并且机器人设备1行走、跑或伸出手。此外,机器人设备1被配置为能够通过诸如电动机操作的驱动机构来执行可选操作(动作),诸如摇动尾巴、伸出舌头以及竖起耳朵。
此外,机器人设备1包括各种传感器。传感器的示例包括麦克风、照相机、飞行时间(ToF)传感器、运动传感器、位置灵敏检测器(PSD)传感器、触摸传感器、照度传感器、脚底按钮(sole button)、惯性传感器、接触表面传感器、红外传感器和超声波传感器。这些传感器设置在机器人设备1的适当点(例如,在图2中用圆圈标记的点)处。
【机器人设备的示例性内部配置】
图3是示出机器人设备1的示例性内部配置的框图。机器人设备1包括信息获取单元10、信息处理器20、动作状态估计器30、动作控制器40和信息存储单元50。
(信息获取单元)
信息获取单元10包括多个传感器和感测状态控制器101,感测状态控制器101用作传感器控制器,该传感器控制器基于确定对象的真实性的确定结果来控制每个传感器的开启/关闭。虽然已经在上面描述了传感器的示例,但是在下面的描述中,图像传感器110、温度/湿度传感器111、触觉传感器112、语音传感器113、嗅觉传感器114和深度传感器115将被描述为传感器的具体示例。
图像传感器包括电荷耦合设备(CCD)、互补金属氧化物半导体(CMOS)等,并且对来自被摄体的光执行光电转换以获得作为感测数据之一的图像数据。温度/湿度传感器111测量机器人设备1周围的温度和湿度。触觉传感器112检测机器人设备1已经与某种对象接触。语音传感器113包括麦克风等,并且检测机器人设备1周围的声音。嗅觉传感器114检测机器人设备1周围的气味。深度传感器115包括ToF传感器、立体照相机等,并且测量到目标对象的距离。
注意,虽然省略说明,但是信息获取单元10可以包括用于从连接到网络的外部设备获取信息的通信单元。通信可以是有线通信,或者可以是无线通信。无线通信的示例包括局域网(LAN)、蓝牙(注册商标)、Wi-Fi(注册商标)和无线通用串行总线(WUSB)。
(信息处理器)
信息处理器20包括用于处理通过信息获取单元10获得的感测数据的配置。具体地,信息处理器20包括处理通过图像传感器110和深度传感器115获得的感测数据的图像信息处理引擎210、处理通过温度/湿度传感器111获得的感测数据的环境感测信息处理引擎211、处理通过触觉传感器112获得的感测数据的触觉信息处理引擎212、处理通过语音传感器113获得的感测数据的语音信息处理引擎213以及处理通过嗅觉传感器114获得的感测数据的嗅觉信息处理引擎214。
这里,图像信息处理引擎210对图像数据执行公开已知的图像处理,并且还用作对象检测器,该对象检测器检测包括在作为感测数据之一的图像数据中的对象。该对象是位于空间中的预定对象(包括显示在显示屏幕上的对象和镜子或窗口中的对象),并且在本实施例中将以人为示例进行描述。
信息处理器20还包括真实性确定器201。真实性确定器201确定通过图像信息处理引擎210检测到的对象是真实对象还是非真实对象。在图像信息处理引擎210检测到多个对象的情况下,真实性确定器201,针对每个单独的对象确定该对象是真实对象还是非真实对象。注意,在本说明书中,确定对象是真实对象还是非真实对象被适当地称为确定真实性。
在本实施例中,真实对象指示能够与机器人设备1交互的对象,并且非真实对象指示不能与机器人设备1交互的对象。基于上述观点,例如,与机器人设备1在相同的空间中存在的人被确定为真实对象,因为机器人设备1可以与人交互,诸如伸出手。此外,即使机器人设备1采取动作,诸如向人伸出手,电视广播中包括的人或镜子中的人也不响应,换言之,此人不能交互,从而被确定为非真实对象。
注意,真实对象和非真实对象的定义可以根据机器人设备1的使用、操作环境等而改变。例如,在不考虑机器人设备1的远程控制的情况下,可以将存在于与机器人设备1相同的空间中的三维对象确定为真实对象,并且可以将其他对象确定为非真实对象。基于上述观点,例如,将存在于与机器人设备1相同的空间中的玻璃确定为真实对象,并且将存在于书中的玻璃确定为非真实对象,即使该玻璃存在于相同的空间中。此外,将阳台上的人确定为非真实对象,因为机器人设备1通过窗户玻璃看到此人,并且将已经进入房间的人确定为真实对象。
此外,可以将可通过特定传感器感测的对象确定为真实对象,并且可以将仅可通过某些传感器感测的对象确定为非真实对象。基于上述观点,例如,与机器人设备1在相同的空间中的真实世界中的人可以被所有传感器,诸如图像传感器110感测,从而被确定为真实对象。此外,在电视广播中的人可以仅通过图像传感器110和语音传感器113感测,换句话说,可以仅通过一些传感器感测,从而被确定为非真实的对象。
信息处理器20还包括学习单元202。学习单元202基于感测数据(例如,图像数据)执行学习。机器学习的问题设置的示例包括监督学习、无监督学习、半监督学习、强化学习、逆强化学习、主动学习和转移学习。学习单元202基于那些公开已知的学习方法执行学习。学习的结果反映在,例如,通过真实性确定器201执行的真实性确定处理中。
(动作状态估计器)
动作状态估计器30实时地识别机器人设备1的自身的动作状态,并且例如确定通过动作控制器40设置的一系列动作是否已经完成。动作状态估计器30例如基于设置在关节等处的电动机等的操作历史来实时地识别自身的动作状态。在动作状态估计器30确定动作已经完成的情况下,真实性确定器201再次执行包括在接下来要输入的图像数据中的对象的真实性。在动作状态估计器30确定动作尚未完成的情况下,通过动作控制器40的动作控制等继续,同时保持最新的真实性确定结果。
(动作控制器)
动作控制器40基于真实性确定器201的确定结果来确定机器人设备1相对于所检测的对象的动作。动作控制器40包括例如中央处理单元(CPU)等。动作控制器40以使机器人设备1执行所确定的动作的方式来操作驱动机构,诸如电动机和机器人设备1的致动器。例如,在确定对象是真实对象的情况下,机器人设备1可以与对象交互,由此动作控制器40执行控制以使机器人设备1对对象执行某种动作(例如,伸出手或摇动尾巴的操作)。另一方面,在确定对象是非真实对象的情况下,机器人设备1不能与该对象交互,由此动作控制器40执行控制以使机器人设备1对该对象不产生反应。
如上所述,在本实施例中,感测状态控制器101或动作控制器40中的至少一个对应于控制器,该控制器基于真实性确定器201的确定结果执行预定控制。
(信息存储单元)
信息存储单元50是累积(存储)各种信息的数据库(DB)。信息存储单元50的示例包括诸如硬盘驱动器(HDD)的磁存储设备、半导体存储设备、光存储设备和磁光存储设备。信息存储单元50可以包括便携式存储器,该便携式存储器可以附接到机器人设备1并且从机器人设备1拆下。在本实施例中的信息存储单元50包括真实对象数据库501和非真实对象数据库502,真实对象数据库501在确定对象为真实对象的情况下累积与该对象相关联的信息,非真实对象数据库502在确定对象为非真实对象的情况下累积与该对象相关联的信息。
【通过动作控制器进行的示例性动作控制】
接下来,将描述动作控制器40的示例性动作控制。作为通过真实性确定器201做出的确定的结果,在图像数据中包括的人中的至少一个人被确定为真实对象的情况下,动作控制器40以机器人设备1在预定模式(以下称为主动模式)中动作的方式执行控制。此外,作为通过真实性确定器201做出的确定的结果,在图像数据中包括的所有人被确定为非真实对象的情况下,动作控制器40以机器人设备1在另一模式(以下称为被动模式)中动作的方式执行控制。
(基于主动模式的机器人设备的示例性动作)
作为基于主动模式的机器人设备1的示例性动作,由于要识别的对象是真实对象,因此假定机器人设备1的主动动作。具体而言,可以考虑以下示例性动作。
【第一示例性动作】
机器人设备1自发地与被确定为真实对象的人讲话。当讲话时,机器人设备1将它的脸转向此人,并且尝试与此人通信。
【第二示例性动作】
机器人设备1执行吸引被确定为真实对象的人的注意的动作(以引起对机器人设备1的注意)。例如,机器人设备1呼喊“bowwow”。
【第三示例性动作】
机器人设备1与被确定为真实对象的人做出物理接触。具体地,机器人设备1执行坐在人附近或人的大腿上的陪伴动作。此外,它还做出击掌、握手、紧握、触摸、咀嚼、舔等动作。
【第四示例性动作】
在被确定为真实对象的人中出现异常的情况下,机器人设备1操作以将该事实通知给另一人。例如,机器人设备1发出警报,或将异常出现发送到网络上的安全系统。注意,在人被确定为非真实对象的情况下(例如,此人是戏剧中的角色,其中此人在电视设备上显示),即使这个人出现异常,机器人设备1不操作以做出异常通知等。
【第五示例性动作】
机器人设备1操作以与被确定为真实对象的人玩耍。例如,机器人设备1咬住通过被确定为真实对象的人抛出的球并将其带回。
【第六示例性动作】
机器人设备1可以被设计成以人作为观众或旁观者。在这种情况下,机器人设备1对被确定为真实对象的人做出动作、表演等运动。作为具体示例,机器人设备1对被确定为真实对象的人做出随着曲调跳舞的运动。
注意,在通过图像传感器110获得的图像数据包括多个人的情况下,多个人中的一些人可以被确定为真实对象,而其他人可以被确定为非真实对象。作为具体示例,如图4示意性地示出,将考虑图像数据IM1示出实际的人HU10和在紧靠此人的照片P1中的人(人HU11至HU13)的情况。根据通过真实性确定器201执行的确定真实性的处理,人HU10被确定为真实对象,并且照片中的人HU11至HU13被确定为非真实对象。
以这种方式,例如,在被确定为真实对象或非真实对象的对象混合存在的情况下,动作控制器40确定表示对非真实对象感兴趣的动作。更具体地,动作控制器40通过交互获得与非真实对象相关联的信息,并确定学习的动作。
作为动作的具体示例,机器人设备1将它的脸转向非真实对象(照片的方向),并且眨眼。此外,机器人设备1接近非真实对象,转动其尾部或头部,对非真实对象吠叫,并通过交互获得与非真实对象相关联的信息。此外,在向机器人设备1提供指示机器人设备1感兴趣的灯的情况下,此灯被打开、闪烁等。
注意,如图5所示,在真实对象数据库501中累积与作为真实对象的人HU10有关的感测数据,在非真实对象数据库502中累积与作为非真实对象的人HU11至HU13有关的感测数据。
(基于被动模式的机器人设备的示例性动作)
作为基于被动模式的机器人设备1的示例性动作,由于所有所识别的对象都是非真实对象,所以机器人设备1基本上不产生反应。然而,基于被动模式的动作并不局限于无反应。例如,即使在机器人设备1识别出此人是非真实对象的情况下,它也有意接近此人并采取某种动作。由于人是非真实对象(例如,在电视广播中出现的新闻播报员或演员),非真实对象不对机器人设备1的动作做出反应。此时,机器人设备1做出了倾斜其头部的动作。通过对非真实对象的这种动作,可以增强机器人设备1的可爱性。
如上所述,动作控制器40基于对象的真实性的确定结果来确定动作。
【通过感测状态控制器进行的示例性传感器控制】
接下来,将描述通过感测状态控制器101进行的示例性传感器控制。感测状态控制器101根据通过真实性确定器201做出的确定的结果来控制每个传感器的开启/关闭。
图6是用于解释通过感测状态控制器101进行的示例性传感器控制的图。图像信息处理引擎210检测人作为示例性对象。然后,真实性确定器201确定对象的真实性。作为确定的结果,在对象是真实对象的情况下(在多个对象中的至少一个是真实对象的情况下),感测状态控制器101基于启用多感测的感测模式来控制每个传感器。此外,作为确定的结果,在所有对象都是非真实对象的情况下(在不包括真实对象的情况下),感测状态控制器101禁用多感测,并且基于省电模式控制每个传感器。
在所检测的对象包括真实对象的情况下,机器人设备1基于如上所述的主动模式做出主动运动。此外,即使在多个对象中包括非真实对象的情况下,需要通过图像识别或交互来获得与非真实对象相关联的信息。鉴于上述,在感测模式中,感测状态控制器101执行例如开启所有传感器的传感器控制(参见图6)。
注意,基于感测模式操作的每个传感器获得与真实对象有关的感测数据。在某些情况下,它还获得与非真实对象有关的感测数据。与真实对象有关的感测数据存储在真实对象数据库501中,与非真实对象有关的感测数据存储在非真实对象数据库502中。
在所检测的对象不包括真实对象的情况下,机器人设备1不会积极地做出主动运动。鉴于上述,在省电模式下,感测状态控制器101执行例如开启最小必需传感器的传感器控制。最小必需传感器指示例如用于检测随后要输入的对象的传感器,并且其具体示例包括至少包括图像传感器110的传感器。在本实施例中,在省电模式下,开启图像传感器110、语音传感器113和深度传感器115(参见图6)。根据这种传感器控制,能够降低机器人设备1中的功耗。注意,与非真实对象有关的感测数据存储在非真实对象数据库502中。
注意,如上所述,即使在所检测的对象是非真实对象的情况下,机器人设备1可以有意地做出例如接近非真实对象的动作。因此,感测状态控制器101可以在这种操作期间基于感测模式来控制每个传感器。
下面列出的表1总结了通过上述动作控制器40进行的控制和通过感测状态控制器101进行的传感器控制的示例。
【表1】
【处理流程】
(整体处理流程)
接下来,将描述通过根据本实施例的机器人设备1执行的主要处理流程。首先,参照图7的流程图,将描述通过根据本实施例的机器人设备1的整体处理流程。
当处理开始时,在步骤ST11中,信息获取单元10的每个传感器操作以获得感测数据。例如,图像传感器110获得作为感测数据之一的图像数据。然后,处理进行到步骤ST12。
在步骤ST12中,信息处理器20操作以处理每个感测数据。例如,通过图像传感器110获得的图像数据被提供给图像信息处理引擎210。图像信息处理引擎210检测图像数据是否包括人作为示例性对象。然后,处理进行到步骤ST13。
在步骤ST13中,确定是否检测到人。作为确定处理的结果,在图像数据中没有检测到人的情况下,处理返回到步骤ST12。在图像数据中检测到人的情况下,处理进行到步骤ST14。
在步骤ST14中,真实性确定器201确定对象的真实性。然后,处理进行到步骤ST15。
在步骤ST15中,例如,作为通过真实性确定器201的确定处理的结果,真实性确定器201确定是否包括真实对象。真实性确定器201将确定结果输出到动作控制器40和感测状态控制器101。作为步骤ST15中的确定处理的结果,在包括真实对象的情况下,处理进行到步骤ST16。
在步骤ST16中,执行与真实对象相对应的动作控制和传感器控制。动作控制是例如基于主动模式的动作控制。传感器控制是例如基于感测模式的传感器控制。基于主动模式的动作控制和基于感测模式的传感器控制的具体示例如上所述。当步骤ST16的处理完成时,处理进行到步骤ST18。
作为步骤ST15中的确定处理的结果,在不包括真实对象的情况下,处理进行到步骤ST17。在步骤ST17中,执行与非真实对象相对应的动作控制和传感器控制。动作控制是例如基于被动模式的动作控制。传感器控制是例如基于省电模式的传感器控制。基于被动模式的动作控制和基于省电模式的传感器控制的具体示例如上所述。当步骤ST17的处理完成时,处理进行到步骤ST18。
在步骤ST18中,动作状态估计器30执行动作状态估计处理。然后,处理进行到步骤ST19。
在步骤ST19中,作为动作状态估计处理的结果,确定基于通过动作控制器40进行的动作控制的一系列动作是否完成。在确定该系列动作完成的情况下,处理被终止,并且对此后获得的感测数据执行类似的处理。
作为步骤ST19的确定处理的结果,在确定该系列动作未完成的情况下,处理返回到步骤ST15。注意,在这种情况下,在整个系统中共享和保留真实性确定的先前的确定结果,并且执行使用保留真实性确定结果的动作控制和传感器控制。
注意,在步骤ST15的确定处理中,确定为真实对象的对象和确定为非真实对象的对象可以混合存在于图像数据中。在这种情况下,例如,执行图8的流程图所示的处理。
在图8的步骤ST21中,作为对对象做出的真实性确定的结果,确定真实对象和非真实对象混合存在(存在)于图像数据中。确定结果被提供给动作控制器40。然后,处理进行到步骤ST22。
例如,在步骤ST22中,动作控制器40开启交互模式,并基于该交互模式控制机器人设备1做出运动。交互模式是机器人设备1与真实对象交互以获得与非真实对象相关联的信息的模式。然后,处理进行到步骤ST23。
在步骤ST23中,动作控制器40基于交互模式执行动作控制,并且机器人设备1基于该动作控制进行操作。动作的具体示例除了上述显示对非真实对象感兴趣的动作之外,还可以包括用于获得与非真实对象相关联的信息的话语。以下是被确定为真实对象的人(例如,图4中的人HU10)与机器人设备1之间执行的交互的示例。
机器人设备1:“图片中的人是谁?”
人HU10:“哪个人?”
机器人设备1:“(朝着人HU11的方向看)我现在正在看的人。”
人HU10:“(从机器人设备1的视线看)哦,那张照片,那是我的朋友。”
机器人设备1:“这个人叫什么名字?”
人HU10:“是Nana。”
通过这种交互,机器人设备1获得与非真实对象相关联的信息。如图9所示,将通过传感器和交互获得的非真实对象存储在非真实对象数据库502中。作为具体示例,通过图像传感器110获得的人HU11的图像与通过交互获得的人HU11的名字相关联,并且存储在非真实对象数据库502中。此外,由于还针对作为真实对象的人HU10获得每个传感器的感测数据,因此所获得的感测数据被存储在真实对象数据库501中。
注意,如图9所示,真实对象数据库501中存储的特征量和非真实对象数据库502中存储的特征量可以被集成。例如,人HU11是人HU10的朋友并且名字是Nana的信息与人HU10的特征量相关联。存储在非真实对象数据库502中的特征量(例如,图像信息)可以是画在海报上的人(人HU10是其爱好者)等。在这种情况下,此人(人HU10是其爱好者)的信息(面部图像的特征、性别、年龄等)与人HU10的特征量相关联。此外,机器人设备1的学习单元202学习在非真实对象数据库502中累积的特征量,由此,机器人设备1可以学习例如人HU10的偏好等。
(真实性确定处理流程)
接下来,将参考图10所示的流程图来描述确定对象的真实性的处理流程。注意,下面要描述的处理是通过例如图像信息处理引擎210和真实性确定器201执行。
在步骤ST31中,深度传感器115获得深度图像。此外,与步骤ST31的处理并行,图像传感器110在步骤ST32中获得红/绿/蓝(RGB)图像。然后,处理进行到步骤ST33。
在步骤ST33中,执行用于对齐深度图像和RGB图像的相应像素校准处理。然后,处理进行到步骤ST34。在步骤ST34中,通过步骤ST33的相应像素校准处理生成包括RGB信息和深度信息的RGBD图像。
同时,在步骤ST35的处理中,执行基于在步骤ST32中获得的RGB图像来检测人的人物检测处理。然后,处理进行到步骤ST36。在步骤ST36中,基于人物检测处理的结果和RGBD图像来获得人物区域的深度值。然后,处理进行到步骤ST37。
在步骤ST37中,通过平面拟合处理来确定人是否拟合在预定平面上。在确定处理的结果是肯定确定的情况下,此人很可能是显示在电视设备的屏幕上,即平面上的人。因此,在步骤ST37的结果是肯定确定的情况下,处理进行到步骤ST40,并且将包括在图像数据中的人确定为非真实对象。
在步骤ST37中的确定处理的结果为否定确定的情况下,处理进行到步骤ST38。在步骤ST38中,通过曲面拟合处理来确定人是否拟合在预定曲面上。近年来,曲面显示器也变得普遍。鉴于上述,通过执行步骤ST38的处理,可以抑制在曲面显示器上显示的人被确定为真实对象的情况。在步骤ST38的结果是肯定确定的情况下,确定图像数据中包括的人是在曲面显示器等上显示的人,并且处理进行到步骤ST40。然后,确定包括在图像数据中的人是非真实对象。
在步骤ST38的结果为否定确定的情况下,处理进行到步骤ST39,并且将包括在图像数据中的人确定为真实对象。
注意,上面描述的处理是确定对象的真实性的处理的示例,并且可以通过另一处理确定对象的真实性。例如,偏振滤波器设置在图像传感器110的前面。基于通过偏振滤波器获得的图像获得镜面区域。镜面区域是由于镜面反射而使偏振度(布鲁斯特角或偏振角)接近于1的区域。将所获得的镜像区域映射到RGB图像。存在于镜子区域中的人通过诸如镜子、液晶屏幕或窗户的玻璃被抓取为人,并且此人可以被确定为非真实的对象,由于不可能与此人交互或难以与此人交互。此外,可以在信息存储单元50中累积与人(例如,机器人设备1的所有者(保存者))相关联的信息,并且只要此人与在信息存储单元50中累积的人信息相匹配,即使此人拟合在平面或曲面上,也可以将其确定为真实对象。这使得能够抑制在远程位置处执行人与机器人设备1之间的交互时,屏幕上显示的人被确定为非真实对象的情况。这些确定的方法可以被组合以确定对象的真实性。
<变型例>
虽然上面已经具体描述了本公开的多个实施例,但是本公开的内容不限于上面描述的实施例,并且基于本公开的技术思想可以进行各种修改。以下,将描述变型例。
虽然在上述实施例中已经将对象描述为人,但其可以是人以外的动物。例如,它可以是猫。在猫是真实对象的情况下,基于多个传感器获得诸如外观、温度和湿度、柔软度、声音和气味的感测数据,并且将所获得的感测数据保存在真实对象数据库501中。在猫是非真实对象的情况下,例如,只有通过图像传感器110获得的视觉信息被保存在非真实对象数据库502中。可以集成保存在真实对象数据库501和非真实对象数据库502中的特征量,使得学习单元202学习对象(猫)。注意,对象可以是生物以外的东西。
机器人设备1可以包括除上述传感器以外的传感器。例如,机器人设备1可以包括用于获取人的生物信息(体温、脉搏等)的传感器。例如,机器人设备1以适当的力度咬人的指尖,以从指尖获得诸如体温和心跳的生物信息。机器人设备1可以基于所获得的生物信息来监视人的健康状况等。机器人设备1的这种操作是对被确定为真实对象的人执行的。
本公开还可以通过设备、方法、程序、系统等来实现。例如,使实现上述实施例中描述的功能的程序可下载,并且不具有实施例中描述的功能的设备下载并安装该程序,由此可以在该设备中执行实施例中描述的控制。本公开也可以通过分发这种程序的服务器来实现。此外,在各个实施例和变型例中描述的项目可以被适当地组合。
注意,本公开的内容不被解释为受限于在本公开中示例的效果。
本公开还可以采用以下配置。
(1)
一种信息处理装置,包括:
真实性确定器,该真实性确定器确定基于感测数据检测到的对象是真实对象还是非真实对象;以及
控制器,该控制器基于通过真实性确定器做出的确定的结果来执行预定控制。
(2)
根据(1)所述的信息处理装置,其中
控制器是动作控制器,该动作控制器基于确定结果来确定针对对象的动作。
(3)
根据(2)所述的信息处理装置,其中
动作控制器在对象是真实对象的情况下确定对对象做出反应的动作,并且在对象是非真实对象的情况下确定对对象不做出反应的动作。
(4)
根据(2)或(3)所述的信息处理装置,其中
在真实对象和非真实对象混合存在于感测数据中的情况下,动作控制器确定用于获得与非真实对象相关联的信息的动作。
(5)
根据(1)至(4)中任一项所述的信息处理装置,还包括:
多个传感器,其中
控制器是传感器控制器,该传感器控制器基于确定结果来控制多个传感器中的每一个的开启/关闭。
(6)
根据(5)所述的信息处理装置,其中
传感器控制器在对象是真实对象的情况下执行开启所有传感器的控制,并且在对象是非真实对象的情况下执行仅开启多个传感器中的一部分传感器的控制。
(7)
根据(6)所述的信息处理装置,还包括:
获得感测数据的预定传感器,其中
传感器控制器在对象是非真实对象的情况下执行开启至少预定传感器的控制。
(8)
根据(1)至(7)中任一项所述的信息处理装置,其中
真实对象是能够与信息处理装置交互的对象,而非真实对象是不能与信息处理装置交互的对象。
(9)
根据(1)至(8)中任一项所述的信息处理装置,还包括:
对象检测器,该对象检测器基于感测数据检测对象。
(10)
根据(1)至(9)中任一项所述的信息处理装置,还包括:
学习单元,该学习单元基于感测数据执行与对象有关的学习。
(11)
根据(1)至(10)中任一项所述的信息处理装置,其中
对象是人。
(12)
根据(1)至(11)中任一项所述的信息处理装置,其中
感测数据是图像数据。
(13)
根据(1)至(12)中任一项所述的信息处理装置,其中
信息处理装置被配置为自推进式机器人。
(14)
一种用于处理信息的方法,该方法包括:
使用真实性确定器确定基于感测数据检测到的对象是真实对象还是非真实对象;以及
使用控制器基于通过真实性确定器做出的确定的结果来执行预定控制。
(15)
一种使计算机执行用于处理信息的方法的程序,包括:
使用真实性确定器确定基于感测数据检测到的对象是真实对象还是非真实对象;以及
使用控制器基于通过真实性确定器做出的确定的结果来执行预定控制。
参考标志列表
1 机器人设备
10 信息获取单元
20 信息处理器
40 动作控制器
101 感测状态控制器
110 图像传感器
201 真实性确定器
202 学习单元
210 图像信息处理引擎

Claims (15)

1.一种信息处理装置,包括:
真实性确定器,所述真实性确定器确定基于感测数据检测到的对象是真实对象还是非真实对象;以及
控制器,所述控制器基于通过所述真实性确定器做出的确定的结果来执行预定控制,并且
所述控制器包括动作控制器,并且
在真实对象和非真实对象混合存在于所述感测数据中的情况下,所述动作控制器控制与真实对象的交互,以获取与所述非真实对象相关联的信息。
2.根据权利要求1所述的信息处理装置,其中
所述动作控制器基于所述确定的结果来确定针对所述对象的动作。
3.根据权利要求2所述的信息处理装置,其中
所述动作控制器在所述对象是真实对象的情况下确定对所述对象做出反应的动作,并且在所述对象是非真实对象的情况下确定对所述对象不做出反应的动作。
4.根据权利要求2所述的信息处理装置,其中
在真实对象和非真实对象混合存在于所述感测数据中的情况下,所述动作控制器确定用于获得与所述非真实对象相关联的信息的动作。
5.根据权利要求1所述的信息处理装置,还包括:
多个传感器,其中
所述控制器包括传感器控制器,所述传感器控制器基于所述确定的结果控制所述多个传感器中的每一个的开启/关闭。
6.根据权利要求5所述的信息处理装置,其中
所述传感器控制器在所述对象是真实对象的情况下执行开启所有传感器的控制,并且在所述对象是非真实对象的情况下执行仅开启所述多个传感器中的一部分传感器的控制。
7.根据权利要求6所述的信息处理装置,还包括:
预定传感器,所述预定传感器获得所述感测数据,其中
所述传感器控制器在所述对象是非真实对象的情况下执行开启至少所述预定传感器的控制。
8.根据权利要求1所述的信息处理装置,其中
所述真实对象包括能够与所述信息处理装置交互的对象,而所述非真实对象包括不能与所述信息处理装置交互的对象。
9.根据权利要求1所述的信息处理装置,还包括:
对象检测器,所述对象检测器基于所述感测数据检测所述对象。
10.根据权利要求1所述的信息处理装置,还包括:
学习单元,所述学习单元基于所述感测数据执行与所述对象有关的学习。
11.根据权利要求1所述的信息处理装置,其中
所述对象包括人。
12.根据权利要求1所述的信息处理装置,其中
所述感测数据包括图像数据。
13.根据权利要求1所述的信息处理装置,其中
所述信息处理装置被配置为自推进式机器人。
14.一种用于处理信息的方法,所述方法包括:
使用真实性确定器确定基于感测数据检测到的对象是真实对象还是非真实对象;以及
使用控制器基于通过所述真实性确定器做出的确定的结果来执行预定控制,并且
所述控制器包括动作控制器,并且
在真实对象和非真实对象混合存在于所述感测数据中的情况下,所述动作控制器控制与真实对象的交互,以获取与所述非真实对象相关联的信息。
15.一种存储介质,所述存储介质包含程序,当所述程序被包括所述存储介质的计算机执行时,使所述计算机执行用于处理信息的方法,所述方法包括:
使用真实性确定器确定基于感测数据检测到的对象是真实对象还是非真实对象;以及
使用控制器基于通过所述真实性确定器做出的确定的结果来执行预定控制,并且
所述控制器包括动作控制器,并且
在真实对象和非真实对象混合存在于所述感测数据中的情况下,所述动作控制器控制与真实对象的交互,以获取与所述非真实对象相关联的信息。
CN201980078795.9A 2018-12-06 2019-09-04 信息处理装置、用于处理信息的方法和程序 Active CN113165177B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018228928A JP2020089947A (ja) 2018-12-06 2018-12-06 情報処理装置、情報処理方法及びプログラム
JP2018-228928 2018-12-06
PCT/JP2019/034802 WO2020115972A1 (ja) 2018-12-06 2019-09-04 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN113165177A CN113165177A (zh) 2021-07-23
CN113165177B true CN113165177B (zh) 2024-02-09

Family

ID=70973590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980078795.9A Active CN113165177B (zh) 2018-12-06 2019-09-04 信息处理装置、用于处理信息的方法和程序

Country Status (4)

Country Link
US (1) US11780097B2 (zh)
JP (1) JP2020089947A (zh)
CN (1) CN113165177B (zh)
WO (1) WO2020115972A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7425681B2 (ja) 2020-06-24 2024-01-31 本田技研工業株式会社 社会的能力生成装置、社会的能力生成方法、およびコミュニケーションロボット
US20230173683A1 (en) * 2020-06-24 2023-06-08 Honda Motor Co., Ltd. Behavior control device, behavior control method, and program
JP7425690B2 (ja) 2020-07-16 2024-01-31 本田技研工業株式会社 ロボット動作生成装置、ロボット動作生成方法、およびプログラム
WO2022201803A1 (ja) * 2021-03-25 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250233A (ja) * 2004-03-05 2005-09-15 Sanyo Electric Co Ltd ロボット装置
CN101452529A (zh) * 2007-12-07 2009-06-10 索尼株式会社 信息处理设备和信息处理方法与计算机程序
CN102750079A (zh) * 2011-03-31 2012-10-24 索尼公司 终端设备、对象控制方法以及程序
CN105957521A (zh) * 2016-02-29 2016-09-21 青岛克路德机器人有限公司 一种用于机器人的语音和图像复合交互执行方法及系统
CN108665891A (zh) * 2017-03-28 2018-10-16 卡西欧计算机株式会社 声音检测装置、声音检测方法以及记录介质
CN108908377A (zh) * 2018-07-06 2018-11-30 达闼科技(北京)有限公司 说话人识别方法、装置和机器人

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7570781B2 (en) * 1999-05-19 2009-08-04 Digimarc Corporation Embedded data in gaming objects for authentication and association of behavior information
EP1643769B1 (en) 2004-09-30 2009-12-23 Samsung Electronics Co., Ltd. Apparatus and method performing audio-video sensor fusion for object localization, tracking and separation
KR100754385B1 (ko) * 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
JP4353162B2 (ja) * 2005-09-26 2009-10-28 トヨタ自動車株式会社 車輌周囲情報表示装置
JP2007155985A (ja) 2005-12-02 2007-06-21 Mitsubishi Heavy Ind Ltd ロボットおよび音声認識装置ならびにその方法
JP4539600B2 (ja) 2006-04-11 2010-09-08 トヨタ自動車株式会社 案内ロボット
JP5098973B2 (ja) * 2008-11-27 2012-12-12 富士通株式会社 生体認証装置、生体認証方法及び生体認証プログラム
US20150310497A1 (en) * 2009-12-17 2015-10-29 David Valin Method and process for registration, creation and management of micro shares of real or intangible properties and advertisements in a network system
WO2013026048A2 (en) * 2011-08-18 2013-02-21 Utherverse Digital, Inc. Systems and methods of virtual world interaction
JP5920352B2 (ja) * 2011-08-24 2016-05-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2013061552A (ja) * 2011-09-14 2013-04-04 Ricoh Co Ltd プロジェクタ装置および操作検出方法
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US10402661B2 (en) * 2013-07-22 2019-09-03 Opengate Development, Llc Shape/object recognition using still/scan/moving image optical digital media processing
US10627904B2 (en) * 2014-02-07 2020-04-21 Ultrahaptics IP Two Limited Systems and methods of determining interaction intent in three-dimensional (3D) sensory space
KR102560710B1 (ko) * 2016-08-24 2023-07-27 삼성전자주식회사 광학적 스펙클을 이용하는 장치 및 방법
US10679083B2 (en) * 2017-03-27 2020-06-09 Samsung Electronics Co., Ltd. Liveness test method and apparatus
US10262243B2 (en) * 2017-05-24 2019-04-16 General Electric Company Neural network point cloud generation system
WO2019122271A1 (en) * 2017-12-20 2019-06-27 Alpvision S.A. Authentication machine learning from multiple digital representations
US11550031B2 (en) * 2019-03-18 2023-01-10 Samsung Electronics Co., Ltd. Method and apparatus for biometric authentication using face radar signal
JP2022551734A (ja) * 2019-10-15 2022-12-13 マジック リープ, インコーポレイテッド 複数のデバイスタイプをサポートするクロスリアリティシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250233A (ja) * 2004-03-05 2005-09-15 Sanyo Electric Co Ltd ロボット装置
CN101452529A (zh) * 2007-12-07 2009-06-10 索尼株式会社 信息处理设备和信息处理方法与计算机程序
CN102750079A (zh) * 2011-03-31 2012-10-24 索尼公司 终端设备、对象控制方法以及程序
CN105957521A (zh) * 2016-02-29 2016-09-21 青岛克路德机器人有限公司 一种用于机器人的语音和图像复合交互执行方法及系统
CN108665891A (zh) * 2017-03-28 2018-10-16 卡西欧计算机株式会社 声音检测装置、声音检测方法以及记录介质
CN108908377A (zh) * 2018-07-06 2018-11-30 达闼科技(北京)有限公司 说话人识别方法、装置和机器人

Also Published As

Publication number Publication date
US11780097B2 (en) 2023-10-10
US20220016783A1 (en) 2022-01-20
JP2020089947A (ja) 2020-06-11
WO2020115972A1 (ja) 2020-06-11
CN113165177A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN113165177B (zh) 信息处理装置、用于处理信息的方法和程序
US20230305530A1 (en) Information processing apparatus, information processing method and program
US11000952B2 (en) More endearing robot, method of controlling the same, and non-transitory recording medium
WO2015115203A1 (ja) 撮影装置、撮影方法、及び、プログラム
CN111163906B (zh) 能够移动的电子设备及其操作方法
CN114391163A (zh) 手势检测系统和方法
JP7128842B2 (ja) エンターテインメントシステム、ロボット装置およびサーバ装置
JP7298860B2 (ja) 仮想キャラクタを想定する自律行動型ロボット
US20230266767A1 (en) Information processing apparatus, information processing method, and program
JP7375770B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018108176A1 (zh) 机器人视频通话控制方法、装置及终端
JP2009045692A (ja) コミュニケーションロボットとその動作方法
US20200269421A1 (en) Information processing device, information processing method, and program
US11169599B2 (en) Information processing apparatus, information processing method, and program
JP7102169B2 (ja) 装置、ロボット、方法、及びプログラム
JP2024055866A (ja) 内部状態または外部環境に応じて自律的に行動選択するロボット
JP2019111603A (ja) ロボット、ロボット制御システム、ロボットの制御方法及びプログラム
WO2019123744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2020022371A1 (ja) ロボットならびにその制御方法および制御プログラム
JP2007130691A (ja) コミュニケーションロボット
US20220288791A1 (en) Information processing device, information processing method, and program
JP6647711B2 (ja) ビデオチャットロボットシステム、手渡し遊び制御方法および手渡し遊び制御プログラム
US11938625B2 (en) Information processing apparatus, information processing method, and program
US20180164895A1 (en) Remote control apparatus, remote control method, remote control system, and program
US20220103676A1 (en) Method for controlling external electronic apparatus of electronic apparatus, electronic apparatus, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant