CN110091345A - 互动机器人以及其控制程序 - Google Patents

互动机器人以及其控制程序 Download PDF

Info

Publication number
CN110091345A
CN110091345A CN201910085719.2A CN201910085719A CN110091345A CN 110091345 A CN110091345 A CN 110091345A CN 201910085719 A CN201910085719 A CN 201910085719A CN 110091345 A CN110091345 A CN 110091345A
Authority
CN
China
Prior art keywords
head
black
visual lines
reference direction
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910085719.2A
Other languages
English (en)
Inventor
舩造美奈
加来航
吉泽真太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110091345A publication Critical patent/CN110091345A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015—Face robots, animated artificial faces for imitating human expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1658—Programme controls characterised by programming, planning systems for manipulators characterised by programming language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

本发明涉及互动机器人及其控制程序。互动机器人通过变化头部的朝向以及黑眼珠的位置中的至少一种来控制视线方向。互动机器人在使视线方向朝向互动对象的基准方向时，在基准方向包含在针对当前的视线方向而预先决定的规定范围内的情况下，通过不变化头部的方向而变化黑眼珠的位置来使视线方向朝向基准方向，而在基准方向不包含在规定范围内的情况下，通过使头部的朝向和黑眼珠的位置一起变化来使视线方向朝向基准方向。

Description

互动机器人以及其控制程序
技术领域
本公开涉及互动机器人以及其控制程序。
背景技术
已知有头部相对于躯干部活动，设置于头部的眼球部也能够活动，从而使视线朝向作为互动对象的用户的互动机器人(例如，参照日本特开2007－130691号公报)。
根据专利文献1所公开的互动机器人，设定使头部动作的比例和使眼球部动作的比例，始终使头部和眼球部动作来调整视线。然而，那样的视线调整根据与用户进行互动的相对的位置关系、互动的状况而有时感觉不自然。例如，有时给人一种怒视的印象、或不安的印象。
发明内容
本公开提供调整视线方向以给予用户更自然的印象的互动机器人及其控制程序。
本公开的第一方式中的互动机器人具备：躯干部；头部，其能够相对于躯干部变化朝向；眼球部，其设置于头部，能够变化黑眼珠的位置；控制部，其通过变化头部的朝向以及黑眼珠的位置中的至少一个来控制视线方向；以及获取部，其获取互动对象的基准方向，控制部在要使视线方向朝向基准方向时，在基准方向包含在针对当前的视线方向而预先决定的规定范围内的情况下，通过不变化头部的朝向而变化黑眼珠的位置来使视线方向朝向基准方向，在基准方向不包含在规定范围内的情况下，通过使头部的朝向和黑眼珠的位置一起变化来使视线方向朝向基准方向。互动机器人通过这样调整视线方向，从而不会给予无意地怒视那样的印象，而给予用户更自然的表情的印象。
另外，第二方式中的互动机器人具备：躯干部；头部，其能够相对于躯干部变化朝向，眼球部，其设置于头部，能够变化黑眼珠的位置；控制部，其通过变化头部的朝向以及黑眼珠的位置中的至少一个来控制视线方向；以及获取部，其获取互动对象的基准方向，控制部在要使视线方向朝向基准方向时，能够执行第一控制和第二控制中的至少一个，在第一控制中，在不变化头部的朝向而变化黑眼珠的位置后使头部的朝向和黑眼珠的位置一起变化来使视线方向朝向基准方向，在第二控制中，使头部的朝向和黑眼珠的位置一起变化后，不变化头部的朝向而变化黑眼珠的位置来使视线方向朝向基准方向。除了第一方式之外，通过这样的第一控制以及第二控制的视线方向的调整，互动机器人也能够给予用户更自然的表情的印象。
在这种情况下，可以构成为：控制部在基准方向包含在针对当前的视线方向而预先决定的规定范围内的情况下，通过不变化头部的朝向而变化黑眼珠的位置来使视线方向朝向基准方向，在基准方向不包含在规定范围内的情况下，通过第一控制或者第二控制使视线方向朝向基准方向。通过在给予自然的表情的印象的范围中尽可能地不变化头部的朝向，能够抑制能量消耗。
这样的第一方式以及第二方式中的互动机器人可以构成为：具备发声部，发声部对互动对象发声，控制部在发声部开始发声的时刻联动地使视线方向朝向基准方向。另外，也可以具备检测部，检测部对互动对象的发声进行检测，控制部在检测部检测出互动对象的发声的时刻联动地使视线方向朝向基准方向。如果在这样的时刻调整视线方向，则能够给予用户更自然的眼睛的运动的印象。
另外，可以构成为：控制部在使头部的朝向和黑眼珠的位置一起变化的情况下，以使头部的朝向延迟追随于视线方向的方式控制头部的朝向和黑眼珠的位置。通过这样使头部的朝向和黑眼珠的位置的变化相互协调，能够给予更自然的眼睛的运动的印象。
另外，第三方式中的控制程序是用于控制互动机器人的控制程序，该互动机器人具备躯干部；头部，其能够相对于躯干部变化朝向；以及眼球部，其设置于头部，能够变化黑眼珠的位置，控制程序使计算机执行如下步骤：获取步骤，获取互动对象的基准方向；判断步骤，判断基准方向是否包含在针对由头部的朝向以及黑眼珠的位置确定的当前的视线方向而预先决定的规定范围内；第一控制步骤，在判断为基准方向包含在针对当前的视线方向而预先决定的规定范围内的情况下，通过不变化头部的朝向而变化黑眼珠的位置来使视线方向朝向基准方向；以及第二控制步骤，在判断为基准方向不包含在针对当前的视线方向而预先决定的规定范围内的情况下，通过使头部的朝向和黑眼珠的位置一起变化来使视线方向朝向基准方向。
另外，第四方式中的控制程序是用于控制互动机器人的控制程序，该互动机器人具备躯干部；头部，其能够相对于躯干部变化朝向；以及眼球部，其设置于头部，能够变化黑眼珠的位置，控制程序使计算机执行如下步骤：获取步骤，获取互动对象的基准方向；以及控制步骤，在不变化头部的朝向而变化黑眼珠的位置后，使头部的朝向和黑眼珠的位置一起变化，由此使由头部的朝向以及黑眼珠的位置确定的视线方向朝向基准方向。
另外，第五方式中的控制程序是用于控制互动机器人的控制程序，该互动机器人具备躯干部；头部，其能够相对于躯干部变化朝向；以及眼球部，其设置于头部，能够变化黑眼珠的位置，控制程序使计算机执行如下步骤：获取步骤，获取互动对象的基准方向；以及控制步骤，在使头部的朝向和黑眼珠的位置一起变化后，不变化头部的朝向而变化黑眼珠的位置，由此使由头部的朝向以及黑眼珠的位置确定的视线方向朝向基准方向。
这样，通过第三、第四以及第五方式中的控制程序来执行控制的互动机器人，与第一以及第二方式中的互动机器人同样地能够给予用户更自然的表情的印象。
根据本公开，能够提供调整视线方向以给予用户更自然的印象的互动机器人及其控制程序。
从以下给出的详细描述和附图将更全面地理解本公开的上述和其它目的、特征和优点，附图仅以说明的方式给出，因此不应被视为限制本公开。
附图说明
图1是第一实施例所涉及的机器人的示意图。
图2A是表示与机器人的互动的例子的图。
图2B是表示与机器人的互动的例子的图。
图3是机器人的系统结构图。
图4是表示右眼的结构的立体图。
图5是对视线方向的控制进行说明的图。
图6是对规定范围内的视线调整进行说明的图。
图7是说明向规定范围外的第一视线调整的图。
图8是说明向规定范围外的第二视线调整的图。
图9是说明向规定范围外的第三视线调整的图。
图10是对视线方向和头部的朝向的第一变化进行说明的图。
图11是对视线方向和头部的朝向的第二变化进行说明的图。
图12是表示视线方向的调整处理的顺序的流程图。
图13是表示对规定范围外的调整处理的顺序的流程图。
图14是第二实施例所涉及的机器人的示意图。
具体实施方式
图1是本实施方式的第一实施例所涉及的机器人100的示意图。机器人100是能够与用户亦即人进行语音对话的互动机器人。机器人100是将角色具现化的角色装置，眼睛的表情或视线方向与对话相配合地变化。
机器人100外观上模仿动物，具有躯干部110和头部120。在躯干部110的内部设置有马达111，通过马达111的驱动而使头部120的朝向相对于躯干部110变化。在头部120中，在用户能够识别为眼睛的位置上设置有眼球部122(右眼122a、左眼122b)。对于眼球部122的结构在后面详述，但在右眼122a、左眼122b的各个的背后例如设置有显示面板106(右眼用显示面板106a、左眼用显示面板106b)，其中,该显示面板是液晶面板或有机EL面板。在显示面板106中显示出黑眼珠图像161(右黑眼珠图像161a、左黑眼珠图像161b)。
在机器人100的鼻子的位置以不显眼的方式配置有相机102。相机102例如包括CMOS传感器，其作为获取用于识别外部环境的图像的拍摄部而发挥功能。在机器人100的嘴的位置隐藏配置有扬声器109。扬声器109作为发出机器人100生成的语音的发声输出部而发挥功能。用户感觉机器人100通过从嘴的位置输出的语音说话。另外，在头部120的任意的位置隐藏配置有麦克风101。麦克风101担负作为检测用户的发声语音的检测部的功能。
图2A以及图2B是表示用户和机器人100的互动的一个例子的图。如图2A所示，例如当用户与机器人100打招呼“嗨，你好吗？”时，如图2B所示，机器人100对该打招呼做出反应，将视线移向用户，发声为“我很好，我很高兴与你交谈。”等。视线的变化通过变化头部120相对于躯干部110的朝向、以及右黑眼珠图像161a和左黑眼珠图像161b的位置的至少一种来实现。具体情况后述。
图3是机器人100的系统结构图。机器人100作为主要的系统构成而具备麦克风101、相机102、显示面板106、扬声器109、马达111、控制部200以及响应语音DB310。控制部200例如由CPU构成，也作为担负各功能的执行的功能执行部进行动作，主要作为发声识别部201、面部识别部202、视线控制部203、显示控制部204、马达控制部205、语音选择部206以及发声控制部207进行动作。
麦克风101作为主要的功能而收集作为机器人100对话的对象的用户的发声语音。麦克风101将收集到的用户的发声语音转换为语音信号，并向发声识别部201移交。
发声识别部201对从麦克风101接受到的语音信号进行解析来识别用户的发声。发声识别部201与麦克风101配合，担负作为获取向机器人100说话的用户的发声的发声获取部的功能。发声识别部201具体地通过一般的语音识别技术来识别用户的发声内容。发声识别部201将识别出的发声内容向语音选择部206移交。
语音选择部206针对由发声识别部201识别出的用户的发声内容来选择适合作为会话的句子，并从响应语音DB310收集与选择出的句子对应的发声数据，且向发声控制部207移交。响应语音DB310是与语音选择部206连接的响应语音的数据库，例如由硬盘驱动器的记录介质构成。响应语音DB310例如被体系化为语料库，各个词语伴随着能够播放的发声数据而被储存。
发声控制部207将接受到的发声数据转换为语音信号并向扬声器109移交。语音选择部206和发声控制部207相互配合而担负作为基于用户的发声内容来生成响应语音的语音生成部的功能。扬声器109接受由发声控制部207转换的语音信号，并对响应语音进行语音输出。
发声识别部201将用户开始发声的时刻向视线控制部203移交。另外，发声控制部207将对响应语音进行语音输出的时刻向视线控制部203移交。视线控制部203与这些时刻信息同步地执行视线方向的调整。
相机102作为主要的功能而拍摄与机器人100进行互动的用户。相机102将拍摄到的图像转换为图像信号，并向面部识别部202移交。
面部识别部202对从相机102接受到的图像信号进行解析来识别作为互动对象的用户的面部。面部识别部202从提取出的面部区域中决定用户的基准方向。基准方向是从机器人100例如到连接用户的两眼的中点的方向。面部识别部202与相机102配合来担负作为获取用户的基准方向的获取部的功能。
由于基准方向由三维空间中的矢量表示，所以为了决定基准方向，需要从机器人100到用户的面部的距离信息。对于距离信息，例如在相机102由立体相机构成的情况下，能够根据图像间的偏移量来计算，而在相机102由对红外线敏感的相机构成的情况下，能够根据投射的红外线图案的失真来计算。另外，简单地说，也能够根据面部区域的大小来推断大约的距离，或者在进行互动的状况下的到用户的距离可以定义为一定距离。即，只要根据机器人100的规格来选择获取距离信息的方法即可。
视线控制部203与从发声识别部201、发声控制部207接受到的时刻、或其它时刻同步地进行使视线方向朝向从面部识别部202接受到的基准方向的控制。具体情况后述，为了使视线方向与基准方向一致，而决定使黑眼珠图像161的位置变化的变化量、和使头部120的朝向变化的变化量，并将各个变化量向显示控制部204和马达控制部205移交。
显示控制部204按照从视线控制部203接受到的黑眼珠图像161的位置的变化量，在显示面板106上使黑眼珠图像161的位置移动。显示控制部204根据接受到的变化量的大小、亦即使黑眼珠图像161移动的距离，而分阶段地生成中间显示图像，并可以将眼珠图像161显示为动画。马达控制部205按照从视线控制部203接受到的头部120的朝向的变化量来驱动马达111。视线控制部203、显示控制部204以及马达控制部205相互配合，整体作为控制视线方向的控制部而发挥功能。
图4是表示右眼122a的结构的立体图。左眼122b是与右眼122a同样的结构，各自的显示面板都由显示控制部204显示控制。
右眼122a主要由透光盖131、光纤束132以及右眼用显示面板106a构成。透光盖131例如由透明的聚碳酸酯成形，担负作为头部120的外观装饰件的作用。在模仿动物或人的机器人的情况下，眼的表面自然是曲面的，这样容易被用户接受。因此，本实施方式中的机器人100的相当于眼的表面的透光盖131朝向外部而成形为凸状的曲面。
在右眼122a的里侧设置有用于显示右黑眼珠图像161a的显示面板106，该右黑眼珠图像是对右眼的黑眼珠进行图案化而成的图案。右眼用显示面板106a的显示面是平面。另外，显示面具有包含透光盖131的外周的大小。在图中，示出在相对于与透光盖131的外周对应的大小的白眼珠偏离的位置上显示右黑眼珠图像161a的样子。
此外，在本实施方式中，如果是真人，则显示的黑眼珠是相当于包括虹膜和瞳孔的角膜的部分，但本实施方式由于通过图案化来进行显示，所以可以相对于真人的黑眼珠而将一部分省略，或夸大。另外，也可以实施真人不可能产生的装饰，另外，也可以是伴随开闭的动画。在任何情况下，只要是作为互动对象的用户能够识别为黑眼珠的运动的图案即可。
在右黑眼珠图像161a中定义中心坐标CR(YR0，ZR0)。显示控制部204通过使中心坐标CR与在右眼用显示面板106a中设定的右眼坐标系YR－ZR中的显示坐标一致，来决定右黑眼珠图像161a的显示位置。显示控制部204在使右黑眼珠图像161a从当前显示的显示位置变化到目标位置的情况下，将在右眼用显示面板106a上当前显示的显示图像切换为以中心坐标CR为目标坐标的显示图像。此时，显示控制部204也可以在当前的显示坐标与目标坐标之间分阶段地决定中间坐标，并生成使中心坐标CR与每个中间坐标一致的中间图像，并依次进行显示。如果中间图像依次显示，则能够将视线的迁移表现为动画，所以能够实现更有现实感的视线移动。
透光盖131的内曲面和右眼用显示面板106a的表面通过光纤束132连接。光纤束132将右眼用显示面板106a上显示的右黑眼珠图像161a传递到透光盖131。光纤束132是与右眼用显示面板106a的每个像素一对一对应的光纤132a的集合体。在图中为了说明，以从右眼用显示面板106a的表面浮起的方式示出，但每个光纤132a的一端通过导光系的粘合剂粘合于右眼用显示面板106a的表面。各个光纤132a作为集合体，外周面被被覆层132b覆盖来进行捆扎。这样，透光盖131、光纤束132以及右眼用显示面板106a相互连接而一体化。
右眼用显示面板106a上显示的右黑眼珠图像161a的光束从光纤132a的一端射入，并从另一端射出。作为光纤132a的射出面的另一端的集合体形成为沿着透光盖131的内曲面的虚拟的屏幕。因此，右眼用显示面板106a上显示的右黑眼珠图像161a能够在该虚拟的屏幕中被用户观察到。
图5是对视线方向的控制进行说明的图。视线控制部203调整机器人100的视线方向，使其与如上述那样决定的基准方向一致。视线方向的调整可以通过变化黑眼珠图像161的位置和头部120的朝向中的至少一种来进行。
头部120的朝向是头部120相对于躯干部110的朝向，例如如图示那样被定义为面部中心的表面中的法线方向。若如图示那样决定以躯干部110为基准的全体坐标系x－y－z，则头部120通过马达111的驱动而能够沿横摆轴方向θy以及俯仰轴方向θz方向转动。即，马达控制部205通过使头部120沿横摆轴方向θy以及俯仰轴方向θz方向转动，能够调整头部120的朝向。
右黑眼珠图像161a的位置如上述那样由右眼坐标系YR－ZR中的显示坐标确定。同样地，左黑眼珠图像161b的位置由左眼坐标系YL－ZL中的显示坐标确定。视线方向由头部120的朝向、以及右黑眼珠图像161a和左黑眼珠图像161b的位置确定。此时，右黑眼珠图像161a以及左黑眼珠图像161b的各自的中心坐标CR、CL位于将各自的虚拟的眼球中心和视线方向的注视点连结的直线上。这样，通过调整头部120的朝向、以及右黑眼珠图像161a和左黑眼珠图像161b的位置，给用户带来机器人100将视线朝向特定的方向的印象。
接下来，对调整视线方向的控制进行说明。图6是对预先决定的规定范围Cp内的视线调整进行说明的图。左图示出在当前时刻T＝ts中相机102拍摄到的图像，其图像中心与头部120的朝向基本一致。“□”表示面部识别部202决定的基准方向，“×”表示当前时刻的视线方向。视线控制部203以使“×”与“□”一致为目标而进行使视线方向朝向基准方向的调整。
在当前时刻T＝ts时，视线方向与基准方向不一致，但基准方向存在于距视线方向比较近的位置，并包含在预先决定的规定范围Cp内。在这样的状况下，视线控制部203通过不变化头部120的朝向而变化黑眼珠图像161的位置来调整视线方向。即，视线控制部203对用于使头部120保持固定而使视线方向与基准方向一致的右黑眼珠图像161a的变化量g(YR，ZR)以及左黑眼珠图像161b的变化量h(YL，ZL)进行运算，并向显示控制部204移交。变化量g(YR，ZR)表示在右眼用显示面板106a上使右黑眼珠图像161a的中心坐标CR分别向YR轴方向和ZR轴方向并进移动的移动量。同样地，变化量h(YL，ZL)表示在左眼用显示面板106b上使左黑眼珠图像161b的中心坐标CL分别向YL轴方向和ZL轴方向并进移动的移动量。显示控制部204按照该变化量g(YR，ZR)、h(YL，ZL)来使右黑眼珠图像161a以及左黑眼珠图像161b的显示位置移动，如右图所示，在时刻T＝te实现视线方向和基准方向的一致。
规定范围Cp被决定为即使仅变化黑眼珠图像161来调整视线方向也不会给予怒视那样的不自然的印象的范围。其大小按照作为机器人100的角色的性质、眼球部122相对于头部120的大小等各种因素而预先决定。
这样，如果在规定范围Cp内的视线方向的调整中不变化头部120的朝向，则能够减少驱动马达111的电力。另外，也能够防止马达111的驱动音妨碍麦克风101的集音。另外，由于相机102的拍摄方向也被固定，所以在图像的解析等观点上也是方便的。
图7是说明对向规定范围Cp外的第一视线调整的图。左图示出在当前时刻T＝ts时相机102拍摄到的图像，该图像中心与头部120的朝向基本一致。与图6同样，“□”表示面部识别部202决定的基准方向，“×”表示当前时刻的视线方向。视线控制部203以使“×”与“□”一致为目标来进行使视线方向朝向基准方向的调整。
在当前时刻T＝ts时，视线方向与基准方向不一致，另外，基准方向存在于距视线方向较远的位置，不包含在预先决定的规定范围Cp内。作为这样的状况下的第一视线调整方法，视线控制部203通过使头部120的朝向和黑眼珠图像161的位置都变化来调整视线方向。即，视线控制部203对用于使视线方向与基准方向一致的头部120的变化量f(θy，θz)、右黑眼珠图像161a的变化量g(YR，ZR)以及左黑眼珠图像161b的变化量h(YL，ZL)进行运算，并向马达控制部205、显示控制部204移交。
变化量f(θy，θz)表示使头部120相对于躯干部110分别沿横摆轴方向θy和俯仰轴方向θz转动的转动角。另外，变化量g(YR，ZR)表示在右眼用显示面板106a上使右黑眼珠图像161a的中心坐标CR分别向YR轴方向和ZR轴方向并进移动的移动量。同样地，变化量h(YL，ZL)表示在左眼用显示面板106b上使左黑眼珠图像161b的中心坐标CL分别向YL轴方向和ZL轴方向并进移动的移动量。显示控制部204按照变化量g(YR，ZR)、h(YL，ZL)来使右黑眼珠图像161a以及左黑眼珠图像161b的显示位置移动，另外，马达控制部205按照变化量f(θy，θz)来使头部120转动。通过这些动作，如右图所示，在时刻T＝te实现视线方向和基准方向的一致。
此时，右黑眼珠图像161a以及左黑眼珠图像161b的移动被调整为在时刻T＝ts开始，并在时刻T＝te结束。另外，头部120的转动也被调整为在时刻T＝ts开始，并在时刻T＝te结束。即，黑眼珠图像161的移动和头部120的转动被调整为同时开始且同时结束。通过这样使两者同步，从而能够给予用户在视线方向的变化上更为自然的印象。此外，头部120的转动对视线方向的变化贡献的贡献量、和黑眼珠图像161的移动对视线方向的变化贡献的贡献量的分配根据作为机器人100的角色的性质、眼球部122相对于头部120的大小等各种因素而预先决定。
图8是说明向规定范围Cp外的第二视线调整的图。左图表示在当前时刻T＝ts时相机102拍摄到的图像，是与图7的左图同样的状况。视线控制部203以使“×”与“□”一致为目标来进行使视线方向朝向基准方向的调整。作为这样的状况下的第二视线调整方法，视线控制部203到中途为止不变化头部120的朝向而变化黑眼珠图像161的位置，之后使头部120的朝向和黑眼珠图像161的位置都变化来调整视线方向。即，视线控制部203为了使视线方向与基准方向一致而设定中间目标，首先，对用于实现中间目标的视线方向的右黑眼珠图像161a的变化量g(YR1，ZR1)以及左黑眼珠图像161b的变化量h(YL1，ZL1)进行运算。之后，对用于使中间目标中视线方向与基准方向一致的头部120的变化量f(θy，θz)、右黑眼珠图像161a的变化量g(YR2，ZR2)以及左黑眼珠图像161b的变化量h(YL2，ZL2)进行运算。视线控制部203将这些变化量向马达控制部205，显示控制部204移交。
显示控制部204z在时刻T＝ts开始进行右黑眼珠图像161a以及左黑眼珠图像161b的显示位置的移动，在时刻T＝ti结束变化量g(YR1，ZR1)、，h(YL1，ZL1)量的移动。在时刻T＝ti所实现的中间目标的视线方向如中图的“×”所示，为规定范围Cp的内侧。显示控制部204将中间目标的视线方向设定为朝向连结T＝ts时的视线方向和基准方向的线段与在规定范围Cp的大小的60％以上且小于90％的范围所设定的内包范围Cw交叉的点的方向。接着，马达控制部205以及显示控制部204在时刻T＝ti开始进行头部120的转动、以及右黑眼珠图像161a和左黑眼珠图像161b的显示位置的移动。之后，在时刻T＝te结束变化量f(θy，θz)量的转动、和变化量g(YR2，ZR2)、h(YL2，ZL2)量的移动。通过这些动作，如右图所示，在时刻T＝te实现视线方向和基准方向的一致。
这样即便使头部120的转动和黑眼珠图像161的移动联动，也能够给予用户在作为视线方向的变化上更为自然的印象。此外，在同时进行头部120的转动和黑眼珠图像161的移动的后半部分的动作中，与第一视线调整同样地决定头部120的转动对视线方向的变化贡献的贡献量和黑眼珠图像161的移动对视线方向的变化贡献的贡献量的分配。
图9是说明向规定范围Cp外的第三视线调整的图。左图表示在当前时刻T＝ts时相机102拍摄到的图像，是与图7的左图同样的状况。视线控制部203以使“×”与“□”一致为目标来进行使视线方向朝向基准方向的调整。作为这样的状况下的第三视线调整方法，视线控制部203到中途为止使头部120的朝向和黑眼珠图像161的位置都变化，之后不变化头部120的朝向而变化黑眼珠图像161的位置，从而调整视线方向。即，视线控制部203为了使视线方向与基准方向一致而设定中间目标，首先，对用于实现中间目标的视线方向的头部120的变化量f(θy，θz)、右黑眼珠图像161a的变化量g(YR1，ZR1)以及左黑眼珠图像161b的变化量h(YL1，ZL1)进行运算。之后，对用于使中间目标的视线方向与基准方向一致的右黑眼珠图像161a的变化量g(YR2，ZR2)以及左黑眼珠图像161b的变化量h(YL2，ZL2)进行运算。视线控制部203将这些变化量向马达控制部205、显示控制部204移交。
马达控制部205以及显示控制部204在时刻T＝ts开始进行头部120的转动和右黑眼珠图像161a以及左黑眼珠图像161b的显示位置的移动。之后，在时刻T＝ti结束变化量f(θy，θz)量的转动、和变化量g(YR1，ZR1)、h(YL1，ZL1)量的移动。在时刻T＝ti所实现的中间目标的视线方向如中图的“×”所示，设定为朝向相对于基准方向被设定为用户的面部区域附近的附近范围Cf的周边上的点的方向。接着，显示控制部204在时刻T＝ti开始进行右黑眼珠图像161a以及左黑眼珠图像161b的显示位置的移动，在时刻T＝te结束变化量g(YR2，ZR2)、h(YL2，ZL2)量的移动。通过这些动作，如右图所示，在时刻T＝te实现视线方向和基准方向的一致。
这样即便使头部120的转动和黑眼珠图像161的移动联动，也能够给予用户在作为视线方向的变化上更为自然的印象。此外，在同时进行头部120的转动和黑眼珠图像161的移动的前半部分的动作中，与第一视线调整同样地决定头部120的转动对视线方向的变化贡献的贡献量和黑眼珠图像161的移动对视线方向的变化贡献的分配。
接下来，对同时进行头部120的转动和黑眼珠图像161的移动的情况下的、视线方向和头部120的朝向的变化进行说明。图10是对视线方向和头部120的朝向的第一变化进行说明的图。横轴为经过时间，表示在时刻T＝ts同时开始进行头部120的转动和黑眼珠图像161的移动，在时刻T＝te同时结束的情况。纵轴表示与目标方向的误差。实线表示视线方向和目标方向的误差，虚线表示头部120的朝向和目标方向的误差。图示出在时刻T＝te以及T＝ts，头部120的朝向和视线方向一致的例子。
如图示那样，视线控制部203控制头部120的转动和黑眼珠图像161的移动，使得相对于经过时间，视线方向比头部120的朝向更早地接近目标方向。即，视线控制部203控制头部120的朝向和黑眼珠图像161的位置，使得头部120的朝向延迟并追随于视线方向。通过这样控制，头部120的朝向和视线方向的关系近似于人的这种关系，给予用户更自然的印象。
图11是对视线方向和头部120的朝向的第二变化进行说明的图。第二变化在头部120的朝向延迟并追随于视线方向这一点上与第一变化相同。另一方面，第二变化在视线方向相对于目标方向暂时过冲、且头部120的朝向相对于目标方向偏离而结束动作的这一点上与第一变化不同。通过这样以凝视视线方向的方式会聚到目标方向，或不使头部120与用户正对，从而能够实现更有现实感的视线的运动。
接下来，对控制部200关于视线方向的调整所执行的动作处理的顺序进行说明。以下所说明的动作处理通过控制部200执行从系统存储器读入的控制程序来执行。图12是表示视线方向的调整处理的顺序的流程图。在机器人100的电源接通时开始流程。此外，省略与视线方向相关的处理以外的处理有关的说明。
视线控制部203在步骤S101中确认发声识别部201是否检测出用户的发声。如果检测出用户的发声则进入步骤S103，如果没有检测出用户的发声则进入步骤S102。视线控制部203在步骤S102中确认发声控制部207是否开始响应语音的输出。如果开始则进入步骤S103，如果没有开始则进入步骤S108。
视线控制部203在步骤S103中从显示控制部204获取当前的黑眼珠图像161的位置，从马达控制部205获取当前的头部120的朝向，从而确认当前的视线方向。之后，面部识别部202在步骤S104中对从相机102接收到的图像信号进行解析来获取针对用户的基准方向。
视线控制部203进入步骤S105，判断基准方向是否包含在针对当前的视线方向所设定的规定范围Cp的内侧。如果包含则进入步骤S106，如果不包含则进入步骤S107。
在视线控制部203进入步骤S106的情况下，如使用图6所说明的那样，通过不变化头部120的朝向而变化黑眼珠图像161的位置来执行使视线方向朝向基准方向的调整。如果调整结束，则进入步骤S108。
在视线控制部203进入步骤S107的情况下，执行图13所示的子功能。视线控制部203进入步骤S1071，判断机器人100的控制状态是否满足条件1。在满足条件1的情况下进入步骤S1072，而在不满足的情况下进入步骤S1073。对于条件1之后进行叙述。
在视线控制部203进入步骤S1072的情况下，如使用图7所说明的那样，通过使头部120的朝向和黑眼珠图像161的位置都变化来执行使视线方向朝向基准方向的调整。如果调整结束，则进入步骤S108。
在视线控制部203进入步骤S1073的情况下，判断机器人100的控制状态是否满足与条件1不同的条件2。在满足条件2的情况下进入步骤S1074，而在不满足的情况下进入步骤S1076。对于条件2之后进行叙述。
在视线控制部203进入步骤S1074的情况下，如使用图8所说明的那样，在从时刻T＝ts到时刻T＝ti为止的期间，通过不变化头部120的朝向而变化黑眼珠图像161的位置来执行使视线方向朝向中间目标的方向的调整。
之后，进入步骤S1075，在从时刻T＝ti到时刻T＝te为止的期间，通过使头部120的朝向和黑眼珠图像161的位置都变化来执行使视线方向朝向基准方向的调整。如果调整结束，则进入步骤S108。
在视线控制部203进入步骤S1076的情况下，如使用图9所说明的那样，在从时刻T＝ts到时刻T＝ti为止的期间，通过使头部120的朝向和黑眼珠图像161的位置都变化来执行使视线方向朝向中间目标的方向的调整。之后进入步骤S1077，在从时刻T＝ti到时刻T＝te为止的期间，通过不变化头部120的朝向而变化黑眼珠图像161的位置来执行使视线方向朝向基准方向的调整。如果调整结束，则进入步骤S108。
返回到图12，视线控制部203在步骤S108中判断在无会话状态下经过了一定时间等而与用户的互动是否结束。在判断为还未结束的情况下，返回到步骤S101。在判断为结束的情况下，结束一系列的处理。
此处，对条件1以及条件2进行说明。条件1以及条件2是通过用户的发声内容、发声控制部207输出的发声内容、控制部200读取到的用户的感情、机器人100想要表达出的感情等而适当地被决定的条件。例如，假设适合要表达的感情A的视线方向的调整是通过步骤S1074以及步骤S1075来实现的调整，适合要表达的感情B的视线方向的调整是通过步骤S1076以及步骤S1077来实现的调整。这样的情况下，只要将条件1设定为“表达的感情既不是A也不是B”，将条件2设定为“表达的感情为A”即可。
另外，条件也可以不设定为两个，可以仅是一个。而且，也可以将基准方向在针对当前的视线方向所设定的规定范围Cp的外侧的情况下的视线方向的调整限定为任意一个方法。
接下来，对本实施方式的第二实施例进行说明。图14是第二实施例所涉及的机器人400的示意图。第一实施例所涉及的机器人100是将角色具现化的互动机器人，但第二实施例所涉及的机器人400是具有作为把持搬运物而自主移动的搬运机器人的功能的互动机器人。近来的搬运机器人与人共享作业空间的情况增加，一边与人进行互动一边执行作业的机器人也是众所周知的。机器人400虽然是搬运机器人，但也是能够执行如机器人100那样的互动的机器人。
机器人400的与互动功能相关的结构基本与机器人100相同，这里主要对不同点进行说明。对于搬运机器人那样的功能机器人，可以不是头部或躯干部必须模仿人或动物的形态。机器人400如图示那样，躯干部410为半圆筒形状，头部420基本仅由显示面板406构成。在显示面板406上显示包括黑眼珠图像461的面部图像。另外，显示面板406作为头部420相对于躯干部410在横摆轴方向θy以及俯仰轴方向θz方向上转动。
在这样构成的机器人400中，也与机器人100同样地通过变化头部420的朝向和黑眼珠图像461的位置，能够使视线方向朝向基准方向。因此，即使机器人400是与人或动物的形态不大相同的外观，但机器人400和作业的用户也能够如机器人100那样进行互动。而且，能够体验更自然的视线移动。
以上通过第一实施例和第二实施例对本实施方式进行了说明，但机器人的方式并不限于这些实施例。在上述的实施例中，作为互动对象的用户的基准方向通过对由相机102获取到的图像信号进行解析来决定，但基准方向的决定方法并不限于此，例如可以将麦克风101选为立体麦克风，将发声方向决定为基准方向。由于视线控制部203只要能够获取基准方向即可，所以外部装置也可以具备环境传感器或基准方向的运算部。该情况下，视线控制部203只要经由通信IF获取基准方向即可。在这样的结构中，通信IF作为获取基准方向的获取部而发挥功能。
在上述的实施例中，对具备两眼的眼球部的机器人进行了说明，但也可以是具备单眼的眼球部、三眼以上的眼球部的机器人。即便是那样的眼球部，也能够决定视线方向。另外，在上述的例子中，对夹设光纤束132的眼球部122进行了说明，但也可以不夹设光纤束132等，而是采用曲面的显示面板作为眼球部122。另外，为了简单，也可以采用平面的显示面板作为眼球部122。另外，眼球部并不限于通过显示面板来实现，例如可以是通过马达使描绘出黑眼珠的球旋转的方式。该情况下的黑眼珠的位置的变化通过利用马达使球旋转来实现。另外，在上述的第二实施例的机器人400中，将两眼显示于一个显示面板，但除了两眼之外也可以显示眉毛、鼻子、嘴，这些配件也与视线方向联动地变化。在这种情况下下，视线控制部203可以控制显示面板整体的显示方式。
另外，在上述的实施例中，作为基准方向不存在于规定范围Cp的内侧的情况下的视线调整，对图8的例子以及图9的例子进行了说明。然而，不管是规定范围Cp的内侧还是外侧，都可以执行这些视线调整。即，到中途为止不变化头部120的朝向而变化黑眼珠图像161的位置，之后使头部120的朝向和黑眼珠图像161的位置都变化来调整视线方向的方法即使当前视线方向和基准方向靠近也可以执行。同样地，到中途为止使头部120的朝向和黑眼珠图像161的位置都变化，之后不变化头部120的朝向而变化黑眼珠图像161的位置来调整视线方向的方法即使当前视线方向和基准方向靠近也可以执行。这样的视线的运动能够在兼顾想要表现的感情和表情等中采用。
另外，设定的基准方向可以不是用户的两眼的中间点。根据互动，作为表达出的表情的例子，也有“移开视线”的情况，在这样的情况下，视线控制部203将远离用户的两眼的点设定为基准方向。
程序能够使用各种类型的非暂时性计算机可读介质(non-transitory computerreadable medium)来储存，并供给至计算机。非暂时性计算机可读介质包括有各种类型的有实体的记录介质(tangible storage medium)。非暂时性计算机可读介质的例子包括磁记录介质(例如软盘、磁带、硬盘驱动器)、光磁记录介质(例如光磁盘)、CD-ROM、CD-R、CD-R/W、半导体存储器(例如，ROM、PROM(Programmable ROM)、EPR0M(Erasable PROM)、闪存ROM、RAM(Random Access Memory))。另外，程序也可以通过各种类型的暂时性计算机可读介质(transitory computer readable medium)供给至计算机。暂时性计算机可读介质的例子包括电信号、光信号、以及电磁波。暂时性计算机可读介质能够经由电线以及光纤等的有线通信路、或者无线通信路将程序供给至计算机。
从以上描述的公开内容可知本公开的实施例可以以多种方式变化。不应将这些变化视为脱离本公开的精神和范围，并且对于本领域技术人员来说显而易见的所有这些修改方案均包括在所附权利要求的范围内。

Claims (9)

1.一种互动机器人，其中，
所述互动机器人具备：
躯干部；
头部，其能够相对于所述躯干部变化朝向；
眼球部，其设置于所述头部，能够变化黑眼珠的位置；
控制部，其通过变化所述头部的朝向以及所述黑眼珠的位置中的至少一个来控制视线方向；以及
获取部，其获取互动对象的基准方向，
所述控制部在要使所述视线方向朝向所述基准方向时，在所述基准方向包含在针对当前的视线方向而预先决定的规定范围内的情况下，通过不变化所述头部的朝向而变化所述黑眼珠的位置来使所述视线方向朝向所述基准方向，而在所述基准方向不包含在所述规定范围内的情况下，通过使所述头部的朝向和所述黑眼珠的位置一起变化来使所述视线方向朝向所述基准方向。
2.一种互动机器人，其中，
所述互动机器人具备：
躯干部；
头部，其能够相对于所述躯干部变化朝向，
眼球部，其设置于所述头部，能够变化黑眼珠的位置；
控制部，其通过变化所述头部的朝向以及所述黑眼珠的位置中的至少一个来控制视线方向；以及
获取部，其获取互动对象的基准方向，
所述控制部在要使所述视线方向朝向所述基准方向时，能够执行第一控制和第二控制中的至少一个，在所述第一控制中，在不变化所述头部的朝向而变化所述黑眼珠的位置后使所述头部的朝向和所述黑眼珠的位置一起变化来使所述视线方向朝向所述基准方向，在所述第二控制中，使所述头部的朝向和所述黑眼珠的位置一起变化后，不变化所述头部的朝向而变化所述黑眼珠的位置来使所述视线方向朝向所述基准方向。
3.根据权利要求2所述的互动机器人，其中，
所述控制部在所述基准方向包含在针对当前的视线方向而预先决定的规定范围内的情况下，通过不变化所述头部的朝向而变化所述黑眼珠的位置来使所述视线方向朝向所述基准方向，在所述基准方向不包含在所述规定范围内的情况下，通过所述第一控制或者所述第二控制使所述视线方向朝向所述基准方向。
4.根据权利要求1～3中的任意一项所述的互动机器人，其中，
所述互动机器人具备发声部，所述发声部对所述互动对象发声，
所述控制部在所述发声部开始发声的时刻联动地使所述视线方向朝向所述基准方向。
5.根据权利要求1～4中的任意一项所述的互动机器人，其中，
所述互动机器人具备检测部，所述检测部对所述互动对象的发声进行检测，
所述控制部在所述检测部检测出所述互动对象的发声的时刻联动地使所述视线方向朝向所述基准方向。
6.根据权利要求1～5中的任意一项所述的互动机器人，其中，
所述控制部在使所述头部的朝向和所述黑眼珠的位置一起变化的情况下，以使所述头部的朝向延迟追随于所述视线方向的方式控制所述头部的朝向和所述黑眼珠的位置。
7.一种存储介质，存储有控制程序，该存储介质能够由计算机读入，所述控制程序用于控制互动机器人，该互动机器人具备：躯干部；头部，其能够相对于所述躯干部变化朝向；以及眼球部，其设置于所述头部，能够变化黑眼珠的位置，
所述控制程序使计算机执行如下步骤：
获取步骤，获取互动对象的基准方向；
判断步骤，判断所述基准方向是否包含在针对由所述头部的朝向以及所述黑眼珠的位置确定的当前的视线方向而预先决定的规定范围内；
第一控制步骤，在判断为所述基准方向包含在针对当前的视线方向而预先决定的规定范围内的情况下，通过不变化所述头部的朝向而变化所述黑眼珠的位置来使所述视线方向朝向所述基准方向；以及
第二控制步骤，在判断为所述基准方向不包含在针对当前的视线方向而预先决定的规定范围内的情况下，通过使所述头部的朝向和所述黑眼珠的位置一起变化来使所述视线方向朝向所述基准方向。
8.一种存储介质，存储有控制程序，该存储介质能够由计算机读入，所述控制程序用于控制互动机器人，该互动机器人具备：躯干部；头部，其能够相对于所述躯干部变化朝向；以及眼球部，其设置于所述头部，能够变化黑眼珠的位置，所述控制程序使计算机执行如下步骤：
获取步骤，获取互动对象的基准方向；以及
控制步骤，在不变化所述头部的朝向而变化所述黑眼珠的位置后，使所述头部的朝向和所述黑眼珠的位置一起变化，由此使由所述头部的朝向以及所述黑眼珠的位置确定的视线方向朝向所述基准方向。
9.一种存储介质，存储有控制程序，该存储介质能够由计算机读入，所述控制程序用于控制互动机器人，该互动机器人具备：躯干部；头部，其能够相对于所述躯干部变化朝向；以及眼球部，其设置于所述头部，能够变化黑眼珠的位置，所述控制程序使计算机执行如下步骤：
获取步骤，获取互动对象的基准方向；以及
控制步骤，在使所述头部的朝向和所述黑眼珠的位置一起变化后，不变化所述头部的朝向而变化所述黑眼珠的位置，由此使由所述头部的朝向以及所述黑眼珠的位置确定的视线方向朝向所述基准方向。
CN201910085719.2A 2018-01-31 2019-01-29 互动机器人以及其控制程序 Pending CN110091345A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018014686A JP6922766B2 (ja) 2018-01-31 2018-01-31 コミュニケーションロボットおよびその制御プログラム
JP2018-014686 2018-01-31

Publications (1)

Publication Number Publication Date
CN110091345A true CN110091345A (zh) 2019-08-06

Family

ID=65200693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910085719.2A Pending CN110091345A (zh) 2018-01-31 2019-01-29 互动机器人以及其控制程序

Country Status (5)

Country Link
US (1) US20190232501A1 (zh)
EP (2) EP3520970A3 (zh)
JP (1) JP6922766B2 (zh)
KR (1) KR20190093166A (zh)
CN (1) CN110091345A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111546338A (zh) * 2020-05-08 2020-08-18 华为技术有限公司 一种机器人的控制方法、装置、机器人以及存储介质
CN114615947A (zh) * 2019-10-10 2022-06-10 迈迪新球株式会社 基于视线检测的智能眼镜显示装置及其方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117412839A (zh) * 2021-06-10 2024-01-16 索尼集团公司 护理机器人

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007130691A (ja) * 2005-11-08 2007-05-31 Advanced Telecommunication Research Institute International コミュニケーションロボット
CH709251A2 (de) * 2014-02-01 2015-08-14 Sandrine Gostanian-Nadler Verfahren und Vorrichtung für Telepräsenz.
CN104951808A (zh) * 2015-07-10 2015-09-30 电子科技大学 一种用于机器人交互对象检测的3d视线方向估计方法
JP2016068197A (ja) * 2014-09-30 2016-05-09 富士ソフト株式会社 ロボット

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4247149B2 (ja) * 2004-03-30 2009-04-02 株式会社国際電気通信基礎技術研究所 ロボット
JP5186723B2 (ja) * 2006-01-05 2013-04-24 株式会社国際電気通信基礎技術研究所 コミュニケーションロボットシステムおよびコミュニケーションロボットの視線制御方法
JP2007323150A (ja) * 2006-05-30 2007-12-13 Keio Gijuku 人体器官擬似装置
JP2008087140A (ja) * 2006-10-05 2008-04-17 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法
JP5850560B2 (ja) * 2010-07-23 2016-02-03 株式会社国際電気通信基礎技術研究所 遠隔操作ロボット
JP2012040655A (ja) * 2010-08-20 2012-03-01 Nec Corp ロボット制御方法、プログラム、及びロボット
JP6502865B2 (ja) * 2016-01-06 2019-04-17 日本電信電話株式会社 会話支援システム、会話支援装置及び会話支援プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007130691A (ja) * 2005-11-08 2007-05-31 Advanced Telecommunication Research Institute International コミュニケーションロボット
CH709251A2 (de) * 2014-02-01 2015-08-14 Sandrine Gostanian-Nadler Verfahren und Vorrichtung für Telepräsenz.
JP2016068197A (ja) * 2014-09-30 2016-05-09 富士ソフト株式会社 ロボット
CN104951808A (zh) * 2015-07-10 2015-09-30 电子科技大学 一种用于机器人交互对象检测的3d视线方向估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DOUGLAS A.HANES ET AL: "Variables contributing to the coordination of rapid eye/head gaze shifts", 《BIOLOGICAL CYBERNETICS》 *
E.S. MAINI ET AL: "Bio-inspired control of eye-head coordination in a robotic anthropomorphic head", 《THE FIRST IEEE/RAS-EMBS INTERNATIONAL CONFERENCE ON BIOMEDICAL ROBOTICS AND BIOMECHATRONICS 2006》 *
MASANORI KIDO ET AL: "Developing a robot that performs tasks of developmental scales:on gaze control by eye-head coordination", 《SICE ANNUAL CONFERENCE 2011》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615947A (zh) * 2019-10-10 2022-06-10 迈迪新球株式会社 基于视线检测的智能眼镜显示装置及其方法
CN111546338A (zh) * 2020-05-08 2020-08-18 华为技术有限公司 一种机器人的控制方法、装置、机器人以及存储介质
WO2021223611A1 (zh) * 2020-05-08 2021-11-11 华为技术有限公司 一种机器人的控制方法、装置、机器人以及存储介质

Also Published As

Publication number Publication date
EP3599065A1 (en) 2020-01-29
KR20190093166A (ko) 2019-08-08
JP6922766B2 (ja) 2021-08-18
EP3520970A3 (en) 2020-01-29
US20190232501A1 (en) 2019-08-01
JP2019130610A (ja) 2019-08-08
EP3520970A2 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
CN108519676B (zh) 一种头戴式助视装置
JP7342008B2 (ja) 仮想アバタのためのメッシュの合致
JP5887026B2 (ja) ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
JP6913164B2 (ja) 完全な顔画像の眼球周囲およびオーディオ合成
US20220270316A1 (en) Avatar customization for optimal gaze discrimination
US9599821B2 (en) Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
CN110091345A (zh) 互动机器人以及其控制程序
JP7177497B2 (ja) 相手を見つめる自律行動型ロボット
KR20220072879A (ko) 혼합 현실 교정을 위한 안구주위 테스트
CN107749952B (zh) 一种基于深度学习的智能无人摄影方法和系统
CN106019584A (zh) 显示装置、显示装置的控制方法以及程序
JP7355748B2 (ja) 眼球位置合わせを使用した頭部走査整合
US11074737B2 (en) Information processing apparatus and method
CN108421252A (zh) 一种基于ar设备的游戏实现方法和ar设备
JP7488867B2 (ja) プログラムおよびシステム
US20230298287A1 (en) Neutral avatars
CN107065198B (zh) 头戴显示设备的视觉优化方法
CN102798981B (zh) 仿生3d立体成像系统
CN106371220A (zh) 一种用于立体成像及视觉增强的智能眼镜
JP2020052775A (ja) プログラム、仮想空間の提供方法および情報処理装置
JP2023517281A (ja) 仮想および拡張現実ディスプレイシステムのための仮想オブジェクト移動速度曲線
CN106598259A (zh) 一种头戴式设备的输入方法、输入器和vr头戴设备
JP6820299B2 (ja) プログラム、情報処理装置、および方法
US11986728B2 (en) Game processing method and record medium
JP6555665B2 (ja) コミュニケーション装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190806