CN109108960A - 机器人、机器人的控制方法以及存储介质 - Google Patents

机器人、机器人的控制方法以及存储介质 Download PDF

Info

Publication number
CN109108960A
CN109108960A CN201810632765.5A CN201810632765A CN109108960A CN 109108960 A CN109108960 A CN 109108960A CN 201810632765 A CN201810632765 A CN 201810632765A CN 109108960 A CN109108960 A CN 109108960A
Authority
CN
China
Prior art keywords
robot
given object
eye contact
given
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810632765.5A
Other languages
English (en)
Other versions
CN109108960B (zh
Inventor
市川英里奈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN109108960A publication Critical patent/CN109108960A/zh
Application granted granted Critical
Publication of CN109108960B publication Critical patent/CN109108960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015—Face robots, animated artificial faces for imitating human expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Toys (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种机器人、机器人的控制方法以及存储介质。机器人具备：显示部以及可动部，使具有眼部的本装置进行动作；视线识别部，判断是否与给定的对象进行着目光接触；判定部，在由视线识别部判断为与给定的对象进行着目光接触的情况下，判定在目光接触中是否满足与给定的对象有关的给定的条件；以及动作控制部，若由判定部判定为满足与给定的对象有关的给定的条件，则对显示部以及可动部进行控制，使得进行与给定的对象的目光接触的解除。

Description

机器人、机器人的控制方法以及存储介质
本申请基于并要求于2017年6月23日申请的日本特愿2017-123116号的优先权，并通过引用，将其全部内容引入到本申请。
技术领域
本发明涉及机器人、机器人的控制方法以及存储介质。
背景技术
与人进行交流的机器人的开发正在进步。例如，日本特开2014-30865号公报公开了在检测到成为交流的对象的人时进行使视线朝向检测出的人的控制的机器人。
在机器人与人进行交流时，进行相互对视的目光接触是实现顺利的交流所需的。但是，若目光接触的时间过长，则反而有可能减少易亲近度。
发明内容
发明要解决的课题
本发明是鉴于上述那样的情形而完成的，其目的在于，提供一种能够实施使易亲近度提高的目光接触的机器人、机器人的控制方法以及存储介质。
用于解决课题的技术方案
本发明涉及的机器人的一个方式具备：
动作部，使具有眼部的本装置进行动作；
判断部，判断是否与给定的对象进行着目光接触；
判定部，在由所述判断部判断为与所述给定的对象进行着所述目光接触的情况下，判定在所述目光接触中是否满足与所述给定的对象有关的给定的条件；以及
动作控制部，若由所述判定部判定为满足与所述给定的对象有关的所述给定的条件，则对所述动作部进行控制，使得解除与所述给定的对象的所述目光接触。
此外，本发明涉及的机器人的控制方法的一个方式包括：
动作步骤，使具有眼部的机器人进行动作；
判断步骤，判断是否与给定的对象进行着目光接触；
判定步骤，在通过所述判断步骤判断为与所述给定的对象进行着所述目光接触的情况下，判定在所述目光接触中是否满足与所述给定的对象有关的给定的条件；以及
动作控制步骤，若通过所述判定步骤判定为满足与所述给定的对象有关的所述给定的条件，则对所述动作步骤进行控制，使得解除与所述给定的对象的所述目光接触。
此外，本发明涉及的存储介质的一个方式存放有程序，所述程序使具有眼部的机器人的计算机执行如下处理：
动作处理，使所述机器人进行动作；
判断处理，判断是否与给定的对象进行着目光接触；
判定处理，在通过所述判断处理判断为与所述给定的对象进行着所述目光接触的情况下，判定在所述目光接触中是否满足与所述给定的对象有关的给定的条件；以及
动作控制处理，若通过所述判定处理判定为满足与所述给定的对象有关的所述给定的条件，则对所述动作处理进行控制，使得解除与所述给定的对象的所述目光接触。
发明效果
根据本发明，能够提供一种能够实施使易亲近度提高的目光接触的机器人、机器人的控制方法以及存储介质。
在以下的说明中会提出本发明的其他目的和优点，其中一部分将通过说明而变得明确，或者可通过本发明的实践来了解。通过以下特别指出的手段和组合，可实现并得到本发明的目的和优点。
附图说明
附图包含在说明书中并构成说明书的一部分，说明本发明的实施方式，与上述的一般说明以及以下对实施方式的详细说明一同用于解释本发明的原理。
图1是本发明的实施方式涉及的机器人的正视图。
图2是机器人的立体图。
图3是示出机器人的结构的框图。
图4是示出交流履历表的一个例子的图。
图5是示出适当目光接触时间表的一个例子的图。
图6是示出目光接触解除条件表的一个例子的图。
图7是示出目光接触控制处理的流程的流程图。
图8是示出新登记处理的流程的流程图。
具体实施方式
以下，参照附图对本发明的实施方式涉及的机器人进行说明。
本发明的实施方式涉及的机器人100是按照预先设计的动作程序自主地进行动作而使得与位于本装置的周围的给定的对象进行交流的装置。在此，给定的对象是利用机器人100的用户，典型地，是机器人100的所有者、其家人以及朋友等。此外，在给定的对象中，除了人类以外，例如还包括作为宠物而饲养的动物。
如图1以及图2所示，机器人100在外观上具有模仿小型犬的立体的形状。此外，机器人100的外部包装以合成树脂为主要的材料而形成。机器人100具备头部101、躯体部106、左右一对手部107、左右一对脚部108、尾巴部109。头部101、手部107、脚部108、尾巴部109的各部分经由未图示的关节构件装配在躯体部106，并构成为按照控制部110的控制进行动作。此外，头部101具有左右一对耳部102、左右一对眼部103、鼻部104、口部105。另外，将图1的上侧、下侧、左侧、右侧分别作为机器人100的上侧、下侧、右侧、左侧。此外，将图2的上侧、下侧、左上侧、右下侧、左下侧、右上侧分别作为机器人100的上侧、下侧、右侧、左侧、前侧、后侧。
如图3所示，机器人100在功能上具备控制部110、摄像部120、显示部130、可动部140、声音输入输出部150、存储部160、传感器部170、通信部180。这些各部分经由总线BL相互电连接。
控制部110对机器人100整体的动作进行控制。控制部110由具有CPU(CentralProcessing Unit，中央处理单元)、ROM(Read Only Memory，只读存储器)、RAM(RandomAccess Memory，随机存取存储器)的计算机构成。控制部110通过由CPU读出存储在ROM的动作程序并在RAM上执行，从而对机器人100的各部分的动作进行控制。
控制部110通过执行动作程序，从而例如基于从摄像部120、传感器部170等获取的各种数据，生成用于使机器人100进行动作的控制信号并发送到可动部115，由此对机器人100的动作进行控制。
控制部110在功能上具有用户感测部111、面部检测部112、用户确定部113、判定部114、视线识别部115、声音识别部116、表情识别部117、适当目光接触时间设定部118、动作控制部119。
用户感测部111对在机器人100的周围(例如，半径2m以内)存在的用户进行感测。用户感测部111通过后述的摄像部120对机器人100的周围进行摄像，并判定在摄像图像内是否拍摄有人类或动物，由此感测用户。
面部检测部112在由摄像部120得到的摄像图像中检测人类或动物的面部图像。
用户确定部113从面部检测部112检测出的面部图像中提取特征量，并与在存储部160的用户信息数据库中登记的面部信息进行对照，从而确定用户。特征量只要是能够辨别用户的信息即可，例如是将眼睛、鼻子、口部的大小或间隔、皮肤的颜色等外观特征用数值示出的信息。
判定部114在用户和机器人100进行着目光接触时判定是否满足解除目光接触的目光接触解除条件。目光接触解除条件是用于决定是否解除目光接触的条件，例如，可举出目光接触时间达到根据给定的对象而变化的时间等。
视线识别部115基于由摄像部120得到的摄像图像对用户的视线进行识别。视线识别部115例如通过用摄像部120的摄像机追踪用户的眼球的运动并确定三维空间内的视点位置，从而判定用户是否直视机器人100的眼部103。视线识别部115作为判断机器人100和用户是否进行着目光接触的判断部而发挥功能。此外，也可以通过使用户的眼睛移动而使得用户直视机器人100的眼部103，从而与机器人100进行目光接触。
声音识别部116对经由声音输入输出部150获取的声音数据进行分析，对用户的说话内容进行识别。
表情识别部117根据由摄像部120得到的摄像图像包含的用户的面部图像，对用户的表情进行识别。表情识别部117例如提取眼睛、眉毛、眉毛间、鼻子、口部等的形状、相对位置、变化量作为特征量，并与预先在存储于存储部160的表情式样数据库中进行了登记的“喜悦”、“悲伤”、“愤怒”、“恐惧”、“厌恶”、“惊讶”等一般的表情式样的特征量进行对照，由此将最近似的表情式样识别为用户的表情。
适当目光接触时间设定部118参照图4所示的交流履历表，基于各交流的目光接触时间，按每个用户算出适当目光接触时间，并设定在后述的适当目光接触时间表中。
动作控制部119对显示部130以及可动部140进行控制，使机器人100执行各种动作。在使机器人100直视用户的情况下，动作控制部119例如使设置于眼部103的显示部130显示使黑眼球的位置移动而使得直视用户的眼睛的图像。此外，在使机器人100解除与用户的目光接触的情况下，动作控制部119例如使显示部130显示闭眼的图像，或者使头部101向上下左右中的任一方运动，或者使机器人100的朝向改变，从而移开视线。
另外，用户感测部111、面部检测部112、用户确定部113、判定部114、视线识别部115、声音识别部116、表情识别部117、适当目光接触时间设定部118、动作控制部119可以由一个计算机构成，也可以分别由独立的计算机构成。
摄像部120由摄像机构成，对机器人100的周围进行摄像。摄像部120例如设置在鼻部104，对头部101的前方进行摄像，生成数字图像数据并输出。摄像机装配在能够进行动作使得改变摄像机所朝的方向的电机驱动的架台(万向架(gimbal)等)，构成为能够追踪用户的面部等。
显示部130由液晶显示器(LCD：Liquid Crystal Display)、有机EL(ElectroLuminescence，电致发光)显示器等显示器和对显示器进行驱动的显示驱动电路等构成，在显示器上显示各种图像。显示部130设置在眼部103，基于动作控制部119的控制，除了显示对视、移开视线、闭眼等表示机器人100的眼睛的运动的图像以外，还能够实时地显示用摄像部120拍摄的动态图像、静止图像，或者能够显示消息文章。
可动部140是按照控制部110的控制进行给定的运动的部位。可动部140由头部101、手部107、脚部108、尾巴部109等被驱动构件、对被驱动构件进行驱动的电机、致动器等驱动构件、以及对驱动构件进行驱动控制的驱动电路构成。可动部116基于动作控制部119的控制，按照从驱动电路供给的驱动信号由驱动构件对被驱动构件进行驱动，由此，例如进行使手脚运动的动作、使头向上下左右摇动的动作、改变朝向的动作、进行移动的动作。
显示部130以及可动部140作为基于动作控制部119的控制进行各种动作的动作部而发挥功能。
声音输入输出部150由传声器、扬声器等构成，进行声音的输入输出处理。声音输入输出部150例如对由设置在耳部103的传声器进行了声音收集的声音进行放大，并实施A/D(Analog to Digital，模数)变换、编码等信号处理，将数字声音数据输出到控制部110。此外，声音输入输出部150对从控制部110供给的声音数据实施解码、D/A(Digital toAnalog，数模)变换、放大等信号处理，将模拟声音信号从例如设置在口部106的扬声器输出。机器人100用传声器对用户的声音进行声音收集，并基于控制部110的控制，将与用户的说话内容对应的声音从扬声器输出，由此能够与用户进行声音会话而取得交流。声音输入输出部150作为声音输入部以及声音输出部而发挥功能。
存储部160对控制部110控制机器人100的各部分所需的各种数据进行存储。存储部160例如由闪速存储器、HDD(Hard Disc Drive，硬盘驱动器)等非易失性的存储装置构成。存储部160具有存放面部信息等与各用户相关的信息的用户信息数据库、存放一般的表情式样的信息的表情式样数据库等。此外，存储部160将交流履历表、适当目光接触时间表、目光接触解除条件表分别存储在给定的存储区域。
图4所示的交流履历表是按照时间序列对作为给定的对象的用户的交流日期和时间、目光接触时间进行汇总的表。交流履历表将“用户ID”、“交流开始日期和时间”、“交流结束日期和时间”、“目光接触时间”的各数据建立对应而构成。
“用户ID”示出机器人100用于辨别进行了交流的用户的识别符。“交流开始日期和时间”以及“交流结束日期和时间”示出交流的开始日期和时间以及结束日期和时间。“目光接触时间”示出机器人100与用户相互注视的时间。关于该“目光接触时间”，在从交流的开始起直到结束为止进行了多次目光接触的情况下，表示将各目光接触时间的总和除以目光接触的次数的平均值。交流履历表在每次机器人100与用户执行交流时被更新。
图5所示的适当目光接触时间表是按每个用户设定了适当目光接触时间的表。所谓适当目光接触时间，是用户在不对机器人100抱有压迫感、不适感等否定的感情的情况下能够与机器人100执行目光接触的、根据给定的对象而变化的时间。适当目光接触时间表在每次机器人100与用户进行目光接触时被更新。
图6所示的目光接触解除条件表是规定了用于解除目光接触的条件的表。在图6所示的目光接触解除条件表中，规定了三个条件，作为“第一条件”，规定了目光接触时间达到适当目光接触时间，作为“第二条件”，规定了作为用户发出的声音内容而检测到“害怕”、“不愉快”、“讨厌”中的任一者，作为“第三条件”，规定了作为用户的表情而检测到“愤怒”、“厌恶”、“恐惧”中的任一者。
传感器部170获取机器人100周边的状况等各种信息，并适当地变换为给定的信号而供给到控制部110。传感器部170包括基于从外部接收的GPS(Global PositioningSystem，全球定位系统)信号对本装置的位置进行检测的GPS传感器、感测本装置的运动的加速度传感器、感测本装置的旋转的陀螺仪传感器、感测本装置的方位角的地磁传感器、感测本装置的周围的温度的温度传感器、感测本装置的周围的气压的气压传感器等。
通信部180由无线通信模块以及天线构成，与外部装置进行数据通信。
接着，参照图7所示的流程图对机器人100执行的目光接触控制处理进行说明。目光接触控制处理是进行控制而使得与用户适当地实施目光接触的处理。控制部110响应于用户感测部111在机器人100周围感测到用户并且面部检测部112检测到用户的面部图像而开始进行目光接触控制处理。
若开始进行目光接触控制处理，则控制部110首先确定用户感测部111感测到的用户(步骤S101)。控制部110(用户确定部113)从面部检测部112检测出的用户的面部图像提取特征量，并将该特征量与在存储部160的用户信息数据库中登记的面部信息进行对照。在用户信息数据库中登记有与特征量一致的面部信息的情况下，用户确定部113通过获取与该面部信息对应的用户ID，从而确定用户。此外，在没有与提取出的特征量一致的面部信息的情况下，用户确定部113判断为用户感测部111感测到的用户未登记到用户信息数据库，不能进行确定。
接着，控制部110判定是否能够确定用户感测部111感测到的用户(步骤S102)。在判定为能够确定用户的情况下(步骤S102；是)，控制部110(动作控制部119)对可动部140以及显示部130进行控制，使得直视用户的眼睛(步骤S103)。例如，在用户的眼睛的位置处于机器人100的上方的情况下，动作控制部119控制可动部140，使头部101向上运动，使得头部101的前面(面部区域)朝向用户的面部的方向，并控制显示部130，使其显示黑眼球移动到看用户眼睛的位置的图像。
接着，控制部110(视线识别部115)判定用户是否在直视机器人100的眼部103(步骤S104)。
在判定用户未直视机器人100的眼部103的情况下(步骤S104；否)，用户感测部111判定用户是否在机器人100的周围(步骤S105)。用户感测部111基于由摄像部120得到的摄像图像，判定用户是否依然在机器人100的周围。在判定为用户不在机器人100的周围的情况下，即，在判定为用户远离了机器人100的情况下(步骤S105；否)，控制部110使处理跳转到步骤S114。另一方面，在判定为用户在机器人100的周围的情况下(步骤S105；是)，控制部110使处理返回到步骤S104，待机至用户直视机器人100的眼部103为止。
在步骤S104中，在判定为用户在直视机器人100的眼部103的情况下，即，在判定为机器人100与用户进行着目光接触的情况下(步骤S104；是)，控制部110开始进行目光接触时间的计量(步骤S106)。控制部110使作为计时部而内置于CPU的计时器开始计时，对目光接触时间进行计量。
在执行目光接触的过程中，控制部110(判定部114)在步骤S107、S108中判定是否满足在目光接触解除条件表中规定的目光接触解除条件。判定部114首先为了判定第一条件而判定目光接触时间是否达到了适当目光接触时间(步骤S107)。控制部110参照存储部160的适当目光接触时间表，根据计时器的计时值是否达到与在步骤S101中获取的用户ID建立对应的适当目光接触时间来进行判定。
在判定为目光接触时间未达到适当目光接触时间的情况下(步骤S107；否)，即，在判定为不满足第一条件的情况下，判定部114为了判定第二条件以及第三条件而判定是否感测到了用户的否定的反应(步骤S108)。在声音识别部116识别出的用户的声音内容相当于“害怕”、“不愉快”、“讨厌”中的任一者的情况下，或者在表情识别部117识别出的用户的表情相当于“愤怒”、“厌恶”、“恐惧”中的任一者的情况下，判定部114判定为感测到了用户的否定的反应。
在判定为未感测到用户的否定的反应的情况下(步骤S108；否)，即，在判定为目光接触解除条件均不满足的情况下，视线识别部115判定用户是否移开了视线(步骤S109)。在判定为用户未移开视线的情况下(步骤S109；否)，控制部110判断为目光接触在继续，使处理返回到步骤S107，重复进行目光接触时间是否达到了适当目光接触时间的判定。
在步骤S107中判定为目光接触时间达到了适当目光接触时间的情况下(步骤S107；是)，或者在步骤S108中判定为感测到了用户的否定的反应的情况下(步骤S108；是)，控制部110判断为满足目光接触解除条件，对可动部140以及显示部130进行控制使得解除目光接触(步骤S110)。具体地，控制部110(动作控制部119)控制显示部130，使其显示黑眼球移动到使视线朝向用户的眼睛以外的位置的图像，或者控制可动部140而使头部101运动，使得头部101的前面(面部区域)朝向用户的面部的方向以外的方向。
在执行步骤S110之后，或者在步骤S109中判定为用户移开了视线的情况下(步骤S109；是)，控制部110停止目光接触时间的计量(步骤S111)。此时，控制部110停止计时器的计时，将计时值作为目光接触时间而存储到RAM等。
在结束了目光接触时间的计量之后，适当目光接触时间设定部118参照适当目光接触时间表，算出与此次实施了目光接触的用户的用户ID建立对应的适当目光接触时间和此次的目光接触时间的平均值，并存放到适当目光接触时间表而更新为新的适当目光接触时间。像这样，各用户的适当目光接触时间在与机器人100的交流中在每次实施目光接触时随时进行更新，并进行修正，使得成为对用户而言更优选的时间。
接下来，控制部110(用户感测部111)判定用户是否在机器人100的周围(步骤S113)。用户感测部111基于由摄像部120得到的摄像图像，判定用户是否在机器人100的周围。在判定为用户在机器人100的周围的情况下(步骤S113；是)，控制部110判断为与用户的交流在继续，使处理返回到步骤S103，再次执行用于与用户进行目光接触的处理。
另一方面，在判定为用户不在机器人100的周围的情况下，即，在判定为用户远离机器人100而使交流中断的情况下(步骤S113；否)，控制部110对交流履历进行更新(步骤S114)。控制部110读出存储于RAM的此次的交流中的目光接触时间，与用户ID、交流日期和时间一起追加到交流履历表。另外，在此次的交流中进行了多次目光接触的情况下，算出目光接触时间的平均值并存放到交流履历表。在执行了步骤S114之后，控制部110结束目光接触控制处理。
在此，参照图8所示的流程图对在步骤S102中判定为不能确定用户的情况下(步骤S102；否)执行的新登记处理(步骤S115)进行说明。新登记处理通过进行控制使得在与新的用户的交流中进行目光接触并获取目光接触时间，从而执行对新的用户的适当目光接触时间进行登记的、整体上与目光接触控制处理相同的处理。
若开始进行新登记处理，则控制部110(动作控制部119)对可动部140以及显示部130进行控制，使得直视用户的眼睛(步骤S201)。
接着，控制部110(视线识别部115)判定用户是否在直视机器人100的眼部103(步骤S202)。在判定为用户未直视机器人100的眼部103的情况下(步骤S202；否)，控制部110(用户感测部111)判定用户是否在机器人100的周围(步骤S203)。在判定为用户在机器人100的周围的情况下(步骤S203；是)，控制部110使处理返回到步骤S202，待机至用户直视机器人100的眼部103为止。
在步骤S202中，在判定为用户在直视机器人100的眼部103的情况下(步骤S202；是)，控制部110开始目光接触时间的计量(步骤S204)。
在机器人100与用户进行目光接触的期间，控制部110为了判定目光接触解除条件的第二条件以及第三条件，而判定是否感测到用户的否定的反应(步骤S205)。在判定为未感测到用户的否定的反应的情况下(步骤S205；否)，控制部110判断为不满足第二条件以及第三条件，并判定用户是否移开了视线(步骤S206)。在判定为用户未移开视线的情况下(步骤S206；否)，控制部110判断为目光接触在继续，使处理返回到步骤S205。
在步骤S205中，在判定为感测到否定的反应的情况下(步骤S205；是)，控制部110(动作控制部119)对显示部130以及可动部140进行控制，使得解除目光接触(步骤S207)。
在执行了步骤S207之后，或者在步骤S206中判定为用户移开了视线的情况下(步骤S206；是)，控制部110停止目光接触时间的计量(步骤S208)。
在结束了目光接触时间的计量之后，适当目光接触时间设定部118生成此次实施了目光接触的用户的用户ID，并将计时器的计时值作为适当目光接触时间而新登记到适当目光接触时间表(步骤S209)。
接下来，用户感测部111判定用户是否在机器人100的周围(步骤S210)。在判定为用户在机器人100的周围的情况下(步骤S210；是)，控制部110判断为与用户的交流在继续，使处理返回到步骤S201，再次执行用户和机器人100用于进行目光接触的处理。
在判定为用户不在机器人100的周围的情况下，即，在判定为用户远离机器人100而使交流中断的情况下(步骤S210；否)，或者，在步骤S203中判定为“否”的情况下，控制部110将与新的用户相关的数据追加到交流履历表而进行更新(步骤S211)。在执行了步骤S211之后，控制部110结束新登记处理。在结束新登记处理后，控制部110在执行上述的步骤S114之后结束目光接触控制处理。
如上所述，根据本实施方式，机器人100在执行与作为给定的对象的用户的交流的过程中，在进行了目光接触时，判定是否满足预先设定的目光接触解除条件，并基于判定结果对显示部130以及可动部140进行控制。目光接触解除条件是用于解除与用户的目光接触的条件，通过使用该目光接触解除条件，从而目光接触一直实施到达到反映了过去的实施时间的适当目光接触时间为止，此外，在达到适当目光接触时间之前感测到用户的否定的反应时被解除。因此，机器人100能够实施不对用户造成不适感的目光接触，能够使易亲近度提高。
另外，本发明并不限定于上述的实施方式，能够进行各种变形以及应用。所述的实施方式也可以像以下那样进行变形。
在上述的实施方式中，适当目光接触时间设定部118在设定各用户的适当目光接触时间时，算出存放在交流履历表中的每个用户的目光接触时间的平均值，将该平均值设定为适当目光接触时间。但是，适当目光接触设定部118也可以构成为，考虑目光接触的解除主要原因而设定适当目光接触时间。例如，适当目光接触设定部118可以在满足在图6所示的目光接触解除条件表中设定的目光接触解除条件中的第一条件的情况下，将适当目光接触时间设定得比更新前长与给定的对象有关的给定时间的量，在满足第二条件以及第三条件的情况下，将适当目光接触时间设定得比更新前短与给定的对象有关的给定时间相应的量。由此，能够将用户的针对与机器人100的目光接触的感情的变化准确地反馈到适当目光接触时间，能够实施更适当的目光接触。
在上述的实施方式中，在用户感测部111感测到在机器人100的周围存在用户的情况下，基于在适当目光接触时间表中设定的适当目光接触时间实施了目光接触。但是，也可以根据机器人100的头部101与用户感测部111感测到的用户的面部的距离，适当地变更适当目光接触时间而实施目光接触。例如，可以使用由摄像部120得到的图像数据通过三角测量的原理来计算从机器人100的头部101到用户的面部的距离(由距离测定部测定出的被摄体距离)，被摄体距离越近，则从在适当目光接触时间表中设定的适当目光接触时间减少与给定的对象有关的给定时间，被摄体距离越远，则对在适当目光接触时间表中设定的适当目光接触时间加上与给定的对象有关的给定时间，从而实施目光接触(修正部对适当目光接触时间的修正)。由此，能够根据机器人100与用户的距离对目光接触进行调整，能够实施更适当的目光接触。
在上述的实施方式中，设为将交流履历表等各种表存储在机器人100具备的存储部160中而进行了说明。但是，这些数据也可以存储在外部存储装置等中。机器人100也可以构成为，经由通信网络从能够通信的外部存储装置适当地获取必要的数据。此外，在上述的实施方式中，设为机器人100具备的控制部110对各部分的动作进行控制而进行了说明。但是，机器人100也可以构成为，从外部装置获取指示命令，并按照获取的指示命令进行行动。
例如，机器人100也可以构成为，不仅从机器人100具备的传感器获取检测数据等，还从配置在外部的各种传感器获取检测数据等。
在上述的实施方式中，控制部110的CPU执行的动作程序预先存储于ROM等。然而，本发明并不限定于此，也可以通过将用于执行上述的各种处理的动作程序安装到已有的通用计算机、框架、工作站等，从而作为相当于上述的实施方式涉及的机器人的装置而发挥功能。
这样的程序的提供方法是任意的，例如，可以存放在计算机可读的记录介质(软盘、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM)等而进行分发，也可以将程序存放在互联网等网络上的贮存器并通过对其进行下载来提供。
此外，在通过OS(Operating System，操作系统)与应用程序的分担或OS与应用程序的协作来执行上述处理的情况下，也可以仅将应用程序存放在记录介质、贮存器。此外，还能够将程序叠加于载波并经由网络进行发布。例如，也可以将程序公布在网络上的公告板(Bulletin Board System：BBS)，并经由网络对程序进行发布。而且，也可以构成为，启动该程序，并在OS的控制下与其它应用程序同样地执行，从而能够执行上述的处理。
本发明能够在不脱离本发明的广义的精神和范围的情况下实现各种各样的实施方式以及变形。此外，前述的实施方式用于对本发明进行说明，并不限定本发明的范围。即，本发明的范围不是由实施方式示出，而是由权利要求书示出。而且，在权利要求书内以及在与其等同的发明的意义的范围内实施的各种各样的变形视为本发明的范围内。

Claims (20)

1.一种机器人，具备：
动作部，使具有眼部的所述机器人进行动作；
判断部，判断是否与给定的对象进行着目光接触；
判定部，在由所述判断部判断为与所述给定的对象进行着所述目光接触的情况下，判定在所述目光接触中是否满足与所述给定的对象有关的给定的条件；以及
动作控制部，若由所述判定部判定为满足与所述给定的对象有关的所述给定的条件，则对所述动作部进行控制，使得解除与所述给定的对象的所述目光接触。
2.根据权利要求1所述的机器人，其中，
还具备：摄像部，配置在所述眼部的周边，对所述给定的对象进行摄像，
所述判断部基于由所述摄像部对所述给定的对象进行摄像而得到的图像，判断是否与所述给定的对象进行着所述目光接触。
3.根据权利要求1所述的机器人，其中，
还具备：计时部，对从所述目光接触开始时起的经过时间进行计时，
在由所述计时部计时的所述经过时间达到了根据所述给定的对象而变化的时间的情况下，所述判定部判定为满足与所述给定的对象有关的所述给定的条件。
4.根据权利要求1所述的机器人，其中，
还具备：
声音输入部，输入声音；以及
声音识别部，对所述声音输入部输入的所述给定的对象的所述声音的内容进行识别，
在所述声音识别部识别出的所述声音的内容为预先决定的内容的情况下，所述判定部判定为满足与所述给定的对象有关的所述给定的条件。
5.根据权利要求4所述的机器人，其中，
所述预先决定的内容是在起因于所述目光接触而使所述给定的对象对所述机器人有了否定的反应时作为所述声音而发出的内容。
6.根据权利要求1所述的机器人，其中，
还具备：表情识别部，对所述给定的对象的表情进行识别，
在所述表情识别部识别出的所述表情为预先决定的表情的情况下，所述判定部判定为满足与所述给定的对象有关的所述给定的条件。
7.根据权利要求6所述的机器人，其中，
所述预先决定的表情是起因于所述目光接触而使所述给定的对象对所述机器人有了否定的反应时示出的表情。
8.根据权利要求1所述的机器人，其中，
所述动作部包括可动的可动部，
所述动作控制部通过使所述可动部运动，从而解除与所述给定的对象的所述目光接触。
9.根据权利要求8所述的机器人，其中，
所述可动部具有颈关节，
所述动作控制部通过使所述颈关节运动，从而变更所述机器人的面部方向，解除与所述给定的对象的所述目光接触。
10.根据权利要求1所述的机器人，其中，
所述动作部包括对图像进行显示的显示部，
所述动作控制部通过变更显示于所述显示部的所述图像，从而解除与所述给定的对象的所述目光接触。
11.根据权利要求10所述的机器人，其中，
在所述眼部具有所述显示部，所述动作控制部通过变更所述眼部的所述图像，从而解除与所述给定的对象的所述目光接触。
12.根据权利要求1所述的机器人，其中，
所述动作部包括使所述机器人移动的移动部，
所述动作控制部通过使所述移动部运动，从而解除与所述给定的对象的所述目光接触。
13.根据权利要求3所述的机器人，其中，
还具备：
距离测定部，测定所述给定的对象与所述机器人的距离；以及
修正部，对根据所述给定的对象而变化的时间进行修正，
所述修正部根据所述给定的对象与所述机器人的距离对根据所述给定的对象而变化的时间进行修正。
14.根据权利要求13所述的机器人，其中，
所述给定的对象与所述机器人的距离越近，所述修正部将根据所述给定的对象而变化的时间修正得越短，所述给定的对象与所述机器人的距离越远，所述修正部将根据所述给定的对象而变化的时间修正得越长。
15.根据权利要求3所述的机器人，其特征在于，
还具备：
修正部，对根据所述给定的对象而变化的时间进行修正；
声音输入部，输入声音；
声音识别部，对所述声音输入部输入的所述给定的对象的所述声音的内容进行识别；以及
表情识别部，对所述给定的对象的表情进行识别，
在由所述计时部计时的所述经过时间达到了根据所述给定的对象而变化的时间的情况下，所述修正部将根据所述给定的对象而变化的时间修正为更长的时间，
在所述声音识别部识别出的所述声音包含给定的语言的情况下，所述修正部将根据所述给定的对象而变化的时间修正为更短的时间，
在所述表情识别部识别出的所述表情包含给定的表情的情况下，所述修正部将根据所述给定的对象而变化的时间修正为更短的时间。
16.根据权利要求15所述的机器人，其特征在于，
所述给定的语言是在起因于所述目光接触而使所述给定的对象对所述机器人感到恐惧心、警惕心的情况下发出的语言，
所述给定的表情是在起因于所述目光接触而使所述给定的对象对所述机器人感到所述恐惧心、所述警惕心的情况下示出的表情。
17.根据权利要求6所述的机器人，其中，
所述动作控制部根据所述表情识别部的表情识别结果来改变所述动作部的控制。
18.根据权利要求1至17中的任一项所述的机器人，其中，
所述给定的对象是人或动物。
19.一种机器人的控制方法，包括：
动作步骤，使具有眼部的机器人进行动作；
判断步骤，判断是否与给定的对象进行着目光接触；
判定步骤，在通过所述判断步骤判断为与所述给定的对象进行着所述目光接触的情况下，判定在所述目光接触中是否满足与所述给定的对象有关的给定的条件；以及
动作控制步骤，若通过所述判定步骤判定为满足与所述给定的对象有关的所述给定的条件，则对所述动作步骤进行控制，使得解除与所述给定的对象的所述目光接触。
20.一种存储介质，存放有程序，所述程序使具有眼部的机器人的计算机执行如下处理：
动作处理，使所述机器人进行动作；
判断处理，判断是否与给定的对象进行着目光接触；
判定处理，在通过所述判断处理判断为与所述给定的对象进行着所述目光接触的情况下，判定在所述目光接触中是否满足与所述给定的对象有关的给定的条件；以及
动作控制处理，若通过所述判定处理判定为满足与所述给定的对象有关的所述给定的条件，则对所述动作处理进行控制，使得解除与所述给定的对象的所述目光接触。
CN201810632765.5A 2017-06-23 2018-06-19 机器人、机器人的控制方法以及存储介质 Active CN109108960B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-123116 2017-06-23
JP2017123116A JP2019005842A (ja) 2017-06-23 2017-06-23 ロボット、ロボットの制御方法及びプログラム

Publications (2)

Publication Number Publication Date
CN109108960A true CN109108960A (zh) 2019-01-01
CN109108960B CN109108960B (zh) 2022-03-01

Family

ID=64691841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810632765.5A Active CN109108960B (zh) 2017-06-23 2018-06-19 机器人、机器人的控制方法以及存储介质

Country Status (3)

Country Link
US (1) US10836041B2 (zh)
JP (1) JP2019005842A (zh)
CN (1) CN109108960B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111546338A (zh) * 2020-05-08 2020-08-18 华为技术有限公司 一种机器人的控制方法、装置、机器人以及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019101492A (ja) * 2017-11-28 2019-06-24 トヨタ自動車株式会社 コミュニケーション装置
JP7107017B2 (ja) * 2018-06-21 2022-07-27 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
JP7273538B2 (ja) * 2019-02-26 2023-05-15 パナソニックホールディングス株式会社 装置、方法、及びプログラム
US11376743B2 (en) * 2019-04-04 2022-07-05 Joyhaptics Oy Systems and methods for providing remote touch
US11376733B2 (en) * 2019-06-11 2022-07-05 Facebook Technologies, Llc Mechanical eyeball for animatronic devices
KR102314385B1 (ko) * 2019-08-08 2021-10-19 엘지전자 주식회사 로봇 및 그의 제어 방법
US11072075B2 (en) * 2019-10-24 2021-07-27 Disney Enterprises, Inc. Eye contact sensing and control for robotic characters
CN111090305A (zh) * 2019-11-27 2020-05-01 新华蓝海(北京)人工智能技术有限公司 一种3d智能税务服务设备
EP4073612A4 (en) * 2019-12-13 2024-01-03 Zoom Video Communications, Inc. ERROR CORRECTION AND EXTRACTION IN REQUEST DIALOGS
US20220222853A1 (en) * 2020-12-22 2022-07-14 Industrial Technology Research Institute Method and device for calculating the distance between eyes and the eyes? target

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003117866A (ja) * 2001-10-16 2003-04-23 Nec Corp ロボット装置及びその制御方法
JP2005202076A (ja) * 2004-01-14 2005-07-28 Sony Corp 発話制御装置及び方並びにロボット装置
JP2005279896A (ja) * 2004-03-30 2005-10-13 Advanced Telecommunication Research Institute International ロボット
CN1835828A (zh) * 2003-08-12 2006-09-20 株式会社国际电气通信基础技术研究所 用于通信机器人的控制系统
JP2007181888A (ja) * 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International コミュニケーションロボットシステム
WO2009031486A1 (ja) * 2007-09-06 2009-03-12 Olympus Corporation ロボット制御システム、ロボット、プログラム及び情報記憶媒体
CN105868694A (zh) * 2016-03-24 2016-08-17 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
CN106346475A (zh) * 2016-11-01 2017-01-25 上海木爷机器人技术有限公司 机器人和机器人控制方法
US9796095B1 (en) * 2012-08-15 2017-10-24 Hanson Robokind And Intelligent Bots, Llc System and method for controlling intelligent animated characters

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9112260D0 (en) * 1991-06-07 1991-07-24 Prineppi Frank J Apparatus for detecting and tracking an object
JPH08339446A (ja) * 1995-06-09 1996-12-24 Sharp Corp 対話装置
US6346950B1 (en) * 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US6292713B1 (en) * 1999-05-20 2001-09-18 Compaq Computer Corporation Robotic telepresence system
US6604021B2 (en) * 2001-06-21 2003-08-05 Advanced Telecommunications Research Institute International Communication robot
WO2004047940A1 (de) * 2002-11-26 2004-06-10 Ramin Assisi Vorrichtung zur augenausrichtung von puppen
US7593546B2 (en) * 2003-03-11 2009-09-22 Hewlett-Packard Development Company, L.P. Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7113848B2 (en) * 2003-06-09 2006-09-26 Hanson David F Human emulation robot system
JP4457983B2 (ja) * 2005-06-27 2010-04-28 ヤマハ株式会社 演奏操作援助装置及びプログラム
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US8909370B2 (en) * 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
JP4857242B2 (ja) * 2007-11-05 2012-01-18 株式会社日立製作所 ロボット
US8092271B2 (en) * 2007-12-20 2012-01-10 Hallmark Cards, Incorporated Interactive toy with positional sensor
US8565922B2 (en) * 2008-06-27 2013-10-22 Intuitive Automata Inc. Apparatus and method for assisting in achieving desired behavior patterns
JP5187517B2 (ja) 2008-11-27 2013-04-24 株式会社デンソーアイティーラボラトリ 情報提供装置、情報提供方法およびプログラム
JP5526942B2 (ja) * 2010-03-31 2014-06-18 ソニー株式会社 ロボット装置、ロボット装置の制御方法およびプログラム
TWI455749B (zh) * 2011-12-06 2014-10-11 Univ Nat Taiwan Science Tech 臉部表情控制裝置
US9079113B2 (en) * 2012-01-06 2015-07-14 J. T. Labs Limited Interactive personal robotic apparatus
US9092021B2 (en) * 2012-01-06 2015-07-28 J. T. Labs Limited Interactive apparatus
FR2989209B1 (fr) * 2012-04-04 2015-01-23 Aldebaran Robotics Robot apte a integrer des dialogues naturels avec un utilisateur dans ses comportements, procedes de programmation et d'utilisation dudit robot
JP5983159B2 (ja) 2012-08-01 2016-08-31 富士通株式会社 視線制御装置、視線制御方法及び視線制御プログラム並びに端末装置
US20150298315A1 (en) * 2013-11-21 2015-10-22 Origami Robotics, Inc. Methods and systems to facilitate child development through therapeutic robotics
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
EP2933071A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems for managing dialogs of a robot
US20150339589A1 (en) * 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
US10157313B1 (en) * 2014-09-19 2018-12-18 Colorado School Of Mines 3D gaze control of robot for navigation and object manipulation
WO2016068262A1 (ja) * 2014-10-29 2016-05-06 京セラ株式会社 コミュニケーションロボット
US10179407B2 (en) * 2014-11-16 2019-01-15 Robologics Ltd. Dynamic multi-sensor and multi-robot interface system
US10613538B2 (en) * 2015-04-22 2020-04-07 Sony Corporation Mobile body control system, control method, and storage medium
US10452816B2 (en) * 2016-02-08 2019-10-22 Catalia Health Inc. Method and system for patient engagement
US10363192B2 (en) * 2016-06-16 2019-07-30 Matthew Casey Device and method for instilling intrinsic motivation regarding eye contact in children affected by eye contact disorders
JP6555665B2 (ja) * 2016-07-28 2019-08-07 日本電信電話株式会社 コミュニケーション装置および方法
JP6544333B2 (ja) * 2016-10-13 2019-07-17 トヨタ自動車株式会社 コミュニケーション装置
US20190102377A1 (en) * 2017-10-04 2019-04-04 Anki, Inc. Robot Natural Language Term Disambiguation and Entity Labeling

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003117866A (ja) * 2001-10-16 2003-04-23 Nec Corp ロボット装置及びその制御方法
CN1835828A (zh) * 2003-08-12 2006-09-20 株式会社国际电气通信基础技术研究所 用于通信机器人的控制系统
JP2005202076A (ja) * 2004-01-14 2005-07-28 Sony Corp 発話制御装置及び方並びにロボット装置
JP2005279896A (ja) * 2004-03-30 2005-10-13 Advanced Telecommunication Research Institute International ロボット
JP2007181888A (ja) * 2006-01-05 2007-07-19 Advanced Telecommunication Research Institute International コミュニケーションロボットシステム
WO2009031486A1 (ja) * 2007-09-06 2009-03-12 Olympus Corporation ロボット制御システム、ロボット、プログラム及び情報記憶媒体
US9796095B1 (en) * 2012-08-15 2017-10-24 Hanson Robokind And Intelligent Bots, Llc System and method for controlling intelligent animated characters
CN105868694A (zh) * 2016-03-24 2016-08-17 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
CN106346475A (zh) * 2016-11-01 2017-01-25 上海木爷机器人技术有限公司 机器人和机器人控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈敏: "《认知计算导论》", 1 April 2017, 华中科技大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111546338A (zh) * 2020-05-08 2020-08-18 华为技术有限公司 一种机器人的控制方法、装置、机器人以及存储介质

Also Published As

Publication number Publication date
US20180370032A1 (en) 2018-12-27
US10836041B2 (en) 2020-11-17
CN109108960B (zh) 2022-03-01
JP2019005842A (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
CN109108960A (zh) 机器人、机器人的控制方法以及存储介质
US11000952B2 (en) More endearing robot, method of controlling the same, and non-transitory recording medium
US20210295099A1 (en) Model training method and apparatus, storage medium, and device
CN110506249B (zh) 信息处理设备、信息处理方法和记录介质
CN109955264B (zh) 机器人、机器人控制系统、机器人的控制方法以及记录介质
CN109086713B (zh) 眼部识别方法、装置、终端及存储介质
JP2013065110A (ja) 検出装置、該検出装置を備えた表示制御装置および撮影制御装置、物体検出方法、制御プログラム、ならびに、記録媒体
EP4340341A2 (en) Electronic device and method for delivering message by same
US20170368678A1 (en) Robot having communication with human, robot control method, and non-transitory recording medium
JP7502520B2 (ja) ロボット、ロボットの制御方法及びプログラム
JP2014071838A (ja) 画像処理装置およびカードゲーム具
US11780098B2 (en) Robot, robot control method, and recording medium
JP6353994B1 (ja) 情報処理システム、情報処理プログラム、情報処理方法、および情報処理装置
JPWO2020105309A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN107870588B (zh) 机器人、故障诊断系统、故障诊断方法以及记录介质
WO2019123744A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230403460A1 (en) Techniques for using sensor data to monitor image-capture trigger conditions for determining when to capture images using an imaging device of a head- wearable device, and wearable devices and systems for performing those techniques
JP2021074361A (ja) 撮影システム、撮影方法、撮影プログラム、及びぬいぐるみ
CN111278611A (zh) 信息处理设备、信息处理方法和程序
US20200198153A1 (en) Electronic device and method for controlling operation of accessory-mountable robot
US20230073513A1 (en) Information processing apparatus, information processing method, and program
US20210387355A1 (en) Information processing device, information processing method, and information processing program
CN118116065A (zh) 动作识别方法、通信系统及电子设备
CN112369768A (zh) 一种腕带设备及vr系统
CN115223236A (zh) 设备控制方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant