CN107053191A - 一种机器人，服务器及人机互动方法 - Google Patents

一种机器人，服务器及人机互动方法 Download PDF

Info

Publication number
CN107053191A
CN107053191A CN201611267452.1A CN201611267452A CN107053191A CN 107053191 A CN107053191 A CN 107053191A CN 201611267452 A CN201611267452 A CN 201611267452A CN 107053191 A CN107053191 A CN 107053191A
Authority
CN
China
Prior art keywords
data
company
simulated
robot
simulated object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611267452.1A
Other languages
English (en)
Other versions
CN107053191B (zh
Inventor
孙文华
傅佳莉
廖衡
张慧敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201611267452.1A priority Critical patent/CN107053191B/zh
Publication of CN107053191A publication Critical patent/CN107053191A/zh
Priority to EP17887623.1A priority patent/EP3563986B1/en
Priority to JP2019536067A priority patent/JP6888096B2/ja
Priority to PCT/CN2017/119107 priority patent/WO2018121624A1/zh
Priority to KR1020197022134A priority patent/KR102328959B1/ko
Priority to US16/457,676 priority patent/US11858118B2/en
Application granted granted Critical
Publication of CN107053191B publication Critical patent/CN107053191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G09B5/125—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously the stations being mobile
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Abstract

本发明实施例提供一种人机交互方法，包括：机器人检测并采集目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的情绪信息。机器人根据所述情绪信息提取情绪特征量，根据所述情绪特征量确定所述目标对象在与所述陪伴对象互动时的情绪模式，并根据所述情绪模式确定所述目标对象对所述陪伴对象的兴趣度；根据所述兴趣度，从所述传感信息中提取所述陪伴对象的行为数据，并对所述行为数据进行筛选获得模拟对象数据；机器人根据模拟对象数据模拟所述陪伴对象。

Description

一种机器人，服务器及人机互动方法
技术领域
本发明涉及一种人工智能设备,特别是具有学习能力的受教式陪伴机器人。
背景技术
业界现有的智能机器人，具备社交情感认知与表达能力，通过云计算、机器人学习技术、声音与面部识别等技术，了解人的特性与感情，从而能够与人进行娱乐互动，表达情绪，交流感情等。随着人工智能的发展和社会的需求，已经出现了儿童教育机器人和陪伴机器人，但是现在的儿童机器人大部分是简单的语音或行为互动，例如简单移动，对话或讲故事，无法针对儿童感兴趣的对象进行机器学习，难以与儿童有情感的交流互动和成长上的帮助。
发明内容
本发明实施例提供一种陪伴机器人，特别是针对儿童的受教式机器人，本发明实施例所提供的机器人能通过长时间的学习，了解儿童的兴趣与习惯，并根据儿童成长过程中不断变化的喜好，自适应的选择儿童喜欢内容与儿童互动。进一步还可以由家长或者监护人控制，选择家长也认同的内容与儿童互动。该机器人能读懂儿童与家长的需求，能够帮助儿童成长，并与儿童分享其感兴趣的事物。在本发明实施例中，机器人陪伴的对象，又称陪伴目标或者目标对象，可以是儿童。现实生活中目标对象(儿童)的看护人或者监护人，称为目标对象(儿童)的陪伴对象。根据本发明实施例，陪伴机器人从影像中提取儿童有反应的周围事件和陪伴对象，筛选合适的数据，整理出模拟对象数据，该模拟对象数据可以称为一个数字人或者数字人资源，该模拟对象数据用于模拟或者描述陪伴对象，机器人用模拟对象数据来模仿陪伴对象，能够模拟现实中儿童的监护人或者父母与儿童互动。本发明实施例中的陪伴机器人能够与儿童有情感的交流互动和成长教育。
本发明实施例的陪伴式机器人首先检测并采集目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的情绪信息。在机器人上设置传感器模组，传感器模组可以包括摄像头，加速度传感器，陀螺仪等等各种合适的传感器。传感器模组可以通过摄像头或者其他传感器，采集陪伴对象的图像、视频或者声音获得陪伴对象的传感信息。还可以进一步的采集环境的图像或者视频来丰富传感信息。通过通过摄像头或者其他传感器采集目标对象的图像或者视频等记载目标对象情绪信息的内容。
机器人根据情绪信息提取情绪特征量，根据所述情绪特征量确定所述目标对象在与所述陪伴对象互动时的情绪模式，并根据所述情绪模式确定所述目标对象对所述陪伴对象的兴趣度；根据所述兴趣度，从所述传感信息中提取所述陪伴对象的行为数据，并对所述行为数据进行筛选获得模拟对象数据。该模拟对象数据用于描述所述陪伴对象。
在一种可能的实现中，目标对象(儿童)与陪伴对象(父母)互动或者交往中，可以通过获得目标对象(儿童)与陪伴对象(父母)过程中的情绪，父母怎样的行为或者语音，儿童微笑或者生气等等。机器人通过对目标对象的情绪信息，能够确定目标的情绪模式，例如开心、愉快、害怕或者讨厌等。还可以分析出其情绪的变化过程等。例如机器人可以捕捉使儿童高兴的行为方式，获取其中的行为数据；捕捉使儿童讨厌的行为方式，获取其中的行为数据，儿童简略反应的行为方式，获取其中的行为数据。综合儿童的兴趣变化过程或者反应的综合态度，判断出儿童对某个人或者物，或者行为的兴趣度。通过目标对象的情绪，可以确定目标对互动对象是否感兴趣记录感兴趣的程度。机器人从陪伴对象的行为数据中，根据兴趣度，筛选出行为数据，行为数据可以包括表情、肢体动作或者语气等等。例如可以筛选出目标对象感兴趣的行为，将描述这些行为的行为数据生成模拟对象数据。机器人后续可以根据虚拟模拟对象来模拟该互动对象。
在一种可能的实施中，可以省去兴趣度的环节，机器人并根据所述情绪模式从所述传感信息中提取所述陪伴对象的行为数据。这样可以形成使得儿童进入某种情绪的模拟对象数据。这种方式，不用整体评价儿童对某个人或物的兴趣度，而是直接建立使得儿童进入某种情绪或者直接安抚儿童，又或者教育儿童的模拟对象数据，机器人根据模拟对象数据来模拟现实中的人或者物。
机器人可以根据该模拟对象数据来模拟陪伴对象。例如可以直接模仿儿童的母亲与儿童互动，特别是儿童母亲暂时不在身边的时候。或者儿童对某个卡通人物特别感兴趣，可以建立与该卡通人物对应的模拟对象数据，模拟该卡通人物与儿童互动。还可以模拟特定的任务，在与儿童互动中对儿童进行教育。帮助儿童成长或者获得知识。
本发明实施例的陪伴式机器人还可以将数据处理的部分放到服务器处理，机器人负责采集采集目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的情绪信息，然后将传感信息和情绪信息发送到业务服务器，由业务服务器完成对信息的分析形成模拟对象数据。然后，将模拟对象数据发送给机器人，机器人获得模拟对象数据后，根据模拟对象数据模拟陪伴对象与陪伴目标互动。
本发明实施例的机器人可以自适应的选择儿童喜欢内容与儿童互动，并且可以根据互动时儿童的情绪选择合适的陪伴对象来模拟。
这各种合适的实施方式中，对行为数据进行筛选获得模拟对象数据的一种可能的实现方式，可以包括：从行为数据进行筛选提取行为关键特征，使用关键特征生成模拟对象数据；其中，所述行为数据包括肢体动作，所述行为关键特征包括肢体关键点或肢体动作单元，所述关键特征通过统计学习或机器学习生成；或者，所述行为数据包括表情，所述行为关键特征点包括面部局部关键点或面部动作单元，所述关键特征通过事先规范或机器学习生成；或者，所述行为数据包括语气，所述行为关键特征点包括陪伴对象语音输入中的声学信号特征，所述关键特征通过事先规范或机器学习生成。
对于筛选行为数据获得模拟对象，一种可能的实现方式还可以由服务或者监护人或者系统提前确定一个模仿约束条件，与模仿约束条件进行匹配，将符合所述模仿约束条件的行为数据生成模拟对象数据。实践中，也许儿童感兴趣或者感觉互动比较高兴的事物或者音视频资料等，不一定对儿童的成长有利，可以通过约束条件，将一些即使感兴趣也要剔除的数据通过筛选去除。还有可能是儿童不非常感兴趣，但是有利于儿童的成长，或者纠正儿童的错误认识，可以通过约束条件，把儿童兴趣度低的行为数据也放入到生成摸你对象数据中的源数据中。更为直接的一种方式，将所述行为数据发送给数据控制终端，接收所述数据终端的选择指令，根据所述选择指令生成模拟对象的数据。这个数据终端可能是一个智能手机或者其上面的应用，父母或者监护人直接在数据终端上进行操作，通过数据终端发出选择指令来成模拟对象的数据。
作为一种可能的方式，数据终端可以和机器人进行通讯，数据终端可以直接向机器人发出指令，模拟特定的对象或方式与儿童互动，进入机器人接受指令工作的模式。这样数据终端持有者(父母或者其他监护人)可以根据更为具体的需求让机器人与儿童互动。
作为一种可能的实现方式，机器人可以存储所述模拟对象数据，生成模拟对象数据库，或者发送到业务服务器，在业务服务器上建立模拟对象数据库。对于新的模拟数据可以不断的增加到模拟对象数据库中。对于机器人需要模拟某个陪伴对象的时候，可以直接从模拟对象数据库中选择合适或者对应的模拟对象数据进行陪伴模仿。
在机器人与儿童的互动中，机器人可以根据当前的情景或者需要，自适应的选择模拟何种人或者物，或者主动播放什么音视频资料。即再次采集所述目标对象的情绪信息或者不断的采集当前儿童的情绪或者环等等，确定当前交互情景，根据所述当前交互情景，从所述模拟对象数据库中选择当前交互使用的模拟对象数据，根据所述当前交互使用的模拟对象数据模拟对应的陪伴对象与所述目标对象互动。
本发明实施例还给出了一种业务服务器，服务器具有处理能力和功能的处理器，能够完成上述方案中与机器人交互的各种方法步骤或者功能。
本发明实施例根据上述的发明内容提供一种陪伴式机器人，服务器和人机交互的方法，机器人从影像中提取陪伴目标有反应的周围事件，筛选合适的数据，显示或播放给儿童互动，凭借情感感知筛选与目标对象互动的内容，与目标对象进行互动，实现更为智能的陪伴功能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例陪伴机器人及使用环境的系统架构示意图；
图2是本发明实施例陪伴机器人产品形态示意图；
图3是本发明实施例陪伴机器人组件示意图；
图4是本发明实施例人机交互方法流程图；
图5是本发明实施例业务服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行进一步从实现实例的角度进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
本发明的陪伴机器人及使用环境的系统架构如图1所示。图1的使用环境下适用于任何场景(比如小区、街道、行政区，省、国家，跨国甚至全球)，包括以下单元：家庭或者儿童看护机构301，包括至少一名儿童303及儿童互动机器人302，室内的至少一个无线接入网络304；儿童的家长(父母或直系亲属，其他监护人等)306以及其随身携带的智能终端305；室外无线接入网络307给智能终端305提供远程的无线网络接入服务；给儿童看护业务提供专业数据服务的儿童看护服务机构306，包括儿童成长云服务器307、儿童成长模型库308和儿童看护知识库309；还包括社会公共服务机构310，给儿童看护服务提供政府公共数据支持，包括但不限于天气预报、医疗服务机构名单、疫情信息、紧急通知等，包括社会公共服务云服务器310、社会公共服务云数据库311；还包括至少一个第三方网络云服务机构312，给儿童看护业务提供细分的专业化的网络云数据服务，比如即时通信、儿童看护业务社交应用、网上音视频服务、网络购物、付款和物流跟踪、社区和医疗机构评价和投票等，包括第三方网络服务的运服务器314、第三方网络服务云数据库315。该使用环境的系统架构还包括网络运营商提供网络服务的互联网320。
本发明实施例的实现的产品形态如图2的400所示，包括：触摸显示屏401用于向目标对象展示图形图像信息，并接收用户的触摸控制信号；扬声器模块407用于向被目标对象提供声音输出信号；麦克风阵列及传感器组402用于检测被目标对象的声音、表情、行为等特征；开始/暂停/紧急按钮403提供被目标对象简单的操作指令并响应紧急情况下用户的中断指令；处理及运算模块404根据麦克风阵列及传感器组402输入的用户状态信号、按钮403的用户操作指令、来自网络的被看护儿童的监护人请求信息、来自网络的儿童看护服务机构的服务指令、第三方网络云服务数据等，计算并输出儿童看护机器人的控制指令，并由儿童看护机器人输出声音、图像、图像、肢体动作以及移动等。儿童看护机器人还包括履带/轮式移动机械装置405、机械手臂406。
本发明一种可行的产品形态为机器人，其核心部件“处理及运算模块”404的一种可行的实施方式如图3所示，包括主板510和其他周边的功能部件。传感器模组501、按钮502分别与主板510的I/O模块连接，麦克风阵列503与主板510的音视频编解码模块连接，主板510的触摸显示控制器接收触摸显示屏504的触控输入并提供显示驱动信号，电机伺服控制器则根据程序指令驱动电机及编码器507驱动履带/轮式移动机械装置405和机械手臂406形成机器人的移动和肢体语言，声音则由音频编解码模块输出经功率放大器推动扬声器508得到。硬件系统还包括主板510上的处理器及存储器，存储器除了记录机器人的算法和执行程序及其配置文件外，也包括机器人执行看护工作时所需的音视频和图像文件等，还包括程序运行时的一些临时文件。主板510的通信模块提供机器人与外部网络的通信功能，优选近程通信如蓝牙、Wifi模块。主板510还包括电源管理模块，通过连接的电源系统505实现设备的电池充放电和节能管理。处理器是其中最为核心的器件，具有运算和处理能力，并且管理和质量其他的器件配合工作。
机器人传感器模组501，检测并采集目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的情绪信息。所述传感信息至少包括视图信息和语音信息中的一种，所述情绪信息至少包括视图信息和语音信息中的一种。可以由摄像头捕捉，同时可以由其他传感器完成或者配合。处理器根据所述情绪信息提取情绪特征量，根据所述情绪特征量确定所述目标对象在与所述陪伴对象互动时的情绪模式，并根据所述情绪模式确定所述目标对象对所述陪伴对象的兴趣度；根据所述兴趣度，从所述传感信息中提取所述陪伴对象的行为数据，并对所述行为数据进行筛选获得模拟对象数据；根据所述模拟对象数据生成行动指令。行为执行模块,用于接收所述处理器的行动指令与所述目标对象进行互动。行为执行模块可以包括包括履带/轮式移动机械装置405、机械手臂406、触摸显示屏401、麦克风等等，能与外界活动的组件。
进一步，作为另一种实现方式，机器人的处理器只是具有简单处理功能，模拟对象数据的处理由业务服务器完成，机器人上还设置有通信模块，通过天线和业务服务器，智能终端等通信。通信模块向业务服务器发送所述目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的所述情绪信息，并接收所述业务服务器发送的模拟对象数据，处理器再获得所述模拟对象数据，根据所述模拟对象数据生成行动指令。
机器人上还有存储器，保存模拟对象数据库以记录所述模拟对象数据。
参阅4，本发明实施例中，机器人与目标对象的交互方法流程图，以下举例说明。其中目标对象以儿童为例。
S101，检测并采集目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的情绪信息。
其中所述传感信息至少包括视图信息和语音信息中的一种，所述情绪信息至少包括视图信息和语音信息中的一种。可以通过机器开启摄像头，对儿童的日程生活进行检测，检测出儿童的表情，心跳，眼神等，判断儿童的情绪，并将该情绪对应时刻的图像捕捉下来获得儿童的情绪信息。
机器人可根据儿童的行为(表情，动作等)捕捉当前时刻的图像或视频，捕捉的图像可以是一幅图像，也可以一个时间段内的几幅图像或视频等，图像的内容可以包括为儿童的行为，周围的环境，儿童关注的事件等，捕捉到的图像可以保存到机器人本地，也可以上传到云端服务器。
S102，根据所述情绪信息提取情绪特征量，根据所述情绪特征量确定所述目标对象在与所述陪伴对象互动时的情绪模式，并根据所述情绪模式确定所述目标对象对所述陪伴对象的兴趣度；根据所述兴趣度，从所述传感信息中提取所述陪伴对象的行为数据，并对所述行为数据进行筛选获得模拟对象数据。
模拟对象数据用于机器人模拟所述陪伴对象，该模拟对象数据用于描述所述陪伴对象。可以认为模拟对象数据是一个数字人数据，或者是数据人资源。获得该模拟对象数据，能够从数据上获得一个数字人的形象。
进一步，一种实施方式，对所述行为数据进行筛选获得模拟对象数据可以是从行为数据进行筛选提取行为关键特征，使用关键特征生成模拟对象数据。其中，所述行为数据包括肢体动作，所述行为关键特征包括肢体关键点或肢体动作单元，所述关键特征通过统计学习或机器学习生成；或者，所述行为数据包括表情，所述行为关键特征点包括面部局部关键点或面部动作单元，所述关键特征通过事先规范或机器学习生成；或者，所述行为数据包括语气，所述行为关键特征点包括陪伴对象语音输入中的声学信号特征，所述关键特征通过事先规范或机器学习生成。
从传感信息(例如视频或图像)中进行视觉特征提取方法举例如下：首先采用有约束的贝叶斯切形状模型方法跟踪人脸的83个关键特征点，然后通过最小化能量函数的方法估计头部的三维刚性运动和三维柔性面部变形。对形成的三维网格图像，采用7个动作单元向量(AUV),分别为AUV6-闭眼、AUV3-眉毛下垂、AUV5-外眉毛上扬、AUV0-上嘴唇上扬、AUV2-嘴唇拉伸、AUV14-唇角下垂，每个AUV是一个包含其单元所有网格顶点的坐标位移的列向量。在用Candide-3脸部模型拟合输入视频序列的同时，也可以得到这些AUV的动画参数，因此最终对视频中的每一幅图像，得到7维面部动画参数作为视觉情感特征。
情感特征降维，包括主分量分析(PCA)、线性判别式分析(LDA)等线性降维方法，还有非线性的流形降维方法，如Isomap和局域线性嵌入(LLE)等，使低维空间中的特征更好地保持了其在高维空间中的几何关系。
连续情感描述空间的理论方法：连续的情感描述认为不同情感是逐渐的、平滑的转变，而情感状态与具有某种维数的空间坐标点一一对应。较为常用的连续情感描述模型有情感轮理论(Emotion Wheel)，还有三维的唤醒度-愉悦度-控制度描述。情感轮理论认为情感分布在一个圆形的结构上，结构的中心是自然原点，即一种具有各种情感因素的状态，但由于这些情感因素在该点的强度太弱而得不到体现。自然原点向周围不同方向扩展，表现为不同的情感，并随着情感强度的变化将同一类情感进行等级细分。同时，同类情感的强弱变化作为第三维进行描述，将情感轮概念扩展到三维空间。根据二维(三维)情感空间和情感轮描述，将视频中情感相关的特征匹配到这些空间中去，就可以进行有效的情感描述或分类。
将提取的特征与视觉情感特征库进行匹配，例如采用Cohn-Kanade视频情感数据库进行匹配。从而识别出对应儿童的情绪特征。
从机器人捕捉的图像或视频中提取事物，通过情绪特征识别出儿童的感兴趣的对象，生成摸你对象数据，机器人根据模拟对象数据模仿该对象的数据后与儿童互动。
事物提取的方式可以采用现有的图像/语音识别算法，其操作可以由机器人本地操作，也可以将图像或视频上传到服务器，由服务器操作。提取的可以是儿童正在观看的内容，或者是与儿童互动的人等。
提取儿童感兴趣的与儿童互动的人的表情，语音，动作等，机器人通过学习获取适合的数据与儿童互动的。对于儿童感兴趣的人(陪伴对象B)，机器人获取陪伴对象B的对话内容，肢体动作，表情，语气；机器人通过对第一对象B的肢体动作、表情、语气进行机器学习训练，生成与儿童互动的模型。
以表情互动为例，具体可包括：搜集儿童A感兴趣时第一对象的表情；提取出感兴趣或不兴趣表情的各个面部动作；使用svm、rf、深度学习等分类算法对面部动作进行儿童感兴趣或不感兴趣的分类；选择儿童感兴趣的面部动作用于机器人表情合成；机器人用学习到的表情与儿童互动。
具体的，可提取并学习面部表情数据。例如：面部动作共14组，包括：内眉毛上移、外眉毛上移、眉毛向下、上眼睑向上、脸颊向上、眼睑收缩、眼睑紧绷、鼻子向上、上嘴唇向上、嘴角拉动、嘴角收缩、下嘴角向上、嘴拉动、嘴张开、下巴向下。
以语音互动为例，具体可包括：搜集儿童A感兴趣时第一对象的语音信号；提取出感兴趣语音信号的各个声学信号；统计感兴趣的表情声学信号的特性；使用感兴趣的声学信号特性合成机器人语音；机器人用学习到的语音与儿童互动。
具体的，可提取并学习声学数据包括基频、语速、清音浊音比等信息。例如：基频信号通过对所有浊音帧的基频求和，再除以浊音帧数；不同情感状态下，基频的均值、范围、方差三个统计参数分布趋势极为相似惊奇基频均值最高，其次是高兴和愤怒，悲伤最低。清音浊音比：浊音段时间和清音段的时间比。高兴、愤怒、惊奇略高于平静情绪，平静情绪高于恐惧和悲伤。语速：字数与语句对应的语音信号持续时间的比值表示，愤怒和惊奇下语速快；高兴和平静次之，恐惧和悲伤语速最慢。因此，通过上述声学信号可达到识别不同情绪的效果。
以肢体动作互动为例，具体可包括：搜集儿童A感兴趣或不感兴趣时第一对象的肢体动作；提取出感兴趣或不兴趣表情的各个肢体动作单元；使用svm、rf、深度学习等分类算法对肢体动作单元进行儿童感兴趣或不感兴趣的分类；选择儿童感兴趣的肢体单元动作用于机器人肢体动作合成；机器人学习到的肢体动作与儿童互动。
具体的，可提取并学习肢体动作数据。例如：动作单元共20组，包括：身体前倾、头部摆动、点头、摇头、抬手、拍手、抓东西、走路、下蹲等；关键点包括共35个，包括头部(4个)、胸腹部(7个)，手臂(一侧6个，共12个)；腿部(一侧6个，共12个)。
取儿童感兴趣的影片图片/视频，机器人通过学习获取适合的数据与儿童互动的。进一步，在日常的生活中，机器人检测和采集儿童的行为信息，这里可以通过前述采集儿童情绪信息的方式相同，即检测和采集的过程一样。或者采集来源为一个。除了前述的判断儿童的情绪，学习与儿童陪伴的陪伴对象，还可以分析采集到的信息确定当前儿童的状态，确定当前的交互情景。例如当前儿童是独自玩耍，还是有父母陪护等。根据当前的交互情景，机器人可以在模拟对象数据库中选择当前交互使用的模拟对象数据，根据当前交互使用的模拟对象数据模拟对应的陪伴对象与所述儿童互动。例如儿童当前说想妈妈，恰好妈妈不在，机器人可以根据之前对妈妈学习生成的与妈妈对应的模拟对象数据模仿妈妈与儿童互动。或者在于父母互动的过程中，儿童表现出对某个知识或者现象感兴趣，机器人可以选择相关的模拟对象数据模拟对应的陪伴对象与所述儿童互动。
服务器或机器人根据接收到的影片图片/视频，分析出儿童所看影片名称，并且根据儿童的动作图片/视频/语音，分析得出儿童对影片中人物的好恶，得出儿童正在收看的影片名称，以及儿童喜爱的偶像名字，甚至儿童喜爱偶像的某个片段等；例如分析出儿童喜爱看《冰雪奇缘》，喜欢爱莎公主。服务器将影片名和偶像名信息在网上查询偶像信息，以便根据偶像信息完成偶像建模，以便让机器人能够模拟儿童感兴趣偶像。
机器人模仿对象的数据处理：对于儿童感兴趣的对象，可储存在机器人的本地数据库中，对儿童不感兴趣的对象，筛选与儿童年龄相符的正能量事物，播放或模仿给儿童观看。
在儿童的不同表情下捕捉的图像，其操作方式也不同。当儿童出现高兴，吃惊等表情时，说明儿童对当前事物很感兴趣，但这些事物不一定适合儿童，此时需要筛选出合适的数据与儿童互动；当儿童出现生气，厌恶等表情时，说明儿童不喜欢当前事物，但当前事物可能会儿童的成长有帮助，此时机器人需要使用这些事物的数据与儿童互动，引导儿童的成长。例如：针对儿童感兴趣的事物，判断该事物是否为历史感兴趣事物：如果是历史感兴趣的事物，机器人可直接从本地的数据库中搜索相关数据，并筛选出与儿童年龄相匹配的进行互动；
例如：从图像中检测出儿童正在看《小王子》的书，机器人在本地数据库中检索“小王子”相关的数据，如果能检索出内容，说明是历史感兴趣事物，机器人可直接参考本地数据库的数据(小王子的插图，小王子的动画视频，小王子的故事语音等)播放或模仿给儿童观看。
如果是首次出现的事物(在本地数据库中没有相关信息)，机器人需要判断该事物对儿童的影响，筛所诉选出正能量信息，具体方法可以为：通过网络服务器搜索获得事物的资料或介绍，确认该事物的特性；例如：从图像中检测出儿童正在看《柯南》的动画片，机器人在网络服务器中查询到该影片会有部分暴力内容，不适合6岁以下的儿童观看，此时机器人将忽略此内容；当从图像中检测出儿童正在看《喜洋洋》的动画片，机器人在网络服务器中查询到该影片适合5岁以下的儿童观看，则将“喜洋洋”相关的数据下载到本地，随时与儿童互动。
机器人直接与家长确认该事物是否能与儿童互动：家长同意后，机器人可直接在网络服务器下载相关数与儿童互动。
针对儿童不喜欢的事物，判断该事物是否为帮助儿童成长的事物。其判断方式可以与家长确认，也可以通过网络服务器确认，具体方式与A步骤类似。当判断为帮助儿童成长的事物时，机器人可以循序渐进的与儿童互动。
机器人可直接播放或模仿事物(表情/音频/动作等)，同时用摄像头检测儿童对事物的反应。
针对儿童喜欢的(表情高兴等)数据，机器人就将就相关数据存储在本地数据库；针对儿童不喜欢的(表情厌恶等)数据：已存储在本地数据库的数据：机器人可直接从本地数据库中删除，也可以与家长确认后确定是否删除；还未存储在本地数据库的数据：机器人可直接不储存，也可以与家长确认后确认是否存储。
在本发明实施例中还给出一种业务服务器，可用是第三方云服务器，儿童成长服务器，或者社会公共云服务器。服务器具有处理及计算能力和功能的处理器，能够完成上述方案中与机器人交互的各种方法步骤或者功能。参与图5，服务器70包括了处理器705，与其他设备进行通信的信号收发器702，存储数据、程序等的存储器706。还可以包括显示器704，输入输出设备(图未示)等等各种适当需要的器件。各种器件通过总线707连接，接收处理器的控制和管理。
服务器与机器人配合，为机器人整理模拟对象数据，并保存模拟对象数据数据库。信号收发器702接收机器人设备发送的目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的情绪信息。如前所述的例子，其中所述传感信息至少包括视图信息和语音信息中的一种，信号收发器702向所述机器人设备发送处理器生成的模拟对象数据。处理器705从所述情绪信息提取情绪特征量，根据所述情绪特征量确定所述目标对象在与所述陪伴对象互动时的情绪模式，并根据所述情绪模式确定所述目标对象对所述陪伴对象的兴趣度；根据所述兴趣度，从所述传感信息中提取所述陪伴对象的行为数据，并对所述行为数据进行筛选获得所述模拟对象数据。如前所述，所述模拟对象数据用于所述机器人模拟所述陪伴对象，该虚拟模拟对象用于描述所述陪伴对象。服务器上的存储器用于保存模拟对象数据库以记录所述模拟对象数据。
作为与任何一种合适的实现方式的结合，一种可能的实现方式，父母持有数据终端，能够直接在数据终端上创建模仿约束条件。机器人或者服务器获得数据后与模仿约束条件进行匹配，将符合所述模仿约束条件的行为数据生成模拟对象数据。或者父母直接通过数据终端指令机器人或者通过服务器指令过该机器人的行为。数据终端可以使机器人配对的远程控制设备，或者还可以是装载有关联应用的智能终端。能够通过机器人的收发器或者服务器的信号收发器，接收数据控制终端发送的选择指令。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (25)

1.一种人机交互方法，其特征在于，所述方法包括：
检测并采集目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的情绪信息，其中所述传感信息至少包括视图信息和语音信息中的一种，所述情绪信息至少包括视图信息和语音信息中的一种；
根据所述情绪信息提取情绪特征量，根据所述情绪特征量确定所述目标对象在与所述陪伴对象互动时的情绪模式，并根据所述情绪模式确定所述目标对象对所述陪伴对象的兴趣度；根据所述兴趣度，从所述传感信息中提取所述陪伴对象的行为数据，并对所述行为数据进行筛选获得模拟对象数据；其中，所述模拟对象数据用于机器人模拟所述陪伴对象，该模拟对象数据用于描述所述陪伴对象。
2.根据权利要求1所述的人机交互的方法，其特征在于，对所述行为数据进行筛选获得模拟对象数据包括：
从行为数据进行筛选提取行为关键特征，使用关键特征生成模拟对象数据；
其中，所述行为数据包括肢体动作，所述行为关键特征包括肢体关键点或肢体动作单元，所述关键特征通过统计学习或机器学习生成；或者，所述行为数据包括表情，所述行为关键特征点包括面部局部关键点或面部动作单元，所述关键特征通过事先规范或机器学习生成；或者，所述行为数据包括语气，所述行为关键特征点包括陪伴对象语音输入中的声学信号特征，所述关键特征通过事先规范或机器学习生成。
3.根据权利要求1所述的人机交互的方法，其特征在于，所述方法还包括：
将所述传感信息和所述情绪信息发送给业务服务器；
则根据所述情绪信息提取情绪特征量，根据所述情绪特征量确定所述目标对象在与所述陪伴对象互动时的情绪模式，并根据所述情绪模式确定所述目标对象对所述陪伴对象的兴趣度；根据所述兴趣度，从所述传感信息中提取所述陪伴对象的行为数据，并对所述行为数据进行筛选获得模拟对象数据包括：
从所述业务服务器获得所述模拟对象数据，其中所述模拟对象数据由所述服务器根据所述情绪信息提取情绪特征量，根据所述情绪特征量确定所述目标对象在与所述陪伴对象互动时的情绪模式，并根据所述情绪模式确定所述目标对象对所述陪伴对象的兴趣度；根据所述兴趣度，从所述传感信息中提取所述陪伴对象的行为数据，并对所述行为数据进行筛选获得。
4.根据权利要求1、2或3所述的方法，其特征在于，对所述行为数据进行筛选获得模拟对象数据，包括：
与模仿约束条件进行匹配，将符合所述模仿约束条件的行为数据生成模拟对象数据。
5.根据权利要求1、2或3所述的方法，其特征在于，所述对所述行为数据进行筛选获得模拟对象数据，包括：
将所述行为数据发送给数据控制终端，接收所述数据终端的选择指令，根据所述选择指令生成模拟对象的数据。
6.根据权利要求1-5所述的任一方法，其特征在于，所述方法还包括所述机器人存储所述模拟对象数据，生成模拟对象数据库。
7.根据权利要求1-5所述的方法，其特征在于，所述方法还包括：
检测并采集环境信息或者再次采集所述目标对象的情绪信息，并确定当前交互情景，
根据所述当前交互情景，从所述模拟对象数据库中选择当前交互使用的模拟对象数据，
根据所述当前交互使用的模拟对象数据模拟对应的陪伴对象与所述目标对象互动。
8.根据权利要求1所述的人机交互方法，其特征在于，所述陪伴对象还包括影音资料，所述传感信息为所述影音资料的视图；
则根据所述情绪模式确定所述目标对象对所述陪伴对象的兴趣度包括：
根据所述情绪模式确定所述影音资料中影视角色或者影视声音的兴趣度。
9.根据权利要求8所述的人机交互方法，其特征在于，所述模拟对象数据还包括与所述影音资料相关的资料，用于向所述目标对象播放所述相关的资料。
10.根据权利要求1-9任一权利要求所述的人机交互方法，其特征在于，所述检测并采集与所述陪伴对象进行互动时所述目标对象的情绪信息，包括：
检测并采集目标对象人脸图像或者视频；
所述根据所述情绪信息提取情绪特征量，根据所述情绪特征量确定所述目标对象在与所述陪伴对象互动时的情绪模式，包括：
从所述人脸图像或者视频中进行视觉特征提取，获得面部动画参数作为视觉情感特征，将提取的所述视觉情感特征与视觉情感特征库进行匹配以识别出所述目标对象的情绪特征并确定所述情绪模式。
11.一种陪伴式机器人，其特征在于，所述机器人包括:
传感器模组，用于检测并采集目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的情绪信息，其中所述传感信息至少包括视图信息和语音信息中的一种，所述情绪信息至少包括视图信息和语音信息中的一种；
处理器,用于根据所述情绪信息提取情绪特征量，根据所述情绪特征量确定所述目标对象在与所述陪伴对象互动时的情绪模式，并根据所述情绪模式确定所述目标对象对所述陪伴对象的兴趣度；根据所述兴趣度，从所述传感信息中提取所述陪伴对象的行为数据，并对所述行为数据进行筛选获得模拟对象数据；根据所述模拟对象数据生成行动指令；
行为执行模块,用于接收所述处理器的行动指令与所述目标对象进行互动。
12.根据权利要求11所述的陪伴式机器人，其特征在于，
所述处理器，具体用于对所述行为数据进行筛选获得模拟对象数据包括：
从行为数据进行筛选提取行为关键特征，使用关键特征生成模拟对象数据；其中，所述行为数据包括肢体动作，所述行为关键特征包括肢体关键点或肢体动作单元，所述关键特征通过统计学习或机器学习生成；或者，所述行为数据包括表情，所述行为关键特征点包括面部局部关键点或面部动作单元，所述关键特征通过事先规范或机器学习生成；或者，所述行为数据包括语气，所述行为关键特征点包括陪伴对象语音输入中的声学信号特征，所述关键特征通过事先规范或机器学习生成。
13.根据权利要求11或12所述的陪伴式机器人，其特征在于，所述机器人还包括：
存储器，用于保存模拟对象数据库以记录所述模拟对象数据；
所述处理器，还用于根据当前交互情景，从所述模拟对象数据库中选择当前交互使用的模拟对象数据；并根据所述模拟对象数据控制所述行为执行模块。
14.根据权利要求11-13任一权利要求所述的陪伴式机器人，其特征在于，所述机器人还包括：
通信模块，用于向业务服务器发送所述目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的所述情绪信息，接收所述业务服务器发送的所述模拟对象数据。
15.根据权利要求10所述的陪伴式机器人，其特征在于，所述处理器，具体用于通过与模仿约束条件进行匹配对所述行为数据进行筛选，将符合所述模仿约束条件的行为数据生成所述模拟对象数据。
16.根据权利要求11或12所述的机器人，其特征在于，
所述通信模块，还用于接收数据控制终端发送的选择指令；
所述处理器，还用于获得所述选择指令，根据所述选择指令对所述行为数据进行筛选生成所述模拟对象数据。
17.根据权利要求11或12所述的陪伴式机器人，其特征在于，
所述传感器模组，还用于检测并采集环境信息；
所述处理器，还用于根据所述环境信息和所述情绪信息确定当前交互情景。
18.一种陪伴式机器人，其特征在于，所述机器人包括:
传感器模组，用于检测并采集目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的情绪信息，其中所述传感信息至少包括视图信息和语音信息中的一种；
通信模块，用于向业务服务器发送所述目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的所述情绪信息，并接收所述业务服务器发送的模拟对象数据，其中所述模拟对象数据由所述服务器根据所述传感信息和所述情绪信息生成，用于描述所述陪伴对象；
处理器,用于获得所述模拟对象数据，根据所述模拟对象数据生成行动指令；
行为执行模块,用于接收所述处理器的行动指令与所述目标对象进行互动。
19.根据权利要求18所述的陪伴式机器人，其特征在于，所述机器人还包括：
存储器，用于保存模拟对象数据库以记录所述模拟对象数据；
所述处理器，还用于根据当前交互情景，从所述模拟对象数据库中选择当前交互使用的模拟对象数据；并根据所述模拟对象数据控制所述行为执行模块。
20.根据权利要求18或19所述的机器人，其特征在于，
所述传感器模组，还用于检测并采集环境信息；
所述处理器，还用于根据所述环境信息和所述情绪信息确定当前交互情景。
21.一种服务器，其特征在于，所述服务器包括：
信号收发器，用于接收机器人设备发送的目标对象的陪伴对象的传感信息、与所述陪伴对象进行互动时所述目标对象的情绪信息，其中所述传感信息至少包括视图信息和语音信息中的一种，向所述机器人设备发送模拟对象数据，其中所述模拟对象数据用于所述机器人模拟所述陪伴对象，该虚拟模拟对象用于描述所述陪伴对象；
处理器，用于从所述情绪信息提取情绪特征量，根据所述情绪特征量确定所述目标对象在与所述陪伴对象互动时的情绪模式，并根据所述情绪模式确定所述目标对象对所述陪伴对象的兴趣度；根据所述兴趣度，从所述传感信息中提取所述陪伴对象的行为数据，并对所述行为数据进行筛选获得所述模拟对象数据。
22.根据权利要求21所述的服务器，其特征在于，
所述处理器，具体用于对所述行为数据进行筛选获得模拟对象数据包括：
从行为数据进行筛选提取行为关键特征，使用关键特征生成模拟对象数据；其中，所述行为数据包括肢体动作，所述行为关键特征包括肢体关键点或肢体动作单元，所述关键特征通过统计学习或机器学习生成；或者，所述行为数据包括表情，所述行为关键特征点包括面部局部关键点或面部动作单元，所述关键特征通过事先规范或机器学习生成；或者，所述行为数据包括语气，所述行为关键特征点包括陪伴对象语音输入中的声学信号特征，所述关键特征通过事先规范或机器学习生成。
23.根据权利要求21或22所述的服务器，其特征在于，所述服务器还包括：
存储器，用于保存模拟对象数据库以记录所述模拟对象数据；
所述处理器，还用于从所述模拟对象数据库中获取当前使用的模拟对象数据或者根据所述当前使用的模拟对象数据生成行动指令；
所述信号收发器，还用于将所述当前使用的模拟对象数据或所述行动指令发给所述机器人设备。
24.根据权利要求21或22所述的服务器，其特征在于，所述处理器，具体用于通过与模仿约束条件进行匹配对所述行为数据进行筛选，将符合所述模仿约束条件的行为数据生成所述模拟对象数据。
25.根据权利要求21或22所述的服务器，其特征在于，
所述信号收发器，还用于接收数据控制终端发送的选择指令；
所述处理器，具体用于获得所述选择指令，根据所述选择指令对所述行为数据进行筛选生成所述模拟对象数据。
CN201611267452.1A 2016-12-31 2016-12-31 一种机器人，服务器及人机互动方法 Active CN107053191B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201611267452.1A CN107053191B (zh) 2016-12-31 2016-12-31 一种机器人，服务器及人机互动方法
EP17887623.1A EP3563986B1 (en) 2016-12-31 2017-12-27 Robot, server and man-machine interaction method
JP2019536067A JP6888096B2 (ja) 2016-12-31 2017-12-27 ロボット、サーバおよびヒューマン・マシン・インタラクション方法
PCT/CN2017/119107 WO2018121624A1 (zh) 2016-12-31 2017-12-27 一种机器人，服务器及人机互动方法
KR1020197022134A KR102328959B1 (ko) 2016-12-31 2017-12-27 로봇, 서버 및 인간-기계 상호 작용 방법
US16/457,676 US11858118B2 (en) 2016-12-31 2019-06-28 Robot, server, and human-machine interaction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611267452.1A CN107053191B (zh) 2016-12-31 2016-12-31 一种机器人，服务器及人机互动方法

Publications (2)

Publication Number Publication Date
CN107053191A true CN107053191A (zh) 2017-08-18
CN107053191B CN107053191B (zh) 2020-05-08

Family

ID=59623644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611267452.1A Active CN107053191B (zh) 2016-12-31 2016-12-31 一种机器人，服务器及人机互动方法

Country Status (6)

Country Link
US (1) US11858118B2 (zh)
EP (1) EP3563986B1 (zh)
JP (1) JP6888096B2 (zh)
KR (1) KR102328959B1 (zh)
CN (1) CN107053191B (zh)
WO (1) WO2018121624A1 (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657852A (zh) * 2017-11-14 2018-02-02 翟奕雲 基于人脸识别的幼儿教学机器人、教学系统、存储介质
CN108161953A (zh) * 2018-02-24 2018-06-15 上海理工大学 一种智能机器人头部系统
WO2018121624A1 (zh) * 2016-12-31 2018-07-05 华为技术有限公司 一种机器人，服务器及人机互动方法
CN108297109A (zh) * 2018-02-24 2018-07-20 上海理工大学 一种智能机器人系统
CN108393898A (zh) * 2018-02-28 2018-08-14 上海乐愚智能科技有限公司 一种智能陪伴方法、装置、机器人及存储介质
CN108537178A (zh) * 2018-04-12 2018-09-14 佘堃 一种智能识别及互动的方法及系统
CN108942941A (zh) * 2018-08-02 2018-12-07 安徽硕威智能科技有限公司 一种教育机器人语音交互系统
CN108960191A (zh) * 2018-07-23 2018-12-07 厦门大学 一种面向机器人的多模态融合情感计算方法及系统
CN109521927A (zh) * 2017-09-20 2019-03-26 阿里巴巴集团控股有限公司 机器人互动方法和设备
CN109635616A (zh) * 2017-10-09 2019-04-16 阿里巴巴集团控股有限公司 互动方法和设备
CN109841122A (zh) * 2019-03-19 2019-06-04 深圳市播闪科技有限公司 一种智能机器人教学系统及学生学习方法
CN109895107A (zh) * 2017-12-07 2019-06-18 卡西欧计算机株式会社 看护机器人、看护方法及记录介质
CN109920422A (zh) * 2019-03-15 2019-06-21 百度国际科技（深圳）有限公司 语音交互方法及装置、车载语音交互设备及存储介质
CN109976513A (zh) * 2019-02-20 2019-07-05 方科峰 一种系统界面设计方法
CN110119715A (zh) * 2019-05-14 2019-08-13 东北师范大学 一种陪伴机器人及情绪识别方法
CN110136499A (zh) * 2018-02-08 2019-08-16 佳纶生技股份有限公司 机器人辅助互动系统及其方法
CN110152314A (zh) * 2018-02-13 2019-08-23 卡西欧计算机株式会社 会话输出系统、会话输出服务器、会话输出方法以及存储介质
CN110287792A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种处于自然教学环境的课堂中学生学习状态实时分析方法
CN110480651A (zh) * 2019-08-20 2019-11-22 深圳市一恒科电子科技有限公司 一种基于交互式陪伴机器人搜索系统的建云方法和系统
CN110576433A (zh) * 2018-06-08 2019-12-17 香港商女娲创造股份有限公司 机器人动作生成方法
CN110576440A (zh) * 2019-09-04 2019-12-17 华南理工大学广州学院 一种儿童陪护机器人及其陪护控制方法
CN110751951A (zh) * 2019-10-25 2020-02-04 智亮君 基于智能镜子的握手交互方法及系统、存储介质
CN111078005A (zh) * 2019-11-29 2020-04-28 恒信东方文化股份有限公司 一种虚拟伙伴创建方法及虚拟伙伴系统
CN111201539A (zh) * 2017-08-23 2020-05-26 索尼互动娱乐股份有限公司 由自主个人伴侣基于描述用户的情景环境的所识别标签来不断地选择场景以供由用户的人工智能模型执行
CN111402640A (zh) * 2020-03-04 2020-07-10 香港生产力促进局 一种儿童教育机器人及其学习资料推送方法
CN111435268A (zh) * 2019-01-11 2020-07-21 合肥虹慧达科技有限公司 基于图像的识别与重建的人机交互方法和使用该方法的系统及装置
CN111832691A (zh) * 2020-07-01 2020-10-27 娄兆文 一种角色替代的可升级多对象智能陪伴机器人
CN111949773A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 一种阅读设备、服务器以及数据处理的方法
CN112199002A (zh) * 2020-09-30 2021-01-08 完美鲲鹏(北京)动漫科技有限公司 基于虚拟角色的交互方法及装置、存储介质、计算机设备
CN112262024A (zh) * 2018-02-15 2021-01-22 得麦股份有限公司 用于增强数字体验的动态机器人配置的系统和方法
CN112667068A (zh) * 2019-09-30 2021-04-16 北京百度网讯科技有限公司 虚拟人物的驱动方法、装置、设备及存储介质
CN113661036A (zh) * 2019-04-16 2021-11-16 索尼集团公司 信息处理装置、信息处理方法以及程序
US11580972B2 (en) * 2019-04-26 2023-02-14 Fanuc Corporation Robot teaching device
CN116627261A (zh) * 2023-07-25 2023-08-22 安徽淘云科技股份有限公司 交互方法、装置、存储介质和电子设备
CN117371338A (zh) * 2023-12-07 2024-01-09 浙江宇宙奇点科技有限公司 一种基于用户画像的ai数字人建模方法及系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
US20180301053A1 (en) * 2017-04-18 2018-10-18 Vän Robotics, Inc. Interactive robot-augmented education system
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
JP2021529382A (ja) 2018-06-19 2021-10-28 エリプシス・ヘルス・インコーポレイテッド 精神的健康評価のためのシステム及び方法
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
KR20210020312A (ko) * 2019-08-14 2021-02-24 엘지전자 주식회사 로봇 및 그의 제어 방법
CN110405794A (zh) * 2019-08-28 2019-11-05 重庆科技学院 一种用于儿童的拥抱机器人及其控制方法
CN111540358B (zh) * 2020-04-26 2023-05-26 云知声智能科技股份有限公司 人机交互方法、装置、设备和存储介质
KR102452991B1 (ko) * 2020-11-11 2022-10-12 (주)이이알에스소프트 모듈형 피지컬 블록 기반의 epl 증강현실 시뮬레이터 시스템
KR102295836B1 (ko) * 2020-11-20 2021-08-31 오로라월드 주식회사 성장형 스마트 토이 장치 및 스마트 토이 시스템
CN115101048B (zh) * 2022-08-24 2022-11-11 深圳市人马互动科技有限公司 科普信息交互方法、装置、系统、交互设备和存储介质
CN117331460A (zh) * 2023-09-26 2024-01-02 武汉北极光数字科技有限公司 基于多维交互数据分析的数字化展厅内容优化方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110131165A1 (en) * 2009-12-02 2011-06-02 Phison Electronics Corp. Emotion engine, emotion engine system and electronic device control method
WO2012141130A1 (ja) * 2011-04-11 2012-10-18 株式会社東郷製作所 被介護者用ロボット
CN103996155A (zh) * 2014-04-16 2014-08-20 深圳市易特科信息技术有限公司 智能交互及心理慰藉机器人服务系统
CN105082150A (zh) * 2015-08-25 2015-11-25 国家康复辅具研究中心 一种基于用户情绪及意图识别的机器人人机交互方法
CN105345818A (zh) * 2015-11-04 2016-02-24 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人
CN105868827A (zh) * 2016-03-25 2016-08-17 北京光年无限科技有限公司 一种智能机器人多模态交互方法和智能机器人

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
US6230111B1 (en) * 1998-08-06 2001-05-08 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
US7689319B2 (en) * 2003-08-12 2010-03-30 Advanced Telecommunications Research Institute International Communication robot control system
JP2006123136A (ja) * 2004-11-01 2006-05-18 Advanced Telecommunication Research Institute International コミュニケーションロボット
JP2007041988A (ja) 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US8909370B2 (en) * 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
JP5157595B2 (ja) * 2008-04-01 2013-03-06 トヨタ自動車株式会社 接客システム及び接客方法
KR20100001928A (ko) * 2008-06-27 2010-01-06 중앙대학교 산학협력단 감정인식에 기반한 서비스 장치 및 방법
JP5391144B2 (ja) * 2010-05-10 2014-01-15 日本放送協会 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置
JP2011253389A (ja) * 2010-06-02 2011-12-15 Fujitsu Ltd 端末および擬似会話用返答情報作成プログラム
CN102375918B (zh) 2010-08-17 2016-04-27 上海科言知识产权服务有限公司 设备间互动虚拟角色系统
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
TWI484452B (zh) * 2013-07-25 2015-05-11 Univ Nat Taiwan Normal 擴增實境學習系統及其方法
US9216508B2 (en) 2014-01-14 2015-12-22 Qualcomm Incorporated Connectivity maintenance using a quality of service-based robot path planning algorithm
JP6053847B2 (ja) * 2014-06-05 2016-12-27 Ｃｏｃｏｒｏ Ｓｂ株式会社 行動制御システム、システム及びプログラム
JP6544693B2 (ja) * 2014-12-25 2019-07-17 エイディシーテクノロジー株式会社 ロボット
CN104767980B (zh) 2015-04-30 2018-05-04 深圳市东方拓宇科技有限公司 一种实时情绪演示方法、系统、装置和智能终端
CN105843118B (zh) 2016-03-25 2018-07-27 北京光年无限科技有限公司 一种机器人交互方法及机器人系统
CN107053191B (zh) * 2016-12-31 2020-05-08 华为技术有限公司 一种机器人，服务器及人机互动方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110131165A1 (en) * 2009-12-02 2011-06-02 Phison Electronics Corp. Emotion engine, emotion engine system and electronic device control method
WO2012141130A1 (ja) * 2011-04-11 2012-10-18 株式会社東郷製作所 被介護者用ロボット
CN103996155A (zh) * 2014-04-16 2014-08-20 深圳市易特科信息技术有限公司 智能交互及心理慰藉机器人服务系统
CN105082150A (zh) * 2015-08-25 2015-11-25 国家康复辅具研究中心 一种基于用户情绪及意图识别的机器人人机交互方法
CN105345818A (zh) * 2015-11-04 2016-02-24 深圳好未来智能科技有限公司 带有情绪及表情模块的3d视频互动机器人
CN105868827A (zh) * 2016-03-25 2016-08-17 北京光年无限科技有限公司 一种智能机器人多模态交互方法和智能机器人

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121624A1 (zh) * 2016-12-31 2018-07-05 华为技术有限公司 一种机器人，服务器及人机互动方法
US11858118B2 (en) 2016-12-31 2024-01-02 Huawei Technologies Co., Ltd. Robot, server, and human-machine interaction method
CN111201539A (zh) * 2017-08-23 2020-05-26 索尼互动娱乐股份有限公司 由自主个人伴侣基于描述用户的情景环境的所识别标签来不断地选择场景以供由用户的人工智能模型执行
CN109521927B (zh) * 2017-09-20 2022-07-01 阿里巴巴集团控股有限公司 机器人互动方法和设备
CN109521927A (zh) * 2017-09-20 2019-03-26 阿里巴巴集团控股有限公司 机器人互动方法和设备
JP2020537206A (ja) * 2017-10-09 2020-12-17 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ ロボットインタラクションのための方法及びデバイス
CN109635616B (zh) * 2017-10-09 2022-12-27 阿里巴巴集团控股有限公司 互动方法和设备
JP7254772B2 (ja) 2017-10-09 2023-04-10 アリババ・グループ・ホールディング・リミテッド ロボットインタラクションのための方法及びデバイス
CN109635616A (zh) * 2017-10-09 2019-04-16 阿里巴巴集团控股有限公司 互动方法和设备
WO2019072104A1 (zh) * 2017-10-09 2019-04-18 阿里巴巴集团控股有限公司 互动方法和设备
CN107657852B (zh) * 2017-11-14 2023-09-22 翟奕雲 基于人脸识别的幼儿教学机器人、教学系统、存储介质
CN107657852A (zh) * 2017-11-14 2018-02-02 翟奕雲 基于人脸识别的幼儿教学机器人、教学系统、存储介质
CN109895107A (zh) * 2017-12-07 2019-06-18 卡西欧计算机株式会社 看护机器人、看护方法及记录介质
CN109895107B (zh) * 2017-12-07 2022-04-08 卡西欧计算机株式会社 看护机器人、看护方法及记录介质
CN110136499A (zh) * 2018-02-08 2019-08-16 佳纶生技股份有限公司 机器人辅助互动系统及其方法
CN110152314A (zh) * 2018-02-13 2019-08-23 卡西欧计算机株式会社 会话输出系统、会话输出服务器、会话输出方法以及存储介质
CN112262024A (zh) * 2018-02-15 2021-01-22 得麦股份有限公司 用于增强数字体验的动态机器人配置的系统和方法
CN108161953A (zh) * 2018-02-24 2018-06-15 上海理工大学 一种智能机器人头部系统
CN108297109A (zh) * 2018-02-24 2018-07-20 上海理工大学 一种智能机器人系统
CN108393898A (zh) * 2018-02-28 2018-08-14 上海乐愚智能科技有限公司 一种智能陪伴方法、装置、机器人及存储介质
CN108537178A (zh) * 2018-04-12 2018-09-14 佘堃 一种智能识别及互动的方法及系统
CN110576433A (zh) * 2018-06-08 2019-12-17 香港商女娲创造股份有限公司 机器人动作生成方法
CN110576433B (zh) * 2018-06-08 2021-05-18 香港商女娲创造股份有限公司 机器人动作生成方法
CN108960191B (zh) * 2018-07-23 2021-12-14 厦门大学 一种面向机器人的多模态融合情感计算方法及系统
CN108960191A (zh) * 2018-07-23 2018-12-07 厦门大学 一种面向机器人的多模态融合情感计算方法及系统
CN108942941A (zh) * 2018-08-02 2018-12-07 安徽硕威智能科技有限公司 一种教育机器人语音交互系统
CN111435268A (zh) * 2019-01-11 2020-07-21 合肥虹慧达科技有限公司 基于图像的识别与重建的人机交互方法和使用该方法的系统及装置
CN109976513A (zh) * 2019-02-20 2019-07-05 方科峰 一种系统界面设计方法
CN109976513B (zh) * 2019-02-20 2020-03-03 方科峰 一种系统界面设计方法
CN109920422A (zh) * 2019-03-15 2019-06-21 百度国际科技（深圳）有限公司 语音交互方法及装置、车载语音交互设备及存储介质
CN109841122A (zh) * 2019-03-19 2019-06-04 深圳市播闪科技有限公司 一种智能机器人教学系统及学生学习方法
CN113661036A (zh) * 2019-04-16 2021-11-16 索尼集团公司 信息处理装置、信息处理方法以及程序
US11580972B2 (en) * 2019-04-26 2023-02-14 Fanuc Corporation Robot teaching device
CN110119715A (zh) * 2019-05-14 2019-08-13 东北师范大学 一种陪伴机器人及情绪识别方法
CN111949773A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 一种阅读设备、服务器以及数据处理的方法
CN110287792B (zh) * 2019-05-23 2021-05-04 华中师范大学 一种处于自然教学环境的课堂中学生学习状态实时分析方法
CN110287792A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种处于自然教学环境的课堂中学生学习状态实时分析方法
CN110480651B (zh) * 2019-08-20 2022-03-25 深圳市一恒科电子科技有限公司 一种基于交互式陪伴机器人搜索系统的建云方法和系统
CN110480651A (zh) * 2019-08-20 2019-11-22 深圳市一恒科电子科技有限公司 一种基于交互式陪伴机器人搜索系统的建云方法和系统
CN110576440A (zh) * 2019-09-04 2019-12-17 华南理工大学广州学院 一种儿童陪护机器人及其陪护控制方法
CN110576440B (zh) * 2019-09-04 2021-10-15 华南理工大学广州学院 一种儿童陪护机器人及其陪护控制方法
CN112667068A (zh) * 2019-09-30 2021-04-16 北京百度网讯科技有限公司 虚拟人物的驱动方法、装置、设备及存储介质
CN110751951B (zh) * 2019-10-25 2022-11-11 智亮君 基于智能镜子的握手交互方法及系统、存储介质
CN110751951A (zh) * 2019-10-25 2020-02-04 智亮君 基于智能镜子的握手交互方法及系统、存储介质
CN111078005A (zh) * 2019-11-29 2020-04-28 恒信东方文化股份有限公司 一种虚拟伙伴创建方法及虚拟伙伴系统
CN111078005B (zh) * 2019-11-29 2024-02-20 恒信东方文化股份有限公司 一种虚拟伙伴创建方法及虚拟伙伴系统
CN111402640A (zh) * 2020-03-04 2020-07-10 香港生产力促进局 一种儿童教育机器人及其学习资料推送方法
CN111832691A (zh) * 2020-07-01 2020-10-27 娄兆文 一种角色替代的可升级多对象智能陪伴机器人
CN111832691B (zh) * 2020-07-01 2024-01-09 娄兆文 一种角色替代的可升级多对象智能陪伴机器人
CN112199002B (zh) * 2020-09-30 2021-09-28 完美鲲鹏(北京)动漫科技有限公司 基于虚拟角色的交互方法及装置、存储介质、计算机设备
CN112199002A (zh) * 2020-09-30 2021-01-08 完美鲲鹏(北京)动漫科技有限公司 基于虚拟角色的交互方法及装置、存储介质、计算机设备
CN116627261A (zh) * 2023-07-25 2023-08-22 安徽淘云科技股份有限公司 交互方法、装置、存储介质和电子设备
CN117371338A (zh) * 2023-12-07 2024-01-09 浙江宇宙奇点科技有限公司 一种基于用户画像的ai数字人建模方法及系统
CN117371338B (zh) * 2023-12-07 2024-03-22 浙江宇宙奇点科技有限公司 一种基于用户画像的ai数字人建模方法及系统

Also Published As

Publication number Publication date
EP3563986A1 (en) 2019-11-06
US11858118B2 (en) 2024-01-02
KR20190100348A (ko) 2019-08-28
EP3563986A4 (en) 2020-01-01
JP6888096B2 (ja) 2021-06-16
EP3563986B1 (en) 2023-11-01
US20190337157A1 (en) 2019-11-07
CN107053191B (zh) 2020-05-08
WO2018121624A1 (zh) 2018-07-05
KR102328959B1 (ko) 2021-11-18
JP2020507835A (ja) 2020-03-12

Similar Documents

Publication Publication Date Title
CN107053191A (zh) 一种机器人，服务器及人机互动方法
US11291919B2 (en) Development of virtual character in a learning game
JP6902683B2 (ja) 仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器
US10444876B2 (en) Human-computer interface device and system
US7113848B2 (en) Human emulation robot system
CN109789550A (zh) 基于小说或表演中的先前角色描绘的社交机器人的控制
Volpe Computational models of expressive gesture in multimedia systems.
JP3792882B2 (ja) 感情生成装置及び感情生成方法
CN111949773A (zh) 一种阅读设备、服务器以及数据处理的方法
Wang et al. Construction of a somatosensory interactive system based on computer vision and augmented reality techniques using the kinect device for food and agricultural education
Farinelli Design and implementation of a multi-modal framework for scenic actions classification in autonomous actor-robot theatre improvisations
Row et al. Understanding lifelike characteristics in interactive product design
Pandit et al. Building a Virtual Reality‐Based Framework for the Education of Autistic Kids
Gibet et al. Challenges for the animation of expressive virtual characters: The standpoint of sign language and theatrical gestures
Naeem et al. An AI based Voice Controlled Humanoid Robot
Wu Multimodal Communication for Embodied Human-Robot Interaction with Natural Gestures
Hoyet Towards Perception-based Character Animation
Pak et al. Classification of Behavioral Lexicon and Definition of Upper, Lower Body Structures in Animation Character
Benyon et al. Scenarios for Companions.
Pasquier Declaration of Committee
CN117793409A (zh) 视频的生成方法及装置、电子设备和可读存储介质
CN117808934A (zh) 一种数据处理方法及相关设备
CN115006834A (zh) 一种基于体感交互技术的儿童益智游戏系统
CN117292031A (zh) 一种3d虚拟数字人唇形动画生成模型训练方法及装置
McCormick Responding to human full-body gestures embedded in motion data streams.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant