CN109389005A - 智能机器人及人机交互方法 - Google Patents
智能机器人及人机交互方法 Download PDFInfo
- Publication number
- CN109389005A CN109389005A CN201710663432.4A CN201710663432A CN109389005A CN 109389005 A CN109389005 A CN 109389005A CN 201710663432 A CN201710663432 A CN 201710663432A CN 109389005 A CN109389005 A CN 109389005A
- Authority
- CN
- China
- Prior art keywords
- target object
- information
- key message
- intelligent robot
- dependent event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000003993 interaction Effects 0.000 title claims abstract description 22
- 230000001419 dependent effect Effects 0.000 claims abstract description 64
- 230000036651 mood Effects 0.000 claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims abstract description 15
- 230000008451 emotion Effects 0.000 claims abstract description 14
- 230000008921 facial expression Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 29
- 230000014509 gene expression Effects 0.000 claims description 23
- 230000001755 vocal effect Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 10
- 230000002452 interceptive effect Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 206010002368 Anger Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0003—Home robots, i.e. small robots for domestic use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/18—Artificial neural networks; Connectionist approaches
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Child & Adolescent Psychology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种智能机器人及人机交互方法。该方法应用在该智能机器人中。该方法包括步骤:从获取的语音信息及图像信息中识别一目标对象;确定出与该目标对象对应的基本信息及相关事件信息,并将该目标对象的基本信息与该相关事件信息进行关联;从该目标对象对应的相关事件信息中提取关键信息;根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别,根据所提取的关键信息检索预设的公共基础知识库,并利用深度学习算法根据检索结果及该目标对象的情绪类别确定出一反馈模型;及执行该反馈模型。本案中的智能机器人及人机交互方法能够深入地理解用户的情感和情绪的问题并与用户进行交互,提高了用户的体验感。
Description
技术领域
本发明涉及机器人领域,尤其涉及一种智能机器人及人机交互方法。
背景技术
现有技术中,机器人与人之间的交互主要涉及简单的人机对话,或在人的指令下完成特定的工作内容。然而,能够使机器人从社会的伦理道德、法律法规、天文地理及人际关系(如,家庭关系、同事关系、朋友关系)等方面深入地理解用户的情感和情绪的问题并与用户进行交互的方案却很少。
发明内容
鉴于以上内容,有必要提供一种智能机器人及人机交互方法以深入地理解用户的情感和情绪的问题并与用户进行交互。
一种智能机器人,包括摄像单元、语音采集单元、输出单元及处理单元,该处理单元用于:
获取来自该语音采集单元获取的语音信息及该摄像单元获取的图像信息;
从获取的语音信息及图像信息中识别一目标对象;
确定出与该目标对象对应的基本信息及相关事件信息,并将该目标对象的基本信息与该相关事件信息进行关联;
从该目标对象对应的相关事件信息中提取关键信息;
根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别,根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果,并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型,其中,该反馈模型是指用于控制该智能机器人与该目标对象进行交互的指令集;及
通过该输出单元执行该反馈模型。
优选地,该处理单元从该语音信息中识别一声纹特征及从该图像信息中识别脸部特征,并根据该声纹特征及该脸部特征识别对应的目标对象。
优选地。该处理单元控制该语音采集单元采集该目标对象的语音信息作为该目标对象的相关事件信息。
优选地,该处理单元识别所获取的语音信息,将所识别的语音信息转化为文本数据,提取出该文本数据中的关键信息,并将该文本数据中的关键信息作为该相关事件的关键信息。
优选地,该处理单元控制该摄像单元获取该目标对象的图片信息作为该目标对象的相关事件信息。
优选地,该处理单元获取该图片信息中包含的面部表情信息及肢体动作特征信息,对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数,对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数,并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。
优选地,该处理单元还用于设定该智能机器人的情感方向,该处理单元从该目标对象的相关事件信息中提取关键信息,根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别,根据所提取的关键信息检索预设的公共基础知识库,并利用深度学习算法根据检索结果、该目标对象的情绪类别及设定的该智能机器人的情感方向确定出对应的反馈模型。
优选地,该输出单元包括语音输出单元及表情输出单元,该执行模块通过控制该语音输出单元输出语音信息,及通过该表情输出单元输出表情动作的方式执行该反馈模型。
一种人机交互方法,应用在一智能机器人中,该方法包括步骤:
获取一语音采集单元获取的语音信息:
获取一摄像单元获取的图像信息;
从获取的语音信息及图像信息中识别一目标对象;
确定出与该目标对象对应的基本信息及相关事件信息,并将该目标对象的基本信息与该相关事件信息进行关联;
从该目标对象对应的相关事件信息中提取关键信息;
根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别,根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果,并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型,其中,该反馈模型是指用于控制该智能机器人与该目标对象进行交互的指令集;及
通过一输出单元执行该反馈模型。
优选地,该方法在步骤“从获取的语音信息及图像信息中识别一目标对象”还包括:
从该语音信息中识别一声纹特征及从该图像信息中识别脸部特征,并根据该声纹特征及该脸部特征识别对应的目标对象。
优选地,该方法在步骤“确定出与该目标对象对应的基本信息及相关事件信息,并将该目标对象的基本信息与该相关事件信息进行关联”中包括:
控制该语音采集单元采集该目标对象的语音信息作为该目标对象的相关事件信息。
优选地,该方法还包括步骤:
识别所获取的语音信息,将所识别的语音信息转化为文本数据,提取出该文本数据中的关键信息,并将该文本数据中的关键信息作为该相关事件的关键信息。
优选地,该方法在步骤“确定出与该目标对象对应的基本信息及相关事件信息,并将该目标对象的基本信息与该相关事件信息进行关联”中包括:
控制该摄像单元获取该目标对象的图片信息作为该目标对象的相关事件信息。
优选地,该方法还包括步骤:
获取该图片信息中包含的面部表情信息及肢体动作特征信息,对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数,对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数,并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。
优选地,该方法还包括步骤:
通过控制一语音输出单元输出语音信息,及通过一表情输出单元输出表情动作的方式执行该反馈模型。
本案中的智能机器人及人机交互方法能够深入地理解用户的情感和情绪的问题并与用户进行交互,提高了用户的体验感。
附图说明
图1为本发明一实施方式中人机交互系统的应用环境图。
图2为本发明一实施方式中智能机器人的功能模块图。
图3为本发明一实施方式中人机交互系统的功能模块图。
图4为本发明一实施方式中基本信息表的示意图。
图5为本发明一实施方式中人机交互方法的流程图。主要元件符号说明
人机交互系统 | 1 |
智能机器人 | 2 |
服务器 | 3 |
摄像单元 | 22 |
语音采集单元 | 23 |
压力感测器 | 24 |
输出单元 | 25 |
味道感测器 | 26 |
通信单元 | 27 |
处理单元 | 28 |
存储单元 | 29 |
语音输出单元 | 251 |
表情输出单元 | 252 |
运动驱动单元 | 253 |
显示单元 | 254 |
感知模块 | 101 |
识别模块 | 102 |
分析模块 | 103 |
执行模块 | 104 |
设置模块 | 105 |
基本信息表 | T1 |
步骤 | S501~S506 |
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参考图1,所示为本发明一实施方式中人机交互系统1的应用环境图。该人机交互系统1应用在一智能机器人2中。该智能机器人2与一服务器3通信连接。该人机交互系统1用于控制该智能机器人2与用户进行交互。
请参考图2,所示为本发明一实施方式中智能机器人2的功能模块图。该智能机器人2包括摄像单元22、语音采集单元23、压力感测器24、输出单元25、味道感测器26、通信单元27、处理单元28及存储单元29。该摄像单元22摄取智能机器人2周围环境的图像并将摄取的图像传送给处理单元28。例如,该摄像单元22可以摄取智能机器人2周围的人、动物或静止物体的画面,及将获取的人、动物或静止物体的画面传送给该处理单元28。本实施方式中,该摄像单元22可以为一摄像头、3D光场相机等。该语音采集单元23用于接收智能机器人2周围的语音信息并将接收的语音信息传送给处理单元28。在本实施方式中,该语音采集单元23可以为麦克风、麦克风阵列等。该压力感测器24用于检测用户对该智能机器人2的按压力信息及将检测出的按压力信息传送给处理单元28。
该输出单元25包括语音输出单元251、表情输出单元252、运动驱动单元253及显示单元254。该语音输出单元251用于在该处理单元28的控制下输出语音信息。在本实施方式中,该语音输出单元251可以为扬声器。表情输出单元252用于在该处理单元28的控制下输出表情动作。在一实施方式中,该表情输出单元252包括设于机器人头部可开合的眼帘和嘴巴及设于眼帘内可转动的眼球。该运动驱动单元253用于在该处理单元28的控制下控制该智能机器人2的控制下驱动该智能机器人2移动。在一实施方式中,该运动驱动单元253包括两轴或四轴驱动轮。该显示单元254用于显示表情图像,如高兴、苦恼、忧郁表情等。该味道感测器26用于检测气味信息。该通信单元27用于供该智能机器人2与一服务器3(如图1所示)通信连接。在一实施方式中,该通信单元27可以为WIFI通信模块、Zigbee通信模块及Blue Tooth通信模块。
该存储单元29用于存储该智能机器人2的程序代码及数据资料。例如,该存储单元29可以存储预设人脸图像、预设语音及人机交互系统1。本实施方式中,该存储单元29可以为该智能机器人2的内部存储单元,例如该智能机器人2的硬盘或内存。在另一实施方式中,该存储单元29也可以为该智能机器人2的外部存储设备,例如该智能机器人2上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
本实施方式中,该处理单元28可以为一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,该处理单元28用于执行软件程序代码或运算数据。
请参考图3,所示为本发明一实施方式中人机交互系统1的功能模块图。本实施方式中,该人机交互系统1包括一个或多个模块,所述一个或者多个模块被存储于该存储单元29中,并被该处理单元28所执行。人机交互系统1包括感知模块101、识别模块102、分析模块103、执行模块104及设置模块105。在其他实施方式中,该人机交互系统1为内嵌在该智能机器人2中的程序段或代码。
该感知模块101获取来自该语音采集单元23获取的语音信息及该摄像单元22获取的图像信息。
该识别模块102用于从获取的语音信息及图像信息中识别一目标对象。在一实施方式中,该识别模块102对获取的语音信息进行语音信号预处理,例如进行去噪处理,使得语音识别时更加准确。在一实施方式中,该识别模块102从语音信息中识别一声纹特征及从图像信息中识别脸部特征,并根据该声纹特征及该脸部特征识别该目标对象。该目标对象包括人及动物。例如,该存储单元29中存储一第一对应关系表(图中未示),该第一对应关系表中定义了声纹特征、脸部特征及目标对象的对应关系,该识别模块102根据识别出的声纹特征、脸部特征及该第一对应关系表确定该目标对象。在另一实施方式中,该识别模块102也可以仅从获取的语音信息中识别该目标对象。例如,该存储单元29中存储一第二对应关系表(图中未示),该第二对应关系表中定义了声纹特征及目标对象的对应关系。该识别模块102根据识别出的声纹特征及该第二对应关系表确定该目标对象。在其他实施方式中,该识别模块102也可以仅从获取的图像信息中识别该目标对象。例如,该存储单元29中存储一第三对应关系表(图中未示)。该第三对应关系表中定义该脸部特征与该目标对象的对应关系,该识别模块102根据识别出的脸部特征及该第三对应关系表确定该目标对象。在一实施方式中,该识别模块102将获取的图像与存储在存储单元29中的图片集进行比对确定出获取的图像中的脸部特征,该识别模块102根据识别出的脸部特征及该第三对应关系表确定该目标对象。
在一实施方式中,该目标对象还包括静止物体,例如桌子,椅子,房子等物体。该识别模块102还用于将通过从该摄像单元22中获取的图片与一存储在存储单元29中的图片集进行比对,并根据比对结果确定出该图片中包含的静止物体。其中,该图片集中的每一幅图片对应包含一静止物体。例如,该识别模块102将获取的图片与存储的图片集进行比对后确定该图片中的物体与存储的图片集中一幅图片所包含的房子一致时,该识别模块102识别出该获取的图片中的目标对象为房子。
该识别模块102还用于确定出与该目标对象相关的信息,例如,基本信息及相关事件信息,并将该目标对象的基本信息与该相关事件信息进行关联。在一实施方式中,所述相关的信息包括,但不限于,该目标对象的基本信息、及与该目标对象相关的事件信息。在一实施方式中,当目标对象为人时,该目标对象的基本信息包括,但不限于,用户的姓名、年龄、身高、体重、体型(例如,大体型、中体型、小体型)。当目标对象为物体时,该目标对象的基本信息包括,但不限于,目标对象的名称、位置、功能属性等。例如,该存储单元29存储一基本信息表T1(参考图4),该基本信息表T1定义了目标对象与基本信息的对应关系。该识别模块102根据该目标对象及该基本信息表T1确定出与该目标对象对应的基本信息。
在一实施方式中,与该目标对象相关的事件信息可以是指发生在某个时间或某个地点的与该目标对象相关的事件。在一实施方式中,当识别出目标对象时,该识别模块102控制该语音采集单元23采集该目标对象的语音信息作为该目标对象的相关事件信息。在另一实施方式中,当识别出目标对象时,该识别模块102控制该摄像单元22获取该目标对象的图片信息作为相关事件信息。在其他实施方式中,当识别出目标对象时,该识别模块102同时将通过语音采集单元23采集的语音信息及通过摄像单元22摄取的图片信息作为该目标对象的相关事件信息。
该分析模块103用于从该目标对象对应的相关事件信息中提取关键信息。例如,当该目标对象的相关事件信息为语音信息时,该分析模块103识别所获取的语音信息,将所识别的语音信息转化为文本数据,提取出该文本数据中的关键信息,及将该文本数据中的关键信息作为该相关事件的关键信息。本实施方式中,该文本数据中的关键信息包括关键词、关键字、或关键语句。当该当目标对象的相关事件信息为图片信息时,该分析模块103获取该图片信息中包含的面部表情信息及肢体动作特征信息,对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数,对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数,并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。
该分析模块103根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别,根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果,并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型。本实施方式中,该反馈模型是指用于控制该智能机器人2与该目标对象进行交互的指令集。本实施方式中,该公共基础知识库可以包括,但不限于人文伦理知识库、法律法规知识库、道德情操知识库、宗教知识库、天文地理知识库。在一实施方式中,该公共基础知识库存储在该智能机器人2的存储单元29中。该智能机器人2可以直接访问该存储单元29中的公共基础知识库。在其他实施方式中,该公共基础知识库存储在服务器3中。该智能机器人2通过通信单元27访问该服务器3中的公共基础知识库。
本实施方式中,该深度学习算法包括,但不限于,“神经词袋模型”、“递归神经网络”、“循环神经网络”、“卷积神经网络”。本实施方式中,该目标对象的情绪类别包括高兴、悲伤、愤怒、平和、暴躁等情绪。例如,当用户微笑着对智能机器人2说“这些花真漂亮啊!”时,该感知模块101通过该语音采集单元23获取用户的语音信息,及通过该摄像单元22获取包含用户的图像信息。该识别模块102根据用户的语音信息识别出用户的声纹特征及根据用户的图像信息识别出用户的脸部特征。该识别模块102根据该识别出的声纹特征及脸部特征识别出目标对象为用户。该识别模块102确定出用户的基本信息,及将用户发出的语音信息“这些花真漂亮啊!”及用户微笑的图像信息作为用户的相关事件信息,并将用户的基本信息与用户的相关事件信息进行关联。该分析模块103从用户发出的语音信息“这些花真漂亮啊!”提取出关键信息为“花”、“漂亮”,及从用户微笑的图像信息中提取出关键信息为“微笑表情”。该分析模块103根据所提取的该些关键信息“花、漂亮、微笑表情”利用神经网络分析算法确定该目标对象的情绪类别为高兴。该分析模块103根据所提取的上述关键信息检索预设的公共基础知识库,并利用深度学习算法根据检索结果及高兴的情绪类别确定出对应的反馈模型。
在一实施方式中,该设置模块105用于设定该智能机器人2的情感方向。在一实施方式中,该设定的情感方向包括励志型、安慰型、讽刺型、幽默型等。该分析模块103从该目标对象的相关事件信息中提取关键信息,根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别,根据所提取的关键信息检索预设的公共基础知识库,并利用深度学习算法根据检索结果、该目标对象的情绪类别及该设定的智能机器人2的情感方向确定出对应的反馈模型。本实施方式中,该情绪类别包括,但不限于,高兴、愤怒、悲伤、愉快等情绪。
在一实施方式中,该感知模块101还用于通过该压力感测器24感测用户输入的按压力,及通过该味道感测器26检测该智能机器人2周围环境的气味信息。该分析模块103还用于根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果,并利用深度学习算法根据该检索结果、该目标对象的情绪类别、该感测的按压力及该感测的气味信息确定出对应的反馈模型。
该执行模块104用于通过该输出单元25执行该反馈模型。在一实施方式中,该执行模块104通过该输出单元25输出语音信息及输出表情动作的方式来执行该反馈模型以实现该智能机器人2与目标对象之间的交互。具体的,该执行模块104通过语音输出单元251输出语音信息、通过表情输出单元252输出表情动作的方式执行该反馈模型。例如,当用户微笑着对智能机器人2说“这些花真漂亮啊!”时,该识别模块102识别出该目标对象为用户。该分析模块103从用户发出的语音信息“这些花真漂亮啊!”提取出关键信息为“花”、“漂亮”,及从用户微笑的图像信息中提取出关键信息为“微笑表情”。该分析模块103根据所提取的该些关键信息“花、漂亮、微笑表情”利用神经网络分析算法确定该目标对象的情绪类别为高兴。该分析模块103根据所提取的关键信息“花、漂亮、微笑表情”检索预设的公共基础知识库,并利用深度学习算法根据检索结果及高兴的情绪类别确定出对应的反馈模型。该反馈模型为控制该智能机器人2输出语音信息“这些花真的很漂亮,我也很喜欢!”及输出笑容的表情动作的指令。该执行模块104通过语音输出单元251输出“这些花真的很漂亮,我也很喜欢!”的语音信息及通过表情输出单元252控制设于智能机器人2头部中的眼帘和嘴巴开合及设于眼帘内的眼球转动输出笑容表情动作,从而实现该智能机器人2与用户进行交互。
在其他实施方式中,该执行模块104还通过运动驱动单元253控制该智能机器人2以预设移动的方式及控制该显示单元254显示一预设表情图像的方式来执行该反馈模型以实现该智能机器人2与目标对象之间的交互。
请参考图5,所示为本发明一实施方式中人机交互方法的流程图。该方法应用在智能机器人2中。根据不同需求,该流程图中步骤的顺序可以改变,某些步骤可以省略或合并。该方法包括如下步骤。
S501:获取来自语音采集单元23获取的语音信息及摄像单元22获取的图像信息。
S502:从获取的语音信息及图像信息中识别一目标对象。
在一实施方式中,该智能机器人2对获取的语音信息进行语音信号预处理,例如进行去噪处理,使得语音识别时更加准确。在一实施方式中,该智能机器人2从语音信息中识别一声纹特征及从图像信息中识别脸部特征,并根据该声纹特征及该脸部特征识别该目标对象。该目标对象包括人及动物。在一实施方式中,该目标对象还包括静止物体,例如桌子,椅子,房子等物体。该智能机器人2还用于将通过从该摄像单元22中获取的图片与一存储在存储单元29中的图片集进行比对,并根据比对结果确定出该图片中包含的静止物体。
S503:确定出与该目标对象对应的基本信息及相关事件信息,并将该目标对象的基本信息与该相关事件信息进行关联。
在一实施方式中,所述相关信息包括,但不限于,该目标对象的基本信息、及与该目标对象相关的事件信息。在一实施方式中,当目标对象为人时,该目标对象的基本信息包括,但不限于,用户的姓名、年龄、身高、体重、体型(例如,大体型、中体型、小体型)。当目标对象为物体时,该目标对象的基本信息包括,但不限于,目标对象的名称、位置、功能属性等。例如,该存储单元29存储一基本信息表T1(参考图4),该基本信息表T1定义了目标对象与基本信息的对应关系。该智能机器人2根据该目标对象及该基本信息表T1确定出与该目标对象对应的基本信息。
在一实施方式中,与该目标对象相关的事件信息可以是指发生在某个时间或某个地点的与该目标对象相关的事件。该智能机器人2可以控制该语音采集单元23采集该目标对象的语音信息作为该目标对象的相关事件信息。在另一实施方式中,该智能机器人2可以控制该摄像单元22获取该目标对象的图片信息作为相关事件信息。在其他实施方式中,该智能机器人2同时将通过语音采集单元23采集的语音信息及通过摄像单元22摄取的图片信息作为该目标对象的相关事件信息。
S504:从该目标对象对应的相关事件信息中提取关键信息。
例如,当该目标对象的相关事件信息为语音信息时,该智能机器人2识别所获取的语音信息,将所识别的语音信息转化为文本数据,提取出该文本数据中的关键信息,及将该文本数据中的关键信息作为该相关事件的关键信息。当该当目标对象的相关事件信息为图片信息时,该智能机器人2获取该图片信息中包含的面部表情信息及肢体动作特征信息,对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数,对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数,并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。
S505:根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别,根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果,并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型。
本实施方式中,该反馈模型是指用于控制该智能机器人2与该目标对象进行交互的指令集。本实施方式中,该公共基础知识库可以包括,但不限于人文伦理知识库、法律法规知识库、道德情操知识库、宗教至少库、天文地理知识库。在一实施方式中,该公共基础知识库存储在该智能机器人2的存储单元29中。该智能机器人2可以直接访问该存储单元29中的公共基础知识库。在其他实施方式中,该公共基础知识库存储在服务器3中。该智能机器人2通过通信单元27访问该服务器3中的公共基础知识库。
本实施方式中,该深度学习算法包括,但不限于,“神经词袋模型”、“递归神经网络”、“循环神经网络”、“卷积神经网络”。本实施方式中,该目标对象的情绪类别包括高兴、悲伤、愤怒、平和、暴躁等情绪。例如,当用户微笑着对智能机器人2说“这些花真漂亮啊!”时,该对智能机器人2通过该语音采集单元23获取用户的语音信息,及通过该摄像单元22获取包含用户的图像信息。该对智能机器人2根据用户的语音信息识别出用户的声纹特征及根据用户的图像信息识别出用户的脸部特征。该对智能机器人2根据该识别出的声纹特征及脸部特征识别出目标对象为用户。该对智能机器人2确定出用户的基本信息,及将用户发出的语音信息“这些花真漂亮啊!”及用户微笑的图像信息作为用户的相关事件信息,并将用户的基本信息与用户的相关事件信息进行关联。该对智能机器人2从用户发出的语音信息“这些花真漂亮啊!”提取出关键信息为“花”、“漂亮”,及从用户微笑的图像信息中提取出关键信息为“微笑表情”。该对智能机器人2根据所提取的该些关键信息“花、漂亮、微笑表情”利用神经网络分析算法确定该目标对象的情绪类别为高兴。该对智能机器人2根据所提取的上述关键信息检索预设的公共基础知识库,并利用深度学习算法根据检索结果及高兴的情绪类别确定出对应的反馈模型。
S506:通过输出单元25执行该反馈模型。
在一实施方式中,该智能机器人2通过该输出单元25输出语音信息及输出表情动作的方式来执行该反馈模型以实现该智能机器人2与目标对象之间的交互。具体的,该智能机器人2通过语音输出单元251输出语音信息、通过表情输出单元252输出表情动作的方式执行该反馈模型。例如,当用户微笑着对智能机器人2说“这些花真漂亮啊!”时,该智能机器人2识别出该目标对象为用户。该智能机器人2从用户发出的语音信息“这些花真漂亮啊!”提取出关键信息为“花”、“漂亮”,及从用户微笑的图像信息中提取出关键信息为“微笑表情”。该智能机器人2根据所提取的该些关键信息“花、漂亮、微笑表情”利用神经网络分析算法确定该目标对象的情绪类别为高兴。该智能机器人2根据所提取的关键信息“花、漂亮、微笑表情”检索预设的公共基础知识库,并利用深度学习算法根据检索结果及高兴的情绪类别确定出对应的反馈模型。该反馈模型为控制该智能机器人2输出语音信息“这些花真的很漂亮,我也很喜欢!”及输出笑容的表情动作的指令。该智能机器人2通过语音输出单元251输出“这些花真的很漂亮,我也很喜欢!”的语音信息及通过表情输出单元252控制设于智能机器人2头部中的眼帘和嘴巴开合及设于眼帘内的眼球转动输出笑容表情动作,从而实现该智能机器人2与用户进行交互。
在其他实施方式中,该智能机器人2还通过运动驱动单元253控制该智能机器人2以预设移动的方式及控制该显示单元254显示一预设表情图像的方式来执行该反馈模型以实现该智能机器人2与目标对象之间的交互。
在一实施方式中,该方法还包括步骤:
设定该智能机器人的情感方向;
从该目标对象的相关事件信息中提取关键信息;
根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别;
根据所提取的关键信息检索预设的公共基础知识库;及
并利用深度学习算法根据检索结果、该目标对象的情绪类别及该设定的智能机器人2的情感方向确定出对应的反馈模型。在一实施方式中,该设定的情感方向包括励志型、安慰型、讽刺型、幽默型等。
在一实施方式中,该方法还包括步骤:
通过压力感测器24感测用户输入的按压力;
通过该味道感测器26检测智能机器人2周围环境的气味信息;及
根据所提取的关键信息检索预设的公共基础知识库,并利用深度学习算法根据检索结果、该目标对象的情绪类别、该感测的按压力及该感测的气味信息确定出对应的反馈模型。
以上实施例仅用以说明本发明的技术方案而非限制,尽管参照以上较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换都不应脱离本发明技术方案的精神和范围。
Claims (15)
1.一种智能机器人,包括摄像单元、语音采集单元、输出单元及处理单元,其特征在于,该处理单元用于:
获取来自该语音采集单元获取的语音信息及该摄像单元获取的图像信息;
从获取的语音信息及图像信息中识别一目标对象;
确定出与该目标对象对应的基本信息及相关事件信息,并将该目标对象的基本信息与该相关事件信息进行关联;
从该目标对象对应的相关事件信息中提取关键信息;
根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别,根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果,并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型,其中,该反馈模型是指用于控制该智能机器人与该目标对象进行交互的指令集;及
通过该输出单元执行该反馈模型。
2.如权利要求1所述的智能机器人,其特征在于,该处理单元从该语音信息中识别一声纹特征及从该图像信息中识别脸部特征,并根据该声纹特征及该脸部特征识别对应的目标对象。
3.如权利要求1所述的智能机器人,其特征在于,该处理单元控制该语音采集单元采集该目标对象的语音信息作为该目标对象的相关事件信息。
4.如权利要求3所述的智能机器人,其特征在于,该处理单元识别所获取的语音信息,将所识别的语音信息转化为文本数据,提取出该文本数据中的关键信息,并将该文本数据中的关键信息作为该相关事件的关键信息。
5.如权利要求1所述的智能机器人,其特征在于,该处理单元控制该摄像单元获取该目标对象的图片信息作为该目标对象的相关事件信息。
6.如权利要求5所述的智能机器人,其特征在于,该处理单元获取该图片信息中包含的面部表情信息及肢体动作特征信息,对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数,对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数,并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。
7.如权利要求1所述的智能机器人,其特征在于,该处理单元还用于设定该智能机器人的情感方向,该处理单元从该目标对象的相关事件信息中提取关键信息,根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别,根据所提取的关键信息检索预设的公共基础知识库,并利用深度学习算法根据检索结果、该目标对象的情绪类别及设定的该智能机器人的情感方向确定出对应的反馈模型。
8.如权利要求1所述的智能机器人,其特征在于,该输出单元包括语音输出单元及表情输出单元,该执行模块通过控制该语音输出单元输出语音信息,及通过该表情输出单元输出表情动作的方式执行该反馈模型。
9.一种人机交互方法,应用在一智能机器人中,其特征在于,该方法包括步骤:
获取一语音采集单元获取的语音信息:
获取一摄像单元获取的图像信息;
从获取的语音信息及图像信息中识别一目标对象;
确定出与该目标对象对应的基本信息及相关事件信息,并将该目标对象的基本信息与该相关事件信息进行关联;
从该目标对象对应的相关事件信息中提取关键信息;
根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别,根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果,并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型,其中,该反馈模型是指用于控制该智能机器人与该目标对象进行交互的指令集;及
通过一输出单元执行该反馈模型。
10.如权利要求9所述的人机交互方法,其特征在于,该方法在步骤“从获取的语音信息及图像信息中识别一目标对象”还包括:
从该语音信息中识别一声纹特征及从该图像信息中识别脸部特征,并根据该声纹特征及该脸部特征识别对应的目标对象。
11.如权利要求9所述的人机交互方法,其特征在于,该方法在步骤“确定出与该目标对象对应的基本信息及相关事件信息,并将该目标对象的基本信息与该相关事件信息进行关联”中包括:
控制该语音采集单元采集该目标对象的语音信息作为该目标对象的相关事件信息。
12.如权利要求11所述的人机交互方法,其特征在于,该方法还包括步骤:
识别所获取的语音信息,将所识别的语音信息转化为文本数据,提取出该文本数据中的关键信息,并将该文本数据中的关键信息作为该相关事件的关键信息。
13.如权利要求9所述的人机交互方法,其特征在于,该方法在步骤“确定出与该目标对象对应的基本信息及相关事件信息,并将该目标对象的基本信息与该相关事件信息进行关联”中包括:
控制该摄像单元获取该目标对象的图片信息作为该目标对象的相关事件信息。
14.如权利要求13所述的人机交互方法,其特征在于,该方法还包括步骤:
获取该图片信息中包含的面部表情信息及肢体动作特征信息,对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数,对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数,并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。
15.如权利要求9所述的人机交互方法,其特征在于,该方法还包括步骤:
通过控制一语音输出单元输出语音信息,及通过一表情输出单元输出表情动作的方式执行该反馈模型。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710663432.4A CN109389005A (zh) | 2017-08-05 | 2017-08-05 | 智能机器人及人机交互方法 |
TW106132484A TWI661363B (zh) | 2017-08-05 | 2017-09-21 | 智慧型機器人及人機交互方法 |
US15/853,918 US10482886B2 (en) | 2017-08-05 | 2017-12-25 | Interactive robot and human-robot interaction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710663432.4A CN109389005A (zh) | 2017-08-05 | 2017-08-05 | 智能机器人及人机交互方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109389005A true CN109389005A (zh) | 2019-02-26 |
Family
ID=65230729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710663432.4A Withdrawn CN109389005A (zh) | 2017-08-05 | 2017-08-05 | 智能机器人及人机交互方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10482886B2 (zh) |
CN (1) | CN109389005A (zh) |
TW (1) | TWI661363B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110459217A (zh) * | 2019-08-21 | 2019-11-15 | 中国第一汽车股份有限公司 | 一种车载问答方法、系统、车辆及存储介质 |
CN111300443A (zh) * | 2020-02-29 | 2020-06-19 | 重庆百事得大牛机器人有限公司 | 基于法律咨询机器人的情绪安抚方法 |
CN111368719A (zh) * | 2020-03-03 | 2020-07-03 | 东莞理工学院 | 瞳孔特征的真实情感聊天机器人系统及该系统的判断方法 |
CN111975772A (zh) * | 2020-07-31 | 2020-11-24 | 深圳追一科技有限公司 | 机器人控制方法、装置、电子设备及存储介质 |
CN114842842A (zh) * | 2022-03-25 | 2022-08-02 | 青岛海尔科技有限公司 | 智能设备的语音交互方法和装置、存储介质 |
WO2022193911A1 (zh) * | 2021-03-18 | 2022-09-22 | Oppo广东移动通信有限公司 | 指令信息获取方法及装置、可读存储介质、电子设备 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3766066B1 (en) * | 2018-04-19 | 2024-02-21 | Microsoft Technology Licensing, LLC | Generating response in conversation |
US11244684B2 (en) * | 2018-09-11 | 2022-02-08 | International Business Machines Corporation | Communication agent to conduct a communication session with a user and generate organizational analytics |
US11848014B2 (en) * | 2019-07-11 | 2023-12-19 | Sanctuary Cognitive Systems Corporation | Human-machine interfaces and methods which determine intended responses by humans |
CN110989900B (zh) | 2019-11-28 | 2021-11-05 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
CN111390919A (zh) * | 2020-03-09 | 2020-07-10 | 合肥贤坤信息科技有限公司 | 一种陪伴机器人智能图像识别行为分析系统 |
CN111177326B (zh) * | 2020-04-10 | 2020-08-04 | 深圳壹账通智能科技有限公司 | 基于精标注文本的关键信息抽取方法、装置及存储介质 |
US20230186681A1 (en) * | 2020-04-22 | 2023-06-15 | Faceonized Sp. Z.O.O | Computing technologies for predicting personality traits |
CN113569712B (zh) * | 2021-07-23 | 2023-11-14 | 北京百度网讯科技有限公司 | 信息交互方法、装置、设备以及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI365416B (en) * | 2007-02-16 | 2012-06-01 | Ind Tech Res Inst | Method of emotion recognition and learning new identification information |
TWI447660B (zh) * | 2009-12-16 | 2014-08-01 | Univ Nat Chiao Tung | Robot autonomous emotion expression device and the method of expressing the robot's own emotion |
TWI456515B (zh) * | 2012-07-13 | 2014-10-11 | Univ Nat Chiao Tung | 融合人臉辨識及語音辨識之身份辨識系統、其方法及其服務型機器人 |
CN104484656A (zh) * | 2014-12-26 | 2015-04-01 | 安徽寰智信息科技股份有限公司 | 基于深度学习的唇语识别唇形模型库构建方法 |
WO2016145379A1 (en) * | 2015-03-12 | 2016-09-15 | William Marsh Rice University | Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification |
US10289076B2 (en) * | 2016-11-15 | 2019-05-14 | Roborus Co., Ltd. | Concierge robot system, concierge service method, and concierge robot |
US11580350B2 (en) * | 2016-12-21 | 2023-02-14 | Microsoft Technology Licensing, Llc | Systems and methods for an emotionally intelligent chat bot |
US10037767B1 (en) * | 2017-02-01 | 2018-07-31 | Wipro Limited | Integrated system and a method of identifying and learning emotions in conversation utterances |
-
2017
- 2017-08-05 CN CN201710663432.4A patent/CN109389005A/zh not_active Withdrawn
- 2017-09-21 TW TW106132484A patent/TWI661363B/zh active
- 2017-12-25 US US15/853,918 patent/US10482886B2/en active Active
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110459217A (zh) * | 2019-08-21 | 2019-11-15 | 中国第一汽车股份有限公司 | 一种车载问答方法、系统、车辆及存储介质 |
CN110459217B (zh) * | 2019-08-21 | 2022-03-08 | 中国第一汽车股份有限公司 | 一种车载问答方法、系统、车辆及存储介质 |
CN111300443A (zh) * | 2020-02-29 | 2020-06-19 | 重庆百事得大牛机器人有限公司 | 基于法律咨询机器人的情绪安抚方法 |
CN111300443B (zh) * | 2020-02-29 | 2020-11-13 | 重庆百事得大牛机器人有限公司 | 基于法律咨询机器人的情绪安抚方法 |
CN111368719A (zh) * | 2020-03-03 | 2020-07-03 | 东莞理工学院 | 瞳孔特征的真实情感聊天机器人系统及该系统的判断方法 |
CN111975772A (zh) * | 2020-07-31 | 2020-11-24 | 深圳追一科技有限公司 | 机器人控制方法、装置、电子设备及存储介质 |
WO2022193911A1 (zh) * | 2021-03-18 | 2022-09-22 | Oppo广东移动通信有限公司 | 指令信息获取方法及装置、可读存储介质、电子设备 |
CN114842842A (zh) * | 2022-03-25 | 2022-08-02 | 青岛海尔科技有限公司 | 智能设备的语音交互方法和装置、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
TWI661363B (zh) | 2019-06-01 |
US10482886B2 (en) | 2019-11-19 |
US20190043511A1 (en) | 2019-02-07 |
TW201911127A (zh) | 2019-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109389005A (zh) | 智能机器人及人机交互方法 | |
CN108388876B (zh) | 一种图像识别方法、装置以及相关设备 | |
WO2019085585A1 (zh) | 设备控制处理方法及装置 | |
CN109522835A (zh) | 基于智能机器人的儿童读物阅读与交互方法及系统 | |
CN109871450A (zh) | 基于绘本阅读的多模态交互方法及系统 | |
CN109421044A (zh) | 智能机器人 | |
CN110309254A (zh) | 智能机器人与人机交互方法 | |
CN103513890A (zh) | 一种基于图片的交互方法、装置和服务器 | |
CN109101663A (zh) | 一种基于互联网的机器人对话系统 | |
CN112016367A (zh) | 一种情绪识别系统、方法及电子设备 | |
KR101738142B1 (ko) | 감성 기반의 대화가 가능한 디지털 생명체 생성 시스템 및 그 제어방법 | |
TW201909036A (zh) | 基於神經網路的人臉影像多維度情感判別系統及方法 | |
JP2018032164A (ja) | 面接システム | |
Zhang et al. | Intelligent Facial Action and emotion recognition for humanoid robots | |
US20180336450A1 (en) | Platform to Acquire and Represent Human Behavior and Physical Traits to Achieve Digital Eternity | |
CN109542389A (zh) | 用于多模态故事内容输出的音效控制方法及系统 | |
CN112053205A (zh) | 通过机器人情绪识别的产品推荐方法及装置 | |
Sharma et al. | Emotion-based music recommendation system | |
CN110910898B (zh) | 一种语音信息处理的方法和装置 | |
KR20220134715A (ko) | 사용자의 정신건강 상태를 판단하기 위한 장치 및 그 방법 | |
CN110674270B (zh) | 基于人工智能的幽默生成与情感交互方法及机器人系统 | |
CN108628454B (zh) | 基于虚拟人的视觉交互方法及系统 | |
JP2017182261A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN107992825A (zh) | 一种基于增强现实的人脸识别的方法及系统 | |
US12011828B2 (en) | Method for controlling a plurality of robot effectors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190226 |
|
WW01 | Invention patent application withdrawn after publication |