CN109389005A - 智能机器人及人机交互方法 - Google Patents

智能机器人及人机交互方法 Download PDF

Info

Publication number
CN109389005A
CN109389005A CN201710663432.4A CN201710663432A CN109389005A CN 109389005 A CN109389005 A CN 109389005A CN 201710663432 A CN201710663432 A CN 201710663432A CN 109389005 A CN109389005 A CN 109389005A
Authority
CN
China
Prior art keywords
target object
information
key message
intelligent robot
dependent event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710663432.4A
Other languages
English (en)
Inventor
张学琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuzhan Precision Technology Co ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Shenzhen Yuzhan Precision Technology Co ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuzhan Precision Technology Co ltd, Hon Hai Precision Industry Co Ltd filed Critical Shenzhen Yuzhan Precision Technology Co ltd
Priority to CN201710663432.4A priority Critical patent/CN109389005A/zh
Priority to TW106132484A priority patent/TWI661363B/zh
Priority to US15/853,918 priority patent/US10482886B2/en
Publication of CN109389005A publication Critical patent/CN109389005A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种智能机器人及人机交互方法。该方法应用在该智能机器人中。该方法包括步骤：从获取的语音信息及图像信息中识别一目标对象；确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联；从该目标对象对应的相关事件信息中提取关键信息；根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库，并利用深度学习算法根据检索结果及该目标对象的情绪类别确定出一反馈模型；及执行该反馈模型。本案中的智能机器人及人机交互方法能够深入地理解用户的情感和情绪的问题并与用户进行交互，提高了用户的体验感。

Description

智能机器人及人机交互方法
技术领域
本发明涉及机器人领域，尤其涉及一种智能机器人及人机交互方法。
背景技术
现有技术中，机器人与人之间的交互主要涉及简单的人机对话，或在人的指令下完成特定的工作内容。然而，能够使机器人从社会的伦理道德、法律法规、天文地理及人际关系(如，家庭关系、同事关系、朋友关系)等方面深入地理解用户的情感和情绪的问题并与用户进行交互的方案却很少。
发明内容
鉴于以上内容，有必要提供一种智能机器人及人机交互方法以深入地理解用户的情感和情绪的问题并与用户进行交互。
一种智能机器人，包括摄像单元、语音采集单元、输出单元及处理单元，该处理单元用于：
获取来自该语音采集单元获取的语音信息及该摄像单元获取的图像信息；
从获取的语音信息及图像信息中识别一目标对象；
确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联；
从该目标对象对应的相关事件信息中提取关键信息；
根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果，并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型，其中，该反馈模型是指用于控制该智能机器人与该目标对象进行交互的指令集；及
通过该输出单元执行该反馈模型。
优选地，该处理单元从该语音信息中识别一声纹特征及从该图像信息中识别脸部特征，并根据该声纹特征及该脸部特征识别对应的目标对象。
优选地。该处理单元控制该语音采集单元采集该目标对象的语音信息作为该目标对象的相关事件信息。
优选地，该处理单元识别所获取的语音信息，将所识别的语音信息转化为文本数据，提取出该文本数据中的关键信息，并将该文本数据中的关键信息作为该相关事件的关键信息。
优选地，该处理单元控制该摄像单元获取该目标对象的图片信息作为该目标对象的相关事件信息。
优选地，该处理单元获取该图片信息中包含的面部表情信息及肢体动作特征信息，对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数，对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数，并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。
优选地，该处理单元还用于设定该智能机器人的情感方向，该处理单元从该目标对象的相关事件信息中提取关键信息，根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库，并利用深度学习算法根据检索结果、该目标对象的情绪类别及设定的该智能机器人的情感方向确定出对应的反馈模型。
优选地，该输出单元包括语音输出单元及表情输出单元，该执行模块通过控制该语音输出单元输出语音信息，及通过该表情输出单元输出表情动作的方式执行该反馈模型。
一种人机交互方法，应用在一智能机器人中，该方法包括步骤：
获取一语音采集单元获取的语音信息：
获取一摄像单元获取的图像信息；
从获取的语音信息及图像信息中识别一目标对象；
确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联；
从该目标对象对应的相关事件信息中提取关键信息；
根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果，并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型，其中，该反馈模型是指用于控制该智能机器人与该目标对象进行交互的指令集；及
通过一输出单元执行该反馈模型。
优选地，该方法在步骤“从获取的语音信息及图像信息中识别一目标对象”还包括：
从该语音信息中识别一声纹特征及从该图像信息中识别脸部特征，并根据该声纹特征及该脸部特征识别对应的目标对象。
优选地，该方法在步骤“确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联”中包括：
控制该语音采集单元采集该目标对象的语音信息作为该目标对象的相关事件信息。
优选地，该方法还包括步骤：
识别所获取的语音信息，将所识别的语音信息转化为文本数据，提取出该文本数据中的关键信息，并将该文本数据中的关键信息作为该相关事件的关键信息。
优选地，该方法在步骤“确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联”中包括：
控制该摄像单元获取该目标对象的图片信息作为该目标对象的相关事件信息。
优选地，该方法还包括步骤：
获取该图片信息中包含的面部表情信息及肢体动作特征信息，对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数，对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数，并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。
优选地，该方法还包括步骤：
通过控制一语音输出单元输出语音信息，及通过一表情输出单元输出表情动作的方式执行该反馈模型。
本案中的智能机器人及人机交互方法能够深入地理解用户的情感和情绪的问题并与用户进行交互，提高了用户的体验感。
附图说明
图1为本发明一实施方式中人机交互系统的应用环境图。
图2为本发明一实施方式中智能机器人的功能模块图。
图3为本发明一实施方式中人机交互系统的功能模块图。
图4为本发明一实施方式中基本信息表的示意图。
图5为本发明一实施方式中人机交互方法的流程图。主要元件符号说明
人机交互系统 1
智能机器人 2
服务器 3
摄像单元 22
语音采集单元 23
压力感测器 24
输出单元 25
味道感测器 26
通信单元 27
处理单元 28
存储单元 29
语音输出单元 251
表情输出单元 252
运动驱动单元 253
显示单元 254
感知模块 101
识别模块 102
分析模块 103
执行模块 104
设置模块 105
基本信息表 T1
步骤 S501～S506
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参考图1，所示为本发明一实施方式中人机交互系统1的应用环境图。该人机交互系统1应用在一智能机器人2中。该智能机器人2与一服务器3通信连接。该人机交互系统1用于控制该智能机器人2与用户进行交互。
请参考图2，所示为本发明一实施方式中智能机器人2的功能模块图。该智能机器人2包括摄像单元22、语音采集单元23、压力感测器24、输出单元25、味道感测器26、通信单元27、处理单元28及存储单元29。该摄像单元22摄取智能机器人2周围环境的图像并将摄取的图像传送给处理单元28。例如，该摄像单元22可以摄取智能机器人2周围的人、动物或静止物体的画面，及将获取的人、动物或静止物体的画面传送给该处理单元28。本实施方式中，该摄像单元22可以为一摄像头、3D光场相机等。该语音采集单元23用于接收智能机器人2周围的语音信息并将接收的语音信息传送给处理单元28。在本实施方式中，该语音采集单元23可以为麦克风、麦克风阵列等。该压力感测器24用于检测用户对该智能机器人2的按压力信息及将检测出的按压力信息传送给处理单元28。
该输出单元25包括语音输出单元251、表情输出单元252、运动驱动单元253及显示单元254。该语音输出单元251用于在该处理单元28的控制下输出语音信息。在本实施方式中，该语音输出单元251可以为扬声器。表情输出单元252用于在该处理单元28的控制下输出表情动作。在一实施方式中，该表情输出单元252包括设于机器人头部可开合的眼帘和嘴巴及设于眼帘内可转动的眼球。该运动驱动单元253用于在该处理单元28的控制下控制该智能机器人2的控制下驱动该智能机器人2移动。在一实施方式中，该运动驱动单元253包括两轴或四轴驱动轮。该显示单元254用于显示表情图像，如高兴、苦恼、忧郁表情等。该味道感测器26用于检测气味信息。该通信单元27用于供该智能机器人2与一服务器3(如图1所示)通信连接。在一实施方式中，该通信单元27可以为WIFI通信模块、Zigbee通信模块及Blue Tooth通信模块。
该存储单元29用于存储该智能机器人2的程序代码及数据资料。例如，该存储单元29可以存储预设人脸图像、预设语音及人机交互系统1。本实施方式中，该存储单元29可以为该智能机器人2的内部存储单元，例如该智能机器人2的硬盘或内存。在另一实施方式中，该存储单元29也可以为该智能机器人2的外部存储设备，例如该智能机器人2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。
本实施方式中，该处理单元28可以为一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，该处理单元28用于执行软件程序代码或运算数据。
请参考图3，所示为本发明一实施方式中人机交互系统1的功能模块图。本实施方式中，该人机交互系统1包括一个或多个模块，所述一个或者多个模块被存储于该存储单元29中，并被该处理单元28所执行。人机交互系统1包括感知模块101、识别模块102、分析模块103、执行模块104及设置模块105。在其他实施方式中，该人机交互系统1为内嵌在该智能机器人2中的程序段或代码。
该感知模块101获取来自该语音采集单元23获取的语音信息及该摄像单元22获取的图像信息。
该识别模块102用于从获取的语音信息及图像信息中识别一目标对象。在一实施方式中，该识别模块102对获取的语音信息进行语音信号预处理，例如进行去噪处理，使得语音识别时更加准确。在一实施方式中，该识别模块102从语音信息中识别一声纹特征及从图像信息中识别脸部特征，并根据该声纹特征及该脸部特征识别该目标对象。该目标对象包括人及动物。例如，该存储单元29中存储一第一对应关系表(图中未示)，该第一对应关系表中定义了声纹特征、脸部特征及目标对象的对应关系，该识别模块102根据识别出的声纹特征、脸部特征及该第一对应关系表确定该目标对象。在另一实施方式中，该识别模块102也可以仅从获取的语音信息中识别该目标对象。例如，该存储单元29中存储一第二对应关系表(图中未示)，该第二对应关系表中定义了声纹特征及目标对象的对应关系。该识别模块102根据识别出的声纹特征及该第二对应关系表确定该目标对象。在其他实施方式中，该识别模块102也可以仅从获取的图像信息中识别该目标对象。例如，该存储单元29中存储一第三对应关系表(图中未示)。该第三对应关系表中定义该脸部特征与该目标对象的对应关系，该识别模块102根据识别出的脸部特征及该第三对应关系表确定该目标对象。在一实施方式中，该识别模块102将获取的图像与存储在存储单元29中的图片集进行比对确定出获取的图像中的脸部特征，该识别模块102根据识别出的脸部特征及该第三对应关系表确定该目标对象。
在一实施方式中，该目标对象还包括静止物体，例如桌子，椅子，房子等物体。该识别模块102还用于将通过从该摄像单元22中获取的图片与一存储在存储单元29中的图片集进行比对，并根据比对结果确定出该图片中包含的静止物体。其中，该图片集中的每一幅图片对应包含一静止物体。例如，该识别模块102将获取的图片与存储的图片集进行比对后确定该图片中的物体与存储的图片集中一幅图片所包含的房子一致时，该识别模块102识别出该获取的图片中的目标对象为房子。
该识别模块102还用于确定出与该目标对象相关的信息，例如，基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联。在一实施方式中，所述相关的信息包括，但不限于，该目标对象的基本信息、及与该目标对象相关的事件信息。在一实施方式中，当目标对象为人时，该目标对象的基本信息包括，但不限于，用户的姓名、年龄、身高、体重、体型(例如，大体型、中体型、小体型)。当目标对象为物体时，该目标对象的基本信息包括，但不限于，目标对象的名称、位置、功能属性等。例如，该存储单元29存储一基本信息表T1(参考图4)，该基本信息表T1定义了目标对象与基本信息的对应关系。该识别模块102根据该目标对象及该基本信息表T1确定出与该目标对象对应的基本信息。
在一实施方式中，与该目标对象相关的事件信息可以是指发生在某个时间或某个地点的与该目标对象相关的事件。在一实施方式中，当识别出目标对象时，该识别模块102控制该语音采集单元23采集该目标对象的语音信息作为该目标对象的相关事件信息。在另一实施方式中，当识别出目标对象时，该识别模块102控制该摄像单元22获取该目标对象的图片信息作为相关事件信息。在其他实施方式中，当识别出目标对象时，该识别模块102同时将通过语音采集单元23采集的语音信息及通过摄像单元22摄取的图片信息作为该目标对象的相关事件信息。
该分析模块103用于从该目标对象对应的相关事件信息中提取关键信息。例如，当该目标对象的相关事件信息为语音信息时，该分析模块103识别所获取的语音信息，将所识别的语音信息转化为文本数据，提取出该文本数据中的关键信息，及将该文本数据中的关键信息作为该相关事件的关键信息。本实施方式中，该文本数据中的关键信息包括关键词、关键字、或关键语句。当该当目标对象的相关事件信息为图片信息时，该分析模块103获取该图片信息中包含的面部表情信息及肢体动作特征信息，对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数，对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数，并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。
该分析模块103根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果，并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型。本实施方式中，该反馈模型是指用于控制该智能机器人2与该目标对象进行交互的指令集。本实施方式中，该公共基础知识库可以包括，但不限于人文伦理知识库、法律法规知识库、道德情操知识库、宗教知识库、天文地理知识库。在一实施方式中，该公共基础知识库存储在该智能机器人2的存储单元29中。该智能机器人2可以直接访问该存储单元29中的公共基础知识库。在其他实施方式中，该公共基础知识库存储在服务器3中。该智能机器人2通过通信单元27访问该服务器3中的公共基础知识库。
本实施方式中，该深度学习算法包括，但不限于，“神经词袋模型”、“递归神经网络”、“循环神经网络”、“卷积神经网络”。本实施方式中，该目标对象的情绪类别包括高兴、悲伤、愤怒、平和、暴躁等情绪。例如，当用户微笑着对智能机器人2说“这些花真漂亮啊！”时，该感知模块101通过该语音采集单元23获取用户的语音信息，及通过该摄像单元22获取包含用户的图像信息。该识别模块102根据用户的语音信息识别出用户的声纹特征及根据用户的图像信息识别出用户的脸部特征。该识别模块102根据该识别出的声纹特征及脸部特征识别出目标对象为用户。该识别模块102确定出用户的基本信息，及将用户发出的语音信息“这些花真漂亮啊！”及用户微笑的图像信息作为用户的相关事件信息，并将用户的基本信息与用户的相关事件信息进行关联。该分析模块103从用户发出的语音信息“这些花真漂亮啊！”提取出关键信息为“花”、“漂亮”，及从用户微笑的图像信息中提取出关键信息为“微笑表情”。该分析模块103根据所提取的该些关键信息“花、漂亮、微笑表情”利用神经网络分析算法确定该目标对象的情绪类别为高兴。该分析模块103根据所提取的上述关键信息检索预设的公共基础知识库，并利用深度学习算法根据检索结果及高兴的情绪类别确定出对应的反馈模型。
在一实施方式中，该设置模块105用于设定该智能机器人2的情感方向。在一实施方式中，该设定的情感方向包括励志型、安慰型、讽刺型、幽默型等。该分析模块103从该目标对象的相关事件信息中提取关键信息，根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库，并利用深度学习算法根据检索结果、该目标对象的情绪类别及该设定的智能机器人2的情感方向确定出对应的反馈模型。本实施方式中，该情绪类别包括，但不限于，高兴、愤怒、悲伤、愉快等情绪。
在一实施方式中，该感知模块101还用于通过该压力感测器24感测用户输入的按压力，及通过该味道感测器26检测该智能机器人2周围环境的气味信息。该分析模块103还用于根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果，并利用深度学习算法根据该检索结果、该目标对象的情绪类别、该感测的按压力及该感测的气味信息确定出对应的反馈模型。
该执行模块104用于通过该输出单元25执行该反馈模型。在一实施方式中，该执行模块104通过该输出单元25输出语音信息及输出表情动作的方式来执行该反馈模型以实现该智能机器人2与目标对象之间的交互。具体的，该执行模块104通过语音输出单元251输出语音信息、通过表情输出单元252输出表情动作的方式执行该反馈模型。例如，当用户微笑着对智能机器人2说“这些花真漂亮啊！”时，该识别模块102识别出该目标对象为用户。该分析模块103从用户发出的语音信息“这些花真漂亮啊！”提取出关键信息为“花”、“漂亮”，及从用户微笑的图像信息中提取出关键信息为“微笑表情”。该分析模块103根据所提取的该些关键信息“花、漂亮、微笑表情”利用神经网络分析算法确定该目标对象的情绪类别为高兴。该分析模块103根据所提取的关键信息“花、漂亮、微笑表情”检索预设的公共基础知识库，并利用深度学习算法根据检索结果及高兴的情绪类别确定出对应的反馈模型。该反馈模型为控制该智能机器人2输出语音信息“这些花真的很漂亮，我也很喜欢！”及输出笑容的表情动作的指令。该执行模块104通过语音输出单元251输出“这些花真的很漂亮，我也很喜欢！”的语音信息及通过表情输出单元252控制设于智能机器人2头部中的眼帘和嘴巴开合及设于眼帘内的眼球转动输出笑容表情动作，从而实现该智能机器人2与用户进行交互。
在其他实施方式中，该执行模块104还通过运动驱动单元253控制该智能机器人2以预设移动的方式及控制该显示单元254显示一预设表情图像的方式来执行该反馈模型以实现该智能机器人2与目标对象之间的交互。
请参考图5，所示为本发明一实施方式中人机交互方法的流程图。该方法应用在智能机器人2中。根据不同需求，该流程图中步骤的顺序可以改变，某些步骤可以省略或合并。该方法包括如下步骤。
S501：获取来自语音采集单元23获取的语音信息及摄像单元22获取的图像信息。
S502：从获取的语音信息及图像信息中识别一目标对象。
在一实施方式中，该智能机器人2对获取的语音信息进行语音信号预处理，例如进行去噪处理，使得语音识别时更加准确。在一实施方式中，该智能机器人2从语音信息中识别一声纹特征及从图像信息中识别脸部特征，并根据该声纹特征及该脸部特征识别该目标对象。该目标对象包括人及动物。在一实施方式中，该目标对象还包括静止物体，例如桌子，椅子，房子等物体。该智能机器人2还用于将通过从该摄像单元22中获取的图片与一存储在存储单元29中的图片集进行比对，并根据比对结果确定出该图片中包含的静止物体。
S503：确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联。
在一实施方式中，所述相关信息包括，但不限于，该目标对象的基本信息、及与该目标对象相关的事件信息。在一实施方式中，当目标对象为人时，该目标对象的基本信息包括，但不限于，用户的姓名、年龄、身高、体重、体型(例如，大体型、中体型、小体型)。当目标对象为物体时，该目标对象的基本信息包括，但不限于，目标对象的名称、位置、功能属性等。例如，该存储单元29存储一基本信息表T1(参考图4)，该基本信息表T1定义了目标对象与基本信息的对应关系。该智能机器人2根据该目标对象及该基本信息表T1确定出与该目标对象对应的基本信息。
在一实施方式中，与该目标对象相关的事件信息可以是指发生在某个时间或某个地点的与该目标对象相关的事件。该智能机器人2可以控制该语音采集单元23采集该目标对象的语音信息作为该目标对象的相关事件信息。在另一实施方式中，该智能机器人2可以控制该摄像单元22获取该目标对象的图片信息作为相关事件信息。在其他实施方式中，该智能机器人2同时将通过语音采集单元23采集的语音信息及通过摄像单元22摄取的图片信息作为该目标对象的相关事件信息。
S504：从该目标对象对应的相关事件信息中提取关键信息。
例如，当该目标对象的相关事件信息为语音信息时，该智能机器人2识别所获取的语音信息，将所识别的语音信息转化为文本数据，提取出该文本数据中的关键信息，及将该文本数据中的关键信息作为该相关事件的关键信息。当该当目标对象的相关事件信息为图片信息时，该智能机器人2获取该图片信息中包含的面部表情信息及肢体动作特征信息，对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数，对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数，并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。
S505：根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果，并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型。
本实施方式中，该反馈模型是指用于控制该智能机器人2与该目标对象进行交互的指令集。本实施方式中，该公共基础知识库可以包括，但不限于人文伦理知识库、法律法规知识库、道德情操知识库、宗教至少库、天文地理知识库。在一实施方式中，该公共基础知识库存储在该智能机器人2的存储单元29中。该智能机器人2可以直接访问该存储单元29中的公共基础知识库。在其他实施方式中，该公共基础知识库存储在服务器3中。该智能机器人2通过通信单元27访问该服务器3中的公共基础知识库。
本实施方式中，该深度学习算法包括，但不限于，“神经词袋模型”、“递归神经网络”、“循环神经网络”、“卷积神经网络”。本实施方式中，该目标对象的情绪类别包括高兴、悲伤、愤怒、平和、暴躁等情绪。例如，当用户微笑着对智能机器人2说“这些花真漂亮啊！”时，该对智能机器人2通过该语音采集单元23获取用户的语音信息，及通过该摄像单元22获取包含用户的图像信息。该对智能机器人2根据用户的语音信息识别出用户的声纹特征及根据用户的图像信息识别出用户的脸部特征。该对智能机器人2根据该识别出的声纹特征及脸部特征识别出目标对象为用户。该对智能机器人2确定出用户的基本信息，及将用户发出的语音信息“这些花真漂亮啊！”及用户微笑的图像信息作为用户的相关事件信息，并将用户的基本信息与用户的相关事件信息进行关联。该对智能机器人2从用户发出的语音信息“这些花真漂亮啊！”提取出关键信息为“花”、“漂亮”，及从用户微笑的图像信息中提取出关键信息为“微笑表情”。该对智能机器人2根据所提取的该些关键信息“花、漂亮、微笑表情”利用神经网络分析算法确定该目标对象的情绪类别为高兴。该对智能机器人2根据所提取的上述关键信息检索预设的公共基础知识库，并利用深度学习算法根据检索结果及高兴的情绪类别确定出对应的反馈模型。
S506：通过输出单元25执行该反馈模型。
在一实施方式中，该智能机器人2通过该输出单元25输出语音信息及输出表情动作的方式来执行该反馈模型以实现该智能机器人2与目标对象之间的交互。具体的，该智能机器人2通过语音输出单元251输出语音信息、通过表情输出单元252输出表情动作的方式执行该反馈模型。例如，当用户微笑着对智能机器人2说“这些花真漂亮啊！”时，该智能机器人2识别出该目标对象为用户。该智能机器人2从用户发出的语音信息“这些花真漂亮啊！”提取出关键信息为“花”、“漂亮”，及从用户微笑的图像信息中提取出关键信息为“微笑表情”。该智能机器人2根据所提取的该些关键信息“花、漂亮、微笑表情”利用神经网络分析算法确定该目标对象的情绪类别为高兴。该智能机器人2根据所提取的关键信息“花、漂亮、微笑表情”检索预设的公共基础知识库，并利用深度学习算法根据检索结果及高兴的情绪类别确定出对应的反馈模型。该反馈模型为控制该智能机器人2输出语音信息“这些花真的很漂亮，我也很喜欢！”及输出笑容的表情动作的指令。该智能机器人2通过语音输出单元251输出“这些花真的很漂亮，我也很喜欢！”的语音信息及通过表情输出单元252控制设于智能机器人2头部中的眼帘和嘴巴开合及设于眼帘内的眼球转动输出笑容表情动作，从而实现该智能机器人2与用户进行交互。
在其他实施方式中，该智能机器人2还通过运动驱动单元253控制该智能机器人2以预设移动的方式及控制该显示单元254显示一预设表情图像的方式来执行该反馈模型以实现该智能机器人2与目标对象之间的交互。
在一实施方式中，该方法还包括步骤：
设定该智能机器人的情感方向；
从该目标对象的相关事件信息中提取关键信息；
根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别；
根据所提取的关键信息检索预设的公共基础知识库；及
并利用深度学习算法根据检索结果、该目标对象的情绪类别及该设定的智能机器人2的情感方向确定出对应的反馈模型。在一实施方式中，该设定的情感方向包括励志型、安慰型、讽刺型、幽默型等。
在一实施方式中，该方法还包括步骤：
通过压力感测器24感测用户输入的按压力；
通过该味道感测器26检测智能机器人2周围环境的气味信息；及
根据所提取的关键信息检索预设的公共基础知识库，并利用深度学习算法根据检索结果、该目标对象的情绪类别、该感测的按压力及该感测的气味信息确定出对应的反馈模型。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换都不应脱离本发明技术方案的精神和范围。

Claims (15)

1.一种智能机器人，包括摄像单元、语音采集单元、输出单元及处理单元，其特征在于，该处理单元用于：
获取来自该语音采集单元获取的语音信息及该摄像单元获取的图像信息；
从获取的语音信息及图像信息中识别一目标对象；
确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联；
从该目标对象对应的相关事件信息中提取关键信息；
根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果，并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型，其中，该反馈模型是指用于控制该智能机器人与该目标对象进行交互的指令集；及
通过该输出单元执行该反馈模型。
2.如权利要求1所述的智能机器人，其特征在于，该处理单元从该语音信息中识别一声纹特征及从该图像信息中识别脸部特征，并根据该声纹特征及该脸部特征识别对应的目标对象。
3.如权利要求1所述的智能机器人，其特征在于，该处理单元控制该语音采集单元采集该目标对象的语音信息作为该目标对象的相关事件信息。
4.如权利要求3所述的智能机器人，其特征在于，该处理单元识别所获取的语音信息，将所识别的语音信息转化为文本数据，提取出该文本数据中的关键信息，并将该文本数据中的关键信息作为该相关事件的关键信息。
5.如权利要求1所述的智能机器人，其特征在于，该处理单元控制该摄像单元获取该目标对象的图片信息作为该目标对象的相关事件信息。
6.如权利要求5所述的智能机器人，其特征在于，该处理单元获取该图片信息中包含的面部表情信息及肢体动作特征信息，对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数，对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数，并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。
7.如权利要求1所述的智能机器人，其特征在于，该处理单元还用于设定该智能机器人的情感方向，该处理单元从该目标对象的相关事件信息中提取关键信息，根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库，并利用深度学习算法根据检索结果、该目标对象的情绪类别及设定的该智能机器人的情感方向确定出对应的反馈模型。
8.如权利要求1所述的智能机器人，其特征在于，该输出单元包括语音输出单元及表情输出单元，该执行模块通过控制该语音输出单元输出语音信息，及通过该表情输出单元输出表情动作的方式执行该反馈模型。
9.一种人机交互方法，应用在一智能机器人中，其特征在于，该方法包括步骤：
获取一语音采集单元获取的语音信息：
获取一摄像单元获取的图像信息；
从获取的语音信息及图像信息中识别一目标对象；
确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联；
从该目标对象对应的相关事件信息中提取关键信息；
根据所提取的关键信息利用神经网络分析算法确定该目标对象的情绪类别，根据所提取的关键信息检索预设的公共基础知识库以获取与该关键信息相关联的检索结果，并利用深度学习算法根据该检索结果及该目标对象的情绪类别确定出一反馈模型，其中，该反馈模型是指用于控制该智能机器人与该目标对象进行交互的指令集；及
通过一输出单元执行该反馈模型。
10.如权利要求9所述的人机交互方法，其特征在于，该方法在步骤“从获取的语音信息及图像信息中识别一目标对象”还包括：
从该语音信息中识别一声纹特征及从该图像信息中识别脸部特征，并根据该声纹特征及该脸部特征识别对应的目标对象。
11.如权利要求9所述的人机交互方法，其特征在于，该方法在步骤“确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联”中包括：
控制该语音采集单元采集该目标对象的语音信息作为该目标对象的相关事件信息。
12.如权利要求11所述的人机交互方法，其特征在于，该方法还包括步骤：
识别所获取的语音信息，将所识别的语音信息转化为文本数据，提取出该文本数据中的关键信息，并将该文本数据中的关键信息作为该相关事件的关键信息。
13.如权利要求9所述的人机交互方法，其特征在于，该方法在步骤“确定出与该目标对象对应的基本信息及相关事件信息，并将该目标对象的基本信息与该相关事件信息进行关联”中包括：
控制该摄像单元获取该目标对象的图片信息作为该目标对象的相关事件信息。
14.如权利要求13所述的人机交互方法，其特征在于，该方法还包括步骤：
获取该图片信息中包含的面部表情信息及肢体动作特征信息，对所获取的面部表情信息进行面部表情特征提取后确定出面部表情特征参数，对所获取的肢体动作信息进行肢体特征提取后确定出肢体特征参数，并将该面部表情特征参数及肢体特征参数作为该相关事件信息的关键信息。
15.如权利要求9所述的人机交互方法，其特征在于，该方法还包括步骤：
通过控制一语音输出单元输出语音信息，及通过一表情输出单元输出表情动作的方式执行该反馈模型。
CN201710663432.4A 2017-08-05 2017-08-05 智能机器人及人机交互方法 Withdrawn CN109389005A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710663432.4A CN109389005A (zh) 2017-08-05 2017-08-05 智能机器人及人机交互方法
TW106132484A TWI661363B (zh) 2017-08-05 2017-09-21 智慧型機器人及人機交互方法
US15/853,918 US10482886B2 (en) 2017-08-05 2017-12-25 Interactive robot and human-robot interaction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710663432.4A CN109389005A (zh) 2017-08-05 2017-08-05 智能机器人及人机交互方法

Publications (1)

Publication Number Publication Date
CN109389005A true CN109389005A (zh) 2019-02-26

Family

ID=65230729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710663432.4A Withdrawn CN109389005A (zh) 2017-08-05 2017-08-05 智能机器人及人机交互方法

Country Status (3)

Country Link
US (1) US10482886B2 (zh)
CN (1) CN109389005A (zh)
TW (1) TWI661363B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110459217A (zh) * 2019-08-21 2019-11-15 中国第一汽车股份有限公司 一种车载问答方法、系统、车辆及存储介质
CN111300443A (zh) * 2020-02-29 2020-06-19 重庆百事得大牛机器人有限公司 基于法律咨询机器人的情绪安抚方法
CN111368719A (zh) * 2020-03-03 2020-07-03 东莞理工学院 瞳孔特征的真实情感聊天机器人系统及该系统的判断方法
CN111975772A (zh) * 2020-07-31 2020-11-24 深圳追一科技有限公司 机器人控制方法、装置、电子设备及存储介质
CN114842842A (zh) * 2022-03-25 2022-08-02 青岛海尔科技有限公司 智能设备的语音交互方法和装置、存储介质
WO2022193911A1 (zh) * 2021-03-18 2022-09-22 Oppo广东移动通信有限公司 指令信息获取方法及装置、可读存储介质、电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3766066B1 (en) * 2018-04-19 2024-02-21 Microsoft Technology Licensing, LLC Generating response in conversation
US11244684B2 (en) * 2018-09-11 2022-02-08 International Business Machines Corporation Communication agent to conduct a communication session with a user and generate organizational analytics
US11848014B2 (en) * 2019-07-11 2023-12-19 Sanctuary Cognitive Systems Corporation Human-machine interfaces and methods which determine intended responses by humans
CN110989900B (zh) 2019-11-28 2021-11-05 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN111390919A (zh) * 2020-03-09 2020-07-10 合肥贤坤信息科技有限公司 一种陪伴机器人智能图像识别行为分析系统
CN111177326B (zh) * 2020-04-10 2020-08-04 深圳壹账通智能科技有限公司 基于精标注文本的关键信息抽取方法、装置及存储介质
US20230186681A1 (en) * 2020-04-22 2023-06-15 Faceonized Sp. Z.O.O Computing technologies for predicting personality traits
CN113569712B (zh) * 2021-07-23 2023-11-14 北京百度网讯科技有限公司 信息交互方法、装置、设备以及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI365416B (en) * 2007-02-16 2012-06-01 Ind Tech Res Inst Method of emotion recognition and learning new identification information
TWI447660B (zh) * 2009-12-16 2014-08-01 Univ Nat Chiao Tung Robot autonomous emotion expression device and the method of expressing the robot's own emotion
TWI456515B (zh) * 2012-07-13 2014-10-11 Univ Nat Chiao Tung 融合人臉辨識及語音辨識之身份辨識系統、其方法及其服務型機器人
CN104484656A (zh) * 2014-12-26 2015-04-01 安徽寰智信息科技股份有限公司 基于深度学习的唇语识别唇形模型库构建方法
WO2016145379A1 (en) * 2015-03-12 2016-09-15 William Marsh Rice University Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification
US10289076B2 (en) * 2016-11-15 2019-05-14 Roborus Co., Ltd. Concierge robot system, concierge service method, and concierge robot
US11580350B2 (en) * 2016-12-21 2023-02-14 Microsoft Technology Licensing, Llc Systems and methods for an emotionally intelligent chat bot
US10037767B1 (en) * 2017-02-01 2018-07-31 Wipro Limited Integrated system and a method of identifying and learning emotions in conversation utterances

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110459217A (zh) * 2019-08-21 2019-11-15 中国第一汽车股份有限公司 一种车载问答方法、系统、车辆及存储介质
CN110459217B (zh) * 2019-08-21 2022-03-08 中国第一汽车股份有限公司 一种车载问答方法、系统、车辆及存储介质
CN111300443A (zh) * 2020-02-29 2020-06-19 重庆百事得大牛机器人有限公司 基于法律咨询机器人的情绪安抚方法
CN111300443B (zh) * 2020-02-29 2020-11-13 重庆百事得大牛机器人有限公司 基于法律咨询机器人的情绪安抚方法
CN111368719A (zh) * 2020-03-03 2020-07-03 东莞理工学院 瞳孔特征的真实情感聊天机器人系统及该系统的判断方法
CN111975772A (zh) * 2020-07-31 2020-11-24 深圳追一科技有限公司 机器人控制方法、装置、电子设备及存储介质
WO2022193911A1 (zh) * 2021-03-18 2022-09-22 Oppo广东移动通信有限公司 指令信息获取方法及装置、可读存储介质、电子设备
CN114842842A (zh) * 2022-03-25 2022-08-02 青岛海尔科技有限公司 智能设备的语音交互方法和装置、存储介质

Also Published As

Publication number Publication date
TWI661363B (zh) 2019-06-01
US10482886B2 (en) 2019-11-19
US20190043511A1 (en) 2019-02-07
TW201911127A (zh) 2019-03-16

Similar Documents

Publication Publication Date Title
CN109389005A (zh) 智能机器人及人机交互方法
CN108388876B (zh) 一种图像识别方法、装置以及相关设备
WO2019085585A1 (zh) 设备控制处理方法及装置
CN109522835A (zh) 基于智能机器人的儿童读物阅读与交互方法及系统
CN109871450A (zh) 基于绘本阅读的多模态交互方法及系统
CN109421044A (zh) 智能机器人
CN110309254A (zh) 智能机器人与人机交互方法
CN103513890A (zh) 一种基于图片的交互方法、装置和服务器
CN109101663A (zh) 一种基于互联网的机器人对话系统
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
KR101738142B1 (ko) 감성 기반의 대화가 가능한 디지털 생명체 생성 시스템 및 그 제어방법
TW201909036A (zh) 基於神經網路的人臉影像多維度情感判別系統及方法
JP2018032164A (ja) 面接システム
Zhang et al. Intelligent Facial Action and emotion recognition for humanoid robots
US20180336450A1 (en) Platform to Acquire and Represent Human Behavior and Physical Traits to Achieve Digital Eternity
CN109542389A (zh) 用于多模态故事内容输出的音效控制方法及系统
CN112053205A (zh) 通过机器人情绪识别的产品推荐方法及装置
Sharma et al. Emotion-based music recommendation system
CN110910898B (zh) 一种语音信息处理的方法和装置
KR20220134715A (ko) 사용자의 정신건강 상태를 판단하기 위한 장치 및 그 방법
CN110674270B (zh) 基于人工智能的幽默生成与情感交互方法及机器人系统
CN108628454B (zh) 基于虚拟人的视觉交互方法及系统
JP2017182261A (ja) 情報処理装置、情報処理方法、およびプログラム
CN107992825A (zh) 一种基于增强现实的人脸识别的方法及系统
US12011828B2 (en) Method for controlling a plurality of robot effectors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190226

WW01 Invention patent application withdrawn after publication