CN110119715A - 一种陪伴机器人及情绪识别方法 - Google Patents
一种陪伴机器人及情绪识别方法 Download PDFInfo
- Publication number
- CN110119715A CN110119715A CN201910399383.7A CN201910399383A CN110119715A CN 110119715 A CN110119715 A CN 110119715A CN 201910399383 A CN201910399383 A CN 201910399383A CN 110119715 A CN110119715 A CN 110119715A
- Authority
- CN
- China
- Prior art keywords
- personnel
- company
- mood
- information
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000036651 mood Effects 0.000 claims abstract description 104
- 230000014509 gene expression Effects 0.000 claims description 77
- 239000013598 vector Substances 0.000 claims description 24
- 230000001815 facial effect Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000001943 fluorescence-activated cell sorting Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000032683 aging Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Hospice & Palliative Care (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Child & Adolescent Psychology (AREA)
- Psychiatry (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及人工智能技术领域，目的是提供一种陪伴机器人及情绪识别方法，其中一种陪伴机器人，包括图像信息及语音信息获取装置、控制器及扬声器，图像信息及语音信息获取装置及扬声器均与控制器电性连接，图像信息及语音信息获取装置用于采集被陪伴人员图像信息及语音信息，并将被陪伴人员图像信息及语音信息发送至控制器，控制器包括情绪识别模块及聊天控制单元，情绪识别模块用于根据被陪伴人员图像信息及语音信息判断被陪伴人员的情绪模式，并将被陪伴人员的情绪模式发送至聊天控制单元，聊天控制单元根据被陪伴人员的情绪模式通过扬声器输出语音信息。本发明具有充分了解被陪伴人的情绪，能理解、疏导和陪护被陪伴人员的效果。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种陪伴机器人及情绪识别方法。
背景技术
人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。人口老龄化是全世界面临的社会问题，中国的老龄化问题更为严峻。从老年人口规模看，中国是世界上最多的；从老龄化速度看，中国是世界上最快的；从解决老龄问题的难度看，中国是世界上最大的。空巢家庭和空巢老人问题更加突出，这一特殊人群在生活过程中面临各种各样的困难，精神生活质量有待提高，是我国目前亟待解决的社会问题。
授权公告号为CN201510506177.3的中国专利公开了一种悄悄话机器人，包括外壳，外壳内设置有驱动装置，智能控制器，智能计算处理分析系统，传感器装置和数据库，驱动装置连接智能控制器，智能控制器连接智能计算处理分析系统，智能计算处理分析系统连接传感器装置和数据库，智能计算处理分析系统能够判断用户周围的环境，设置有供用户设定的亲友陌生人归类选项和不同的秘密对应有不同等级的保密层次,机器人与用户的互动内容分保密等级。
现有技术存在以下缺陷：上述机器人仅通过被陪伴人的语音信息获取被陪伴人员所要表达的信息，但并不能充分了解被陪伴人的情绪，无法理解、疏导和陪护被陪伴人员。
发明内容
本发明目的在于提供一种陪伴机器人及情绪识别方法，从语言、图像及微表情三个方向获取被陪伴人员语音信息及情绪模式，再根据被陪伴人员语音信息及情绪模式与被陪伴人员进行交谈，具有充分了解被陪伴人的情绪，能理解、疏导和陪护被陪伴人员的优点。
为实现上述目的，本发明所采用的技术方案是：一种情绪识别方法，包括以下步骤：
S1：获取被陪伴人员图像信息及语音信息，执行S2；
S2：将被陪伴人员的语音信息转换为文本信息，根据文本信息获取文本摘要，执行S3；
S3：根据被陪伴人员的图像信息获取被陪伴人员的表象表情信息、动作信息及微表情信息，执行S4；
S4：根据被陪伴人员的表象表情信息、被陪伴人员的动作信息及被陪伴人员的微表情信息判断被陪伴人员的情绪模式，执行S5；
S5：根据文本摘要及被陪伴人员的情绪模式输出语音信息，执行S1。
通过采用上述技术方案，本方法根据语音信息生产文本摘要，被陪伴人员的图像信息获取被陪伴人员的表象表情信息、动作信息及微表情信息，根据被陪伴人员的表象表情信息、被陪伴人员的动作信息及被陪伴人员的微表情信息判断被陪伴人员的情绪模式，结合文本摘要及被陪伴人员的情绪模式生成对应的交谈文本与被陪伴人员进行交谈，从而达到充分了解被陪伴人的情绪，能理解、疏导和陪护被陪伴人员的效果。
优选的，所述S2还包括以下步骤：
S21：将被陪伴人员的语音信息转换为文本信息，执行S22；
S22：将文本信息按照设定的长度L并结合句子结构切割成多个文本子信息，执行S23；
S23：使用Word2vec模型根据文本子信息生成对应的词向量，执行S24；
S24：使用深度网络学习模型根据多个词向量生成文本摘要。
优选的，所述深度网络学习模型包括CNN网络、LSTM网络及ATTENTION机制。
优选的，所述S3中获取被陪伴人员的微表情信息包括以下步骤：
S31：检测图像中被陪伴人员的表情是否为微表情，若是，执行S32，若不是，执行S33；
S32：使用深度卷积神经网络识别该图像中被陪伴人员的微表情；
S33：放弃该图像。
通过采用上述技术方案，在进行图像识别之前，先进行筛选工作，将不包含微表情的图像剔除，具有提高微表情识别效率的效果。
优选的，所述S31包括以下步骤：
S311：使用DRMF模型检测被陪伴人员的图像信息中的人脸并确定人脸位置，切割出人脸图像，定位面部关键点，执行S312；
S312：基于FACS系统的规则将面部划分为多个微表情活跃的运动单元，执行S313；
S313：初始化一个运动向量作为第一帧的运动向量，执行S314；
S314：计算每一个面部关键点的向量幅值，计算每一个微表情活跃的运动单元的平均幅值，将当前运动向量加上下一帧的运动向量更新每一个面部关键点的运动向量，执行S315；
S315：所有的面部关键点是否都检测完成，若否，执行S314，若是，执行S316；
S316：检测所有面部关键点所用时间是否小于500ms，若是，判断该表情为微表情，若否，判断该表情不是微表情。
优选的，所述S5包括以下步骤：
S51：建立情绪模式库、摘要知识库及聊天知识库，情绪模式库内存储有多种已知情绪模式，执行S52；
S52：从情绪模式库内检索是否有与被陪伴人员的情绪模式匹配的已知情绪模式，若是，执行S53，若不是，执行S54；
S53：根据文本摘要及情绪模式检索聊天知识库内是否存在相关话题，若是执行S55，若不是，执行S56；
S54：根据判断的情绪模式在聊天知识库检索相关短句，发出语音询问被陪伴人员是否处于判断的情绪模式，若陪伴人员确认处于判断的情绪模式，执行S57，若不是，执行S58；
S55：提取聊天知识库内的相关话题，发出语音信息与被陪伴人进行交谈，执行S1；
S56：根据文本摘要及情绪模式生成话题索引存入摘要知识库，更新摘要知识库，执行S55；
S57：将判断的情绪模式作为已知情绪模式生成话题索引加入情绪模式库内，更新情绪模式库，执行S53；
S58：将判断的情绪模式归类到置信度较高的已知情绪模式，执行S53。
一种使用一种情绪识别方法的陪伴机器人，包括图像信息及语音信息获取装置、控制器及扬声器，所述图像信息及语音信息获取装置及扬声器均与所述控制器电性连接，所述图像信息及语音信息获取装置用于采集被陪伴人员图像信息及语音信息，并将被陪伴人员图像信息及语音信息发送至控制器，所述控制器包括情绪识别模块及聊天控制单元，所述情绪识别模块用于接收被陪伴人员图像信息及语音信息，根据被陪伴人员图像信息及语音信息判断被陪伴人员的情绪模式，并将被陪伴人员的情绪模式发送至聊天控制单元，所述聊天控制单元根据被陪伴人员的情绪模式通过扬声器输出语音信息。
通过采用上述技术方案，本机器人通过图像信息及语音信息获取装置获取被陪伴人员的图像信息和语音信息，情绪识别模块根据语音信息生产文本摘要，情绪识别模块根据被陪伴人员的图像信息获取被陪伴人员的表象表情信息、动作信息及微表情信息，情绪识别模块根据被陪伴人员的表象表情信息、被陪伴人员的动作信息及被陪伴人员的微表情信息判断被陪伴人员的情绪模式，聊天控制单元结合文本摘要及被陪伴人员的情绪模式生成对应的交谈文本与被陪伴人员进行交谈，从而达到充分了解被陪伴人的情绪，能理解、疏导和陪护被陪伴人员的效果。
优选的，所述情绪识别模块包括被陪伴人员语音特征提取单元、被陪伴人员人像特征提取单元、被陪伴人员微表情特征提取单元与识别单元及情绪识别单元，所述被陪伴人员语音特征提取单元用于对图像信息及语音信息获取装置获取的被陪伴人员的语音信息进行循环提取，并生成文本摘要信息发送至情绪识别单元，所述被陪伴人员人像特征提取单元用于提取图像信息及语音信息获取装置获取的被陪伴人员的图像信息中被陪伴人员的动作及表情信息并发送至情绪识别单元，所述被陪伴人员微表情特征提取单元与识别单元用于提取图像信息及语音信息获取装置获取的被陪伴人员的图像信息中被陪伴人员的微表情信息并发送至情绪识别单元，所述情绪识别单元用于根据文本摘要信息、被陪伴人员的动作及表情信息和被陪伴人员的微表情信息判断被陪伴人员的情绪模式。
优选的，所述被陪伴人员语音特征提取单元包括语音文本转换子单元、文本切割子单元及CNN网络，所述语音文本转换子单元用于将被陪伴人员的语音信息转换为文本信息并将文本信息发送至文本切割子单元，所述文本信息切割子单元用于将文本信息切割成多个文本子信息并将多个所述文本子信息发送至CNN网络，所述CNN网络用于根据多个所述文本子信息生成文本摘要并将文本摘要发送至情绪识别单元。
优选的，所述聊天控制单元包括情绪模式库、摘要知识库及聊天知识库，所述情绪模式库用于识别被陪伴人员的情绪模式，所述摘要知识库用于识别文本摘要并结合情绪模式库识别的情绪模式生成话题索引从聊天知识库内调取相关话题与被陪伴人进行交谈。
综上所述，本发明的有益效果为：
1、本发明从语言、图像及微表情三个方向获取被陪伴人员语音信息及情绪模式，再根据被陪伴人员语音信息及情绪模式与被陪伴人员进行交谈，具有充分了解被陪伴人的情绪，能理解、疏导和陪护被陪伴人员的优点；
2、本发明在与被陪伴人员聊天的过程中不断地提取被陪伴人员的社会关系信息，包括与子女、亲属、同学、朋友的关系网以及与这些人之间的情感状态、发生过的故事等，以便被陪伴人员下次再提到某个人或某件事时，以知识库做支撑进行陪聊，实现深度的人机交互。
附图说明
图1为本发明用于展示一种陪伴机器人的示意图；
图2为本发明用于展示一种情绪识别方法的流程示意图；
图3为本发明用于展示一种情绪识别方法的S2的步骤示意图；
图4为本发明用于展示一种情绪识别方法的S3中获取被陪伴人员的微表情信息步骤示意图；
图5为本发明用于展示一种情绪识别方法的S31的步骤示意图；
图6为本发明用于展示一种情绪识别方法的S4的步骤示意图；
图7为本发明用于展示一种情绪识别方法的S5的步骤示意图。
具体实施方式
下面结合本发明的附图1～7，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，一种陪伴机器人，包括图像信息及语音信息获取装置、控制器及扬声器，图像信息及语音信息获取装置及扬声器均与控制器电性连接，图像信息及语音信息获取装置用于采集被陪伴人员图像信息及语音信息，并将被陪伴人员图像信息及语音信息发送至控制器。本实施例中，图像信息及语音信息获取装置为摄像机，控制器为FPGA控制器。
控制器包括情绪识别模块及聊天控制单元，情绪识别模块包括被陪伴人员语音特征提取单元、被陪伴人员人像特征提取单元、被陪伴人员微表情特征提取单元与识别单元及情绪识别单元，被陪伴人员语音特征提取单元包括语音文本转换子单元、文本切割子单元及CNN网络，语音文本转换子单元用于将被陪伴人员的语音信息转换为文本信息并将文本信息发送至文本切割子单元，文本信息切割子单元用于将文本信息切割成多个文本子信息并将多个文本子信息发送至CNN网络，CNN网络用于根据多个文本子信息生成文本摘要并将文本摘要发送至情绪识别单元。本实施中，文本摘要包括人物信息、时间信息、地点信息、故事梗概信息等摘要信息。
被陪伴人员人像特征提取单元用于提取图像信息及语音信息获取装置获取的被陪伴人员的图像信息中被陪伴人员的动作及表情信息并发送至情绪识别单元。被陪伴人员微表情特征提取单元与识别单元用于提取图像信息及语音信息获取装置获取的被陪伴人员的图像信息中被陪伴人员的微表情信息并发送至情绪识别单元。情绪识别单元用于根据文本摘要信息、被陪伴人员的动作及表情信息和被陪伴人员的微表情信息判断被陪伴人员的情绪模式。聊天控制单元包括情绪模式库、摘要知识库及聊天知识库，情绪模式库用于识别被陪伴人员的情绪模式，摘要知识库用于识别文本摘要并结合情绪模式库识别的情绪模式生成话题索引从聊天知识库内调取相关话题通过扬声器输出语音信息。
参照图2，一种应用在一种陪伴机器人上的情绪识别方法，包括以下步骤：
S1：获取被陪伴人员图像信息及语音信息，执行S2；
S2：将被陪伴人员的语音信息转换为文本信息，根据文本信息获取文本摘要，本实施中，文本摘要包括人物信息、时间信息、地点信息、故事梗概信息等摘要信息，执行S3；
S3：根据被陪伴人员的图像信息获取被陪伴人员的表象表情信息、动作信息及微表情信息，执行S4；
S4：根据文本摘要、被陪伴人员的表象表情信息、被陪伴人员的动作信息及被陪伴人员的微表情信息判断被陪伴人员的情绪模式，执行S5；
S5：根据文本摘要及被陪伴人员的情绪模式输出语音信息，执行S1。
参照图3，S2还包括以下步骤：
S21：将被陪伴人员的语音信息转换为文本信息，执行S22；
S22：将文本信息按照设定的长度L并结合句子结构切割成多个文本子信息，执行S23；
S23：使用Word2vec模型根据文本子信息生成对应的词向量，执行S24；
S24：使用深度网络学习模型根据多个词向量生成文本摘要。
其中，深度网络学习模型包括CNN网络、LSTM网络及ATTENTION机制。
参照图4，S3中获取被陪伴人员的微表情信息包括以下步骤：
S31：检测图像中被陪伴人员的表情是否为微表情，若是，执行S32，若不是，执行S33；
S32：使用深度卷积神经网络识别该图像中被陪伴人员的微表情；
S33：放弃该图像。
参照图5，S31包括以下步骤：
S311：使用DRMF模型检测被陪伴人员的图像信息中的人脸并确定人脸位置，切割出人脸图像，定位面部关键点，执行S312；
S312：基于FACS系统的规则将面部划分为多个微表情活跃的运动单元，执行S313；
S313：初始化一个运动向量作为第一帧的运动向量，执行S314；
S314：计算每一个面部关键点的向量幅值，计算每一个微表情活跃的运动单元的平均幅值，将当前运动向量加上下一帧的运动向量更新每一个面部关键点的运动向量，执行S315；
S315：所有的面部关键点是否都检测完成，若否，执行S314，若是，执行S316；
S316：检测所有面部关键点，所用时间是否小于500ms，若是，判断该表情为微表情，若否，判断该表情不是微表情。
参照图6，S4还包括以下步骤：
S41：使用动作识别卷积神经网络识别图像信息中被陪伴人的动作信息，生成一个相似度矩阵，执行S42；
S42：使用表情识别卷积神经网络识别图像信息中被陪伴人的表情信息，生成一个相似度矩阵，值得注意的是，本实施例中，表情信息是指不同于微表情的表象表情，执行S43；
S43：使用微表情识别卷积神经网络识别图像信息中被陪伴人的微表情信息，生成一个相似度矩阵，执行S44；
S44：对三个相似矩阵进行z-score标准化，使用加权和的方法对三个标准化后的相似度矩阵进行融合，产生一个总的相似度矩阵，执行S45；
S15：使用情绪模式识别卷积神经网络对总的相似度矩阵进行识别，判断被陪伴人员的情绪模式。
参照图7，S5包括以下步骤：
S51：建立情绪模式库、摘要知识库及聊天知识库，情绪模式库内存储有多种已知情绪模式，执行S52；
S52：从情绪模式库内检索是否有与被陪伴人员的情绪模式匹配的已知情绪模式，若是，执行S53，若不是，执行S54；
S53：根据文本摘要及情绪模式检索聊天知识库内是否存在相关话题，若是执行S55，若不是，执行S56；
S54：根据判断的情绪模式在聊天知识库检索相关短句，发出语音询问被陪伴人员是否处于判断的情绪模式，若陪伴人员确认处于判断的情绪模式，本实施例中，若判断被陪伴人员处于悲伤状态，则输出语音“您不开心吗”， 询问被陪伴人员是否处于判断的悲伤模式，执行S57，若不是，执行S58；
S55：提取聊天知识库内的相关话题，发出语音信息与被陪伴人进行交谈，执行S1；
S56：根据文本摘要及情绪模式生成话题索引存入摘要知识库，更新摘要知识库，执行S55；
S57：将判断的情绪模式作为已知情绪模式生成话题索引加入情绪模式库内，更新情绪模式库，执行S53；
S58：将判断的情绪模式归类到置信度较高的已知情绪模式，执行S53。
本发明的实施原理为：本发明根据语音信息生产文本摘要，被陪伴人员的图像信息获取被陪伴人员的表象表情信息、动作信息及微表情信息，根据被陪伴人员的表象表情信息、被陪伴人员的动作信息及被陪伴人员的微表情信息判断被陪伴人员的情绪模式，结合文本摘要及被陪伴人员的情绪模式生成对应的交谈文本与被陪伴人员进行交谈，从而达到充分了解被陪伴人的情绪，能理解、疏导和陪护被陪伴人员的效果。
在本发明的描述中，需要理解的是，术语“逆时针”、“顺时针”“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
Claims (10)
1.一种情绪识别方法，其特征在于，包括以下步骤：
S1：获取被陪伴人员图像信息及语音信息，执行S2；
S2：将被陪伴人员的语音信息转换为文本信息，根据文本信息获取文本摘要，执行S3；
S3：根据被陪伴人员的图像信息获取被陪伴人员的表象表情信息、动作信息及微表情信息，执行S4；
S4：根据被陪伴人员的表象表情信息、被陪伴人员的动作信息及被陪伴人员的微表情信息判断被陪伴人员的情绪模式，执行S5；
S5：根据文本摘要及被陪伴人员的情绪模式输出语音信息，执行S1。
2.根据权利要求1所述的一种情绪识别方法，其特征在于，所述S2还包括以下步骤：
S21：将被陪伴人员的语音信息转换为文本信息，执行S22；
S22：将文本信息按照设定的长度L并结合句子结构切割成多个文本子信息，执行S23；
S23：使用Word2vec模型根据文本子信息生成对应的词向量，执行S24；
S24：使用深度网络学习模型根据多个词向量生成文本摘要。
3.根据权利要求2所述的一种情绪识别方法，其特征在于，所述深度网络学习模型包括CNN网络、LSTM网络及ATTENTION机制。
4.根据权利要求1所述的一种情绪识别方法，其特征在于，所述S3中获取被陪伴人员的微表情信息包括以下步骤：
S31：检测图像中被陪伴人员的表情是否为微表情，若是，执行S32，若不是，执行S33；
S32：使用深度卷积神经网络识别该图像中被陪伴人员的微表情；
S33：放弃该图像。
5.根据权利要求4所述的一种情绪识别方法，其特征在于，所述S31包括以下步骤：
S311：使用DRMF模型检测被陪伴人员的图像信息中的人脸并确定人脸位置，切割出人脸图像，定位面部关键点，执行S312；
S312：基于FACS系统的规则将面部划分为多个微表情活跃的运动单元，执行S313；
S313：初始化一个运动向量作为第一帧的运动向量，执行S314；
S314：计算每一个面部关键点的向量幅值，计算每一个微表情活跃的运动单元的平均幅值，将当前运动向量加上下一帧的运动向量更新每一个面部关键点的运动向量，执行S315；
S315：所有的面部关键点是否都检测完成，若否，执行S314，若是，执行S316；
S316：检测所有面部关键点所用时间是否小于500ms，若是，判断该表情为微表情，若否，判断该表情不是微表情。
6.根据权利要求1所述的一种情绪识别方法，其特征在于，所述S5包括以下步骤：
S51：建立情绪模式库、摘要知识库及聊天知识库，情绪模式库内存储有多种已知情绪模式，执行S52；
S52：从情绪模式库内检索是否有与被陪伴人员的情绪模式匹配的已知情绪模式，若是，执行S53，若不是，执行S54；
S53：根据文本摘要及情绪模式检索聊天知识库内是否存在相关话题，若是执行S55，若不是，执行S56；
S54：根据判断的情绪模式在聊天知识库检索相关短句，发出语音询问被陪伴人员是否处于判断的情绪模式，若陪伴人员确认处于判断的情绪模式，执行S57，若不是，执行S58；
S55：提取聊天知识库内的相关话题，发出语音信息与被陪伴人进行交谈，执行S1；
S56：根据文本摘要及情绪模式生成话题索引存入摘要知识库，更新摘要知识库，执行S55；
S57：将判断的情绪模式作为已知情绪模式生成话题索引加入情绪模式库内，更新情绪模式库，执行S53；
S58：将判断的情绪模式归类到置信度较高的已知情绪模式，执行S53。
7.一种使用权利要求1-6任意一项所述的一种情绪识别方法的陪伴机器人，其特征在于：包括图像信息及语音信息获取装置、控制器及扬声器，所述图像信息及语音信息获取装置及扬声器均与所述控制器电性连接，所述图像信息及语音信息获取装置用于采集被陪伴人员图像信息及语音信息，并将被陪伴人员图像信息及语音信息发送至控制器，所述控制器包括情绪识别模块及聊天控制单元，所述情绪识别模块用于接收被陪伴人员图像信息及语音信息，根据被陪伴人员图像信息及语音信息判断被陪伴人员的情绪模式，并将被陪伴人员的情绪模式发送至聊天控制单元，所述聊天控制单元根据被陪伴人员的情绪模式通过扬声器输出语音信息。
8.根据权利要求7所述的一种陪伴机器人，其特征在于：所述情绪识别模块包括被陪伴人员语音特征提取单元、被陪伴人员人像特征提取单元、被陪伴人员微表情特征提取单元与识别单元及情绪识别单元，所述被陪伴人员语音特征提取单元用于对图像信息及语音信息获取装置获取的被陪伴人员的语音信息进行循环提取，并生成文本摘要信息发送至情绪识别单元，所述被陪伴人员人像特征提取单元用于提取图像信息及语音信息获取装置获取的被陪伴人员的图像信息中被陪伴人员的动作及表情信息并发送至情绪识别单元，所述被陪伴人员微表情特征提取单元与识别单元用于提取图像信息及语音信息获取装置获取的被陪伴人员的图像信息中被陪伴人员的微表情信息并发送至情绪识别单元，所述情绪识别单元用于根据文本摘要信息、被陪伴人员的动作及表情信息和被陪伴人员的微表情信息判断被陪伴人员的情绪模式。
9.根据权利要求8所述的一种情绪识别方法，其特征在于：所述被陪伴人员语音特征提取单元包括语音文本转换子单元、文本切割子单元及CNN网络，所述语音文本转换子单元用于将被陪伴人员的语音信息转换为文本信息并将文本信息发送至文本切割子单元，所述文本信息切割子单元用于将文本信息切割成多个文本子信息并将多个所述文本子信息发送至CNN网络，所述CNN网络用于根据多个所述文本子信息生成文本摘要并将文本摘要发送至情绪识别单元。
10.根据权利要求7所述的一种陪伴机器人，其特征在于：所述聊天控制单元包括情绪模式库、摘要知识库及聊天知识库，所述情绪模式库用于识别被陪伴人员的情绪模式，所述摘要知识库用于识别文本摘要并结合情绪模式库识别的情绪模式生成话题索引从聊天知识库内调取相关话题与被陪伴人进行交谈。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910399383.7A CN110119715B (zh) | 2019-05-14 | 2019-05-14 | 一种陪伴机器人及情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910399383.7A CN110119715B (zh) | 2019-05-14 | 2019-05-14 | 一种陪伴机器人及情绪识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110119715A true CN110119715A (zh) | 2019-08-13 |
| CN110119715B CN110119715B (zh) | 2023-04-18 |
Family
ID=67522379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910399383.7A Active CN110119715B (zh) | 2019-05-14 | 2019-05-14 | 一种陪伴机器人及情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110119715B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114121041A (zh) * | 2021-11-19 | 2022-03-01 | 陈文琪 | 一种基于智伴机器人智能陪伴方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105739688A (zh) * | 2016-01-21 | 2016-07-06 | 北京光年无限科技有限公司 | 一种基于情感体系的人机交互方法、装置和交互系统 |
| CN106264568A (zh) * | 2016-07-28 | 2017-01-04 | 深圳科思创动实业有限公司 | 非接触式情绪检测方法和装置 |
| CN106773923A (zh) * | 2016-11-30 | 2017-05-31 | 北京光年无限科技有限公司 | 面向机器人的多模态情感数据交互方法及装置 |
| CN106919923A (zh) * | 2017-03-07 | 2017-07-04 | 佛山市融信通企业咨询服务有限公司 | 一种基于人面识别的情绪分析方法 |
| CN107053191A (zh) * | 2016-12-31 | 2017-08-18 | 华为技术有限公司 | 一种机器人，服务器及人机互动方法 |
| CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
| CN107909020A (zh) * | 2017-11-09 | 2018-04-13 | 东南大学 | 一种基于滤波器设计的光流向量微表情发生阶段检测方法 |
| CN108255307A (zh) * | 2018-02-08 | 2018-07-06 | 竹间智能科技（上海）有限公司 | 基于多模态情绪与脸部属性识别的人机交互方法、系统 |
| CN109101663A (zh) * | 2018-09-18 | 2018-12-28 | 宁波众鑫网络科技股份有限公司 | 一种基于互联网的机器人对话系统 |
| CN109308466A (zh) * | 2018-09-18 | 2019-02-05 | 宁波众鑫网络科技股份有限公司 | 一种对交互语言进行情绪识别的方法 |
-
2019
- 2019-05-14 CN CN201910399383.7A patent/CN110119715B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105739688A (zh) * | 2016-01-21 | 2016-07-06 | 北京光年无限科技有限公司 | 一种基于情感体系的人机交互方法、装置和交互系统 |
| CN106264568A (zh) * | 2016-07-28 | 2017-01-04 | 深圳科思创动实业有限公司 | 非接触式情绪检测方法和装置 |
| CN106773923A (zh) * | 2016-11-30 | 2017-05-31 | 北京光年无限科技有限公司 | 面向机器人的多模态情感数据交互方法及装置 |
| CN107053191A (zh) * | 2016-12-31 | 2017-08-18 | 华为技术有限公司 | 一种机器人，服务器及人机互动方法 |
| CN106919923A (zh) * | 2017-03-07 | 2017-07-04 | 佛山市融信通企业咨询服务有限公司 | 一种基于人面识别的情绪分析方法 |
| CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
| CN107909020A (zh) * | 2017-11-09 | 2018-04-13 | 东南大学 | 一种基于滤波器设计的光流向量微表情发生阶段检测方法 |
| CN108255307A (zh) * | 2018-02-08 | 2018-07-06 | 竹间智能科技（上海）有限公司 | 基于多模态情绪与脸部属性识别的人机交互方法、系统 |
| CN109101663A (zh) * | 2018-09-18 | 2018-12-28 | 宁波众鑫网络科技股份有限公司 | 一种基于互联网的机器人对话系统 |
| CN109308466A (zh) * | 2018-09-18 | 2019-02-05 | 宁波众鑫网络科技股份有限公司 | 一种对交互语言进行情绪识别的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王雪霏: "基于word2vec的中文自动摘要方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114121041A (zh) * | 2021-11-19 | 2022-03-01 | 陈文琪 | 一种基于智伴机器人智能陪伴方法及系统 |
| CN114121041B (zh) * | 2021-11-19 | 2023-12-08 | 韩端科技（深圳）有限公司 | 一种基于智伴机器人智能陪伴方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110119715B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11715485B2 (en) | Artificial intelligence apparatus for converting text and speech in consideration of style and method for the same | |
| CN106328166B (zh) | 人机对话异常检测系统及方法 | |
| CN110427472A (zh) | 智能客服匹配的方法、装置、终端设备及存储介质 | |
| US20210193110A1 (en) | Artificial intelligence apparatus for generating text or speech having content-based style and method for the same | |
| CN107301168A (zh) | 智能机器人及其情绪交互方法、系统 | |
| CN109919031A (zh) | 一种基于深度神经网络的人体行为识别方法 | |
| CN107870977A (zh) | 基于用户状态形成聊天机器人输出 | |
| CN106528859A (zh) | 一种数据推送系统及方法 | |
| CN107635147A (zh) | 基于多模态人机交互的健康信息管理电视 | |
| CN110109541B (zh) | 一种多模态交互的方法 | |
| CN103294194B (zh) | 一种基于眼球跟踪的翻译方法及系统 | |
| CN113014471B (zh) | 会话处理方法，装置、终端和存储介质 | |
| CN109308466A (zh) | 一种对交互语言进行情绪识别的方法 | |
| CN109101663A (zh) | 一种基于互联网的机器人对话系统 | |
| CN106486122A (zh) | 一种智能语音交互机器人 | |
| CN107784355A (zh) | 虚拟人多模态交互数据处理方法和系统 | |
| CN102902704B (zh) | 信息处理设备、短语输出方法 | |
| CN108304364A (zh) | 关键词提取方法和装置 | |
| US11492741B2 (en) | Electronic device | |
| Vu et al. | Emotion recognition based on human gesture and speech information using RT middleware | |
| CN111354246A (zh) | 一种用于帮助聋哑人交流的系统及方法 | |
| KR20230103665A (ko) | 텍스트 기반 아바타 생성 기능을 제공하는 메타버스 공간 장치, 방법, 및 프로그램 | |
| CN110472057A (zh) | 话题标签的生成方法及装置 | |
| Aspandi et al. | An enhanced adversarial network with combined latent features for spatio-temporal facial affect estimation in the wild | |
| CN110119715A (zh) | 一种陪伴机器人及情绪识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |