CN112809694A - 机器人控制方法、装置、存储介质和计算机设备 - Google Patents
机器人控制方法、装置、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN112809694A CN112809694A CN202010134772.XA CN202010134772A CN112809694A CN 112809694 A CN112809694 A CN 112809694A CN 202010134772 A CN202010134772 A CN 202010134772A CN 112809694 A CN112809694 A CN 112809694A
- Authority
- CN
- China
- Prior art keywords
- information
- emotion
- interactive
- semantic
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000008451 emotion Effects 0.000 claims abstract description 225
- 230000002452 interceptive effect Effects 0.000 claims abstract description 200
- 230000003993 interaction Effects 0.000 claims abstract description 130
- 238000004458 analytical method Methods 0.000 claims abstract description 80
- 230000004044 response Effects 0.000 claims abstract description 80
- 230000014509 gene expression Effects 0.000 claims abstract description 32
- 230000008909 emotion recognition Effects 0.000 claims description 41
- 230000006399 behavior Effects 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 230000036651 mood Effects 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 152
- 239000013598 vector Substances 0.000 description 26
- 238000013507 mapping Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 230000009471 action Effects 0.000 description 12
- 238000011176 pooling Methods 0.000 description 10
- 230000001276 controlling effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 206010048669 Terminal state Diseases 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013529 biological neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010033557 Palpitations Diseases 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 235000013570 smoothie Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本申请涉及一种机器人控制方法、装置、计算机可读存储介质和计算机设备,所述方法包括:获取输入的第一交互信息;根据所述第一交互信息获取分析信息,所述分析信息包括:所述第一交互信息对应的语义信息、所述第一交互信息对应的情绪信息、所述第一交互信息所属的话题信息、所述第一交互信息对应的应答情绪信息中的至少一个;根据所述分析信息确定第二交互信息,所述第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个;控制所述机器人输出所述第二交互信息。本申请提供的方案提高了机器人对用户情绪识别的准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种机器人控制方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着计算机技术的飞速发展,出现了大量的人工智能应用,比如智能机器人。智能机器人可与用户进行交互,比如针对用户提出的问题进行解答、基于用户发出的指令播放音乐等。在机器人与用户交互的过程中,机器人往往只是机械地回复、操作,这降低了用户与机器人交互的积极性,基于此,开发了机器人对用户情绪的识别功能,使得机器人可根据用户情绪调整回复内容,提高了用户与机器人交互的趣味性,进而提高了用户与机器人交互的积极性。
但是,传统的情绪识别功能只是对用户输入的关键字进行识别,比如用户讲“很开心认识你”,机器人便认定用户的情绪为开心,实际上用户的情绪是复杂的,这导致机器人对用户情绪的识别准确性不高。
发明内容
基于此,有必要针对传统的机器人对用户情绪识别准确性不高的技术问题,提供一种能准确识别用户情绪的机器人控制方法、装置、计算机可读存储介质和计算机设备。
一种机器人控制方法,包括:
获取输入的第一交互信息;
根据第一交互信息获取分析信息,分析信息包括:第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息中的至少一个;
根据分析信息确定第二交互信息,第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个;
控制机器人输出第二交互信息。
一种机器人控制装置,装置包括:
获取模块,用于获取输入的第一交互信息;
获取模块,还用于根据第一交互信息获取分析信息,分析信息包括:第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息中的至少一个;
确定模块,用于根据分析信息确定第二交互信息,第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个;
控制模块,用于控制机器人输出第二交互信息。
一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行任一项机器人控制方法的步骤。
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行任一项机器人控制方法的步骤。
上述机器人控制方法、装置、计算机可读存储介质和计算机设备,获取输入的第一交互信息,根据第一交互信息获取分析信息,分析信息包括:第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息中的至少一个,根据分析信息确定第二交互信息,第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个,并控制机器人输出第二交互信息。这样,结合用户输入的第一交互信息对应的语义信息、情绪信息、话题信息以及应答情绪信息多个维度对用户情绪进行分析,提高了机器人对用户情绪识别的准确性。
附图说明
图1为一个实施例中机器人控制方法的应用环境图;
图2为一个实施例中机器人控制方法的流程示意图;
图3为一个实施例中预设语义信息的设置界面示意图;
图4为一个实施例中预设情绪信息的设置界面示意图;
图5为一个实施例中预设话题信息的设置界面示意图;
图6为一个实施例中机器人性格的设置界面示意图;
图7为一个实施例中终端状态信息的设置界面示意图;
图8为一个实施例中机器人控制方法的结构框图;
图9为另一个实施例中机器人控制方法的结构框图;
图10为一个实施例中机器人控制方法的应用效果图;
图11为一个实施例中机器人控制装置的结构框图;
图12为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中机器人控制方法的应用环境图。机器人可为终端110中的虚拟机器人,该终端110具体可以是台式终端或移动终端,台式终端具体可以是台式电脑等,移动终端具体可以是手机、平板电脑、笔记本电脑、VR(Virtual Reality,虚拟现实)设备、AR(Augmented Reality,增强现实)设备等中的至少一种。终端110也可为实体机器人。
具体地,终端110获取输入的第一交互信息;接着,终端110根据第一交互信息获取分析信息,分析信息包括:第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息中的至少一个;接着,终端110根据分析信息确定第二交互信息,第二交互信息包括第一语音信息、第一语音信息、表情信息以及行为信息中的至少一个;接着,终端110控制机器人输出第二交互信息。
在一个实施例中,如图2所示,提供了一种机器人控制方法。本实施例主要以该方法应用于上述图1中的终端110来举例说明。参照图2,该机器人控制方法具体包括如下步骤:
步骤202,获取输入的第一交互信息。
其中,第一交互信息是用户向机器人所在终端输入的信息,该第一交互信息可为语音信息或者文本信息。该机器人既可以是终端的程序,也可以是独立的硬件设备。该机器人可与用户进行交互,并在与用户交互的过程中,基于用户输入的文字、语音等做出回应,该回应可通过语音、文字、表情、动作等实现。比如,用户对着硬件机器人讲话,硬件机器人可做出相应的动作。
在一个实施例中,机器人所在终端设置有语音接收模块,通过该语音接收模块获取用户输入的语音信息,从而得到第一交互信息。在另一个实施例中,机器人所在终端设置有文本输入界面,通过该文本输入界面获取用户输入的文本信息,从而得到第一交互信息。在又一个实施例中,机器人所在终端设置有推送信息展示界面,当一推送信息被用户触发时,该推送信息即为第一交互信息。
步骤204,根据第一交互信息获取分析信息,分析信息包括:第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息中的至少一个。
其中,分析信息是对第一交互信息进行分析得到的信息。
其中,语义信息用于表征构建第一交互信息的语言所蕴含的意义。在一个实施例中,可预先设置多个预设语义信息,比如“你好”、“你叫什么名字”等语句。该预设语义信息可通过大量的历史交互数据统计得到。
在一个实施例中,可通过相似度计算方法来获取第一交互信息与各个预设语义信息之间的相似度,将相似度最大的预设语义信息作为第一交互信息对应的语义信息。可以理解,当第一交互信息为语音信息时,可获取第一交互信息的语音识别文本信息,根据语音识别文本信息确定第一交互信息对应的语义信息。当第一交互信息为文本信息时,可直接根据第一交互信息确定第一交互信息对应的语义信息。
其中,情绪信息用于表征第一交互信息所携带的用户情绪。在一个实施例中,可预先设置多个预设情绪信息,预设情绪信息可包括:喜、怒、哀、乐、惊、恐、思等等。进一步地,喜可细化为:喜悦、喜爱、喜好、喜欢等;怒可细化为:愤怒、恼怒、发怒、怨恨、愤恨等;哀可细化为:悲伤、悲痛、悲哀、怜悯、哀怜、哀愁、哀悯、哀怨、哀思、紧张、焦虑、沮丧、烦恼等;乐可细化为:欢乐、开心、高兴、幸福等;惊可细化为:惊咤、惊愕、惊慌、惊悸、惊奇、惊叹、惊喜、惊讶等;恐可细化为:恐慌、恐惧、害怕、担心、担忧、畏惧等;思可细化为:思念、想念、思慕、思考等。
在一个实施例中,可通过训练好的语义情绪识别模型确定第一交互信息对应的情绪信息,该语义情绪识别模型通过样本文本信息以及语义情绪标记信息训练得到。该语义情绪识别模型可为卷积神经网络模型。具体地,将第一交互信息输入训练好的语义情绪识别模型,经过训练好的语义情绪识别模型中卷积层、池化层以及全连接层的处理,得到分类器输出的情绪信息。可以理解,对于该实施例,当第一交互信息为语音信息时,可获取第一交互信息的语音识别文本信息,根据语音识别文本信息确定第一交互信息对应的情绪信息。当第一交互信息为文本信息时,可直接根据第一交互信息确定第一交互信息对应的情绪信息。
其中,话题信息是第一交互信息所归属的话题。在一个实施例中,可预先设置多个预设话题信息,预设话题信息可包括:闲聊、专业咨询等等。进一步地,闲聊又可细化为年龄、性格、性别、星座、体型、天气、恋爱等等。
在一个实施例中,可通过训练好的话题识别模型确定第一交互信息对应的话题信息,该话题识别模型通过样本文本信息以及话题标记信息训练得到。该话题识别模型可为卷积神经网络模型。具体地,将第一交互信息输入训练好的话题识别模型,经过训练好的话题识别模型中卷积层、池化层以及全连接层的处理,得到分类器输出的话题信息。可以理解,对于该实施例,当第一交互信息为语音信息时,可获取第一交互信息的语音识别文本信息,根据语音识别文本信息确定第一交互信息对应的话题信息。当第一交互信息为文本信息时,可直接根据第一交互信息确定第一交互信息对应的话题信息。
其中,应答情绪信息用于表征应答信息所携带的机器人情绪,应答信息是针对第一交互信息,机器人需要输出的应答内容,该输出方式可为语音方式或者文本方式。在一个实施例中,可根据第一交互信息对应的语义信息确定应答信息。可对各个应答信息预先设置情绪信息,当确定第一交互信息对应的应答信息时,即可确定第一交互信息对应的应答情绪信息。
步骤206,根据分析信息确定第二交互信息,第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个。
其中,第二交互信息是机器人针对第一交互信息需要输出的信息。第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个,第一语音信息用于表征机器人针对第一交互信息做出应答信息时的语气,表情信息用于表征机器人针对第一交互信息所回应的表情,行为信息用于表征机器人针对第一交互信息所回应的行为。
在一个实施例中,可预先设置预设分析信息所对应的第二交互信息,即针对预设语义信息、预设情绪信息、预设话题信息、预设应答情绪信息分别设置对应的第二交互信息。
可选地,如图3所示,可针对预设语义信息设置对应的第二交互信息。比如,以第二交互信息为表情信息以及行为信息为例,设定当预设语义信息为“我喜欢你”时,第二交互信息为“机器人表现出开心的表情,做出捂脸的动作”。当第一交互信息为“我特别喜欢你”,通过分析得到第一交互信息对应的语义信息为“我喜欢你”,于是得到第二交互信息为“机器人表现出开心的表情,并且做出捂脸的动作”。
可选地,如图4所示,可针对预设情绪信息设置对应的第二交互信息。比如,以第二交互信息为表情信息以及行为信息为例,设定当预设情绪信息为“愤怒”时,第二交互信息为“机器人表现出害怕的表情,并且做出捂胸口的动作”。当第一交互信息为“我生气了”,通过分析得到第一交互信息对应的情绪信息为“愤怒”,于是得到第二交互信息为“机器人表现出害怕的表情,并且做出捂胸口的动作”。
可选地,如图5所示,可针对预设话题信息设置对应的第二交互信息。比如,以第二交互信息为表情信息以及行为信息为例,设定当预设话题信息为“恋爱”时,第二交互信息为“机器人表现出大笑的表情,并且做出比心的动作”。当第一交互信息为“我谈恋爱了”,通过分析得到第一交互信息对应的话题信息为“恋爱”,于是得到第二交互信息为“机器人表现出大笑的表情,并且做出比心的动作”。
在一个实施例中,如图6所示,可针对机器人设置多种性格,不同性格的部分或者全部预设分析信息对应的第二交互信息可以不同。比如,对于自我型性格,设定当预设语义信息为“我喜欢你”时,第二交互信息为“机器人表现出骄傲的表情,做出双手交叉的动作,并且语气是傲娇的”;对于活跃性性格,设定当预设语义信息为“我喜欢你”时,第二交互信息为“机器人表现出开心的表情,做出比心的动作,并且语气是激动的”。
在一个实施例中,可根据第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息中的任意一个确定第二交互信息;或者,对第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息设置优先级,根据优先级最高的分析信息确定第二交互信息。
在一个实施例中,可根据最优向量模型匹配算法计算分析信息与预存规则信息之间的匹配度,选取匹配度最高的预存规则信息对应的第二交互信息。其中,预存规则信息包括:预设语义信息、预设情绪信息、预设话题信息以及预设应答情绪信息中的至少一个。各个预存规则信息对应的预设分析信息可部分不同或者全部不同;各个预存规则信息对应有第二交互信息。具体地,假设情绪信息向量为A1,话题信息向量为B1,应答情绪信息向量为C1,语义信息向量为D1,预存规则信息集合为(R1、R2、R3…Rn),每个预设规则信息包括预设情绪信息向量为A2,预设话题信息向量为B2,预设应答情绪信息向量为C2,预设语义信息向量为D2。计算分析信息与各个预存规则信息之间的第一匹配度M,公式如下:
M=W1*(A1*A2)+W2*(B1*B2)+W3*(C1*C2)+W4*(D1*D2)
其中,W1、W2、W3、W4分别为情绪信息、话题信息、应答情绪信息、语义信息对应的权重。
步骤208,控制机器人输出第二交互信息。
在一个实施例中,当该机器人为实体机器人时,表情信息可通过机器人终端上的显示屏输出。具体地,可预先设置各个表情信息对应的画面。
在一个实施例中,机器人的语气可通过音调、音量、语速、音色等参数进行设置,比如悲伤的语气、激动的语气、高昂的语气等。
上述机器人控制方法,获取输入的第一交互信息,根据第一交互信息获取分析信息,分析信息包括:第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息中的至少一个,根据分析信息确定第二交互信息,第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个,并控制机器人输出第二交互信息。首先,结合用户输入的第一交互信息对应的语义信息、情绪信息、话题信息以及应答情绪信息多个维度对用户情绪进行分析,提高了机器人对用户情绪识别的准确性;其次,机器人针对用户情绪表现出对应的情绪、行为以及语气,使得机器人在人机交互过程中更加拟人化和智能化。
在一个实施例中,获取第一交互信息对应的情绪信息的方式,包括:通过训练好的语音情绪识别模型以及语音信息确定语音情绪信息,语音情绪识别模型根据样本语音信息以及语音情绪标记信息训练得到。
其中,第一交互信息包括第二语音信息,第二语音信息是用户输入的语音信息。情绪信息包括语音情绪信息,语音情绪信息用于表征通过语调、语速、音量等参数分析得到的用户的情绪信息。
在一个实施例中,该语音情绪识别模型可为生物神经网络分析模型,比如卷积神经网络模型。具体地,将第二语音信息输入训练好的语音情绪识别模型,经过训练好的语音情绪识别模型中卷积层、池化层以及全连接层的处理,得到分类器输出的语音情绪信息。其中,输入层用于接收输入的第二语音信息,并将第二语音信息发送至卷积层;卷积层用于对输入的第二语音信息初步提取特征,得到卷积特征向量;池化层对卷积层输出的卷积特征向量进行降维操作,并进一步提取特征,得到池化特征向量;全连接层将卷积层和池化层处理得到的特征向量进行合并或者取样,提取出具有区分性的特征;分类器计算第二语音信息属于每一类别的概率,从而得到第二语音信息对应的语音情绪信息。
在一个实施例中,该语音情绪识别模型的训练方式,包括:将样本语音信息输入待训练的语音情绪识别模型中,得到该语音情绪识别模型输出的预测语音情绪信息,按照该样本语音信息对应的语音情绪标记信息与该预测语音情绪信息之间的差异,调整该语音情绪识别模型的参数并继续训练,直至满足训练停止条件时结束训练。
上述机器人控制方法,通过训练好的语音情绪识别模型以及第二语音信息确定语音情绪信息,语音情绪识别模型根据样本语音信息以及语音情绪标记信息训练得到,实现基于用户语音对用户情绪进行识别。
在一个实施例中,获取第一交互信息对应的情绪信息的方式,包括:获取第二语音信息的语音识别文本信息;通过训练好的语义情绪识别模型以及语音识别文本信息确定语义情绪信息,语义情绪识别模型根据样本文本信息以及语义情绪标记信息训练得到。
其中,语音识别文本信息是对第二语音信息进行识别得到的文本信息。情绪信息还包括语义情绪信息,语义情绪信息用于表征通过语义分析得到的用户的情绪信息。
在一个实施例中,该语义情绪识别模型可为生物神经网络分析模型,比如卷积神经网络模型。具体地,将语音识别文本信息输入训练好的语义情绪识别模型,经过训练好的语义情绪识别模型中卷积层、池化层以及全连接层的处理,得到分类器输出的语义情绪信息。其中,输入层用于接收输入的语音识别文本信息,并将语音识别文本信息发送至卷积层;卷积层用于对输入的语音识别文本信息初步提取特征,得到卷积特征向量;池化层对卷积层输出的卷积特征向量进行降维操作,并进一步提取特征,得到池化特征向量;全连接层将卷积层和池化层处理得到的特征向量进行合并或者取样,提取出具有区分性的特征;分类器计算语音识别文本信息属于每一类别的概率,从而得到语音识别文本信息对应的语义情绪信息。
在一个实施例中,该语义情绪识别模型的训练方式,包括:将样本文本信息输入待训练的语义情绪识别模型中,得到该语义情绪识别模型输出的预测语义情绪信息,按照该样本文本信息对应的语义情绪标记信息与该预测语义情绪信息之间的差异,调整该语义情绪识别模型的参数并继续训练,直至满足训练停止条件时结束训练。
上述机器人控制方法,获取第二语音信息的语音识别文本信息,通过训练好的语义情绪识别模型以及语音识别文本信息确定语义情绪信息,语义情绪识别模型根据样本文本信息以及语义情绪标记信息训练得到,实现基于用户语义对用户情绪进行识别。
在一个实施例中,获取第一交互信息对应的语义信息的方式,包括:获取第二语音信息的语音识别文本信息;获取语音识别文本信息与各个预存文本信息之间的相似度;将相似度满足预设条件的预存文本信息作为第一交互信息对应的语义信息。
在一个实施例中,可预先设置多个预存文本信息,比如“你好”、“你叫什么名字”等语句。该预存文本信息可通过大量的历史交互数据统计得到。具体地,获取历史交互数据,在历史交互数据中提取出现频次大于预设频次(预设频次可根据实际应用进行设定)的语句,收集、整理这些语句,得到预存文本信息。这样,预存文本信息可涵盖人机交互过程中的大部分语义信息。
在一个实施例中,语音识别文本信息与各个预存文本信息之间的相似度可通过相似度计算方法(比如word2vec)计算得到,将相似度最大的预存文本信息作为第一交互信息对应的语义信息。
在一个实施例中,语音识别文本信息与各个预存文本信息之间的相似度可通过训练好的语义识别模型来进行判断。可针对每一个预存文本信息设定一个语义识别模型,该语义识别模型通过样本文本信息以及语义标记信息训练得到。该语义识别模型可为深度学习模型,比如BERT(Bidirectional Encoder Representations from Transformers)模型。具体地,该语义识别模型用于判断语音识别文本信息属于该语义识别模型对应的预存文本信息的概率。利用各个语义识别模型对语音识别文本信息进行概率计算,得到语音识别文本信息属于每个预存文本信息的概率,将概率最大的预存文本信息作为第一交互信息对应的语义信息。
上述机器人控制方法,获取第二语音信息的语音识别文本信息,获取语音识别文本信息与各个预存文本信息之间的相似度,将相似度满足预设条件的预存文本信息作为第一交互信息对应的语义信息,提高了对第一交互信息对应的语义信息识别的准确性。
在一个实施例中,获取第一交互信息所属的话题信息的方式,包括:获取预先存储的语义信息与话题信息之间的第一映射关系信息,根据第一映射关系信息以及第一交互信息对应的语义信息,确定第一交互信息所属的话题信息。
其中,第一映射关系用于表征第一交互信息对应的语义信息与第一交互信息对应的话题信息之间的映射关系。可以理解,第一映射关系通过大量的试验得到,以根据该第一映射关系以及第一交互信息对应的语义信息,准确确定第一交互信息所属的话题信息。
上述机器人控制方法,获取预先存储的语义信息与话题信息之间的第一映射关系信息,根据第一映射关系信息以及第一交互信息对应的语义信息,确定第一交互信息所属的话题信息,提高了对第一交互信息所属的话题信息识别的准确性。
在一个实施例中,获取第一交互信息对应的应答情绪信息的方式,包括:获取第一交互信息对应的应答信息;获取预先存储的应答信息与情绪信息之间的第二映射关系信息,根据第二映射关系信息以及第一交互信息对应的应答信息,确定应答信息对应的情绪信息,将应答信息对应的情绪信息作为第一交互信息对应的应答情绪信息。
其中,第二映射关系用于表征第一交互信息对应的应答信息与情绪信息之间的映射关系。可以理解,第二映射关系通过大量的试验得到,以根据该第二映射关系以及第一交互信息对应的应答信息,准确确定应答信息对应的情绪信息。
上述机器人控制方法,获取第一交互信息对应的应答信息,获取预先存储的应答信息与情绪信息之间的第二映射关系信息,根据第二映射关系信息以及第一交互信息对应的应答信息,确定应答信息对应的情绪信息,将应答信息对应的情绪信息作为第一交互信息对应的应答情绪信息,提高了对第一交互信息对应的应答情绪信息识别的准确性。
在一个实施例中,根据分析信息确定第二交互信息之前,还包括:获取机器人所在终端的状态信息;根据分析信息确定第二交互信息,包括:根据分析信息和状态信息中的至少一项确定第二交互信息。
其中,状态信息用于表征机器人所在终端的运行状态,该状态信息可为终端的电量、终端的运行状况、终端的负载情况、终端的功耗情况等。
在一个实施例中,如图7所示,可针对终端状态信息设置对应的第二交互信息。比如,以第二交互信息为表情信息以及行为信息为例,设定当预设终端状态信息为“低电量”时,第二交互信息为“机器人表现出悲伤的表情,并且做出擦泪的动作”。当终端的电量低于预设电量时,进入低电量状态,硬件机器人表现出悲伤的表情,并且做出擦泪的动作。或者,设定当终端关机时,第二交互信息为“机器人表现出困倦的表情,并且做出打哈欠的动作”。当终端关机时,硬件机器人打哈欠并且闭上眼睛。
在一个实施例中,可根据第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息、机器人所在终端的状态信息中的任意一个确定第二交互信息;或者,对第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息、机器人所在终端的状态信息设置优先级,根据优先级最高的分析信息或者状态信息确定第二交互信息。
上述机器人控制方法,获取机器人所在终端的状态信息,根据分析信息和状态信息中的至少一项确定第二交互信息,结合机器人所在终端的状态信息确定第二交互信息,使得机器人在人机交互过程中更加拟人化和智能化。
在一个实施例中,根据分析信息和状态信息中的至少一项确定第二交互信息,包括:获取分析信息和状态信息中的至少一项与各个预存规则信息之间的第一匹配度;获取第一匹配度满足预定条件的预存规则信息,将预存规则信息对应的第二交互信息作为第二交互信息。
其中,第一匹配信息用于表征分析信息以及状态信息与预存规则信息之间的匹配程度。
预存规则信息包括:预设语义信息、预设情绪信息、预设话题信息、预设应答情绪信息以及预设状态信息中的至少一个。各个预存规则信息对应的预设分析信息可部分不同或者全部不同;各个预存规则信息对应有第二交互信息。
在一个实施例中,计算分析信息与各个预存规则信息之间的第一匹配度,将第一匹配度最高的预存规则信息对应的第二交互信息,作为第一交互信息对应的第二交互信息。
上述机器人控制方法,获取分析信息和状态信息中的至少一项与各个预存规则信息之间的第一匹配度,获取第一匹配度满足预定条件的预存规则信息,将预存规则信息对应的第二交互信息作为第二交互信息,提高了对第二交互信息选取的准确性。
在一个实施例中,获取分析信息和状态信息中的至少一项与各个预存规则信息之间的第一匹配度,包括:分别获取第一交互信息对应的语义信息与预设语义信息之间的第二匹配度、第一交互信息对应的情绪信息与预设情绪信息之间的第三匹配度、第一交互信息所属的话题信息与预设话题信息之间的第四匹配度、第一交互信息对应的应答情绪信息与预设应答情绪信息之间的第五匹配度、机器人所在终端的状态信息与预设状态信息之间的第六匹配度中的至少一项;根据第二匹配度、第三匹配度、第四匹配度、第五匹配度、第六匹配度中的至少一项以及对应的预设权重计算第一匹配度。
其中,第二匹配度用于表征第一交互信息对应的语义信息与预设语义信息之间的匹配程度;第三匹配度用于表征第一交互信息对应的情绪信息与预设情绪信息之间的匹配程度;第四匹配度用于表征第一交互信息所属的话题信息与预设话题信息之间的匹配程度;第五匹配度用于表征第一交互信息对应的应答情绪信息与预设应答情绪信息之间的匹配程度;第六匹配度用于表征机器人所在终端的状态信息与预设状态信息之间的匹配程度。
在一个实施例中,可根据最优向量模型匹配算法计算第一匹配度。具体地,假设情绪信息向量为A1,话题信息向量为B1,应答情绪信息向量为C1,语义信息向量为D1,状态信息为E1,预存规则信息集合为(R1、R2、R3…Rn),每个预设规则信息包括预设情绪信息向量为A2,预设话题信息向量为B2,预设应答情绪信息向量为C2,预设语义信息向量为D2,预设状态信息为E2。计算分析信息与各个预存规则信息之间的第一匹配度M,公式如下:
M=W1*(A1*A2)+W2*(B1*B2)+W3*(C1*C2)+W4*(D1*D2)+W5*(E1*E2)
其中,W1、W2、W3、W4、W5分别为情绪信息、话题信息、应答情绪信息、语义信息、状态信息对应的预设权重。
上述机器人控制方法,实现准确计算分析信息与各个预存规则信息之间的匹配度。
在一个实施例中,方法还包括:根据第一交互信息对应的语义信息以及第一交互信息对应的情绪信息确定操作信息;控制机器人执行操作信息。
其中,操作信息用于表征机器人所能提供的服务。机器人中可集成多种服务,比如音乐服务,用于为用户播放音乐;天气服务,用于为用户查询并播报天气情况等。
在一个实施例中,可预先设置语义信息、情绪信息与操作信息之间的匹配关系,以使得机器人结合用户情绪进行服务。比如,用户以高昂的情绪说“放一首歌”,那么机器人可以给用户播放一首动感的歌曲。
上述机器人控制方法,根据第一交互信息对应的语义信息以及第一交互信息对应的情绪信息确定操作信息,控制机器人执行操作信息,使得机器人的操作过程中更加拟人化和智能化。
在一个具体的实施例中,提供了一种机器人控制方法,该机器人既可以是终端的程序,也可以是独立的硬件设备。如图8所示,该机器人可包括:代理层、语义理解层、情绪分析模块、技能分发平台、各个技能、情绪管理模块以及情绪规则配置平台。
其中,代理层是人工智能的控制管理层,用于管控语音识别、语义理解、语音合成等,实现人工智能功能的整合与集成。
语义理解层用于分析得到第一交互信息对应的语义信息。情绪分析模块用于对第一交互信息分析得到语音情绪信息以及语义情绪信息。
技能分发平台用于将接收到的信息分发至各个技能。技能即服务,为用户提供某一项特定的服务,比如音乐服务,用于为用户播放音乐,天气服务,用于为用户查询并播报天气情况等。技能可以根据第一交互信息的语义信息,确定第一交互信息所属的话题信息以及第一交互信息对应的应答情绪信息。
情绪管理模块用于对状态信息、语义信息、语音情绪信息、语义情绪信息、应答情绪信息、话题信息以及状态信息中的至少一项进行匹配,得到相匹配的预存规则信息。情绪规则配置平台用于配置预存规则信息。
该方法包括:
首先,机器人所在终端接收第一交互信息,将状态信息以及第一交互信息经过代理层到达语义理解层,在语义理解层获取语义信息,并且语义理解层调用情绪分析模块进行语音情绪信息以及语义情绪信息的分析。
接着,语义理解层将状态信息、语义信息、语音情绪信息以及语义情绪信息发送至技能分发平台,由技能分发平台分发至技能进行执行,并接收技能返回的应答情绪信息以及话题信息。
接着,技能分发平台将状态信息、语义信息、语音情绪信息、语义情绪信息、应答情绪信息、话题信息以及状态信息发送至情绪管理模块,情绪管理模块从情绪规则配置平台中获取预存规则信息,以确定第二交互信息。
接着,输出第二交互信息。
上述机器人控制方法,结合用户输入的第一交互信息对应的语义信息、情绪信息、话题信息以及应答情绪信息多个维度对用户情绪进行分析,提高了机器人对用户情绪识别的准确性;并且,机器人针对用户情绪表现出对应的情绪、行为以及语气,使得机器人在人机交互过程中更加拟人化和智能化。
在一个具体的实施例中,提供了一种机器人控制方法,如图9所示,该方法包括:
获取输入的第一交互信息;
接着,根据第一交互信息获取分析信息,分析信息包括:第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息;
进一步地,分别获取第一交互信息对应的语义信息与预设语义信息之间的第二匹配度、第一交互信息对应的情绪信息与预设情绪信息之间的第三匹配度、第一交互信息所属的话题信息与预设话题信息之间的第四匹配度、第一交互信息对应的应答情绪信息与预设应答情绪信息之间的第五匹配度,根据第二匹配度、第三匹配度、第四匹配度、第五匹配度以及对应的预设权重计算第一匹配度;
进一步地,获取第一匹配度最高的预存规则信息,将该预存规则信息对应的第二交互信息作为第二交互信息,第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个;
控制机器人输出第二交互信息。
如图10所示,对用户的满意度进行了调研,效果如下:在应用了本实施例提供的机器人控制方法后,用户对机器人的满意度从6月1日的62%增加到了12月1日的81%,增加了19%,效果十分明显。
上述机器人控制方法,结合用户输入的第一交互信息对应的语义信息、情绪信息、话题信息以及应答情绪信息多个维度对用户情绪进行分析,提高了机器人对用户情绪识别的准确性;并且,机器人针对用户情绪表现出对应的情绪、行为以及语气,使得机器人在人机交互过程中更加拟人化和智能化。
图2为一个实施例中机器人控制方法的流程示意图。应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图11所示,提供了一种机器人控制装置,包括:获取模块1102、确定模块1104和控制模块1106。其中,获取模块1102,用于获取输入的第一交互信息;获取模块1102,还用于根据第一交互信息获取分析信息,分析信息包括:第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息中的至少一个;确定模块1104,用于根据分析信息确定第二交互信息,第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个;控制模块1106,用于控制机器人输出第二交互信息。
上述机器人控制装置,获取输入的第一交互信息,根据第一交互信息获取分析信息,分析信息包括:第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息中的至少一个,根据分析信息确定第二交互信息,第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个,并控制机器人输出第二交互信息。首先,结合用户输入的第一交互信息对应的语义信息、情绪信息、话题信息以及应答情绪信息多个维度对用户情绪进行分析,提高了机器人对用户情绪识别的准确性;其次,机器人针对用户情绪表现出对应的情绪、行为以及语气,使得机器人在人机交互过程中更加拟人化和智能化。
在一个实施例中,获取模块1102,还用于:通过训练好的语音情绪识别模型以及第二语音信息确定语音情绪信息,语音情绪识别模型根据样本语音信息以及语音情绪标记信息训练得到;第一交互信息包括第二语音信息,情绪信息包括语音情绪信息。
上述机器人控制装置,通过训练好的语音情绪识别模型以及第二语音信息确定语音情绪信息,语音情绪识别模型根据样本语音信息以及语音情绪标记信息训练得到,实现基于用户语音对用户情绪进行识别。
在一个实施例中,获取模块1102,还用于:获取第二语音信息的语音识别文本信息;通过训练好的语义情绪识别模型以及语音识别文本信息确定语义情绪信息,语义情绪识别模型根据样本文本信息以及语义情绪标记信息训练得到;情绪信息还包括语义情绪信息。
上述机器人控制装置,获取第二语音信息的语音识别文本信息,通过训练好的语义情绪识别模型以及语音识别文本信息确定语义情绪信息,语义情绪识别模型根据样本文本信息以及语义情绪标记信息训练得到,实现基于用户语义对用户情绪进行识别。
在一个实施例中,获取模块1102,还用于:获取第二语音信息的语音识别文本信息;获取语音识别文本信息与各个预存文本信息之间的相似度;将相似度满足预设条件的预存文本信息作为第一交互信息对应的语义信息。
上述机器人控制装置,获取第二语音信息的语音识别文本信息,获取语音识别文本信息与各个预存文本信息之间的相似度,将相似度满足预设条件的预存文本信息作为第一交互信息对应的语义信息,提高了对第一交互信息对应的语义信息识别的准确性。
在一个实施例中,获取模块1102,还用于:获取预先存储的语义信息与话题信息之间的第一映射关系信息,根据第一映射关系信息以及第一交互信息对应的语义信息,确定第一交互信息所属的话题信息。
上述机器人控制装置,获取预先存储的语义信息与话题信息之间的第一映射关系信息,根据第一映射关系信息以及第一交互信息对应的语义信息,确定第一交互信息所属的话题信息,提高了对第一交互信息所属的话题信息识别的准确性。
在一个实施例中,获取模块1102,还用于:获取第一交互信息对应的应答信息;获取预先存储的应答信息与情绪信息之间的第二映射关系信息,根据第二映射关系信息以及第一交互信息对应的应答信息,确定应答信息对应的情绪信息,将应答信息对应的情绪信息作为第一交互信息对应的应答情绪信息。
上述机器人控制装置,获取第一交互信息对应的应答信息,获取预先存储的应答信息与情绪信息之间的第二映射关系信息,根据第二映射关系信息以及第一交互信息对应的应答信息,确定应答信息对应的情绪信息,将应答信息对应的情绪信息作为第一交互信息对应的应答情绪信息,提高了对第一交互信息对应的应答情绪信息识别的准确性。
在一个实施例中,获取模块1102,还用于:获取机器人所在终端的状态信息;确定模块1104,还用于:根据分析信息和状态信息中的至少一项确定第二交互信息。
上述机器人控制装置,获取机器人所在终端的状态信息,根据分析信息以及状态信息中的至少一项确定第二交互信息,结合机器人所在终端的状态信息确定第二交互信息,使得机器人在人机交互过程中更加拟人化和智能化。
在一个实施例中,确定模块1104,还用于:获取分析信息和状态信息中的至少一项与各个预存规则信息之间的第一匹配度;获取第一匹配度满足预定条件的预存规则信息,将预存规则信息对应的第二交互信息作为第二交互信息。
上述机器人控制装置,获取分析信息和状态信息中的至少一项与各个预存规则信息之间的第一匹配度,获取第一匹配度满足预定条件的预存规则信息,将预存规则信息对应的第二交互信息作为第二交互信息,提高了对第二交互信息选取的准确性。
在一个实施例中,确定模块1104,还用于:分别获取第一交互信息对应的语义信息与预设语义信息之间的第二匹配度、第一交互信息对应的情绪信息与预设情绪信息之间的第三匹配度、第一交互信息所属的话题信息与预设话题信息之间的第四匹配度、第一交互信息对应的应答情绪信息与预设应答情绪信息之间的第五匹配度、机器人所在终端的状态信息与预设状态信息之间的第六匹配度中的至少一项;根据第二匹配度、第三匹配度、第四匹配度、第五匹配度、第六匹配度中的至少一项以及对应的预设权重计算第一匹配度;预存规则信息包括:预设语义信息、预设情绪信息、预设话题信息、预设应答情绪信息以及预设状态信息中的至少一个。
上述机器人控制装置,实现准确计算分析信息与各个预存规则信息之间的匹配度。
在一个实施例中,确定模块1104,还用于:根据第一交互信息对应的语义信息以及第一交互信息对应的情绪信息确定操作信息;控制模块1106,还用于:控制机器人执行操作信息。
上述机器人控制装置,根据第一交互信息对应的语义信息以及第一交互信息对应的情绪信息确定操作信息,控制机器人执行操作信息,使得机器人的操作过程中更加拟人化和智能化。
图12示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图12所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的机器人控制装置可以实现为一种计算机程序的形式,计算机程序可在如图12所示的计算机设备上运行。计算机设备的存储器中可存储组成该机器人控制装置的各个程序模块,比如,图11所示的:获取模块1102、确定模块1104和控制模块1106。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的机器人控制方法中的步骤。
例如,图12所示的计算机设备可以通过如图11所示的机器人控制装置中的获取模块1102执行获取输入的第一交互信息的步骤。计算机设备可通过获取模块1102执行根据第一交互信息获取分析信息,分析信息包括:第一交互信息对应的语义信息、第一交互信息对应的情绪信息、第一交互信息所属的话题信息、第一交互信息对应的应答情绪信息中的至少一个的步骤。计算机设备还可通过确定模块1104执行根据分析信息确定第二交互信息,第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个的步骤。计算机设备可通过控制模块1106执行控制机器人输出第二交互信息的步骤。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述机器人控制方法的步骤。此处机器人控制方法的步骤可以是上述各个实施例的机器人控制方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述机器人控制方法的步骤。此处机器人控制方法的步骤可以是上述各个实施例的机器人控制方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种机器人控制方法,其特征在于,包括:
获取输入的第一交互信息;
根据所述第一交互信息获取分析信息,所述分析信息包括:所述第一交互信息对应的语义信息、所述第一交互信息对应的情绪信息、所述第一交互信息所属的话题信息、所述第一交互信息对应的应答情绪信息中的至少一个;
根据所述分析信息确定第二交互信息,所述第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个;
控制所述机器人输出所述第二交互信息。
2.根据权利要求1所述的方法,其特征在于,所述第一交互信息包括第二语音信息,所述情绪信息包括语音情绪信息;
获取所述第一交互信息对应的情绪信息的方式,包括:
通过训练好的语音情绪识别模型以及所述第二语音信息确定所述语音情绪信息,所述语音情绪识别模型根据样本语音信息以及语音情绪标记信息训练得到。
3.根据权利要求2所述的方法,其特征在于,所述情绪信息还包括语义情绪信息;
获取所述第一交互信息对应的情绪信息的方式,包括:
获取所述第二语音信息的语音识别文本信息;
通过训练好的语义情绪识别模型以及所述语音识别文本信息确定所述语义情绪信息,所述语义情绪识别模型根据样本文本信息以及语义情绪标记信息训练得到。
4.根据权利要求1所述的方法,其特征在于,所述根据所述分析信息确定第二交互信息之前,还包括:
获取终端的状态信息;
所述根据所述分析信息确定第二交互信息,包括:
根据所述分析信息和所述状态信息中的至少一项确定所述第二交互信息。
5.根据权利要求4所述的方法,其特征在于,所述根据所述分析信息和所述状态信息中的至少一项确定所述第二交互信息,包括:
获取所述分析信息和所述状态信息中的至少一项与各个预存规则信息之间的第一匹配度;
获取所述第一匹配度满足预定条件的预存规则信息,将所述预存规则信息对应的第二交互信息作为所述第二交互信息。
6.根据权利要求5所述的方法,其特征在于,所述预存规则信息包括:预设语义信息、预设情绪信息、预设话题信息、预设应答情绪信息以及预设状态信息中的至少一个;
所述获取所述分析信息和所述状态信息中的至少一项与各个预存规则信息之间的第一匹配度,包括:
分别获取所述第一交互信息对应的语义信息与所述预设语义信息之间的第二匹配度、所述第一交互信息对应的情绪信息与所述预设情绪信息之间的第三匹配度、所述第一交互信息所属的话题信息与所述预设话题信息之间的第四匹配度、所述第一交互信息对应的应答情绪信息与所述预设应答情绪信息之间的第五匹配度、所述机器人所在终端的状态信息与所述预设状态信息之间的第六匹配度中的至少一项;
根据所述第二匹配度、所述第三匹配度、所述第四匹配度、所述第五匹配度、所述第六匹配度中的至少一项以及对应的预设权重计算所述第一匹配度。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述第一交互信息对应的语义信息以及所述第一交互信息对应的情绪信息确定操作信息;
控制所述机器人执行所述操作信息。
8.一种机器人控制装置,其特征在于,包括:
获取模块,用于获取输入的第一交互信息;
所述获取模块,还用于根据所述第一交互信息获取分析信息,所述分析信息包括:所述第一交互信息对应的语义信息、所述第一交互信息对应的情绪信息、所述第一交互信息所属的话题信息、所述第一交互信息对应的应答情绪信息中的至少一个;
确定模块,用于根据所述分析信息确定第二交互信息,所述第二交互信息包括第一语音信息、表情信息以及行为信息中的至少一个;
控制模块,用于控制所述机器人输出所述第二交互信息。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010134772.XA CN112809694B (zh) | 2020-03-02 | 2020-03-02 | 机器人控制方法、装置、存储介质和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010134772.XA CN112809694B (zh) | 2020-03-02 | 2020-03-02 | 机器人控制方法、装置、存储介质和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112809694A true CN112809694A (zh) | 2021-05-18 |
CN112809694B CN112809694B (zh) | 2023-12-29 |
Family
ID=75852972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010134772.XA Active CN112809694B (zh) | 2020-03-02 | 2020-03-02 | 机器人控制方法、装置、存储介质和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112809694B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117301074A (zh) * | 2023-11-17 | 2023-12-29 | 浙江孚宝智能科技有限公司 | 智能机器人的控制方法及芯片 |
CN117708305A (zh) * | 2024-02-05 | 2024-03-15 | 天津英信科技有限公司 | 一种针对应答机器人的对话处理方法和系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106570496A (zh) * | 2016-11-22 | 2017-04-19 | 上海智臻智能网络科技股份有限公司 | 情绪识别方法和装置以及智能交互方法和设备 |
CN107784354A (zh) * | 2016-08-17 | 2018-03-09 | 华为技术有限公司 | 机器人的控制方法及陪伴机器人 |
CN108326855A (zh) * | 2018-01-26 | 2018-07-27 | 上海器魂智能科技有限公司 | 一种机器人的交互方法、装置、设备以及存储介质 |
WO2019165732A1 (zh) * | 2018-02-27 | 2019-09-06 | 深圳狗尾草智能科技有限公司 | 基于机器人情绪状态的回复信息生成方法、装置 |
CN110378428A (zh) * | 2019-07-23 | 2019-10-25 | 上海思依暄机器人科技股份有限公司 | 一种家用机器人及其情绪识别方法和装置 |
CN110549317A (zh) * | 2019-08-08 | 2019-12-10 | 深圳全智能机器人科技有限公司 | 一种具有动态表情的多功能模组化机器人头颅 |
-
2020
- 2020-03-02 CN CN202010134772.XA patent/CN112809694B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107784354A (zh) * | 2016-08-17 | 2018-03-09 | 华为技术有限公司 | 机器人的控制方法及陪伴机器人 |
CN106570496A (zh) * | 2016-11-22 | 2017-04-19 | 上海智臻智能网络科技股份有限公司 | 情绪识别方法和装置以及智能交互方法和设备 |
CN108326855A (zh) * | 2018-01-26 | 2018-07-27 | 上海器魂智能科技有限公司 | 一种机器人的交互方法、装置、设备以及存储介质 |
WO2019165732A1 (zh) * | 2018-02-27 | 2019-09-06 | 深圳狗尾草智能科技有限公司 | 基于机器人情绪状态的回复信息生成方法、装置 |
CN110378428A (zh) * | 2019-07-23 | 2019-10-25 | 上海思依暄机器人科技股份有限公司 | 一种家用机器人及其情绪识别方法和装置 |
CN110549317A (zh) * | 2019-08-08 | 2019-12-10 | 深圳全智能机器人科技有限公司 | 一种具有动态表情的多功能模组化机器人头颅 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117301074A (zh) * | 2023-11-17 | 2023-12-29 | 浙江孚宝智能科技有限公司 | 智能机器人的控制方法及芯片 |
CN117301074B (zh) * | 2023-11-17 | 2024-04-30 | 浙江孚宝智能科技有限公司 | 智能机器人的控制方法及芯片 |
CN117708305A (zh) * | 2024-02-05 | 2024-03-15 | 天津英信科技有限公司 | 一种针对应答机器人的对话处理方法和系统 |
CN117708305B (zh) * | 2024-02-05 | 2024-04-30 | 天津英信科技有限公司 | 一种针对应答机器人的对话处理方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112809694B (zh) | 2023-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829039B (zh) | 智能聊天方法、装置、计算机设备及存储介质 | |
WO2020135194A1 (zh) | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 | |
KR101925440B1 (ko) | 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법 | |
CN111930940B (zh) | 一种文本情感分类方法、装置、电子设备及存储介质 | |
CN109857848A (zh) | 交互内容生成方法、装置、计算机设备及存储介质 | |
CN105843381B (zh) | 用于实现多模态交互的数据处理方法及多模态交互系统 | |
CN107609101A (zh) | 智能交互方法、设备及存储介质 | |
US20030187660A1 (en) | Intelligent social agent architecture | |
CN109074397B (zh) | 信息处理系统和信息处理方法 | |
CN109684455A (zh) | 智能客服系统的实现方法及装置、设备、可读存储介质 | |
CN112037799A (zh) | 语音中断处理方法、装置、计算机设备和存储介质 | |
CN106815321A (zh) | 基于智能聊天机器人的聊天方法及装置 | |
CN112809694B (zh) | 机器人控制方法、装置、存储介质和计算机设备 | |
CN113160819B (zh) | 用于输出动画的方法、装置、设备、介质和产品 | |
CN116414959A (zh) | 数字人的互动控制方法、装置、电子设备和存储介质 | |
CN110931012A (zh) | 答复消息生成方法、装置、计算机设备和存储介质 | |
CN111557001B (zh) | 提供自然语言对话的方法、计算机装置及计算机可读存储介质 | |
CN112383667A (zh) | 通话数据的处理方法、装置、设备和存储介质 | |
CN110931002B (zh) | 人机交互方法、装置、计算机设备和存储介质 | |
CN110728983A (zh) | 一种信息显示方法、装置、设备及可读存储介质 | |
CN117786079A (zh) | 一种基于自适应学习与情景感知ai代理的对话方法及系统 | |
Huang et al. | Applied to mobile multimedia intelligent speech system interactive topic guiding model | |
CN112233648B (zh) | 结合rpa及ai的数据的处理方法、装置、设备及存储介质 | |
Yang et al. | User behavior fusion in dialog management with multi-modal history cues | |
KR20230099936A (ko) | Ai 대화 모델 기반의 대화 친구 제공 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40044188 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |