CN117708305A - 一种针对应答机器人的对话处理方法和系统 - Google Patents
一种针对应答机器人的对话处理方法和系统 Download PDFInfo
- Publication number
- CN117708305A CN117708305A CN202410162910.3A CN202410162910A CN117708305A CN 117708305 A CN117708305 A CN 117708305A CN 202410162910 A CN202410162910 A CN 202410162910A CN 117708305 A CN117708305 A CN 117708305A
- Authority
- CN
- China
- Prior art keywords
- emotion
- robot
- questioner
- preset
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004044 response Effects 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 230000008451 emotion Effects 0.000 claims abstract description 211
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 230000008909 emotion recognition Effects 0.000 claims abstract description 22
- 230000009471 action Effects 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims description 63
- 239000013598 vector Substances 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 abstract description 4
- 230000003993 interaction Effects 0.000 description 12
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Manipulator (AREA)
Abstract
本发明涉及自然语言处理技术领域，尤其涉及一种针对应答机器人的对话处理方法和系统，根据各机器人运行环境内的运行动作影像，汇总各机器人运行环境中对话位置内的提问人类型，并提取各提问人的情绪信息；将各情绪信息输入预置情绪分析模型中执行情绪分析，得到各提问人的情绪数据输入预置情绪识别模型中执行情绪识别，得到各提问人的动态情绪信息；根据情绪数据，分别汇总当前各机器人运行环境内的提问人对话话题数量，并计算各机器人运行环境需要查询的机器数量和各机器人运行环境的机器人查询需求等级，调整各机器人运行环境需要查询的机器人数量。本发明可以使得机器人主动思考，充分考虑到与提问人相关的其他因素。
Description
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种针对应答机器人的对话处理方法和系统。
背景技术
人机自动对话系统按机器人的回答的生成方式，可分为检索式和生成式。检索式对话系统，由语料人员提前在系统内录入问题和回答，当提问人的输入（可以是文字、或语音转文字、或客户端屏幕按钮生成的文字）能匹配上某条语料时，机器人按预设回答回复给提问人。生成式对话系统，当提问人输入时，系统根据自然语言处理算法生成相应的回答回复提问人。
但是，目前该方法都是以提问人作为主体来引导对话，机器人都是被动的，机器人的回答都是基于训练语料和上下文特征的分析，并没有考虑到与提问人相关的其他因素。
发明内容
根据本发明第一方面，本发明请求保护一种针对应答机器人的对话处理方法，其特征在于，所述针对应答机器人的对话处理方法包括：
经过预设时长，根据各机器人运行环境内的运行动作影像，汇总所述各机器人运行环境中对话位置内的提问人类型，并从所述运行动作影像中提取各提问人的情绪信息；
将所述各情绪信息输入预置情绪分析模型中执行情绪分析，得到所述各提问人的情绪数据，以及将所述各情绪信息输入预置情绪识别模型中执行情绪识别，得到所述各提问人的动态情绪信息；
根据所述情绪数据，分别汇总当前各机器人运行环境内的提问人对话话题数量，并基于所述提问人对话话题数量、所述提问人类型，计算所述各机器人运行环境需要查询的机器数量；
基于所述动态情绪信息，计算所述各机器人运行环境的机器人查询需求等级，并基于所述机器人查询需求等级，调整所述各机器人运行环境需要查询的机器人数量；
根据调整后各机器人运行环境需要查询的机器人数量，向周边可查询的机器人运行环境发出机器人人员查询请求。
进一步的，所述将所述各情绪信息输入预置情绪分析模型中执行情绪分析，得到所述各提问人的情绪数据包括：
将所述各提问人的情绪信息输入预置卷积模型执行处理，输出所述各情绪信息对应的嘴部图像的运动特征；
将所述各嘴部图像的运动特征输入预置神经网络模型执行编码，得到所述各提问人对应的第一嘴部特征向量；
分别计算待比对提问人的第一嘴部特征向量与预置提问人的第二嘴部特征向量之间的余弦距离；
根据所述余弦距离，判断待比对提问人与预置提问人是否为同一人，并根据判断的结果确定所述各提问人的情绪数据。
进一步的，所述将所述各提问人的情绪信息输入预置卷积模型执行处理，输出所述各情绪信息对应的嘴部图像的运动特征包括：
对所述各提问人的情绪信息执行比例缩放，得到多个尺度的情绪信息；
将所述各尺度的情绪信息输入卷积网络执行嘴部区域识别，得到所述各情绪信息中嘴部区域的候选轮廓框；
将所述各候选轮廓框输入卷积网络执行轮廓框去重处理，得到仅包含嘴部区域的合格轮廓框；
将所述各合格轮廓框输入卷积网络执行轮廓框坐标识别，得到所述各情绪信息对应的嘴部图像的运动特征。
进一步的，在所述经过预设时长，根据各机器人运行环境内的运行动作影像，汇总所述各机器人运行环境中对话位置内的提问人类型，并从所述运行动作影像中提取各提问人的情绪信息之前，还包括：
获取多张情绪信息样本，并依次存入预置数组中并执行切割比例转换，顺序输出预置切割比例的多个参考情绪；
分别对所述各参考情绪中的动态情绪区域执行快照，得到对应的快照截图，并将所述参考情绪和所述快照截图输入预置预处理策略中；
通过所述预处理策略识别所述参考情绪中各提问嘴部部特征对应的关键点，并将所述关键点转化为候选图向量；
获取嘴部情绪对应的运动特征语义向量，并分别计算所述候选图向量与所述运动特征语义向量之间的关联度，基于所述关联度，对所述各参考情绪执行分类，得到所述各参考情绪对应的动态情绪预测结果；
基于所述动态情绪预测结果和所述快照截图，计算所述预处理策略的正常偏离度，并基于所述正常偏离度对所述预处理策略执行调整，直到所述预处理策略满足对话要求，得到所述情绪识别模型。
进一步的，所述基于所述动态情绪预测结果和所述快照截图，计算所述预处理策略的正常偏离度，并基于所述正常偏离度对所述预处理策略执行调整，直到所述预处理策略满足对话要求，得到所述情绪识别模型包括：
基于所述动态情绪预测结果和所述快照截图，生成所述预处理策略的三元组，并基于所述三元组计算所述预处理策略的正常偏离度；
若所述正常偏离度低于预置偏离阈值，则通过反向传播调整所述预处理策略的各个权重参数，并对所述预处理策略执行微调，输出新的动态情绪预测结果；
跳转执行所述基于所述动态情绪预测结果和所述快照截图，生成所述预处理策略的三元组，并基于所述三元组计算所述预处理策略的正常偏离度的步骤，直到所述正常偏离度低于预置偏离阈值，确定所述预处理策略满足对话要求，得到所述情绪识别模型。
进一步的，所述基于所述提问人对话话题数量、所述提问人类型，计算所述各机器人运行环境需要查询的机器人数量包括：
根据所述提问人对话话题数量、所述提问人类型，预测各机器人运行环境的需查询机器人数量；
根据各机器人运行环境的现有机器人数量和需要查询的所述需查询机器人数量，计算各机器人运行环境对应的周边机器人运行环境的可查询机器人数量；
根据所述可查询机器人数量，采用预置查询策略，计算各机器人运行环境实际需要查询的最终机器人数量。
根据本发明第二方面，本发明请求保护一种针对应答机器人的对话处理系统，其特征在于，所述针对应答机器人的对话处理系统包括：
视频处理模块，用于经过预设时长，根据各机器人运行环境内的运行动作影像，汇总所述各机器人运行环境中对话位置内的提问人类型，并从所述运行动作影像中提取各提问人的情绪信息；
识别模块，用于将所述各情绪信息输入预置情绪分析模型中执行情绪分析，得到所述各提问人的情绪数据，以及将所述各情绪信息输入预置情绪识别模型中执行情绪识别，得到所述各提问人的动态情绪信息；
计算模块，用于根据所述情绪数据，分别汇总当前各机器人运行环境内的提问人对话话题数量，并基于所述提问人对话话题数量、所述提问人类型，计算所述各机器人运行环境需要查询的机器人数量；
调整模块，用于基于所述动态情绪信息，计算所述各机器人运行环境的机器人查询需求等级，并基于所述机器人查询需求等级，调整所述各机器人运行环境需要查询的机器人数量；
查询模块，用于根据调整后各机器人运行环境需要查询的机器人数量，向周边可查询的机器人运行环境发出机器人人员查询请求。
进一步的，所述针对应答机器人的对话处理系统还包括：
预处理模块，用于获取多张情绪信息样本，并依次存入预置数组中并执行切割比例转换，顺序输出预置切割比例的多个参考情绪；
快照模块，用于分别对所述各参考情绪中的动态情绪区域执行快照，得到对应的快照截图，并将所述参考情绪和所述快照截图输入预置预处理策略中；
转化模块，用于通过所述预处理策略识别所述参考情绪中各提问嘴部部特征对应的关键点，并将所述关键点转化为候选图向量；
分类模块，用于获取嘴部情绪对应的运动特征语义向量，并分别计算所述候选图向量与所述运动特征语义向量之间的关联度，基于所述关联度，对所述各参考情绪执行分类，得到所述各参考情绪对应的动态情绪预测结果；
训练模块，用于基于所述动态情绪预测结果和所述快照截图，计算所述预处理策略的正常偏离度，并基于所述正常偏离度对所述预处理策略执行调整，直到所述预处理策略满足对话要求，得到所述情绪识别模型。
根据本发明第三方面，本发明请求保护一种针对应答机器人的对话处理系统，其特征在于，所述针对应答机器人的对话处理系统包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述针对应答机器人的对话处理系统执行所述的针对应答机器人的对话处理方法。
本发明涉及自然语言处理技术领域，尤其涉及一种针对应答机器人的对话处理方法和系统，根据各机器人运行环境内的运行动作影像，汇总各机器人运行环境中对话位置内的提问人类型，并提取各提问人的情绪信息；将各情绪信息输入预置情绪分析模型中执行情绪分析，得到各提问人的情绪数据输入预置情绪识别模型中执行情绪识别，得到各提问人的动态情绪信息；根据情绪数据，分别汇总当前各机器人运行环境内的提问人对话话题数量，并计算各机器人运行环境需要查询的机器数量和各机器人运行环境的机器人查询需求等级，调整各机器人运行环境需要查询的机器人数量。本发明可以使得机器人主动思考，充分考虑到与提问人相关的其他因素。
附图说明
图1为本发明实施例所请求保护的一种针对应答机器人的对话处理方法的工作流程图；
图2为本发明实施例所请求保护的一种针对应答机器人的对话处理方法的第二工作流程图；
图3为本发明实施例所请求保护的一种针对应答机器人的对话处理系统的结构模块图。
具体实施方式
根据本发明第一实施例，参照附图1，本发明请求保护一种针对应答机器人的对话处理方法，其特征在于，所述针对应答机器人的对话处理方法包括：
经过预设时长，根据各机器人运行环境内的运行动作影像，汇总所述各机器人运行环境中对话位置内的提问人类型，并从所述运行动作影像中提取各提问人的情绪信息；
将所述各情绪信息输入预置情绪分析模型中执行情绪分析，得到所述各提问人的情绪数据，以及将所述各情绪信息输入预置情绪识别模型中执行情绪识别，得到所述各提问人的动态情绪信息；
根据所述情绪数据，分别汇总当前各机器人运行环境内的提问人对话话题数量，并基于所述提问人对话话题数量、所述提问人类型，计算所述各机器人运行环境需要查询的机器数量；
基于所述动态情绪信息，计算所述各机器人运行环境的机器人查询需求等级，并基于所述机器人查询需求等级，调整所述各机器人运行环境需要查询的机器人数量；
根据调整后各机器人运行环境需要查询的机器人数量，向周边可查询的机器人运行环境发出机器人人员查询请求。
其中，在该实施例中，可以是根据面部表情或心律来对人物情绪作进一步细化的区分；作为示例，其可以是当所识别的目标提问人的心律很高且提问人面部表情是开心时，则人机交互终端可以推定目标提问人是情绪亢奋；并且，当所识别的目标提问人的心律正常且提问人面部表情是开心时，则人机交互终端可以是推定目标提问人的情绪是情绪高昂等等。
进一步的，参照附图2，所述将所述各情绪信息输入预置情绪分析模型中执行情绪分析，得到所述各提问人的情绪数据包括：
将所述各提问人的情绪信息输入预置卷积模型执行处理，输出所述各情绪信息对应的嘴部图像的运动特征；
将所述各嘴部图像的运动特征输入预置神经网络模型执行编码，得到所述各提问人对应的第一嘴部特征向量；
分别计算待比对提问人的第一嘴部特征向量与预置提问人的第二嘴部特征向量之间的余弦距离；
根据所述余弦距离，判断待比对提问人与预置提问人是否为同一人，并根据判断的结果确定所述各提问人的情绪数据。
其中，在该实施例中，在获取或采集目标提问人的人脸图像时可以是执行如下的步骤：基于语音数据所指示的回波信号，确定相对于目标提问人的距离信息和方位信息，例如可确定回波信号所指示的声源方向和声源距离；然后，根据方位信息和距离信息，控制调整相对于目标提问人的距离和/或方位以采集关于目标提问人的场景视频；进而，基于所采集的场景视频，确定关于目标提问人的人脸图像。由此，不论提问人处于哪个方位，只要提问人的说话声音被人机交互终端采集到了，人机交互终端就能够自动地转向提问人以采集目标提问人的人脸图像，而不需要提问人主动调整方位，进而更加方便地识别出目标提问人的情绪以提供人机交互服务。
进一步的，所述将所述各提问人的情绪信息输入预置卷积模型执行处理，输出所述各情绪信息对应的嘴部图像的运动特征包括：
对所述各提问人的情绪信息执行比例缩放，得到多个尺度的情绪信息；
将所述各尺度的情绪信息输入卷积网络执行嘴部区域识别，得到所述各情绪信息中嘴部区域的候选轮廓框；
将所述各候选轮廓框输入卷积网络执行轮廓框去重处理，得到仅包含嘴部区域的合格轮廓框；
将所述各合格轮廓框输入卷积网络执行轮廓框坐标识别，得到所述各情绪信息对应的嘴部图像的运动特征。
进一步的，在所述经过预设时长，根据各机器人运行环境内的运行动作影像，汇总所述各机器人运行环境中对话位置内的提问人类型，并从所述运行动作影像中提取各提问人的情绪信息之前，还包括：
获取多张情绪信息样本，并依次存入预置数组中并执行切割比例转换，顺序输出预置切割比例的多个参考情绪；
分别对所述各参考情绪中的动态情绪区域执行快照，得到对应的快照截图，并将所述参考情绪和所述快照截图输入预置预处理策略中；
通过所述预处理策略识别所述参考情绪中各提问嘴部部特征对应的关键点，并将所述关键点转化为候选图向量；
获取嘴部情绪对应的运动特征语义向量，并分别计算所述候选图向量与所述运动特征语义向量之间的关联度，基于所述关联度，对所述各参考情绪执行分类，得到所述各参考情绪对应的动态情绪预测结果；
基于所述动态情绪预测结果和所述快照截图，计算所述预处理策略的正常偏离度，并基于所述正常偏离度对所述预处理策略执行调整，直到所述预处理策略满足对话要求，得到所述情绪识别模型。
其中，本发明实施例能够根据提问人的情绪信息、语意信息、情感变化趋势信息、个人状态信息，预测提问人针对每条候选回话信息的触发情绪，并经由这预测情绪，在候选回话清单的众多候选回话信息中，找出一个最为合适的句子作为回答。本发明实施例首先获取提问人的各种当前信息，借由此提前预测提问人对于候选回话清单中各候选回话信息的触发情绪，再根据这些候选回话信息的预测结果，选择最合适的候选回话信息作为回答，更人性化，提高了提问人体验。
进一步的，所述基于所述动态情绪预测结果和所述快照截图，计算所述预处理策略的正常偏离度，并基于所述正常偏离度对所述预处理策略执行调整，直到所述预处理策略满足对话要求，得到所述情绪识别模型包括：
基于所述动态情绪预测结果和所述快照截图，生成所述预处理策略的三元组，并基于所述三元组计算所述预处理策略的正常偏离度；
若所述正常偏离度低于预置偏离阈值，则通过反向传播调整所述预处理策略的各个权重参数，并对所述预处理策略执行微调，输出新的动态情绪预测结果；
跳转执行所述基于所述动态情绪预测结果和所述快照截图，生成所述预处理策略的三元组，并基于所述三元组计算所述预处理策略的正常偏离度的步骤，直到所述正常偏离度低于预置偏离阈值，确定所述预处理策略满足对话要求，得到所述情绪识别模型。
进一步的，所述基于所述提问人对话话题数量、所述提问人类型，计算所述各机器人运行环境需要查询的机器人数量包括：
根据所述提问人对话话题数量、所述提问人类型，预测各机器人运行环境的需查询机器人数量；
根据各机器人运行环境的现有机器人数量和需要查询的所述需查询机器人数量，计算各机器人运行环境对应的周边机器人运行环境的可查询机器人数量；
根据所述可查询机器人数量，采用预置查询策略，计算各机器人运行环境实际需要查询的最终机器人数量。
其中，在该实施例中，该方法不仅仅提取提问人当前输入的问题信息的次数，还会记录当前交互的此前多次的问题信息以及相应的最佳答案信息。基于提问人向智能机器人输入当前问题信息的次数，该方法确定出提问人的交互意图信息，并根据该交互意图信息从候选答案信息集合中选取出最佳答案信息并输出给提问人。
本实施例所提供的人机交互方法采用了答案控制的方式，先缓存多个与提问人提问问题信息相符的候选答案信息，随后集合该问题信息的提问次数，来从这些候选答案信息中选取此次交互的最佳答案信息。这样，该交互方法使得智能机器人每次可以给提问人反馈不同的答案信息，从而使机器人显得更加智能。同时，该方法还可以使得多个不同的候选答案信息得到充分利用，从而提高交互的趣味度和丰富度，进而提高提问人的平均交互时间。
根据本发明第二实施例，参照附图3，本发明请求保护一种针对应答机器人的对话处理系统，其特征在于，所述针对应答机器人的对话处理系统包括：
视频处理模块，用于经过预设时长，根据各机器人运行环境内的运行动作影像，汇总所述各机器人运行环境中对话位置内的提问人类型，并从所述运行动作影像中提取各提问人的情绪信息；
识别模块，用于将所述各情绪信息输入预置情绪分析模型中执行情绪分析，得到所述各提问人的情绪数据，以及将所述各情绪信息输入预置情绪识别模型中执行情绪识别，得到所述各提问人的动态情绪信息；
计算模块，用于根据所述情绪数据，分别汇总当前各机器人运行环境内的提问人对话话题数量，并基于所述提问人对话话题数量、所述提问人类型，计算所述各机器人运行环境需要查询的机器人数量；
调整模块，用于基于所述动态情绪信息，计算所述各机器人运行环境的机器人查询需求等级，并基于所述机器人查询需求等级，调整所述各机器人运行环境需要查询的机器人数量；
查询模块，用于根据调整后各机器人运行环境需要查询的机器人数量，向周边可查询的机器人运行环境发出机器人人员查询请求。
进一步的，所述针对应答机器人的对话处理系统还包括：
预处理模块，用于获取多张情绪信息样本，并依次存入预置数组中并执行切割比例转换，顺序输出预置切割比例的多个参考情绪；
快照模块，用于分别对所述各参考情绪中的动态情绪区域执行快照，得到对应的快照截图，并将所述参考情绪和所述快照截图输入预置预处理策略中；
转化模块，用于通过所述预处理策略识别所述参考情绪中各提问嘴部部特征对应的关键点，并将所述关键点转化为候选图向量；
分类模块，用于获取嘴部情绪对应的运动特征语义向量，并分别计算所述候选图向量与所述运动特征语义向量之间的关联度，基于所述关联度，对所述各参考情绪执行分类，得到所述各参考情绪对应的动态情绪预测结果；
训练模块，用于基于所述动态情绪预测结果和所述快照截图，计算所述预处理策略的正常偏离度，并基于所述正常偏离度对所述预处理策略执行调整，直到所述预处理策略满足对话要求，得到所述情绪识别模型。
根据本发明第三实施例，本发明请求保护一种针对应答机器人的对话处理系统，其特征在于，所述针对应答机器人的对话处理系统包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述针对应答机器人的对话处理系统执行所述的针对应答机器人的对话处理方法。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种系统或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例执行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例执行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (9)
1.一种针对应答机器人的对话处理方法，其特征在于，所述针对应答机器人的对话处理方法包括：
经过预设时长，根据各机器人运行环境内的运行动作影像，汇总所述各机器人运行环境中对话位置内的提问人类型，并从所述运行动作影像中提取各提问人的情绪信息；
将所述各情绪信息输入预置情绪分析模型中执行情绪分析，得到所述各提问人的情绪数据，以及将所述各情绪信息输入预置情绪识别模型中执行情绪识别，得到所述各提问人的动态情绪信息；
根据所述情绪数据，分别汇总当前各机器人运行环境内的提问人对话话题数量，并基于所述提问人对话话题数量、所述提问人类型，计算所述各机器人运行环境需要查询的机器数量；
基于所述动态情绪信息，计算所述各机器人运行环境的机器人查询需求等级，并基于所述机器人查询需求等级，调整所述各机器人运行环境需要查询的机器人数量；
根据调整后各机器人运行环境需要查询的机器人数量，向周边可查询的机器人运行环境发出机器人人员查询请求。
2.根据权利要求1所述的针对应答机器人的对话处理方法，其特征在于，所述将所述各情绪信息输入预置情绪分析模型中执行情绪分析，得到所述各提问人的情绪数据包括：
将所述各提问人的情绪信息输入预置卷积模型执行处理，输出所述各情绪信息对应的嘴部图像的运动特征；
将所述各嘴部图像的运动特征输入预置神经网络模型执行编码，得到所述各提问人对应的第一嘴部特征向量；
分别计算待比对提问人的第一嘴部特征向量与预置提问人的第二嘴部特征向量之间的余弦距离；
根据所述余弦距离，判断待比对提问人与预置提问人是否为同一人，并根据判断的结果确定所述各提问人的情绪数据。
3.根据权利要求2所述的针对应答机器人的对话处理方法，其特征在于，所述将所述各提问人的情绪信息输入预置卷积模型执行处理，输出所述各情绪信息对应的嘴部图像的运动特征包括：
对所述各提问人的情绪信息执行比例缩放，得到多个尺度的情绪信息；
将所述各尺度的情绪信息输入卷积网络执行嘴部区域识别，得到所述各情绪信息中嘴部区域的候选轮廓框；
将所述各候选轮廓框输入卷积网络执行轮廓框去重处理，得到仅包含嘴部区域的合格轮廓框；
将所述各合格轮廓框输入卷积网络执行轮廓框坐标识别，得到所述各情绪信息对应的嘴部图像的运动特征。
4.根据权利要求1所述的针对应答机器人的对话处理方法，其特征在于，在所述经过预设时长，根据各机器人运行环境内的运行动作影像，汇总所述各机器人运行环境中对话位置内的提问人类型，并从所述运行动作影像中提取各提问人的情绪信息之前，还包括：
获取多张情绪信息样本，并依次存入预置数组中并执行切割比例转换，顺序输出预置切割比例的多个参考情绪；
分别对所述各参考情绪中的动态情绪区域执行快照，得到对应的快照截图，并将所述参考情绪和所述快照截图输入预置预处理策略中；
通过所述预处理策略识别所述参考情绪中各提问嘴部部特征对应的关键点，并将所述关键点转化为候选图向量；
获取嘴部情绪对应的运动特征语义向量，并分别计算所述候选图向量与所述运动特征语义向量之间的关联度，基于所述关联度，对所述各参考情绪执行分类，得到所述各参考情绪对应的动态情绪预测结果；
基于所述动态情绪预测结果和所述快照截图，计算所述预处理策略的正常偏离度，并基于所述正常偏离度对所述预处理策略执行调整，直到所述预处理策略满足对话要求，得到所述情绪识别模型。
5.根据权利要求4所述的针对应答机器人的对话处理方法，其特征在于，所述基于所述动态情绪预测结果和所述快照截图，计算所述预处理策略的正常偏离度，并基于所述正常偏离度对所述预处理策略执行调整，直到所述预处理策略满足对话要求，得到所述情绪识别模型包括：
基于所述动态情绪预测结果和所述快照截图，生成所述预处理策略的三元组，并基于所述三元组计算所述预处理策略的正常偏离度；
若所述正常偏离度低于预置偏离阈值，则通过反向传播调整所述预处理策略的各个权重参数，并对所述预处理策略执行微调，输出新的动态情绪预测结果；
跳转执行所述基于所述动态情绪预测结果和所述快照截图，生成所述预处理策略的三元组，并基于所述三元组计算所述预处理策略的正常偏离度的步骤，直到所述正常偏离度低于预置偏离阈值，确定所述预处理策略满足对话要求，得到所述情绪识别模型。
6.根据权利要求1-5中任一项所述的针对应答机器人的对话处理方法，其特征在于，所述基于所述提问人对话话题数量、所述提问人类型，计算所述各机器人运行环境需要查询的机器人数量包括：
根据所述提问人对话话题数量、所述提问人类型，预测各机器人运行环境的需查询机器人数量；
根据各机器人运行环境的现有机器人数量和需要查询的所述需查询机器人数量，计算各机器人运行环境对应的周边机器人运行环境的可查询机器人数量；
根据所述可查询机器人数量，采用预置查询策略，计算各机器人运行环境实际需要查询的最终机器人数量。
7.一种针对应答机器人的对话处理系统，其特征在于，所述针对应答机器人的对话处理系统包括：
视频处理模块，用于经过预设时长，根据各机器人运行环境内的运行动作影像，汇总所述各机器人运行环境中对话位置内的提问人类型，并从所述运行动作影像中提取各提问人的情绪信息；
识别模块，用于将所述各情绪信息输入预置情绪分析模型中执行情绪分析，得到所述各提问人的情绪数据，以及将所述各情绪信息输入预置情绪识别模型中执行情绪识别，得到所述各提问人的动态情绪信息；
计算模块，用于根据所述情绪数据，分别汇总当前各机器人运行环境内的提问人对话话题数量，并基于所述提问人对话话题数量、所述提问人类型，计算所述各机器人运行环境需要查询的机器人数量；
调整模块，用于基于所述动态情绪信息，计算所述各机器人运行环境的机器人查询需求等级，并基于所述机器人查询需求等级，调整所述各机器人运行环境需要查询的机器人数量；
查询模块，用于根据调整后各机器人运行环境需要查询的机器人数量，向周边可查询的机器人运行环境发出机器人人员查询请求。
8.根据权利要求7所述的针对应答机器人的对话处理系统，其特征在于，所述针对应答机器人的对话处理系统还包括：
预处理模块，用于获取多张情绪信息样本，并依次存入预置数组中并执行切割比例转换，顺序输出预置切割比例的多个参考情绪；
快照模块，用于分别对所述各参考情绪中的动态情绪区域执行快照，得到对应的快照截图，并将所述参考情绪和所述快照截图输入预置预处理策略中；
转化模块，用于通过所述预处理策略识别所述参考情绪中各提问嘴部部特征对应的关键点，并将所述关键点转化为候选图向量；
分类模块，用于获取嘴部情绪对应的运动特征语义向量，并分别计算所述候选图向量与所述运动特征语义向量之间的关联度，基于所述关联度，对所述各参考情绪执行分类，得到所述各参考情绪对应的动态情绪预测结果；
训练模块，用于基于所述动态情绪预测结果和所述快照截图，计算所述预处理策略的正常偏离度，并基于所述正常偏离度对所述预处理策略执行调整，直到所述预处理策略满足对话要求，得到所述情绪识别模型。
9.一种针对应答机器人的对话处理系统，其特征在于，所述针对应答机器人的对话处理系统包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述针对应答机器人的对话处理系统执行如权利要求1-6中任一项所述的针对应答机器人的对话处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410162910.3A CN117708305B (zh) | 2024-02-05 | 2024-02-05 | 一种针对应答机器人的对话处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410162910.3A CN117708305B (zh) | 2024-02-05 | 2024-02-05 | 一种针对应答机器人的对话处理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117708305A true CN117708305A (zh) | 2024-03-15 |
| CN117708305B CN117708305B (zh) | 2024-04-30 |
Family
ID=90148263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410162910.3A Active CN117708305B (zh) | 2024-02-05 | 2024-02-05 | 一种针对应答机器人的对话处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117708305B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127156A (zh) * | 2016-06-27 | 2016-11-16 | 上海元趣信息技术有限公司 | 基于声纹和人脸识别的机器人交互方法 |
| CN107301168A (zh) * | 2017-06-01 | 2017-10-27 | 深圳市朗空亿科科技有限公司 | 智能机器人及其情绪交互方法、系统 |
| CN108960156A (zh) * | 2018-07-09 | 2018-12-07 | 苏州浪潮智能软件有限公司 | 一种人脸检测识别方法及装置 |
| CN110046221A (zh) * | 2019-03-01 | 2019-07-23 | 平安科技（深圳）有限公司 | 一种机器对话方法、装置、计算机设备及存储介质 |
| JP2019217122A (ja) * | 2018-06-22 | 2019-12-26 | カシオ計算機株式会社 | ロボット、ロボットの制御方法及びプログラム |
| CN111613226A (zh) * | 2020-06-04 | 2020-09-01 | 中国银行股份有限公司 | 语音交互方法、装置及测试机器人 |
| WO2020190362A2 (en) * | 2020-01-17 | 2020-09-24 | Futurewei Technologies, Inc. | A social interaction robot |
| CN111844055A (zh) * | 2019-04-26 | 2020-10-30 | 美澳视界（厦门）智能科技有限公司 | 具有听觉、视觉、触觉与情感反馈的多模态人机交互机器人 |
| CN112809694A (zh) * | 2020-03-02 | 2021-05-18 | 腾讯科技（深圳）有限公司 | 机器人控制方法、装置、存储介质和计算机设备 |
| CN116386604A (zh) * | 2023-01-06 | 2023-07-04 | 杭州健海科技有限公司 | 基于用户情绪状态的自适应外呼对话策略配置方法及装置 |
| WO2023226239A1 (zh) * | 2022-05-24 | 2023-11-30 | 网易（杭州）网络有限公司 | 对象情绪的分析方法、装置和电子设备 |
-
2024
- 2024-02-05 CN CN202410162910.3A patent/CN117708305B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127156A (zh) * | 2016-06-27 | 2016-11-16 | 上海元趣信息技术有限公司 | 基于声纹和人脸识别的机器人交互方法 |
| CN107301168A (zh) * | 2017-06-01 | 2017-10-27 | 深圳市朗空亿科科技有限公司 | 智能机器人及其情绪交互方法、系统 |
| JP2019217122A (ja) * | 2018-06-22 | 2019-12-26 | カシオ計算機株式会社 | ロボット、ロボットの制御方法及びプログラム |
| CN108960156A (zh) * | 2018-07-09 | 2018-12-07 | 苏州浪潮智能软件有限公司 | 一种人脸检测识别方法及装置 |
| CN110046221A (zh) * | 2019-03-01 | 2019-07-23 | 平安科技（深圳）有限公司 | 一种机器对话方法、装置、计算机设备及存储介质 |
| CN111844055A (zh) * | 2019-04-26 | 2020-10-30 | 美澳视界（厦门）智能科技有限公司 | 具有听觉、视觉、触觉与情感反馈的多模态人机交互机器人 |
| WO2020190362A2 (en) * | 2020-01-17 | 2020-09-24 | Futurewei Technologies, Inc. | A social interaction robot |
| CN112809694A (zh) * | 2020-03-02 | 2021-05-18 | 腾讯科技（深圳）有限公司 | 机器人控制方法、装置、存储介质和计算机设备 |
| CN111613226A (zh) * | 2020-06-04 | 2020-09-01 | 中国银行股份有限公司 | 语音交互方法、装置及测试机器人 |
| WO2023226239A1 (zh) * | 2022-05-24 | 2023-11-30 | 网易（杭州）网络有限公司 | 对象情绪的分析方法、装置和电子设备 |
| CN116386604A (zh) * | 2023-01-06 | 2023-07-04 | 杭州健海科技有限公司 | 基于用户情绪状态的自适应外呼对话策略配置方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117708305B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11380327B2 (en) | Speech communication system and method with human-machine coordination | |
| CN107818798B (zh) | 客服服务质量评价方法、装置、设备及存储介质 | |
| US10347244B2 (en) | Dialogue system incorporating unique speech to text conversion method for meaningful dialogue response | |
| CN106503236B (zh) | 基于人工智能的问题分类方法以及装置 | |
| US9305569B2 (en) | Dialogue system and method for responding to multimodal input using calculated situation adaptability | |
| CN111261162B (zh) | 语音识别方法、语音识别装置及存储介质 | |
| KR20190005194A (ko) | 메시지 분류에 기반한 메시지 교환 스레드의 자동화된 증대 | |
| US11568853B2 (en) | Voice recognition method using artificial intelligence and apparatus thereof | |
| US20210110815A1 (en) | Method and apparatus for determining semantic meaning of pronoun | |
| WO2019026617A1 (ja) | 情報処理装置、及び情報処理方法 | |
| CN114678014A (zh) | 意图识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN114995657A (zh) | 一种智能机器人的多模态融合自然交互方法、系统及介质 | |
| CN114490947A (zh) | 基于人工智能的对话服务方法、装置、服务器及介质 | |
| Chen et al. | Active learning for domain classification in a commercial spoken personal assistant | |
| JP6629172B2 (ja) | 対話制御装置、その方法及びプログラム | |
| Liu et al. | Learning salient features for speech emotion recognition using CNN | |
| CN117708305B (zh) | 一种针对应答机器人的对话处理方法和系统 | |
| KR20210123545A (ko) | 사용자 피드백 기반 대화 서비스 제공 방법 및 장치 | |
| CN110991155B (zh) | 文本修正方法、设备及介质 | |
| US20210166685A1 (en) | Speech processing apparatus and speech processing method | |
| US20120278178A1 (en) | Method for Delivering Highly Relevant Advertisements in a Friendly Way through Personal Robots | |
| Wei et al. | Investigating the relationship between dialogue and exchange-level impression | |
| JP2020119221A (ja) | 対話装置、対話方法、及びプログラム | |
| CN111858875B (zh) | 智能交互方法、装置、设备及存储介质 | |
| US20240029717A1 (en) | System to provide natural utterance by a voice assistant and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |