CN110826339B - 行为识别方法、装置、电子设备以及介质 - Google Patents
行为识别方法、装置、电子设备以及介质 Download PDFInfo
- Publication number
- CN110826339B CN110826339B CN201911057163.2A CN201911057163A CN110826339B CN 110826339 B CN110826339 B CN 110826339B CN 201911057163 A CN201911057163 A CN 201911057163A CN 110826339 B CN110826339 B CN 110826339B
- Authority
- CN
- China
- Prior art keywords
- user
- information
- pieces
- determining
- semantic similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000002452 interceptive effect Effects 0.000 claims abstract description 49
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000006399 behavior Effects 0.000 claims description 70
- 230000008451 emotion Effects 0.000 claims description 41
- 238000011156 evaluation Methods 0.000 claims description 32
- 230000001815 facial effect Effects 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 5
- 230000002996 emotional effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 230000008909 emotion recognition Effects 0.000 description 5
- 238000009472 formulation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010002368 Anger Diseases 0.000 description 1
- 241001539473 Euphoria Species 0.000 description 1
- 206010015535 Euphoric mood Diseases 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000006833 reintegration Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Finance (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种行为识别方法，包括获得交互系统与用户之间的对话记录，所述交互系统能够接受用户的输入并针对所述用户输入提供反馈信息，所述对话记录包括由用户的输入和所述交互系统提供的反馈信息组成的多条文本信息，确定所述多条文本信息之间的语义相似度，以及基于所述多条文本信息之间的语义相似度，确定是否存在用户不配合行为的识别结果，其中，所述用户不配合行为是指，用户没有按照既定的解决问题的流程向所述交互系统提供信息。本公开还提供了一种行为识别装置、一种电子设备以及一种计算机可读存储介质。
Description
技术领域
本公开涉及一种行为识别方法、装置、电子设备以及介质。
背景技术
在智能客服对话系统中，系统按照流程来解答用户的问题。但部分用户的不配合，造成系统错误回答了本可以正确回答的问题。因此，需要人工去观察哪些案例错误是由于用户不配合造成的，以便更加有针对性的改进现有系统。
发明内容
本公开的一个方面提供了一种行为识别方法，用于自动地识别用户不配合的行为。该方法包括获得交互系统与用户之间的对话记录，所述交互系统能够接受用户的输入并针对所述用户输入提供反馈信息，所述对话记录包括由用户的输入和所述交互系统提供的反馈信息组成的多条文本信息，确定所述多条文本信息之间的语义相似度，以及基于所述多条文本信息之间的语义相似度，确定是否存在用户不配合行为的识别结果，其中，所述用户不配合行为是指，用户没有按照既定的解决问题的流程向所述交互系统提供信息。
可选地，所述确定所述多条文本信息之间的语义相似度包括将所述多条文本信息按照时间顺序划分为多轮对话，按照时间顺序，确定每两轮相邻的对话之间的语义相似度作为所述多条文本信息之间的语义相似度。
可选地，所述方法还包括获得用户的语音信息和面部图像信息中的至少一种，以及基于所述语音信息和面部图像信息中的至少一种，确定用户的情绪信息；所述基于所述多条文本信息之间的语义相似度，确定是否存在用户不配合行为的识别结果包括基于所述多条文本信息之间的语义相似度以及所述情绪信息，确定是否存在用户不配合行为的识别结果。
可选地，所述基于所述多条文本信息之间的语义相似度以及所述情绪信息，确定是否存在用户不配合行为的识别结果包括为每种情绪设定情绪得分，使用经训练的权重数据处理所述情绪得分以及所述语义相似度，得到用于估计用户不配合程度的评估值，以及基于所述评估值，确定是否存在用户不配合行为的识别结果。
可选地，所述基于所述评估值，确定是否存在用户不配合行为的识别结果包括将所述多条文本信息按照时间顺序划分为多轮对话，确定所述多轮对话中每轮对话的所述评估值，确定多个所述评估值中的每一个是否满足预定条件，在多个所述评估值中满足预定条件的评估值的数量超过阈值的情况下，确定存在用户不配合行为的识别结果。
本公开的另一个方面提供了一种行为识别装置，包括获得模块、第一确定模块以及第二确定模块。获得模块，用于获得交互系统与用户之间的对话记录，所述交互系统能够接受用户的输入并针对所述用户输入提供反馈信息，所述对话记录包括由用户的输入和所述交互系统提供的反馈信息组成的多条文本信息。第一确定模块，用于确定所述多条文本信息之间的语义相似度。第二确定模块，用于基于所述多条文本信息之间的语义相似度，确定是否存在用户不配合行为的识别结果，其中，所述用户不配合行为是指，用户没有按照既定的解决问题的流程向所述交互系统提供信息。
本公开的另一个方面提供了一种电子设备，包括，至少一个处理器以及至少一个存储器，用于存储一个或多个计算机可读指令，其中，当所述一个或多个计算机可读指令被所述至少一个处理器执行时，使得所述处理器执行如上所述的方法。
本公开的另一方面提供了一种非易失性存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本公开实施例的行为识别方法的流程图；
图2示意性示出了根据本公开实施例的确定所述多条文本信息之间的语义相似度的流程图；
图3示意性示出了根据本公开另一实施例的行为识别方法的流程图；
图4示意性示出了根据本公开实施例的基于所述多条文本信息之间的语义相似度以及所述情绪信息，确定是否存在用户不配合行为的识别结果的流程图；
图5示意性示出了根据本公开实施例的基于所述评估值，确定是否存在用户不配合行为的识别结果的流程图；
图6示意性示出了根据本公开实施例的行为识别装置的框图；以及
图7示意性示出了根据本公开实施例的计算机系统的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据行为识别装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
本公开实施例提供了一种行为识别方法，包括获得交互系统与用户之间的对话记录，所述交互系统能够接受用户的输入并针对所述用户输入提供反馈信息，所述对话记录包括由用户的输入和所述交互系统提供的反馈信息组成的多条文本信息，确定所述多条文本信息之间的语义相似度，以及基于所述多条文本信息之间的语义相似度，确定是否存在用户不配合行为的识别结果，其中，所述用户不配合行为是指，用户没有按照既定的解决问题的流程向所述交互系统提供信息。
图1示意性示出了根据本公开实施例的行为识别方法的流程图。
如图1所示，该方法包括操作S110～S130。
在操作S110，获得交互系统与用户之间的对话记录，所述交互系统能够接受用户的输入并针对所述用户输入提供反馈信息，所述对话记录包括由用户的输入和所述交互系统提供的反馈信息组成的多条文本信息。
根据本公开实施例，用户与交互系统之间可以仅通过文字进行交互。在交互过程中，用户输入文本信息用于提出问题，交互系统例如智能客服机器人可以根据用户提出的问题，按照一定的流程向用户询问具体情况，并据此判断问题的根源，以便解决该问题。其中，交互系统发出的文本信息即为反馈信息。在这个过程中，如果用户产生不配合的行为，交互系统由于未经过相应的训练而被误导，一方面无法解决用户的问题，使用户体验进一步降低，另一方面，如果采用了迭代训练的方式，那么本次交互可能反而导致交互系统使用的语言模型变差。
根据本公开实施例，用户与交互系统之间也可以通过语音对话来交流，在本实施例中，可以识别用户和交互系统发出的语音中的语义信息，形成文本信息。或者，仅识别用户的声音，而直接获得用于使交互系统播放声音的文本信息。
在操作S120，确定所述多条文本信息之间的语义相似度。
根据本公开实施例，可以选用已有的多种语义相似度的计算方法确定多条文本信息之间的语义相似度，例如，可以选用深度结构化语义模型(DSSM，Deep StructureSemantic Model)等，通过将词语转化为向量，并计算向量之间的相似度作为语义相似度。具体地，例如可以采用Bi-MPM语义匹配网络确定两个语句的相似度。
根据本公开实施例，确定所述多条文本信息之间的语义相似度可以是将用户发出的文本信息与在其之前和之后交互系统发出的文本信息比较，确定用户的文本信息与其上下文的语义相似度。如果发现其中某一条用户的文本信息与其上下文的含义不相关，则可能出现用户不配合的情况。
图2示意性示出了根据本公开另一实施例的确定所述多条文本信息之间的语义相似度的流程图。
如图2所示，该方法包括操作S210～S220。
在操作S210，将所述多条文本信息按照时间顺序划分为多轮对话。例如，可以将相邻的一个来自交互系统的文本信息和一个来自用户的文本信息确定为一轮对话，按照这样的规则，可以将多条文本信息按照时间顺序划分为多轮对话。
在操作S220，按照时间顺序，确定每两轮相邻的对话之间的语义相似度作为所述多条文本信息之间的语义相似度。根据本公开实施例，如果上一轮对话的语义与本轮对话的语义相关度较高，可以认为用户和交互系统持续讨论某一问题，属于正常情况；如果上一轮对话的语义与本轮对话的语义相关度较低，则怀疑用户和交互系统讨论的话题发生突变，可能存在异常。
返回参考图1。在操作S130，基于所述多条文本信息之间的语义相似度，确定是否存在用户不配合行为的识别结果，其中，所述用户不配合行为是指，用户没有按照既定的解决问题的流程向所述交互系统提供信息。
根据本公开实施例，可以采用语义相似度分级的方式对是否存在用户不配合行为进行评价。例如，可以根据语义相似度将所有情况分为非常不相关、不相关、一般相关、较相关和非常相关五个等级，可以根据分级结果判断是否存在用户不配合的行为。
根据本公开实施例，可以设定程度阈值和次数阈值，如果发生语义相关度小于或等于程度阈值的次数达到次数阈值，则判断出现用户不配合的行为。例如，程度阈值为不相关，次数阈值为2，即，如果发生非常不相关或不相关的此时达到两次时，则确定存在用户不配合的行为。
在一些场景下，交互系统可以进一步获得用户的声音信息和/或面部图像信息，本公开实施例的方法还可以借助该些信息识别用户的不配合行为。
图3示意性示出了根据本公开另一实施例的行为识别方法的流程图。
如图3所示，该方法包括操作S310和S320，操作S130可以实现为操作S330。
在操作S310，获得用户的语音信息和面部图像信息中的至少一种。
在操作S320，基于所述语音信息和面部图像信息中的至少一种，确定用户的情绪信息。
根据本公开实施例，可以通过长短时记忆模型处理语音信息，或者，通过卷积神经网络处理面部图像信息，以识别用户的情绪信息。情绪代表着用户当前的心理状态，当用户表现出不耐烦，愤怒等情绪时往往不配合系统的。本公开实施例可以对情绪信息进行分类并打分，例如，愤怒为1分、悲伤为2分、兴奋为3分、欣喜为4分、正常为5分。
在操作S330，基于所述多条文本信息之间的语义相似度以及所述情绪信息，确定是否存在用户不配合行为的识别结果。
通过综合语义相似度和用户的情绪信息，可以更准确地识别是否存在用户不配合的行为。
图4示意性示出了根据本公开实施例的基于所述多条文本信息之间的语义相似度以及所述情绪信息，确定是否存在用户不配合行为的识别结果的流程图。
如图4所示，该方法包括操作S410～S430。
在操作S410，为每种情绪设定情绪得分。例如，可以设置愤怒为1分、悲伤为2分、兴奋为3分、欣喜为4分、正常为5分。
在操作S420，使用经训练的权重数据处理所述情绪得分以及所述语义相似度，得到用于估计用户不配合程度的评估值。
根据本公开实施例，可以将来自不同渠道的得分分别赋予权重，再整合处理。例如，可以将文本信息的语义识别的结果分为1～5分，语音处理的情绪信息识别的结果分为1～5分，面部图像的情绪信息识别的结果分为1～5分，分别对其赋予权重，并求和得到一个评估值。可选地，可以进一步将求和结果通过sigmiod函数映射到[0，1]区间内，将映射后的结果作为评估值。
在操作S430，基于所述评估值，确定是否存在用户不配合行为的识别结果。根据本公开实施例，可以通过一个程度阈值对S420得到的评估值进行评价，确定是否存在用户不配合的情况。为了提高结果的可靠性，可以参考如下图5描述的方法，通过设置次数阈值，谨慎地确认用户不配合行为。
图5示意性示出了根据本公开实施例的基于所述评估值，确定是否存在用户不配合行为的识别结果的流程图。
如图5所示，该方法包括操作S510～S540。
在操作S510，将所述多条文本信息按照时间顺序划分为多轮对话。
在操作S520，确定所述多轮对话中每轮对话的所述评估值。
在操作S530，确定多个所述评估值中的每一个是否满足预定条件。例如，满足上文所述的程度阈值的要求。
在操作S540，在多个所述评估值中满足预定条件的评估值的数量超过次数阈值的情况下，确定存在用户不配合行为的识别结果。
基于同一发明构思，本公开还提供了一种行为识别装置，下面参照图6对本公开实施例的行为识别装置进行说明。
图6示意性示出了根据本公开实施例的行为识别装置600的框图。
如图6所示，该行为识别装置600包括获得模块610、第一确定模块620以及第二确定模块630。该装置600可以执行上面参考图1～图5描述的各种方法。
获得模块610，例如执行上文参考图1所描述的操作S110，用于获得交互系统与用户之间的对话记录，所述交互系统能够接受用户的输入并针对所述用户输入提供反馈信息，所述对话记录包括由用户的输入和所述交互系统提供的反馈信息组成的多条文本信息。
第一确定模块620，例如执行上文参考图1所描述的操作S120，用于确定所述多条文本信息之间的语义相似度。
第二确定模块630，例如执行上文参考图1所描述的操作S130，用于基于所述多条文本信息之间的语义相似度，确定是否存在用户不配合行为的识别结果，其中，所述用户不配合行为是指，用户没有按照既定的解决问题的流程向所述交互系统提供信息。
根据本公开实施例，所述第一确定模块620用于将所述多条文本信息按照时间顺序划分为多轮对话，按照时间顺序，确定每两轮相邻的对话之间的语义相似度作为所述多条文本信息之间的语义相似度。
根据本公开实施例，所述装置还包括情绪识别模块，用于获得用户的语音信息和面部图像信息中的至少一种，以及基于所述语音信息和面部图像信息中的至少一种，确定用户的情绪信息；所述基于所述多条文本信息之间的语义相似度，确定是否存在用户不配合行为的识别结果包括基于所述多条文本信息之间的语义相似度以及所述情绪信息，确定是否存在用户不配合行为的识别结果。
根据本公开实施例，所述基于所述多条文本信息之间的语义相似度以及所述情绪信息，确定是否存在用户不配合行为的识别结果包括为每种情绪设定情绪得分，使用经训练的权重数据处理所述情绪得分以及所述语义相似度，得到用于估计用户不配合程度的评估值，以及基于所述评估值，确定是否存在用户不配合行为的识别结果。
根据本公开实施例，所述基于所述评估值，确定是否存在用户不配合行为的识别结果包括将所述多条文本信息按照时间顺序划分为多轮对话，确定所述多轮对话中每轮对话的所述评估值，确定多个所述评估值中的每一个是否满足预定条件，在多个所述评估值中满足预定条件的评估值的数量超过阈值的情况下，确定存在用户不配合行为的识别结果。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，获得模块610、第一确定模块620、第二确定模块630以及情绪识别模块中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获得模块610、第一确定模块620、第二确定模块630以及情绪识别模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获得模块610、第一确定模块620、第二确定模块630以及情绪识别模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图7示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。图7示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括处理器710和计算机可读存储介质720。该计算机系统700可以执行根据本公开实施例的方法。
具体地，处理器710例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器710还可以包括用于缓存用途的板载存储器。处理器710可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质720，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。
计算机可读存储介质720可以包括计算机程序721，该计算机程序721可以包括代码/计算机可执行指令，其在由处理器710执行时使得处理器710执行根据本公开实施例的方法或其任何变形。
计算机程序721可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序721中的代码可以包括一个或多个程序模块，例如包括721A、模块721B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器710执行时，使得处理器710可以执行根据本公开实施例的方法或其任何变形。
根据本发明的实施例，获得模块610、第一确定模块620、第二确定模块630以及情绪识别模块中的至少一个可以实现为参考图7描述的计算机程序模块，其在被处理器710执行时，可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。
Claims (8)
1.一种行为识别方法，包括：
获得交互系统与用户之间的对话记录，所述交互系统能够接受用户的输入并针对所述用户输入提供反馈信息，所述对话记录包括由用户的输入和所述交互系统提供的反馈信息组成的多条文本信息；
确定所述多条文本信息之间的语义相似度，以及获取用户的情绪信息；
基于所述多条文本信息之间的语义相似度和所述情绪信息，确定是否存在用户不配合行为的识别结果，其中，所述用户不配合行为是指，用户没有按照既定的解决问题的流程向所述交互系统提供信息；
其中，所述获取用户的情绪信息包括：
获得用户的语音信息和面部图像信息中的至少一种；以及
基于所述语音信息和面部图像信息中的至少一种，确定用户的情绪信息。
2.根据权利要求1所述的方法，其中，所述确定所述多条文本信息之间的语义相似度包括：
将所述多条文本信息按照时间顺序划分为多轮对话；
按照时间顺序，确定每两轮相邻的对话之间的语义相似度作为所述多条文本信息之间的语义相似度。
3.根据权利要求1所述的方法，其中，所述基于所述多条文本信息之间的语义相似度以及所述情绪信息，确定是否存在用户不配合行为的识别结果包括：
为每种情绪设定情绪得分；
使用经训练的权重数据处理所述情绪得分以及所述语义相似度，得到用于估计用户不配合程度的评估值；以及
基于所述评估值，确定是否存在用户不配合行为的识别结果。
4.根据权利要求3所述的方法，其中，所述基于所述评估值，确定是否存在用户不配合行为的识别结果包括：
将所述多条文本信息按照时间顺序划分为多轮对话；
确定所述多轮对话中每轮对话的所述评估值；
确定多个所述评估值中的每一个是否满足预定条件；
在多个所述评估值中满足预定条件的评估值的数量超过阈值的情况下，确定存在用户不配合行为的识别结果。
5.一种行为识别装置，包括：
获得模块，用于获得交互系统与用户之间的对话记录，所述交互系统能够接受用户的输入并针对所述用户输入提供反馈信息，所述对话记录包括由用户的输入和所述交互系统提供的反馈信息组成的多条文本信息；
第一确定模块，用于确定所述多条文本信息之间的语义相似度，以及获取用户的情绪信息；其中，所述获取用户的情绪信息包括：获得用户的语音信息和面部图像信息中的至少一种；基于所述语音信息和面部图像信息中的至少一种，确定用户的情绪信息；
第二确定模块，用于基于所述多条文本信息之间的语义相似度和所述情绪信息，确定是否存在用户不配合行为的识别结果，其中，所述用户不配合行为是指，用户没有按照既定的解决问题的流程向所述交互系统提供信息。
6. 一种电子设备，包括：
处理器；以及
存储器，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器：
获得交互系统与用户之间的对话记录，所述交互系统能够接受用户的输入并针对所述用户输入提供反馈信息，所述对话记录包括由用户的输入和所述交互系统提供的反馈信息组成的多条文本信息；
确定所述多条文本信息之间的语义相似度，以及获取用户的情绪信息；
基于所述多条文本信息之间的语义相似度和所述情绪信息，确定是否存在用户不配合行为的识别结果，其中，所述用户不配合行为是指，用户没有按照既定的解决问题的流程向所述交互系统提供信息；
其中，所述获取用户的情绪信息包括：
获得用户的语音信息和面部图像信息中的至少一种；以及
基于所述语音信息和面部图像信息中的至少一种，确定用户的情绪信息。
7.根据权利要求6所述的电子设备，其中，所述确定所述多条文本信息之间的语义相似度包括：
将所述多条文本信息按照时间顺序划分为多轮对话；
按照时间顺序，确定每两轮相邻的对话之间的语义相似度作为所述多条文本信息之间的语义相似度。
8.一种计算机可读存储介质，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器：
获得交互系统与用户之间的对话记录，所述交互系统能够接受用户的输入并针对所述用户输入提供反馈信息，所述对话记录包括由用户的输入和所述交互系统提供的反馈信息组成的多条文本信息；
确定所述多条文本信息之间的语义相似度，以及获取用户的情绪信息；
基于所述多条文本信息之间的语义相似度和所述情绪信息，确定是否存在用户不配合行为的识别结果，其中，所述用户不配合行为是指，用户没有按照既定的解决问题的流程向所述交互系统提供信息；
其中，所述获取用户的情绪信息包括：
获得用户的语音信息和面部图像信息中的至少一种；以及
基于所述语音信息和面部图像信息中的至少一种，确定用户的情绪信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911057163.2A CN110826339B (zh) | 2019-10-31 | 2019-10-31 | 行为识别方法、装置、电子设备以及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911057163.2A CN110826339B (zh) | 2019-10-31 | 2019-10-31 | 行为识别方法、装置、电子设备以及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110826339A CN110826339A (zh) | 2020-02-21 |
| CN110826339B true CN110826339B (zh) | 2024-03-01 |
Family
ID=69552095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911057163.2A Active CN110826339B (zh) | 2019-10-31 | 2019-10-31 | 行为识别方法、装置、电子设备以及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110826339B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782967B (zh) * | 2020-07-02 | 2024-05-28 | 奇安信科技集团股份有限公司 | 信息处理方法、装置、电子设备和计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105704013A (zh) * | 2016-03-18 | 2016-06-22 | 北京光年无限科技有限公司 | 基于上下文的话题更新数据处理方法及装置 |
| CN106328166A (zh) * | 2016-08-31 | 2017-01-11 | 上海交通大学 | 人机对话异常检测系统及方法 |
| CN106663129A (zh) * | 2016-06-29 | 2017-05-10 | 深圳狗尾草智能科技有限公司 | 一种基于状态机上下文敏感多轮对话管理系统及方法 |
| CN106683672A (zh) * | 2016-12-21 | 2017-05-17 | 竹间智能科技（上海）有限公司 | 一种基于情感和语义的智能对话方法及系统 |
| CN107480143A (zh) * | 2017-09-12 | 2017-12-15 | 山东师范大学 | 基于上下文相关性的对话话题分割方法和系统 |
| CN108427722A (zh) * | 2018-02-09 | 2018-08-21 | 卫盈联信息技术（深圳）有限公司 | 智能交互方法、电子装置及存储介质 |
-
2019
- 2019-10-31 CN CN201911057163.2A patent/CN110826339B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105704013A (zh) * | 2016-03-18 | 2016-06-22 | 北京光年无限科技有限公司 | 基于上下文的话题更新数据处理方法及装置 |
| CN106663129A (zh) * | 2016-06-29 | 2017-05-10 | 深圳狗尾草智能科技有限公司 | 一种基于状态机上下文敏感多轮对话管理系统及方法 |
| WO2018000278A1 (zh) * | 2016-06-29 | 2018-01-04 | 深圳狗尾草智能科技有限公司 | 一种基于状态机上下文敏感多轮对话管理系统及方法 |
| CN106328166A (zh) * | 2016-08-31 | 2017-01-11 | 上海交通大学 | 人机对话异常检测系统及方法 |
| CN106683672A (zh) * | 2016-12-21 | 2017-05-17 | 竹间智能科技（上海）有限公司 | 一种基于情感和语义的智能对话方法及系统 |
| CN107480143A (zh) * | 2017-09-12 | 2017-12-15 | 山东师范大学 | 基于上下文相关性的对话话题分割方法和系统 |
| CN108427722A (zh) * | 2018-02-09 | 2018-08-21 | 卫盈联信息技术（深圳）有限公司 | 智能交互方法、电子装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110826339A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11127416B2 (en) | Method and apparatus for voice activity detection | |
| Schuller et al. | The INTERSPEECH 2021 computational paralinguistics challenge: COVID-19 cough, COVID-19 speech, escalation & primates | |
| US20210097502A1 (en) | Automatically determining and presenting personalized action items from an event | |
| Lotfian et al. | Building naturalistic emotionally balanced speech corpus by retrieving emotional speech from existing podcast recordings | |
| US10110743B2 (en) | Automatic pattern recognition in conversations | |
| US11114111B2 (en) | Dialogue analysis | |
| AU2019219717B2 (en) | System and method for analyzing partial utterances | |
| CN112365894A (zh) | 基于ai的复合语音交互方法、装置及计算机设备 | |
| US9858923B2 (en) | Dynamic adaptation of language models and semantic tracking for automatic speech recognition | |
| CN110544469B (zh) | 语音识别模型的训练方法及装置、存储介质、电子装置 | |
| US10380261B2 (en) | Conversational language and informational response systems and methods | |
| CN109783626B (zh) | 问题生成方法、智能问答系统、介质以及计算机系统 | |
| US11615129B2 (en) | Electronic message text classification framework selection | |
| JP2019020684A (ja) | 感情インタラクションモデル学習装置、感情認識装置、感情インタラクションモデル学習方法、感情認識方法、およびプログラム | |
| Lefter et al. | Cross-corpus analysis for acoustic recognition of negative interactions | |
| US10674952B1 (en) | Detection and management of memory impairment | |
| CN110826339B (zh) | 行为识别方法、装置、电子设备以及介质 | |
| CN112667792B (zh) | 人机对话数据处理方法、装置、计算机设备和存储介质 | |
| CN111970311B (zh) | 会话切分方法、电子设备及计算机可读介质 | |
| Martinez-Lucas et al. | Analyzing continuous-time and sentence-level annotations for speech emotion recognition | |
| Duke et al. | Top-down Approach to Solving Speaker Diarization Errors in diaLogic System | |
| KR102055886B1 (ko) | 화자 음성 특징 추출 방법 및 장치, 그리고 이를 위한 기록 매체 | |
| Formolo et al. | Towards interactive agents that infer emotions from voice and context information | |
| Lefter et al. | EmoReSp: an online emotion recognizer based on speech | |
| US20230208966A1 (en) | Determination method, information processing apparatus, and computer-readable recording medium storing determination program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |