CN114493902A - 多模态信息异常监控方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种多模态信息异常监控方法，应用于数据处理领域，用于提高异常监控准确率。本发明提供的方法包括：基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息；对录音信息和录屏信息分别进行特征提取，得到录音信息对应的录音特征和录屏信息对应的录屏特征；将录音特征和录屏特征进行多模特征融合，得到多模特征；基于节点信息，对多模特征进行主题匹配度计算处理，得到匹配值；将匹配值与预设匹配值进行对比，得到比对结果，其中，当匹配值不小于预设匹配值时，则确定节点信息对应的节点正常，当匹配值小于所述预设匹配值时，则确定节点信息对应的节点异常。

Description

多模态信息异常监控方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据处理领域，尤其涉及一种多模态信息异常监控方法、装置、计算机设备及存储介质。

背景技术

随着经济的飞速发展，保险越来越被大众重视，关于保险的销售也越来越被重视。目前，保险销售业务的过程主要由保险人员向客户进行推销。在该业务过程中，为确保消费者的利益，需要对业务引导和签订过程进行异常监控，以确保销售过程中不出现虚假宣传、片面介绍、夸大功能、混淆产品、篡改客户信息等情况，提升用户体验。

当前，主要采用双录，即录音录屏对销售人员的销售情况进行记录，再对记录情况进行大数据筛查及人工抽查来进行业务合规性的异常监控。但由于录音录屏只对业务人员当下情况进行记录，而业务误导问题在整个引导和签订过程的每个环节均可能发生，这使得当前这种双录的方式获取的信息量有限，造成信息异常监控准确率不足的问题。

因此，现有业务引导过程中存在信息异常监控准确率低的问题。

发明内容

本发明实施例提供一种多模态信息异常监控方法、装置、计算机设备及存储介质，以提高异常监控准确率。

一种多模态信息异常监控方法，包括：

基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息；

对所述录音信息和所述录屏信息分别进行特征提取，得到所述录音信息对应的录音特征和所述录屏信息对应的录屏特征；

将所述录音特征和所述录屏特征进行多模特征融合，得到多模特征；

基于所述节点信息，对所述多模特征进行主题匹配度计算处理，得到匹配值；

将所述匹配值与预设匹配值进行对比，得到比对结果，其中，当所述匹配值不小于所述预设匹配值时，则确定所述节点信息对应的节点正常，当所述匹配值小于所述预设匹配值时，则确定所述节点信息对应的节点异常。

一种多模态信息异常监控装置，包括：

信息获取模块，用于基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息；

特征提取模块，用于对所述录音信息和所述录屏信息分别进行特征提取，得到所述录音信息对应的录音特征和所述录屏信息对应的录屏特征；

多模融合模块，用于将所述录音特征和所述录屏特征进行多模特征融合，得到多模特征；

匹配值获取模块，用于基于所述节点信息，对所述多模特征进行主题匹配度计算处理，得到匹配值；

对比模块，用于将所述匹配值与预设匹配值进行对比，得到比对结果，其中，当所述匹配值不小于所述预设匹配值时，则确定所述节点信息对应的节点正常，当所述匹配值小于所述预设匹配值时，则确定所述节点信息对应的节点异常。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述多模态信息异常监控方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述多模态信息异常监控方法的步骤。

本发明实施例提供的多模态信息异常监控方法、装置、计算机设备及存储介质，通过基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息；对录音信息和录屏信息分别进行特征提取，得到录音信息对应的录音特征和录屏信息对应的录屏特征；将录音特征和录屏特征进行多模特征融合，得到多模特征；基于节点信息，对多模特征进行主题匹配度计算处理，得到匹配值；将匹配值与预设匹配值进行对比，得到比对结果，其中，当匹配值不小于预设匹配值时，则确定节点信息对应的节点正常，当匹配值小于预设匹配值时，则确定节点信息对应的节点异常。通过上述步骤，获取到不同节点对应的多模特征，通过将节点与该节点对应的多模特征进行主题匹配度计算，可快速确定该节点是否满足该节点对应的主题，从而提高异常监控准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中多模态信息异常监控方法的一应用环境示意图；

图2是本发明一实施例中多模态信息异常监控方法的一流程图；

图3是本发明一实施例中多模态信息异常监控装置的结构示意图；

图4是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的多模态信息异常监控方法，可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种多模态信息异常监控方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤S10至步骤S50：

S10、基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息。

在步骤S10中，上述信息异常监控策略是指获取相同时间对应的节点信息、录音信息和录屏信息，并对节点信息和录音信息和录屏信息进行异常监控的策略。

上述异常监控包括但不限于状态异常监控、主题异常监控。其中，状态异常监控是指对录音信息对应的录音状态信息和录屏信息对应的录屏状态信息进行异常监控的方式，主题异常监控是指从录音信息和录屏信息中提取的主题和节点信息对应的主题进行异常监控的方式。

上述节点信息包括但不限于节点类型，节点时间。上述录音信息是指在该节点时间中采集到的音频信息。上述录屏信息是指在该节点时间中采集到的视频信息。

应理解，针对不同应用场景，该节点信息、录音信息和录屏信息根据应用场景的变化而变化，为了便于理解，本发明实施例以保险应用场景进行说明。此处需要说明的是，本发明同样适用于需要进行异常监控的应用场景。

以保险应用场景为例，上述节点类型包括但不限于需求沟通节点、方案讲解节点、投保节点。上述录音信息是指保险代理人在跟客户进行沟通时，系统的音频获取的保险代理人与客户的音频信息。上述录屏信息是指保险代理人在跟客户进行沟通时，系统的视频获取的保险代理人与客户的视频信息。

通过获取与节点类型对应录音信息和录屏信息，利用录音信息和录屏信息对该节点进行状态异常监控和主题异常监控等异常监控，针对不同节点类型的节点进行相对应的异常监控，从而提高异常监控准确率。

在步骤S10之前，还包括如下步骤S101至步骤S103：

S101、获取录音状态信息和录屏状态信息。

S102、对录音状态信息和录屏状态信息进行异常识别，得到识别结果。

S103、当识别结果为录音状态信息和录屏状态信息中至少存在一处异常，则对识别为存在异常的录音状态信息和/或录屏状态信息进行调整处理，并返回获取录音状态信息和录屏状态信息的步骤继续执行，直到识别结果为录音状态信息和录屏状态信息均正常，进行录屏和录音。

对于步骤S101，上述录音状态信息包括但不限于音量信息、干扰指数信息。其中，音量信息是指当前系统的音量大小。干扰指数信息是指当前环境的噪声指数。

上述录屏状态信息包括但不限于代理人与客户的形体位置信息、头像角度信息、音量信息。其中，形体位置信息是指代理人和/或客户的上半身肢体的位置信息，通过对代理人和/或客户分别进行头、颈部、肩膀、上臂等特征点识别，得到至少一个形体特征，根据所有形体特征计算得到空间向量，并根据该空间向量对代理人和/或客户进行定位得到的形体位置信息。

通过获取录音状态信息和录屏状态信息，并对获取到的录音状态信息和录屏状态信息进行异常识别，评估当前音视频采集条件是否满足合规双录需求，如不满足，则实时提示调整至规范要求，直到识别结果为录音状态信息和录屏状态信息均正常，进行录屏和录音，提高了后续获取的录音信息和录屏信息的准确率。

S20、对录音信息和录屏信息分别进行特征提取，得到录音信息对应的录音特征和录屏信息对应的录屏特征。

在步骤S20中，上述录音特征包括但不限于声纹特征、语调特征、语义特征。

上述录屏特征包括但不限于人脸特征、肢体特征、情绪特征。

应理解，针对不同的特征采用不同的方式进行提取。例如，当提取情绪特征的方法包括但不限于基于CNN检测进行情绪分类，情感分析方法。

上述人脸特征提取的实现可为：对录屏信息进行人脸识别，得到至少两个人脸信息；基于预设的角色识别方式，对每一个人脸信息进行角色识别，得到每一个人脸信息对应的角色。

其中，上述人脸识别的方法包括但不限于mtcn识别方法、landmarks识别方法。获取人脸识别信息后，根据人脸识别信息对角色进行识别，该识别包括但不限于身份证照片核验等。

通过上述人脸识别，确认录屏信息中对应角色身份，例如，代理人、客户。通过提高了对角色识别的准确率，提高了后续获取的录音信息和录屏信息的准确率，提高了对节点进行异常识别的准确率。根据不同的识别准确率需求获取不同的特征，以提高对异常信息的识别准确率。

在步骤S20中，其具体包括如下步骤S201至步骤S205：

S201、对录音信息进行语音语义识别，得到语音信息和语义信息。

S202、对语音信息进行声纹特征提取，得到至少两个声纹特征。

S203、基于语音信息，将声纹特征与语义信息进行关联处理，确定每一个声纹特征对应语义信息。

S204、将声纹特征和声纹特征对应的语义信息作为录音特征。

S205、基于预设的特征范围，对录屏信息进行与特征范围相同的特征提取，得到录屏信息对应的录屏特征。

在步骤S201中，上述语音语义识别包括但不限于基于长短时记忆神经网络识别。其中，该基于长短时记忆神经网络识别的步骤为将录音信息输入长短时记忆神经网络模型中，基于该模型对录音信息进行语音提取，提取出语音特征，并对提取的语音特征进行合并处理，获得语音信息。对该语音信息进行语义提取，并将提取得到的结果作为语义信息。

在步骤S202中，上述声纹特征提取包括但不限于基于深度学习的声纹特征提取，其中，基于深度学习的声纹特征提取其具体是：基于训练好的深度学习网络创建声纹模型，基于该声纹模型提取语音信息中的多个语句特征，计算不同语句特征之间的相似度，将相似度符合预设范围内的语句特征进行汇总，得到声纹特征。

进一步，在步骤S202中，该方法还包括：

对语义信息进行违规词识别，得到识别结果；

若识别结果为语义信息存在违规词，则获取违规词对应的预警信息，并执行与预警信息对应的处理。

上述预警信息包括实时提醒、警告、终止流程，或者流程后通知。

上述违规词识别的方法包括基于长短时记忆神经网络识别违规词，比如在产品购买，代理人为客户填写完基本信息后，代理人再次向客户征询确认信息是否属实无误，是必须操作，如果代理人没有问询，则违反了信息异常监控策略，在系统识别到代理人跳过该步骤准备提交订单时，系统识别到该主题“信息确认”，处罚规则根据当时的场景“即将提交”，则输出策略为“警告提示”。根据不同场景，输出不同的策略，包括引导、警告、拒绝。

通过对语义信息进行违规词识别，能有效识别出违规词，从而针对不同违规词，获取不同预警信息，并执行与预警信息对应的处理，减少异常的发生率。

在步骤S203中，上述关联处理是指将声纹特征和语义信息进行映射处理，得到每一个声纹特征和语义信息的映射关系，从而将声纹特征与语义信息进行关联的处理。

在步骤S205中，上述预设的特征范围包括但不限于人脸特征、肢体特征、情绪特征。应理解，上述预设的特征范围可包括一种特征或多种特征。

通过对录音信息进行语音语义识别和基于预设的特征范围提取录屏特征，能有效获取录音特征和录屏特征，有利于后续对录音特征和录屏特征进行信息异常监控，从而提高异常监控的准确率。

S30、将录音特征和录屏特征进行多模特征融合，得到多模特征。

在步骤S30中，上述多模特征融合是指根据预设的融合顺序将录音特征和录屏特征进行融合处理得到多模特征的过程。

其中，预设的融合顺序包括但不限于录音特征和录屏特征，录屏特征和录音特征，以及录音特征内部特征的顺序变化、录屏特征内部特征的顺序变化。

通过获取多个特征，并将多个特征进行多模特征融合，得到多模特征，针对多模特征进行监控，有利于提高异常监控的识别准确率。

S40、基于节点信息，对多模特征进行主题匹配度计算处理，得到匹配值。

在步骤S40中，上述主题匹配度计算处理的实现方式包括但不限于主题匹配树、主题匹配模型。

优选地，此处采用主题匹配树。

当主题匹配度计算采用主题匹配树时，在步骤S40中，其具体是：

基于节点信息，获取与节点信息相匹配的多模态匹配树；

将多模特征输入多模态匹配树中进行主题匹配度计算，得到匹配值。

其中，对于上述多模态匹配树为基于信息异常监控策略中的多个节点信息，分类为多个节点，如信息确认、健康问询、条款解答等。系统在运行过程中，通过多模态场景特征参数查询与不同节点的匹配程度，从而获得一个计算出来的当前主题，以及当前主题的匹配程度。基于上述主题训练得到一个多模态匹配树，该多模态匹配树用于查询，针对多模态特征进行训练分类。

通过上述步骤，计算得到匹配值，针对匹配值进行监控，有利于提高异常监控的识别准确率。

S50、将匹配值与预设匹配值进行对比，得到比对结果，其中，当匹配值不小于预设匹配值时，则确定节点信息对应的节点正常，当匹配值小于预设匹配值时，则确定节点信息对应的节点异常。

在步骤S50中，上述比对结果包括节点信息对应的节点正常、节点信息对应的节点异常。

例如，当匹配值为0.6、预设匹配值为0.7时，由于匹配值0.6小于预设匹配值0.7，则比对结果为节点信息对应的节点异常。

通过对比匹配值和预设匹配值，能快速确定比对结果，从而提高异常监控的识别效率，由于匹配值由多个特征融合计算得到，能有效提高异常监控的识别准确率。

在步骤S50之后，该方法还包括：

获取节点信息对应的匹配值和预警信息；

基于迭代算法，对匹配值和预警信息进行迭代处理，并根据处理得到的结果更新信息异常监控策略。

其中，在获取节点信息对应的匹配值和预警信息的同时，可获取用户对该节点信息对应的过程的评分。例如代理人/客户对系统的评分。

上述迭代算法包括但不限于优化迭代算法。例如，根据用户对该节点信息对应的过程的评分、匹配值和预警信息，获取到该节点信息有关的录屏信息和录音信息，对该录屏信息和录音信息进行参数调整，以使得优化系统对信息异常监控的准确率。

本发明实施例提供的多模态信息异常监控方法，通过基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息；对录音信息和录屏信息分别进行特征提取，得到录音信息对应的录音特征和录屏信息对应的录屏特征；将录音特征和录屏特征进行多模特征融合，得到多模特征；基于节点信息，对多模特征进行主题匹配度计算处理，得到匹配值；将匹配值与预设匹配值进行对比，得到比对结果，其中，当匹配值不小于预设匹配值时，则确定节点信息对应的节点正常，当匹配值小于预设匹配值时，则确定节点信息对应的节点异常。通过上述步骤，获取到不同节点对应的多模特征，通过将节点与该节点对应的多模特征进行主题匹配度计算，可快速确定该节点是否满足该节点对应的主题，从而提高异常监控准确率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种多模态信息异常监控装置，该多模态信息异常监控装置与上述实施例中多模态信息异常监控方法一一对应。如图3所示，该多模态信息异常监控装置包括信息获取模块11、特征提取模块12、多模融合模块13、匹配值获取模块14和对比模块15。各功能模块详细说明如下：

信息获取模块11，用于基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息。

特征提取模块12，用于对录音信息和录屏信息分别进行特征提取，得到录音信息对应的录音特征和录屏信息对应的录屏特征。

多模融合模块13，用于将录音特征和录屏特征进行多模特征融合，得到多模特征。

匹配值获取模块14，用于基于节点信息，对多模特征进行主题匹配度计算处理，得到匹配值。

对比模块15，用于将匹配值与预设匹配值进行对比，得到比对结果，其中，当匹配值不小于预设匹配值时，则确定节点信息对应的节点正常，当匹配值小于预设匹配值时，则确定节点信息对应的节点异常。

在其中一个实施例中，在信息获取模块11之前，多模态信息异常监控装置还包括：

状态信息获取模块，用于获取录音状态信息和录屏状态信息。

异常识别模块，用于对录音状态信息和录屏状态信息进行异常识别，得到识别结果。

循环模块，用于当识别结果为录音状态信息和录屏状态信息中至少存在一处异常，则对识别为存在异常的录音状态信息和/或录屏状态信息进行调整处理，并返回获取录音状态信息和录屏状态信息的步骤继续执行，直到识别结果为录音状态信息和录屏状态信息均正常，进行录屏和录音。

在其中一个实施例中，在特征提取模块12之前，多模态信息异常监控装置还包括：

人脸信息获取模块，用于对录屏信息进行人脸识别，得到至少两个人脸信息。

角色识别模块，用于基于预设的角色识别方式，对每一个人脸信息进行角色识别，得到每一个人脸信息对应的角色。

在其中一个实施例中，特征提取模块12进一步包括：

语音语义识别单元，用于对录音信息进行语音语义识别，得到语音信息和语义信息。

声纹特征获取单元，用于对语音信息进行声纹特征提取，得到至少两个声纹特征。

关联单元，用于基于语音信息，将声纹特征与语义信息进行关联处理，确定每一个声纹特征对应语义信息。

录音特征获取单元，用于将声纹特征和声纹特征对应的语义信息作为录音特征。

录屏特征获取单元，用于基于预设的特征范围，对录屏信息进行与特征范围相同的特征提取，得到录屏信息对应的录屏特征。

在其中一个实施例中，在声纹特征获取单元之前，特征提取模块12进一步包括：

违规词识别单元，用于对语义信息进行违规词识别，得到识别结果。

预警处理单元，用于若识别结果为语义信息存在违规词，则获取违规词对应的预警信息，并执行与预警信息对应的处理。

在其中一个实施例中，匹配值获取模块14进一步包括：

多模态匹配树获取单元，用于基于节点信息，获取与节点信息相匹配的多模态匹配树。

匹配计算单元，用于将多模特征输入多模态匹配树中进行主题匹配度计算，得到匹配值。

在其中一个实施例中，在对比模块15之后，多模态信息异常监控装置还包括：

节点信息获取单元，用于获取节点信息对应的匹配值和预警信息。

迭代单元，用于基于迭代算法，对匹配值和预警信息进行迭代处理，并根据处理得到的结果更新信息异常监控策略。

其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。

关于多模态信息异常监控装置的具体限定可以参见上文中对于多模态信息异常监控方法的限定，在此不再赘述。上述多模态信息异常监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多模态信息异常监控方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多模态信息异常监控方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中多模态信息异常监控方法的步骤，例如图2所示的步骤S10至步骤S50及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中多模态信息异常监控装置的各模块/单元的功能，例如图3所示模块11至模块15的功能。为避免重复，这里不再赘述。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。

所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中多模态信息异常监控方法的步骤，例如图2所示的步骤S10至步骤S50及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中多模态信息异常监控装置的各模块/单元的功能，例如图3所示模块11至模块15的功能。为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多模态信息异常监控方法，其特征在于，包括：

基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息；

对所述录音信息和所述录屏信息分别进行特征提取，得到所述录音信息对应的录音特征和所述录屏信息对应的录屏特征；

将所述录音特征和所述录屏特征进行多模特征融合，得到多模特征；

基于所述节点信息，对所述多模特征进行主题匹配度计算处理，得到匹配值；

将所述匹配值与预设匹配值进行对比，得到比对结果，其中，当所述匹配值不小于所述预设匹配值时，则确定所述节点信息对应的节点正常，当所述匹配值小于所述预设匹配值时，则确定所述节点信息对应的节点异常。

2.根据权利要求1所述的方法，其特征在于，在所述获取相同时间的节点信息、录音信息和录屏信息之前，所述方法还包括：

获取录音状态信息和录屏状态信息；

对所述录音状态信息和所述录屏状态信息进行异常识别，得到识别结果；

当所述识别结果为所述录音状态信息和所述录屏状态信息中至少存在一处异常，则对识别为存在异常的所述录音状态信息和/或所述录屏状态信息进行调整处理，并返回所述获取录音状态信息和录屏状态信息的步骤继续执行，直到所述识别结果为所述录音状态信息和所述录屏状态信息均正常，进行录屏和录音。

3.根据权利要求1所述的方法，其特征在于，在所述对所述录音信息和所述录屏信息分别进行特征提取，得到所述录音信息对应的录音特征和所述录屏信息对应的录屏特征之前，所述方法还包括：

对所述录屏信息进行人脸识别，得到至少两个人脸信息；

基于预设的角色识别方式，对每一个所述人脸信息进行角色识别，得到每一个所述人脸信息对应的角色。

4.根据权利要求1所述的方法，其特征在于，所述对所述录音信息和所述录屏信息分别进行特征提取，得到所述录音信息对应的录音特征和所述录屏信息对应的录屏特征包括：

对所述录音信息进行语音语义识别，得到语音信息和语义信息；

对所述语音信息进行声纹特征提取，得到至少两个声纹特征；

基于所述语音信息，将所述声纹特征与所述语义信息进行关联处理，确定每一个所述声纹特征对应语义信息；

将所述声纹特征和所述声纹特征对应的语义信息作为录音特征；

基于预设的特征范围，对所述录屏信息进行与所述特征范围相同的特征提取，得到所述录屏信息对应的录屏特征。

5.根据权利要求4所述的方法，其特征在于，在所述对所述语音信息进行声纹特征提取，得到至少两个声纹特征之前，所述方法还包括：

对所述语义信息进行违规词识别，得到识别结果；

若所述识别结果为所述语义信息存在违规词，则获取所述违规词对应的预警信息，并执行与所述预警信息对应的处理。

6.根据权利要求1所述的方法，其特征在于，所述基于所述节点信息，对所述多模特征进行主题匹配度计算处理，得到匹配值的步骤包括：

基于所述节点信息，获取与所述节点信息相匹配的多模态匹配树；

将所述多模特征输入所述多模态匹配树中进行主题匹配度计算，得到匹配值。

7.根据权利要求1所述的方法，其特征在于，在所述将所述匹配值与预设匹配值进行对比，得到比对结果之后，所述方法还包括：

获取所述节点信息对应的匹配值和预警信息；

基于迭代算法，对所述匹配值和所述预警信息进行迭代处理，并根据处理得到的结果更新所述信息异常监控策略。

8.一种多模态信息异常监控装置，其特征在于，包括：

信息获取模块，用于基于信息异常监控策略，获取相同时间的节点信息、录音信息和录屏信息；

特征提取模块，用于对所述录音信息和所述录屏信息分别进行特征提取，得到所述录音信息对应的录音特征和所述录屏信息对应的录屏特征；

多模融合模块，用于将所述录音特征和所述录屏特征进行多模特征融合，得到多模特征；

匹配值获取模块，用于基于所述节点信息，对所述多模特征进行主题匹配度计算处理，得到匹配值；

对比模块，用于将所述匹配值与预设匹配值进行对比，得到比对结果，其中，当所述匹配值不小于所述预设匹配值时，则确定所述节点信息对应的节点正常，当所述匹配值小于所述预设匹配值时，则确定所述节点信息对应的节点异常。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述多模态信息异常监控方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述多模态信息异常监控方法的步骤。

Images