CN115393932A - 基于微表情的视频面签处理方法、装置、系统及存储介质 - Google Patents

Abstract

本发明公开了基于微表情的视频面签处理方法、装置、系统及存储介质，方法包括：当用户终端与坐席终端建立视频连接后，接收所述用户终端采集的用户的视频流；对所述视频流中的帧图像进行微表情识别；根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息，以使得所述坐席终端在视频面签页面渲染展示相应的用户情绪状态。通过在用户视频面签过程中对采集到的视频流进行微表情识别，并且在坐席终端的视频面签页面渲染展示与微表情相对应的情绪状态，使得坐席可高效直观地获知用户在面签过程中的情绪波动，以便及时沟通策略，避免因设备性能或网络稳定性等因素对视频面签的沟通顺畅性带来的不便，提高视频面签的效率和准确性。

Description

基于微表情的视频面签处理方法、装置、系统及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及基于微表情的视频面签处理方法、装置、系统及存储介质。

背景技术

远程视频面签即以音视频通话的方式，由后台坐席人员对用户身份核实、业务事项核对、资料签署、场景见证等进行在线面签操作的全新模式，远程视频面签因其简便性对业务量的提升有明显的助力效果，目前在金融科技领域被广泛应用于身份认证、理财购买、客服咨询、保险理赔等场景中。

然而，在面签过程中，由于设备性能或网络稳定性等因素，容易发生视频模糊或者声音失真等情况，使得坐席难以直观准确的捕捉用户的情绪波动，对坐席与用户之间的顺畅沟通带来不便，影响视频面签效率。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供可应用于金融科技或其它相关领域的基于微表情的视频面签处理方法、装置、系统及存储介质，旨在实现直观准确的情绪反馈，提高视频面签效率。

本发明的技术方案如下：

一种基于微表情的视频面签处理方法，包括：

当用户终端与坐席终端建立视频连接后，接收所述用户终端采集的用户的视频流；

对所述视频流中的帧图像进行微表情识别；

根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息，以使得所述坐席终端在视频面签页面渲染展示相应的用户情绪状态。

在一个实施例中，所述对所述视频流中的帧图像进行微表情识别，包括：

解析获取所述视频流中包含人脸区域的关键帧图像；

对所述关键帧图像进行微表情识别。

在一个实施例中，所述对所述关键帧图像进行微表情识别，具体包括：

将所述关键帧图像逐帧输入至预先训练完成的微表情识别模型中，输出微表情识别结果。

在一个实施例中，所述根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息，包括：

分析获取所述微表情识别结果中每个微表情对应的情绪类型；

确认所述情绪类型中是否存在负面情绪，若是，则向坐席终端发送负面情绪提示。

在一个实施例中，所述对所述视频流中的帧图像进行微表情识别之后，所述方法还包括：

根据所述情绪类型匹配相应的话术提示信息；

向所述坐席终端发送所述话术提示信息。

在一个实施例中，所述根据所述情绪类型在预设的话术映射策略中匹配相应的话术提示信息之前，所述方法还包括：

确认是否连续若干个微表情均为相同的情绪类型。

在一个实施例中，所述根据所述情绪类型匹配相应的话术提示信息，具体包括：

根据所述情绪类型在预设的话术映射策略中匹配相应的话术提示信息。

一种基于微表情的视频面签处理装置，包括：

接收模块，用于当用户终端与坐席终端建立视频连接后，接收所述用户终端采集的用户的视频流；

识别模块，用于对所述视频流中的帧图像进行微表情识别；

发送模块，用于根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息，以使得所述坐席终端在视频面签页面渲染展示相应的用户情绪状态。

一种基于微表情的视频面签处理系统，所述系统包括至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于微表情的视频面签处理方法。

一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于微表情的视频面签处理方法。

有益效果：本发明公开了基于微表情的视频面签处理方法、装置、系统及存储介质，相比于现有技术，本发明实施例通过在用户视频面签过程中对采集到的视频流进行微表情识别，并且在坐席终端的视频面签页面渲染展示与微表情相对应的情绪状态，使得坐席可高效直观地获知用户在面签过程中的情绪波动，以便及时沟通策略，避免因设备性能或网络稳定性等因素对视频面签的沟通顺畅性带来的不便，提高视频面签的效率和准确性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明实施例提供的基于微表情的视频面签处理方法的一个流程图；

图2为本发明实施例提供的基于微表情的视频面签处理方法中步骤S200的一个流程图；

图3为本发明实施例提供的基于微表情的视频面签处理方法中步骤S300的一个流程图；

图4为本发明实施例提供的基于微表情的视频面签处理方法的另一个流程图；

图5为本发明实施例提供的基于微表情的视频面签处理装置的功能模块示意图；

图6为本发明实施例提供的基于微表情的视频面签处理系统的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下结合附图对本发明实施例进行介绍。

请参阅图1，图1为本发明提供的基于微表情的视频面签处理方法一个实施例的流程图。本实施例提供的视频面签处理方法适用于对视频面签中用户的情绪信息进行直观反馈的情况，具体应用于包括终端设备、网络和服务器构成的系统，其中网络为用于在终端设备和服务器直接提供通信链路的介质，其可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等；终端设备上的操作系统可以包括手持设备操作系统(iPhoneoperating system，iOS系统)、安卓系统或其他操作系统，终端设备通过网络连接到服务器以实现交互，从而进行接收或发送数据等操作，具体可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式服务器等等。如图1所示，该方法具体包括如下步骤：

S100、当用户终端与坐席终端建立视频连接后，接收所述用户终端采集的用户的视频流。

本实施例中，在用户进行视频面签时，通过用户终端与坐席终端之间建立远程视频连接，以进行线上面签沟通，该用户终端可以时智能手机、平板、笔记本电脑或者其它具有视频功能的设备，在建立视频连接后即通过用户终端采集用户的视频流，并将采集到的视频流发送给服务器进行进一步的分析处理，以实现更加丰富的图像处理功能，避免因画面模糊、网络卡顿等因素给坐席在面签过程中的沟通判断带来不便。

具体地，可每隔预设周期接收用户终端采集的用户的视频流，即预先设置一视频流采集周期，例如每1分钟、2分钟或5分钟等等，使得用户终端每隔预设周期则采集并发送一次用户的视频流，实现面签过程中持续的视频流采集与后续的微表情识别处理，具体可根据实际需求灵活设置，本实施例对此不作限定。

S200、对所述视频流中的帧图像进行微表情识别。

在接收到视频面签过程中的用户的视频流后，则对视频流中包含的帧图像进行微表情识别，微表情可以反映人们最真实的情绪状态，因此，微表情在情感识别任务中具有较高的可信度和潜在的应用价值，本实施例可以通过微表情识别算法对视频流中的帧图像进行微表情识别，以准确识别用户在视频面签过程终端情绪状态、情绪波动等，为视频面签提供直观可靠的情绪分析建议，具体的微表情识别算法可根据实际需求选择现有识别算法，本实施例对此不作限定。

在一个实施例中，请参阅图2，其为本发明实施例提供的基于微表情的视频面签处理方法中步骤S200的流程图，如图2所示，步骤S200包括：

S201、解析获取所述视频流中包含人脸区域的关键帧图像；

S202、对所述关键帧图像进行微表情识别。

本实施例中，在对视频流进行微表情识别时，由于视频流中包含数量较多的帧图像，为提高识别效率，本实施例先解析获取视频流中包含人脸区域的关键帧图像，即从全部帧图像中提取包含了人脸区域的关键帧图像，而忽略其它不包含人脸区域的图像，仅针对关键帧图像进行微表情识别，避免无效的识别处理浪费功耗，提高识别效率。

在一个实施例中，步骤S202具体包括：

将所述关键帧图像逐帧输入至预先训练完成的微表情识别模型中，输出微表情识别结果。

本实施例中，通过预先训练完成的微表情识别模型来对关键帧图像进行识别处理，将提取得到的关键帧图像逐帧输入至微表情识别模型中，得到每帧关键帧图像的微表情识别结果，实现端到端的微表情识别，以便对视频流中用户的情绪状态及波动变化进行准确且高效的识别反馈，具体的微表情识别模块可采用现有的例如Affectiva微表情识别模型，当然也可根据需求构建相应的神经网络模型，并通过获取历史用户的微表情作为样本数据集对神经网络模型进行深度学习训练，对模型参数进行优化，在训练完成即模型的识别准确率满足预设要求后即可得到微表情识别模型，本实施例对此不作限定。

S300、根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息，以使得所述坐席终端在视频面签页面渲染展示相应的用户情绪状态。

在对视频流进行了微表情识别后，基于得到的微表情识别结果，即视频流中识别到的各个微表情进行情绪分析，由于不同的微表情能真实体现用户的情绪状态，因此通过微表情识别可得到真实可靠的情绪分析结果，并且向坐席终端发送相应的情绪提示信息，使得坐席终端可根据接收到的情绪提示信息在视频面签页面渲染展示相应的用户情绪状态，具体在坐席终端上可通过情绪表情图等直观的方式展示用户的情绪状态，令坐席能快速获知用户的情绪，以便灵活调整沟通话术与策略，提高视频面签时沟通顺畅性，提高面签效率。

在一个实施例中，请参阅图3，其为本发明实施例提供的基于微表情的视频面签处理方法中步骤S300的流程图，如图3所示，步骤S300包括：

S301、分析获取所述微表情识别结果中每个微表情对应的情绪类型；

S302、确认所述情绪类型中是否存在负面情绪，若是，则向坐席终端发送负面情绪提示。

本实施例中，在向坐席反馈用户的情绪状态时，先分析微表情识别结果中每个微表情所对应的情绪类型，例如不同的微表情可对应例如惊讶、生气、厌恶、高兴等等情绪类型，先获取视频流中所包括的全部情绪类型，之后确认是否存在负面情绪，即在该段视频流中用户出现了负面情绪，具体的负面情绪可预设包括焦虑、紧张、愤怒、沮丧、悲伤、痛苦等情绪类型，若存在，则及时向坐席终端发送负面情绪提示，以提示坐席在刚刚的视频流采集周期中用户出现了负面情绪，并将具体的情绪类型渲染在坐席终端的面签页面上。本实施例中通过识别每个微表情所对应的情绪类型，仅在用户出现负面情绪时才发送情绪提示，避免过多的情绪反馈对坐席造成干扰，也避免坐席忽视了用户的负面情绪对面签沟通造成的影响。

在一个实施例中，请参阅图4，其为本发明实施例提供的基于微表情的视频面签处理方法的另一个流程图，如图4所示，步骤S300之后，方法还包括：

S400、根据所述情绪类型匹配相应的话术提示信息；

S500、向所述坐席终端发送所述话术提示信息。

本实施例中，根据情绪分析所得到的各个微表情所对应的情绪类型后，可自动匹配相应的话术提示信息发送给坐席终端，具体地，根据情绪类型在预设的话术映射策略中匹配相应的话术提示信息，即根据不同类型的情绪例如焦虑、紧张、愤怒、等等均预先设置相应的沟通话术生成话术映射策略，在识别分析到用户的情绪类型后，则直接在话术映射策略中对应调取相应的沟通话术发送给坐席，使得坐席终端不仅能通过情绪提示信息主观调整沟通话术与策略，还可以基于客观匹配所得到的话术提示信息来调整沟通话术，为其在面签过程中的话术调整提供准确且匹配度高的话术建议，避免单一的主观话术选择对用户情绪的安抚调整效果不佳。

在一个实施例中，步骤S400之前，方法还包括：

确认是否连续若干个微表情均为相同的情绪类型。

本实施例中，在自动匹配并发送话术提示信息之前，先确认视频流中包含的全部微表情中，是否连续若干个微表情均属于相同的情绪类型，例如连续两个或两个以上的微表情均为生气的情绪，避免微表情识别错误或者用户自行调整了情绪等等因素所造成的话术匹配不准确，提高话术匹配提示的准确性和有效性。

本发明另一实施例提供一种基于微表情的视频面签处理装置，如图5所示，装置1包括：

接收模块11，用于当用户终端与坐席终端建立视频连接后，接收所述用户终端采集的用户的视频流；

识别模块12，用于对所述视频流中的帧图像进行微表情识别；

发送模块13，用于根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息，以使得所述坐席终端在视频面签页面渲染展示相应的用户情绪状态。

接收模块11、识别模块12和发送模块13依次连接，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述基于微表情的视频面签处理的执行过程，各模块的具体实施方式请参考上述对应的方法实施例，此处不再赘述。

在一个实施例中，所述识别模块12，包括：

解析单元，用于解析获取所述视频流中包含人脸区域的关键帧图像；

识别单元，用于对所述关键帧图像进行微表情识别。

在一个实施例中，所述识别单元，具体用于：

将所述关键帧图像逐帧输入至预先训练完成的微表情识别模型中，输出微表情识别结果。

在一个实施例中，所述发送模块13，包括：

分析单元，用于分析获取所述微表情识别结果中每个微表情对应的情绪类型；

发送单元，用于确认所述情绪类型中是否存在负面情绪，若是，则向坐席终端发送负面情绪提示。

在一个实施例中，所述装置1还包括：

匹配模块，用于根据所述情绪类型匹配相应的话术提示信息；

话术发送模块，用于向所述坐席终端发送所述话术提示信息。

在一个实施例中，所述装置1还包括：

类型确认模块，用于确认是否连续若干个微表情均为相同的情绪类型。

在一个实施例中，所述匹配模块，具体用于：

根据所述情绪类型在预设的话术映射策略中匹配相应的话术提示信息。

本发明另一实施例提供一种基于微表情的视频面签处理系统，如图6所示，系统10包括：

一个或多个处理器110以及存储器120，图6中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图6中以通过总线连接为例。

处理器110用于完成系统10的各种控制逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(Acorn RISCMachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。

存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于微表情的视频面签处理方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行系统10的各种功能应用以及数据处理，即实现上述方法实施例中的基于微表情的视频面签处理方法。

存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据系统10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至系统10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，实现以下步骤：

当用户终端与坐席终端建立视频连接后，接收所述用户终端采集的用户的视频流；

对所述视频流中的帧图像进行微表情识别；

根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息，以使得所述坐席终端在视频面签页面渲染展示相应的用户情绪状态。

在一个实施例中，所述对所述视频流中的帧图像进行微表情识别，包括：

解析获取所述视频流中包含人脸区域的关键帧图像；

对所述关键帧图像进行微表情识别。

在一个实施例中，所述对所述关键帧图像进行微表情识别，具体包括：

将所述关键帧图像逐帧输入至预先训练完成的微表情识别模型中，输出微表情识别结果。

在一个实施例中，所述根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息，包括：

分析获取所述微表情识别结果中每个微表情对应的情绪类型；

确认所述情绪类型中是否存在负面情绪，若是，则向坐席终端发送负面情绪提示。

在一个实施例中，所述对所述视频流中的帧图像进行微表情识别之后，所述方法还包括：

根据所述情绪类型匹配相应的话术提示信息；

向所述坐席终端发送所述话术提示信息。

在一个实施例中，所述根据所述情绪类型在预设的话术映射策略中匹配相应的话术提示信息之前，所述方法还包括：

确认是否连续若干个微表情均为相同的情绪类型。

在一个实施例中，所述根据所述情绪类型匹配相应的话术提示信息，具体包括：

根据所述情绪类型在预设的话术映射策略中匹配相应的话术提示信息。

本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤S100至步骤S300。

作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(RAM)。通过说明而非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。

综上，本发明公开的基于微表情的视频面签处理方法、装置、系统及存储介质中，方法通过当用户终端与坐席终端建立视频连接后，接收所述用户终端采集的用户的视频流；对所述视频流中的帧图像进行微表情识别；根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息，以使得所述坐席终端在视频面签页面渲染展示相应的用户情绪状态。通过在用户视频面签过程中对采集到的视频流进行微表情识别，并且在坐席终端的视频面签页面渲染展示与微表情相对应的情绪状态，使得坐席可高效直观地获知用户在面签过程中的情绪波动，以便及时沟通策略，避免因设备性能或网络稳定性等因素对视频面签的沟通顺畅性带来的不便，提高视频面签的效率和准确性。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的计算机程序可存储于一非易失性计算机可读取的存储介质中，该计算机程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、软盘、闪存、光存储器等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于微表情的视频面签处理方法，其特征在于，包括：

当用户终端与坐席终端建立视频连接后，接收所述用户终端采集的用户的视频流；

对所述视频流中的帧图像进行微表情识别；

根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息，以使得所述坐席终端在视频面签页面渲染展示相应的用户情绪状态。

2.根据权利要求1所述的基于微表情的视频面签处理方法，其特征在于，所述对所述视频流中的帧图像进行微表情识别，包括：

解析获取所述视频流中包含人脸区域的关键帧图像；

对所述关键帧图像进行微表情识别。

3.根据权利要求2所述的基于微表情的视频面签处理方法，其特征在于，所述对所述关键帧图像进行微表情识别，具体包括：

将所述关键帧图像逐帧输入至预先训练完成的微表情识别模型中，输出微表情识别结果。

4.根据权利要求1所述的基于微表情的视频面签处理方法，其特征在于，所述根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息，包括：

分析获取所述微表情识别结果中每个微表情对应的情绪类型；

确认所述情绪类型中是否存在负面情绪，若是，则向坐席终端发送负面情绪提示。

5.根据权利要求4所述的基于微表情的视频面签处理方法，其特征在于，所述根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息之后，所述方法还包括：

根据所述情绪类型匹配相应的话术提示信息；

向所述坐席终端发送所述话术提示信息。

6.根据权利要求5所述的基于微表情的视频面签处理方法，其特征在于，所述根据所述情绪类型匹配相应的话术提示信息之前，所述方法还包括：

确认是否连续若干个微表情均为相同的情绪类型。

7.根据权利要求5所述的基于微表情的视频面签处理方法，其特征在于，所述根据所述情绪类型匹配相应的话术提示信息，具体包括：

根据所述情绪类型在预设的话术映射策略中匹配相应的话术提示信息。

8.一种基于微表情的视频面签处理装置，其特征在于，包括：

接收模块，用于当用户终端与坐席终端建立视频连接后，接收所述用户终端采集的用户的视频流；

识别模块，用于对所述视频流中的帧图像进行微表情识别；

发送模块，用于根据微表情识别结果进行情绪分析，并向所述坐席终端发送情绪提示信息，以使得所述坐席终端在视频面签页面渲染展示相应的用户情绪状态。

9.一种基于微表情的视频面签处理系统，其特征在于，所述系统包括至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的基于微表情的视频面签处理方法。

10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-7任一项所述的基于微表情的视频面签处理方法。

Images