CN118097752A - 业务数据处理方法及装置 - Google Patents

Abstract

本说明书涉及人工智能技术领域，具体地公开了一种业务数据处理方法及装置，其中，该方法包括：获取目标业务操作数据；目标业务操作数据包括用户执行目标业务操作过程中的用户动态视频数据；所述用户动态视频数据是在用户知情同意的情况下采集的；从所述用户动态视频数据中截取多个图像帧，得到多个用户图像；对所述多个用户图像进行预处理；将预处理后的多个用户图像中各用户图像输入至情绪识别模型，得到所述各用户图像对应的情绪类别；根据所述各用户图像对应的情绪类别，确定所述目标业务操作的风险类型。上述方案可以对用户在办理电子金融业务时的场景进行分析，可以提高对异常交易的识别率，进而提高业务操作的安全性，保护用户财产安全。

Description

业务数据处理方法及装置

技术领域

本说明书涉及人工智能技术领域，特别涉及一种业务数据处理方法及装置。

背景技术

在互联网和计算机技术飞速发展的当下，许多传统实体行业都在向电子化的方向发展。银行的业务也已经步入大数据竞争的时代，而电子金融业务占据了时代的潮流。相较于传统银行业务，如到线下网点进行转账、存取现金等操作，人们更喜欢自助化、随时随地这种方便快捷的金融业务方式。因此，网上银行、手机银行、自助提取款机等新的银行业务渠道逐渐诞生。在电子金融业务发展的同时，互联网犯罪也在发展。现在互联网上的各类账户大多依靠手机号码作为注册标识，当用户的手机同时注册了金融类账户和其他账户的时候，一旦发生信息泄露的情况，犯罪分子就极易通过金融支付账户盗取用户资金或诱骗、胁迫用户进行转账、贷款等。

目前，人脸识别技术已经广泛应用于社会生产、生活领域。人脸识别技术作为一种生物识别技术，可以自动识别人的身份，减少人力参与，可以实现互联网时代电子金融业务对用户身份识别的需求。但是，目前人脸识别技术仅用来验证操作者是否为用户本人，对上文中的欺诈、胁迫等场景适用度相对较低。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本说明书实施例提供了一种业务数据处理方法及装置，以解决现有技术中金融交易风险的识别不够准确的问题。

本说明书实施例提供了一种业务数据处理方法，包括：

获取目标业务操作数据；所述目标业务操作数据包括用户执行目标业务操作过程中的用户动态视频数据；所述用户动态视频数据是在用户知情同意的情况下采集的；

从所述用户动态视频数据中截取多个图像帧，得到多个用户图像；对所述多个用户图像进行预处理；

将预处理后的多个用户图像中各用户图像输入至情绪识别模型，得到所述各用户图像对应的情绪类别；

根据所述各用户图像对应的情绪类别，确定所述目标业务操作的风险类型。

在一个实施例中，对所述多个用户图像进行预处理，包括：

将所述多个用户图像中各用户图像转化为灰度图像；

对所述各用户图像对应的灰度图像进行滤波和对比增强，并进行灰度范围归一化，得到预处理后的各用户图像。

在一个实施例中，所述情绪识别模型是通过以下方式构建的：

获取训练样本集，所述训练样本集中包括图像集和标签集；所述标签集中包括所述图像集中各图像对应的情绪标签；

利用所述训练样本集对预设卷积神经网络进行训练，得到情绪识别模型。

在一个实施例中，所述情绪识别模型是基于ConvNext的卷积神经网络。

在一个实施例中，所述情绪识别模型采用ReLu激活函数。

在一个实施例中，所述情绪类别包括多种情绪类别；

根据所述各用户图像对应的情绪类别，确定所述目标业务操作的风险类型，包括：

根据所述各用户图像对应的情绪类别对所述多个用户图像进行聚类，得到多个情绪类别集合；

根据所述多个情绪类别集合中各情绪类别集合中的用户图像的数量，确定所述目标业务操作的风险类型。

在一个实施例中，所述多个情绪类别集合至少包括：第一情绪类别集合、第二情绪类别集合和第三情绪类别集合；

相应的，根据所述多个情绪类别集合中各情绪类别集合中的用户图像的数量，确定所述目标业务操作的风险类型，包括：

在所述第一情绪类别集合中的用户图像的数量最大的情况下，确定所述目标业务操作的风险类型为第一风险类型；

在所述第二情绪类别集合中的用户图像的数量最大的情况下，确定所述目标业务操作的风险类型为第二风险类型。

在一个实施例中，所述方法还包括：

在所述第三情绪类别集合中的用户图像的数量最大的情况下，确定所述第一情绪类别集合中的用户图像的数量是否大于第一预设阈值；

在所述第一情绪类别集合中的用户图像的数量大于第一预设阈值的情况下，确定所述目标业务操作的风险类型为第一风险类型。

在一个实施例中，所述方法还包括：

在所述第一情绪类别集合中的用户图像的数量不大于第一预设阈值的情况下，确定所述第二情绪类别集合中的用户图像的数量是否大于第二预设阈值；

在所述第二情绪类别集合中的用户图像的数量大于第二预设阈值的情况下，确定所述目标业务操作的风险类型为第二风险类型；

在所述第二情绪类别集合中的用户图像的数量不大于第二预设阈值的情况下，确定所述目标业务操作的风险类型为第三风险类型。

本说明书实施例还提供了一种业务数据处理装置，包括：

获取模块，用于获取目标业务操作数据；所述目标业务操作数据包括用户执行目标业务操作过程中的用户动态视频数据；所述用户动态视频数据是在用户知情同意的情况下采集的；

预处理模块，用于从所述用户动态视频数据中截取多个图像帧，得到多个用户图像；还用于对所述多个用户图像进行预处理；

识别模块，用于将预处理后的多个用户图像中各用户图像输入至情绪识别模型，得到所述各用户图像对应的情绪类别；

确定模块，用于根据所述各用户图像对应的情绪类别，确定所述目标业务操作的风险类型。

本说明书实施例还提供一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述任意实施例中所述的业务数据处理方法的步骤。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意实施例中所述的业务数据处理方法的步骤。

在本说明书实施例中，提供了一种业务数据处理方法，可以获取目标业务操作数据，目标业务操作数据中包括在用户知情同意的情况下采集的用户执行目标业务操作过程中的用户动态视频数据，可以从所述用户动态视频数据中截取多个图像帧，得到多个用户图像，对所述多个用户图像进行预处理，将预处理后的多个用户图像中各用户图像输入至情绪识别模型，得到所述各用户图像对应的情绪类别，根据所述各用户图像对应的情绪类别，确定所述目标业务操作的风险类型。上述方案中，可以根据用户执行目标业务操作过程中的用户动态视频数据，确定用户执行目标业务操作过程中的情绪类型，进而根据情绪类型确定目标业务操作的风险类型，可以在人脸识别技术的基础上添加了情绪识别机制，对用户在办理电子金融业务时的场景进行分析，可以提高对异常交易的识别率，进而提高业务操作的安全性，保护用户财产安全。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，并不构成对本说明书的限定。在附图中：

图1示出了本说明书一实施例中的业务数据处理方法的流程图；

图2示出了本说明书一实施例中的业务数据处理方法的流程图；

图3示出了本说明书一实施例中的ConvNext Block模块的结构示意图；

图4示出了本说明书一实施例中的Downsample模块的结构示意图；

图5示出了本说明书一实施例中的ConvNext模型的结构示意图；

图6示出了本说明书一实施例中的业务数据处理装置的结构示意图；

图7示出了本说明书一实施例中的计算机设备的结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本说明书的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本说明书，而并非以任何方式限制本说明书的范围。相反，提供这些实施方式是为了使本说明书公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域的技术人员知道，本说明书的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本说明书公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

本说明书技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。具体的，本说明书所获取的相关信息(包括但不限于：用户基本信息和会员信息)和数据(包括但不限于用户视频数据)，均经用户授权或者经过各方充分授权；相关信息数据的收集、存储、使用、加工、传输、提供、公开和应用等处理，均遵守相关国家和地区的相关法律法规和标准，采取了必要保密措施，不违背公序良俗，并提供有相应的操作入口，供用户选择授权或者拒绝。

本说明书实施例提供了一种业务数据处理方法。本实施例中的业务数据处理方法可以应用于服务器。服务器可以获取用户的历史业务操作数据，并根据历史业务操作数据，设置对应的阈值。例如，服务器可以针对用户设置业务操作对应的交易金额阈值或者设置业务操作的交易频率等。在接收到用户发送的业务操作请求的情况下，服务器可以确定用户要执行的业务操作是否超出交易金额阈值或者超出交易频率。在用户要执行的业务操作超出交易金额阈值或者超出交易频率的情况下，可以开启人脸识别验证机制。在进行人脸识别的过程中，客户端可以将采集的用户动态视频数据发送至服务器。服务器可以根据用户动态视频数据进行人脸识别，在人脸识别失败的情况下，终止业务操作。在人脸识别成功的情况下，服务器可以从用户动态视频数据中截取多个用户图像，并进行预处理，再将预处理后的用户图像输入至情绪识别模型，得到多个用户图像中各用户图像对应的情绪类别。之后，再根据各用户图像对应的情绪类别，确定目标业务操作的风险类别。通过在人脸识别技术的基础上添加了情绪识别机制，对用户在办理电子金融业务时的场景进行分析，可以提高对异常交易的识别率，进而提高业务操作的安全性，保护用户财产安全。

图1示出了本说明书一实施例中业务数据处理方法的流程图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。

具体地，如图1所示，本说明书一种实施例提供的业务数据处理方法可以包括以下步骤。

步骤S101，获取目标业务操作数据；所述目标业务操作数据包括用户执行目标业务操作过程中的用户动态视频数据；所述用户动态视频数据是在用户知情同意的情况下采集的。

本实施例中的方法可以应用于服务器。服务器可以获取目标业务操作数据。所述目标业务操作数据可以包括用户执行目标业务操作过程中的用户动态视频数据。所述用户动态视频数据是在用户知情同意的情况下采集的。

在一个实施例中，用户可以在用户客户端或者自助服务终端上进行业务操作。相应的，用户客户端或者自助服务终端可以在用户知情同意的情况下采集用户的用户动态视频数据。在一个实施例中，在用户执行目标业务操作的过程中，服务器可以生成视频采集请求，并将视频采集请求发送至客户端或者自助服务终端。服务器可以接收用户响应于视频采集请求反馈的第一知情同意信息。在第一知情同意信息表明用户同意视频拍摄的情况下，控制用户客户端或者自助服务终端对应的图像采集装置采集用户动态视频数据，并获取采集到的用户动态视频数据。

步骤S102，从所述用户动态视频数据中截取多个图像帧，得到多个用户图像；对所述多个用户图像进行预处理。

在获得用户动态视频数据之后，服务器可以从用户动态视频数据中截取多个图像帧，得到多个用户图像。图像的截取规则可以预先设定。

在一个实施例中，可以每隔预设时间段截取一个图像帧。

在另一个实施例中，可以对用户动态视频数据进行初步分析，确定用户图像的变化规律。之后，根据用户图像的变化规律从用户动态视频数据中截取多张用户图像。例如，对于变化较密集的时间段，截取时间间隔可以设置得较短，对于变化不明显的时间段，截取时间间隔可以设置得较长。通过上述方式，可以更全面地截取能够反映用户情绪的用户图像。

本实施例中，反映用户情绪的用户图像可以包括用户的面部图像或者眼部图像。例如，可以根据面部图像中的面部表情来确定用户的情绪。又例如，可以根据眼部图像的眼动特征，例如瞳孔大小或者眼球运动轨迹等眼动特征，来进行情绪识别。

在得到多个用户图像之后，服务器可以对多个用户图像进行预处理，得到预处理后的多个用户图像。

在本说明书一些实施例中，对所述多个用户图像进行预处理，可以包括：将所述多个用户图像中各用户图像转化为灰度图像；对所述各用户图像对应的灰度图像进行滤波和对比增强，并进行灰度范围归一化，得到预处理后的各用户图像。具体的，为了情绪识别的准确率，可以将截取的图像帧转化为灰度图像，通过滤波算法减弱图像噪声的影响，并调整统一图像大小，通过直方图均衡化增强图像对比，并进行图像灰度范围归一化。

步骤S103，将预处理后的多个用户图像中各用户图像输入至情绪识别模型，得到所述各用户图像对应的情绪类别。

在得到预处理后的多个用户图像之后，服务器可以将预处理后的多个用户图像中各用户图像输入至情绪识别模型，得到各用户图像对应的情绪类别。其中，情绪识别模型可以是预先训练好的情绪识别模型。情绪识别模型可以是机器学习模型，例如卷积神经网络、循环神经网络、支持向量机、随机森林、K最近邻等机器学习模型。

步骤S104，根据所述各用户图像对应的情绪类别，确定所述目标业务操作的风险类型。

在得到各用户图像对应的情绪类别，可以确定目标业务操作的风险类型。在一个实施例中，风险类型可以包括高风险、中风险和低风险。在另一个实施例中，风险类型可以包括：欺诈风险、胁迫风险和低风险。可以理解的是，还可以根据具体的业务场景和需要设置其他的风险类型。

上述实施例中，可以根据用户执行目标业务操作过程中的用户动态视频数据，确定用户执行目标业务操作过程中的情绪类型，进而根据情绪类型确定目标业务操作的风险类型，可以在人脸识别技术的基础上添加了情绪识别机制，对用户在办理电子金融业务时的场景进行分析，可以提高对异常交易的识别率，进而提高业务操作的安全性，保护用户财产安全，可以对金融交易欺诈和胁迫进行实时监控，并能及时采取预警或阻止措施。

在本说明书一些实施例中，获取目标业务操作数据，可以包括：接收用户发送的业务操作请求；所述业务操作请求中可以包括目标业务操作的业务类型和交易金额；根据所述业务类型和交易金额确定所述目标业务操作是否满足预设条件；在所述目标业务操作不满足预设条件的情况下，生成动态视频采集请求；接收用户响应于动态视频采集请求反馈的知情同意信息；在所述知情同意信息表明用户同意视频拍摄的情况下，控制图像采集装置采集用户动态视频数据，并获取所述图像采集装置采集的用户动态视频数据。

本实施例中，在接收到用户发送的业务操作请求时，确定该业务操作请求是否满足预设条件，若是，则可以正常交易，否则需要进行人脸识别和情绪识别。这里的预设条件可以根据时间的业务场景和业务需求来进行设置。例如，对于转账业务，可以根据转账的金额以及转账的频率来确定是否为正常转账业务。可以根据用户的历史业务操作数据来设置交易金额阈值或交易频率阈值。在接收到的业务操作请求对应的目标业务操作不满足预设条件(例如，超出预设交易额阈值或者交易频率阈值)的情况下，可以生成动态视频采集请求。动态视频采集请求可以以屏幕显示或者语音播报的方式显示。用户可以通过触屏反馈或者通过语音反馈知情同意信息。知情同意信息可以包括同意或者不同意。在用户同意的情况下，可以控制用户客户端或者自助服务终端的图像采集装置采集用户动态视频数据，并获取所述图像采集装置采集的用户动态视频数据。通过上述方式，可以自动询问用户意向，在用户同意的情况下才进行视频拍摄，可以保护用户隐私，改善用户体验。

在本说明书一些实施例中，所述情绪识别模型是通过以下方式构建的：获取训练样本集，所述训练样本集中可以包括图像集和标签集；所述标签集中包括所述图像集中各图像对应的情绪标签；利用所述训练样本集对预设卷积神经网络进行训练，得到情绪识别模型。

本实施例中，可以获取训练样本集。所述训练样本集中可以包括图像集和标签集；所述标签集中包括所述图像集中各图像对应的情绪标签。可以通过摄像头采集不同年龄、性别、肤色的人类个体的面部图像和各类表情，或与警方联合采集最精确的情绪场景，并对其进行翻转、裁剪等处理以增强训练效果。还可以采用已有的数据集如fer2013、EmotioNet、AffectNet、Emotion-Domestic等数据集作为模型的预训练。利用训练样本集对预设卷积神经网络进行训练，得到情绪识别模型。通过上述方式，可以训练得到情绪识别模型。

在本说明书一些实施例中，所述情绪识别模型是基于ConvNext的卷积神经网络。ConvNext不是传统的卷积神经网络，而是基于残差网络并且结合了transformar训练方式的结果。本实施例中，采用基于ConvNext的卷积神经网络，便于搭建，准确率和效率高。

在本说明书一些实施例中，所述情绪识别模型采用ReLu激活函数。本实施例中，可使用经典的ReLu激活函数，可以提升模型训练速率。

在本说明书一些实施例中，所述情绪类别可以包括多种情绪类别；相应的，根据所述各用户图像对应的情绪类别，确定所述目标业务操作的风险类型，可以包括：根据所述各用户图像对应的情绪类别对所述多个用户图像进行聚类，得到多个情绪类别集合；根据所述多个情绪类别集合中各情绪类别集合中的用户图像的数量，确定所述目标业务操作的风险类型。

本实施例中，情绪类别可以包括多种情绪类别。可以根据各用户图像对应的情绪类别，对所述多个用户图像进行聚类，得到多个情绪类别集合。在一个实施例中，情绪识别模型输出的直接是情绪类别。这种情况下，可以根据各图像对应的类别对图像进行分类，得到多个集合。在另一个实施例中，情绪识别模型输出的是与各中情绪标签之间的相似度。这种情况下，可以以各种标签为中心，以相似度为距离，对图像进行聚类。在聚类得到多个情绪类别集合之后，可以根据所述多个情绪类别集合中各情绪类别集合中的用户图像的数量，确定所述目标业务操作的风险类型。通过上述方式，可以根据情绪类别对图像进行聚类，进而根据聚类后各情绪类别集合中的用户图像的数量来确定目标业务操作的风险类型。

在本说明书一些实施例中，所述多个情绪类别集合可以至少包括：第一情绪类别集合、第二情绪类别集合和第三情绪类别集合；相应的，根据所述多个情绪类别集合中各情绪类别集合中的用户图像的数量，确定所述目标业务操作的风险类型，可以包括：在所述第一情绪类别集合中的用户图像的数量最大的情况下，确定所述目标业务操作的风险类型为第一风险类型；在所述第二情绪类别集合中的用户图像的数量最大的情况下，确定所述目标业务操作的风险类型为第二风险类型。

本实施例中，多个情绪类别集合可以至少包括：第一情绪类别集合、第二情绪类别集合和第三情绪类别集合。在一个实施例中，第一情绪类别可以包含表明业务操作存在诈骗风险的情绪，例如悲伤或者惊讶等。第二情绪类别可以包含表明业务操作存在胁迫风险的情绪，例如恐惧等。第三情绪类别可以包括表明业务操作不存在风险的情绪，例如中性情绪。

在一个实施例中，情绪类别可以包括：中性、惊讶、悲伤、愤怒、恐惧、厌恶、轻蔑等。在一个实施例中，可以将悲伤或惊讶情绪作为第一情绪类别。可以将恐惧作为第二情绪类别。可以将中性作为第三情绪类别。在悲伤或惊讶情绪对应的第一情绪类别集合中的图像的数量最多的情况下，表明目标业务操作存在欺诈的风险，可以将该目标业务操作的风险类型确定为第一风险类型，即存在诈骗风险。在恐惧对应的第二情绪类别集合中的图像的数量最多的情况下，表明目标业务操作存在胁迫的风险，可以将该目标业务操作的风险类型确定为第二风险类型。通过上述方式，可以确定目标业务操作是否存在诈骗或者胁迫风险。

在本说明书一些实施例中，所述方法还可以包括：在所述第三情绪类别集合中的用户图像的数量最大的情况下，确定所述第一情绪类别集合中的用户图像的数量是否大于第一预设阈值；在所述第一情绪类别集合中的用户图像的数量大于第一预设阈值的情况下，确定所述目标业务操作的风险类型为第一风险类型。

本实施例中，在中性情绪对应的第三情绪类别集合中的用户图像的数量最大的情况下，需要进一步确定第一情绪类别集合中的用户图像的数量是否大于第一预设阈值。若是，则说明该目标业务操作仍然存在诈骗风险。通过上述方式，在中性情绪占主导的情况下，若第一情绪类别集合中的图像数量超过阈值就需要提高警惕，在电子金融业务后台对该项业务做好预警，以避免可能出现的进一步损失。

在本说明书一些实施例中，所述方法还可以包括：在所述第一情绪类别集合中的用户图像的数量不大于第一预设阈值的情况下，确定所述第二情绪类别集合中的用户图像的数量是否大于第二预设阈值；在所述第二情绪类别集合中的用户图像的数量大于第二预设阈值的情况下，确定所述目标业务操作的风险类型为第二风险类型；在所述第二情绪类别集合中的用户图像的数量不大于第二预设阈值的情况下，确定所述目标业务操作的风险类型为第三风险类型。

本实施例中，在第一情绪类别集合中的用户图像的数量不大于第一预设阈值的情况下，可以进一步确定第二情绪类别集合中的用户图像的数量是否大于第二预设阈值，若是，则说明该目标业务操作存在胁迫风险，因而将该目标业务操作的风险类型确定为第二风险类型。在第二情绪类别集合中的用户图像的数量不大于第二阈值的情况下，说明该目标业务操作既不存在诈骗风险，也不存在胁迫风险，属于正常业务操作，即将该目标业务操作的风险类型确定为第三风险类型，或者说低风险。

上述实施例中以三种情绪类别集合作为示例进行说明，可以理解的是，还可以根据两种或者三种以上情绪类别集合中的图像的数量来进行风险判定。

上述实施例中，将目标业务操作的风险类型直接确定为第一风险类型、第二风险类型或者第三风险类型。可以理解的是，可以根据各情绪类别集合中的图像的数量来确定目标业务操作的风险类型为第一风险类型、第二风险类型或者第三风险类型的可能性大小。在一个示例性实施例中，可以根据第一情绪类别集合中的图像的数量占比来确定目标业务操作的风险类型为第一风险类型的可能性，占比越大，可能性越大。

在本说明书一些实施例中，所述方法还可以包括以下至少之一：在所述目标业务操作的风险类型为第一风险类型的情况下，生成第一告警信息；在所述目标业务操作的风险类型为第二风险类型的情况下，生成第二告警信息。

具体的，在目标操作的风险类型为第一风险类型的情况下，服务器可以根据目标业务操作的第一风险类型生成第一告警信息。在目标操作的风险类型为第二风险类型的情况下，服务器可以根据目标业务操作的第二风险类型生成第二告警信息。服务器可以将第一告警信息或者第二告警信息发送至相关人员进行处理，服务器还可以根据第一告警信息或者第二告警信息在系统后台进行交易告警、资金流监控或拦截。通过上述方式，可以提高用户交易安全。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述，在此不做一一赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本说明书，并不构成对本说明书的不当限定。

本具体实施例中提出一种业务数据处理方法。在对账户的历史使用基础上设置阈值，当用户出现不符合历史的大额交易或频繁交易的情况时，开启人脸识别验证机制，在用户身份识别的基础上分析用户的操作情绪，识别用户是否处于欺诈、胁迫等场景中，并在系统后台提出交易告警、资金流监控或拦截。

本具体实施例中提出一种业务数据处理方法。本具体实施例中，可以基于情绪识别进行电子金融业务告警，提高对客户正常金融业务的保护。如图2所示，本实施例中的业务数据处理方法可以先开启用户的人脸识别模块，持续获取用户的操作人脸视频，可采用opencv库的VideoCapture读取视频文件，通过read方法截取图像帧，使用Haar特征级联分类器提取出每一帧的人脸。为了识别的准确率，可以将截取的图像帧转化为灰度图像，通过滤波算法减弱图像噪声的影响，并调整统一图像大小，通过直方图均衡化增强图像对比，并进行图像灰度范围归一化。面部图像经过预处理后，导入表情分类模型。分类模型输出每一帧图像在分类标签的相似度。以特征标签为中心，分类模型输出的相似度为距离，对图像帧进行聚类。目前的情绪分类标签是中性、快乐、惊讶、悲伤、愤怒、厌恶、恐惧、轻蔑这几类。当中性情绪聚类密度最大时，表明用户的电子金融业务为正常交易范畴；当惊讶、悲伤情绪聚类密度超过阈值时，则可以为该用户的电子金融业务添加诈骗标签；当恐惧情绪聚类密度超过阈值时，则可以为该用户的电子金融业务添加胁迫标签。可以认为，除中性情绪以外，其他的情绪聚类密度超过阈值就需要提高警惕，在电子金融业务后台对该项业务做好预警，以避免可能出现的进一步损失。

本实施例中，分类模型是基于ConvNext的卷积神经网络。在进行分类模型训练前，首先需要获得包含人脸表情的一系列视频作为数据集，主要是通过摄像头采集不同年龄、性别、肤色的人类个体的用户图像和各类表情，或与警方联合采集最精确的情绪场景，并对其进行翻转、裁剪等处理以增强训练效果。也可以采用已有的数据集如Fer2013、EmotioNet、AffectNet、Emotion-Domestic等数据集作为模型的预训练。Fer2013数据集由35886张人脸不同表情图片组成，EmotioNet包含了950000张标注过的图像，包含了基本表情、复合表情。AffectNet包含了超过42万张标注过的图像。Emotion-Domestic则主要包含了国内的人脸数据。之后对采集到的面部图像经上文所述的预处理后作为输入模型的训练数据。本实施例采用的是基于ConvNext网络的卷积神经网络模型。传统的卷积神经网络认为网络越深，获取的信息越多，特征越丰富，模型的训练精度和泛化能力也越强，但实际上网络深度过深反而导致优化效果降低，使得网络性能退化，直到残差网络的提出。ConvNext并非传统的卷积神经网络，而是基于残差网络并且结合了Transformar训练方式的结果。比如ConvNext用GeLu激活函数替换了ReLu激活函数，减少了在卷积层后激活函数的使用等。但是GeLu函数的使用并没有提升模型准确率，故为提升模型训练速率，本说明书实施例中仍可使用经典的ReLu激活函数。形如残差网络的残差块，ConvNext也有其模块ConvNextBlock。ConvNext Block中大致包含7个层次，如图3所示：第1层是深度卷积DepthwiseConv2d，卷积核kernel为7×7，步长stride为1，填充padding为3，与传统卷积核相比，每个深度卷积核只负责输入特征的一个通道，可以减小神经网络参数规模；第2层是归一化层Layer Normalization，对数据进行归一化；第3层是卷积层Conv2d，卷积核kernel为1×1，步长stride为1，用于实现通道升维；第4层是激活函数ReLu，加入非线性因素；第5层是卷积层Conv2d，卷积核kernel为1×1，步长stride为1，用于实现通道降维；第6层是层缩放层Layer Scale，对每个通道的数据进行缩放；第7层是正则化层Drop Path，一种正则化方法。ConvNext Block在输出前要与输入数据相加。此外还有下采样模块Downsample，如图4所示，包含一个归一化层Layer Normalization和一个卷积层Conv2d，卷积核kernel为2×2，步长为2，用于减少计算量防止过拟合。在ConvNext Block和Downsample的基础上组装ConvNext模型，如图5所示，ConvNext模型本身第一层是卷积层Conv2d，卷积核kerel为4×4，步长stride为4，初步提取特征，第二层是归一化层Layer Normalization；第三层是stage1，包含3个ConvNext Block，对输入数据进行特征提取；第4层是stage2，包含一个Downsample和3个ConvNext Block，对提取的特征进一步加深；第5层是stage3，包含一个Downsample和9个ConvNext Block，进一步提取特征，增大计算规模提升准确率；第6层是stage4，包含一个Downsample和3个ConvNext Block，进一步提取特征；第7层是全局平均池化Global Average Pooling，降低特征维度和参数数量；第8层是归一化层LayerNormalization；第9层是线性层Linear，实现最终的分类预测情况。ConvNext拥有卷积神经网络一贯的搭建简易的优点，且准确率也能达到87.8％。

上述方案，在人脸识别技术的基础上添加了情绪识别机制，对用户在办理电子金融业务时的场景进行分析，可以提高对异常交易的识别率。

基于同一发明构思，本说明书实施例中还提供了一种业务数据处理装置，如下面的实施例所述。由于业务数据处理装置解决问题的原理与业务数据处理方法相似，因此业务数据处理装置的实施可以参见业务数据处理方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图6是本说明书实施例的业务数据处理装置的一种结构框图，如图6所示，包括：获取模块601、预处理模块602、识别模块603和确定模块604，下面对该结构进行说明。

获取模块601用于获取目标业务操作数据；所述目标业务操作数据包括用户执行目标业务操作过程中的用户动态视频数据；所述用户动态视频数据是在用户知情同意的情况下采集的。

预处理模块602用于从所述用户动态视频数据中截取多个图像帧，得到多个用户图像；还用于对所述多个用户图像进行预处理。

识别模块603用于将预处理后的多个用户图像中各用户图像输入至情绪识别模型，得到所述各用户图像对应的情绪类别。

确定模块604用于根据所述各用户图像对应的情绪类别，确定所述目标业务操作的风险类型。

在本说明书一些实施例中，预处理模块可以具体用于：将所述多个用户图像中各用户图像转化为灰度图像；对所述各用户图像对应的灰度图像进行滤波和对比增强，并进行灰度范围归一化，得到预处理后的各用户图像。

在本说明书一些实施例中，所述情绪识别模型是通过以下方式构建的：获取训练样本集，所述训练样本集中可以包括图像集和标签集；所述标签集中包括所述图像集中各图像对应的情绪标签；利用所述训练样本集对预设卷积神经网络进行训练，得到情绪识别模型。

在本说明书一些实施例中，所述情绪识别模型是基于ConvNext的卷积神经网络。

在本说明书一些实施例中，所述情绪识别模型采用ReLu激活函数。

在本说明书一些实施例中，所述情绪类别可以包括多种情绪类别；确定模块可以具体用于：根据所述各用户图像对应的情绪类别对所述多个用户图像进行聚类，得到多个情绪类别集合；根据所述多个情绪类别集合中各情绪类别集合中的用户图像的数量，确定所述目标业务操作的风险类型。

在本说明书一些实施例中，所述多个情绪类别集合可以至少包括：第一情绪类别集合、第二情绪类别集合和第三情绪类别集合；相应的，所述确定模块具体用于：在所述第一情绪类别集合中的用户图像的数量最大的情况下，确定所述目标业务操作的风险类型为第一风险类型；在所述第二情绪类别集合中的用户图像的数量最大的情况下，确定所述目标业务操作的风险类型为第二风险类型。

在本说明书一些实施例中，所述确定模块还具体用于：在所述第三情绪类别集合中的用户图像的数量最大的情况下，确定所述第一情绪类别集合中的用户图像的数量是否大于第一预设阈值；在所述第一情绪类别集合中的用户图像的数量大于第一预设阈值的情况下，确定所述目标业务操作的风险类型为第一风险类型。

在本说明书一些实施例中，所述确定模块还具体用于：在所述第一情绪类别集合中的用户图像的数量不大于第一预设阈值的情况下，确定所述第二情绪类别集合中的用户图像的数量是否大于第二预设阈值；在所述第二情绪类别集合中的用户图像的数量大于第二预设阈值的情况下，确定所述目标业务操作的风险类型为第二风险类型；在所述第二情绪类别集合中的用户图像的数量不大于第二预设阈值的情况下，确定所述目标业务操作的风险类型为第三风险类型。

从以上的描述中，可以看出，本说明书实施例实现了如下技术效果：可以根据用户执行目标业务操作过程中的用户动态视频数据，确定用户执行目标业务操作过程中的情绪类型，进而根据情绪类型确定目标业务操作的风险类型，可以在人脸识别技术的基础上添加了情绪识别机制，对用户在办理电子金融业务时的场景进行分析，可以提高对异常交易的识别率，进而提高业务操作的安全性，保护用户财产安全。

本说明书实施方式还提供了一种计算机设备，具体可以参阅图7所示的基于本说明书实施例提供的业务数据处理方法的计算机设备组成结构示意图，所述计算机设备具体可以包括输入设备71、处理器72、存储器73。其中，所述存储器73用于存储处理器可执行指令。所述处理器72执行所述指令时实现上述任意实施例中所述的业务数据处理方法的步骤。

在本实施方式中，所述输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。

在本实施方式中，该计算机设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

本说明书实施方式中还提供了一种基于业务数据处理方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现上述任意实施例中所述业务数据处理方法的步骤。

在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。

在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。

显然，本领域的技术人员应该明白，上述的本说明书实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本说明书实施例不限制于任何特定的硬件和软件结合。

应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本说明书的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。

以上所述仅为本说明书的优选实施例而已，并不用于限制本说明书，对于本领域的技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。

Claims (12)

1.一种业务数据处理方法，其特征在于，包括：

获取目标业务操作数据；所述目标业务操作数据包括用户执行目标业务操作过程中的用户动态视频数据；所述用户动态视频数据是在用户知情同意的情况下采集的；

从所述用户动态视频数据中截取多个图像帧，得到多个用户图像；对所述多个用户图像进行预处理；

将预处理后的多个用户图像中各用户图像输入至情绪识别模型，得到所述各用户图像对应的情绪类别；

根据所述各用户图像对应的情绪类别，确定所述目标业务操作的风险类型。

2.根据权利要求1所述的业务数据处理方法，其特征在于，对所述多个用户图像进行预处理，包括：

将所述多个用户图像中各用户图像转化为灰度图像；

对所述各用户图像对应的灰度图像进行滤波和对比增强，并进行灰度范围归一化，得到预处理后的各用户图像。

3.根据权利要求1所述的业务数据处理方法，其特征在于，所述情绪识别模型是通过以下方式构建的：

获取训练样本集，所述训练样本集中包括图像集和标签集；所述标签集中包括所述图像集中各图像对应的情绪标签；

利用所述训练样本集对预设卷积神经网络进行训练，得到情绪识别模型。

4.根据权利要求3所述的业务数据处理方法，其特征在于，所述情绪识别模型是基于ConvNext的卷积神经网络。

5.根据权利要求4所述的业务数据处理方法，其特征在于，所述情绪识别模型采用ReLu激活函数。

6.根据权利要求1所述的业务数据处理方法，其特征在于，所述情绪类别包括多种情绪类别；

根据所述各用户图像对应的情绪类别，确定所述目标业务操作的风险类型，包括：

根据所述各用户图像对应的情绪类别对所述多个用户图像进行聚类，得到多个情绪类别集合；

根据所述多个情绪类别集合中各情绪类别集合中的用户图像的数量，确定所述目标业务操作的风险类型。

7.根据权利要求6所述的业务数据处理方法，其特征在于，所述多个情绪类别集合至少包括：第一情绪类别集合、第二情绪类别集合和第三情绪类别集合；

相应的，根据所述多个情绪类别集合中各情绪类别集合中的用户图像的数量，确定所述目标业务操作的风险类型，包括：

在所述第一情绪类别集合中的用户图像的数量最大的情况下，确定所述目标业务操作的风险类型为第一风险类型；

在所述第二情绪类别集合中的用户图像的数量最大的情况下，确定所述目标业务操作的风险类型为第二风险类型。

8.根据权利要求7所述的业务数据处理方法，其特征在于，还包括：

在所述第三情绪类别集合中的用户图像的数量最大的情况下，确定所述第一情绪类别集合中的用户图像的数量是否大于第一预设阈值；

在所述第一情绪类别集合中的用户图像的数量大于第一预设阈值的情况下，确定所述目标业务操作的风险类型为第一风险类型。

9.根据权利要求8所述的业务数据处理方法，其特征在于，还包括：

在所述第一情绪类别集合中的用户图像的数量不大于第一预设阈值的情况下，确定所述第二情绪类别集合中的用户图像的数量是否大于第二预设阈值；

在所述第二情绪类别集合中的用户图像的数量大于第二预设阈值的情况下，确定所述目标业务操作的风险类型为第二风险类型；

在所述第二情绪类别集合中的用户图像的数量不大于第二预设阈值的情况下，确定所述目标业务操作的风险类型为第三风险类型。

10.一种业务数据处理装置，其特征在于，包括：

获取模块，用于获取目标业务操作数据；所述目标业务操作数据包括用户执行目标业务操作过程中的用户动态视频数据；所述用户动态视频数据是在用户知情同意的情况下采集的；

预处理模块，用于从所述用户动态视频数据中截取多个图像帧，得到多个用户图像；还用于对所述多个用户图像进行预处理；

识别模块，用于将预处理后的多个用户图像中各用户图像输入至情绪识别模型，得到所述各用户图像对应的情绪类别；

确定模块，用于根据所述各用户图像对应的情绪类别，确定所述目标业务操作的风险类型。

11.一种计算机设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至9中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现权利要求1至9中任一项所述方法的步骤。