CN115439928A - 一种操作行为识别方法及装置 - Google Patents

一种操作行为识别方法及装置 Download PDF

Info

Publication number
CN115439928A
CN115439928A CN202210972061.9A CN202210972061A CN115439928A CN 115439928 A CN115439928 A CN 115439928A CN 202210972061 A CN202210972061 A CN 202210972061A CN 115439928 A CN115439928 A CN 115439928A
Authority
CN
China
Prior art keywords
behavior
risk
trained
operation behavior
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210972061.9A
Other languages
English (en)
Inventor
丁亚丹
于文海
周雍恺
陈成钱
高鹏飞
孙权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN202210972061.9A priority Critical patent/CN115439928A/zh
Priority to PCT/CN2022/136238 priority patent/WO2024031881A1/zh
Publication of CN115439928A publication Critical patent/CN115439928A/zh
Priority to TW111149156A priority patent/TWI835478B/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

本申请实施例提供一种操作行为识别方法及装置,应用在人工智能技术领域,包括:获取目标对象的当前操作行为的文本描述信息,并将文本描述信息据转化为待识别图像;通过已训练的异常行为识别模型,对待识别图像进行识别,获得当前操作行为在多个维度的初步风险评分;基于多个维度的初步风险评分,获得当前操作行为的风险判决结果。将商户操作行为的文本描述信息转化为图像信息,使得数据更直观且更加贴近监控场景,既便于后续采用异常行为识别模型对操作行为进行自监督识别,确定操作行为是否为风险行为,同时提高了操作行为识别的准确性。其次,不需要预设风险操作行为策略来识别商户操作行为,避免存储资源浪费,提高了操作行为识别的效率。

Description

一种操作行为识别方法及装置
技术领域
本申请涉及人工智能技术领域,尤其涉及一种操作行为识别方法及装置。
背景技术
为了进一步加强对金融终端全生命周期的安全环境监控与验证能力,和对金融终端的事前事中的动态风险监控能力,需要拓展更广泛的商户操作风险行为的监管方式。
相关技术中,在判断商户的操作行为是否为风险操作行为时,需要提前预设风险操作行为策略,然后根据预设的风险操作行为策略对商户的操作行为进行风险操作行为识别,并计算得到风险操作分值,再根据风险操作分值确定商户的操作行为是否为风险操作行为。
然而,上述方法需要提前预设多种风险操作行为策略并保存,当数据量较大的时候可能存在存储资源消耗较大,以及计算较慢的问题。
发明内容
本申请实施例提供了一种操作行为识别方法及装置,用于提高操作行为识别的效率,降低操作行为识别的资源消耗。
第一方面,本申请实施例提供了一种操作行为识别方法,包括:
获取目标对象的当前操作行为的文本描述信息,并将所述文本描述信息据转化为待识别图像;
通过已训练的异常行为识别模型,对所述待识别图像进行识别,获得所述当前操作行为在多个维度的初步风险评分;
基于所述多个维度的初步风险评分,获得所述当前操作行为的风险判决结果。
本申请实施例中,通过对商户的操作行为的文本描述信息转化为图像信息,使得数据更直观且更加贴近监控场景,既便于后续采用异常行为识别模型对操作行为进行自监督识别,确定操作行为是否为风险行为,同时提高了操作行为识别的准确性。其次,不需要预设风险操作行为策略,来作为识别商户的操作行为是否为风险操作行为的基准,从而降低了存储资源消耗。并且,当数据量较大时,有效解决因数据量大带来的计算较慢的问题,提高操作行为识别的效率。
可选地,所述当前操作行为的文本描述信息是所述终端设备通过系统应用框架层采集获得的。
可选地,所述文本描述信息包括所述当前操作行为的发生时间信息和位置信息。
所述将所述文本描述信息据转化为待识别图像,包括:
将所述位置信息映射至二维空间中,获得操作轨迹:
基于所述发生时间信息,确定所述操作轨迹中每个轨迹点的颜色属性;
基于所述操作轨迹和所述每个轨迹点的颜色属性,获得所述待识别图像。
可选地,所述文本描述信息还包括压力信息;
所述将所述位置信息映射至二维空间中,获得操作轨迹之后,还包括:
基于所述压力信息,确定所述操作轨迹中每个轨迹点的大小;
所述基于所述操作轨迹、所述每个轨迹点的颜色属性,确定所述待识别图像,包括:
基于所述操作轨迹、所述每个轨迹点的颜色属性和所述每个轨迹点的大小,确定所述待识别图像。
可选地,所述已训练的异常行为识别模型包括已训练的特征提取器和已训练的线性判决模型;
通过已训练的异常行为识别模型,对所述待识别图像进行识别,获得所述多个维度的初步风险评分,包括:
通过所述已训练的特征提取器,对所述待识别图像进行特征提取,获得目标图像特征;
通过所述已训练的线性判决模型,对所述目标图像特征进行判决,获得所述多个维度的初步风险评分。
可选地,所述已训练的异常行为识别模型是采用以下方式训练获得的:
采用神经网络和无监督聚类相结合的方式,对待训练的特征提取器进行训练,获得中间特征提取器;
对所述中间特征提取器和待训练的线性判决模型进行联合微调训练,获得所述已训练的特征提取器和所述已训练的线性判决模型。
可选地,所述采用神经网络和无监督聚类相结合的方式,对待训练的特征提取器进行训练,获得中间特征提取器,包括:
采用神经网络和无监督聚类相结合的方式,基于样本图像集合对待训练的特征提取器进行迭代训练,获得中间特征提取器,其中,每次迭代训练过程,包括以下步骤:
采用待训练的特征提取器,对样本图像进行特征提取,获得样本图像特征集合;
对所述样本图像特征集合进行聚类,获得多类样本图像特征以及每类样本图像特征对应的伪标签;
基于获得的多类样本图像特征以及每类样本图像特征对应的伪标签,确定分布损失值,并采用所述分布损失值,通过反向传播对所述待训练的特征提取器进行参数调整。
可选地,所述多个维度的初步风险评分包括第一风险评分和第二风险评分,其中,第一风险评分用于表征所述当前操作行为的异常程度;所述第二风险评分用于表征所述当前操作行为与所述目标对象的历史操作行为的目标相似度。
可选地,所述基于所述多个维度的初步风险评分,获得所述当前操作行为的风险判决结果,包括:
对所述第一风险评分和所述第二风险评分进行加权求和,获得所述当前操作行为的目标风险评分;
若所述目标风险评分大于预设阈值,则确定所述当前操作行为为风险行为;
若所述目标风险评分小于等于预设阈值,则确定所述当前操作行为为安全行为。
可选地,若在判定周期内,所述目标对象的操作行为被判定为风险行为的次数大于风险阈值,则触发针对所述目标对象的告警和风险标记。
第二方面,本申请实施例提供了一种操作行为识别装置,包括:
获取模块,用于获取目标对象的当前操作行为的文本描述信息,并将所述文本描述信息据转化为待识别图像;
处理模块,用于通过已训练的异常行为识别模型,对所述待识别图像进行识别,获得所述当前操作行为在多个维度的初步风险评分;
所述处理模块,还用于基于所述多个维度的初步风险评分,获得所述当前操作行为的风险判决结果。
可选地,所述获取模块具体用于:
所述当前操作行为的文本描述信息是所述终端设备通过系统应用框架层采集获得的。
可选地,所述处理模块具体用于:
将所述位置信息映射至二维空间中,获得操作轨迹;
基于所述发生时间信息,确定所述操作轨迹中每个轨迹点的颜色属性;
基于所述操作轨迹和所述每个轨迹点的颜色属性,获得所述待识别图像。
可选地,所述处理模块具体用于:
基于所述压力信息,确定所述操作轨迹中每个轨迹点的大小;
所述基于所述操作轨迹、所述每个轨迹点的颜色属性,确定所述待识别图像,包括:
基于所述操作轨迹、所述每个轨迹点的颜色属性和所述每个轨迹点的大小,确定所述待识别图像。
可选地,所述处理模块具体用于:
通过已训练的异常行为识别模型,对所述待识别图像进行识别,获得所述当前操作行为对应的目标风险评分,包括:
通过所述已训练的特征提取器,对所述待识别图像进行特征提取,获得目标图像特征;
通过所述已训练的线性判决模型,对所述目标图像特征进行判决,获得所述多个维度的初步风险评分。
可选地,所述处理模块具体用于:
采用神经网络和无监督聚类相结合的方式,对待训练的特征提取器进行训练,获得中间特征提取器;
对所述中间特征提取器和待训练的线性判决模型进行联合微调训练,获得所述已训练的特征提取器和所述已训练的线性判决模型。
可选地,所述处理模块具体用于:
采用神经网络和无监督聚类相结合的方式,基于样本图像集合对待训练的特征提取器进行迭代训练,获得中间特征提取器,其中,每次迭代训练过程,包括以下步骤:
采用待训练的特征提取器,对样本图像进行特征提取,获得样本图像特征集合;
对所述样本图像特征集合进行聚类,获得多类样本图像特征以及每类样本图像特征对应的伪标签;
基于获得的多类样本图像特征以及没类样本图像特征对应的伪标签,确定分布损失值,并采用所述分布损失值,通过反向传播对所述待训练的特征提取器进行参数调整。
可选地,所述处理模块具体用于:
所述多个维度的初步风险评分包括第一风险评分和第二风险评分,其中,第一风险评分用于表征所述当前操作行为的异常程度;所述第二风险评分用于表征所述当前操作行为与所述目标对象的历史操作行为的目标相似度。
可选地,所述处理模块具体用于:
所述基于所述多个维度的初步风险评分,获得所述当前操作行为的风险判决结果,包括:
对所述第一风险评分和所述第二风险评分进行加权求和,获得所述当前操作行为的目标风险评分;
若所述目标风险评分大于预设阈值,则确定所述当前操作行为为风险行为;
若所述目标风险评分小于等于预设阈值,则确定所述当前操作行为为安全行为。
可选地,所述处理模块具体用于:
若在判定周期内,所述目标对象的操作行为被判定为风险行为的次数大于风险阈值,则触发针对所述目标对象的告警和风险标记。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行上述第一方面任意所述的操作行为识别方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行上述第一方面任意所述的操作行为识别方法。
通过对商户的操作行为的文本描述信息进行形式变换,将商户操作行为的文本描述信息转化为图像信息,使得数据更加直观且更加贴近监控场景,既便于后续采用异常行为识别模型对操作行为进行自监督识别,确定操作行为是否为风险行为,同时提高了操作行为识别的准确性。其次,不需要预设风险操作行为策略,来作为识别商户的操作行为是否为风险操作行为的基准,从而降低了存储资源消耗。并且,当数据量较大时,有效解决因数据量大带来的计算较慢的问题,提高操作行为识别的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构示意图;
图2为本发明实施例提供的一种操作行为识别方法的流程示意图;
图3为本发明施例提供的一种文本描述信息据转化为待识别图像的过程示意图;
图4为本发明实施例提供的一种构建异常行为识别模型的过程示意图;
图5为本发明实施例提供的一种操作行为识别装置的结构示意图;
图6为本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
参见图1,其为本申请实施例使用的一种系统架构图,该系统架构包括终端设备101和服务端102,其中,终端设备101用于采集目标对象的当前操作行为的文本描述信息。目标对象可以是商户、用户等;终端设备101可以是智能手机、平板电脑、笔记本电脑、台式计算机、自助取款机、收单设备等,但并不局限于此。
服务端102接收终端设备101发送的当前操作行为的文本描述信息,并基于当前操作行为的文本描述信息,确定当前操作行为的风险判决结果。服务端102可以是独立的物理服务端,也可以是多个物理服务端构成的服务端集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务端。终端设备101和服务端102可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
基于上述系统架构,图2示例性的示出了一种操作行为识别方法的流程,该方法的流程由计算机设备执行,计算及设备可以是图1所示的服务端,包括以下步骤:
步骤S201,获取目标对象的当前操作行为的文本描述信息,并将文本描述信息据转化为待识别图像;
具体地,目标对象可以为商户,当前操作行为为商户当前正在与终端设备进行的交互操作,其中,交互操作包括但不限于点击、双击、互动等。文本描述信息为描述交互操作的文本序列。服务端将当前操作行为产生的文本描述信息进行转化,得到待识别图像。
在一些实施例中,文本描述信息包括当前操作行为的发生时间信息和位置信息。那么将文本描述信息据转化为待识别图像的过程为:将位置信息映射至二维空间中,获得操作轨迹;基于发生时间信息,确定操作轨迹中每个轨迹点的颜色属性;基于操作轨迹和每个轨迹点的颜色属性,获得待识别图像。
具体地,如图3所示,商户在终端设备的屏幕上触发多个交互操作事件,终端设备采集交互操作事件对应的操作行为的文本描述信息,每个操作行为都有相应的发生时间信息和位置信息。终端设备将每个操作行为的发生时间信息和位置信息发送至服务端。服务端对发生时间信息和位置信息的数据格式进行转换,获得具体时间和位置坐标点。服务端将获得的位置坐标点进行空间转换,获得操作轨迹;将具体时间进行空间转换,获得操作轨迹上每个轨迹点的颜色属性。结合操作轨迹以及操作轨迹上的每个操作点的颜色属性,得到二维待识别图像。
在一些实施例中,操作轨迹包括点和/或线。举例来说,若商户的单次操作为“点击”,则该“点击”操作在二维空间上对应的操作轨迹为一个点;若商户的操作为“滑动”,则该“滑动”操作在二维空间上对应的操作轨迹为一条线,这条线是由无数个轨迹点构成。
在一些实施例中,颜色属性用于表征操作轨迹的时间先后顺序,颜色属性可以是颜色深度或者颜色类型。
举例来说,商户在收单设备的屏幕上触发从右往左的滑动事件,则在服务端生成的待识别图像中包括一条横向的操作轨迹,该操作轨迹由无数个轨迹点组成。定义每个轨迹点的颜色种类为红色,且从右到左连续的轨迹点颜色深度逐渐变浅,以此来表征商户的操作行为是从右至左执行的。也可以定义该操作轨迹的每个轨迹点的颜色种类为蓝色,且从右到左连续的轨迹点颜色深度逐渐变深,以此来表征商户的操作行为是从右至左执行的。
在一些实施例中,文本描述信息还包括压力信息。将位置信息映射至二维空间中,获得操作轨迹之后,基于压力信息,确定操作轨迹中每个轨迹点的大小,然后基于操作轨迹、每个轨迹点的颜色属性和每个轨迹点的大小,确定待识别图像。
具体地,压力信息指操作时按压屏幕的压力值。商户在终端设备的屏幕上触发多个交互操作事件,终端设备采集交互操作事件对应的操作行为的文本描述信息,每个操作行为都有相应的发生时间信息、位置信息和压力信息。终端设备将每个操作行为的发生时间信息、位置信息和压力信息发送至服务端。服务端对发生时间信息、位置信息和压力信息的数据格式进行转换,获得具体时间、位置坐标点和按压压力值。服务端将获得的位置坐标点进行空间转换,获得操作轨迹;将具体时间进行空间转换,获得操作轨迹上每个轨迹点的颜色属性;将按压压力值进行空间转换,获得操作轨迹上每个轨迹点的大小。结合操作轨迹、操作轨迹上的每个操作点的颜色属性和操作轨迹上每个轨迹点的大小,得到二维待识别图像,其中,操作轨迹上每个轨迹点的大小,可以体现出商户操作的习惯。当操作轨迹为一条线时,操作轨迹上多个轨迹点的大小,可对应到操作轨迹的粗细程度。不同商户进行相同的操作行为时,若操作行为的文本描述信息中的压力信息不同,则对应产生的操作轨迹的粗细程度也不相同。
举例来说,商户A在收单设备的屏幕上触发从右往左的滑动事件,则在服务端生成的待识别图像中包括一条横向的操作轨迹,该操作轨迹为红色,从右到左颜色逐渐变浅,且该操作轨迹较粗;
商户B在收单设备的屏幕上触发从右往左的滑动事件,则在服务端生成的待识别图像中包括一条横向的操作轨迹,该操作轨迹为蓝色,从右到左颜色逐渐变浅,且该操作轨迹较细。
本申请实施例中,将商户操作行为的文本描述信息转化为图像信息,使得数据更直观且更加贴近监控场景,既便于后续采用异常行为识别模型对操作行为进行自监督识别,确定操作行为是否为风险行为,同时提高了操作行为识别的准确性。
在一些实施例中,当前操作行为的文本描述信息是终端设备通过系统应用框架层采集获得的。
具体地,终端设备通过连接应用框架层的相关接口,开启数据采集功能。
例如,当商户操作收单设备时,收单设备自动采集商户当前操作行为的文本描述信息,包括操作事件发生时间、操作点击位置的相关信息,然后将采集的操作信息先暂存至收单设备的内存中,随后以消息队列的形式将操作信息发送至服务端进行数据的解析和处理。
本申请实施例中,以安卓系统底层的获取事件的方式来采集商户的操作行为数据,将数据源聚焦于底层输入事件上,该方式不需要提前嵌入采样软件开发工具包(Software Development Kit,简称SDK)植入监控服务,便可以监控商户在设备上的任何操作,具有更广泛的适用性。该方法包括且不限于系统属性设置操作、收单操作以及其他App操作等,因此对于商户侧监控系统工程化落地具有一定的可行性。
步骤S202,通过已训练的异常行为识别模型,对待识别图像进行识别,获得当前操作行为在多个维度的初步风险评分;
具体地,将二维的待识别图像输入异常行为识别模型,使用该异常行为识别模型对该二维的待识别图像进行识别,获得当前操作行为在多个维度的初步风险评分。
在一些实施例中,多个维度的初步风险评分包括第一风险评分和第二风险评分,其中,第一风险评分用于表征当前操作行为的异常程度,第二风险评分用于表征当前操作行为与目标对象的历史操作行为的目标相似度。
具体地,已训练的异常行为识别模型根据当前操作行为的异常程度给出第一风险评分,风险程度越高,异常行为识别模型给出的风险评分越高。其中,自动化操作、高频重复操作等均是风险程度较高的操作行为,相应会给出较高的风险评分。
已训练的异常行为识别模型还会根据当前操作行为与目标对象的历史操作行为的目标相似度进行评分,获得第二风险评分,其中,当前操作行为与历史操作行为的目标相似度越高,说明当前操作行为法越可能是正常的,因此异常行为识别模型给出的第二风险评分越低。当前操作行为与历史操作行为的目标相似度越低,则说明当前操作行为可能发生异常,则异常行为识别模型给出的第二风险评分越低。
通过该异常行为识别模型建立了使用习惯与操作行为之间的联系,能进行纵向识别,通过分析商户的设备使用习惯及单次操作行为来判定设备是否存在异常的情况,充分利用商户的历史信息的分析维度,有效识别非本人操作情况,达到对目标进行合规管控的目的。
步骤S203,基于多个维度的初步风险评分,获得当前操作行为的风险判决结果。
具体地,若当前操作行为的多个维度的初步风险评分,满足风险判决条件,则判定当前操作行为为风险操作行为,相反,则判定当前操作行为为安全操作行为。
将商户操作行为的文本描述信息转化为图像信息,使得数据更直观且更加贴近监控场景,既便于后续采用异常行为识别模型对操作行为进行自监督识别,确定操作行为是否为风险行为,同时提高了操作行为识别的准确性。其次,不需要预设风险操作行为策略来识别商户操作行为,避免存储资源浪费,提高了操作行为识别的效率。
在上述步骤S202中,已训练的异常行为识别模型包括已训练的特征提取器和已训练的线性判决模型。通过已训练的异常行为识别模型,对待识别图像进行识别,获得当前操作行为对应的目标风险评分,包括:
通过已训练的特征提取器,对待识别图像进行特征提取,获得目标图像特征;通过已训练的线性判决模型,对目标图像特征进行判决,获得多个维度的初步风险评分。
具体地,异常行为识别模型包含特征提取器和线性判决模型,特征提取器可对待识别二维图像进行特征提取,获得目标图像特征。线性判决模型与具体的业务场景对应,用于判决输出相应的业务场景下,当前操作行为在多个维度的初步风险评分。
在一些实施例中,已训练的异常行为识别模型是采用以下方式训练获得的:
采用神经网络和无监督聚类相结合的方式,对待训练的特征提取器进行训练,获得中间特征提取器。对中间特征提取器和待训练的线性判决模型进行联合微调训练,获得已训练的特征提取器和已训练的线性判决模型。
具体地,采用神经网络和无监督聚类相结合的方式,基于样本图像集合对待训练的特征提取器进行迭代训练,获得中间特征提取器,其中,每次迭代训练过程,包括以下步骤:
采用待训练的特征提取器,对样本图像进行特征提取,获得样本图像特征集合。然后对样本图像特征集合进行聚类,获得多类样本图像特征以及每类样本图像特征对应的伪标签;基于获得的多类样本图像特征以及每类样本图像特征对应的伪标签,确定分布损失值,并采用分布损失值,通过反向传播对待训练的特征提取器进行参数调整。
上述待训练的特征提取器包括多个特征提取层,其中,每个特征提取层执行特征提取操作后,将输出的样本图像特征集合进行聚类,获得多个图像特征分组。然后将获得的多个图像特征分组输入下一个特征提取层。对最后一个特征提取层输出的样本图像特征集合进行聚类,获得多类样本图像特征以及每类样本图像特征对应的伪标签,并结合获得的伪标签和分布损失函数,获得此次迭代过程的分布损失值,再采用此次迭代过程的分布损失值,通过反向传播对待训练的特征提取器进行参数调整,并进入下一个迭代过程。当分布损失值满足预设收敛条件,或者迭代次数达到预设阈值时,结束训练,获得中间特征提取器。
上述线性判决模型与具体的业务场景对应,不同的业务场景对应不同的线性判决模型。针对不同的业务场景,只需要在小批量图像样本对中间特征提取器和相应的待训练的线性判决模型进行联合微调训练,获得已训练的特征提取器和已训练的线性判决模型。
举例来说,如图4所示,构建待训练的特征提取器,该特征提取器为无监督模型,此处定义为model 1。基于样本操作行为的文本描述数据,获得样本图像集合,将样本图像集合输入无监督模型进行特征提取,获得样本图像特征集合。然后采用聚类方式对样本图像特征集合进行特征聚类,获得特征分布,其中,特征分布包括多个样本图像特征类别以及每个类别对应的伪标签。基于获得的伪标签和分布损失函数,获得分布损失值。然后采用分布损失值对无监督模型进行参数调整,并进入下一次迭代训练。在多个迭代训练之后,获得中间特征提取器。
针对特定业务场景,在model 1上定义一个待训练的线性判决模型,将该待训练的线性判决模型定义为model 2,采用小批量图像样本对model 1和model 2进行联合微调训练,结合具体业务场景对模型的整体识别效果进行微调,得到已训练的异常行为识别模型。
采用神经网络和无监督聚类相结合方法,并通过和深度模型相融合的方式获得异常行为识别模型,有效解决了因商户的操作行为的随机性以及商户行为习惯的差异性,反映到具体的数据也上存在偏差,而无法对样本一一标识的问题,本申请可以实现在无标签数据的前提下,依然能够通过自训练识别异常行为,提高了操作行为识别的适用范围。其次,预先训练一个中间特征提取器,然后针对不同的业务场景,定义相应的线性判决模型,并采用中间特征提取器和线性判决模型联合微调训练即可获得异常行为识别模型,从而提高模型训练的效率,也降低了模型训练的资源消耗。
在一些实施例中,基于多个维度的初步风险评分,获得当前操作行为的风险判决结果,包括:对第一风险评分和第二风险评分进行加权求和,获得当前操作行为的目标风险评分;若目标风险评分大于预设阈值,则确定当前操作行为为风险行为;若目标风险评分小于等于预设阈值,则确定当前操作行为为安全行为。
具体地,将第一风险评分定义为A,第二风险评分定义为B,对第一风险评分和第二风险评分进行加权求和,得到当前操作行为的目标风险评分S,S的计算公式为以下公式(1):
S=α*A+β*B………… (1)
其中,α大于等于0.7,β小于等于0.3。
若目标风险评分大于预设阈值,则确定当前操作行为为风险行为;若目标风险评分小于等于预设阈值,则确定当前操作行为为安全行为。
举例来说,设定采集的商户的当前操作行为为操作行为1,采用已训练的异常行为识别模型确定操作行为1的第一风险评分为80分,第二风险评分为35分;设定α为0.7,β为0.3,则采用上述公式(1)可以获知,操作行为1的目标风险评分S为66.5分。
若预设阈值为65分,由于操作行为1的目标风险评分S大于预设阈值,则确定操作行为1为风险行为。
本申请实施例中,充分挖掘商户的操作行为与使用习惯之间的关系,来识别商户的操作行为是否为风险行为,充分利用了商户的历史信息,拓宽了对商户历史信息的分析维度,提高了操作行为识别的准确性。
在一些实施例中,若在判定周期内,目标对象的操作行为被判定为风险行为的次数大于风险阈值,则触发针对目标对象的告警和风险标记。
具体地,预先设置在判定周期内进行指定次数的操作行为识别。在针对目标对象执行指定次数的操作行为识别之后,统计被判定为风险行为的次数。若次数大于风险阈值,则对目标对象进行风险标记和警告。
举例来说,设定判定周期为24小时,风险阈值为3次。若在24小时内,服务端针对商户1执行了10次操作行为识别,其中,四次操作行为被判定为风险操作行为,那么服务端触发针对商户1的告警和风险标记。
本申请实施例中,通过对商户进行警告和风险标记,达到对商户操作行为进行合规管控的目的,为商户与机构的分级预警与管理提供参考。
基于相同的技术构思,本申请实施例提供一种操作行为识别装置结构示意图,如图5所示,该装置500包括:
获取模块501,用于获取目标对象的当前操作行为的文本描述信息,并将所述文本描述信息据转化为待识别图像;
处理模块502,用于通过已训练的异常行为识别模型,对所述待识别图像进行识别,获得所述当前操作行为在多个维度的初步风险评分;
所述处理模块502,还用于基于所述多个维度的初步风险评分,获得所述当前操作行为的风险判决结果。
可选地,所述获取模块501具体用于:
所述当前操作行为的文本描述信息是所述终端设备通过系统应用框架层采集获得的。
可选地,所述处理模块502具体用于:
将所述位置信息映射至二维空间中,获得操作轨迹;
基于所述发生时间信息,确定所述操作轨迹中每个轨迹点的颜色属性;
基于所述操作轨迹和所述每个轨迹点的颜色属性,获得所述待识别图像。可选地,所述处理模块502具体用于:
所述文本描述信息还包括压力信息;
所述将所述位置信息映射至二维空间中,获得操作轨迹之后,还包括:
基于所述压力信息,确定所述操作轨迹中每个轨迹点的大小;
所述基于所述操作轨迹、所述每个轨迹点的颜色属性,确定所述待识别图像,包括:
基于所述操作轨迹、所述每个轨迹点的颜色属性和所述每个轨迹点的大小,确定所述待识别图像。
可选地,所述处理模块502具体用于:
通过已训练的异常行为识别模型,对所述待识别图像进行识别,获得所述当前操作行为对应的目标风险评分,包括:
通过所述已训练的特征提取器,对所述待识别图像进行特征提取,获得目标图像特征;
通过所述已训练的线性判决模型,对所述目标图像特征进行判决,获得所述多个维度的初步风险评分。
可选地,所述处理模块502具体用于:
采用神经网络和无监督聚类相结合的方式,对待训练的特征提取器进行训练,获得中间特征提取器;
对所述中间特征提取器和待训练的线性判决模型进行联合微调训练,获得所述已训练的特征提取器和所述已训练的线性判决模型。
可选地,所述处理模块502具体用于:
所述采用神经网络和无监督聚类相结合的方式,对待训练的特征提取器进行训练,获得中间特征提取器,包括:
采用神经网络和无监督聚类相结合的方式,基于样本图像集合对待训练的特征提取器进行迭代训练,获得中间特征提取器,其中,每次迭代训练过程,包括以下步骤:
采用待训练的特征提取器,对样本图像进行特征提取,获得样本图像特征集合;
对所述样本图像特征集合进行聚类,获得多类样本图像特征以及每类样本图像特征对应的伪标签;
基于获得的伪标签,确定分布损失值,并采用所述分布损失值对所述待训练的特征提取器进行参数调整。
可选地,所述处理模块502具体用于:
所述多个维度的初步风险评分包括第一风险评分和第二风险评分,其中,第一风险评分用于表征所述当前操作行为的异常程度;所述第二风险评分用于表征所述当前操作行为与所述目标对象的历史操作行为的目标相似度。
可选地,所述处理模块502具体用于:
所述基于所述多个维度的初步风险评分,获得所述当前操作行为的风险判决结果,包括:
对所述第一风险评分和所述第二风险评分进行加权求和,获得所述当前操作行为的目标风险评分;
若所述目标风险评分大于预设阈值,则确定所述当前操作行为为风险行为;
若所述目标风险评分小于等于预设阈值,则确定所述当前操作行为为安全行为。
可选地,所述处理模块502具体用于:
若在判定周期内,所述目标对象的操作行为被判定为风险行为的次数大于风险阈值,则触发针对所述目标对象的告警和风险标记。
通过将商户操作行为的文本描述信息转化为图像信息,使得数据更直观且更加贴近监控场景,既便于后续采用异常行为识别模型对操作行为进行自监督识别,确定操作行为是否为风险行为,同时提高了操作行为识别的准确性。其次,不需要预设风险操作行为策略来识别商户操作行为,避免存储资源浪费,提高了操作行为识别的效率。
基于相同的技术构思,本申请实施例提供了一种计算机设备,该计算机设备可以是图1所示的终端设备或者服务端,如图6所示,包括至少一个处理器601,以及与至少一个处理器连接的存储器602,本申请实施例中不限定处理器601与存储器602之间的具体连接介质,图6中处理器601和存储器602之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中,存储器602存储有可被至少一个处理器601执行的指令,至少一个处理器601通过执行存储器602存储的指令,可以执行上述操作行为识别方法的步骤。
其中,处理器601是计算机设备的控制中心,可以利用各种接口和线路连接计算机设备的各个部分,通过运行或执行存储在存储器602内的指令以及调用存储在存储器602内的数据,从而实现对目标对象当前操作行为的风险识别。可选的,处理器601可包括一个或多个处理单元,处理器601可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器601中。在一些实施例中,处理器601和存储器602可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器601可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器602作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机设备存取的任何其他介质,但不限于此。本申请实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
基于同一发明构思,本申请实施例提供了一种计算机可读存储介质,其存储有可由计算机设备执行的计算机程序,当程序在计算机设备上运行时,使得计算机设备执行上述操作行为识别方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种操作行为识别方法,其特征在于,包括:
获取目标对象的当前操作行为的文本描述信息,并将所述文本描述信息据转化为待识别图像;
通过已训练的异常行为识别模型,对所述待识别图像进行识别,获得所述当前操作行为在多个维度的初步风险评分;
基于所述多个维度的初步风险评分,获得所述当前操作行为的风险判决结果。
2.如权利要求1所述的方法,其特征在于,所述当前操作行为的文本描述信息是所述终端设备通过系统应用框架层采集获得的。
3.如权利要求1所述的方法,其特征在于,所述文本描述信息包括所述当前操作行为的发生时间信息和位置信息;
所述将所述文本描述信息据转化为待识别图像,包括:
将所述位置信息映射至二维空间中,获得操作轨迹;
基于所述发生时间信息,确定所述操作轨迹中每个轨迹点的颜色属性;
基于所述操作轨迹和所述每个轨迹点的颜色属性,获得所述待识别图像。
4.如权利要求3所述的方法,其特征在于,所述文本描述信息还包括压力信息;
所述将所述位置信息映射至二维空间中,获得操作轨迹之后,还包括:
基于所述压力信息,确定所述操作轨迹中每个轨迹点的大小;
所述基于所述操作轨迹、所述每个轨迹点的颜色属性,确定所述待识别图像,包括:
基于所述操作轨迹、所述每个轨迹点的颜色属性和所述每个轨迹点的大小,确定所述待识别图像。
5.如权利要求1所述的方法,其特征在于,所述已训练的异常行为识别模型包括已训练的特征提取器和已训练的线性判决模型;
通过已训练的异常行为识别模型,对所述待识别图像进行识别,获得所述多个维度的初步风险评分,包括:
通过所述已训练的特征提取器,对所述待识别图像进行特征提取,获得目标图像特征;
通过所述已训练的线性判决模型,对所述目标图像特征进行判决,获得所述多个维度的初步风险评分。
6.如权利要求5所述的方法,其特征在于,所述已训练的异常行为识别模型是采用以下方式训练获得的:
采用神经网络和无监督聚类相结合的方式,对待训练的特征提取器进行训练,获得中间特征提取器;
对所述中间特征提取器和待训练的线性判决模型进行联合微调训练,获得所述已训练的特征提取器和所述已训练的线性判决模型。
7.如权利要求6所述的方法,其特征在于,所述采用神经网络和无监督聚类相结合的方式,对待训练的特征提取器进行训练,获得中间特征提取器,包括:
采用神经网络和无监督聚类相结合的方式,基于样本图像集合对待训练的特征提取器进行迭代训练,获得中间特征提取器,其中,每次迭代训练过程,包括以下步骤:
采用待训练的特征提取器,对样本图像进行特征提取,获得样本图像特征集合;
对所述样本图像特征集合进行聚类,获得多类样本图像特征以及每类样本图像特征对应的伪标签;
基于获得的多类样本图像特征以及每类样本图像特征对应的伪标签,确定分布损失值,并采用所述分布损失值,通过反向传播对所述待训练的特征提取器进行参数调整。
8.如权利要求1至7任一所述的方法,其特征在于,所述多个维度的初步风险评分包括第一风险评分和第二风险评分,其中,第一风险评分用于表征所述当前操作行为的异常程度;所述第二风险评分用于表征所述当前操作行为与所述目标对象的历史操作行为的目标相似度。
9.如权利要求8所述的方法,其特征在于,所述基于所述多个维度的初步风险评分,获得所述当前操作行为的风险判决结果,包括:
对所述第一风险评分和所述第二风险评分进行加权求和,获得所述当前操作行为的目标风险评分;
若所述目标风险评分大于预设阈值,则确定所述当前操作行为为风险行为;
若所述目标风险评分小于等于预设阈值,则确定所述当前操作行为为安全行为。
10.如权利要求9所述的方法,其特征在于,若在判定周期内,所述目标对象的操作行为被判定为风险行为的次数大于风险阈值,则触发针对所述目标对象的告警和风险标记。
11.一种操作行为识别装置,其特征在于,包括:
获取模块,用于获取目标对象的当前操作行为的文本描述信息,并将所述文本描述信息据转化为待识别图像;
处理模块,用于通过已训练的异常行为识别模型,对所述待识别图像进行识别,获得所述当前操作行为在多个维度的初步风险评分;
所述处理模块,还用于基于所述多个维度的初步风险评分,获得所述当前操作行为的风险判决结果。
12.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1~9任一权利要求所述方法的步骤。
13.一种计算机可读存储介质,其特征在于,其存储有可由计算机设备执行的计算机程序,当所述程序在计算机设备上运行时,使得所述计算机设备执行权利要求1~9任一所述方法的步骤。
CN202210972061.9A 2022-08-12 2022-08-12 一种操作行为识别方法及装置 Pending CN115439928A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210972061.9A CN115439928A (zh) 2022-08-12 2022-08-12 一种操作行为识别方法及装置
PCT/CN2022/136238 WO2024031881A1 (zh) 2022-08-12 2022-12-02 一种操作行为识别方法及装置
TW111149156A TWI835478B (zh) 2022-08-12 2022-12-21 一種操作行為識別方法、裝置、電腦設備及電腦可讀存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210972061.9A CN115439928A (zh) 2022-08-12 2022-08-12 一种操作行为识别方法及装置

Publications (1)

Publication Number Publication Date
CN115439928A true CN115439928A (zh) 2022-12-06

Family

ID=84241723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210972061.9A Pending CN115439928A (zh) 2022-08-12 2022-08-12 一种操作行为识别方法及装置

Country Status (2)

Country Link
CN (1) CN115439928A (zh)
WO (1) WO2024031881A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116720181A (zh) * 2023-05-06 2023-09-08 武汉优尼思科技有限公司 应对智慧数字服务的可视化操作风险预测方法及软件产品

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309840B (zh) * 2018-03-27 2023-08-11 创新先进技术有限公司 风险交易识别方法、装置、服务器及存储介质
CN110046781B (zh) * 2018-12-04 2020-07-07 阿里巴巴集团控股有限公司 商户风险防控方法及装置
CN110399925B (zh) * 2019-07-26 2023-09-19 腾讯科技(武汉)有限公司 账号的风险识别方法、装置及存储介质
CN111913860B (zh) * 2020-07-15 2024-02-27 中国民航信息网络股份有限公司 一种操作行为分析方法及装置
CN112288831A (zh) * 2020-10-29 2021-01-29 中国人民解放军陆军装甲兵学院 基于生成对抗网络的场景图像生成方法和装置
CN112906617B (zh) * 2021-03-08 2023-05-16 济南中凌电子科技有限公司 一种基于手部检测的驾驶员异常行为识别方法与系统
CN112926699A (zh) * 2021-04-25 2021-06-08 恒生电子股份有限公司 异常对象识别方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116720181A (zh) * 2023-05-06 2023-09-08 武汉优尼思科技有限公司 应对智慧数字服务的可视化操作风险预测方法及软件产品

Also Published As

Publication number Publication date
WO2024031881A1 (zh) 2024-02-15
TW202407578A (zh) 2024-02-16

Similar Documents

Publication Publication Date Title
CN110909165B (zh) 数据处理方法、装置、介质及电子设备
CN112163008B (zh) 基于大数据分析的用户行为数据处理方法及云计算平台
US20230289828A1 (en) Data processing method, computer device, and readable storage medium
WO2017220140A1 (en) Life insurance system with fully automated underwriting process for real-time underwriting and risk adjustment, and corresponding method thereof
CN105574544A (zh) 一种数据处理方法和装置
CN112560829B (zh) 人群数量确定方法、装置、设备及存储介质
CN112329816A (zh) 数据分类方法、装置、电子设备和可读存储介质
US20230419402A1 (en) Systems and methods of optimizing machine learning models for automated anomaly detection
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
CN112883990A (zh) 数据分类方法及装置、计算机存储介质、电子设备
CN113486983A (zh) 一种用于反欺诈处理的大数据办公信息分析方法及系统
CN115439928A (zh) 一种操作行为识别方法及装置
CN111191720A (zh) 一种业务场景的识别方法、装置及电子设备
CN113010785A (zh) 用户推荐方法及设备
CN111797942A (zh) 用户信息的分类方法及装置、计算机设备、存储介质
CN113627542A (zh) 一种事件信息处理方法、服务器及存储介质
CN110570301B (zh) 风险识别方法、装置、设备及介质
CN113706207A (zh) 基于语义解析的订单成交率分析方法、装置、设备及介质
CN113987351A (zh) 基于人工智能的智能推荐方法、装置、电子设备及介质
CN110033031B (zh) 群组检测方法、装置、计算设备和机器可读存储介质
TWI835478B (zh) 一種操作行為識別方法、裝置、電腦設備及電腦可讀存儲介質
CN112434648A (zh) 一种墙体形状变化检测方法及系统
JP2021018466A (ja) ルール抽出装置、情報処理装置、ルール抽出方法及びルール抽出プログラム
CN114418752B (zh) 无类型标签用户数据的处理方法、装置、电子设备和介质
CN114625786B (zh) 一种基于风控技术的动态数据挖掘方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40077449

Country of ref document: HK