CN110705996A - 基于特征掩码的用户行为识别方法、系统、及装置 - Google Patents

基于特征掩码的用户行为识别方法、系统、及装置 Download PDF

Info

Publication number
CN110705996A
CN110705996A CN201910990629.8A CN201910990629A CN110705996A CN 110705996 A CN110705996 A CN 110705996A CN 201910990629 A CN201910990629 A CN 201910990629A CN 110705996 A CN110705996 A CN 110705996A
Authority
CN
China
Prior art keywords
matrix
behavior
feature
user
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910990629.8A
Other languages
English (en)
Other versions
CN110705996B (zh
Inventor
王宝坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN201910990629.8A priority Critical patent/CN110705996B/zh
Publication of CN110705996A publication Critical patent/CN110705996A/zh
Application granted granted Critical
Publication of CN110705996B publication Critical patent/CN110705996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种基于特征掩码的用户行为识别方法。所述方法包括：获取多组与用户行为相关的行为特征；采用行为数据矩阵表示所述多组与用户行为相关的行为特征；至少基于所述行为数据矩阵、注意力矩阵以及与所述行为特征相关的特征掩码矩阵，识别所述用户行为在目标应用场景中的风险；其中，所述与行为特征相关的特征掩码矩阵中的元素的取值为1或者0；1对应于在所述目标应用场景中需要关注的用户行为特征；0对应于在所述目标应用场景中不需要关注的用户行为特征。所述方法可以有效提高用户行为的识别效率，节约计算资源，并能提高计算模型的稳定性。

Description

基于特征掩码的用户行为识别方法、系统、及装置
技术领域
本说明书实施例涉及数据处理技术领域，特别涉及一种基于特征掩码的用户行为识别方法、系统、及装置。
背景技术
行为特征在不同个体之间存在很大的差异性，是风控领域中非常重要且经常使用的一种特征。非正常的行为特征(如盗用、欺诈等)在用户端的操作方式与正常用户通常很不一样。比如在盗用过程中，盗用者在盗取账户之前，可能会存在一些手机换绑、修改密码等行为，这种行为在发生时通常会判断为高危，系统会发出核身校验。
在风控系统中，数据中的序列之间通常存在相关关系，由于一个单一的循环神经网络模型往往不能抓住序列数据中前后事件的相关性程度。为此在有些算法中，会增加注意力机制来捕捉这种前后关联。注意力机制会考虑所有时刻的输入与当前输入之间的关系。由于数据序列中存在很多缺失值，会导致数据比较稀疏，并且在训练数据不是特别充分的情况下，这种注意力机制可能会“发散”，发散带来的后果就是注意力机制在其中并没有增加作用，反而可能因为参数量增加带来训练的过拟合，影响模型效果。
因此，需要提出一种更加稳定的注意力机制，以对风控系统进行高危行为识别。
发明内容
本说明书实施例的一个方面提供一种基于特征掩码的用户行为识别方法。所述方法包括以下操作：获取多组与用户行为相关的行为特征；采用行为数据矩阵表示所述多组与用户行为相关的行为特征；至少基于所述行为数据矩阵、注意力矩阵以及与所述行为特征相关的特征掩码矩阵，识别所述用户行为在目标应用场景中的风险；其中，所述与行为特征相关的特征掩码矩阵中的元素的取值为1或者0；1对应于在所述目标应用场景中需要关注的用户行为特征；0对应于在所述目标应用场景中不需要关注的用户行为特征。
本说明书实施例的一个方面提供一种基于特征掩码的用户行为识别系统。所述系统包括获取模块以及确定模块。所述获取模块用于获取多组与用户行为相关的行为特征。所述确定模块用于采用行为数据矩阵表示所述多组与用户行为相关的行为特征，以及用于至少基于所述行为数据矩阵、注意力矩阵以及与所述行为特征相关的特征掩码矩阵，识别所述用户行为在目标应用场景中的风险。其中，所述与行为特征相关的特征掩码矩阵中的元素的取值为1或者0；1对应于在所述目标应用场景中需要关注的用户行为特征；0对应于在所述目标应用场景中不需要关注的用户行为特征。
本说明书实施例的一个方面提供一种基于特征掩码的用户行为识别装置。所述装置所包括至少一个处理器以及至少一个存储器。所述至少一个存储器可以用于存储指令。所述处理器可以用于执行所述指令，实现如上所述的基于特征掩码的用户行为识别方法。
附图说明
本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书的一些实施例所示的示例性用户行为识别系统的示意图；
图2是根据本说明书的一些实施例所示的示例性处理设备的示框图；
图3是根据本说明书的一些实施例所示的基于特征掩码的用户行为识别方法的示例性流程图；
图4是根据本说明书的一些实施例所示的获取特征掩码矩阵的示例性流程图；
图5是根据本说明书的一些实施例所示的获取特征掩码矩阵的另一示例性流程图；
图6是根据本说明书的一些实施例所示的识别用户行为的风险示例性流程图；
图7是根据本说明书的一些实施例所示的示例性处理设备的框图；
图8是根据本说明书一些实施例所示的识别用户行为的风险的示例性示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1为根据本说明书的一些实施例所示的示例性用户行为识别系统的示意图。在一些实施例中，所述用户行为识别系统可以利用特征掩码识别用户行为在场景中的安全性。如图1所示，该用户行为识别系统100可以包括处理设备110、存储设备120、终端130、网络140。
本说明书处理设备110可以被配置为处理与用户行为有关的信息和/或数据。例如，处理设备110可以将用户行为数据变换为每个时刻的向量表示。又例如，处理设备110可以基于预设算法从用户行为数据中提取行为特征，并以矩阵(例如，行为数据矩阵)的方式表示。再例如，处理设备110可以基于用户行为数据矩阵、注意力矩阵以及与行为特征相关的特征掩码矩阵，识别用户行为在目标应用场景中的风险。在一些实施例中，处理设备110可以包括一个或多个处理引擎(例如，单核心处理引擎或多核心处理器)。仅作为范例，处理设备110可以包括中央处理器(中央处理器)、特定应用集成电路(ASIC)、专用指令集处理器(ASIP)、图像处理器(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可程序门阵列(FPGA)、可程序逻辑装置(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等中的一种或多种组合。
终端130可以是带有数据获取、存储和/或发送功能的设备，例如，智能手机。终端130上可以包括应用程序，终端130的使用者可以在应用程序上执行各种行为操作并产生行为数据，终端130通过应用程序可以实现上述目的。在一些实施例中，终端130的使用者可以是应用程序的用户。例如，用户可以在某一个地点登录应用程序，产生行为数据。又例如，用户可以在某一时间和某一地点使用应用程序进行密码修改，产生行为数据。在一些实施例中，终端130可以包括但不限于移动设备130-1、平板电脑130-2、笔记本电脑130-3、台式电脑130-4等或其任意组合。示例性的移动设备130-1可以包括但不限于智能手机、个人数码助理(Personal Digital Assistance，PDA)、收银机、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备、显示增强设备等或其任意组合。在一些实施例中，终端130可以将获取到的数据发送至用户行为识别系统100中的一个或多个设备。例如，终端130可以将获取到的数据传输至处理设备110或存储设备120。在一些实施例中，获取到的数据可以是用户行为的相关数据，例如，用户登录数据、修改密码数据、支付数据等。仅作为示例，登录数据可以包括登录地点、登录设备信息、登录时间等。修改密码数据可以包括修改地点、设备信息、修改时间等。支付数据可以包括收款信息、支付位置、支付时间、支付金额、设备信息等。
在一些实施例中，终端130可以包括至少一个网络端口。该至少一个网络端口可以被配置为经由网络140向用户行为识别系统100(例如，处理设备110、存储设备120)中的一个或以上组件发送信息和/或从其接收信息。
存储设备120可以存储数据和/或指令。存储设备120可以存储从终端130采集到的数据。所述数据可以是与用户行为相关的数据。例如，用户登录数据比如用户信息、登录地点、登陆时间以及设备信息等。在一些实施例中，存储设备120可以存储供处理设备110执行或使用的数据和/或指令，处理设备110可以通过执行或使用所述数据和/或指令以实现本说明书中的示例性方法。在一些实施例中，存储设备120可以与网络140连接实现与用户行为识别系统100中的一个或多个部件(例如，处理设备110、终端130等)之间的通信。用户行为识别系统100的一个或多个部件可以通过网络140访问存储在存储设备120中的数据或指令。在一些实施例中，存储设备120可以直接与用户行为识别系统100的一个或多个部件(例如，处理设备110、终端130等)连接或通信。在一些实施例中，存储设备120可以是处理设备110的一部分。在一些实施例中，存储设备120可包括大容量储存器、可移动储存器、易失性读写内存、只读存储器(ROM)等或其任意组合。示例性的大容量储存器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性易失性读写存储器可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取存储器(DRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、静态随机存取存储器(SRAM)、晶闸管随机存取存储器(T-RAM)和零电容随机存取存储器(Z-RAM)等。示例性只读存储器可以包括掩模型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(PEROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)和数字多功能磁盘只读存储器等。在一些实施例中，所述存储设备120可在云平台上实现。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
网络140可以促进信息和/或数据的交换。在一些实施例中，用户行为识别系统100(例如，处理设备110、存储设备120和终端130)的一个或以上部件可以经由网络140向用户行为识别系统100中的其他部件发送信息和/或数据。例如，处理设备110可以经由网络140从终端130获得用户行为数据。又例如，处理设备110可以通过网络140向用户终端130发送危险用户行为信息。在一些实施例中，网络140可以为任意形式的有线或无线网络，或其任意组合。仅作为示例，网络140可以是有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络、近场通讯(NFC)网络、全球移动通讯系统(GSM)网络、码分多址(CDMA)网络、时分多址(TDMA)网络、通用分组无线服务(GPRS)网络、增强数据速率GSM演进(EDGE)网络、宽带码分多址接入(WCDMA)网络、高速下行分组接入(HSDPA)网络、长期演进(LTE)网络、用户数据报协议(UDP)网络、传输控制协议/互联网协议(TCP/IP)网络、短讯息服务(SMS)网络、无线应用协议(WAP)网络、超宽带(UWB)网络、移动通信(1G、2G、3G、4G、5G)网络、Wi-Fi、Li-Fi、窄带物联网(NB-IoT)、红外通信等中的一种或多种组合。在一些实施例中，网络140可包括一个或者多个网络接入点。例如，网络140可以包括有线或无线网络接入点，例如基站和/或互联网交换点，基于特征掩码的用户行为识别系统100的一个或以上组件可以通过网络交换点连接到网络140以交换数据和/或信息。
图2是根据本说明书的一些实施例所示的示例性处理设备的示框图。处理设备110可以包括用来实现本说明书实施例中所描述的系统的任意部件。例如，处理设备110可以用过硬件、软件程序、固件或其组合实现。为了方便起见，图中仅绘制了一个处理设备，但是本说明书实施例所描述的与基于特征掩码的用户行为识别系统100相关的计算功能可以以分布的方式、由一组相似的平台所实施，以分散系统的处理负荷。
在一些实施例中，处理设备110可以包括处理器210、存储器220、输入/输出部件230和通信端口240。在一些实施例中，所述处理器(例如，CPU)210，可以以一个或多个处理器的形式执行程序指令。在一些实施例中，所述存储器220包括不同形式的程序存储器和数据存储器，例如，硬盘、只读存储器(ROM)、随机存储器(RAM)等，用于存储由计算机处理和/或传输的各种各样的数据文件。在一些实施例中，所述输入/输出部件230可以用于支持处理设备110与其他部件之间的输入/输出。在一些实施例中，所述通信端口240可以与网络连接，用于实现数据通信。示例性的处理设备可以包括存储在只读存储器(ROM)、随机存储器(RAM)和/或其他类型的非暂时性存储介质中的由处理器210执行的程序指令。本说明书实施例的方法和/或流程可以以程序指令的方式实现。处理设备110也可以通过网络通讯接收本说明书中披露的程序和数据。
为理解方便，图2中仅示例性绘制了一个处理器。然而，需要注意的是，本说明书实施例中的处理设备110可以包括多个处理器，因此本说明书实施例中描述的由一个处理器实现的操作和/或方法也可以共同地或独立地由多个处理器实现。例如，如果在本说明书中，处理设备110的处理器执行步骤1和步骤2，应当理解的是，步骤1和步骤2也可以由处理设备110的两个不同的处理器共同地或独立地执行(例如，第一处理器执行步骤1，第二处理器执行步骤2，或者第一和第二处理器共同地执行步骤1和步骤2)。
图3为根据本说明书的一些实施例所示的基于特征掩码的用户行为识别方法的示例性流程图。在一些实施例中，方法300中的一个或以上步骤可以在图1所示的系统100中实现。例如，方法300中的一个或以上步骤可以作为指令的形式存储在存储设备120和/或存储器220中，并被处理设备110和/或处理器210调用和/或执行。
步骤310，获取多组与用户行为相关的行为特征。步骤310可以由获取模块710执行。
在一些实施例中，所述与用户行为相关的行为特征可以是用于表述用户行为(例如，用户对终端130执行的操作)的字段和/或数值，可以包括：行为事件、行为类别、与行为相关的设备状态、与行为相关的数值中的一个或以上的任意组合。所述行为事件可以是指用户对于终端130所执行的具体操作，例如，登陆安装于终端130上的应用程序的账号、使用支付类应用程序进行订单支付等。所述行为类别可以是指行为是否具备风险的分类，可以是对行为风险度程度的分类，也可以是行为是否需要重点关注的分类。例如：高风险行为、中风险行为和低风险行为。针对不同的场景，需要关注的行为类别可能不同，以违规注册新用户为例，用户注册使用电脑的IP地址、MAC地址、注册时间点、注册使用的信息等属于高风险类别，而与注册无关的用户行为，例如：用户使用其中某一用户账号的转账记录可能就属于低风险行为。类别的划分与应用场景有比较大的关联，在不同的应用场景中，相同的行为可能被划分到不同的类别。所述与行为相关的设备状态可以是指用户使用的终端130的性质和/或状态，例如，何种操作系统、是否处于常驻地，是否为用户指定(或绑定)的设备等。所述与行为相关的数值可以包括发生行为的时间、行为中产生的金额、执行相同行为的次数等。在一些实施例中，所述行为特征还可以包括环境状态，例如用户行为发生时所处的地点等。作为示例，假定用户的某一次行为为：9月1日(时间)在非常驻地北京市(操作地点)使用未绑定手机(设备类型)进行了支付操作(事件名称)，支付了100元(金额值)，则所述行为特征可以是支付(行为事件)、未绑定手机(与行为相关的设备状态)、9月1日/100元(与行为相关的数值)、非常驻地北京市(环境状态)。在一些实施例中，所述行为特征可以是基于时序获取的。一组行为特征可以对应于一个时刻。所述时刻为用户行为发生的时间点。所获取的多组行为特征可以是一定时间范围内所发生的用户行为相关的多组行为特征。例如，获取的多组行为特征是一个月内用户的行为相关的特征。每一组行为特征对应了该一个月内的一个具体时刻。在本说明书中，行为特征和用户行为特征可以互换使用。
在一些实施例中，获取模块710可以通过与终端130和/或存储设备120进行通信以获取与用户行为相关的行为特征。例如，终端130可以获取用户对于终端130的操作内容比如用户进行支付操作数据。获取模块710可以与终端130进行通信后进行数据获取。又例如，获取模块710可以访问读取存储在终端130或存储设备120上的历史数据(例如，历史支付数据等)。
步骤320，采用行为数据矩阵表示所述多组与用户行为相关的行为特征。步骤320可以由确定模块720执行。
在一些实施例中，所述行为数据矩阵可以是以矩阵形式对上一步骤所述行为特征的数学表示。在所述行为数据矩阵中，每一行可以表示一组行为特征。仅作为示例，所述行为数据矩阵可以表示为：
Ft＝[Et，Rt，Ut，Ct] (1)
其中，t表示第t组行为特征，t∈[1，N]，N表示所述多组行为特征的组数，E表示行为事件，R表示行为类别，U表示与行为相关的设备状态，C表示与行为相关的数值。E、R和U也可以被称为行为特征的枚举值，C也可以被称为行为特征的连续值。对于公式(1)，应当理解的是，E、R，、U、C所表示的行为特征并非穷举所有的行为特征，而只是以这几种常用的类型进行说明，根据不同的应用场景，所述行为特征可以由更多数据构成。并且，对于每组行为特征，E、R、U、C并非都会被包含在内，可以由一个或以上的缺失值。
在一些实施例中，对于枚举值类型的行为特征(包括行为事件、行为类别、与行为相关的设备状态等)，可以进行编码，使其转换为向量表示。所述编码的方式包括但不限于one-hot编码、dummy编码、TF-IDF编码等。在一些实施例中，可以使用one-hot对枚举值类型的行为特征进行编码。枚举值类型的行为特征经过one-hot编码后可以得到其向量表示。所述向量中的元素只包含0和1。将one-hot编码获得的向量输入Embedding嵌入层，可以获得一个低维的向量表示，以提高后续处理的计算效率。例如，枚举值类型的行为特征“Et＝手机换绑”，使用one-hot对其编码可以获得一个高维(例如，52维)的向量表示[0，0，1，0，…，0]，该向量包含52个元素，其中51个元素为0。将该向量输入到Embedding嵌入层(例如，嵌入矩阵中每个索引的潜在因子数为2)后，可以获得一个低维的向量表示[22，35]，向量[22，35]可以表示“手机换绑”行为。在一些实施例中，对于连续值类型的行为特征(包括与行为相关的数值)可以直接进行区间切割(Bin)获得切割区间的bin值。所获取的bin值可以用以表示连续值类型的行为特征。
在一些实施例中，bin值与Embedding嵌入层获得的低维向量可以进行拼接，拼接完成后可以获得每一组行为特征时刻统一的向量表示。将一定时间范围内的多个时刻的对应的多个行为特征的向量表示进行拼接，可以获得表示该一定时间范围内的多组行为特征的行为数据矩阵。作为示例，所述行为数据矩阵可以表示为如下形式：
其中，如公式(2)所示，行为数据矩阵F的大小为D×N，D表示每个时刻对应的行为特征的向量的维度，也可以理解为行为特征所包含的特征的个数，N表示time step的数量，即时刻数，也即行为特征的组数。例如，行为数据矩阵F的第一行表示每一个时刻(N个不同的时刻)的第一维(特征)的向量。
步骤330，至少基于所述行为数据矩阵、注意力矩阵以及与所述行为特征相关的特征掩码矩阵，识别所述用户行为在目标应用场景中的风险。步骤330可以由确定模块720执行。
在一些实施例中，所述注意力矩阵可以是在用户行为识别过程中用于对多组行为特征(对应不同时刻的行为特征)建立关联关系的矩阵，其最初可以由随机初始化生成，包括但不限于截断高斯初始化、Xavier初始化、He初始化等。经过调整，例如，注意力矩阵中用于指示强关联关系的值可以被增大，所述注意力矩阵可以最终被确定。可以理解，所述注意力矩阵可以是与所述多组行为特征相关的。例如，所述注意力矩阵中的值与多组行为特征之间的关联关系相关。在一些实施例中，示例性的注意力矩阵可以表示为如下形式：
其中，如公式(3)所示，注意力矩阵P的大小为N×N，其中N表示时刻数。
在一些实施例中，所述特征掩码(mask)矩阵可以是在用户行为识别过程中用于对多组行为特征(对应不同时刻的行为特征)不需要进行关注的特征进行屏蔽的矩阵，其可以基于规则生成。所述特征掩码矩阵中的元素只包含0和1。所述特征掩码矩阵中的元素0对应于在所述目标应用场景中不需要关注的用户行为特征；所述特征掩码矩阵中的元素1对应于在所述目标应用场景中需要关注的用户行为特征。所述目标应用场景可以被理解为本说明书所披露的技术方案所适配的领域。例如，金融支付下的风险管控。需要关注的用户行为特征可以是每组行为特征所包含的已有的特征，和/或针对所述目标应用场景而言的感兴趣特征。不需要关注的用户行为特征可以是每组行为特征不包含的特征，和/或针对所述目标应用场景而言的非感兴趣特征。例如，假定某一组行为特征包括行为事件、行为类别、以及与行为相关的设备状态，则需要关注的用户行为特征即为上述三个，与行为相关的数值则为不需要关注的用户行为特征。又例如，假定多组行为特征中包含了环境状态(例如，行为发生地)，则需要关注的用户行为特征可以是用户非常驻地，而不需要关注的用户行为特征可以是用户的常驻地。
在一些实施例中，所述规则可以根据所述目标应用场景中的统计或经验制定。例如，可以对用户行为数据输入有缺失值的行为特征进行屏蔽。又例如，可以对用户行为数据输入中不感兴趣的行为特征进行屏蔽。作为示例，所述特征掩码矩阵可以表示为如下形式：
Figure BDA0002237748070000091
其中，如公式(4)所示，特征掩码矩阵M的大小为D×N，其中D表示每个时刻的表示对应的行为特征的向量的维度，N表示时刻数(多组行为特征的组数)。关于特征掩码矩阵的更详细内容可以参见图4、图5的相关描述。
在一些实施例中，所述基于所述行为数据矩阵、注意力矩阵以及与所述行为特征相关的特征掩码矩阵，识别所述用户行为在目标应用场景中的风险包括：将所述行为数据矩阵、注意力矩阵以及与所述行为特征相关的特征掩码矩阵进行运算，通过运算获得用户行为的风险评分，并基于风险评分识别所述用户行为在目标应用场景中的风险。所述运算可以是基于深度神经网络的运算。所述深度神经网络可以包括但不限于循环神经网络(RNN)、长短时记忆神经网络(LSTM)、门限循环单元(GRU)等。所述深度神经网络的输入可以是由所述行为数据矩阵、所述注意力矩阵以及所述特征掩码矩阵所确定的行为数据权值矩阵。所述行为权值矩阵中的值可以表示所述多组行为特征在识别用户行为在所述目标应用场景中风险时所占的权重。所述风险评分可以是深度神经网络的输出。所述风险评分可以是0～1之间的数值，其中0为低风险，1为高风险。在一些实施例中，可以为风险评分设定一个阈值，高于阈值的风险评分输出为高风险，低于阈值的风险评分输出为低风险。所述识别所述用户行为在目标应用场景中的风险可以用于风险控制领域。例如，可以用于识别危险用户行为，如盗用、欺诈、垃圾注册、冒用、薅羊毛等用户行为，并对用户进行风险提示或通过处理设备110对风险行为进行管控。关于识别用户行为在目标应用场景中的风险的具体描述可以参考图6。
可以理解，本说明书所披露的技术方案可以基于扩展的深度神经网络实现。参见图8，图8为根据本说明书的一些实施例所示的示例性扩展后的深度神经网络。所述深度神经网络以循环神经网络(RNN)为例。如图8所示，拓展的深度神经网络可以包括输入层810、基于特征掩码的注意力层820、循环神经网络830以及全连接层840。输入层810可以将获取的用户行为特征通过编码以及嵌入转换为时序上的向量表示，并将这些向量合并为行为数据矩阵。所述编码可以包括但不限于one-hot编码、dummy编码、TF-IDF编码等。基于特征掩码的注意力层820可以对输入层810输入的行为数据矩阵进行处理。所述处理可以是基于注意力矩阵以及特征掩码矩阵对行为数据矩阵进行运算，获得行为数据权值矩阵，并作为循环神经网络层830的输入。所述运算的过程可以参考图6。所述行为数据权值矩阵中，每个时刻的向量都与其他时刻的向量建立了相关关系，即不同组的行为特征之间已建立了相关关系。循环神经网络层830可以对输入的行为数据权值矩阵的行为序列进行特征提取，而其时序特性则捕捉到了输入在不同时间上的相关关系。从循环神经网络层830得到特征之后，全连接层840先将每个时刻的输出进行拼接汇总，然后接上一个节点的全连接。全连接层840最后一层的激活函数可以包括但不限于Sigmoid函数、Tanh函数、Relu函数以及Swish函数等。优选地，全连接层的激活函数可以选择sigmoid函数，将输出归一化到0～1之间，表示该行为序列高危的程度。通过将全连接层840的输出作为对应与多组行为特征的标签，可以对扩展的深度神经网络进行参数更新。参数更新可以是使用随机梯度下降的方法进行。例如，前向计算结束后，可以计算行为实际结果与标签之前的残差，残差使用交叉熵损失函数表示，然后分别求残差与各权重的偏导，最后进行梯度更新。需要注意的是，基于规则计算得到的掩码矩阵不需要进行梯度更新。
在一些实施例中，所述深度神经网络和/或所述注意力矩阵可以被更新。更新操作可以由更新模块730执行。所述更新操作可以包括多种。在一些实施例中，在确定对应于所述用户行为的行为实际结果后，更新模块730可以将所述行为实际结果作为标签，将对应的多组行为特征作为输入样本，重新对所述深度神经网络进行训练以更新神经网络参数。同时，更新模块730还可以基于所述行为实际结果，对所述注意力矩阵中的值进行调整。例如，增大或减小某些关联关系对应的值。在一些实施例中，更新模块730可以确定所述行为实际结果与所识别的用户行为风险之间的差异，利用随机梯度下降以及反向传播的方法，对所述深度神经网络以及所述注意力矩阵进行参数更新。所述参数更新可以使模型递归性地逼近最小偏差模型，使模型的输出更稳定。示例性的参数更新可以包括：计算结果与标签之间的残差，所述残差使用交叉熵损失函数表示；分别求残差与各权重的偏导；进行梯度更新。具体描述与公知知识类似，在此不再赘述。
应当注意的是，上述有关流程300的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程300进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，步骤310和步骤320可以合并为一个步骤，由获取模块710在获取用户行为数据后直接对用户行为数据进行处理，将其转换为行为特征的数学表示。又例如，步骤330可以拆分为步骤330-1和步骤330-2。在步骤330-1进行风险识别；在步骤330-2中进行参数更新。还例如，流程300中的所有步骤可以在包括一组指令的计算机可读介质中实现。指令可以以电子流或电信号的形式传输。
图4为根据本说明书的一些实施例所示的获取特征掩码矩阵的示例性流程图。在一些实施例中，方法400中的一个或以上步骤可以在图1所示的系统100中实现。例如，方法400中的一个或以上步骤可以作为指令的形式存储在存储设备120和/或存储器220中，并被处理设备110和/或处理器210调用和/或执行。在一些实施例中，方法400可以由获取模块710执行。
步骤410，获取初始矩阵。
在一些实施例中，所述初始矩阵可以是预先设定的初始掩码矩阵。所述初始矩阵的元素值可以全部为1。所述初始矩阵的行数与所述多组行为特征中包含最多特征个数的一组行为特征的特征个数相同，所述初始矩阵的列数与所述行为特征的组数相同。可以理解，不同的用户行为导致对应的行为特征所包含的特征个数不一样。例如，账号登录和交易支付两种行为，前者不存在与行为相关的数值(例如，金额)这一特征。由于需要保证初始矩阵的形式准确性，因此可以将所述初始矩阵的行数设定为与所述多组行为特征中包含最多特征个数的一组行为特征的特征个数相同，列数设定为所述行为特征的组数相同。每一行来表示不同组行为特征的同一类型特征，每一列来表示同一组行为特征的不同类型特征。
步骤420，确定每组行为特征的缺失元素。
在一些实施例中，所述缺失元素可以是该行为特征中不存在，但存在于其他一组或多组行为特征的一个或以上特征类型。可以理解，对应于不同时刻的用户的行为特征，由于用户的行为不同会导致每组行为特征中所包含的特征类型的个数可以是不同的。作为示例，假定用户的第一个行为是“登录”，则“登录”行为中不涉及“金额”类的特征。因此，对应于“登录”的行为特征不包括与行为相关的数值。用户的另一个行为是“付款”，则“付款”行为中存在“金额”类的特征。因此“金额”是用户第一个行为的缺失元素。所述缺失元素在行为数据矩阵F中可以以特定的方式表示。例如，行为数据矩阵F中的缺失元素可以表示为N/A。获取模块710可以根据行为数据矩阵F的元素值来确定缺失元素。
步骤430，调整所述初始矩阵中对应于所述缺失元素的值为0，并指定所述值调整后的初始矩阵为所述掩码矩阵。
在一些实施例中，在对用户行为在目标场景中的风险进行识别时，只需要关注目标应用场景中需要关注的用户行为特征，并将其保留；对于目标应用场景中不需要关注的用户行为特征，可以将其进行屏蔽。因此，对于需要关注的行为特征，可以将所述初始矩阵中对应的元素值保留为1；对于不需要关注的用户行为特征，可以将所述初始矩阵中对应的元素的值调整为0。这样，所得到的掩码矩阵(即，元素的值调整后的初始矩阵)在与行为数据特征以及注意力矩阵进行矩阵运算时，由于0的存在，在运算时可以将不需要关注的用户行为特征对应的值直接计算为0，使得在后续识别用户行为的风险时缺失的特征和不需关注的特征都无需被计算，从而让识别更准确。在所述初始矩阵中的元素的值进行调整过后，所得到的矩阵可以被指定为所述掩码矩阵。
应当注意的是，上述有关流程400的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程400进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，步骤420和步骤430可以是同一个步骤的不同操作。又例如，步骤440可以省略，步骤440省略后可以将步骤430的结果直接应用到主流程的相应步骤中。
图5是根据本说明书的一些实施例所示的获取特征掩码矩阵的另一示例性流程图。在一些实施例中，方法500中的一个或以上步骤可以在图1所示的系统100中实现。例如，方法500中的一个或以上步骤可以作为指令的形式存储在存储设备120和/或存储器220中，并被处理设备110和/或处理器210调用和/或执行。在一些实施例中，方法500可以由获取模块710执行。
步骤510，获取初始矩阵。
在一些实施例中，步骤510可以与流程400中的步骤410类似，可以参考步骤410，在此不再赘述。
步骤520，确定每组行为特征是否包含感兴趣特征。
在一些实施例中，所述感兴趣特征可以是用户行为特征中某一种特征类型的一个具体特征。例如，特征类型“与行为相关的设备状态”可以包括不同的设备操作系统，如“安卓”、“IOS”、“WP”等，感兴趣特征可以是其中任意一个操作系统类型，如“IOS”。又例如，特征类型“环境状态”可以包括所有的用户行为发生时的所有地点，如用户的常驻地“北京”，非常驻地“上海”、“深圳”，感兴趣的特征可以是用户的非常驻地“上海”、“深圳”(例如，用户在非可信地点使用了设备)。所述确定每组行为特征是否包含感兴趣特征可以通过确定所述行为数据矩阵F中是否有相应的特征值来实现。例如：通过计算机直接识别行为矩阵F，提取矩阵F中“非常驻地”对应的值，当其值为“上海”时，认为该用户的非常驻地为“上海”，并且该行为特征包含感兴趣特征。当F中没有“非常驻地”栏位，或者非常驻地不是“上海”时，判断该用户的行为特征不包含感兴趣特征。
步骤530，调整所述初始矩阵中对应于不包含感兴趣特征的值为0。
在一些实施例中，在对用户行为在目标场景中的风险进行识别时，对于包含感兴趣特征的行为特征类型，可以将所述初始矩阵中对应的元素值保留为1；对于不包含感兴趣特征的行为特征类型，可以将所述初始矩阵中对应的元素值调整为0。例如，在特征类型“环境状态”中，用户的非常驻地为感兴趣特征，若用户行为特征中的“环境状态”的包括了用户的非常驻地，则可以将所述初始矩阵中所对应的值保留为1，否则将所对应的初始矩阵中的值调整为0。这样，在后续计算时，计算的“注意力”将集中在感兴趣特征上，而非感兴趣特征无需被计算。在所述初始矩阵中的元素的值进行调整过后，所得到的矩阵可以被指定为所述掩码矩阵。
应当注意的是，上述有关流程500的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程500进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，步骤520和步骤530可以是同一个步骤的不同操作。
图6是根据本说明书的一些实施例所示的识别用户行为的风险示例性流程图。在一些实施例中，方法600中的一个或以上步骤可以在图1所示的系统100中实现。例如，方法600中的一个或以上步骤可以作为指令的形式存储在存储设备120和/或存储器220中，并被处理设备110和/或处理器210调用和/或执行。在一些实施例中，方法600可以由确定模块720执行。
步骤610，基于所述行为数据矩阵、所述注意力矩阵以及所述特征掩码矩阵，确定注意力权值矩阵。
在一些实施例中，所述行为数据矩阵(本说明书中可以使用F表示)可以是以矩阵形式对获取模块710获取的多组用户行为特征的数学表示。所述行为数据矩阵F中的多组行为特征可以依时序按列分布。即所述行为数据矩阵F中的每一列表示同一时刻对应的行为特征的不同特征维度的向量；所述行为数据矩阵F中的每一行表示不同时刻对应的行为特征的同一特征维度的向量。所述特征维度可以是用户行为特征的特征类型，如行为事件、行为类别、与行为相关的设备状态、与行为相关的数值等。所述注意力矩阵(本说明书中可以使用P表示)可以是在用户行为识别过程中用于对多组行为特征(对应不同时刻的行为特征)建立关联关系的矩阵。所述特征掩码(mask)矩阵(本说明书中可以使用M表示)可以是在用户行为识别过程中用于对多组行为特征(对应不同时刻的行为特征)不需要进行关注的特征进行屏蔽的矩阵，可以基于规则生成。所述规则可以根据所述目标应用场景中的统计或经验制定。所述特征掩码矩阵中的元素只包含0和1。所述特征掩码矩阵中的元素0对应于在所述目标应用场景中不需要关注的用户行为特征；所述特征掩码矩阵中的元素1对应于在所述目标应用场景中需要关注的用户行为特征。
在一些实施例中，可以按下面的步骤，基于所述行为数据矩阵、所述注意力矩阵以及所述特征掩码矩阵，确定注意力权值矩阵：
(1)确定所述行为矩阵与所述注意力矩阵的矩阵乘积；
(2)确定所述矩阵乘积与所述特征掩码矩阵的点积；
(3)基于所述点积，获取所述注意力权值矩阵。
所述确定所述行为数据矩阵与所述注意力矩阵的矩阵乘积可以由以下公式得到：
Figure BDA0002237748070000141
其中，矩阵Q为表示矩阵乘积的中间矩阵，矩阵Q的大小为D×N，D表示每个时刻对应的行为特征的向量的维度(例如，所包含的特征的个数)，N表示时刻数(即行为特征的组数)。矩阵F为所述行为数据矩阵。矩阵户为所述注意力矩阵。
在一些实施例中，所述确定所述矩阵乘积与所述特征掩码矩阵的点积可以由以下公式得到：
其中，矩阵B为表示矩阵点积的中间矩阵，矩阵B的大小为D×N，D表示每个时刻对应的行为特征的向量的维度(例如，所包含的特征的个数)，N表示时刻数(即行为特征的组数)。矩阵Q为上述矩阵乘积的中间矩阵。矩阵M为所述特征掩码矩阵。⊙为矩阵点积运算符，表示两个矩阵按元素相乘。其中，所述特征掩码矩阵M的元素值可以根据预设规则确定。所述确定的特征掩码矩阵M的元素值可以是0或1。所述元素值为0的元素所对应的用户行为特征为后续计算中不需要关注的行为特征。所述元素值为1的元素所对应的用户行为特征为后续计算中需要关注的行为特征。所述确定特征掩码矩阵M元素值的具体规则可以参见图4和图5的相关描述。
在一些实施例中，基于所述点积，获取所述注意力权值矩阵为对点积矩阵B进行归一化处理。所述归一化处理可以使用softmax函数获得，计算公式如下：
Figure BDA0002237748070000143
其中，矩阵A为注意力权值矩阵，矩阵A的大小为D×N，D表示每个时刻对应的行为特征的向量的维度(例如，所包含的特征的个数)，N表示时刻数(即行为特征的组数)。矩阵B表示上述矩阵点积的中间矩阵。softmax函数为归一化函数。
需要指出的是，当不加入掩码，只关注注意力时，注意力权值矩阵BD×N′由下式得出：
矩阵BD×N′也可以直接参与后续步骤的计算，并可以获得用户行为在目标应用场景中的风险评分。但使用矩阵BD×N′参与后续步骤计算时，存在计算数据过大，计算效率低，计算资源浪费，并且会导致计算模型不稳定等问题。
区别于只关注注意力，本说明书其中一些实施例中获得的注意力权值矩阵A中包含大量元素值为0的元素。所述元素值为0的元素对应的特征在后续计算中相应位置的元素不需要被关注。使用本说明书其中一些实施例的注意力权值矩阵可以有效提高后续计算的计算效率，节约计算资源，提高计算模型的稳定性。
步骤620，基于所述行为数据矩阵以及所述注意力权值矩阵，确定行为数据权值矩阵。
在一些实施例中，所述行为数据权值矩阵可以是能够表示每个时刻对应的行为特征的向量与其他时刻对应的行为特征的向量的相关关系的矩阵。所述数据权值矩阵可以作为神经网络层的输入。在一些实施例中，所述基于所述行为数据矩阵以及所述注意力权值矩阵可以是将行为数据矩阵F与注意力权值矩阵A相乘，并将乘积矩阵确定为数据权值矩阵。
步骤630，将所述行为数据权值矩阵输入至训练好的深度神经网络，识别所述用户行为在目标应用场景中的风险。
在一些实施例中，所述深度神经网络可以包括但不限于循环神经网络(RNN)、长短时记忆神经网络(LSTM)、门限循环单元(GRU)等。所述识别所述用户行为在目标应用场景中的风险可以是对用户行为输出风险评分。所述风险评分可以是深度神经网络的输出。所述风险评分可以是0～1之间的数值，其中0为低风险，1为高风险。在一些实施例中，可以为风险评分设定一个阈值，高于阈值的风险评分输出为高风险，低于阈值的风险评分输出为低风险。在一些实施例中，还可以为风险评分设定层级，并根据设定的层级确定用户行为的风险级别。例如，可以将风险评分范围为0.6～1的用户行为设定为“非常危险”；风险评分范围为0.3～0.6的用户行为设定为“危险”；风险评分范围为0～0.3的用户行为设定为“安全”。所述识别所述用户行为在目标应用场景中的风险可以用于风险控制领域。例如，可以用于识别危险用户行为，如盗用、欺诈、垃圾注册、冒用、薅羊毛等用户行为，并对用户进行风险提示或通过处理设备110对风险行为进行管控。
应当注意的是，上述有关流程600的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程600进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，步骤610和步骤620可以是同一个步骤中的不同操作。
图7是根据本说明书的一些实施例所示的示例性处理设备110的框图。处理设备110可以获取与用户行为相关的行为特征，并确定用户行为在目标场景中的风险。如图7所示，处理设备110可以包括获取模块710、确定模块720、以及更新模块730。
获取模块710可以获取数据。
在一些实施例中，获取模块710可以包括获取多组与用户行为相关的行为特征。所述与用户行为相关的行为特征可以是用于表述用户行为(例如，用户对终端130执行的操作)的字段和/或数值，可以包括：行为事件、行为类别、与行为相关的设备状态、与行为相关的数值中的一个或以上的任意组合。
在一些实施例中，获取模块710可以获取特征掩码矩阵。获取模块710可以获取元素值全部为1的初始矩阵，并将所述初始矩阵中对应与缺失特征的值调整为0。调整后的初始矩阵可以作为所述特征掩码矩阵被获取。获取模块710还可以将所述初始矩阵中对应不包含感兴趣特征的值调整为0。调整后的初始矩阵可以作为所述特征掩码矩阵被获取。
确定模块720可以利用所获取的数据确定一个或多个结果。
在一些实施例中，确定模块720可以采用行为数据矩阵表示所述多组与用户行为相关的行为特征。例如，确定模块720可以采用编码和/或分bin的方式将所述行为特征表示为所述行为特征矩阵。在一些实施例中，确定模块720可以识别用户行为在目标应用场景中的风险。确定模块720可以基于所述行为数据矩阵、所述注意力矩阵以及所述特征掩码矩阵确定注意力权值矩阵，并基于所述行为数据矩阵以及所述注意力权值矩阵，确定行为数据权值矩阵。其后可以将所述行为数据权值矩阵输入至训练好的深度神经网络，识别所述用户行为在目标应用场景中的风险。所述获取的数据可以是获取模块710获取的任意数据。基于获取的不同数据，确定模块720可以确定不同的结果。例如，获取的数据可以是步骤310中获取的多组与用户行为相关的行为特征，所述确定的结果可以是确定的行为数据矩阵。又例如，获取的数据可以是注意力矩阵和掩码矩阵，所述确定的结果可以是注意力权值矩阵。
更新模块730可以更新模型和/或矩阵。
在一些实施例中，更新模块730可以更新所述深度神经网络和/或所述注意力矩阵。在确定对应于所述用户行为的行为实际结果后，更新模块730可以将所述行为实际结果作为标签，将对应的多组行为特征作为输入样本，重新对所述深度神经网络进行训练以更新神经网络参数。同时，更新模块730还可以基于所述行为实际结果，对所述注意力矩阵中的值进行调整。例如，增大或减小某些关联关系对应的值。
关于以上各个模块的具体描述可以参考本说明书流程图部分。
应当理解，图7所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上对于处理设备110及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，图7中披露的获取模块710、确定模块720以及更新模块730可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。又例如，确定模块720可以被细分为行为数据矩阵确定单元、注意力矩阵确定单元、注意力权值矩阵确定单元以及识别单元，分别用于实现确定行为数据矩阵、注意力矩阵、注意力权值矩阵以及识别用户行为的风险。还例如，处理设备110中各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
本说明书实施例可能带来的有益效果包括但不限于：(1)本说明书在传统注意力机制上加入特征掩码，使得注意力权值矩阵可以可视化，权重值越高，表示其他时刻与当前输入的关联关系更强。(2)本说明书加入特征掩码后可以对不需要关注的数据进行屏蔽，从而提高计算的效率，并节约计算资源。(3)本说明书加入特征掩码后可以屏蔽数据中的缺失值，消除缺失值对模型训练的影响，提高模型训练的稳定性。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (17)

1.一种基于特征掩码的用户行为识别方法，包括：
获取多组与用户行为相关的行为特征；
采用行为数据矩阵表示所述多组与用户行为相关的行为特征；
至少基于所述行为数据矩阵、注意力矩阵以及与所述行为特征相关的特征掩码矩阵，识别所述用户行为在目标应用场景中的风险；
其中，所述与行为特征相关的特征掩码矩阵中的元素的取值为1或者0；1对应于在所述目标应用场景中需要关注的用户行为特征；0对应于在所述目标应用场景中不需要关注的用户行为特征。
2.根据权利要求1所述的方法，其中，所述特征掩码矩阵基于预设规则生成，所述预设规则包括：
获取初始矩阵，所述矩阵中的值全部为1，行数与所述多组行为特征中包含最多特征个数的一组行为特征的特征个数相同，列数与所述行为特征的组数相同；
确定每组行为特征的缺失元素，所述缺失元素为与包含最多特征个数的一组行为特征相比缺少的一个或以上特征；
调整所述初始矩阵中对应于所述缺失元素的值为0；
指定所述值调整后的初始矩阵为所述掩码矩阵。
3.根据权利要求1所述的方法，其中，所述特征掩码矩阵基于预设规则生成，所述预设规则包括：
获取初始矩阵，所述矩阵中的值全部为1，行数与所述多组行为特征中包含最多特征个数的一组行为特征的特征个数相同，列数与所述行为特征的组数相同；
确定每组行为特征是否包含感兴趣特征；
调整所述初始矩阵中对应于不包含感兴趣特征的值为0；
指定所述值调整后的初始矩阵为所述掩码矩阵。
4.根据权利要求1所述的方法，其中，所述至少基于所述行为数据矩阵、注意力矩阵以及与所述行为特征相关的特征掩码矩阵，识别所述用户行为在目标应用场景中的风险，包括：
基于所述行为数据矩阵、所述注意力矩阵以及所述特征掩码矩阵，确定注意力权值矩阵；
基于所述行为数据矩阵以及所述注意力权值矩阵，确定行为数据权值矩阵；
将所述行为数据权值矩阵输入至训练好的深度神经网络，识别所述用户行为在目标应用场景中的风险。
5.根据权利要求4所述的方法，其中，确定所述注意力权值矩阵，包括：
确定所述行为矩阵与所述注意力矩阵的矩阵乘积；
确定所述矩阵乘积与所述特征掩码矩阵的点积；
基于所述点积，获取所述注意力权值矩阵。
6.根据权利要求4所述的方法，其中，所述训练好的深度神经网络为循环神经网络、长短时记忆神经网络、或门限循环单元。
7.根据权利要求1-6中任意一项所述的方法，其中，所述行为特征包括以下元素：行为事件、行为类别、与行为相关的电子设备状态、或与行为相关的数值。
8.根据权利要求6所述的方法，其中，所述方法进一步包括：
确定对应于所述用户行为的行为实际结果；
利用所述用户行为相关的行为特征及所述行为实际结果，更新所述深度神经网络，和/或所述注意力矩阵。
9.一种基于特征掩码的用户行为识别系统，所述系统包括获取模块以及确定模块；
所述获取模块，用于获取多组与用户行为相关的行为特征；
所述确定模块，用于采用行为数据矩阵表示所述多组与用户行为相关的行为特征；以及用于至少基于所述行为数据矩阵、注意力矩阵以及与所述行为特征相关的特征掩码矩阵，识别所述用户行为在目标应用场景中的风险；
其中，所述与行为特征相关的特征掩码矩阵中的元素的取值为1或者0；1对应于在所述目标应用场景中需要关注的用户行为特征；0对应于在所述目标应用场景中不需要关注的用户行为特征。
10.根据权利要求9所述的系统，其中，所述获取模块进一步用于获取所述特征掩码矩阵，包括：
获取初始矩阵，所述矩阵中的值全部为1，行数与所述多组行为特征中包含最多特征个数的一组行为特征的特征个数相同，列数与所述行为特征的组数相同；
确定每组行为特征的缺失元素，所述缺失元素为与包含最多特征个数的一组行为特征相比缺少的一个或以上特征；
调整所述初始矩阵中对应于所述缺失元素的值为0；
指定所述值调整后的初始矩阵为所述掩码矩阵。
11.根据权利要求9所述的系统，其中，所述获取模块进一步用于获取所述特征掩码矩阵，包括：
获取初始矩阵，所述矩阵中的值全部为1，行数与所述多组行为特征中包含最多特征个数的一组行为特征的特征个数相同，列数与所述行为特征的组数相同；
确定每组行为特征是否包含感兴趣特征；
调整所述初始矩阵中对应于不包含感兴趣特征的值为0；
指定所述值调整后的初始矩阵为所述掩码矩阵。
12.根据权利要求9所述的系统，其中，为识别所述用户行为在目标应用场景中的风险，所述确定模块用于：
基于所述行为数据矩阵、所述注意力矩阵以及所述特征掩码矩阵，确定注意力权值矩阵；
基于所述行为数据矩阵以及所述注意力权值矩阵，确定行为数据权值矩阵；
将所述行为数据权值矩阵输入至训练好的深度神经网络，识别所述用户行为在目标应用场景中的风险。
13.根据权利要求12所述的系统，其中，为确定所述注意力权值矩阵，所述确定模块用于：
确定所述行为矩阵与所述注意力矩阵的矩阵乘积；
确定所述矩阵乘积与所述特征掩码矩阵的点积；
基于所述点积，获取所述注意力权值矩阵。
14.根据权利要求12所述的系统，其中，所述训练好的深度神经网络为循环神经网络、长短时记忆神经网络、或门限循环单元。
15.根据权利要求9-14中任意一项所述的系统，其中，所述行为特征包括以下元素：行为事件、行为类别、与行为相关的电子设备状态、或与行为相关的数值。
16.根据权利要求14所述的系统，其中，所述系统进一步包括更新模块，用于：
确定对应于所述用户行为的行为实际结果；
利用所述用户行为相关的行为特征及所述行为实际结果，更新所述深度神经网络，和/或所述注意力矩阵。
17.一种基于特征掩码的用户行为识别装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器：所述至少一个存储器用于存储指令；所述处理器用于执行所述指令，实现如权利要求1至8中任一项所述方法。
CN201910990629.8A 2019-10-17 2019-10-17 基于特征掩码的用户行为识别方法、系统、及装置 Active CN110705996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910990629.8A CN110705996B (zh) 2019-10-17 2019-10-17 基于特征掩码的用户行为识别方法、系统、及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910990629.8A CN110705996B (zh) 2019-10-17 2019-10-17 基于特征掩码的用户行为识别方法、系统、及装置

Publications (2)

Publication Number Publication Date
CN110705996A true CN110705996A (zh) 2020-01-17
CN110705996B CN110705996B (zh) 2022-10-11

Family

ID=69201553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910990629.8A Active CN110705996B (zh) 2019-10-17 2019-10-17 基于特征掩码的用户行为识别方法、系统、及装置

Country Status (1)

Country Link
CN (1) CN110705996B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831901A (zh) * 2020-03-26 2020-10-27 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、设备和存储介质
CN112307333A (zh) * 2020-10-20 2021-02-02 上海交通大学 基于机器视觉与加权knn的智能购车推荐方法
CN112686506A (zh) * 2020-12-18 2021-04-20 海南电网有限责任公司电力科学研究院 基于多试验方法异步检测数据的配网设备综合评估方法
CN112966233A (zh) * 2021-02-23 2021-06-15 杭州安恒信息技术股份有限公司 用户风险操作的检测方法、装置和计算机设备
WO2021169367A1 (zh) * 2020-02-27 2021-09-02 深圳大学 一种基于多层注意力的推荐方法
CN113449210A (zh) * 2021-07-01 2021-09-28 深圳市数字尾巴科技有限公司 基于时空特征的个性化推荐方法、装置、电子设备及存储介质
CN114092140A (zh) * 2021-11-16 2022-02-25 北京字节跳动网络技术有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN116383708A (zh) * 2023-05-25 2023-07-04 北京芯盾时代科技有限公司 一种交易账号的识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103299330A (zh) * 2010-10-21 2013-09-11 圣脑私营有限责任公司 人类体验及购买行为的神经心理建模方法及装置
CN107689224A (zh) * 2016-08-22 2018-02-13 北京深鉴科技有限公司 合理使用掩码的深度神经网络压缩方法
CN108985929A (zh) * 2018-06-11 2018-12-11 阿里巴巴集团控股有限公司 训练方法、业务数据分类处理方法及装置、电子设备
CN109948783A (zh) * 2019-03-29 2019-06-28 中国石油大学(华东) 一种基于注意力机制的网络结构优化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103299330A (zh) * 2010-10-21 2013-09-11 圣脑私营有限责任公司 人类体验及购买行为的神经心理建模方法及装置
CN107689224A (zh) * 2016-08-22 2018-02-13 北京深鉴科技有限公司 合理使用掩码的深度神经网络压缩方法
CN108985929A (zh) * 2018-06-11 2018-12-11 阿里巴巴集团控股有限公司 训练方法、业务数据分类处理方法及装置、电子设备
CN109948783A (zh) * 2019-03-29 2019-06-28 中国石油大学(华东) 一种基于注意力机制的网络结构优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄飞: "苏州农行柜面操作风险管理研究", 《中国优秀硕士学位论文全文数据库 (经济与管理科学辑)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021169367A1 (zh) * 2020-02-27 2021-09-02 深圳大学 一种基于多层注意力的推荐方法
CN111831901A (zh) * 2020-03-26 2020-10-27 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、设备和存储介质
CN112307333A (zh) * 2020-10-20 2021-02-02 上海交通大学 基于机器视觉与加权knn的智能购车推荐方法
CN112686506A (zh) * 2020-12-18 2021-04-20 海南电网有限责任公司电力科学研究院 基于多试验方法异步检测数据的配网设备综合评估方法
CN112686506B (zh) * 2020-12-18 2022-06-17 海南电网有限责任公司电力科学研究院 基于多试验方法异步检测数据的配网设备综合评估方法
CN112966233A (zh) * 2021-02-23 2021-06-15 杭州安恒信息技术股份有限公司 用户风险操作的检测方法、装置和计算机设备
CN113449210A (zh) * 2021-07-01 2021-09-28 深圳市数字尾巴科技有限公司 基于时空特征的个性化推荐方法、装置、电子设备及存储介质
CN113449210B (zh) * 2021-07-01 2023-01-31 深圳市数字尾巴科技有限公司 基于时空特征的个性化推荐方法、装置、电子设备及存储介质
CN114092140A (zh) * 2021-11-16 2022-02-25 北京字节跳动网络技术有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN116383708A (zh) * 2023-05-25 2023-07-04 北京芯盾时代科技有限公司 一种交易账号的识别方法及装置
CN116383708B (zh) * 2023-05-25 2023-08-29 北京芯盾时代科技有限公司 一种交易账号的识别方法及装置

Also Published As

Publication number Publication date
CN110705996B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN110705996B (zh) 基于特征掩码的用户行为识别方法、系统、及装置
CN107423883A (zh) 待处理业务的风险识别方法及装置、电子设备
CN116647411B (zh) 游戏平台网络安全的监测预警方法
CN109523117A (zh) 风险预测方法、装置、计算机设备和存储介质
CN110084609B (zh) 一种基于表征学习的交易欺诈行为深度检测方法
CN110674188A (zh) 一种特征提取方法、装置及设备
CN110097450A (zh) 车贷风险评估方法、装置、设备和存储介质
CN112488719A (zh) 一种账户风险识别方法和装置
CN111428217A (zh) 欺诈团伙识别方法、装置、电子设备及计算机可读存储介质
CN114693192A (zh) 风控决策方法、装置、计算机设备和存储介质
CN113011966A (zh) 基于深度学习的信用评分方法及装置
CN112330355A (zh) 消费券交易数据处理方法、装置、设备及存储介质
CN107945034A (zh) 基于微博财经事件的金融分析方法、应用服务器及计算机可读存储介质
CN116232694A (zh) 轻量级网络入侵检测方法、装置、电子设备及存储介质
CN113256422B (zh) 分仓账户识别方法、装置、计算机设备和存储介质
CN115018608A (zh) 风险预测方法、装置、计算机设备
CN111401042B (zh) 一种训练文本关键内容提取模型的方法和系统
CN114818484A (zh) 驾驶环境模型的训练方法及驾驶环境信息的预测方法
CN110728583A (zh) 一种骗赔行为识别方法和系统
CN113420789A (zh) 一种预测风险账号的方法、装置、存储介质和计算机设备
CN106997472A (zh) 用户信用模型的用户特征分类方法、用户信用评估方法及装置
CN111882054A (zh) 对双方加密关系网络数据交叉训练的方法及相关设备
CN111767399A (zh) 一种基于不均衡文本集的情感分类器构方法、装置、设备和介质
CN117035374B (zh) 一种应对突发事件的兵力协同调度方法、系统及介质
CN113923705A (zh) 一种基于改进som神经网络的移动智能终端流量监测方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant