CN113806338A - 一种基于数据样本图像化的数据甄别的方法与系统 - Google Patents

一种基于数据样本图像化的数据甄别的方法与系统 Download PDF

Info

Publication number
CN113806338A
CN113806338A CN202111370028.0A CN202111370028A CN113806338A CN 113806338 A CN113806338 A CN 113806338A CN 202111370028 A CN202111370028 A CN 202111370028A CN 113806338 A CN113806338 A CN 113806338A
Authority
CN
China
Prior art keywords
data
xgboost model
user information
dimensional color
positive samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111370028.0A
Other languages
English (en)
Other versions
CN113806338B (zh
Inventor
邵俊
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Suoxinda Data Technology Co ltd
Original Assignee
Shenzhen Suoxinda Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Suoxinda Data Technology Co ltd filed Critical Shenzhen Suoxinda Data Technology Co ltd
Priority to CN202111370028.0A priority Critical patent/CN113806338B/zh
Publication of CN113806338A publication Critical patent/CN113806338A/zh
Application granted granted Critical
Publication of CN113806338B publication Critical patent/CN113806338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • G06F16/212Schema design and management with details for data modelling support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于数据样本图像化的数据甄别的方法与系统,其中方法包括:从服务器获取用户信息;对用户信息进行标准化处理,得到第一数据集;对第一数据集进行结构引力成像处理,将结构化数据转换为二维彩色等高线轮廓图;选取全部正样本对应的轮廓图,并使用GAN方法生成更多的正样本,以使得样本的正负比例趋于均衡;从二维彩色等高线轮廓图中提取低维特征向量,基于用户信息构建新的XGBoost第二XGBoost模型;基于新的XGBoost第二XGBoost模型进行数据甄别。本发明可以生成图像的方式产生更多的正样本,达到正负样本的均衡,避免了常规的SMOTE等基于线性插值的过采样方法引入的额外的偏差,使得甄别结果更加精确,性能更优。

Description

一种基于数据样本图像化的数据甄别的方法与系统
技术领域
本发明属于涉及计算机技术领域,尤其涉及一种基于数据样本图像化的数据甄别的方法与系统。
背景技术
随着互联网金融的快速发展,互联网金融交易的数量在快速增长。在大量的互联网金融交易中,可能存在一些不法人员进行洗钱等非法交易。因此,需要工作人员从大量交易记录中查找到可疑交易,并生成对应的可疑交易描述报文,反馈到有关管理部门,这些可疑交易也可以称为风险事件。
而如何识别风险事件是一个二分类问题,需要在海量的样本特征数据中甄别出那些有嫌疑的用户。这些用户往往呈现出一种与正常用户不一致的表现。虽然对于这种建模场景,是有正负样本的标签的,然而由于正样本极少,所以金融机构往往没有采用有监督的学习方法,而使用一些无监督的训练方法来建模,例如专利号为ZL201811227489.0的发明专利,其公开一种可疑交易案例的辅助甄别方法及系统,该方法包括如下步骤:对待处理交易案例进行线索数据提取,对待处理交易案例进行总体情况分析、资金流向分析、用户风险分析及交易风险分析,得到疑点数据;确定出待处理交易案例的风险性质分值;计算出待处理交易案例的累计发生额;基于风险矩阵法,根据上述的指标评估可疑交易案例的风险等级;该系统包括线索数据提取模块、交易案例分析模块、风险性质确定模块、累计发生额计算模块及可疑程度确定模块;该现有专利实现了对可疑交易案例的智能化、自动化甄别,不受工作人员主观因素影响,极大降低了人力和物力投入,具有准确度高、客观性强、高效、智能、全面、留痕等突出优点。但是其仍存在正样本较少的问题,导致在进行建模过程中正样本起到的效果有限,使得该场景中这些宝贵的样本标签并没有用武之地,因此甄别系统的性能始终成为一个瓶颈。
发明内容
针对上述现有技术中存在的缺陷,本发明提供一种基于数据样本图像化的数据甄别的方法,包括以下步骤:
从服务器获取用户信息;
对所述用户信息进行标准化处理,得到第一数据集;
对所述第一数据集进行结构引力成像处理,将结构化数据转换为二维彩色等高线轮廓图;
选取全部正样本对应的轮廓图,并使用GAN方法生成更多的正样本,以使得样本的正负比例趋于均衡;
从所述二维彩色等高线轮廓图中提取低维特征向量,基于用户信息构建第二XGBoost模型;
基于所述第二XGBoost模型进行数据甄别。
进一步的,所述将结构化数据转换为二维彩色等高线轮廓图包括:
结合斥力算法、等高线投影和染色算法将结构化数据转换为二维彩色等高线轮廓图。
进一步的,所述使用GAN方法生成更多的正样本,具体包括:
假定存在生成图片的生成器G和判别器D,所述生成器G用于接收随机的噪声z,其通过所述噪声生成图片,记做G(z);所述判别器D用于判别一张图片是否真实,其输入参数x是一张图片,输出D(x),所述D(x)表示x为真实图片的概率,取值为0到1之间。
进一步的,所述生成器G和判别器D的训练过程包括以下步骤:
初始化判别器D的参数θ d 和生成器G的参数θ g
选取全部的正样本转化成二维彩色等高线轮廓图,所述二维彩色等高线轮廓图包 括m个特征图片数据记为
Figure 2115DEST_PATH_IMAGE001
使用正态分布算子随机生成m个噪声种子
Figure 451551DEST_PATH_IMAGE002
作为生成器G的输入 获得m个对应的伪数据
Figure 149249DEST_PATH_IMAGE003
通过以下公式更新参数θ d
Figure 102161DEST_PATH_IMAGE004
其中,D
Figure 227112DEST_PATH_IMAGE005
和D
Figure 163844DEST_PATH_IMAGE006
分别表示判别器D判别
Figure 399653DEST_PATH_IMAGE007
Figure 207072DEST_PATH_IMAGE008
为真实数据的概率;
使用正态分布算子随机生成另一批m个噪声种子
Figure 706187DEST_PATH_IMAGE002
通过以下公式更新参数θ g
Figure 458111DEST_PATH_IMAGE009
其中,G
Figure 966453DEST_PATH_IMAGE010
表示生成器G通过z i 生成的数据;
通过以上步骤不断循环更新θ d θ g 10次以上,得到最终的参数θ g 以及其对应的生成器G。
进一步的,所述从二维彩色等高线轮廓图中提取低维特征向量包括:
使用自编码网络进行低维特征提取。
进一步的,从所述自编码网络提取过程具体为:
将输入变量的集合记作X,设定编码函数f(X),以及解码函数g(X),其中f和g为神 经网络且f输出的维数远远小于X的维数,使得损失函数
Figure DEST_PATH_IMAGE011
最小;
H=f(X),则H即为对X提取出的特征。
进一步的,从所述二维彩色等高线轮廓图中提取低维特征向量,基于用户信息构建第二XGBoost模型,具体包括:
通过自编码器降维得到n个新特征,将n个新特征加入第一XGBoost模型构建为第二XGBoost模型,所述第一XGBoost模型已经采用第一数据集训练。
进一步的,所述第二XGBoost模型的训练包括以下步骤:
步骤A:获取训练用户的用户信息,将所述训练用户的用户信息输入所述第二XGBoost,获得所述训练用户的第一预测用户类别;
步骤B:基于所述第一预测用户类别和所述训练用户的类别标签,利用所述第二XGBoost的损失函数训练调整所述第二XGBoost的参数获得最终的所述第二XGBoost模型。
进一步的,所述基于所述第二XGBoost模型进行数据甄别,具体包括:
将新样本进行图像化,提取图像特征,并结合其原始特征,带入所述第二XGBoost模型中,输出概率值p,基于所述概率值甄别所述数据。
本发明还提供一种基于数据样本图像化的数据甄别的系统,包括:
信息获取模块,其用于从服务器获取用户信息;
信息处理模块,其用于对用户信息进行标准化处理,得到第一数据集;
数据转换模块,其用于对第一数据集进行结构引力成像处理,将结构化数据转换为二维彩色等高线轮廓图;
样本生成模块,其用于选取全部正样本对应的轮廓图,并使用GAN方法生成更多的正样本,以使得样本的正负比例趋于均衡;
模型构建模块,其用于从二维彩色等高线轮廓图中提取低维特征向量,基于用户信息构建第二XGBoost模型;
数据甄别模块,其用于基于第二XGBoost模型进行数据甄别。
与现有技术相比,本发明使用了深度学习进行自动特征编码,提取了非结构化特征,随即通过生成图像的方式产生更多的正样本,达到正负样本的均衡,避免了常规的SMOTE等基于线性插值的过采样方法引入的额外的偏差,使得甄别结果更加精确,性能更优。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是示出根据本发明实施例的一种基于数据样本图像化的数据甄别的方法流程图;
图2是示出根据本发明实施例的自编码器的示意图;
图3是示出根据本发明实施例的一种基于数据样本图像化的数据甄别的系统的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
下面结合附图详细说明本发明的可选实施例。
实施例一、
如图1所示,本发明公开了一种基于数据样本图像化的数据甄别的方法,包括以下步骤:
从服务器获取用户信息;
对用户信息进行标准化处理,得到第一数据集;
对第一数据集进行结构引力成像处理,将结构化数据转换为二维彩色等高线轮廓图;
选取全部正样本对应的轮廓图,并使用GAN方法生成更多的正样本,以使得样本的正负比例趋于均衡;
从二维彩色等高线轮廓图中提取低维特征向量,基于用户信息构建第二XGBoost模型;
基于第二XGBoost模型进行数据甄别。
实施例二、
本发明实施例公开了一种基于数据样本图像化的数据甄别的方法,包括以下步骤:
从服务器获取用户信息;
对用户信息进行标准化处理,得到第一数据集;
对第一数据集进行结构引力成像处理,将结构化数据转换为二维彩色等高线轮廓图;
选取全部正样本对应的轮廓图,并使用GAN方法生成更多的正样本,以使得样本的正负比例趋于均衡;
从二维彩色等高线轮廓图中提取低维特征向量,基于用户信息构建第二XGBoost模型;
基于第二XGBoost模型进行数据甄别。
本发明实施例提取了非结构化特征,将结构化数据转换为二维彩色等高线轮廓图,随即通过生成图像的方式产生更多的正样本,达到正负样本的均衡,避免了常规的SMOTE等基于线性插值的过采样方法引入的额外的偏差,使得甄别结果更加精确,性能更优。
为了便于理解本发明实施例的技术方案,本实施例对其进行进一步说明。其中,将结构化数据转换为二维彩色等高线轮廓图可以包括:
结合斥力算法、等高线投影和染色算法将结构化数据转换为二维彩色等高线轮廓图。
本发明实施例的斥力算法是基于引力与斥力模型的网络布局算法,可以包括以下内容:
步骤C1、随机生成N个节点的二维坐标;
步骤C2、对每一个节点,其受到其他节点的静电斥力,记为c_1/d(i,j)**2,c_1表示节点的值,d(i,j)为该节点与其他节点的距离;同时受到与之相连节点的弹簧引力,记为c_2(i,k)*s(i,k),c_2表示相关性,s(i,k)是该节点和与之相连节点的距离;它的总受力是一个向量,表示为F_i=SUM{c_1/d(i,j)**2}-SUM{c_2(i,k)*s(i,k)};
步骤C3、每一次迭代,计算每一个节点的受力F_i,令该节点在平面上移动c_3*F_i,c_3表示迭代过程中产生的学习率参数,并计算所有节点移动距离之和S;
步骤C4、到达停止条件(1-迭代次数达到设定阈值;或者2-所有节点移动距离之和S小于设定阈值)时,停止迭代,输出每个节点在二维平面上的坐标。
本发明实施例的等高线投影是用于等高线图的获取,其可以包括以下步骤:
步骤D1、将z_1,...z_N按降序排序,得到sz_N>...>sz_1,其中,sz_N表示z_N由大到小排序之后的值;
步骤D2、从k=N开始,在平面上搜索z=sz_k-delta_k*i的点,其中delta_k=(sz_{k}-sz_{k-1})/M,i=1,...,M,M是划分的个数;
步骤D3、将z=sz_k-delta_k*i的点连成线,得到一条等高线;
步骤D4、遍历k=N,...,2,得到所有的等高线。
实施例三、
在上述实施例的基础上,本实施例还可以包括以下内容:
本发明实施例使用GAN方法生成更多的正样本,其具体可以包括以下内容:
假定存在生成图片的生成器G和判别器D,生成器G用于接收随机的噪声z,其通过噪声生成图片,记做G(z);判别器D用于判别一张图片是否真实,其输入参数x是一张图片,输出D(x),D(x)表示x为真实图片的概率,取值为0到1之间。
本实施在使用GAN方法生成更多的正样本时,其采用的生成器G和判别器D需要预先进行训练。该生成器G和判别器D的训练过程可以包括以下步骤:
初始化判别器D的参数θ d 和生成器G的参数θ g
选取全部的正样本转化成二维彩色等高线轮廓图,二维彩色等高线轮廓图包括m 个特征图片数据记为
Figure 628378DEST_PATH_IMAGE001
使用正态分布算子随机生成m个噪声种子
Figure 95132DEST_PATH_IMAGE002
作为生成器G的输入 获得m个对应的伪数据
Figure 6456DEST_PATH_IMAGE003
通过以下公式更新参数θ d
Figure 584068DEST_PATH_IMAGE004
其中,D
Figure 772604DEST_PATH_IMAGE012
和D
Figure 410258DEST_PATH_IMAGE013
分别表示判别器D判别
Figure DEST_PATH_IMAGE014
Figure 277720DEST_PATH_IMAGE015
为真实数据的概率;
使用正态分布算子随机生成另一批m个噪声种子
Figure 659023DEST_PATH_IMAGE002
通过以下公式更新参数θ g
Figure 826699DEST_PATH_IMAGE009
其中,G
Figure 776201DEST_PATH_IMAGE016
表示生成器G通过z i 生成的数据;
通过以上步骤不断循环更新θ d θ g 10次以上,得到最终的参数θ g 以及其对应的生成器G。
实施例四、
在上述实施例的基础上,本实施例还可以包括以下内容:
本实施例从二维彩色等高线轮廓图中提取低维特征向量,可以包括:
使用自编码网络进行低维特征提取。
其中,使用自编码网络进行低维特征提取时,该自编码网络提取的过程具体可以为:
将输入变量的集合记作X,设定编码函数f(X),以及解码函数g(X),其中f和g为神 经网络且f输出的维数远远小于X的维数,使得损失函数
Figure DEST_PATH_IMAGE017
最小;
H=f(X),则H即为对X提取出的特征。如图2所示,h1, h2, h3即为通过编码器算法捕捉到的降维的特征表示,实现了对变量x1,x2,...,x7的关键信息提取。
另外,一个自编码器实际上是由一个编码器和一个解码器两部分组成。编码器和解码器的结构都各自是一个神经网络。
从训练好的自编码器中抽取出编码器部分,就可以实现降维的效果。
通过自编码器的降维优于PCA在于其使用的是神经网络的结构。如果让神经网络中的激活函数蜕化为恒等函数,则该自编码器则就是一个PCA过程。由于激活函数的存在,自编码器能够实现非线性的降维。
神经网络是这样的一个映射f,它接受一组输入向量X,通过
Figure 990013DEST_PATH_IMAGE018
输出另一组向量。其中X为N维的向量,W为一个M*N维的矩阵,b为M维 的向量,f(X)的输出为一个M维的向量。
假设X为我们的观测变量,编码器网络接受X的输入,通过上述神经网络变成一个低维特征Z,记Z的维度为M,则N>>M。
Z也可以称做隐变量,因为Z并不是直接通过观测得到的变量。
解码器网络则接受低维特征Z的输入,通过另一个神经网络变成高维特征X1,X1的维度和X相同。
自编码器将原始观测变量X经过编码器后转变为低维向量Z,Z再经过解码器生成 高维向量
Figure DEST_PATH_IMAGE019
(和X相同维度),自编码器的训练目标是使得
Figure 643848DEST_PATH_IMAGE019
和原始的高维特征X尽可能相 同,也即其损失函数就是这两个高维特征的差。观测变量依次经过一个解码器和一个编码 器能实现最大程度的复原,说明X经过编码器生成的中间层Z携带了X中绝大多数信息。换句 话说,如果降维后的Z丢失了X中的信息较多,则从Z通过解码器还原出X所有信息的概率可 以忽略不计。所以Z可以近似作为X的替代。由于Z的维度远小于X,所以实现了降维。
实施例五、
在上述实施例的基础上,本实施例还可以包括以下内容:
本实施例从二维彩色等高线轮廓图中提取低维特征向量,基于用户信息构建第二XGBoost模型,其具体可以包括:
通过自编码器降维得到n个新特征,将n个新特征加入第一XGBoost模型构建为第二XGBoost模型,所述第一XGBoost模型已经采用第一数据集训练。
本实施例构建第二XGBoost模型需对原来的第二XGBoost模型进行训练,第二XGBoost模型的训练可以包括以下步骤:
步骤A:获取训练用户的用户信息,将训练用户的用户信息输入第二XGBoost,获得训练用户的第一预测用户类别;
步骤B:基于第一预测用户类别和训练用户的类别标签,利用第二XGBoost的损失函数训练调整第二XGBoost的参数获得最终的第二XGBoost模型。
其中,XGBoost模型的训练过程实际上是指在获取训练用户的用户信息以及对应的用户类别标签的基础上,利用XGBoost模型提取训练用户的用户信息中的第一特征,基于第一特征预测获得训练用户的用户类别记为第一预测用户类别;通过第一预测用户类别和用户类别标签,利用XGBoost模型的损失函数反向梯度训练XGBoost模型,不断调整XGBoost模型的参数直至XGBoost模型达到最优性能,训练好的XGBoost模型即为第二XGBoost模型。
本实施例在得到第二XGBoost模型后,基于第二XGBoost模型进行数据甄别,该数据甄别具体可以包括:
将新样本进行图像化,提取图像特征,并结合其原始特征,带入第二XGBoost模型中,输出概率值p,基于概率值甄别数据。如果p>0.5,则认为该样本为正样本。
实施例六、
如图3所示,本发明还提出了一种基于数据样本图像化的数据甄别的系统,其包括:
信息获取模块,其用于从服务器获取用户信息;
信息处理模块,其用于对用户信息进行标准化处理,得到第一数据集;
数据转换模块,其用于对第一数据集进行结构引力成像处理,将结构化数据转换为二维彩色等高线轮廓图;
样本生成模块,其用于选取全部正样本对应的轮廓图,并使用GAN方法生成更多的正样本,以使得样本的正负比例趋于均衡;
模型构建模块,其用于从二维彩色等高线轮廓图中提取低维特征向量,基于用户信息构建第二XGBoost模型;
数据甄别模块,其用于基于第二XGBoost模型进行数据甄别。
实施例七、
本公开实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行如上实施例所述的方法步骤。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(AN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
以上介绍了本发明的较佳实施方式,旨在使得本发明的精神更加清楚和便于理解,并不是为了限制本发明,凡在本发明的精神和原则之内,所做的修改、替换、改进,均应包含在本发明所附的权利要求概括的保护范围之内。

Claims (10)

1.一种基于数据样本图像化的数据甄别的方法,其特征在于,包括以下步骤:
从服务器获取用户信息;
对所述用户信息进行标准化处理,得到第一数据集;
对所述第一数据集进行结构引力成像处理,将结构化数据转换为二维彩色等高线轮廓图;
选取全部正样本对应的轮廓图,并使用GAN方法生成更多的正样本,以使得样本的正负比例趋于均衡;
从所述二维彩色等高线轮廓图中提取低维特征向量,基于用户信息构建第二XGBoost模型;
基于所述第二XGBoost模型进行数据甄别。
2.如权利要求1所述方法,其特征在于,所述将结构化数据转换为二维彩色等高线轮廓图包括:
结合斥力算法、等高线投影和染色算法将结构化数据转换为二维彩色等高线轮廓图。
3.如权利要求1所述方法,其特征在于,所述使用GAN方法生成更多的正样本,具体包括:
假定存在生成图片的生成器G和判别器D,所述生成器G用于接收随机的噪声z,其通过所述噪声生成图片,记做G(z);所述判别器D用于判别一张图片是否真实,其输入参数x是一张图片,输出D(x),所述D(x)表示x为真实图片的概率,取值为0到1之间。
4.如权利要求3所述方法,其特征在于,所述生成器G和判别器D的训练过程包括以下步骤:
初始化判别器D的参数θ d 和生成器G的参数θ g
选取全部的正样本转化成二维彩色等高线轮廓图,所述二维彩色等高线轮廓图包括m 个特征图片数据记为
Figure 857758DEST_PATH_IMAGE001
使用正态分布算子随机生成m个噪声种子
Figure 961849DEST_PATH_IMAGE002
作为生成器G的输入获得 m个对应的伪数据
Figure 662957DEST_PATH_IMAGE003
通过以下公式更新参数θ d
Figure 730271DEST_PATH_IMAGE004
其中,D
Figure 669277DEST_PATH_IMAGE005
和D
Figure 960581DEST_PATH_IMAGE006
分别表示判别器D判别
Figure 414565DEST_PATH_IMAGE007
Figure 816727DEST_PATH_IMAGE008
为真实数据的概率;
使用正态分布算子随机生成另一批m个噪声种子
Figure 231196DEST_PATH_IMAGE002
通过以下公式更新参数θ g
Figure 693401DEST_PATH_IMAGE009
其中,G
Figure 900261DEST_PATH_IMAGE010
表示生成器G通过z i 生成的数据;
通过以上步骤不断循环更新θ d θ g 10次以上,得到最终的参数θ g 以及其对应的生成器G。
5.如权利要求1所述方法,其特征在于,从所述二维彩色等高线轮廓图中提取低维特征向量包括:
使用自编码网络进行低维特征提取。
6.如权利要求5所述方法,其特征在于,所述自编码网络提取过程具体为:
将输入变量的集合记作X,设定编码函数f(X),以及解码函数g(X),其中f和g为神经网 络且f输出的维数远远小于X的维数,使得损失函数
Figure 840535DEST_PATH_IMAGE011
最小;
H=f(X),则H即为对X提取出的特征。
7.如权利要求1所述方法,其特征在于,从所述二维彩色等高线轮廓图中提取低维特征向量,基于用户信息构建第二XGBoost模型,具体包括:
通过自编码器降维得到n个新特征,将n个新特征加入第一XGBoost模型构建为第二XGBoost模型,所述第一XGBoost模型已经采用第一数据集训练。
8.如权利要求7所述方法,其特征在于,所述第二XGBoost模型的训练包括以下步骤:
步骤A:获取训练用户的用户信息,将所述训练用户的用户信息输入所述第二XGBoost模型,获得所述训练用户的第一预测用户类别;
步骤B:基于所述第一预测用户类别和所述训练用户的类别标签,利用所述第二XGBoost模型的损失函数训练调整所述第二XGBoost模型的参数获得最终的所述第二XGBoost模型。
9.如权利要求8所述方法,其特征在于,所述基于所述第二XGBoost模型进行数据甄别,具体包括:
将新样本进行图像化,提取图像特征,并结合其原始特征,带入所述第二XGBoost模型中,输出概率值p,基于所述概率值甄别所述数据。
10.一种基于数据样本图像化的数据甄别的系统,其特征在于,包括:
信息获取模块,其用于从服务器获取用户信息;
信息处理模块,其用于对用户信息进行标准化处理,得到第一数据集;
数据转换模块,其用于对第一数据集进行结构引力成像处理,将结构化数据转换为二维彩色等高线轮廓图;
样本生成模块,其用于选取全部正样本对应的轮廓图,并使用GAN方法生成更多的正样本,以使得样本的正负比例趋于均衡;
模型构建模块,其用于从二维彩色等高线轮廓图中提取低维特征向量,基于用户信息构建第二XGBoost模型;
数据甄别模块,其用于基于第二XGBoost模型进行数据甄别。
CN202111370028.0A 2021-11-18 2021-11-18 一种基于数据样本图像化的数据甄别的方法与系统 Active CN113806338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111370028.0A CN113806338B (zh) 2021-11-18 2021-11-18 一种基于数据样本图像化的数据甄别的方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111370028.0A CN113806338B (zh) 2021-11-18 2021-11-18 一种基于数据样本图像化的数据甄别的方法与系统

Publications (2)

Publication Number Publication Date
CN113806338A true CN113806338A (zh) 2021-12-17
CN113806338B CN113806338B (zh) 2022-02-18

Family

ID=78938358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111370028.0A Active CN113806338B (zh) 2021-11-18 2021-11-18 一种基于数据样本图像化的数据甄别的方法与系统

Country Status (1)

Country Link
CN (1) CN113806338B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370752A (zh) * 2017-08-21 2017-11-21 北京工业大学 一种高效的远控木马检测方法
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
US20180330272A1 (en) * 2017-05-09 2018-11-15 Microsoft Technology Licensing, Llc Method of Adding Classes to Classifier
US20200012917A1 (en) * 2018-07-06 2020-01-09 Capital One Services, Llc Systems and methods to use neural networks for model transformations
CN110799995A (zh) * 2017-06-29 2020-02-14 首选网络株式会社 数据识别器训练方法、数据识别器训练装置、程序及训练方法
CN111209497A (zh) * 2020-01-05 2020-05-29 西安电子科技大学 基于GAN和Char-CNN的DGA域名检测方法
CN111523604A (zh) * 2020-04-27 2020-08-11 中国银行股份有限公司 一种用户分类的方法和相关装置
CN111738812A (zh) * 2020-08-21 2020-10-02 深圳索信达数据技术有限公司 一种基于用户群微细分的信息推送方法及系统
US20210124837A1 (en) * 2019-10-24 2021-04-29 At&T Intellectual Property I, L.P. Encoding and concealing information using deep learning
CN113313145A (zh) * 2021-05-10 2021-08-27 东南大学 一种基于混合核相关向量机的快速道路交通事件检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
US20180330272A1 (en) * 2017-05-09 2018-11-15 Microsoft Technology Licensing, Llc Method of Adding Classes to Classifier
CN110799995A (zh) * 2017-06-29 2020-02-14 首选网络株式会社 数据识别器训练方法、数据识别器训练装置、程序及训练方法
CN107370752A (zh) * 2017-08-21 2017-11-21 北京工业大学 一种高效的远控木马检测方法
US20200012917A1 (en) * 2018-07-06 2020-01-09 Capital One Services, Llc Systems and methods to use neural networks for model transformations
US20210124837A1 (en) * 2019-10-24 2021-04-29 At&T Intellectual Property I, L.P. Encoding and concealing information using deep learning
CN111209497A (zh) * 2020-01-05 2020-05-29 西安电子科技大学 基于GAN和Char-CNN的DGA域名检测方法
CN111523604A (zh) * 2020-04-27 2020-08-11 中国银行股份有限公司 一种用户分类的方法和相关装置
CN111738812A (zh) * 2020-08-21 2020-10-02 深圳索信达数据技术有限公司 一种基于用户群微细分的信息推送方法及系统
CN113313145A (zh) * 2021-05-10 2021-08-27 东南大学 一种基于混合核相关向量机的快速道路交通事件检测方法

Also Published As

Publication number Publication date
CN113806338B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN112541458B (zh) 基于元学习的域自适应的人脸识别方法、系统、装置
CN113312916A (zh) 基于触发词语态学习的金融文本事件抽取方法及装置
US20220309292A1 (en) Growing labels from semi-supervised learning
CN113986674A (zh) 时序数据的异常检测方法、装置和电子设备
CN113314188B (zh) 图结构增强的小样本学习方法、系统、设备及存储介质
CN113362852A (zh) 一种用户属性识别方法和装置
CN113569062A (zh) 一种知识图谱补全方法与系统
CN111259975B (zh) 分类器的生成方法及装置、文本的分类方法及装置
CN113591892A (zh) 一种训练数据的处理方法及装置
CN113806338B (zh) 一种基于数据样本图像化的数据甄别的方法与系统
CN112801784A (zh) 一种数字货币交易所的比特币地址挖掘方法及装置
CN117113403A (zh) 一种数据脱敏的方法、装置、电子设备及存储介质
Pelegrina et al. Analysis of trade-offs in fair principal component analysis based on multi-objective optimization
CN116467930A (zh) 一种基于Transformer的结构化数据通用建模方法
KR102282328B1 (ko) Lstm을 이용한 국가별 선호도 예측 시스템 및 방법
Sun et al. Image steganalysis based on convolutional neural network and feature selection
CN114897607A (zh) 产品资源的数据处理方法及装置、电子设备、存储介质
CN113934833A (zh) 训练数据的获取方法、装置、系统及存储介质
CN112115443A (zh) 一种终端用户鉴权方法及系统
US11915109B2 (en) Systems and method for automating detection of regions of machine learning system underperformance
CN112907306B (zh) 一种客户满意度判别方法及装置
CN110674497B (zh) 一种恶意程序相似度计算的方法和装置
CN113919447B (zh) 基于DNA分子加密和LightGBM算法的数字资产交易管理方法及系统
CN116011428B (zh) 民事案件信息抽取与判决预测的方法、装置、介质和设备
Shmatok et al. Finding the Fact of Transfer of the Embedded Information on the Basis of Statistical Methods of Pattern Recognition and Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant