CN114547406A - 数据监控方法、系统、存储介质及电子装置 - Google Patents

数据监控方法、系统、存储介质及电子装置 Download PDF

Info

Publication number
CN114547406A
CN114547406A CN202210169928.7A CN202210169928A CN114547406A CN 114547406 A CN114547406 A CN 114547406A CN 202210169928 A CN202210169928 A CN 202210169928A CN 114547406 A CN114547406 A CN 114547406A
Authority
CN
China
Prior art keywords
data
transaction
determining
transaction data
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210169928.7A
Other languages
English (en)
Inventor
胡海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210169928.7A priority Critical patent/CN114547406A/zh
Publication of CN114547406A publication Critical patent/CN114547406A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据监控方法、系统、存储介质及电子装置。本申请涉及金融科技领域,该方法包括:从多个数据库中获取目标客户的交易数据,并解析交易数据,得到多个维度的特征数据,其中,多个数据库中的每个数据库对应一个交易系统,每个数据库记录有目标客户在对应的交易系统中进行交易的交易数据;确定目标客户对应的历史交易数据,获取历史交易数据中的历史特征数据对应的点集,并由历史特征数据对应的点集确定交易分布范围;根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况,并根据分布情况判断交易数据的异常情况。通过本申请,解决了相关技术中账户交易数据出现异常的情况下难以被发现的问题。

Description

数据监控方法、系统、存储介质及电子装置
技术领域
本申请涉及金融科技领域,具体而言,涉及一种数据监控方法、系统、存储介质及电子装置。
背景技术
目前国内的银行均有各自的系统记录账务,各银行每一周期内的金融交易数据,通过监管报送向上级银行汇总,最后汇总至各个银行的中央银行进行核对封存账务,实现对错账、疑账的风险排查。
由于监管报送的数据量大,且数据传输存在延时性,在中央银行进行处理账务时发现具备电信诈骗犯罪嫌疑账务的时效性较低。并且现有的国内的银行间的系统大多不互通,针对多行之间跨行转账的记录往往难以追溯,对于跨行转账的交易中存在风险的可疑交易发现率较低。各个银行的技术手段参差不齐,对于数据异常的资金交易不易发现,且追溯数据异常的资金交易比较困难,所以导致在发生电信诈骗犯罪后资金的追回率较低。
针对相关技术中账户交易数据出现异常的情况下难以被发现的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供一种数据监控方法、系统、存储介质及电子装置,以解决相关技术中账户交易数据出现异常的情况下难以被发现的问题。
根据本申请的一个方面,提供了一种数据监控方法。该方法包括:从多个数据库中获取目标客户的交易数据,并解析交易数据,得到多个维度的特征数据,其中,多个数据库中的每个数据库对应一个交易系统,每个数据库记录有目标客户在对应的交易系统中进行交易的交易数据;确定目标客户对应的历史交易数据,获取历史交易数据中的历史特征数据对应的点集,并由历史特征数据对应的点集确定交易分布范围;根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况,并根据分布情况判断交易数据的异常情况。
可选地,在解析交易数据,得到多个维度的特征数据之前,该方法还包括:对交易数据进行数据清洗,得到清洗后的交易数据;将清洗后的交易数据的格式转换为预设格式。通过对不同数据库的交易数据转换为预设格式,可以让数据监控系统识别来自不同数据库的交易数据,从而不会因为各数据库间数据不互通而难以实现对异常交易数据的监控。
可选地,在由历史特征数据对应的点集确定交易分布范围之前,该方法还包括:获取目标客户的历史特征数据,并解析历史特征数据,得到历史特征数据的多个维度的特征数据;对历史特征数据的多个维度的特征数据进行聚类,得到聚类结果;确定至少一个预设维度,并从聚类结果中的多个维度的特征数据中删除预设维度的特征数据,得到更新后的聚类结果;根据更新后的聚类结果确定历史特征数据对应的点集。通过对历史特征数据进行聚类,并且删除非必要维度的特征数据,可以让数据监控系统获得直观的客户交易模型。
可选地,对历史特征数据的多个维度的特征数据进行聚类,得到聚类结果包括:采用一种聚类方法对历史特征数据的多个维度的特征数据进行聚类,得到聚类结果;或者,采用至少两种聚类方法分别对历史特征数据的多个维度的特征数据进行聚类,得到对应的至少两个子聚类结果,并对至少两个子聚类结果进行合并,得到聚类结果。通过使用聚类方法对历史特征数据进行聚类,可以快速提取对应历史特征数据的关键维度来建立客户交易模型。
可选地,根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况,包括:根据历史特征数据对应的多个维度确定目标维度;依据目标维度构建多维坐标系;确定交易数据的多个维度的特征数据在多维坐标系下的目标点;根据目标点和历史特征数据对应的点集之间的位置关系确定分布情况。通过确定目标点和历史特征数据对应的点集之间的位置关系,可以直观的显示出交易数据与客户交易模型的比对结果,判断交易数据是否存在风险。
可选地,在根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况之后,该方法还包括:确定历史特征数据对应的点集的中心点;确定中心点和目标点的距离;根据目标点的距离确定交易数据的风险等级。通过确定风险等级可以明确当前交易面临的风险是否达到发送报警信息给监管人员的程度。
可选地,根据目标点的距离确定交易数据的风险等级,包括:判断距离是否小于第一预设距离;在距离小于等于第一预设距离的情况下,确定交易数据的风险等级为第一风险等级;在距离大于第一预设距离的情况下,判断距离是否小于等于第二预设距离,其中,第一预设距离小于第二预设距离;在距离小于等于第二预设距离的情况下,确定交易数据的风险等级为第二风险等级;在距离大于第二预设距离的情况下,确定交易数据的风险等级为第三风险等级。通过目标点的距离确定交易数据的风险等级,可以直观的显示交易数据面临的风险程度。
可选地,在根据目标点的距离确定交易数据的风险等级之后,该方法还包括:根据交易数据、风险等级和交易模型生成日志文件;根据与多个维度中的至少一个维度对应的关键词对日志文件进行索引,得到索引结果,并展示索引结果。通过展示索引结果可以获取相关技术人员需要的交易数据中的信息。
根据本申请的另一方面,提供了一种数据监控系统。该系统包括:数据传输单元,设置在服务器与多个交易系统对应的数据库之间,用于从多个交易系统的数据库中获取目标客户的交易数据,并将交易数据发送至服务器;服务器,用于存储交易数据;数据处理单元,与服务器连接,用于解析交易数据,得到多个维度的特征数据,并确定目标客户对应的历史交易数据,获取历史交易数据中的历史特征数据对应的点集,并由历史特征数据对应的点集确定交易分布范围;显示单元,用于根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况,展示分布情况,还用于在分布情况指示交易数据存在异常的情况下,发出告警信息。
根据本发明实施例的另一方面,还提供了一种计算机存储介质,计算机存储介质用于存储程序,其中,程序运行时控制非易失性存储介质所在的设备执行一种数据监控方法。
根据本发明实施例的另一方面,还提供了一种电子装置,包含处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种数据监控方法。
通过本申请,采用以下步骤:从多个数据库中获取目标客户的交易数据,并解析交易数据,得到多个维度的特征数据,其中,多个数据库中的每个数据库对应一个交易系统,每个数据库记录有目标客户在对应的交易系统中进行交易的交易数据;确定目标客户对应的历史交易数据,获取历史交易数据中的历史特征数据对应的点集,并由历史特征数据对应的点集确定交易分布范围;根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况,并根据分布情况判断交易数据的异常情况,解决了相关技术中账户交易数据出现异常的情况下难以被发现的问题。通过收集目标客户在不同银行的交易数据,对交易数据建立客户交易模型,并将目标客户交易数据与交易模型对比判断目标客户交易数据的异常情况,进而达到了实时且高效的监控账户交易数据是否存在风险的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的数据监控方法的流程图;
图2是根据本申请实施例提供的索引流程示意图;
图3是根据本申请实施例提供的数据监控系统的示意图;
图4是根据本申请实施例提供的数据监控装置的示意图;
图5是根据本申请实施例提供的一种电子装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述,以下对本申请实施例涉及的部分名词或术语进行说明:
Debezium:是一个分布式平台,可将现有的数据库转换为事件流,因此应用程序可以查看并立即响应数据库中的每个行级更改;
Kafka:是一种高吞吐量的分布式发布订阅消息系统;
K-Means:是一种基本的已知聚类类别数的划分算法,也被称为K均值聚类算法;
DBSCAN:是一种基于密度的聚类算法。
需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
根据本申请的实施例,提供了一种数据监控方法。
图1是根据本申请实施例的数据监控方法的流程图。如图1所示,该方法包括以下步骤:
步骤S102,从多个数据库中获取目标客户的交易数据,并解析交易数据,得到多个维度的特征数据,其中,多个数据库中的每个数据库对应一个交易系统,每个数据库记录有目标客户在对应的交易系统中进行交易的交易数据。
具体地,数据库是不同银行系统存储交易数据的数据库,交易数据是指目标客户每次进行交易时产生的数据,多个维度包括交易额、交易时间、交易频次等不同维度,特征数据是每个维度对应的数值。
步骤S104,确定目标客户对应的历史交易数据,获取历史交易数据中的历史特征数据对应的点集,并由历史特征数据对应的点集确定交易分布范围。
具体地,历史交易数据是目标客户在各个银行的历史交易数据,历史特征数据是目标维度例如交易额、交易时间和交易频次对应的数值,以目标维度为坐标系,目标维度对应数值作为历史交易数据的点坐标,获得对应的点集。交易分布范围是包围点集最小范围。
步骤S106,根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况,并根据分布情况判断交易数据的异常情况。
具体地,多个维度的特征数据是交易数据对应的预设维度的数值,分布情况是交易数据对应的点在历史交易数据对应的点集中的具体位置。判断交易数据的异常情况,是依据交易数据对应的点落在交易分布范围内则无异常,落在交易分布范围外则有异常来确定的。
本申请实施例提供的数据监控方法,通过从多个数据库中获取目标客户的交易数据,并解析交易数据,得到多个维度的特征数据,其中,多个数据库中的每个数据库对应一个交易系统,每个数据库记录有目标客户在对应的交易系统中进行交易的交易数据;确定目标客户对应的历史交易数据,获取历史交易数据中的历史特征数据对应的点集,并由历史特征数据对应的点集确定交易分布范围;根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况,并根据分布情况判断交易数据的异常情况,解决了相关技术中账户交易数据出现异常的情况下难以被发现的问题。通过收集目标客户在不同银行的交易数据,对交易数据建立客户交易模型,并将目标客户交易数据与交易模型对比判断目标客户交易数据的异常情况,进而达到了实时且高效的监控账户交易数据是否存在风险的效果。
为了将不同数据库的交易数据进行处理,可选地,在本申请实施例提供的数据监控方法中,在解析交易数据,得到多个维度的特征数据之前,该方法还包括:对交易数据进行数据清洗,得到清洗后的交易数据;将清洗后的交易数据的格式转换为预设格式。
具体地,各银行交易系统间往往使用着不同的数据库,如DB2(数据库名)、MySQL(数据库名)、Oracle(数据库名)、PostgreSQL(数据库名)等,不同数据库的交易数据的格式不同,通过数据清洗构件将不同数据库的交易数据基于不同类型数据库的语义进行解析,将不同数据库的交易数据清洗成统一格式数据。例如,A银行的交易数据格式以分条目的形式展示目标客户名称、本次交易时间、本次交易额,而B银行的交易数据格式以文本文件的形式囊括目标客户名称、本次交易时间、本次交易额的所有信息,数据清洗构件将A银行和B银行的交易数据统一转换为用一个条目展示,也即用目标客户名称+本次交易时间+本次交易额来表示交易数据。通过对不同数据库的交易数据转换为预设格式,可以让数据监控系统识别来自不同数据库的交易数据,从而不会因为各数据库间数据不互通而难以实现对异常交易数据的监控。
为了监控交易数据是否存在风险需要建立目标客户的交易模型,可选地,在由历史特征数据对应的点集确定交易分布范围之前,该方法还包括:获取目标客户的历史特征数据,并解析历史特征数据,得到历史特征数据的多个维度的特征数据;对历史特征数据的多个维度的特征数据进行聚类,得到聚类结果;确定至少一个预设维度,并从聚类结果中的多个维度的特征数据中删除预设维度的特征数据,得到更新后的聚类结果;根据更新后的聚类结果确定历史特征数据对应的点集。
具体地,目标客户的历史特征数据包括用户名、交易时间、交易额度和交易频次等多个维度的历史特征数据,聚类结果是将不同维度的历史特征数据分开,获得各个维度对应的分类结果,预设维度是指对判断交易数据的异常情况无关的维度,例如用户名。通过对历史特征数据进行聚类,并且删除非必要维度的特征数据,可以让数据监控系统获得直观的客户交易模型。
为了建立目标客户的交易模型需要对历史特征数据进行聚类,可选地,对历史特征数据的多个维度的特征数据进行聚类,得到聚类结果包括:采用一种聚类方法对历史特征数据的多个维度的特征数据进行聚类,得到聚类结果;或者,采用至少两种聚类方法分别对历史特征数据的多个维度的特征数据进行聚类,得到对应的至少两个子聚类结果,并对至少两个子聚类结果进行合并,得到聚类结果。
例如,分别通过K-Means(K均值)和/或DBSCAN(基于密度的的举类算法)进行聚类分析,得到包含多个维度特征数据的聚类结果,去除与判断交易数据的异常情况无关的维度对应的特征数据,保留交易时间、交易额度和交易频次这些与判断交易数据的异常情况有关的维度对应的特征数据,通过交易时间、交易额度和交易频次对应的特征数据建立起客户交易模型,存入数据监控系统。通过使用聚类方法对历史特征数据进行聚类,可以快速提取对应历史特征数据的关键维度来建立客户交易模型。
需要说明的是,K-Means算法步骤是首先选择一些类或者组,并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要提前预知类的数量(即中心点的数量)。然后计算每个数据点到中心点的距离,数据点距离哪个中心点最近就划分到哪一类中。接下里计算每一类中的中心点作为新的中心点。重复以上步骤,直到每一类中心在每次迭代后变化较小为止。此外,也可以多次随机初始化中心点,然后选择运行结果最好的一个。
需要说明的是,DBSCAN算法步骤为首先确定半径r和最小包含点数,从一个没有被访问过的任意数据点开始,以这个点为中心,r为半径的圆内包含的点的数量是否大于或等于最小包含点数,如果大于或等于最小包含点数则改点被标记为中心点,反之则会被标记为噪声点。重复以上步骤,如果一个噪声点存在于某个以中心点为半径的圆内,则这个点被标记为边缘点,反之仍为噪声点,直到所有的点都被访问过。
交易模型建好后需要判断交易数据的异常情况,可选地,根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况,包括:根据历史特征数据对应的多个维度确定目标维度;依据目标维度构建多维坐标系;确定交易数据的多个维度的特征数据在多维坐标系下的目标点;根据目标点和历史特征数据对应的点集之间的位置关系确定分布情况。
具体地,目标维度包括交易时间、交易额度和交易频次,目标点是通过交易数据中交易时间、交易额度和交易频次对应的特征数据作为点的坐标来确认的。通过确定目标点和历史特征数据对应的点集之间的位置关系,可以直观的显示出交易数据与客户交易模型的比对结果,判断交易数据是否存在风险。
判断交易数据是否存在风险后还需确认交易数据的风险等级,可选地,在根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况之后,该方法还包括:确定历史特征数据对应的点集的中心点;确定中心点和目标点的距离;根据目标点的距离确定交易数据的风险等级。
具体地,根据历史特征数据对应的点集可以确认包围这些点集的最小分别范围,中心点就是最小分布范围的中心的点。通过确定风险等级可以明确当前交易面临的风险是否达到发送报警信息给监管人员的程度。
确认交易数据的风险等级需要选择风险等级的判定方式,可选地,根据中心点和目标点的距离确定交易数据的风险等级,包括:判断距离是否小于第一预设距离;在距离小于等于第一预设距离的情况下,确定交易数据的风险等级为第一风险等级;在距离大于第一预设距离的情况下,判断距离是否小于等于第二预设距离,其中,第一预设距离小于第二预设距离;在距离小于等于第二预设距离的情况下,确定交易数据的风险等级为第二风险等级;在距离大于第二预设距离的情况下,确定交易数据的风险等级为第三风险等级。
具体地,中心点和目标点的距离越远说明风险等级越高,第一风险等级是低风险,说明交易数据有存在风险交易的可能,及时关注即可不需要对用户和监控人员告警,第二风险等级是中风险,第三风险等级是高风险,交易数据为中风险和高风险的情况下需要及时对用户和监控人员发出告警信息。通过配置中心点和目标点的距离阈值,在触发阈值时通过邮件、短信多种手段通知监控人员以及有关部门处理。通过目标点的距离确定交易数据的风险等级,可以直观的显示交易数据面临的风险程度。
在确定交易数据的风险等级后还需要对监控人员展示目标客户的交易数据,可选地,在根据目标点的距离确定交易数据的风险等级之后,该方法还包括:根据交易数据、风险等级和交易模型生成日志文件;根据与多个维度中的至少一个维度对应的关键词对日志文件进行索引,得到索引结果,并展示索引结果。
具体地,日志文件包含目标客户的所有交易数据和数据监控系统处理后的数据,由于日志文件中的数据过多,监控人员在查找需要的信息时就需要通过对日志文件进行索引,图2是索引流程示意图,如图2所示,通过将日志文件导入Lucene索引工具,将日志文件传给分词器,分词器将日志文件中的数据按照不同维度对应关键词处理得到关键词的词元,将词元传给语言处理组件,语言处理组件将词元对应相关数据整理发送给索引组件并存储在本地。例如,日志文件中包含交易时间、交易额、交易频次等维度对应的特征数据,词元就是交易时间、交易额、交易频次,交易时间、交易额、交易频次等维度对应的特征数据被存储在本地。数据监控系统的显示单元进行查询时输入查询语句例如交易时间,经过语言处理找到索引工具中对应的词元,搜索本地存储的数据,将交易时间对应的特征数据按照时间先后排序,将排序结果以折线图的形式展示。通过展示索引结果可以获取相关技术人员需要的交易数据中的信息。
根据本申请的另一个实施例,提供了一种数据监控系统。图3是根据本申请实施例的数据监控系统的示意图。该系统包括:数据传输单元301,设置在服务器302与多个交易系统对应的数据库之间,用于从多个交易系统的数据库中获取目标客户的交易数据,并将交易数据发送至服务器;服务器302,用于存储交易数据;数据处理单元303,与服务器连接,用于解析交易数据,得到多个维度的特征数据,并确定目标客户对应的历史交易数据,获取历史交易数据中的历史特征数据对应的点集,并由历史特征数据对应的点集确定交易分布范围;显示单元304,用于根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况,展示分布情况,还用于在分布情况指示交易数据存在异常的情况下,发出告警信息。
具体地,数据传输单元301是Kafka连接器,服务器302是Kafka服务器,通过将Kafka连接器部署到Kafka服务器和各银行交易系统数据库之间,来获取目标客户的交易数据并传送到Kafka服务器进行处理,显示单元304包含有索引工具,可以对日志文件按照各个维度对应的关键词进行索引,并对索引结果处理以图或表的形式展示。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种数据监控装置,需要说明的是,本申请实施例的数据监控装置可以用于执行本申请实施例所提供的用于数据监控方法。以下对本申请实施例提供的数据监控装置进行介绍。
图4是根据本申请实施例的数据监控装置的示意图。如图4所示,该装置包括:获取单元10,用于从多个数据库中获取目标客户的交易数据,并解析交易数据,得到多个维度的特征数据,其中,多个数据库中的每个数据库对应一个交易系统,每个数据库记录有目标客户在对应的交易系统中进行交易的交易数据;第一确定单元20,用于确定目标客户对应的历史交易数据,获取历史交易数据中的历史特征数据对应的点集,并由历史特征数据对应的点集确定交易分布范围;判断单元30,用于根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况,并根据分布情况判断交易数据的异常情况。
本申请实施例提供的数据监控装置,通过获取单元10,用于从多个数据库中获取目标客户的交易数据,并解析交易数据,得到多个维度的特征数据,其中,多个数据库中的每个数据库对应一个交易系统,每个数据库记录有目标客户在对应的交易系统中进行交易的交易数据;第一确定单元20,用于确定目标客户对应的历史交易数据,获取历史交易数据中的历史特征数据对应的点集,并由历史特征数据对应的点集确定交易分布范围;判断单元30,用于根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况,并根据分布情况判断交易数据的异常情况,解决了相关技术中账户交易数据出现异常的情况下难以被发现的问题,通过收集目标客户在不同银行的交易数据,对交易数据建立客户交易模型,并将目标客户交易数据与交易模型对比判断目标客户交易数据的异常情况,进而达到了实时且高效的监控账户交易数据是否存在风险的效果。
可选地,在本申请实施例提供的数据监控装置中,该装置还包括:数据清洗单元,用于在解析交易数据,得到多个维度的特征数据之前,对交易数据进行数据清洗,得到清洗后的交易数据;将清洗后的交易数据的格式转换为预设格式。
可选地,在本申请实施例提供的数据监控装置中,第一确定单元20包括:获取模块,用于获取目标客户的历史特征数据,并解析历史特征数据,得到历史特征数据的多个维度的特征数据;聚类模块,用于对历史特征数据的多个维度的特征数据进行聚类,得到聚类结果;删除模块,用于确定至少一个预设维度,并从聚类结果中的多个维度的特征数据中删除预设维度的特征数据,得到更新后的聚类结果;第一确定模块,用于根据更新后的聚类结果确定历史特征数据对应的点集。
可选地,在本申请实施例提供的数据监控装置中,聚类模块包括:第一聚类子模块,用于采用一种聚类方法对历史特征数据的多个维度的特征数据进行聚类,得到聚类结果;第二聚类子模块,用于采用至少两种聚类方法分别对历史特征数据的多个维度的特征数据进行聚类,得到对应的至少两个子聚类结果,并对至少两个子聚类结果进行合并,得到聚类结果。
可选地,在本申请实施例提供的数据监控装置中,第一确定单元20包括:第二确定模块,用于根据历史特征数据对应的多个维度确定目标维度;建立模块,用于依据目标维度构建多维坐标系;第三确定模块,用于确定交易数据的多个维度的特征数据在多维坐标系下的目标点;第四确定模块,用于根据目标点和历史特征数据对应的点集之间的位置关系确定分布情况。
可选地,在本申请实施例提供的数据监控装置中,该装置还包括:第二确定单元,用于在根据多个维度的特征数据确定交易数据在交易分布范围中的分布情况之后,确定历史特征数据对应的点集的中心点;第三确定单元,用于确定中心点和目标点的距离;第四确定单元,用于根据目标点的距离确定交易数据的风险等级。
可选地,在本申请实施例提供的数据监控装置中,第四确定单元包括:第一判断模块,用于判断距离是否小于第一预设距离;第一判断模块包括第一确定子模块,用于在距离小于等于第一预设距离的情况下,确定交易数据的风险等级为第一风险等级;第二判断模块,用于在距离大于第一预设距离的情况下,判断距离是否小于等于第二预设距离,其中,第一预设距离小于第二预设距离;第二判断模块包括第二确定子模块,用于在距离小于等于第二预设距离的情况下,确定交易数据的风险等级为第二风险等级;第二判断模块包括第三确定子模块,用于在距离大于第二预设距离的情况下,确定交易数据的风险等级为第三风险等级。
可选地,在本申请实施例提供的数据监控装置中,该装置还包括:日志生成单元,用于在根据目标点的距离确定交易数据的风险等级之后,根据交易数据、风险等级和交易模型生成日志文件;索引单元,用于根据与多个维度中的至少一个维度对应的关键词对日志文件进行索引,得到索引结果,并展示索引结果。
上述数据监控装置包括处理器和存储器,上述获取单元10、第一确定单元20和判断单元30等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来实时且高效的监控账户交易数据。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请实施例还提供了一种计算机存储介质,计算机存储介质用于存储程序,其中,程序运行时控制非易失性存储介质所在的设备执行一种数据监控方法。
如图5所示,本申请实施例还提供了一种电子装置501,包含处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种数据监控方法。本文中的电子装置可以是服务器、PC、PAD、手机等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种数据监控方法,其特征在于,包括:
从多个数据库中获取目标客户的交易数据,并解析所述交易数据,得到多个维度的特征数据,其中,所述多个数据库中的每个数据库对应一个交易系统,所述每个数据库记录有所述目标客户在对应的交易系统中进行交易的交易数据;
确定所述目标客户对应的历史交易数据,获取所述历史交易数据中的历史特征数据对应的点集,并由所述历史特征数据对应的点集确定交易分布范围;
根据所述多个维度的特征数据确定所述交易数据在所述交易分布范围中的分布情况,并根据所述分布情况判断所述交易数据的异常情况。
2.根据权利要求1所述的方法,其特征在于,在解析所述交易数据,得到多个维度的特征数据之前,所述方法还包括:
对所述交易数据进行数据清洗,得到清洗后的交易数据;
将所述清洗后的交易数据的格式转换为预设格式。
3.根据权利要求1所述的方法,其特征在于,在由所述历史特征数据对应的点集确定交易分布范围之前,所述方法还包括:
获取所述目标客户的历史特征数据,并解析所述历史特征数据,得到所述历史特征数据的多个维度的特征数据;
对所述历史特征数据的多个维度的特征数据进行聚类,得到聚类结果;
确定至少一个预设维度,并从所述聚类结果中的多个维度的特征数据中删除所述预设维度的特征数据,得到更新后的聚类结果;
根据所述更新后的聚类结果确定所述历史特征数据对应的点集。
4.根据权利要求3所述的方法,其特征在于,对所述历史特征数据的多个维度的特征数据进行聚类,得到聚类结果包括:
采用一种聚类方法对所述历史特征数据的多个维度的特征数据进行聚类,得到所述聚类结果;或者,
采用至少两种聚类方法分别对所述历史特征数据的多个维度的特征数据进行聚类,得到对应的至少两个子聚类结果,并对所述至少两个子聚类结果进行合并,得到所述聚类结果。
5.根据权利要求1所述的方法,其特征在于,根据所述多个维度的特征数据确定所述交易数据在交易分布范围中的分布情况,包括:
根据所述历史特征数据对应的多个维度确定目标维度;
依据所述目标维度构建多维坐标系;
确定所述交易数据的多个维度的特征数据在所述多维坐标系下的目标点;
根据所述目标点和所述历史特征数据对应的点集之间的位置关系确定所述分布情况。
6.根据权利要求5所述的方法,其特征在于,在根据所述多个维度的特征数据确定所述交易数据在交易分布范围中的分布情况之后,所述方法还包括:
确定所述历史特征数据对应的点集的中心点;
确定所述中心点和所述目标点的距离;
根据所述目标点的距离确定所述交易数据的风险等级。
7.根据权利要求6所述的方法,其特征在于,根据所述目标点的距离确定所述交易数据的风险等级,包括:
判断所述距离是否小于第一预设距离;
在所述距离小于等于所述第一预设距离的情况下,确定所述交易数据的风险等级为第一风险等级;
在所述距离大于所述第一预设距离的情况下,判断所述距离是否小于等于第二预设距离,其中,所述第一预设距离小于所述第二预设距离;
在所述距离小于等于所述第二预设距离的情况下,确定所述交易数据的风险等级为第二风险等级;
在所述距离大于所述第二预设距离的情况下,确定所述交易数据的风险等级为第三风险等级。
8.根据权利要求6所述的方法,其特征在于,在根据所述目标点的距离确定所述交易数据的风险等级之后,所述方法还包括:
根据所述交易数据、所述风险等级和所述交易分布范围生成日志文件;
根据与所述多个维度中的至少一个维度对应的关键词对所述日志文件进行索引,得到索引结果,并展示所述索引结果。
9.一种数据监控系统,其特征在于,包括:
数据传输单元,设置在服务器与多个交易系统对应的数据库之间,用于从所述多个交易系统的数据库中获取目标客户的交易数据,并将所述交易数据发送至所述服务器;
所述服务器,用于存储所述交易数据;
数据处理单元,与所述服务器连接,用于解析所述交易数据,得到多个维度的特征数据,并确定所述目标客户对应的历史交易数据,获取所述历史交易数据中的历史特征数据对应的点集,并由所述历史特征数据对应的点集确定交易分布范围;
显示单元,用于根据所述多个维度的特征数据确定所述交易数据在交易分布范围中的分布情况,展示所述分布情况,还用于在所述分布情况指示所述交易数据存在异常的情况下,发出告警信息。
10.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序,其中,所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至8中任意一项所述的数据监控方法。
11.一种电子装置,其特征在于,包含处理器和存储器,所述存储器中存储有计算机可读指令,所述处理器用于运行所述计算机可读指令,其中,所述计算机可读指令运行时执行权利要求1至8中任意一项所述的数据监控方法。
CN202210169928.7A 2022-02-23 2022-02-23 数据监控方法、系统、存储介质及电子装置 Pending CN114547406A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210169928.7A CN114547406A (zh) 2022-02-23 2022-02-23 数据监控方法、系统、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210169928.7A CN114547406A (zh) 2022-02-23 2022-02-23 数据监控方法、系统、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN114547406A true CN114547406A (zh) 2022-05-27

Family

ID=81678183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210169928.7A Pending CN114547406A (zh) 2022-02-23 2022-02-23 数据监控方法、系统、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN114547406A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756215A (zh) * 2023-06-27 2023-09-15 上海蚂蚁创将信息技术有限公司 一种交易在途状态查询方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756215A (zh) * 2023-06-27 2023-09-15 上海蚂蚁创将信息技术有限公司 一种交易在途状态查询方法和系统
CN116756215B (zh) * 2023-06-27 2024-04-16 上海蚂蚁创将信息技术有限公司 一种交易在途状态查询方法和系统

Similar Documents

Publication Publication Date Title
US10002144B2 (en) Identification of distinguishing compound features extracted from real time data streams
US9479518B1 (en) Low false positive behavioral fraud detection
CN109063966B (zh) 风险账户的识别方法和装置
US8412712B2 (en) Grouping methods for best-value determination from values for an attribute type of specific entity
US20210092160A1 (en) Data set creation with crowd-based reinforcement
CN108170580A (zh) 一种基于规则的日志报警方法、装置及系统
WO2015148159A1 (en) Determining a temporary transaction limit
EP3201804A1 (en) Cloud process for rapid data investigation and data integrity analysis
CN108053087A (zh) 反洗钱监测方法、设备及计算机可读存储介质
CN111614690A (zh) 一种异常行为检测方法及装置
CN110728301A (zh) 一种个人用户的信用评分方法、装置、终端及存储介质
CN112463553A (zh) 一种基于普通告警关联分析智能告警的系统与方法
CN114270391A (zh) 量化隐私影响
CN114978877B (zh) 一种异常处理方法、装置、电子设备及计算机可读介质
CN110046188A (zh) 业务处理方法及其系统
CN110458571B (zh) 一种信息泄露的风险识别方法、装置及设备
CN114547406A (zh) 数据监控方法、系统、存储介质及电子装置
CN113553360A (zh) 多企业关系分析方法、装置、电子设备、存储介质和计算机程序
US20230273924A1 (en) Trimming blackhole clusters
CN110677271B (zh) 基于elk的大数据告警方法、装置、设备及存储介质
Śniegula et al. Study of machine learning methods for customer churn prediction in telecommunication company
CN112631889A (zh) 针对应用系统的画像方法、装置、设备及可读存储介质
CN116739605A (zh) 交易数据检测方法、装置、设备及存储介质
CN111324583B (zh) 一种业务日志的分类方法及装置
CN116228402A (zh) 一种金融征信特征仓库技术支持系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination