CN110162521A - 一种支付系统交易数据处理方法及系统 - Google Patents
一种支付系统交易数据处理方法及系统 Download PDFInfo
- Publication number
- CN110162521A CN110162521A CN201910348080.2A CN201910348080A CN110162521A CN 110162521 A CN110162521 A CN 110162521A CN 201910348080 A CN201910348080 A CN 201910348080A CN 110162521 A CN110162521 A CN 110162521A
- Authority
- CN
- China
- Prior art keywords
- data
- transaction data
- desensitization
- database
- transaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明提供了一种支付系统交易数据处理方法及系统,所述方法包括:从支付系统的数据库中采集交易数据;确定所述交易数据中的敏感字段;对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据,本发明可提高支付系统交易数据采集的效率并保证数据采集的安全性。
Description
技术领域
本发明涉及支付系统交易数据处理技术领域,尤其涉及一种支付系统交易数据处理方法及系统。
背景技术
支付系统(Payment System)是由提供支付清算服务的中介机构和实现支付指令传送及资金清算的专业技术手段共同组成,用以实现债权债务清偿及资金转移的一种金融安排,有时也称为清算系统。支付系统上线运行后,会产生大规模的历史及在线业务数据,这些数据蕴含着丰富的信息价值,但是目前对这些支付信息的运用仅停留在简单的统计分析和查询,数据未能得到充分利用。在对支付系统交易数据进行数据挖掘分析的研究过程中,需要从支付系统的生产环境获取大量的交易数据。但是生产环境的交易数据中包括的行号、用户账号等信息涉及到用户隐私信息,在数据采集的过程中,存在数据安全性方面的风险。生产环境作为处理交易数据的核心系统,部署在和互联网隔绝的专用局域网中,只能通过特定的机器访问。传统的数据采集过程,是通过生产环境的机器,导出要采集的数据到存储设备,然后人工携带的方式将数据送到开发测试环境。这样交易数据从生产环境采集到送入开发测试环境的过程中,全都是以非加密方式存在的,有敏感数据泄露的风险。
发明内容
本发明的一个目的在于提供一种支付系统交易数据处理方法,提高支付系统交易数据采集的效率并保证数据采集的安全性。本发明的另一个目的在于提供一种支付系统交易数据处理系统。本发明的再一个目的在于提供一种计算机设备。本发明的还一个目的在于提供一种可读介质。
为了达到以上目的,本发明一方面公开了一种支付系统交易数据处理方法,
从支付系统的数据库中采集交易数据;
确定所述交易数据中的敏感字段;
对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据。
优选地,所述从支付系统数据库中采集交易数据具体包括:
解析预设的配置文件得到所述数据库的数据库信息;
根据数据库信息确定数据库类型并获取与所述数据库对应的数据库驱动;
通过所述数据库驱动与所述数据库连接并从所述数据库中获取所述交易数据。
优选地,所述确定所述交易数据中的敏感字段具体包括:
解析预设的配置文件得到所述交易数据中的敏感字段。
优选地,所述对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据具体包括:
将获取的交易数据存入预设队列中;
解析预设的配置文件得到脱敏方法;
从所述预设队列中获取交易数据并根据所述脱敏方法对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据。
优选地,所述方法进一步包括:
通过网络获取所述脱敏数据;
对所述脱敏数据进行数据清洗处理;
对经数据清洗处理后的所述交易数据进行知识提取,获得所述交易数据的命名实体、实体关系及属性信息;
根据所述命名实体、实体关系及属性信息确定知识图谱;
利用可疑账户交易模型对所述知识图谱进行分析,确定可疑账户交易。
优选地,所述对所述脱敏数据进行数据清洗处理具体包括:
对所述交易数据进行去重、补全及共指消解处理。
优选地,所述可疑账户交易模型包括:环状交易模型、频繁汇入模型、频繁汇出模型、资金汇聚模型及资金发散模型。
本发明还公开了一种支付系统交易数据处理系统,包括:
数据获取单元,用于从支付系统数据库中采集交易数据;
字段确定单元,用于确定所述交易数据中的敏感字段;
脱敏处理单元,用于对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据。
本发明还公开了一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,
所述处理器执行所述程序时实现如上所述方法。
本发明还公开了一种计算机可读介质,其上存储有计算机程序,
该程序被处理器执行时实现如上所述方法。
本发明在交易数据采集之前对交易数据中的敏感字段进行变换处理,在交易数据源头保证交易数据的安全性,同时不影响交易数据之间的关联关系,不影响对交易数据的分析和挖掘,从而可提高支付系统交易数据采集的效率并保证数据采集的安全性。将支付业务的交易数据处理后采集到开发测试环境,可进一步利用大数据和知识图谱等方法挖掘数据的价值,以在提升交易监管科技能力和金融风险防控等方面提供更加有效精准的数据支持,还可针对采集的交易数据进行可疑交易分析,切实提高金融风险防控能力和水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本发明一种支付系统交易数据处理方法一个具体实施例的流程图之一;
图2示出本发明一种支付系统交易数据处理方法一个具体实施例的流程图之二;
图3示出本发明一种支付系统交易数据处理方法一个具体实施例的流程图之三;
图4示出本发明一种支付系统交易数据处理方法一个具体实施例的流程图之四;
图5示出本发明一种支付系统交易数据处理方法一个具体实施例的流程图之五;
图6示出本发明一种支付系统交易数据处理方法一个具体实施例的流程图之六;
图7为本发明实施例基于知识图谱技术的可疑账户交易确认方法的原理示意图;
图8A-图8E为本发明实施例中的可疑账户交易模型图;
图9为本发明一种支付系统交易数据处理系统一个具体实施例的结构图之一;
图10为本发明一种支付系统交易数据处理系统一个具体实施例的结构图之二;
图11示出适于用来实现本发明实施例的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了在保证数据采集性能的情况下,更好地保证核心交易数据的安全性,并且不影响数据之间的关联关系,基于本发明的一个方面,本实施例公开了一种支付系统交易数据处理方法。
如图1所示,本实施例中,所述支付系统交易数据处理方法包括:
S100:从支付系统的数据库中采集交易数据。
S200:确定所述交易数据中的敏感字段。
S300:对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据。
本发明在交易数据采集之前对交易数据中的敏感字段进行变换处理,在交易数据源头保证交易数据的安全性,同时不影响交易数据之间的关联关系,不影响对交易数据的分析和挖掘,从而可提高支付系统交易数据采集的效率并保证数据采集的安全性。
在优选的实施方式中,如图2所示,在对海量支付系统的交易数据进行分析挖掘之前,需要从生产系统获取真实的交易数据。所述S100具体可包括:
S110:解析预设的配置文件得到所述数据库的数据库信息。本实施例中,在进行数据脱敏时,可预先设置配置文件,配置文件从支付系统中或外部获取,可将获取的配置文件加载到内存中并转换为key-value的形式供后续使用,从而使交易数据的获取具有很大的可配置性和灵活性。
S120:根据数据库信息确定数据库类型并获取与所述数据库对应的数据库驱动。现有数据库包括mysql、oracle和db2数据库等多种类型的数据库,不同的数据库结构不同,从而从不同的数据库中获取数据的方式也不同。本实施例中,可通过对系统中预先设置的配置文件进行解析得到数据库信息。优选的,该数据库信息可包括用于从数据库中获取数据的数据库连接驱动,更优选的,数据库信息还可包括数据库地址和数据库账号及密码等信息,以便于从数据库中获取交易数据。
S130:通过所述数据库驱动与所述数据库连接并从所述数据库中获取所述交易数据。通过解析得到的数据库连接驱动可从数据库中获取到交易数据,从而能够屏蔽掉不同数据库的底层差异,可连接不同类型的数据库。
在优选的实施方式中,如图3所示,所述S200具体可包括:
S210:解析预设的配置文件得到所述交易数据中的敏感字段。其中,敏感字段可包括交易人账号和交易人姓名等涉及到个人隐私和公司机密的信息,对敏感字段进行脱敏处理,在数据获取的源头保证数据安全性。配置文件进一步还可包括需要脱敏的敏感字段,通过配置文件设置敏感字段可进一步提高交易数据脱敏的可配置性和灵活性。在其他实施方式中,敏感字段也可预先定义在执行脱敏处理的程序中,还可通过其他方式设置,本发明对此并不作限定。
在优选的实施方式中,如图4所示,所述S300具体可包括:
S310:将获取的交易数据存入预设队列中。具体的,在从数据库中获取到交易数据之前,可预先一个设置一个队列,将获取的交易数据存储至该队列中,以采用生产-消费模式将队列中的交易数据依次进行脱敏处理。
S320:解析预设的配置文件得到脱敏方法。配置文件进一步还可包括需要脱敏的脱敏方法,通过配置文件获取脱敏方法可进一步提高交易数据脱敏的可配置性和灵活性。其中,脱敏方法可采用md5或字符转码等脱敏方法。其中md5方法脱敏后数据不能再解码,字符转码后可以根据密钥对脱敏的数据解码,在实际应用中,可根据实际需求灵活选择脱敏方法,并不限于以上两种脱敏方法。
S330:从所述预设队列中获取交易数据并根据所述脱敏方法对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据。在该队列中,可将队列中的交易数据按照进入队列的先后顺序依次取出并通过解析得到的脱敏方法对获取的交易数据进行脱敏处理得到脱敏数据。当队列中的交易数据为空时,即表示所有交易数据均脱敏处理完毕,可结束脱敏处理。
进一步地,作为一种优选的实施方式,可将脱敏处理后的脱敏数据存储在本地磁盘中,当对脱敏数据进行传输和分析时,可从本地磁盘中获取到安全性较好的脱敏数据。在其他实施方式中,也可将脱敏处理后的脱敏数据直接通过网络传输至指定位置,以便于对脱敏数据进行进一步地分析。
在优选的实施方式中,如图5所示,所述方法进一步可包括:
S410:通过网络获取所述脱敏数据。本方法中,通过脱敏处理得到的脱敏数据的安全性较好,可通过网络直接获取脱敏数据并利用,而无需通过人工携带的方式将数据送到开发测试环境进行分析,提高了交易数据的获取效率和安全性。
S420:对所述脱敏数据进行数据清洗处理。
S430:对经数据清洗处理后的所述交易数据进行知识提取,获得所述交易数据的命名实体、实体关系及属性信息。知识提取可包括实体抽取、关系抽取及属性抽取,对应可得到命名实体、实体之间的关联关系及实体的属性信息。
S440:根据所述命名实体、实体关系及属性信息确定知识图谱。进一步的,可对知识图谱中的实体及关系进行索引,使得可以方便快捷的进行图查询。其中,知识图谱的生成过程为:原始数据为交易明细记录,抽取交易记录中的交易账户信息作为知识图谱的节点,包含账户号、账户名、账户所属行号、账户所属城市等属性信息;抽取交易记录中的每笔交易关系作为知识图谱的边,包含交易时间,交易金额等信息。提取所有交易记录中的节点和边,并通过交易关系将节点和边关联起来,构建成一张完整的交易知识图谱。
S450:利用可疑账户交易模型对所述知识图谱进行分析,确定可疑账户交易。利用已知的可疑账户交易模型对知识图谱分析,由此可发现可疑账户交易。进一步的,可疑账户交易模型中指标可参数化配置,调参灵活。其中,可疑账户交易生成过程为:本发明中用到的频繁汇入模型、频繁汇出模型、资金汇聚模型及资金发散模型等可疑交易模型的模型规则是根据业务制定的,根据实际场景定制开发实现。具体的,是基于已构建的交易知识图谱查询出符合各个可疑交易模型规则的数据。例如,对于频繁汇入模型,模型规则为1分钟内,有10笔交易汇入同一账户,交易金额为5万,模型构建时,利用图数据库关系遍历高效的特点,在图数据库中从每个节点逐步遍历,过滤条件为交易时间在1分钟内,资金流入的边至少有10条交易金额为5万的情况,从而筛选出符合模型的数据。
在优选的实施方式中,如图6所示,所述S420具体可包括:
S421:对所述交易数据进行去重、补全及共指消解处理。
在优选的实施方式中,所述可疑账户交易模型可包括环状交易模型、频繁汇入模型、频繁汇出模型、资金汇聚模型及资金发散模型。
随着支付清算业务产生大量的、具有信息价值的、多层次关联关系的交易数据,将数据与知识图谱技术相结合,分析数据之间的关联关系,即对交易数据进行信息抽取(实体抽取)、知识融合、知识加工、知识推理,将交易数据表达成更近人类认知世界的形式,依据已知的可疑交易模型进行可疑交易模型匹配查询,识别可疑交易存在,为可疑账户交易发现提供了更高效手段。通过直观的图形化界面表现、灵活查询、关联查询方式,查询响应在秒级。根据业务场景,能够提供灵活的数据模型,模型指标可参数化配置,调参灵活。进一步的知识推理可以发现更多未知的可疑交易模式。根据洗钱、欺诈等场景的业务规律,构建频繁汇入、频繁汇出、环状交易、账户资金汇聚、账户资金发散等模型,可对满足模型的可疑交易进行事后监控、决策制定。本发明将支付业务的交易数据处理后采集到开发测试环境,可进一步利用大数据和知识图谱等方法挖掘数据的价值,以在提升交易监管科技能力和金融风险防控等方面提供更加有效精准的数据支持,还可针对采集的交易数据进行可疑交易分析,切实提高金融风险防控能力和水平。
在本实施例中,可疑账户交易发现是基于知识图谱技术,结合目前已有的大数据基础平台,主流的开源技术计算框架,图数据库,综合支付清算业务场景特点,定制化开发此功能。
在一个具体例子中,基于知识图谱可疑账户交易确认原理示意如图7所示。具体的,从支付交易系统中采集得到的交易数据存放在Hive分布式数据仓库中。对存放于Hive仓库中的数据使用Spark作业方式进行数据去重、补全、共指消解等数据清洗处理。清洗后的数据进行知识提取,知识提取分为实体抽取,关系抽取,属性抽取,提取的信息构建知识图谱并将构建好的知识图谱存放于图数据库Titan中,存储图谱时使用了索引组件Solr,对图谱中的实体和关系进行索引,使得方便快速地进行图查询。实践证明,合理的使用mysql数据库和存储索引,可以辅助巨型知识图谱的数据展示和查询效率,为用户带来较好体验。
其中,实体抽取是指从数据集中识别出命名实体,原数据集中的参与机构账户划分为组织机构实体,个人账户划分为自然人实体。
关系抽取是指提取出实体之间的关联关系,通过关联关系将实体联系起来,才能够形成网状的知识结构,由于支付系统交易信息数据关系只有转账交易关系,所以关系抽取到的只有支付关系。
属性抽取是从不同信息源中采集特定实体的属性信息,比如参与机构实体所属地域、行业、经济圈、法人等信息;个人账户实体的姓名,所属银行名称;交易关系的属性主要有交易笔数和交易金额。
模型方面使用已有的可疑账户交易模型对知识图谱进行可疑交易发现,模型指标可参数化配置,调参灵活,在查询方面,可调整变量至少包括:时间区间、最低交易金额、最大层级。目前已经提供有五种模型,见图8A-图8E。第一,环状交易,指资金从一个账号转出,经过至少另外两个账号,最终回到第一个账号或第一个账号的关联账号;第二,频繁汇入,指定时间区间内,有多个账号向某账号频繁汇入资金,如1分钟内,有10笔交易汇入同一账户;第三,频繁汇出,指定时间区间内,有多个账号向某账号频繁汇出资金,如某一时间区段内,同一账户多次汇出特定资金;第四,资金汇聚,指资金从底层账号向顶层账号汇聚;第五,资金发散,指资金从顶层账号向底层账号发散。
如图8A-图8E所示为本发明实施例中的可疑账户交易模型图,在使用已有的模型同时,结合目前流行的图计算引擎和算法,促进知识推理,丰富模型设计和数据挖掘,比如最短路径算法,发现参与者资金往来关系统计。其中,图8A所示为环形交易模型图,图8B所示为频繁汇入模型图,图8C所示为频繁汇出模型图,图8D所示为资金汇聚模型图,图8E所示为资金发散模型图。
在知识展现层,在Web页面使用了D3和Echarts等来绘制,结合Restful接口,可以较直观,美观地满足用户对知识图谱的理解与感受。为了对一些时效性较差参数查询做了预处理,比如4层关系以上的查询,并将满足五个基本模型的数据做汇总处理,结果都存放在mysql数据库中,便于高效地、友好地交互展示,对于时效性较好的查询采取直接查询图数据库的方式。
通过本发明中的基于知识图谱技术的可疑账户交易确认方法,基于知识图谱技术,将交易数据与知识图谱技术相结合,分析数据之间的关联关系,为可疑账户交易发现提供了更高效手段。
根据本发明的一个方面,本实施例还公开了一种支付系统交易数据处理系统,如图9所示,所述系统包括数据获取单元11、字段确定单元12和脱敏处理单元13。
其中,所述数据获取单元11用于从支付系统数据库中采集交易数据。
所述字段确定单元12用于确定所述交易数据中的敏感字段。
所述脱敏处理单元13用于对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据。
本发明在交易数据采集之前对交易数据中的敏感字段进行变换处理,在交易数据源头保证交易数据的安全性,同时不影响交易数据之间的关联关系,不影响对交易数据的分析和挖掘,从而可提高支付系统交易数据采集的效率并保证数据采集的安全性。
在优选的实施方式中,在对海量支付系统的交易数据进行分析挖掘之前,需要从生产系统获取真实的交易数据。所述数据获取单元11具体可用于解析预设的配置文件得到所述数据库的数据库信息,根据数据库信息确定数据库类型并获取与所述数据库对应的数据库驱动,通过所述数据库驱动与所述数据库连接并从所述数据库中获取所述交易数据。
本实施例中,在进行数据脱敏时,可预先设置配置文件,配置文件从支付系统中或外部获取,可将获取的配置文件加载到内存中并转换为key-value的形式供后续使用,从而使交易数据的获取具有很大的可配置性和灵活性。
其中,现有数据库包括mysql、oracle和db2数据库等多种类型的数据库,不同的数据库结构不同,从而从不同的数据库中获取数据的方式也不同。本实施例中,可通过对系统中预先设置的配置文件进行解析得到数据库信息。优选的,该数据库信息可包括用于从数据库中获取数据的数据库连接驱动,更优选的,数据库信息还可包括数据库地址和数据库账号及密码等信息,以便于从数据库中获取交易数据。
通过解析得到的数据库连接驱动可从数据库中获取到交易数据,从而能够屏蔽掉不同数据库的底层差异,可连接不同类型的数据库。
在优选的实施方式中,所述字段确定单元12进一步可用于解析预设的配置文件得到所述交易数据中的敏感字段。其中,敏感字段可包括交易人账号和交易人姓名等涉及到个人隐私和公司机密的信息,对敏感字段进行脱敏处理,在数据获取的源头保证数据安全性。配置文件进一步还可包括需要脱敏的敏感字段,通过配置文件设置敏感字段可进一步提高交易数据脱敏的可配置性和灵活性。在其他实施方式中,敏感字段也可预先定义在执行脱敏处理的程序中,还可通过其他方式设置,本发明对此并不作限定。
在优选的实施方式中,所述脱敏处理单元13进一步可用于将获取的交易数据存入预设队列中,解析预设的配置文件得到脱敏方法,从所述预设队列中获取交易数据并根据所述脱敏方法对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据。
具体的,在从数据库中获取到交易数据之前,可预先一个设置一个队列,将获取的交易数据存储至该队列中,以采用生产-消费模式将队列中的交易数据依次进行脱敏处理。
配置文件进一步还可包括需要脱敏的脱敏方法,通过配置文件获取脱敏方法可进一步提高交易数据脱敏的可配置性和灵活性。其中,脱敏方法可采用md5或字符转码等脱敏方法。其中md5方法脱敏后数据不能再解码,字符转码后可以根据密钥对脱敏的数据解码,在实际应用中,可根据实际需求灵活选择脱敏方法,并不限于以上两种脱敏方法。
在该队列中,可将队列中的交易数据按照进入队列的先后顺序依次取出并通过解析得到的脱敏方法对获取的交易数据进行脱敏处理得到脱敏数据。当队列中的交易数据为空时,即表示所有交易数据均脱敏处理完毕,可结束脱敏处理。
进一步地,作为一种优选的实施方式,可将脱敏处理后的脱敏数据存储在本地磁盘中,当对脱敏数据进行传输和分析时,可从本地磁盘中获取到安全性较好的脱敏数据。在其他实施方式中,也可将脱敏处理后的脱敏数据直接通过网络传输至指定位置,以便于对脱敏数据进行进一步地分析。
在优选的实施方式中,如图10所示,所述系统进一步可包括数据分析单元14。所述数据分析单元14用于通过网络获取所述脱敏数据,对所述脱敏数据进行数据清洗处理,对经数据清洗处理后的所述交易数据进行知识提取,获得所述交易数据的命名实体、实体关系及属性信息,根据所述命名实体、实体关系及属性信息确定知识图谱,利用可疑账户交易模型对所述知识图谱进行分析,确定可疑账户交易。
优选的,所述数据分析单元14可用于对所述交易数据进行去重、补全及共指消解处理以实现对所述脱敏数据进行数据清洗处理。
其中,通过脱敏处理得到的脱敏数据的安全性较好,可通过网络直接获取脱敏数据并利用,而无需通过人工携带的方式将数据送到开发测试环境进行分析,提高了交易数据的获取效率和安全性。
知识提取可包括实体抽取、关系抽取及属性抽取,对应可得到命名实体、实体之间的关联关系及实体的属性信息。
进一步的,可对知识图谱中的实体及关系进行索引,使得可以方便快捷的进行图查询。其中,知识图谱的生成过程为:原始数据为交易明细记录,抽取交易记录中的交易账户信息作为知识图谱的节点,包含账户号、账户名、账户所属行号、账户所属城市等属性信息;抽取交易记录中的每笔交易关系作为知识图谱的边,包含交易时间,交易金额等信息。提取所有交易记录中的节点和边,并通过交易关系将节点和边关联起来,构建成一张完整的交易知识图谱。
利用已知的可疑账户交易模型对知识图谱分析,由此可发现可疑账户交易。进一步的,可疑账户交易模型中指标可参数化配置,调参灵活。其中,可疑账户交易生成过程为:本发明中用到的频繁汇入模型、频繁汇出模型、资金汇聚模型及资金发散模型等可疑交易模型的模型规则是根据业务制定的,根据实际场景定制开发实现。具体的,是基于已构建的交易知识图谱查询出符合各个可疑交易模型规则的数据。例如,对于频繁汇入模型,模型规则为1分钟内,有10笔交易汇入同一账户,交易金额为5万,模型构建时,利用图数据库关系遍历高效的特点,在图数据库中从每个节点逐步遍历,过滤条件为交易时间在1分钟内,资金流入的边至少有10条交易金额为5万的情况,从而筛选出符合模型的数据。
在优选的实施方式中,所述可疑账户交易模型可包括环状交易模型、频繁汇入模型、频繁汇出模型、资金汇聚模型及资金发散模型。
随着支付清算业务产生大量的、具有信息价值的、多层次关联关系的交易数据,将数据与知识图谱技术相结合,分析数据之间的关联关系,即对交易数据进行信息抽取(实体抽取)、知识融合、知识加工、知识推理,将交易数据表达成更近人类认知世界的形式,依据已知的可疑交易模型进行可疑交易模型匹配查询,识别可疑交易存在,为可疑账户交易发现提供了更高效手段。通过直观的图形化界面表现、灵活查询、关联查询方式,查询响应在秒级。根据业务场景,能够提供灵活的数据模型,模型指标可参数化配置,调参灵活。进一步的知识推理可以发现更多未知的可疑交易模式。根据洗钱、欺诈等场景的业务规律,构建频繁汇入、频繁汇出、环状交易、账户资金汇聚、账户资金发散等模型,可对满足模型的可疑交易进行事后监控、决策制定。本发明将支付业务的交易数据处理后采集到开发测试环境,可进一步利用大数据和知识图谱等方法挖掘数据的价值,以在提升交易监管科技能力和金融风险防控等方面提供更加有效精准的数据支持,还可针对采集的交易数据进行可疑交易分析,切实提高金融风险防控能力和水平。
在本实施例中,可疑账户交易发现是基于知识图谱技术,结合目前已有的大数据基础平台,主流的开源技术计算框架,图数据库,综合支付清算业务场景特点,定制化开发此功能。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备,具体的,计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在一个典型的实例中计算机设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的由客户端执行的方法,或者,所述处理器执行所述程序时实现如上所述的由服务器执行的方法。
下面参考图11,其示出了适于用来实现本申请实施例的计算机设备600的结构示意图。
如图11所示,计算机设备600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中,还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶反馈器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡,调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口606。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装如存储部分608。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种支付系统交易数据处理方法,其特征在于,
从支付系统的数据库中采集交易数据;
确定所述交易数据中的敏感字段;
对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据。
2.根据权利要求1所述的数据处理方法,其特征在于,所述从支付系统数据库中采集交易数据具体包括:
解析预设的配置文件得到所述数据库的数据库信息;
根据数据库信息确定数据库类型并获取与所述数据库对应的数据库驱动;
通过所述数据库驱动与所述数据库连接并从所述数据库中获取所述交易数据。
3.根据权利要求1所述的数据处理方法,其特征在于,所述确定所述交易数据中的敏感字段具体包括:
解析预设的配置文件得到所述交易数据中的敏感字段。
4.根据权利要求1所述的数据处理方法,其特征在于,所述对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据具体包括:
将获取的交易数据存入预设队列中;
解析预设的配置文件得到脱敏方法;
从所述预设队列中获取交易数据并根据所述脱敏方法对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据。
5.根据权利要求1所述的数据处理方法,其特征在于,所述方法进一步包括:
通过网络获取所述脱敏数据;
对所述脱敏数据进行数据清洗处理;
对经数据清洗处理后的所述交易数据进行知识提取,获得所述交易数据的命名实体、实体关系及属性信息;
根据所述命名实体、实体关系及属性信息确定知识图谱;
利用可疑账户交易模型对所述知识图谱进行分析,确定可疑账户交易。
6.根据权利要求5所述的数据处理方法,其特征在于,所述对所述脱敏数据进行数据清洗处理具体包括:
对所述交易数据进行去重、补全及共指消解处理。
7.根据权利要求5所述的数据处理方法,其特征在于,所述可疑账户交易模型包括:环状交易模型、频繁汇入模型、频繁汇出模型、资金汇聚模型及资金发散模型。
8.一种支付系统交易数据处理系统,其特征在于,包括:
数据获取单元,用于从支付系统数据库中采集交易数据;
字段确定单元,用于确定所述交易数据中的敏感字段;
脱敏处理单元,用于对所述交易数据中的敏感字段进行脱敏处理得到脱敏数据。
9.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,
所述处理器执行所述程序时实现如权利要求1-7任一项所述方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,
该程序被处理器执行时实现如权利要求1-7任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910348080.2A CN110162521A (zh) | 2019-04-28 | 2019-04-28 | 一种支付系统交易数据处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910348080.2A CN110162521A (zh) | 2019-04-28 | 2019-04-28 | 一种支付系统交易数据处理方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110162521A true CN110162521A (zh) | 2019-08-23 |
Family
ID=67640224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910348080.2A Pending CN110162521A (zh) | 2019-04-28 | 2019-04-28 | 一种支付系统交易数据处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110162521A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292008A (zh) * | 2020-03-03 | 2020-06-16 | 电子科技大学 | 一种基于知识图谱的隐私保护数据发布风险评估方法 |
CN113761562A (zh) * | 2021-09-18 | 2021-12-07 | 中国银行股份有限公司 | 一种数据处理方法及装置 |
CN113806350A (zh) * | 2021-11-19 | 2021-12-17 | 华南农业大学 | 一种提高大数据交易平台安全性的管理方法及系统 |
CN114238299A (zh) * | 2021-12-20 | 2022-03-25 | 国家电网有限公司信息通信分公司 | 一种电力数据流量平台 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107832407A (zh) * | 2017-11-03 | 2018-03-23 | 上海点融信息科技有限责任公司 | 用于生成知识图谱的信息处理方法、装置和可读存储介质 |
CN109408594A (zh) * | 2018-10-26 | 2019-03-01 | 陕西医链区块链集团有限公司 | 一种基于区块链的跨链数据检索系统及方法 |
CN109543096A (zh) * | 2018-10-15 | 2019-03-29 | 平安科技(深圳)有限公司 | 数据查询方法、装置、计算机设备和存储介质 |
-
2019
- 2019-04-28 CN CN201910348080.2A patent/CN110162521A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107832407A (zh) * | 2017-11-03 | 2018-03-23 | 上海点融信息科技有限责任公司 | 用于生成知识图谱的信息处理方法、装置和可读存储介质 |
CN109543096A (zh) * | 2018-10-15 | 2019-03-29 | 平安科技(深圳)有限公司 | 数据查询方法、装置、计算机设备和存储介质 |
CN109408594A (zh) * | 2018-10-26 | 2019-03-01 | 陕西医链区块链集团有限公司 | 一种基于区块链的跨链数据检索系统及方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292008A (zh) * | 2020-03-03 | 2020-06-16 | 电子科技大学 | 一种基于知识图谱的隐私保护数据发布风险评估方法 |
CN113761562A (zh) * | 2021-09-18 | 2021-12-07 | 中国银行股份有限公司 | 一种数据处理方法及装置 |
CN113806350A (zh) * | 2021-11-19 | 2021-12-17 | 华南农业大学 | 一种提高大数据交易平台安全性的管理方法及系统 |
CN113806350B (zh) * | 2021-11-19 | 2022-02-11 | 华南农业大学 | 一种提高大数据交易平台安全性的管理方法及系统 |
CN114238299A (zh) * | 2021-12-20 | 2022-03-25 | 国家电网有限公司信息通信分公司 | 一种电力数据流量平台 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110162521A (zh) | 一种支付系统交易数据处理方法及系统 | |
Al-Sai et al. | Big data impacts and challenges: a review | |
CN110033279A (zh) | 基于知识图谱技术的可疑账户交易确认方法及装置 | |
Liao et al. | Data mining investigation of co-movements on the Taiwan and China stock markets for future investment portfolio | |
US11694206B2 (en) | Systems and methods for a graphical user interface with intelligent network expansion | |
CN106663224A (zh) | 用于机器学习模型评估的交互式界面 | |
US20200090003A1 (en) | Semantic-aware feature engineering | |
CN109791592A (zh) | 使用外部处理来处理应用程序中的敏感数据 | |
CN110727740B (zh) | 关联分析方法及装置、计算机设备与可读介质 | |
US10706056B1 (en) | Audit log report generator | |
CN111046237A (zh) | 用户行为数据处理方法、装置、电子设备及可读介质 | |
US20190050435A1 (en) | Object data association index system and methods for the construction and applications thereof | |
CN109146638A (zh) | 异常金融交易群体的识别方法及装置 | |
Khan | Graph analysis of the ethereum blockchain data: A survey of datasets, methods, and future work | |
CN109697567A (zh) | 一种大数据实时风险预警方法及系统 | |
CN113989018A (zh) | 风险管理方法、装置、电子设备和介质 | |
CN113205402A (zh) | 对账方法、装置、电子设备及计算机可读介质 | |
CN109754290A (zh) | 一种游戏数据的处理方法和装置 | |
CN104699790B (zh) | 一种银行数据关系建立方法及装置 | |
WO2021118413A2 (en) | Data processing method, comprising secure multilateral computing and data analysis methods | |
CN111415067A (zh) | 企业及个人信用评级系统 | |
CN109582476A (zh) | 数据处理方法、装置及系统 | |
WO2023216675A1 (zh) | 数据处理方法和装置 | |
US20220230165A1 (en) | Blockchain-based outlet site selection method and apparatus, device and storage medium | |
Tian | AI-Assisted Dynamic Modeling for Data Management in a Distributed System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100195 1st Floor 112-113, Building 3, South District, Beiwu Innovation Park, 23 Beiwucun Road, Haidian District, Beijing Applicant after: Yinqing Technology Co.,Ltd. Address before: 100195 1st Floor 112-113, Building 3, South District, Beiwu Innovation Park, 23 Beiwucun Road, Haidian District, Beijing Applicant before: YINQING TECHNOLOGY (BEIJING) Co.,Ltd. |
|
CB02 | Change of applicant information | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190823 |
|
RJ01 | Rejection of invention patent application after publication |