CN112581276A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN112581276A CN112581276A CN202011549158.6A CN202011549158A CN112581276A CN 112581276 A CN112581276 A CN 112581276A CN 202011549158 A CN202011549158 A CN 202011549158A CN 112581276 A CN112581276 A CN 112581276A
- Authority
- CN
- China
- Prior art keywords
- data
- transaction
- transaction data
- message
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 110
- 230000002159 abnormal effect Effects 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 230000002547 anomalous effect Effects 0.000 claims 1
- 230000001788 irregular Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Accounting & Taxation (AREA)
- Databases & Information Systems (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Technology Law (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明提供一种数据处理方法及装置，包括获取预设时间段内业务交易产生的交易数据；基于预先构建的预先构建的数据处理模型对交易数据进行处理，得到第一报文数据；基于第一报文数据和交易数据进行比较，确定交易数据是否为异常交易数据；若是，基于第一报文数据对交易数据进行补正；基于补正后的交易数据，生成目标报文数据，并发送给监管机构。在本方案中，利用历史报送数据构建的数据处理模块对交易数据进行处理，以确定该交易数据是否为异常交易数据，在确定交易数据为异常交易数据时，基于数据处理模块输出的第一报文数据对交易数据进行补正，从而确定发送给监管机构的目标报文数据。能够提高业务交易处理速度，且提高报文一次报送的成功率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及装置。
背景技术
随着金融行业的日益发展，商业银行的交易数据的规模也在不断扩大。为了保证正常的经济秩序，中国人民银行的监管机构需要对商业银行的交易进行监管。
目前，商业银行根据中国人民银行的交易监管规范，通过人工处理的方式筛选所有业务交易中可能存在监管风险的交易。将存在监管风险的交易数据打包生成报文，并报送给监管机构，以通过监管机构确定报文是否存在异常。在接收到监管机构回执的异常信息时，需要通过人工的方式进行补正，并重新发送该监管机构。由于每日报送的报文数量过多，因此，通过上述方式会导致业务交易处理速度慢，且导致报文一次报送的成功率低。
发明内容
有鉴于此，本发明实施例提供一种数据处理方法及装置，以解决现有技术中业务交易处理速度慢，且导致报文的报送成功率低的问题。
为实现上述目的，本发明实施例提供如下技术方案：
本发明实施例第一方面提供了一种数据处理方法，所述方法包括：
获取预设时间段内业务交易产生的交易数据，所述交易数据包括交易信息和客户信息；
将所述交易数据作为预先构建的数据处理模型的输入，基于所述预先构建的数据处理模型对所述交易数据进行处理，得到第一报文数据，所述第一报文数据是指可以发送给监管机构的交易数据，所述数据处理模型是利用历史报送数据进行训练得到；
基于所述第一报文数据和所述交易数据进行比较，确定所述交易数据是否为异常交易数据；
若确定所述交易数据为异常数据，基于所述第一报文数据对所述交易数据进行补正；
基于所述补正后的交易数据，生成目标报文数据，并发送给所述监管机构。
可选的，所述基于所述第一报文数据和所述交易数据进行比较，确定所述交易数据是否为异常交易数据，包括：
查询数据分值表，确定所述第一报文数据和所述交易数据对应的分值；
判断所述交易数据对应的分值是否低于第一报文数据的分值；
当确定所述交易数据对应的分值低于第一报文数据的分值时，确定所述交易数据为异常交易数据；
当确定所述交易数据对应的分值高于第一报文数据的分值时，确定所述交易数据为正常交易数据。
可选的，还包括：
当接收到所述监管机构对所述第一报文数据进行处理后回执的异常信息时，基于所述异常信息，对所述补正后的交易数据提取交易特征数据；
根据所述交易特征数据更新所述数据处理模型。
可选的，还包括：
根据更新后的数据处理模型对所述补正后的交易数据进行处理，得到第二报文数据；
基于所述第二报文数据修正所述目标报文数据，并重新发送给所述监管机构。
可选的，所述根据所述报文数据进行训练得到数据处理模型的过程，包括：
获取历史报送数据，将所述历史报送数据作为样本集，所述历史报送数据包括历史交易数据和与所述历史交易数据对应的历史报文数据，每一历史交易数据对应的历史报文数据的数量至少为一个；
对所述样本集进行分类处理，并提取所述历史报送数据中的报送特征数据；
基于规范后的所述历史报送特征数据对通用的机器学习模型进行训练，得到训练完成的数据处理模型。
可选的，所述对所述样本集进行分类处理，并提取所述历史报送数据中的报送特征数据，包括：
根据历史报送数据的数据项的不同，对所述样本集进行分类；
确定分类后每一数据项所对应的数据的权重；
根据所述每一数据项所对应的中数据的权重，提取所述样本集的报送特征数据。
本发明实施例第二方面公开一种数据处理装置，所述装置包括：获取单元，用于获取预设时间段内产生的业务交易对应的交易数据，所述交易数据包括交易信息和客户信息；
数据处理模型，用于对输入的所述交易数据进行处理，得到第一报文数据，所述第一报文数据是指可以发送给监管机构的交易数据，所述数据处理模型由构建单元构建；
确定单元，用于基于所述第一报文数据和所述交易数据进行比较，确定所述交易数据是否为异常交易数据；
补正单元，用于在确定所述交易数据为异常数据时，基于所述第一报文数据对所述交易数据进行补正；
生成单元，用于基于所述补正后的交易数据，生成目标报文数据，并发送给所述监管机构。
可选的，所述确定单元，具体用于：
查询数据分值表，确定所述第一报文数据和所述交易数据对应的分值；判断所述交易数据对应的分值是否低于第一报文数据的分值；当确定所述交易数据对应的分值低于第一报文数据的分值时，确定所述交易数据为异常交易数据；当确定所述交易数据对应的分值高于第一报文数据的分值时，确定所述交易数据为正常交易数据。
可选的，还包括：
更新单元，用于当接收到所述监管机构对所述第一报文数据进行处理后回执的异常信息时，基于所述异常信息，对所述补正后的交易数据提取交易特征数据；根据所述交易特征数据更新所述数据处理模型。
可选的，所述构建单元，用于获取历史报送数据，将所述历史报送数据作为样本集，所述历史报送数据包括历史交易数据和与所述历史交易数据对应的历史报文数据，每一历史交易数据对应的历史报文数据的数量至少为一个；对所述样本集进行分类处理，并提取所述历史报送数据中的报送特征数据；基于规范后的所述历史报送特征数据对通用的机器学习模型进行训练，得到训练完成的数据处理模型。
基于上述本发明实施例提供的一种数据处理方法及装置，该方法包括：获取预设时间段内业务交易产生的交易数据，交易数据包括交易信息和客户信息；将交易数据作为预先构建的数据处理模型的输入，基于预先构建的数据处理模型对交易数据进行处理，得到第一报文数据，第一报文数是指可以发送给监管机构的交易数据，数据处理模型是利用历史报送数据进行训练得到；基于第一报文数据和交易数据进行比较，确定交易数据是否为异常交易数据；若确定交易数据为异常数据，基于第一报文数据对交易数据进行补正；基于补正后的交易数据，生成目标报文数据，并发送给监管机构。在本发明实施例中，利用历史报送数据构建的数据处理模块对交易数据进行处理，以确定该交易数据是否为异常交易数据，在确定交易数据为异常交易数据时，基于数据处理模块输出的第一报文数据对交易数据进行补正，从而确定发送给监管机构的目标报文数据，通过上述方式能够提高业务交易处理速度，且提高报文一次报送的成功率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的流程示意图；
图2为本发明实施例提供的另一种数据处理方法的流程示意图；
图3为本发明实施例提供的又一种数据处理方法的流程示意图；
图4为本发明实施例提供的一种数据处理装置的流程示意图；
图5为本发明实施例提供的另一种数据处理装置的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明实施例中，利用历史报送数据构建的数据处理模块对交易数据进行处理，以确定该交易数据是否为异常交易数据，在确定交易数据为异常交易数据时，基于数据处理模块输出的第一报文数据对交易数据进行补正，从而确定发送给监管机构的目标报文数据，通过上述方式能够提高业务交易处理速度，且提高报文一次报送的成功率。
参见图1，为本发明实施例提供的一种数据处理方法的流程示意图，该方法包括：
步骤S101：获取预设时间段内业务交易产生的交易数据。
在步骤S101中，交易数据包括交易信息和客户信息。
在具体实现步骤S101的过程中，获取商业银行预设时间段内发送的所有业务交易所产生的交易数据。
需要说明的是，预设时间段是技术人员预设根据实际情况进行设置的，比如可设置为24个小时。
每一业务交易均有与之对应的一个交易数据。
需要说明的是，交易信息包括交易发生地、交易金额、交易日期和交易所属行等。
客户信息包括银行账户和账户名称等。
步骤S102：将交易数据作为预先构建的数据处理模型的输入，基于预先构建的数据处理模型对交易数据进行处理，得到第一报文数据。
在步骤S102中，第一报文数据是指可以发送给监管机构的交易数据，数据处理模型是利用历史报送数据进行训练得到。
在本发明实施例中，利用历史报送数据进行训练得到数据处理模块的过程，包括以下步骤：
步骤S11：获取历史报送数据，将历史报送数据作为样本集。
在步骤S11中，历史报送数据包括历史交易数据和与历史交易数据对应的历史报文数据，每一历史交易数据对应的历史报文数据的数量至少为一个。
在具体实现步骤S11的过程中，获取历史时间段内的历史报送数据，并对历史报送数据进行标记，以将标记后的历史报送数据作为样本集。
需要说明的是，历史时间段是按照经验进行设置的，比如可设置为过去5年。
步骤S12：对样本集进行分类处理，并提取历史报送数据中的报送特征数据。
需要说明的是，在执行步骤S12的过程中，包括以下步骤：
步骤S21：根据历史报送数据的数据项的不同，对样本集进行分类。
在具体实现步骤S21的过程中，按照数据项的不同将样本集中的数据进行分类，得到各个数据项所对应的数据。
步骤S22：确定分类后每一数据项所对应的数据的权重。
在具体实现步骤S22的过程中，计算每一数据项所对应的数据占所有样本集中数据的权重。
步骤S23：根据每一数据项所对应的数据的权重，提取样本集的报送特征数据。
在具体实现步骤S23的过程中，按照每一数据项所对应的数据的权重大小提取样本集数据的报送特征数据。
步骤S13：基于规范后的报送特征数据对通用的机器学习模型进行训练，得到训练完成的数据处理模型。
在具体实现步骤S13的过程中，确定通用的机器学习模型为初始数据处理模型，并基于标记的历史报送数据中的历史交易数据对初始数据处理模块进行训练，直到得到的报文数据和与该历史交易数据对应的最终报文数据一致，确定当前训练得到的数据处理模块为训练完成的数据处理模块。
需要说明的是，与该历史交易数据对应的最终报文数据是指成功发送给监管机构的报文数据。
步骤S103：基于第一报文数据和交易数据进行比较，确定交易数据是否为异常交易数据，若是，则执行步骤S104至步骤S105，若否，则执行步骤S106。
在具体实现步骤S103的过程中，将数据处理模块输出的第一报文数据与输入的交易数据进行对比，从而能够提前发现不合理的数据内容，以根据输入的交易数据与输出的第一报文数据之间的差别，确定输入的交易数据是否是异常交易数据，若确定输入的交易数据为异常交易数据时，则执行步骤S104至步骤S105。若确定交易数据不为异常数据，则执行步骤S106。
需要说明的时，异常交易数据包括新增数据、缺失数据和错误数据等。
步骤S104：基于第一报文数据对交易数据进行补正。
在具体实现步骤S104的过程中，根据输入的交易数据与输出的第一报文数据之间的差别，确定需要对交易数据进行补正的内容，以利用第一报文数据将交易数据中的不规范，缺失和错误处进行修正。
步骤S105：基于补正后的交易数据，生成目标报文数据，并发送给监管机构。
在具体实现步骤S105的过程中，将补正后的交易数据按照预先设置的报文格式进行转换，得到目标报文数据，并发送给监管机构。
需要说明的时，预先设置的报文格式是商业银行和监管机构预先根据实际情况进行设置的。
步骤S106：确定交易数据为正常交易数据。
在具体实现步骤S106的过程中，说明交易数据中的各项数据不存在不规范、错误、多余或缺失，也就是说，交易数据不存在异常交易数据，并继续检测预设时间段内的下一交易数据。
在本发明实施例中，利用历史报送数据构建的数据处理模块对交易数据进行处理，以确定该交易数据是否为异常交易数据，在确定交易数据为异常交易数据时，基于数据处理模块输出的第一报文数据对交易数据进行补正，从而确定发送给监管机构的目标报文数据。通过上述方式能够提高业务交易处理速度，且提高报文一次报送的成功率。
基于上述图1示出的数据处理方法，在执行步骤S103基于第一报文数据和交易数据进行比较，确定交易数据是否为异常交易数据，包括以下步骤：
步骤S31：查询数据分值表，确定第一报文数据和交易数据对应的分值。
在具体实现步骤S31的过程中，利用第一报文数据和交易数据分别查询数据分值表，得到与第一报文数据对应的分值，以及与交易数据对应的分值。
需要说明的是，数据分值表用于存储交易数据与分值之间的对应关系。
步骤S32：判断交易数据对应的分值是否低于第一报文数据的分值，当确定交易数据对应的分值低于第一报文数据的分值时，执行步骤S33，当当确定交易数据对应的分值高于第一报文数据的分值时，执行步骤S34。
在具体实现步骤S32的过程中，将交易数据对应的分值和第一报文数据对应的分值进行比较，当确定交易数据对应的分值小于第一报文数据对应的分值时，执行步骤S33，当确定交易数据对应的分值大于或等于第一报文数据对应的分值，执行步骤S34。
步骤S33：确定交易数据为异常交易数据。
在具体实现步骤S33的过程中，说明交易数据中存在不规范、错误、多余或缺失的数据。
步骤S34：确定交易数据为正常交易数据。
在具体实现步骤S34的过程中，说明交易数据中的各项数据不存在不规范、错误、多余或缺失。
在本发明实施例中，利用历史报送数据构建的数据处理模块对交易数据进行处理，得到第一报文数据；根据第一报文数据和交易数据所对应的分值进行比较，以确定该交易数据是否为异常交易数据，当确定交易数据对应的分值低于第一报文数据的分值时，基于数据处理模块输出的第一报文数据对交易数据进行补正，从而确定发送给监管机构的目标报文数据，通过上述方式能够提高业务交易处理速度，且提高报文一次报送的成功率。
基于上述图1示出的数据处理方法，参见图2，为本发明实施例示出的另一种数据处理方法的流程示意图，该方法包括：
步骤S201：当接收到监管机构对第一报文数据进行处理后回执的异常信息时，基于异常信息，对补正后的交易数据提取交易特征数据。
在具体实现步骤S201的过程中，当接收到监管机构对第一报文数据进行处理后回执的异常信息时，说明数据处理模块输出的第一报文数据不够准确，此时基于监管机构反馈的异常信息，重新对补正过的交易数据中的数据项进行特征提取，得到交易特征数据。
步骤S202：根据交易特征数据更新数据处理模型。
在具体实现步骤S202的过程中，将所述交易特征数据输入数据处理模型进行训练，更新数据处理模块。
在本发明实施例中，利用历史报送数据构建的数据处理模块对交易数据进行处理，以确定该交易数据是否为异常交易数据，在确定交易数据为异常交易数据时，基于数据处理模块输出的第一报文数据对交易数据进行补正，从而确定发送给监管机构的目标报文数据。当接收到监管机构对第一报文数据进行处理后回执的异常信息时，基于异常信息，对补正后的交易数据提取交易特征数据，以更新数据处理模型。通过反复对数据处理模型进行训练，以使得发送给监管机构的报目标报文数据不产生异常信息回执。进而能够提高业务交易处理速度，且提高报文一次报送的成功率。
可选的，基于上述实施例示出的数据处理方法，结合图2，参见图3，该数据处理方法还包括：
步骤S203：根据更新后的数据处理模型对补正后的交易数据进行处理，得到第二报文数据。
在具体实现步骤S203的过程中，在接收到监管机构回执的异常信息后的报送，利用更新后的数据处理模型对补正后的交易数据进行处理，得到第二报文数据。
步骤S204：基于第二报文数据修正目标报文数据，并重新发送给监管机构。
在具体实现步骤S204的过程中，利用第二报文数据将目标报文数据中的不规范，缺失和错误处进行修正，并重新将目标报文数据发送给监管机构。
在本发明实施例中，在接收到监管机构回执的异常信息后的报送，利用更新后的数据处理模型对正后的交易数据进行处理，得到第二报文数据。并通过第二报文数据修正目标报文数据。通过上述方式能够提高业务交易处理速度，且提高报文一次报送的成功率。
与上述本发明实施例示出的一种数据处理方法相对应，本发明实施例还对应公开了一种数据处理装置的结构示意图，如图4所示，该装置包括：
获取单元401，用于获取预设时间段内产生的业务交易对应的交易数据。
需要说明的是，交易数据包括交易信息和客户信息。
数据处理模型402，用于对输入的交易数据进行处理，得到第一报文数据。
需要说明的是，第一报文数是指可以发送给监管机构的交易数据，数据处理模型由构建单元406构建。
确定单元403，用于基于第一报文数据和交易数据进行比较，确定交易数据是否为异常交易数据。
补正单元404，用于在确定交易数据为异常数据时，基于第一报文数据对交易数据进行补正。
生成单元405，用于基于补正后的交易数据，生成目标报文数据，并发送给监管机构。
需要说明的是，上述本申请实施例公开的数据处理装置中的各个单元具体的原理和执行过程，与上述本申请实施示出的数据处理方法相同，可参见上述本申请实施例公开的数据处理方法中相应的部分，这里不再进行赘述。
在本发明实施例中，利用历史报送数据构建的数据处理模块对交易数据进行处理，以确定该交易数据是否为异常交易数据，在确定交易数据为异常交易数据时，基于数据处理模块输出的第一报文数据对交易数据进行补正，从而确定发送给监管机构的目标报文数据，通过上述方式能够提高业务交易处理速度，且提高报文一次报送的成功率。
可选的，基于上述示出的数据处理装置，确定单元403，具体用于：
查询数据分值表，确定第一报文数据和交易数据对应的分值；判断交易数据对应的分值是否低于第一报文数据的分值；当确定交易数据对应的分值低于第一报文数据的分值时，确定交易数据为异常交易数据；当确定交易数据对应的分值高于第一报文数据的分值时，确定交易数据为正常交易数据。
在本发明实施例中。利用历史报送数据构建的数据处理模块对交易数据进行处理，得到第一报文数据；根据第一报文数据和交易数据所对应的分值进行比较，以确定该交易数据是否为异常交易数据，当确定交易数据对应的分值低于第一报文数据的分值时，基于数据处理模块输出的第一报文数据对交易数据进行补正，从而确定发送给监管机构的目标报文数据，通过上述方式能够提高业务交易处理速度，且提高报文一次报送的成功率。
可选的，基于上述示出的数据处理装置，结合图4，参见图5，该数据处理装置还进一步设置有更新单元407和重新处理单元408。
更新单元407，用于当接收到监管机构对第一报文数据进行处理后回执的异常信息时，基于异常信息，对补正后的交易数据提取交易特征数据；根据交易特征数据更新数据处理模型。
重新处理单元408，用于根据更新后的数据处理模型对补正后的交易数据进行处理，得到第二报文数据；基于第二报文数据修正目标报文数据，并重新发送给监管机构。
在本发明实施例中，利用历史报送数据构建的数据处理模块对交易数据进行处理，以确定该交易数据是否为异常交易数据，在确定交易数据为异常交易数据时，基于数据处理模块输出的第一报文数据对交易数据进行补正，从而确定发送给监管机构的目标报文数据。当接收到监管机构对第一报文数据进行处理后回执的异常信息时，基于异常信息，对补正后的交易数据提取交易特征数据，以更新数据处理模型。在接收到监管机构回执的异常信息后的报送，利用更新后的数据处理模型对正后的交易数据进行处理，得到第二报文数据。并通过第二报文数据修正目标报文数据。在本方案中，通过反复对数据处理模型进行训练，以使得发送给监管机构的报目标报文数据不产生异常信息回执。进而能够提高业务交易处理速度，且提高报文一次报送的成功率。
可选的，基于上述本发明实施例示出的数据处理装置，构建单元406，用于获取历史报送数据，将历史报送数据作为样本集，历史报送数据包括历史交易数据和与历史交易数据对应的历史报文数据，每一历史交易数据对应的历史报文数据的数量至少为一个；对样本集进行分类处理，并提取历史报送数据中的报送特征数据；基于规范后的历史报送特征数据对通用的机器学习模型进行训练，得到训练完成的数据处理模型。
可选的，对样本集进行分类处理，并提取历史报送数据中的报送特征数据的构建单元406具体用于：根据历史报送数据的数据项的不同，对样本集进行分类；确定分类后每一数据项所对应的数据的权重；根据每一数据项所对应的中数据的权重，提取样本集的报送特征数据。
在本发明实施例中，利用历史报送数据构建的数据处理模块，以便于利用构建完成的数据处理模型对交易数据进行处理，得到第一报文数据；并根据第一报文数据和交易数据所对应的分值进行比较，以确定该交易数据是否为异常交易数据，当确定交易数据对应的分值低于第一报文数据的分值时，基于数据处理模块输出的第一报文数据对交易数据进行补正，从而确定发送给监管机构的目标报文数据，通过上述方式能够提高业务交易处理速度，且提高报文一次报送的成功率。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
获取预设时间段内业务交易产生的交易数据，所述交易数据包括交易信息和客户信息；
将所述交易数据作为预先构建的数据处理模型的输入，基于所述预先构建的数据处理模型对所述交易数据进行处理，得到第一报文数据，所述第一报文数据是指可以发送给监管机构的交易数据，所述数据处理模型是利用历史报送数据进行训练得到；
基于所述第一报文数据和所述交易数据进行比较，确定所述交易数据是否为异常交易数据；
若确定所述交易数据为异常数据，基于所述第一报文数据对所述交易数据进行补正；
基于所述补正后的交易数据，生成目标报文数据，并发送给所述监管机构。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一报文数据和所述交易数据进行比较，确定所述交易数据是否为异常交易数据，包括：
查询数据分值表，确定所述第一报文数据和所述交易数据对应的分值；
判断所述交易数据对应的分值是否低于第一报文数据的分值；
当确定所述交易数据对应的分值低于第一报文数据的分值时，确定所述交易数据为异常交易数据；
当确定所述交易数据对应的分值高于第一报文数据的分值时，确定所述交易数据为正常交易数据。
3.根据权利要求1所述的方法，其特征在于，还包括：
当接收到所述监管机构对所述第一报文数据进行处理后回执的异常信息时，基于所述异常信息，对所述补正后的交易数据提取交易特征数据；
根据所述交易特征数据更新所述数据处理模型。
4.根据权利要求3所述的方法，其特征在于，还包括：
根据更新后的数据处理模型对所述补正后的交易数据进行处理，得到第二报文数据；
基于所述第二报文数据修正所述目标报文数据，并重新发送给所述监管机构。
5.根据权利要求1所述的方法，其特征在于，所述根据所述报文数据进行训练得到数据处理模型的过程，包括：
获取历史报送数据，将所述历史报送数据作为样本集，所述历史报送数据包括历史交易数据和与所述历史交易数据对应的历史报文数据，每一历史交易数据对应的历史报文数据的数量至少为一个；
对所述样本集进行分类处理，并提取所述历史报送数据中的报送特征数据；
基于规范后的所述历史报送特征数据对通用的机器学习模型进行训练，得到训练完成的数据处理模型。
6.根据权利要求5所述的方法，其特征在于，所述对所述样本集进行分类处理，并提取所述历史报送数据中的报送特征数据，包括：
根据历史报送数据的数据项的不同，对所述样本集进行分类；
确定分类后每一数据项所对应的数据的权重；
根据所述每一数据项所对应的中数据的权重，提取所述样本集的报送特征数据。
7.一种数据处理装置，其特征在于，所述装置包括：
获取单元，用于获取预设时间段内产生的业务交易对应的交易数据，所述交易数据包括交易信息和客户信息；
数据处理模型，用于对输入的所述交易数据进行处理，得到第一报文数据，所述第一报文数据是指可以发送给监管机构的交易数据，所述数据处理模型由构建单元构建；
确定单元，用于基于所述第一报文数据和所述交易数据进行比较，确定所述交易数据是否为异常交易数据；
补正单元，用于在确定所述交易数据为异常数据时，基于所述第一报文数据对所述交易数据进行补正；
生成单元，用于基于所述补正后的交易数据，生成目标报文数据，并发送给所述监管机构。
8.根据权利要求7所述的装置，其特征在于，所述确定单元，具体用于：
查询数据分值表，确定所述第一报文数据和所述交易数据对应的分值；判断所述交易数据对应的分值是否低于第一报文数据的分值；当确定所述交易数据对应的分值低于第一报文数据的分值时，确定所述交易数据为异常交易数据；当确定所述交易数据对应的分值高于第一报文数据的分值时，确定所述交易数据为正常交易数据。
9.根据权利要求7所述的装置，其特征在于，还包括：
更新单元，用于当接收到所述监管机构对所述第一报文数据进行处理后回执的异常信息时，基于所述异常信息，对所述补正后的交易数据提取交易特征数据；根据所述交易特征数据更新所述数据处理模型。
10.根据权利要求7所述的装置，其特征在于，所述构建单元，用于获取历史报送数据，将所述历史报送数据作为样本集，所述历史报送数据包括历史交易数据和与所述历史交易数据对应的历史报文数据，每一历史交易数据对应的历史报文数据的数量至少为一个；对所述样本集进行分类处理，并提取所述历史报送数据中的报送特征数据；基于规范后的所述历史报送特征数据对通用的机器学习模型进行训练，得到训练完成的数据处理模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011549158.6A CN112581276A (zh) | 2020-12-24 | 2020-12-24 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011549158.6A CN112581276A (zh) | 2020-12-24 | 2020-12-24 | 一种数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112581276A true CN112581276A (zh) | 2021-03-30 |
Family
ID=75140256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011549158.6A Pending CN112581276A (zh) | 2020-12-24 | 2020-12-24 | 一种数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112581276A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128986A (zh) * | 2021-04-23 | 2021-07-16 | 中国工商银行股份有限公司 | 长链路交易的报错处理方法及装置 |
| CN113313593A (zh) * | 2021-06-23 | 2021-08-27 | 中国农业银行股份有限公司 | 数据处理方法和数据处理装置 |
| CN113515401A (zh) * | 2021-05-18 | 2021-10-19 | 中国工商银行股份有限公司 | 一种异常交易的定位排错方法、系统、电子设备及介质 |
| CN114022279A (zh) * | 2021-11-05 | 2022-02-08 | 税友软件集团股份有限公司 | 一种业务数据纠错方法、装置、设备及可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104050193A (zh) * | 2013-03-15 | 2014-09-17 | 中国银联股份有限公司 | 生成报文的方法和实现该方法的数据处理系统 |
| KR20150101521A (ko) * | 2014-02-26 | 2015-09-04 | 주식회사 더존다스 | 세무회계 관련 신고문서의 오류 검증 시스템 및 그 제공방법 |
| CN109934688A (zh) * | 2019-03-22 | 2019-06-25 | 中国农业银行股份有限公司 | 一种征信结果确定方法及装置 |
| CN110147378A (zh) * | 2019-04-02 | 2019-08-20 | 平安科技（深圳）有限公司 | 数据核对方法、装置、计算机设备及存储介质 |
| US10445738B1 (en) * | 2018-11-13 | 2019-10-15 | Capital One Services, Llc | Detecting a transaction volume anomaly |
| CN111277465A (zh) * | 2020-01-20 | 2020-06-12 | 支付宝(杭州)信息技术有限公司 | 一种异常数据报文检测方法、装置及电子设备 |
| CN111507726A (zh) * | 2020-04-07 | 2020-08-07 | 支付宝(杭州)信息技术有限公司 | 一种报文生成方法、装置及设备 |
| CN111667368A (zh) * | 2020-05-29 | 2020-09-15 | 中国工商银行股份有限公司 | 反洗钱监测系统及方法 |
| CN111897856A (zh) * | 2020-07-31 | 2020-11-06 | 平安普惠企业管理有限公司 | 监管报文生成方法、装置、电子设备及可读存储介质 |
-
2020
- 2020-12-24 CN CN202011549158.6A patent/CN112581276A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104050193A (zh) * | 2013-03-15 | 2014-09-17 | 中国银联股份有限公司 | 生成报文的方法和实现该方法的数据处理系统 |
| KR20150101521A (ko) * | 2014-02-26 | 2015-09-04 | 주식회사 더존다스 | 세무회계 관련 신고문서의 오류 검증 시스템 및 그 제공방법 |
| US10445738B1 (en) * | 2018-11-13 | 2019-10-15 | Capital One Services, Llc | Detecting a transaction volume anomaly |
| CN109934688A (zh) * | 2019-03-22 | 2019-06-25 | 中国农业银行股份有限公司 | 一种征信结果确定方法及装置 |
| CN110147378A (zh) * | 2019-04-02 | 2019-08-20 | 平安科技（深圳）有限公司 | 数据核对方法、装置、计算机设备及存储介质 |
| CN111277465A (zh) * | 2020-01-20 | 2020-06-12 | 支付宝(杭州)信息技术有限公司 | 一种异常数据报文检测方法、装置及电子设备 |
| CN111507726A (zh) * | 2020-04-07 | 2020-08-07 | 支付宝(杭州)信息技术有限公司 | 一种报文生成方法、装置及设备 |
| CN111667368A (zh) * | 2020-05-29 | 2020-09-15 | 中国工商银行股份有限公司 | 反洗钱监测系统及方法 |
| CN111897856A (zh) * | 2020-07-31 | 2020-11-06 | 平安普惠企业管理有限公司 | 监管报文生成方法、装置、电子设备及可读存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128986A (zh) * | 2021-04-23 | 2021-07-16 | 中国工商银行股份有限公司 | 长链路交易的报错处理方法及装置 |
| CN113515401A (zh) * | 2021-05-18 | 2021-10-19 | 中国工商银行股份有限公司 | 一种异常交易的定位排错方法、系统、电子设备及介质 |
| CN113313593A (zh) * | 2021-06-23 | 2021-08-27 | 中国农业银行股份有限公司 | 数据处理方法和数据处理装置 |
| CN113313593B (zh) * | 2021-06-23 | 2024-01-30 | 中国农业银行股份有限公司 | 数据处理方法和数据处理装置 |
| CN114022279A (zh) * | 2021-11-05 | 2022-02-08 | 税友软件集团股份有限公司 | 一种业务数据纠错方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112581276A (zh) | 一种数据处理方法及装置 | |
| US9697568B1 (en) | System and methods for credit dispute processing, resolution, and reporting | |
| CN106548402B (zh) | 资源转移监控方法及装置 | |
| CN107392769B (zh) | 基于区块链技术的代收支付方法 | |
| WO2019014821A1 (zh) | 金融终端的故障预警方法、终端设备及存储介质 | |
| CN111192019A (zh) | 一种目标票据的报销处理方法及相关设备 | |
| JP6161229B1 (ja) | 自動仕訳システムおよび自動仕訳プログラム | |
| US20140330718A1 (en) | Paper payment receipt, processing and payment failure analytics | |
| CN110910106B (zh) | 一种现金管理报文处理方法及系统 | |
| CN111612991A (zh) | 一种atm维护方法及装置 | |
| US20150066750A1 (en) | Payments Perfection and Processing System | |
| CN114168682A (zh) | 一种数据稽核方法、装置、设备及存储介质 | |
| US9299069B2 (en) | Granular, user-accessible paper payment processing indicators | |
| CN113962703A (zh) | 一种反洗钱监测方法、装置和系统 | |
| US20140330708A1 (en) | Paper check processing in connection with bill pay requests | |
| US20140330716A1 (en) | Paper payment processing analytics | |
| US20140330714A1 (en) | Paper payment receipt, processing and real time communication with payor | |
| CN111241082B (zh) | 数据修正方法及装置 | |
| US20120173495A1 (en) | Computer Readable Medium, Systems, and Methods of Detecting a Discrepancy in a Chain-of-title of an Asset | |
| CN110503477B (zh) | 订单的毛利异常原因的分析方法、系统、设备和存储介质 | |
| US20140330717A1 (en) | Paper payment receipt, processing and failure remediation | |
| CN111626881A (zh) | 年金组合风险管理系统、方法、服务器及存储介质 | |
| CN114155075A (zh) | 一种团队业务收费确认方法及装置 | |
| WO2020215542A1 (zh) | 信息通知方法、装置、计算机设备及存储介质 | |
| CN111797590A (zh) | 数据核对方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |