CN115601122A - 数据处理方法、装置、设备及存储介质 - Google Patents

数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115601122A
CN115601122A CN202211329740.0A CN202211329740A CN115601122A CN 115601122 A CN115601122 A CN 115601122A CN 202211329740 A CN202211329740 A CN 202211329740A CN 115601122 A CN115601122 A CN 115601122A
Authority
CN
China
Prior art keywords
data
attribute value
reported
target
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211329740.0A
Other languages
English (en)
Inventor
张嘉慧
张育萌
薛锴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202211329740.0A priority Critical patent/CN115601122A/zh
Publication of CN115601122A publication Critical patent/CN115601122A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06—Asset management; Financial planning or analysis

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Technology Law (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供一种数据处理方法、装置、设备及存储介质，涉及数据处理技术领域，该数据处理方法包括：获取待报送数据，从待报送数据中提取目标属性对应的初始属性值；基于初始属性值以及预设时间段内的历史报送数据，通过目标属性对应的检测模型对初始属性值进行检测，确定初始属性值是否存在异常，检测模型是根据监管要求和待报送数据的数据特征建立的；响应于初始属性值存在异常，基于检测模型输出的第一异常信息对初始属性值进行修正，得到修正后的待报送数据；基于修正后的待报送数据，生成目标报文数据。本申请能够大大提高数据报送的效率，并能够提高数据报送的准确率，进而能够提升数据报送的成功率。

Description

数据处理方法、装置、设备及存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
随着金融行业的不断发展，金融行为不断丰富，为了防范金融风险，越来越多的监管机构需要对金融实体的相关数据进行监管。各金融机构需要定期将其拥有的金融实体的相关数据按照特定的报文格式报送至监管机构，为监管机构做出重要决策提供依据。
目前，通常通过以下方式进行数据报送：业务人员提取待报送数据，根据经验手工检查异常数据并手工修正异常数据，基于监管机构的监管要求，将待报送数据按照特定的报文格式生成报文数据，并将报文数据报送至监管机构，以通过监管机构确定报文数据是否存在异常。在接收到监管机构回执的异常信息时，通过人工的方式进行修正，并重新发送给监管机构。通过上述方式进行数据报送的效率较低。
发明内容
本申请提供一种数据处理方法、装置、设备及存储介质，以解决通过目前方式进行数据报送的效率较低的问题。
第一方面，本申请提供一种数据处理方法，包括：
获取待报送数据；
从待报送数据中提取目标属性对应的初始属性值，目标属性是根据监管要求确定的待检测的属性；
基于初始属性值以及预设时间段内的历史报送数据，通过目标属性对应的检测模型对初始属性值进行检测，确定初始属性值是否存在异常，检测模型是根据监管要求和待报送数据的数据特征建立的；
响应于初始属性值存在异常，基于检测模型输出的第一异常信息对初始属性值进行修正，得到修正后的待报送数据；
基于修正后的待报送数据，生成目标报文数据。
可选的，检测模型包括数据模型、阈值模型和拐点模型；数据模型用于基于对目标属性和目标属性的相关属性之间的相关性的监管要求，对目标属性对应的初始属性值进行检测；阈值模型用于基于目标属性对应的预设阈值，对目标属性对应的初始属性值进行检测，预设阈值是根据监管要求确定的；拐点模型用于基于待报送数据的数据特征，对目标属性对应的初始属性值进行检测。
可选的，基于检测模型输出的第一异常信息对初始属性值进行修正，得到修正后的待报送数据，包括：若通过数据模型输出第一异常信息，则基于数据模型输出的第一异常信息中包含的目标属性对应的目标属性值，对初始属性值进行修正，得到修正后的待报送数据；若通过阈值模型输出第一异常信息，则基于目标属性对应的预设阈值、历史报送数据以及目标属性在每一次历史报送数据中对应的权重，对初始属性值进行修正，得到修正后的待报送数据；若通过拐点模型输出第一异常信息，则基于拐点模型输出的上一次历史报送数据中目标属性对应的属性值，对初始属性值进行修正，得到修正后的待报送数据。
可选的，得到修正后的待报送数据之后，该数据处理方法还包括：将修正后的待报送数据作为历史报送数据进行存储。
可选的，生成目标报文数据之后，该数据处理方法还包括：响应于接收到目标报文数据对应的包含第二异常信息的回执，解析回执，得到第二异常信息，第二异常信息用于更新检测模型。
可选的，该数据处理方法还包括：响应于对修正后的待报送数据进行重新检测的操作，将修正后的待报送数据作为新的待报送数据，执行从待报送数据中提取目标属性对应的初始属性值的步骤。
第二方面，本申请提供一种数据处理装置，包括：
获取模块，用于获取待报送数据；
提取模块，用于从待报送数据中提取目标属性对应的初始属性值，目标属性是根据监管要求确定的待检测的属性；
第一处理模块，用于基于初始属性值以及预设时间段内的历史报送数据，通过目标属性对应的检测模型对初始属性值进行检测，确定初始属性值是否存在异常，检测模型是根据监管要求和待报送数据的数据特征建立的；
修正模块，用于响应于初始属性值存在异常，基于检测模型输出的第一异常信息对初始属性值进行修正，得到修正后的待报送数据；
生成模块，用于基于修正后的待报送数据，生成目标报文数据。
可选的，检测模型包括数据模型、阈值模型和拐点模型；数据模型用于基于对目标属性和目标属性的相关属性之间的相关性的监管要求，对目标属性对应的初始属性值进行检测；阈值模型用于基于目标属性对应的预设阈值，对目标属性对应的初始属性值进行检测，预设阈值是根据监管要求确定的；拐点模型用于基于待报送数据的数据特征，对目标属性对应的初始属性值进行检测。
可选的，修正模块具体用于：若通过数据模型输出第一异常信息，则基于数据模型输出的第一异常信息中包含的目标属性对应的目标属性值，对初始属性值进行修正，得到修正后的待报送数据；若通过阈值模型输出第一异常信息，则基于目标属性对应的预设阈值、历史报送数据以及目标属性在每一次历史报送数据中对应的权重，对初始属性值进行修正，得到修正后的待报送数据；若通过拐点模型输出第一异常信息，则基于拐点模型输出的上一次历史报送数据中目标属性对应的属性值，对初始属性值进行修正，得到修正后的待报送数据。
可选的，修正模块还用于：得到修正后的待报送数据之后，将修正后的待报送数据作为历史报送数据进行存储。
可选的，数据处理装置还包括第二处理模块，用于：在生成模块生成目标报文数据之后，响应于接收到目标报文数据对应的包含第二异常信息的回执，解析回执，得到第二异常信息，第二异常信息用于更新检测模型。
可选的，获取模块还用于：响应于对修正后的待报送数据进行重新检测的操作，将修正后的待报送数据作为新的待报送数据，通过提取模块执行从待报送数据中提取目标属性对应的初始属性值的步骤。
第三方面，本申请提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；
存储器存储计算机执行指令；
处理器执行存储器存储的计算机执行指令，以实现如本申请第一方面所述的数据处理方法。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被处理器执行时，实现如本申请第一方面所述的数据处理方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如本申请第一方面所述的数据处理方法。
本申请提供的数据处理方法、装置、设备及存储介质，通过获取待报送数据，从待报送数据中提取目标属性对应的初始属性值；基于初始属性值以及预设时间段内的历史报送数据，通过目标属性对应的检测模型对初始属性值进行检测，确定初始属性值是否存在异常，检测模型是根据监管要求和待报送数据的数据特征建立的；响应于初始属性值存在异常，基于检测模型输出的第一异常信息对初始属性值进行修正，得到修正后的待报送数据；基于修正后的待报送数据，生成目标报文数据。由于本申请通过目标属性对应的检测模型对从待报送数据中提取的目标属性对应的初始属性值进行检测，确定初始属性值是否存在异常，在确定初始属性值存在异常时，自动对初始属性值进行修正，而不是通过人工检查的方式来确定待报送数据是否存在异常数据，以及通过人工方式对异常数据进行修正，因此，本申请实施例在降低人力和时间成本的基础上，能够大大提高数据报送的效率，并能够提高数据报送的准确率，进而能够提升数据报送的成功率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为相关技术提供的数据报送流程的示意图；
图2为本申请一实施例提供的应用场景示意图；
图3为本申请一实施例提供的数据处理方法的流程图；
图4为本申请一实施例提供的客户认购规模变化趋势的示意图；
图5为本申请一实施例提供的封闭产品认购变化趋势的示意图；
图6为本申请一实施例提供的节假日交易变化趋势的示意图；
图7为本申请另一实施例提供的数据处理方法的流程图；
图8为本申请一实施例提供的数据报送流程的示意图；
图9为本申请一实施例提供的数据处理装置的结构示意图；
图10为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的技术方案中，所涉及的金融数据或用户数据等信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
首先，对本申请涉及的部分技术术语进行解释说明：
资产管理，即资产管理人根据资产管理合同约定的方式、条件、要求及限制，对客户资产进行经营运作，为客户提供相应的金融产品，并收取费用的行为；
金融监管，即通过特定的机构对金融交易行为的主体所作的某种限制或规定，本质上是一种具有特定内涵和特征的规制行为；金融监管可以分成金融监督与金融管理，金融监督指对金融机构实施的全面性、经常性的检查和督促，并以此促进金融机构依法稳健地经营和发展；金融管理指对金融机构及其经营活动实施的领导、组织、协调和控制等一系列的活动；
理财产品，即由金融机构自行设计并发行的产品，将募集到的资金根据产品合同约定投入相关金融市场及购买相关金融产品，获取投资收益后，根据合同约定分配给投资人的一类产品；
校验，即数据传送时采用的一种校正数据错误的方式；
校正，即由于各种加工过程的原始数据均含有误差(包括随机误差和过失误差)，不能满足校验的要求，直接使用原始数据进行报送是不正确的，因此，有必要用数理统计方法对原始数据进行校正，首先删除过失误差数据，然后对其余数据进行调谐，使之满足约束条件；
波动性，即数据在一定时间段的变化性；
报文数据，即具有特定格式的数据文件；
报送，即将报文数据通过特定的报送系统发送给监管机构的过程；
回执，即监管机构通过校验报文数据后返回的报送结果文件。
随着金融行业的不断发展，监管机构对金融实体(比如银行理财类业务)的监管要求更加严格，对金融实体的相关数据的报送要求也日益严格。以理财数据为例，由于理财数据的报送流程繁多，数据类别多，目前在将根据理财数据生成的报文数据通过监管机构的报送系统进行报送时，该报送系统仅仅只能检测报文数据的格式及报文数据的完整性等是否满足要求，且报送数据具有维度高、各维度关联性低以及同频段密度高等特点，数据异常的问题只能靠业务人员根据自身经验去判断，这就导致数据报送的效率低、时效性差，进而影响数据报送的准确性与成功率。
示例性地，图1为相关技术提供的数据报送流程的示意图。如图1所示，相关技术提供的数据报送流程可以包括：
S101、月末业务人员提取当月待报送理财数据。
S102、业务人员根据经验手工检查待报送理财数据中的异常数据，并手工修正异常数据。
S103、将待报送理财数据按监管机构要求的报文格式生成批量报文数据。
S104、将批量报文数据通过监管机构的报送系统发送至监管机构。
S105、接收监管机构的报送系统返回的回执。
S106、根据回执判断报送的理财数据是否校验通过。
若校验不通过，则重复执行S102至S106步骤，直至校验通过；若校验通过，则结束本次数据报送。
上述数据报送流程主要存在以下缺点：(1)待报送数据中异常数据的检测效率低、耗费大量人力与时间成本；由于在检查异常数据的过程中需要经过多层工序，因此，将待报送数据报送至监管机构后，未通过校验就需要重新再经历一遍检查、修正及报送的工序，并且报送数据具有海量、维度高、关联性复杂等特点，目前人工检查异常数据的方式效率较低，即使通过了校验，也存在时效性低的问题，存在迟报风险；(2)依赖业务人员的实际经验；使用人工检查异常数据的方式，在实际操作过程中非常依赖业务人员的在此之前的实际经验，不熟悉的业人员要花费大量时间了解加工逻辑和数据来源后，才能修正数据，并且由于实际情况中的种种复杂原因会导致报送准确性，由此影响到数据报送的成功率；(3)准确性低；比如理财数据有自己的监管要求、规则和特征，人工检查往往忽视或者觉察不到这一点，导致检查不详尽，检查结果不够准确，影响数据报送的准确性及时效性。另外，由于理财数据本身逻辑或者上游取数原因，可能会出现错误、缺失及核对等问题，且产品多，报送数据量大，对人工检查也造成了无法忽视的困难。
基于上述问题，本申请提供一种数据处理方法、装置、设备及存储介质，通结合历史成功报送数据，对待报送数据通过检测模型自动检测是否存在异常数据，并对异常数据进行自动修正，能够大大提高数据报送的效率，并能够提高数据报送的准确率，进而能够提升数据报送的成功率。
以下，首先对本申请提供的方案的应用场景进行示例说明。
图2为本申请一实施例提供的应用场景示意图。如图2所示，本应用场景中，服务器201获取业务人员导入的待报送数据，确定待报送数据是否存在异常数据；若待报送数据存在异常数据，则对异常数据进行修正，基于修正后的待报送数据，生成目标报文数据。业务人员从服务器201获取目标报文数据，通过服务器202将目标报文数据发送至监管机构，以通过监管机构确定目标报文数据是否存在异常。业务人员通过服务器202获取监管机构发送的目标报文数据对应的回执，在根据回执确定目标报文数据存在异常时，将该回执导入服务器201，服务器201基于回执中的异常信息和修正后的待报送数据，获取新的目标报文数据，并将新的目标报文数据重新发送给监管机构。
需要说明的是，图2仅是本申请实施例提供的一种应用场景的示意图，本申请实施例不对图2中包括的设备进行限定，也不对图2中设备之间的位置关系进行限定。例如，在图2所示的应用场景中，还可以包括数据存储设备，该数据存储设备相对服务器201或者服务器202可以是外部存储器，也可以是集成在服务器201或者服务器202中的内部存储器。
下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图3为本申请一实施例提供的数据处理方法的流程图。本申请实施例的方法可以应用于电子设备中，该电子设备可以是服务器或服务器集群等。如图3所示，本申请实施例的方法包括：
S301、获取待报送数据。
本申请实施例中，待报送数据可以是用户向执行本方法实施例的电子设备输入的，或者，是其它设备向执行本方法实施例的电子设备发送的。示例性地，待报送数据比如包括交易信息和客户信息。
S302、从待报送数据中提取目标属性对应的初始属性值。
其中，目标属性是根据监管要求确定的待检测的属性。
可以理解，根据监管要求，可以预先确定待报送数据包含的所有属性，进而可以确定待检测的属性，即目标属性。示例性地，待报送数据包含的属性中比如包含客户标识、客户持有的金额等，其中，客户持有的金额为目标属性，而客户标识由于不需要进行检测，所以不为目标属性。该步骤中，可以从待报送数据中提取目标属性对应的初始属性值，例如，对于客户持有的金额这个目标属性，可以从待报送数据中提取该目标属性对应的初始属性值比如为20万。
S303、基于初始属性值以及预设时间段内的历史报送数据，通过目标属性对应的检测模型对初始属性值进行检测，确定初始属性值是否存在异常，检测模型是根据监管要求和待报送数据的数据特征建立的。
该步骤中，预设时间段可以根据实际情况进行设置，本申请对此不进行限定。检测模型是根据监管要求和待报送数据的数据特征建立的，其中，待报送数据的数据特征为在监管要求没有明确要求的情况下，所获取的待报送数据本身的特征，比如，对于封闭类理财产品，在某段时间内不进行开放申赎，在不开放申赎的时间内，客户持有的份额和金额不应该发生变化，基于此，可以得到相应的数据特征。进一步地，可选的，检测模型包括数据模型、阈值模型和拐点模型；数据模型用于基于对目标属性和目标属性的相关属性之间的相关性的监管要求，对目标属性对应的初始属性值进行检测；阈值模型用于基于目标属性对应的预设阈值，对目标属性对应的初始属性值进行检测，预设阈值是根据监管要求确定的；拐点模型用于基于待报送数据的数据特征，对目标属性对应的初始属性值进行检测。
示例性地，以待报送数据为待报送理财数据为例，监管机构一般针对待报送数据的某个或者某种属性有明确、符合金融规律的或者一定范围内的要求，比如客户持有金额差异、手续费和资产规模的关系、产品或者资产池到期状态变化等，根据这些监管要求和数据特征，可以建立不同检测模型。具体地，监管机构一般会对连续两次报送的客户或者资产多个金额属性之间有相关性验证要求，因此，可以基于对待报送数据的目标属性和目标属性的相关属性之间的相关性的监管要求，可以建立数据模型。对于数据模型，可以通过如下公式一，进行连续两次数据报送相关性计算：
Figure BDA0003912881700000091
其中，xi表示目标属性，xj表示目标属性的相关属性，xi和xj为两个具有相关关系的属性，t表示本次数据报送，t-1表示上一次数据报送，t和t-1为两次连续的数据报送。
基于上述公式一，可以进一步推导得到如下公式二，通过公式二可以进行多次数据报送相关性计算：
Figure BDA0003912881700000092
对于阈值模型，是针对没有明确数据规则、却有一定上下限要求的待报送数据，比如某项资产的募集规模不能超过发行规模、一定资产规模的客户手续费的规模也有一定范围等，业务人员往往根据自己的经验进行大致判断。图4为本申请一实施例提供的客户认购规模变化趋势的示意图，如图4所示，横坐标表示每一次数据报送的时间点，纵坐标表示认购金额(以万为单位)，线条401表示客户认购金额的预设阈值上限，线条402表示客户认购金额的预设阈值下限，线条403表示每一次数据报送对应的客户认购金额，预设阈值是根据监管要求确定的。可以理解，时刻t配置的预设阈值是对历史报送数据恒定，在t时刻，这个预设阈值会被新加入的待报送数据更新。
对于拐点模型，是针对受期限限制变化的待报送数据，这样的理财数据会在某个时间段内表现出变化，但在时间段之外保持不变，比如封闭产品的募集和认购、节假日不进行交易等。图5为本申请一实施例提供的封闭产品认购变化趋势的示意图，如图5所示，线条501左侧部分比较平直的线条5011和右侧部分比较平直的线条5012，表示不对封闭产品进行交易，而中间部分的波峰和波谷则表示对封闭产品进行交易；图5包含拐点5013和拐点5014。图6为本申请一实施例提供的节假日交易变化趋势的示意图，如图6所示，示出了周六对应的拐点601和拐点603，以及周日对应的拐点602和拐点604。
基于检测模型包括的上述三个模型，可以根据监管要求和待报送数据的数据特征选择目标属性对应的检测模型，即对应不同的目标属性，可以使用不同的检测模型对目标属性对应的初始属性值进行检测。该步骤中，在从待报送数据中提取到目标属性对应的初始属性值后，可以基于初始属性值以及预设时间段内的历史报送数据，通过目标属性对应的检测模型对初始属性值进行检测，确定初始属性值是否存在异常。
S304、响应于初始属性值存在异常，基于检测模型输出的第一异常信息对初始属性值进行修正，得到修正后的待报送数据。
该步骤中，在确定待报送数据中提取到的目标属性对应的初始属性值存在异常时，可以基于检测模型输出的第一异常信息对初始属性值进行修正，得到修正后的待报送数据。可以理解，对应不同的异常信息，有不同的修正方式。可选的，还可以根据检测模型输出的第一异常信息对待报送数据中的异常数据进行标注，以用于确定修改了哪些数据。对于具体如何基于检测模型输出的第一异常信息对初始属性值进行修正，得到修正后的待报送数据，可参考后续实施例，此处不再赘述。
可选的，得到修正后的待报送数据之后，本申请实施例提供的数据处理方法还可以包括：将修正后的待报送数据作为历史报送数据进行存储。
在得到修正后的待报送数据后，为了便于后续数据报送做参考，可以将修正后的待报送数据作为历史报送数据进行存储。
S305、基于修正后的待报送数据，生成目标报文数据。
示例性地，在得到修正后的待报送数据后，可以将修正后的待报送数据按照监管机构要求的报文格式生成目标报文数据，以便于业务人员可以将目标报文数据发送至监管机构。
本申请实施例提供的数据处理方法，通过获取待报送数据，从待报送数据中提取目标属性对应的初始属性值；基于初始属性值以及预设时间段内的历史报送数据，通过目标属性对应的检测模型对初始属性值进行检测，确定初始属性值是否存在异常，检测模型是根据监管要求和待报送数据的数据特征建立的；响应于初始属性值存在异常，基于检测模型输出的第一异常信息对初始属性值进行修正，得到修正后的待报送数据；基于修正后的待报送数据，生成目标报文数据。由于本申请实施例通过目标属性对应的检测模型对从待报送数据中提取的目标属性对应的初始属性值进行检测，确定初始属性值是否存在异常，在确定初始属性值存在异常时，自动对初始属性值进行修正，而不是通过人工检查的方式来确定待报送数据是否存在异常数据，以及通过人工方式对异常数据进行修正，因此，本申请实施例在降低人力和时间成本的基础上，能够大大提高数据报送的效率，并能够提高数据报送的准确率，进而能够提升数据报送的成功率。
图7为本申请另一实施例提供的数据处理方法的流程图。在上述实施例的基础上，本申请实施例对数据处理进行进一步说明。如图7所示，本申请实施例的方法可以包括：
S701、获取待报送数据。
该步骤的具体描述可以参见图3所示实施例中S301的相关描述，此处不再赘述。
S702、从待报送数据中提取目标属性对应的初始属性值。
其中，目标属性是根据监管要求确定的待检测的属性。
该步骤的具体描述可以参见图3所示实施例中S302的相关描述，此处不再赘述。
S703、基于初始属性值以及预设时间段内的历史报送数据，通过目标属性对应的检测模型对初始属性值进行检测，确定初始属性值是否存在异常，检测模型是根据监管要求和待报送数据的数据特征建立的。
该步骤的具体描述可以参见图3所示实施例中S303的相关描述，此处不再赘述。
检测模型包括数据模型、阈值模型和拐点模型，本申请实施例中，图3中S304步骤可以进一步包括如下的S704至S706三个步骤：
S704、响应于初始属性值存在异常，若通过数据模型输出第一异常信息，则基于数据模型输出的第一异常信息中包含的目标属性对应的目标属性值，对初始属性值进行修正，得到修正后的待报送数据。
可以理解，数据模型输出的第一异常信息中包含的目标属性对应的目标属性值为实际属性值，即需要将初始属性值修正为目标属性值，该目标属性值可以根据上述公式一来获得。在将初始属性值修正为目标属性值后，可以得到修正后的待报送数据。
S705、响应于初始属性值存在异常，若通过阈值模型输出第一异常信息，则基于目标属性对应的预设阈值、历史报送数据以及目标属性在每一次历史报送数据中对应的权重，对初始属性值进行修正，得到修正后的待报送数据。
示例性地，由于阈值模型内数据没有明确的监管要求，则需要根据历史报送数据的影响进行修正。具体地，可以通过如下公式三来获得修正值：
Figure BDA0003912881700000121
其中，m表示预设次数；p1至pm表示目标属性在m次历史报送数据的每一次历史报送数据中对应的权重；
Figure BDA0003912881700000122
至
Figure BDA0003912881700000123
表示目标属性在m次历史报送数据的每一次历史报送数据中对应的属性值。
在获得修正值后，可以对初始属性值进行修正，得到修正后的待报送数据。
S706、响应于初始属性值存在异常，若通过拐点模型输出第一异常信息，则基于拐点模型输出的上一次历史报送数据中目标属性对应的属性值，对初始属性值进行修正，得到修正后的待报送数据。
该步骤中，通过拐点模型对初始属性值进行检测，可以根据拐点确定修正值。具体地，可以基于拐点模型输出的上一次历史报送数据中目标属性对应的属性值，获取待报送数据中异常数据对应的修正值，在获得修正值后，可以对初始属性值进行修正，得到修正后的待报送数据。
S707、基于修正后的待报送数据，生成目标报文数据。
该步骤的具体描述可以参见图3所示实施例中S305的相关描述，此处不再赘述。
S708、响应于接收到目标报文数据对应的包含第二异常信息的回执，解析回执，得到第二异常信息。
其中，第二异常信息用于更新检测模型。
示例性地，接收到目标报文数据对应的包含第二异常信息的回执，即表示监管机构对目标报文数据校验不通过，需要人工根据第二异常信息更新检测模型，或者对待报送数据进行人工修正。
S709、响应于对修正后的待报送数据进行重新检测的操作，将修正后的待报送数据作为新的待报送数据，执行S702步骤。
S710、响应于接收到目标报文数据对应的未包含第二异常信息的回执，解析回执，得到校验通过的提示信息。
本申请实施例提供的数据处理方法，通过获取待报送数据，从待报送数据中提取目标属性对应的初始属性值，目标属性是根据监管要求确定的待检测的属性；基于初始属性值以及预设时间段内的历史报送数据，通过目标属性对应的检测模型对初始属性值进行检测，确定初始属性值是否存在异常，检测模型是根据监管要求和待报送数据的数据特征建立的；响应于初始属性值存在异常，若通过数据模型输出第一异常信息，则基于数据模型输出的第一异常信息中包含的目标属性对应的目标属性值，对初始属性值进行修正，得到修正后的待报送数据；响应于初始属性值存在异常，若通过阈值模型输出第一异常信息，则基于目标属性对应的预设阈值、历史报送数据以及目标属性在每一次历史报送数据中对应的权重，对初始属性值进行修正，得到修正后的待报送数据；响应于初始属性值存在异常，若通过拐点模型输出第一异常信息，则基于拐点模型输出的上一次历史报送数据中目标属性对应的属性值，对初始属性值进行修正，得到修正后的待报送数据。基于修正后的待报送数据，生成目标报文数据。响应于接收到目标报文数据对应的包含第二异常信息的回执，解析回执，得到第二异常信息；响应于对修正后的待报送数据进行重新检测的操作，将修正后的待报送数据作为新的待报送数据，进行重新检测，响应于接收到目标报文数据对应的未包含第二异常信息的回执，解析回执，得到校验通过的提示信息。由于本申请实施例通过目标属性对应的检测模型对从待报送数据中提取的目标属性对应的初始属性值进行检测，确定初始属性值是否存在异常，在确定初始属性值存在异常时，自动对初始属性值进行修正，而不是通过人工检查的方式来确定待报送数据是否存在异常数据，以及通过人工方式对异常数据进行修正。在此基础上，在收到包含第二异常信息的回执时，可以将修正后的待报送数据作为新的待报送数据，进行重新检测。因此，本申请实施例在降低人力和时间成本的基础上，能够大大提高数据报送的效率，并能够提高数据报送的准确率，进而能够提升数据报送的成功率。
在上述实施例的基础上，图8为本申请一实施例提供的数据报送流程的示意图。如图8所示，本申请实施例的数据报送流程可以包括：
S801、获取待报送数据。
S802、通过检测模型检测待报送数据中的异常数据。
S803、修正异常数据。
S804、将修正后的待报送数据按监管机构要求的报文格式生成批量报文数据。
S805、将批量报文数据通过监管机构的报送系统发送至监管机构。
S806、接收监管机构的报送系统返回的回执。
S807、解析回执，判断报送的数据是否校验通过。
若校验不通过，则对异常数据人工修正后，重复执行S802至S807步骤，直至校验通过；若校验通过，则结束本次数据报送。
与图1所示的相关技术提供的数据报送流程相比较，本申请实施例的数据报送流程能够大大提高数据报送的效率。
综上，本申请提供的技术方案，至少具有如下优势：
(1)解决数据报送效率低和准确性低的问题；待报送数据具有监管时效性高、数据量大、报送时间长等特征，本申请能够在数据报送之前根据历史报送数据之间的相关性快速且有效地发现异常数据，提供给业务人员进行处理，提高了数据报送的效率和准确性；
(2)不依赖业务人员的经验；因为待报送数据的数据关系比较复杂，人工检查非常依赖业务人员本身的经验和知识，人员变化会带来较大风险，若能固化业务人员的知识和丰富经验，不依赖业务人员本身，将规避此类风险，大大提高提升检查效率和准确性；
(3)准确性高；本申请充分利用了监管要求，挖掘了待报送数据的数据特征，监管机构一般针对待报送数据的某个或者某种属性有明确、符合一定规律的或者一定范围内的要求，比如客户持有金额差异、手续费和资产规模的关系、产品或者资产池到期等情况，不以待报送数据为维度计算，而是直接对待报送数据的属性进行计算，将这些属性进行分类，建立有针对性的检测模型，可以得到非常精确的检测结果，非常适用符合此类特征的数据处理。
(4)修正效率高，且修正准确性高；根据监管要求、加工逻辑、数据特征建立的检测模型，能够快速找到异常数据的正确值，因此，能够大大提升数据报送的准确性和效率。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图9为本申请一实施例提供的数据处理装置的结构示意图，如图9所示，本申请实施例的数据处理装置900包括：获取模块901、提取模块902、第一处理模块903、修正模块904和生成模块905。其中：
获取模块901，用于获取待报送数据。
提取模块902，用于从待报送数据中提取目标属性对应的初始属性值，目标属性是根据监管要求确定的待检测的属性。
第一处理模块903，用于基于初始属性值以及预设时间段内的历史报送数据，通过目标属性对应的检测模型对初始属性值进行检测，确定初始属性值是否存在异常，检测模型是根据监管要求和待报送数据的数据特征建立的。
修正模块904，用于响应于初始属性值存在异常，基于检测模型输出的第一异常信息对初始属性值进行修正，得到修正后的待报送数据。
生成模块905，用于基于修正后的待报送数据，生成目标报文数据。
可选的，检测模型包括数据模型、阈值模型和拐点模型；数据模型用于基于对目标属性和目标属性的相关属性之间的相关性的监管要求，对目标属性对应的初始属性值进行检测；阈值模型用于基于目标属性对应的预设阈值，对目标属性对应的初始属性值进行检测，预设阈值是根据监管要求确定的；拐点模型用于基于待报送数据的数据特征，对目标属性对应的初始属性值进行检测。
在一些实施例中，修正模块904可以具体用于：若通过数据模型输出第一异常信息，则基于数据模型输出的第一异常信息中包含的目标属性对应的目标属性值，对初始属性值进行修正，得到修正后的待报送数据；若通过阈值模型输出第一异常信息，则基于目标属性对应的预设阈值、历史报送数据以及目标属性在每一次历史报送数据中对应的权重，对初始属性值进行修正，得到修正后的待报送数据；若通过拐点模型输出第一异常信息，则基于拐点模型输出的上一次历史报送数据中目标属性对应的属性值，对初始属性值进行修正，得到修正后的待报送数据。
可选的，修正模块904还可以用于：得到修正后的待报送数据之后，将修正后的待报送数据作为历史报送数据进行存储。
可选的，数据处理装置900还可以包括第二处理模块906，用于：在生成模块生成目标报文数据之后，响应于接收到目标报文数据对应的包含第二异常信息的回执，解析回执，得到第二异常信息，第二异常信息用于更新检测模型。
可选的，获取模块901还可以用于：响应于对修正后的待报送数据进行重新检测的操作，将修正后的待报送数据作为新的待报送数据，通过提取模块902执行从待报送数据中提取目标属性对应的初始属性值的步骤。
本实施例的装置，可以用于执行上述任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本申请一实施例提供的电子设备的结构示意图。示例性地，电子设备可以被提供为一服务器或计算机。参照图10，电子设备1000包括处理组件1001，其进一步包括一个或多个处理器，以及由存储器1002所代表的存储器资源，用于存储可由处理组件1001的执行的指令，例如应用程序。存储器1002中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1001被配置为执行指令，以执行上述任一方法实施例。
电子设备1000还可以包括一个电源组件1003被配置为执行电子设备1000的电源管理，一个有线或无线网络接口1004被配置为将电子设备1000连接到网络，和一个输入输出(I/O)接口1005。电子设备1000可以操作基于存储在存储器1002的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上数据处理方法的方案。
本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上的数据处理方法的方案。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random AccessMemory，SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable ReadOnly Memory，EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read OnlyMemory，EPROM)，可编程只读存储器(Programmable Read Only Memory，PROM)，只读存储器(Read Only Memory，ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于数据处理装置中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
获取待报送数据；
从所述待报送数据中提取目标属性对应的初始属性值，所述目标属性是根据监管要求确定的待检测的属性；
基于所述初始属性值以及预设时间段内的历史报送数据，通过所述目标属性对应的检测模型对所述初始属性值进行检测，确定所述初始属性值是否存在异常，所述检测模型是根据监管要求和待报送数据的数据特征建立的；
响应于所述初始属性值存在异常，基于所述检测模型输出的第一异常信息对所述初始属性值进行修正，得到修正后的待报送数据；
基于所述修正后的待报送数据，生成目标报文数据。
2.根据权利要求1所述的数据处理方法，其特征在于，所述检测模型包括数据模型、阈值模型和拐点模型；所述数据模型用于基于对所述目标属性和所述目标属性的相关属性之间的相关性的监管要求，对所述目标属性对应的初始属性值进行检测；所述阈值模型用于基于所述目标属性对应的预设阈值，对所述目标属性对应的初始属性值进行检测，所述预设阈值是根据所述监管要求确定的；所述拐点模型用于基于待报送数据的数据特征，对所述目标属性对应的初始属性值进行检测。
3.根据权利要求2所述的数据处理方法，其特征在于，所述基于所述检测模型输出的第一异常信息对所述初始属性值进行修正，得到修正后的待报送数据，包括：
若通过所述数据模型输出所述第一异常信息，则基于所述数据模型输出的第一异常信息中包含的所述目标属性对应的目标属性值，对所述初始属性值进行修正，得到修正后的待报送数据；
若通过所述阈值模型输出所述第一异常信息，则基于所述目标属性对应的预设阈值、所述历史报送数据以及所述目标属性在每一次所述历史报送数据中对应的权重，对所述初始属性值进行修正，得到修正后的待报送数据；
若通过所述拐点模型输出所述第一异常信息，则基于所述拐点模型输出的上一次历史报送数据中所述目标属性对应的属性值，对所述初始属性值进行修正，得到修正后的待报送数据。
4.根据权利要求1所述的数据处理方法，其特征在于，所述得到修正后的待报送数据之后，还包括：
将所述修正后的待报送数据作为历史报送数据进行存储。
5.根据权利要求1至4中任一项所述的数据处理方法，其特征在于，所述生成目标报文数据之后，还包括：
响应于接收到所述目标报文数据对应的包含第二异常信息的回执，解析所述回执，得到所述第二异常信息，所述第二异常信息用于更新所述检测模型。
6.根据权利要求5所述的数据处理方法，其特征在于，还包括：
响应于对所述修正后的待报送数据进行重新检测的操作，将所述修正后的待报送数据作为新的待报送数据，执行所述从所述待报送数据中提取目标属性对应的初始属性值的步骤。
7.一种数据处理装置，其特征在于，包括：
获取模块，用于获取待报送数据；
提取模块，用于从所述待报送数据中提取目标属性对应的初始属性值，所述目标属性是根据监管要求确定的待检测的属性；
第一处理模块，用于基于所述初始属性值以及预设时间段内的历史报送数据，通过所述目标属性对应的检测模型对所述初始属性值进行检测，确定所述初始属性值是否存在异常，所述检测模型是根据监管要求和待报送数据的数据特征建立的；
修正模块，用于响应于所述初始属性值存在异常，基于所述检测模型输出的第一异常信息对所述初始属性值进行修正，得到修正后的待报送数据；
生成模块，用于基于所述修正后的待报送数据，生成目标报文数据。
8.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至6中任一项所述的数据处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，实现如权利要求1至6中任一项所述的数据处理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法。
CN202211329740.0A 2022-10-27 2022-10-27 数据处理方法、装置、设备及存储介质 Pending CN115601122A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211329740.0A CN115601122A (zh) 2022-10-27 2022-10-27 数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211329740.0A CN115601122A (zh) 2022-10-27 2022-10-27 数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115601122A true CN115601122A (zh) 2023-01-13

Family

ID=84851113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211329740.0A Pending CN115601122A (zh) 2022-10-27 2022-10-27 数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115601122A (zh)

Similar Documents

Publication Publication Date Title
US9892106B1 (en) Methods, systems and articles for correcting errors in electronic government forms
Zumbach The riskmetrics 2006 methodology
US20120150570A1 (en) Risk assessment/measurement system and risk-based decision analysis tool
CN107220895B (zh) 虚拟资源的转移数值统计方法及装置
CN112734559A (zh) 企业信用风险评价方法、装置及电子设备
KR101368103B1 (ko) 리스크 관리 디바이스
CN117575776A (zh) 一种借贷风控模型训练方法、设备以及可读存储介质
Schneider et al. Robust measurement of (heavy-tailed) risks: Theory and implementation
CN112241917A (zh) 一种智能化金融机构贷前管理方法及其系统
CN115601122A (zh) 数据处理方法、装置、设备及存储介质
Eriksson et al. Method of moments approach to pricing double barrier contracts in polynomial jump-diffusion models
US11574363B2 (en) Evaluating data using eligibility criteria
US11727015B2 (en) Systems and methods for dynamically managing data sets
CN115496480A (zh) 数据检验方法、系统及相关设备
US20130091072A1 (en) Algorithm for post-trade analysis and formulation of optimized strategy for subsequent trades
CN112150260A (zh) 制造型企业经营信息真实性核验方法、系统、设备、介质
CN113129127A (zh) 预警方法和装置
CN112632197A (zh) 基于知识图谱的业务关系处理方法及装置
US8156127B1 (en) Method and system for data arbitration
US11823272B2 (en) Investment transaction enrichment process using transaction to holdings matching
Heidergott et al. Gradient estimation for smooth stopping criteria
US10679286B1 (en) Systems and methods for intelligent income verification to improve loan contract funding
CN112199359A (zh) 数据检核方法、装置、电子设备和存储介质
Duc et al. Risk Measurement-Value at Risk (VaR) Versus Conditional Value at Risk (CVaR): A Teaching Note.
CN117575804A (zh) 一种货物资产风险分析方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination