CN112131854A - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents

一种数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112131854A
CN112131854A CN202011018410.0A CN202011018410A CN112131854A CN 112131854 A CN112131854 A CN 112131854A CN 202011018410 A CN202011018410 A CN 202011018410A CN 112131854 A CN112131854 A CN 112131854A
Authority
CN
China
Prior art keywords
data
candidate
type
processing
candidate data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011018410.0A
Other languages
English (en)
Inventor
迟立辉
万鹏
骆俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kaike Weizhi Technology Co ltd
Original Assignee
Beijing Kaike Weizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kaike Weizhi Technology Co ltd filed Critical Beijing Kaike Weizhi Technology Co ltd
Priority to CN202011018410.0A priority Critical patent/CN112131854A/zh
Publication of CN112131854A publication Critical patent/CN112131854A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Abstract

本申请提供了一种数据处理方法、装置、电子设备及存储介质，其中，该数据处理方法包括：获取来自数据源端的多种类型的候选数据；针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据；基于所述待使用数据对应的目的端，选取与所述目的端相匹配的数据文件配置模板；根据所述数据文件配置模板以及所述待使用数据，生成对应于所述目的端的数据文件，并将生成的所述数据文件发送给所述目的端。本申请能够基于预设的数据文件配置模板，自动生成匹配不同目的端的数据文件，数据文件生成效率高。

Description

一种数据处理方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机信息技术领域，具体而言，涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
现阶段，在金融行业，为了提高数据的可读性，方便对数据进行深度挖掘，通常根据数据间的关联关系，生成对应的数据文件。
实际中，在开展金融业务时，需要将数据文件发送给多个监管机构，并且，不同的监管机构对数据文件的要求不同，在向每个监管机构发送数据文件时，工作人员需要根据每个监管机构对数据文件的具体要求，从各业务系统中获取对应的数据，生成符合要求的数据文件，并将生成的数据文件发送给对应的监管机构。
采用该种数据文件的生成方式，工作人员所要处理的数据量巨大，且不同的监管机构对数据文件的要求不同，业务复杂度高，易导致数据文件出错，同时，由于采用人工生成数据文件的方式，将耗费过多的人力资源和时间资源，数据文件的生成效率低。
发明内容
有鉴于此，本申请实施例的目的在于提供一种数据处理方法、装置、电子设备及存储介质，能够基于预设的对应于不同监管机构的数据文件配置模板，自动生成匹配不同监管机构的数据文件，生成的数据文件准确度高，数据文件的生成效率高。
第一方面，本申请实施例提供了一种数据处理方法，所述数据处理方法包括：
获取来自数据源端的多种类型的候选数据；
针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据；
基于所述待使用数据对应的目的端，选取与所述目的端相匹配的数据文件配置模板；
根据所述数据文件配置模板以及所述待使用数据，生成对应于所述目的端的数据文件，并将生成的所述数据文件发送给所述目的端。
在一种可能的实施方式中，所述获取来自数据源端的多种类型的候选数据，包括：
接收所述数据源端提供的多种类型的原始数据；
若所述原始数据位于与所述原始数据的类型相匹配的阈值范围内，则将所述原始数据确定为所述候选数据；
若所述原始数据位于与所述原始数据的类型相匹配的阈值范围外，则对所述原始数据进行调整，以使调整后的原始数据位于所述阈值范围内，并将所述调整后的原始数据确定为所述候选数据。
在一种可能的实施方式中，所述获取来自数据源端的多种类型的候选数据，还包括：
接收所述数据源端提供的多种类型的原始数据；
若所述原始数据的多种类型与预设的标准类型相一致，则将所述原始数据确定为所述候选数据；
若所述原始数据的多种类型与预设的标准类型不一致，则生成对应的数据调整提示信息。
在一种可能的实施方式中，所述数据处理方法还包括：
在基于所述处理规则对所述候选数据进行处理的过程中，监控对应的处理时间，若所述处理时间大于第一预设阈值，则停止对所述候选数据进行处理，并显示对应的预警信息；
在根据所述数据文件配置模板以及所述待使用数据生成对应于所述目的端的数据文件的过程中，监控生成所述数据文件的生成时间，若所述生成时间大于第二预设阈值，则停止生成所述数据文件。
在一种可能的实施方式中，所述针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据，包括：
针对每种类型的候选数据，确定与该候选数据的类型相匹配的目标服务节点；所述目标服务节点对应有匹配该类型候选数据的处理规则；
调用所述目标服务节点对该候选数据进行处理，得到所述待使用数据；其中，所述服务节点基于对应的处理规则对该候选数据进行处理。
在一种可能的实施方式中，所述目标服务节点对应有多个分支服务节点；所述针对每种类型的候选数据，确定与该候选数据的类型相匹配的目标服务节点，包括：
针对每种类型的候选数据，根据该候选数据的容量，以及每个所述分支服务节点对应的最大处理容量，将该候选数据分配给与该候选数据的类型相匹配的目标服务节点下的多个分支服务节点。
第二方面，本申请实施例提供了一种数据处理装置，所述数据处理装置包括：
获取模块，用于获取来自数据源端的多种类型的候选数据；
数据处理模块，用于针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据；
选取模块，用于基于所述待使用数据对应的目的端，选取与所述目的端相匹配的数据文件配置模板；
生成模块，用于根据所述数据文件配置模板以及所述待使用数据，生成对应于所述目的端的数据文件，并将生成的所述数据文件发送给所述目的端。
在一种可能的实施方式中，所述获取模块，在获取来自数据源端的多种类型的候选数据时，包括：
接收所述数据源端提供的多种类型的原始数据；
若所述原始数据位于与所述原始数据的类型相匹配的阈值范围内，则将所述原始数据确定为所述候选数据；
若所述原始数据位于与所述原始数据的类型相匹配的阈值范围外，则对所述原始数据进行调整，以使调整后的原始数据位于所述阈值范围内，并将所述调整后的原始数据确定为所述候选数据。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的数据处理方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面任一项所述的数据处理方法的步骤。
本申请实施例提供的一种数据处理方法、装置、电子设备及存储介质，获取来自数据源端的多种类型的候选数据；针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据；基于所述待使用数据对应的目的端，选取与所述目的端相匹配的数据文件配置模板；根据所述数据文件配置模板以及所述待使用数据，生成对应于所述目的端的数据文件，并将生成的所述数据文件发送给所述目的端。本申请实施例能够基于预设的数据文件配置模板，自动生成匹配不同目的端的数据文件，数据文件生成效率高。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种数据处理方法的流程图；
图2示出了本申请实施例提供的另一种数据处理方法的流程图；
图3示出了本申请实施例提供的另一种数据处理方法的流程图；
图4示出了本申请实施例提供的另一种数据处理方法的流程图；
图5示出了本申请实施例提供的一种数据处理装置的结构示意图；
图6示出了本申请实施例提供的一种电子设备的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
现阶段，为了提高数据的可读性，方便对数据进行深度挖掘，通常根据数据间的关联关系，生成对应的数据文件。实际中，数据文件的生成方式通常为：统计数据的工作人员根据以往的数据统计经验，将多种数据汇总成一个数据文件，并将生成的数据文件发送给对应的目的端，以使目的端的工作人员对生成的数据文件进行查看。但是，该种数据文件的生成方式需要依赖大量的工作人员，耗费的人力资源和时间资源多，数据文件的生成效率低。
基于上述问题，本申请实施例提供的一种数据处理方法、装置、电子设备及存储介质，获取来自数据源端的多种类型的候选数据；针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据；基于所述待使用数据对应的目的端，选取与所述目的端相匹配的数据文件配置模板；根据所述数据文件配置模板以及所述待使用数据，生成对应于所述目的端的数据文件，并将生成的所述数据文件发送给所述目的端。本申请实施例能够基于预设的对应于不同目的端的数据文件配置模板，自动生成匹配不同目的端的数据文件，生成的数据文件准确度高，数据文件的生成效率高。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请针对上述问题所提出的解决方案，都应该是发明人在本申请过程中对本申请做出的贡献。
下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种数据处理方法进行详细介绍，本申请实施例所提供的数据处理方法的执行主体可以是服务器，也可以是运营管理平台。下面以执行主体为运营管理平台对本申请实施例提供的数据处理方法加以说明。
参见图1所示，图1为本申请实施例提供的数据处理方法的流程图，该数据处理方法包括：
S101、获取来自数据源端的多种类型的候选数据。
本申请实施例中，运营管理平台可以对应一个数据源端，也可以对应两个及两个以上的数据源端，并且，每种数据源端可以提供多种类型的候选数据。运营管理平台获取各个数据源端上传的候选数据。
实际中，运营管理平台部署在银行系统中，运营管理平台对应的数据源端包括：估值系统、历史销售系统、当前销售系统，资管系统。候选数据的类型包括系统数据、产品数据、资产数据、估值数据。
S102、针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据。
本申请实施例中，基于候选数据无法生成数据文件，需要对候选数据进行处理，得到用于生成数据文件的待使用数据，不同类型的候选数据对应的处理规则不同，针对每种类型的候选数据，确定与该种类别的候选数据相匹配的处理规则，并基于确定的处理规则，对该种类型的候选数据进行相关的处理，将处理结果作为待使用数据。
比如，基于对应的处理规则，运营管理平台中的源数据系统(理财系统)根据产品基本条款的规则以及运作情况，批量生成申购、赎回、付息、分红、到期、每日利息计提等数据，即待处理数据；基于对应的处理规则，源数据系统(资管系统)根据配置好的各项税费的计算公式进行核算，分别计算出每笔资产交易收入的应缴税费，即待处理数据；基于对应的处理规则，根据交易债券的基本信息核算出每日利息计提、每日摊销金额等数据，即待处理数据；基于对应的处理规则，根据买入基金核算出买入成本、基金分红、红利再投、基金赎回等数据，即待处理数据。基于对应的处理规则，源数据系统(估值系统)，生成理财产品估值数据，即待处理数据。
S103、基于所述待使用数据对应的目的端，选取与所述目的端相匹配的数据文件配置模板。
本申请实施例中，运营管理平台可以对应多个不同的目的端，不同的目的端对应的数据文件配置模板不同，根据处理得到的待使用数据对应的目的端，选取与该目标端相匹配的数据文件配置模板。
实际中，运营管理平台对应的目的端包括：中债目的端、人行目的端、银监目的端、内部业务管理目的端。比如，待使用数据对应的是中债目的端，获取中债目的端对应的数据文件配置模板。
S104、根据所述数据文件配置模板以及所述待使用数据，生成对应于所述目的端的数据文件，并将生成的所述数据文件发送给所述目的端。
本申请实施例中，将每个待使用数据填充到数据文件配置模板中该待使用数据对应的区域，生成最终的数据文件，比如，数据文件配置模板包括三个区域，分别为：第一区域、第二区域、第三区域，第一区域对应用户属性信息，第二区域对应已办理业务信息，第三区域对应未办理业务信息，将待使用数据中的用户属性信息填充至第一区域，将待使用数据中的已办理业务信息填充至第二区域，将待使用数据中的未办理业务信息填充至第三区域，得到最终的数据文件，将生成的数据文件发送至待处理数据对应的目的端。其中，数据文件包括：Excel表格、Word文件、PDF文件、报文以及.dat格式的文件等多种用于记载数据的文件。
具体的，可以通过如下方式将生成的数据文件发送给对应的目的端：
1、目的端具有对外接口，运营管理平台将生成的数据文件通过目的端的对外接口发送给目的端。
2、目的端不具有对外接口，工作人员从运营管理平台下载生成的数据文件，并将下载的数据文件上传至对应的目的端。
本申请实施例提供的数据处理方法，能够基于预设的对应于不同监管机构的数据文件配置模板，自动生成匹配不同监管机构的数据文件，生成的数据文件准确度高，数据文件的生成效率高。
进一步的，数据源端将原始数据上传至运营管理平台，运营管理平台接收数据源端发送的原始数据，并对原始数据的可用性和完整性进行判断，如果原始数据具有可用性和完整性，则将原始数据作为候选数据，保存至数据库中。具体的，参见图2所示，本申请实施例提供的数据处理方法中，通过如下方式确定原始数据是否具有可用性：
S201、接收所述数据源端提供的多种类型的原始数据。
本申请实施例中，原始数据是数据源端主动进行上传的，即数据源端主动将原始数据上传至运营管理平台，但是运营管理平台并不是实时地接收数据源端上传的原始数据，只有在某些预设的时间点，才会接收数据源端上传的原始数据，即每到预设时间点，运营管理平台接收数据源端上传的原始数据，作为一种可选的实施方式，运营管理平台接收原始数据的周期为一天，即每隔24小时接收一次数据源端上传的原始数据，比如，在每天早八点接收数据源端上传的原始数据，或者，当对初始数据的及时性要求比较高的时候，根据用户对及时性的实际需求对运营管理平台的接收周期进行任意设置，接收周期可以是5分钟、10分钟、半个小时等用户任意设置的时间长度，比如，运营管理平台每隔5分钟接收一次数据源端上传的原始数据。
S202、若所述原始数据位于与所述原始数据的类型相匹配的阈值范围内，则将所述原始数据确定为所述候选数据。
本申请实施例中，不同类型的原始数据对应有不同的阈值范围，针对每个原始数据，若该原始数据位于与该原始数据的类型相匹配的阈值范围内，说明该原始数据具有可用性，将该原始数据确定为候选数据。比如，年龄对应的阈值范围为(0,150)，如果年龄为“20岁”，20位于(0,150)内，说明“20岁”具有可用性，如果年龄为“-20岁”，-20位于(0,150)外，说明“-20岁”不具有可用性。
S203、若所述原始数据位于与所述原始数据的类型相匹配的阈值范围外，则对所述原始数据进行调整，以使调整后的原始数据位于所述阈值范围内，并将所述调整后的原始数据确定为所述候选数据。
本申请实施例中，针对每个原始数据，若该原始数据位于与该原始数据的类型相匹配的阈值范围外，说明该原始数据不具有可用性，此时对该原始数据进行自动调整，以使调整后的该原始数据位于与该原始数据的类型相匹配的阈值范围内，将调整后的该原始数据确定为候选数据。比如，将年龄“-20岁”调整为“20岁”，使“20岁”具有可用性。
参见图3所示，本申请实施例提供的数据处理方法中，通过如下方式确定原始数据是否具有完整性：
S301、接收所述数据源端提供的多种类型的原始数据。
本申请实施例中，数据源端主动将原始数据上传至运营管理平台，每到预设时间点，运营管理平台接收数据源端上传的原始数据，可选的，运营管理平台每天接收一次数据源端上传的原始数据，比如，在每天的早八点接收数据源端上传的原始数据。
S302、若所述原始数据的多种类型与预设的标准类型相一致，则将所述原始数据确定为所述候选数据。
本申请实施例中，预设的标准类型为生成数据文件所必备的多个类型，如果原始数据的多种类型与预设的标准类型相一致，则将原始数据确定为候选数据，说明上述原始数据具有完整性。比如，预设的标准类型为第一类型、第二类型、第三类型、第四类型，原始数据的多种类型为第一类型、第二类型、第三类型、第四类型，则说明原始数据具有完整性。
S303、若所述原始数据的多种类型与预设的标准类型不一致，则生成对应的数据调整提示信息。
本申请实施例中，如果原始数据的多种类型与预设的标准类型不一致，则说明上述原始数据不具有完整性，生成对应的数据调整提示信息，比如“数据不完整”，以使工作人员对原始数据进行调整。
进一步的，运营管理平台对应有超时监控机制，在数据的处理过程中，对数据的处理时间进行监控，以便在处理时间超时的情况下，及时停止对数据的处理，保证运营管理平台的稳定性，具体的，本申请实施例提供的数据处理方法中，通过如下方式对数据处理过程进行监控：
在基于所述处理规则对所述候选数据进行处理的过程中，监控对应的处理时间，若所述处理时间大于第一预设阈值，则停止对所述候选数据进行处理，并显示对应的预警信息。
本申请实施例中，基于处理规则对候选数据进行处理时，开始计时，如果计时得到的处理时间大于第一预设阈值，说明候选数据的处理时间超时，则停止对候选数据进行处理，可以生成对应的预警信息，提示候选数据的处理时间超时。
在根据所述数据文件配置模板以及所述待使用数据生成对应于所述目的端的数据文件的过程中，监控生成所述数据文件的生成时间，若所述生成时间大于第二预设阈值，则停止生成所述数据文件。
本申请实施例中，根据数据文件配置模板以及待使用数据生成对应于目的端的数据文件时，开始计时，如果计时得到的生成时间大于第二预设阈值，说明数据文件的生成时间超时，则停止生成数据文件，可以生成对应的提示信息，提示数据文件的生成时间超时。
进一步的，参见图4所示，本申请实施例提供的数据处理方法中，所述针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据，包括：
S401、针对每种类型的候选数据，确定与该候选数据的类型相匹配的目标服务节点；所述目标服务节点对应有匹配该类型候选数据的处理规则。
本申请实施例中，不同类型的候选数据对应有不同类型的服务节点，候选数据的类型包括系统数据、产品数据以及资产数据，相应的，服务节点的类型包括：系统服务节点、产品服务节点以及资产服务节点，具体的，系统服务节点对应有处理系统数据的处理规则，产品服务节点对应有处理产品数据的处理规则，资产服务节点对应有处理资产数据的处理规则。针对每种类型的候选数据，将与该候选数据的类型相匹配的服务节点确定为目标服务节点。
S402、调用所述目标服务节点对该候选数据进行处理，得到所述待使用数据；其中，所述服务节点基于对应的处理规则对该候选数据进行处理。
本申请实施例中，调用目标服务节点对候选数据进行处理，以使目标服务节点基于对应的处理规则对候选数据进行处理，得到待使用数据。
进一步的，本申请实施例提供的数据处理方法中，所述目标服务节点对应有多个分支服务节点；所述针对每种类型的候选数据，确定与该候选数据的类型相匹配的目标服务节点，还包括：
针对每种类型的候选数据，根据该候选数据的容量，以及每个所述分支服务节点对应的最大处理容量，将该候选数据分配给与该候选数据的类型相匹配的目标服务节点下的多个分支服务节点。
本申请实施例中，每个类型的服务节点均对应有多个分支服务节点，以及每个分支服务节点对应的最大处理容量，其中，最大处理容量的含义是该分支服务节点同时处理数据的最大容量，根据目标服务节点需要处理的候选数据的容量，以及该目标服务节点下每个分支服务节点对应的最大处理容量，确定处理上述候选数据的分支服务节点的个数，以及每个分支服务节点的处理量。
具体的，根据目标服务节点需要处理的候选数据的容量，与分支服务节点对应的最大处理容量的比值，确定处理上述候选数据的分支服务节点的个数，比如，比值为3.3，确定四个分支服务节点同时处理上述候选数据，并且，将候选数据平均分配给每个分支服务节点，比如，对应有100条候选数据，四个分支服务节点中的每个分支服务节点均处理25条候选数据。
基于同一发明构思，本申请实施例中还提供了与数据处理方法对应的数据处理装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述数据处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参见图5所示，图5为本申请一实施例提供的一种数据处理装置的结构示意图，该数据处理装置包括：
获取模块501，用于获取来自数据源端的多种类型的候选数据；
数据处理模块502，用于针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据；
选取模块503，用于基于所述待使用数据对应的目的端，选取与所述目的端相匹配的数据文件配置模板；
生成模块504，用于根据所述数据文件配置模板以及所述待使用数据，生成对应于所述目的端的数据文件，并将生成的所述数据文件发送给所述目的端。
在一种可能的实施方式中，获取模块501，在获取来自数据源端的多种类型的候选数据时，包括：
接收所述数据源端提供的多种类型的原始数据；
若所述原始数据位于与所述原始数据的类型相匹配的阈值范围内，则将所述原始数据确定为所述候选数据；
若所述原始数据位于与所述原始数据的类型相匹配的阈值范围外，则对所述原始数据进行调整，以使调整后的原始数据位于所述阈值范围内，并将所述调整后的原始数据确定为所述候选数据。
在一种可能的实施方式中，获取模块501，在获取来自数据源端的多种类型的候选数据时，还包括：
接收所述数据源端提供的多种类型的原始数据；
若所述原始数据的多种类型与预设的标准类型相一致，则将所述原始数据确定为所述候选数据；
若所述原始数据的多种类型与预设的标准类型不一致，则生成对应的数据调整提示信息。
在一种可能的实施方式中，所述数据处理装置还包括：
第一监控模块，用于在基于所述处理规则对所述候选数据进行处理的过程中，监控对应的处理时间，若所述处理时间大于第一预设阈值，则停止对所述候选数据进行处理，并显示对应的预警信息；
第二监控模块，用于在根据所述数据文件配置模板以及所述待使用数据生成对应于所述目的端的数据文件的过程中，监控生成所述数据文件的生成时间，若所述生成时间大于第二预设阈值，则停止生成所述数据文件。
在一种可能的实施方式中，数据处理模块502，在针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据时，包括：
针对每种类型的候选数据，确定与该候选数据的类型相匹配的目标服务节点；所述目标服务节点对应有匹配该类型候选数据的处理规则；
调用所述目标服务节点对该候选数据进行处理，得到所述待使用数据；其中，所述服务节点基于对应的处理规则对该候选数据进行处理。
在一种可能的实施方式中，所述目标服务节点对应有多个分支服务节点；数据处理模块502，在针对每种类型的候选数据，确定与该候选数据的类型相匹配的目标服务节点时，包括：
针对每种类型的候选数据，根据该候选数据的容量，以及每个所述分支服务节点对应的最大处理容量，将该候选数据分配给与该候选数据的类型相匹配的目标服务节点下的多个分支服务节点。
本申请实施例提供的数据处理装置，能够基于预设的数据文件配置模板，自动生成匹配不同目的端的数据文件，数据文件生成效率高。
参见图6所示，图6为本申请实施例提供的一种电子设备600，该电子设备600包括：处理器601、存储器602和总线，所述存储器602存储有所述处理器601可执行的机器可读指令，当电子设备运行时，所述处理器601与所述存储器602之间通过总线通信，所述处理器601执行所述机器可读指令，以执行如上述数据处理方法的步骤。
具体地，上述存储器602和处理器601能够为通用的存储器和处理器，这里不做具体限定，当处理器601运行存储器602存储的计算机程序时，能够执行上述数据处理方法。
对应于上述数据处理方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述数据处理方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，所述数据处理方法包括：
获取来自数据源端的多种类型的候选数据；
针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据；
基于所述待使用数据对应的目的端，选取与所述目的端相匹配的数据文件配置模板；
根据所述数据文件配置模板以及所述待使用数据，生成对应于所述目的端的数据文件，并将生成的所述数据文件发送给所述目的端。
2.根据权利要求1所述的数据处理方法，其特征在于，所述获取来自数据源端的多种类型的候选数据，包括：
接收所述数据源端提供的多种类型的原始数据；
若所述原始数据位于与所述原始数据的类型相匹配的阈值范围内，则将所述原始数据确定为所述候选数据；
若所述原始数据位于与所述原始数据的类型相匹配的阈值范围外，则对所述原始数据进行调整，以使调整后的原始数据位于所述阈值范围内，并将所述调整后的原始数据确定为所述候选数据。
3.根据权利要求1所述的数据处理方法，其特征在于，所述获取来自数据源端的多种类型的候选数据，还包括：
接收所述数据源端提供的多种类型的原始数据；
若所述原始数据的多种类型与预设的标准类型相一致，则将所述原始数据确定为所述候选数据；
若所述原始数据的多种类型与预设的标准类型不一致，则生成对应的数据调整提示信息。
4.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
在基于所述处理规则对所述候选数据进行处理的过程中，监控对应的处理时间，若所述处理时间大于第一预设阈值，则停止对所述候选数据进行处理，并显示对应的预警信息；
在根据所述数据文件配置模板以及所述待使用数据生成对应于所述目的端的数据文件的过程中，监控生成所述数据文件的生成时间，若所述生成时间大于第二预设阈值，则停止生成所述数据文件。
5.根据权利要求1所述的数据处理方法，其特征在于，所述针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据，包括：
针对每种类型的候选数据，确定与该候选数据的类型相匹配的目标服务节点；所述目标服务节点对应有匹配该类型候选数据的处理规则；
调用所述目标服务节点对该候选数据进行处理，得到所述待使用数据；其中，所述服务节点基于对应的处理规则对该候选数据进行处理。
6.根据权利要求5所述的数据处理方法，其特征在于，所述目标服务节点对应有多个分支服务节点；所述针对每种类型的候选数据，确定与该候选数据的类型相匹配的目标服务节点，包括：
针对每种类型的候选数据，根据该候选数据的容量，以及每个所述分支服务节点对应的最大处理容量，将该候选数据分配给与该候选数据的类型相匹配的目标服务节点下的多个分支服务节点。
7.一种数据处理装置，其特征在于，所述数据处理装置包括：
获取模块，用于获取来自数据源端的多种类型的候选数据；
数据处理模块，用于针对每种类型的候选数据，确定与该候选数据的类型相匹配的处理规则，并基于所述处理规则对所述候选数据进行处理，得到处理后的待使用数据；
选取模块，用于基于所述待使用数据对应的目的端，选取与所述目的端相匹配的数据文件配置模板；
生成模块，用于根据所述数据文件配置模板以及所述待使用数据，生成对应于所述目的端的数据文件，并将生成的所述数据文件发送给所述目的端。
8.根据权利要求7所述的数据处理装置，其特征在于，所述获取模块，在获取来自数据源端的多种类型的候选数据时，包括：
接收所述数据源端提供的多种类型的原始数据；
若所述原始数据位于与所述原始数据的类型相匹配的阈值范围内，则将所述原始数据确定为所述候选数据；
若所述原始数据位于与所述原始数据的类型相匹配的阈值范围外，则对所述原始数据进行调整，以使调整后的原始数据位于所述阈值范围内，并将所述调整后的原始数据确定为所述候选数据。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至6任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一项所述的数据处理方法的步骤。
CN202011018410.0A 2020-09-24 2020-09-24 一种数据处理方法、装置、电子设备及存储介质 Pending CN112131854A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011018410.0A CN112131854A (zh) 2020-09-24 2020-09-24 一种数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011018410.0A CN112131854A (zh) 2020-09-24 2020-09-24 一种数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112131854A true CN112131854A (zh) 2020-12-25

Family

ID=73839722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011018410.0A Pending CN112131854A (zh) 2020-09-24 2020-09-24 一种数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112131854A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610117A (zh) * 2021-07-19 2021-11-05 上海德衡数据科技有限公司 基于深度数据的水下传感数据处理方法及系统
CN114416092A (zh) * 2022-03-29 2022-04-29 北京锐融天下科技股份有限公司 一种数据处理的方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103676899A (zh) * 2013-12-23 2014-03-26 山东康威通信技术股份有限公司 一种自动生成监控终端配置参数的方法
US20190295120A1 (en) * 2006-11-15 2019-09-26 Api Market, Inc. Title materials embedded within media formats and related applications
CN110347998A (zh) * 2019-07-17 2019-10-18 安徽航天信息有限公司 一种税务申报表的生成方法、装置及设备
CN110618911A (zh) * 2019-08-15 2019-12-27 中国平安财产保险股份有限公司 数据监控方法、装置、存储介质和服务器
CN110795257A (zh) * 2019-09-19 2020-02-14 平安科技（深圳）有限公司 处理多集群作业记录的方法、装置、设备及存储介质
CN111124832A (zh) * 2019-12-25 2020-05-08 青梧桐有限责任公司 数据监控方法、装置、电子设备及存储介质
CN111651494A (zh) * 2020-05-29 2020-09-11 泰康保险集团股份有限公司 数据处理方法、装置、设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190295120A1 (en) * 2006-11-15 2019-09-26 Api Market, Inc. Title materials embedded within media formats and related applications
CN103676899A (zh) * 2013-12-23 2014-03-26 山东康威通信技术股份有限公司 一种自动生成监控终端配置参数的方法
CN110347998A (zh) * 2019-07-17 2019-10-18 安徽航天信息有限公司 一种税务申报表的生成方法、装置及设备
CN110618911A (zh) * 2019-08-15 2019-12-27 中国平安财产保险股份有限公司 数据监控方法、装置、存储介质和服务器
CN110795257A (zh) * 2019-09-19 2020-02-14 平安科技（深圳）有限公司 处理多集群作业记录的方法、装置、设备及存储介质
CN111124832A (zh) * 2019-12-25 2020-05-08 青梧桐有限责任公司 数据监控方法、装置、电子设备及存储介质
CN111651494A (zh) * 2020-05-29 2020-09-11 泰康保险集团股份有限公司 数据处理方法、装置、设备及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610117A (zh) * 2021-07-19 2021-11-05 上海德衡数据科技有限公司 基于深度数据的水下传感数据处理方法及系统
CN113610117B (zh) * 2021-07-19 2024-04-02 上海德衡数据科技有限公司 基于深度数据的水下传感数据处理方法及系统
CN114416092A (zh) * 2022-03-29 2022-04-29 北京锐融天下科技股份有限公司 一种数据处理的方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110415119B (zh) 模型训练、票据交易预测方法、装置、存储介质及设备
Kauffman et al. Technology investment decision-making under uncertainty
KR20200008486A (ko) 블록체인 기반의 콘텐츠 리워드 제공 방법 및 시스템
WO2019095666A1 (zh) 一种贷款额度评估方法及相关设备
CN107220895B (zh) 虚拟资源的转移数值统计方法及装置
CN110503564B (zh) 基于大数据的保全案件处理方法、系统、设备及存储介质
CN110766275A (zh) 数据验证方法、装置、计算机设备及存储介质
CN112131854A (zh) 一种数据处理方法、装置、电子设备及存储介质
RU2723916C2 (ru) Устройство и способ обработки опубликованной информации и система публикации информации
CN110597511A (zh) 一种页面自动生成方法、系统、终端设备及存储介质
US20140046708A1 (en) Systems and methods for determining a cloud-based customer lifetime value
CN114170032A (zh) 一种保险产品的上线方法、装置、电子设备及存储介质
CN112529575A (zh) 风险预警方法、设备、存储介质及装置
CN111798261A (zh) 信息更新的方法和装置
CN114155109A (zh) 一种资产配置方法、装置、设备及介质
US20200250658A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
US10824976B2 (en) Infeasibility management in e-sourcing systems
CN109087201B (zh) 虚拟资源的数据处理方法、服务器及存储介质
CN111026963A (zh) 数据查询的方法及装置、配置信息的设置方法及装置
CN114648404A (zh) 贷款请求处理方法、装置、终端及存储介质
CN110910254A (zh) 一种数据处理方法、装置及设备
US20190279301A1 (en) Systems and Methods Using an Algorithmic Solution for Analyzing a Portfolio of Stocks, Commodities and/or Other Financial Assets Based on Individual User Data to Achieve Desired Risk Based Financial Goals
JP5902731B2 (ja) 返済シミュレーションシステム
KR102645612B1 (ko) 데이터 가치 산출 방법과 시스템
US20220261666A1 (en) Leveraging big data, statistical computation and artificial intelligence to determine a likelihood of object renunciation prior to a resource event

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201225