CN110826896A - 数据处理控制方法、装置、计算机设备及存储介质 - Google Patents
数据处理控制方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110826896A CN110826896A CN201911053576.3A CN201911053576A CN110826896A CN 110826896 A CN110826896 A CN 110826896A CN 201911053576 A CN201911053576 A CN 201911053576A CN 110826896 A CN110826896 A CN 110826896A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- target
- preset
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000010354 integration Effects 0.000 claims abstract description 23
- 238000013499 data model Methods 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 38
- 230000005540 biological transmission Effects 0.000 claims description 20
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000008520 organization Effects 0.000 description 7
- 238000011835 investigation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Databases & Information Systems (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Finance (AREA)
- Technology Law (AREA)
- Accounting & Taxation (AREA)
- Educational Administration (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种数据处理控制方法、装置、计算机设备及存储介质，包括下述步骤：获取预设的数据列表，其中，数据列表包括待获取的业务数据的业务信息以及数据类型信息；根据业务信息获取业务数据；根据预设的数据整合规则将业务数据进行整合生成与数据类型信息相对应的目标数据。本发明实施例通过获取预设的数据列表，该数据列表中包括待获取的业务数据的业务信息以及数据类型信息，系统根据该业务信息获取业务数据，再根据数据整合规则将该业务数据进行整合，从而生成与该数据类型信息相对应的目标数据，能将原始的数据进行整合后生成符合应用需求的目标数据，能有效提高原始数据的利用率和数据质量，适用性好。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其是一种数据处理控制方法、装置、计算机设备及存储介质。
背景技术
随着科技的进步，企业或者金融机构可以通过对供应链数据进行处理以实现风险管控，各家企业定期向平台索取数据，然后按照企业自己的需求或者规范来整合数据，以满足自己的风控要求。
但是，平台提供的都是原始数据，企业或者金融机构需要对这些原始数据进行加工清洗后才能运用，原始数据的利用效率低，数据质量不高，适用性差。而且平台提供的索取数据设置有不同版本的数据模型，当企业或者金融机构的风控标准发生变化后，平台需要根据变化后的风控标准对数据模型进行更改，效率低。
发明内容
本发明实施例提供一种能提高数据质量的数据处理控制方法、装置、计算机设备及存储介质。
为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种数据处理控制方法，包括下述步骤：
获取预设的数据列表，其中，所述数据列表包括待获取的业务数据的业务信息以及数据类型信息；
根据所述业务信息获取所述业务数据；
根据预设的数据整合规则将所述业务数据进行整合生成与所述数据类型信息相对应的目标数据。
可选地，所述获取预设的数据列表的步骤之前，还包括如下述步骤：
获取目标终端的数据索取请求；
解析所述数据索取请求获取包括所述目标终端的数据处理业务逻辑的所述数据类型信息，并将所述数据类型信息保存至所述数据列表中。
可选地，所述根据预设的数据整合规则将所述业务数据进行整合生成与所述数据类型信息相对应的目标数据的步骤之后，还包括如下述步骤：
获取预设的目标数据格式，其中，所述目标数据格式为请求所述业务数据的目标终端的数据格式；
将所述目标数据转换成与所述目标数据格式相对应的数据报告。
可选地，所述数据列表中还包括所述目标终端的数据传输接口，所述将所述目标数据转换成与所述数据格式相对应的数据报告的步骤之后，还包括如下述步骤：
确定所述目标终端的数据传输接口；
根据所述数据传输接口将所述数据报告传输至所述目标终端。
可选地，所述根据预设的数据整合规则将所述业务数据进行整合生成与所述数据类型信息相对应的目标数据的步骤，包括如下述步骤：
将所述业务数据输入至预设数据模型中，其中，所述预设数据模型为与所述目标终端的数据处理业务逻辑相对应的数据处理模型；
接收所述预设数据模型输出的所述目标数据。
可选地，所述将所述业务数据输入至预设数据模型中的步骤之前，还包括如下述步骤：
获取本地预设的业务训练数据；
提取所述业务训练数据中与所述目标终端的数据处理业务逻辑相对应的特征变量；
根据所述特征变量将预设的原始数据模型训练成所述预设数据模型。
可选地，所述提取所述业务训练数据中与所述目标终端的数据处理业务逻辑相对应的特征变量的步骤，还包括如下述步骤：
获取所述目标终端的数据标准调整信息，其中，所述数据标准调整信息为所述目标终端的数据类型标准发生变化的信息；
根据所述数据标准调整信息提取所述业务训练数据中的所述特征变量。
为解决上述技术问题，本发明实施例还提供一种数据处理控制装置，包括：
第一获取模块，用于获取预设的数据列表，其中，所述数据列表包括待获取的业务数据的业务信息以及数据类型信息；
第一处理模块，用于根据所述业务信息获取所述业务数据；
第一执行模块，用于根据预设的数据整合规则将所述业务数据进行整合生成与所述数据类型信息相对应的目标数据。
可选地，还包括：
第二获取模块，用于获取目标终端的数据索取请求；
第二执行模块，用于解析所述数据索取请求获取包括所述目标终端的数据处理业务逻辑的所述数据类型信息，并将所述数据类型信息保存至所述数据列表中。
可选地，还包括：
第三获取模块，用于获取预设的目标数据格式，其中，所述目标数据格式为请求所述业务数据的目标终端的数据格式；
第三执行模块，用于将所述目标数据转换成与所述目标数据格式相对应的数据报告。
可选地，还包括：
确定模块，用于确定所述目标终端的数据传输接口；
第二处理模块，用于根据所述数据传输接口将所述数据报告传输至所述目标终端。
可选地，还包括：
第一处理子模块，用于将所述业务数据输入至预设数据模型中，其中，所述预设数据模型为与所述目标终端的数据处理业务逻辑相对应的数据处理模型；
第一接收子模块，用于接收所述预设数据模型输出的所述目标数据。
可选地，还包括：
第一获取子模块，用于获取本地预设的业务训练数据；
第二处理子模块，用于提取所述业务训练数据中与所述目标终端的数据处理业务逻辑相对应的特征变量。
第一执行子模块，用于根据所述特征变量将预设的原始数据模型训练成所述预设数据模型。
可选地，还包括：
第二获取子模块，用于获取所述目标终端的数据标准调整信息，其中，所述数据标准调整信息为所述目标终端的数据类型标准发生变化的信息；
第二执行子模块，用于根据所述数据标准调整信息提取所述业务训练数据中的所述特征变量。
为解决上述技术问题，本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述数据处理控制方法的步骤。
为解决上述技术问题，本发明实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述数据处理控制方法的步骤。
本发明实施例的有益效果为：通过获取预设的数据列表，该数据列表中包括待获取的业务数据的业务信息以及数据类型信息，系统根据该业务信息获取业务数据，再根据数据整合规则将该业务数据进行整合，从而生成与该数据类型信息相对应的目标数据，能将原始的数据进行整合后生成符合应用需求的目标数据，能有效提高原始数据的利用率和数据质量，适用性好。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例设置数据列表中数据类型信息的基本流程示意图；
图2为本发明实施例生成数据列表的流程示意图；
图3为本发明实施例更改目标数据的数据格式的流程示意图；
图4为本发明实施例发送数据报告至目标终端的流程示意图；
图5为本发明实施例生成目标数据的基本流程示意图；
图6为本发明实施例训练预设数据模型的基本流程示意图；
图7为本发明实施例根据数据标准改变调整预设数据模型的基本流程示意图；
图8为本发明实施例数据处理控制装置的基本结构示意图；
图9为本发明实施例计算机设备基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
具体请参阅图1，图1为本实施例数据处理控制方法的基本流程示意图。
如图1所示，一种数据处理控制方法，包括下述步骤：
S1100、获取预设的数据列表，其中，所述数据列表包括待获取的业务数据的业务信息以及数据类型信息；
数据列表是系统中预存的列表，该数据列表中存储有待获取的业务数据的业务信息和数据类型信息，其中，业务信息映射业务数据，业务信息可以为本地生成业务数据库的数据存储地址，数据类型信息表示需要转换成的数据的数据类型，在实施时，该数据类型信息可以根据数据请求确定，以本发明数据处理控制方法应用于本地系统中为例，其他系统获取终端向本地系统索取数据，本地系统可以根据接收的数据索取请求获取其他系统或者终端的业务逻辑的数据类型信息，由于不同的终端处理数据的数据格式或者类型不相同，则输出至终端的数据和标准需要与终端的数据类型信息相对应，从而避免终端不能处理索取的数据或者需要对索取的数据进行清洗的操作。
在实施时，数据列表中可以包括多个终端的业务数据的业务新和数据类型信息，终端均设置有唯一标识，通过该唯一标识可以准确在数据列表中获取相应终端所需的业务数据的业务信息和数据类型信息。
S1200、根据所述业务信息获取所述业务数据；
系统获取业务数据的业务信息后，即可根据该业务信息获取相应的业务数据，在一个可选实施例中，业务数据可以包括本地系统的生产业务数据和第三方机构的认证数据，对于生产业务数据可以通过关联生产业务数据库即可获取得到，在实施时，可以将生产业务数据库中的业务数据同步更新至镜像库，业务数据包括企业基本信息、耗材材料信息、订单信息、送货/退货单信息、入库信息以及发票信息等；对于第三方机构的认证数据，可以通过业务埋点方式获取，在实施时，由第三方机构的供应商在线签署征信授权协议，并登陆征信机构的H5页面进行人工操作，系统通过该征信结构的API(Application ProgrammingInterface，应用程序编程接口)接口接收征信原始数据，并以数据文件形式存储在服务器上。
S1300、根据预设的数据整合规则将所述业务数据进行整合生成与所述数据类型信息相对应的目标数据。
获取业务数据后，系统根据预设的数据整合规则将该业务数据进行整合处理，以生成目标数据，该目标数据与上述的数据类型信息相对应，数据类型信息表征终端索取数据的数据类型，例如金融风控业务数据、保险业务数据、货品供应链业务数据以及其他业务数据等，即将业务数据整合成满足目标终端的数据处理业务逻辑的目标数据，数据整合规则是系统中预设的用于进行数据转换的工具，在实施时，数据整合规则的工作原理为：从业务数据中筛选出符合数据类型信息的目标数据。以目标终端A和目标终端B向系统索取数据为例，其中，目标终端A对应数据规范A，目标终端B对应数据规范B。系统根据获取的数据列表，该数据列表中包含目标终端A和目标终端B待获取的业务数据的业务信息和数据类型信息，系统根据该业务信息获取业务数据，可以从本地生产数据库和/或第三方机构数据库中获取该该业务数据，然后根据数据整合规则将该业务数据整合成目标数据，该目标数据包括对应数据规范A的目标数据A和对应数据规范B的目标数据B。在进行数据整合过程中，系统可以根据数据规范A和数据规范B分别对业务数据进行数据整合，例如，将业务数据进行备份，然后将业务数据筛选出符合数据规范A的目标数据A，然后对备份的业务数据筛选出符合数据规范B的目标数据B，从而满足目标终端A和目标终端B的业务逻辑。
本实施例通过获取预设的数据列表，该数据列表中包括待获取的业务数据的业务信息以及数据类型信息，系统根据该业务信息获取业务数据，再根据数据整合规则将该业务数据进行整合，从而生成与该数据类型信息相对应的目标数据，能将原始的数据进行整合后生成符合应用需求的目标数据，能有效提高原始数据的利用率和数据质量，适用性好。
在一个可选实施例中，可以根据目标终端的请求以设置数据列表中的数据类型信息，请参阅图2，图2是本发明一个实施例中设置数据列表中数据类型信息的基本流程图。
如图2所示，步骤S1100之前，还包括如下述步骤：
S1010、获取目标终端的数据索取请求；
目标终端向系统发送数据索取请求以索取数据，以目标终端为金融机构为例，各家金融机构按照自己的规范类整合数据，各家金融机构会定期向本发明数据处理控制方法应用的系统平台索取数据，系统即可获取目标终端的数据索取请求。
S1020、解析所述数据索取请求获取包括所述目标终端的数据处理业务逻辑的所述数据类型信息，并将所述数据类型信息保存至所述数据列表中。
系统获取目标终端发送的数据索取请求后，对该数据索取请求进行解析，从而获取该数据索取请求中携带的相应目标终端的数据处理业务逻辑的数据类型信息，并将该数据类型信息保存至数据列表中，在实施时，目标终端的业务逻辑是指该目标终端处理数据的逻辑，目标终端发送数据索取请求时，可以在该数据索取请求中添加目标终端的唯一标识和数据类型信息，当目标终端的业务逻辑标准改变时，系统可以即时根据改变后的业务逻辑调整目标数据的筛选规则，以使目标数据满足目标终端修改后的业务逻辑。
在一个可选实施例中，请参阅图3，图3是本发明一个实施例更改目标数据的数据格式的基本流程示意图。
如图3所示，步骤S1300之后，还包括如下述步骤：
S1400、获取预设的目标数据格式，其中，所述目标数据格式为请求所述业务数据的目标终端的数据格式；
目标数据格式表征请求业务数据的目标终端的数据格式，在实施时，包括该目标数据格式的信息可以设置于目标终端发起的数据索取请求中，系统接收到目标终端发送的数据索取请求时，解析该数据索取请求以获取目标数据格式。
S1500、将所述目标数据转换成与所述目标数据格式相对应的数据报告。
系统根据该目标数据格式将生成的目标数据转换成数据报告，在实施时，以目标终端为金融机构为例，金融机构的数据风控是科学做出管理决策的重要依据，不同的金融机构的指标评价体系不同，通常具有不同的量纲和数量级，为了提高数据的质量和适用性，可以将目标数据转换成满足目标终端的目标数据格式的数据报告，在实施时，可以通过使用Parse()、ToString()或者Convert()方法对目标数据进行转换。
在一个可选实施例中，请参阅图4，图4是本发明一个实施例发送数据报告至目标终端的基本流程示意图。
如图4所示，所述数据列表中还包括所述目标终端的数据传输接口，步骤S1500之后，还包括如下述步骤：
S1600、确定所述目标终端的数据传输接口；
数据传输接口是进行数据传输时向数据连接线输出数据的接口，在一个实施例中，该数据传输接口还可以采用API接口，目标终端在发出的数据索取请求中添加包括该数据传输接口的信息，系统接收到数据索取请求后解析该数据索取请求以获取数据传输接口。
S1700、根据所述数据传输接口将所述数据报告传输至所述目标终端。
系统根据该数据传输接口将数据报告发送至目标终端，在实施时，系统还可以生成离线的数据报告，以目标终端为医院的医疗供应链终端为例，该医疗供应链数据包括企业基本信息、耗材材料信息、订单信息、送货/退货单信息、入库信息以及发票信息，系统生成的数据报告中的数据包括供应商画像数据、商品特征、销量趋势、经营效率以及账务溯源，方便对医疗背景下的供应链数据的识别和风险控制。
在一个可选实施例中，请参阅图5，图5是本发明一个实施例生成目标数据的基本流程示意图。
如图5所示，步骤S1300包括如下述步骤：
S1310、将所述业务数据输入至预设数据模型中，其中，所述预设数据模型为与所述目标终端的数据处理业务逻辑相对应的数据处理模型；
S1320、接收所述预设数据模型输出的所述目标数据。
系统将业务数据输入至预设数据模型中由该预设数据模型对业务数据进行处理，该预设数据模型与目标终端的数据处理业务逻辑相匹配，从而可以输出符合目标终端的数据处理业务逻辑的数据。系统即可接收该预设数据模型输出的目标数据。
在一个可选实施例中，预设数据模型可以训练得到，请参阅图6，图6是本发明一个实施例训练预设数据模型的基本流程示意图。
如图6所示，步骤S1310之前，还包括如下述步骤：
S1301、获取本地预设的业务训练数据；
业务训练数据是本地系统预先存储的用于训练模型的数据，以上述的本地生产业务数据库为例，系统可以从该生产业务数据库中获取业务训练数据。
S1302、提取所述业务训练数据中与所述目标终端的数据处理业务逻辑相对应的特征变量；
提取业务训练数据中的特征变量，该特征变量与目标终端的数据处理业务逻辑相对应，在实施时，以目标终端要获取销售风控数据为例，则目标终端的数据处理业务逻辑用于处理目标终端对应企业的月度销售数据，则业务训练数据中的非销售数据，例如进货数据、退货数据等就不需要了，系统根据目标终端的数据处理业务逻辑提取特征变量，例如特征变量包括近一个月销售额、销售额同比、销售额环比、销售波动率以及销售变异系数等。
S1303、根据所述特征变量将预设的原始数据模型训练成所述预设数据模型。
将提取的特征变量作为原始数据模型的入参进行训练，原始数据模型可以采用常用的三种数据模型：层次模型、网状模型和关系模型中的任意一种，层次模型将数据组织成一对多关系的结构，层次结构采用关键字来访问其中每一层次的每一部分，网状模型用连接指令或指针来确定数据间的显式连接关系，是具有多对多类型的数据组织方式，关系模型以记录组或数据表的形式组织数据，以便于利用各种地理实体与属性之间的关系进行存储和变换，不分层也无指针，是建立空间数据和属性数据之间关系的一种非常有效的数据组织方法。当然，原始数据模型也可以采用自定义模型，例如用于处理四则运算的自定义模型。
在一个实施例中，模型训练包括模型选择、确定数据集和模型评价。模型选择的定义是面向任务，选择最优的建模方法和参数，建模可以使用不同的“图纸”，Logistic、SVM和Bayes，根据三个不同的图纸，选择最像任务目标(目标终端的数据处理业务逻辑)的模型；数据集包括原始数据和新数据，原始数据为已知结果的样本数据，将原始数据根据一定比例分为训练集和开发集，训练集用来构建模型，开发集用来对模型调优，新数据为未知结果的样本，当模型构建完成以后，从市场上获取的新数据，这些数据没有目标值，通过输入我们构建的模型输出结果，最后对这些结果进行调研，判断预测的准确性；模型评价的方法采用交叉验证：Cross Validation将数据分为训练集和测试集，训练集构建模型，测试集评估模型，提供修改意见，训练集和测试集随机从总体样本中随机抽取，需要包含所有的特征值。
在一个可选实施例中，请参阅图7，图7是本发明一个实施例根据数据标准改变调整预设数据模型的基本流程示意图。
如图7所示，步骤S1302包括如下述步骤：
S1304、获取所述目标终端的数据标准调整信息，其中，所述数据标准调整信息为所述目标终端的数据类型标准发生变化的信息；
数据标准调整信息是目标终端的数据类型标准调整的信息，在实施时，目标终端相应的企业或者机构按照自己的规范来整合数据，则对应该目标终端需要开发不同版本的数据模型，当目标终端对应的企业或者机构的数据类型标准发生变化后，数据模型也要随之更改，该数据标准调整信息可以包含于目标终端发送的数据索取请求中，系统通过解析该数据索取请求即可获取目标终端的数据标准调整信息。
S1305、根据所述数据标准调整信息提取所述业务训练数据中的所述特征变量。
目标终端的数据类型标准变化后，系统根据该数据标准调整信息提取业务训练数据中的特征变量，从而使得提取的特征变量符合调整后的目标终端的数据处理业务逻辑，进而使得输出的目标数据的应用效果更好。
为解决上述技术问题，本发明实施例还提供一种数据处理控制装置。
具体请参阅图8，图8为本实施例数据处理控制装置基本结构示意图。
如图8所示，一种数据处理控制装置，包括：第一获取模块2100、第一处理模块2200和第一执行模块2300，其中，第一获取模块2100用于获取预设的数据列表，其中，所述数据列表包括待获取的业务数据的业务信息以及数据类型信息；第一处理模块2200用于根据所述业务信息获取所述业务数据；第一执行模块2300用于根据预设的数据整合规则将所述业务数据进行整合生成与所述数据类型信息相对应的目标数据。
本实施例通过获取预设的数据列表，该数据列表中包括待获取的业务数据的业务信息以及数据类型信息，系统根据该业务信息获取业务数据，再根据数据整合规则将该业务数据进行整合，从而生成与该数据类型信息相对应的目标数据，能将原始的数据进行整合后生成符合应用需求的目标数据，能有效提高原始数据的利用率和数据质量，适用性好。
在一些实施方式中，数据处理控制装置还包括：第二获取模块和第二执行模块，其中，第二获取模块用于获取目标终端的数据索取请求；第二执行模块用于解析所述数据索取请求获取包括所述目标终端的数据处理业务逻辑的所述数据类型信息，并将所述数据类型信息保存至所述数据列表中。
在一些实施方式中，数据处理控制装置还包括：第三获取模块和第三执行模块，其中，第三获取模块用于获取预设的目标数据格式，其中，所述目标数据格式为请求所述业务数据的目标终端的数据格式；第三执行模块用于将所述目标数据转换成与所述目标数据格式相对应的数据报告。
在一些实施方式中，数据处理控制装置还包括：确定模块和第二处理摸，其中，所述确定模块用于确定所述目标终端的数据传输接口；第二处理模块用于根据所述数据传输接口将所述数据报告传输至所述目标终端。
在一些实施方式中，数据处理控制装置还包括：第一处理子模块和第一接收子模块，其中，第一处理子模块用于将所述业务数据输入至预设数据模型中，其中，所述预设数据模型为与所述目标终端的数据处理业务逻辑相对应的数据处理模型；第一接收子模块用于接收所述预设数据模型输出的所述目标数据。
在一些实施方式中，数据处理控制装置还包括：第一获取子模块、第二处理子模块和第一执行子模块，其中，第一获取子模块用于获取本地预设的业务训练数据；第二处理子模块用于提取所述业务训练数据中与所述目标终端的数据处理业务逻辑相对应的特征变量。第一执行子模块用于根据所述特征变量将预设的原始数据模型训练成所述预设数据模型。
在一些实施方式中，数据处理控制装置还包括：第二获取子模块和第二执行子模块，其中，第二获取子模块用于获取所述目标终端的数据标准调整信息，其中，所述数据标准调整信息为所述目标终端的数据类型标准发生变化的信息；第二执行子模块用于根据所述数据标准调整信息提取所述业务训练数据中的所述特征变量。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。
如图9所示，计算机设备的内部结构示意图。如图9所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种数据处理控制方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种数据处理控制方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图8中第一获取模块2100、第一处理模块2200和第一执行模块2300，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有数据处理控制装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
计算机通过获取预设的数据列表，该数据列表中包括待获取的业务数据的业务信息以及数据类型信息，系统根据该业务信息获取业务数据，再根据数据整合规则将该业务数据进行整合，从而生成与该数据类型信息相对应的目标数据，能将原始的数据进行整合后生成符合应用需求的目标数据，能有效提高原始数据的利用率和数据质量，适用性好。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述数据处理控制方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据处理控制方法，其特征在于，包括下述步骤：
获取预设的数据列表，其中，所述数据列表包括待获取的业务数据的业务信息以及数据类型信息；
根据所述业务信息获取所述业务数据；
根据预设的数据整合规则将所述业务数据进行整合生成与所述数据类型信息相对应的目标数据。
2.根据权利要求1所述的数据处理控制方法，其特征在于，所述获取预设的数据列表的步骤之前，还包括如下述步骤：
获取目标终端的数据索取请求；
解析所述数据索取请求获取包括所述目标终端的数据处理业务逻辑的所述数据类型信息，并将所述数据类型信息保存至所述数据列表中。
3.根据权利要求2所述的数据处理控制方法，其特征在于，所述根据预设的数据整合规则将所述业务数据进行整合生成与所述数据类型信息相对应的目标数据的步骤之后，还包括如下述步骤：
获取预设的目标数据格式，其中，所述目标数据格式为请求所述业务数据的目标终端的数据格式；
将所述目标数据转换成与所述目标数据格式相对应的数据报告。
4.根据权利要求3所述的数据处理控制方法，其特征在于，所述数据列表中还包括所述目标终端的数据传输接口，所述将所述目标数据转换成与所述数据格式相对应的数据报告的步骤之后，还包括如下述步骤：
确定所述目标终端的数据传输接口；
根据所述数据传输接口将所述数据报告传输至所述目标终端。
5.根据权利要求1所述的数据处理控制方法，其特征在于，所述根据预设的数据整合规则将所述业务数据进行整合生成与所述数据类型信息相对应的目标数据的步骤，包括如下述步骤：
将所述业务数据输入至预设数据模型中，其中，所述预设数据模型为与所述目标终端的数据处理业务逻辑相对应的数据处理模型；
接收所述预设数据模型输出的所述目标数据。
6.根据权利要求5所述的数据处理控制方法，其特征在于，所述将所述业务数据输入至预设数据模型中的步骤之前，还包括如下述步骤：
获取本地预设的业务训练数据；
提取所述业务训练数据中与所述目标终端的数据处理业务逻辑相对应的特征变量；
根据所述特征变量将预设的原始数据模型训练成所述预设数据模型。
7.根据权利要求6所述的数据处理控制方法，其特征在于，所述提取所述业务训练数据中与所述目标终端的数据处理业务逻辑相对应的特征变量的步骤，还包括如下述步骤：
获取所述目标终端的数据标准调整信息，其中，所述数据标准调整信息为所述目标终端的数据类型标准发生变化的信息；
根据所述数据标准调整信息提取所述业务训练数据中的所述特征变量。
8.一种数据处理控制装置，其特征在于，包括：
第一获取模块，用于获取预设的数据列表，其中，所述数据列表包括待获取的业务数据的业务信息以及数据类型信息；
第一处理模块，用于根据所述业务信息获取所述业务数据；
第一执行模块，用于根据预设的数据整合规则将所述业务数据进行整合生成与所述数据类型信息相对应的目标数据。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述数据处理控制方法的步骤。
10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述数据处理控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911053576.3A CN110826896A (zh) | 2019-10-31 | 2019-10-31 | 数据处理控制方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911053576.3A CN110826896A (zh) | 2019-10-31 | 2019-10-31 | 数据处理控制方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110826896A true CN110826896A (zh) | 2020-02-21 |
Family
ID=69551789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911053576.3A Pending CN110826896A (zh) | 2019-10-31 | 2019-10-31 | 数据处理控制方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110826896A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256774A (zh) * | 2020-09-27 | 2021-01-22 | 深圳供电局有限公司 | 电力数据处理方法、装置、计算机设备和存储介质 |
| CN112819595A (zh) * | 2021-01-13 | 2021-05-18 | 中国建设银行股份有限公司 | 凭证风险智能处置的方法和装置 |
| CN113034178A (zh) * | 2021-03-15 | 2021-06-25 | 深圳市麦谷科技有限公司 | 多系统积分计算方法、装置、终端设备和存储介质 |
| CN114741577A (zh) * | 2022-04-27 | 2022-07-12 | 广域铭岛数字科技有限公司 | 业务数据管理方法、系统、电子设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107769941A (zh) * | 2016-08-16 | 2018-03-06 | 中兴通讯股份有限公司 | 一种管理数据的方法及装置 |
| CN108629014A (zh) * | 2018-05-07 | 2018-10-09 | 中国平安人寿保险股份有限公司 | 一种数据处理方法、装置、计算机设备及存储介质 |
| CN108776622A (zh) * | 2018-06-06 | 2018-11-09 | 北京达佳互联信息技术有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN110008226A (zh) * | 2019-04-03 | 2019-07-12 | 平安信托有限责任公司 | 数据模型的构建方法、装置、计算机设备和存储介质 |
| CN110086789A (zh) * | 2019-04-17 | 2019-08-02 | 腾讯科技（深圳）有限公司 | 一种数据传输的方法、装置、设备和介质 |
| CN110347732A (zh) * | 2019-05-20 | 2019-10-18 | 中国平安人寿保险股份有限公司 | 一种数据转换方法及装置 |
-
2019
- 2019-10-31 CN CN201911053576.3A patent/CN110826896A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107769941A (zh) * | 2016-08-16 | 2018-03-06 | 中兴通讯股份有限公司 | 一种管理数据的方法及装置 |
| CN108629014A (zh) * | 2018-05-07 | 2018-10-09 | 中国平安人寿保险股份有限公司 | 一种数据处理方法、装置、计算机设备及存储介质 |
| CN108776622A (zh) * | 2018-06-06 | 2018-11-09 | 北京达佳互联信息技术有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN110008226A (zh) * | 2019-04-03 | 2019-07-12 | 平安信托有限责任公司 | 数据模型的构建方法、装置、计算机设备和存储介质 |
| CN110086789A (zh) * | 2019-04-17 | 2019-08-02 | 腾讯科技（深圳）有限公司 | 一种数据传输的方法、装置、设备和介质 |
| CN110347732A (zh) * | 2019-05-20 | 2019-10-18 | 中国平安人寿保险股份有限公司 | 一种数据转换方法及装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256774A (zh) * | 2020-09-27 | 2021-01-22 | 深圳供电局有限公司 | 电力数据处理方法、装置、计算机设备和存储介质 |
| CN112256774B (zh) * | 2020-09-27 | 2024-04-26 | 深圳供电局有限公司 | 电力数据处理方法、装置、计算机设备和存储介质 |
| CN112819595A (zh) * | 2021-01-13 | 2021-05-18 | 中国建设银行股份有限公司 | 凭证风险智能处置的方法和装置 |
| CN113034178A (zh) * | 2021-03-15 | 2021-06-25 | 深圳市麦谷科技有限公司 | 多系统积分计算方法、装置、终端设备和存储介质 |
| CN114741577A (zh) * | 2022-04-27 | 2022-07-12 | 广域铭岛数字科技有限公司 | 业务数据管理方法、系统、电子设备及可读存储介质 |
| CN114741577B (zh) * | 2022-04-27 | 2023-08-11 | 广域铭岛数字科技有限公司 | 业务数据管理方法、系统、电子设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110826896A (zh) | 数据处理控制方法、装置、计算机设备及存储介质 | |
| US20210248165A1 (en) | Pipeline Template Configuration in a Data Processing System | |
| US10996943B2 (en) | Systems and methods for providing predictive quality analysis | |
| US20200175403A1 (en) | Systems and methods for expediting rule-based data processing | |
| WO2019184228A1 (zh) | 保险产品配置方法、装置、计算机设备及存储介质 | |
| US20210124752A1 (en) | System for Data Collection, Aggregation, Storage, Verification and Analytics with User Interface | |
| KR20180059602A (ko) | 사용자 정의 erp 펑션 공유 방법 및 시스템 | |
| CN111897890A (zh) | 金融业务处理方法及装置 | |
| US10963963B2 (en) | Rule based hierarchical configuration | |
| CN113742018A (zh) | 档案模型调整方法、计算机装置及计算机可读存储介质 | |
| CN113190562A (zh) | 一种报表生成方法、装置及电子设备 | |
| US10877869B1 (en) | Method and system for implementing a code review tool | |
| EP2535852A1 (en) | Case-based retrieval framework | |
| EP4128111A1 (en) | System and method for implementing a market data contract analytics tool | |
| CN112905720A (zh) | 一种基于源数据管理模型的运营数据处理方法和装置 | |
| KR102104162B1 (ko) | 네트워크 자원을 생성하는 기법 | |
| CN111401395B (zh) | 一种数据处理方法、终端设备及存储介质 | |
| US8036921B2 (en) | System and method for optimization process repeatability in an on-demand computing environment | |
| CN116738960B (zh) | 单据数据处理方法、系统、计算机设备和存储介质 | |
| CN111882294B (zh) | 一种流程审批的方法和装置 | |
| US12119997B1 (en) | Scaling service capacity | |
| US12050568B2 (en) | System and method for implementing a data quality framework and engine | |
| US20240211959A1 (en) | Computerized tools to implement a persona builder application to modify access to logical components of an enterprise computing platform | |
| CN106980496A (zh) | 基于fog数据总线的工具集成方法及系统 | |
| CN115481616A (zh) | 目标文本的获取方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 801-2, floor 8, building 3, No. 22, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Wanghai Kangxin (Beijing) Technology Co.,Ltd. Address before: Room 07, Room 2, Building B, 12 Hongda North Road, Beijing Daxing District, Beijing Applicant before: BEIJING NEUSOFT VIEWHIGH TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |