CN113760565A - 一种数据处理平台、数据处理方法、存储介质及电子设备 - Google Patents
一种数据处理平台、数据处理方法、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113760565A CN113760565A CN202011217691.2A CN202011217691A CN113760565A CN 113760565 A CN113760565 A CN 113760565A CN 202011217691 A CN202011217691 A CN 202011217691A CN 113760565 A CN113760565 A CN 113760565A
- Authority
- CN
- China
- Prior art keywords
- data
- mapping
- processed
- type
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 86
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 119
- 238000013506 data mapping Methods 0.000 claims abstract description 19
- 238000007405 data analysis Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000013515 script Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000013475 authorization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 241000508269 Psidium Species 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000033772 system development Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/541—Interprogram communication via adapters, e.g. between incompatible applications
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理平台、数据处理方法、存储介质及电子设备，其中数据处理平台包括对外接口，用于连接项目关联的第一系统和第二系统；项目配置模块，用于获取项目关联的第一系统和第二系统的数据类型和协议类型，形成配置文件；数据解析模块，包括预先设置的各数据类型的解析子模块和各协议类型的解析子模块，用于根据输入数据的数据类型或协议类型对输入数据进行解析；数据映射模块，包括预先设置的各数据类型映射规则和各协议类型映射规则，用于对根据输入数据的映射关系对解析得到的数据内容进行数据映射处理。实现在第一系统与第二系统存在数据类型和/或协议类型不匹配的情况下的数据交互。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理平台、数据处理方法、存储介质及电子设备。
背景技术
发展中随着业务面不断拓宽总会出现几十套甚至几百、几千套系统，而有些老旧的系统可能存在十年以上，然而软件行业是飞速发展的，技术迭代升级的速度非常快，但是出于成本考虑企业不可能把每个系统都第一时间升级到最新技术，由此就产生了服务碎片化问题，各系统对接需要各自开发对方的协议和数据格式，这些代码零散的耦合在每个业务系统中，导致各业务系统交换数据成本高且难维护。
发明内容
本发明提供一种数据处理平台、数据处理方法、存储介质及电子设备，以实现不同系统之间的数据交互。
第一方面，本发明实施例提供了一种数据处理平台，包括项目配置模块、对外接口、数据解析模块、数据映射模块；其中，
所述对外接口为至少两个，分别用于连接项目关联的第一系统和第二系统，并分别与所述第一系统或所述第二系统进行数据传输；
所述项目配置模块，用于获取所述项目关联的第一系统和第二系统的数据类型和协议类型，形成配置文件；
所述数据解析模块，包括预先设置的各数据类型的解析子模块和各协议类型的解析子模块，用于根据输入数据的数据类型或协议类型对所述输入数据进行解析，得到输入数据的数据内容；
所述数据映射模块，包括预先设置的各数据类型映射规则和各协议类型映射规则，用于对根据输入数据的映射关系对数据内容进行数据映射处理。
第二方面，本发明实施例还提供了一种数据处理方法，所述方法包括：
获取待处理数据，基于所述待处理数据中携带的项目标识确定配置文件；
基于所述配置文件获取所述待处理数据的数据类型的映射关系和/或协议类型的映射关系；
基于所述数据类型的映射关系调用数据类型映射规则，和/或，基于所述协议类型的映射关系调用协议类型映射规则；
根据所述数据类型映射规则对所述待处理数据进行数据类型的映射处理，和/或，基于所述协议类型映射规则对所述待处理数据进行协议类型的映射处理，并将处理完成数据传输中第三系统；
接收所述第三系统传输的反馈信息，将所述反馈信息传输至所述待处理数据对应的第四系统。
第三方面，本发明实施例提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的数据处理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的数据处理方法。
本发明实施例提供的技术方案，通过设置数据处理平台，接收第一系统传输的输入数据，基于第一系统与第二系统之间的数据类型映射关系和/或协议类型映射关系，调用对应的映射规则对输入数据进行映射处理，以得到满足第二系统输入需求的数据，传输至第二系统进行处理，并通过数据处理平台将第二系统的反馈数据传输至第一系统，实现在第一系统与第二系统存在数据类型和/或协议类型不匹配的情况下的数据交互，无需对第一系统与第二系统的定制化开发，降低了系统开发和维护的成本，实现了任一系统之间的数据交互。
附图说明
图1为本发明实施例一提供的一种数据处理平台的结构示意图；
图2是本发明实施例二提供的一种数据处理方法的流程示意图；
图3是本发明实施例提供的一种数据处理方法的示例图；
图4为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据处理平台的结构示意图，该数据处理平台包括项目配置模块110、对外接口120、数据解析模块130、数据映射模块140。
其中，进行数据交互的第一系统和第二系统，存在无法适应对方协议和数据格式的情况，本实施例中，数据处理平台通过对外接口120分别与上述第一系统和第二系统连接，通过对数据进行处理，实现第一系统和第二系统之间的数据交互，无需对第一系统和第二系统进行进一步开发，减少了系统开发和维护成本。其中对外接口120为至少两个，分别与第一系统或第二系统进行数据传输。第一系统与第二系统可以是业务系统。
任意两系统之间的数据交互可以形成一个交互项目，根据进行交互的两个系统的属性参数形成项目对应的配置文件，存储在数据处理平台，以基于配置文件对该项目对应的输入数据进行处理。项目配置模块110可以是与对外接口120连接，用于获取项目关联的第一系统和第二系统的数据类型和协议类型，形成配置文件。其中，配置文件可以包括项目标识、第一系统的标识、第二系统的标识、第一系统的数据类型、第二系统的数据类型、第一系统的协议类型和第二系统的协议类型。配置文件可以是基于上述属性信息形成的配置脚本。
数据解析模块130包括预先设置的各数据类型的解析子模块和各协议类型的解析子模块，用于根据输入数据的数据类型或协议类型对输入数据进行解析。其中，数据类型可以是但不限于JSON、XML(Extensible Markup Language，可扩展标记语言)、FORM表单、CSV(Comma-Separated Values，逗号分隔值)、Excel等，协议类型可以是但不限于HTTP(HyperText Transfer Protocol，超文件传输协议)/HTTPS(Hyper Text Transfer Protocolover Secure Socket Layer，超文件安全传输协议)、FTP(File Transfer Protocol，文件传输协议)/FTPS(多传输协议)、SMTP(Simple Mail Transfer Protocol，简单邮件传输协议)、SOAP(Simple Object Access Protocol，简单对象访问协议)、RPC(Remote ProcedureCall Protocol，远程过程调用协议)等。
数据解析模块130中包括上述任一数据类型和任一协议类型的解析子模块，用于对上述任一数据类型或任一协议类型的输入数据进行数据解析，得到输入数据中的各数据字段名以及字段内容。数据解析模块130可以是与对外接口120连接，接收第一系统通过对外接口120传输的输入数据，根据该输入数据的数据类型或协议类型进行数据解析。可选的，可以识别输入数据的数据类型或协议类型(例如通过content-type方式识别输入数据的数据类型)，还可以是通过输入数据中携带的项目标识，从项目标识对应的配置文件中确定该输入数据的数据类型和协议类型，进而根据得到的数据类型和/或协议类型调用对应的子模块，进行数据解析。
需要说明的是，数据解析模块130配置有扩展接口，可以通过扩展接口设置新增数据类型或新增协议类型对应的解析子模块，便于对数据处理平台进一步开发，无需对数据处理平台重新开发。
数据映射模块140包括预先设置的各数据类型映射规则和各协议类型映射规则，用于对根据输入数据的映射关系对解析得到的数据内容即数据字段进行数据映射处理。数据类型映射规则用于将数据字段映射为目标数据类型的字段，各字段经组装后形成目标数据类型的数据。同理，协议类型映射规则用于将数据字段映射为目标协议类型的字段，各字段经组装后形成目标协议类型的数据。其中，数据映射模块140中包括任一数据类型的映射规则以及任一协议类型的映射规则。
数据映射模块140可以是与数据解析模块130和项目配置模块110连接，从项目配置模块110中调用项目标识对应的配置文件，得到输入数据的映射关系，其中，映射关系包括数据类型映射关系和协议类型的映射关系，其中，数据类型映射关系由第一系统的数据类型和第二系统的数据类型确定，为第一系统的数据类型向第二系统的数据类型进行映射，需要说明的是，输入数据有第一系统输入，交互方向为由第一系统传输至第二系统。同理，协议类型的映射关系第一系统的协议类型和第二系统的协议类型确定，为第一系统的协议类型向第二系统的协议类型进行映射。
数据映射模块140基于项目标识从与所述项目标识对应的配置文件中读取项目数据类型的映射关系和/或协议类型的映射关系，调用所述数据类型的映射关系和/或协议类型的映射关系分别对应的映射规则，即输出数据类型的映射规则和输出协议类型的映射规则。对所述解析得到的数据内容进行数据映射处理。映射规则包括输入数据各字段内容的映射规则，通过上述映射规则可以将解析后输入数据中的各字段进行映射，得到满足第二系统的数据类型或协议类型的数据内容。
需要说明的是，数据映射模块140配置有扩展接口，可以通过扩展接口设置新增数据类型与已有各数据类型之间的映射规则或新增协议类型与已有协议类型之间的映射规则，便于对数据处理平台进一步开发，无需对数据处理平台重新开发。
数据映射模块140还可以是与另一对外接口120连接，通过另一对外接口120将映射处理后的数据传输至第二系统，以使第二系统对映射处理后的数据进行处理，得到反馈数据。通过另一对外接口120接收第二系统传输的反馈数据，进一步的通过与第一系统连接的对外接口120，即两个对外接口120可以连接，将反馈数据传输至第一系统，实现了第一系统和第二系统之间的数据交互。
本实施例的技术方案，通过设置数据处理平台，接收第一系统传输的输入数据，基于第一系统与第二系统之间的数据类型映射关系和/或协议类型映射关系，调用对应的映射规则对输入数据进行映射处理，以得到满足第二系统输入需求的数据，传输至第二系统进行处理，并通过数据处理平台将第二系统的反馈数据传输至第一系统，实现在第一系统与第二系统存在数据类型和/或协议类型不匹配的情况下的数据交互，无需对第一系统与第二系统的定制化开发，降低了系统开发和维护的成本，实现了任一系统之间的数据交互。
在上述实施例的基础上，数据处理平台还可以包括信息监听模块和/或数据拉取模块；其中，信息监听模块用于监听预设消息队列中存储的数据信息，并在监听到预设消息队列中存储有数据信息时，获取数据信息作为输入数据，其中，预设消息队列用于存储至少一个系统的待处理数据。当存在多个系统需调用数据处理平台时，存在调用混乱的情况，本实施例中通过设置预设消息队列，分别接收各系统发送的待处理数据，根据各系统发送待处理数据的时间戳在预设消息队列中进行存储。其中，预设消息队列可以是MQ(messagequeue)队列。数据处理平台中设置有信息监听模块，信息监听模块配置有预设消息队列的地址信息、用户密码和项目信息等，在监听到预设消息队列中的待处理数据时，主动获取待处理数据作为输入数据进行处理，无需系统对数据处理平台的调用。
可选的，各系统还可以是将待处理数据缓存至预设的文件服务器，文件服务器用于存储至少一个系统的待处理数据。数据处理平台中设置数据拉取模块，数据拉取模块设置有文件服务器的地址信息、用户密码以及刷新时间等，定时从预设的文件服务器拉取待处理数据作为输入数据。
在上述实施例的基础上，数据处理平台还可以包括异常处理模块，用于当确定所述第二系统反馈的数据为异常数据时，对所述异常数据对应的映射数据进行重复处理，或者，向所述第一系统发送异常提示信息。其中，当反馈数据为空或者错误信息时，确定为异常数据。异常数据对应的映射数据可以是映射处理后的数据，重复处理可以是将映射处理后的数据重新发送至第二系统，以使第二系统进行重复处理，得到新的反馈数据，避免偶发事件导致的异常情况。可选的，在接收到反馈数据时，还可以是生成记录日志，便于后续对日志进行查询。
实施例二
图2是本发明实施例二提供的一种数据处理方法的流程示意图，应用于上述任意实施例提供的数据处理平台，本实施例可适用于对数据类型或协议类型不匹配的系统之间进行数据交互的情况，该数据处理平台可以通过软件和/或硬件的方式实现，可集成于诸如计算机或者服务器等电子设备上。具体包括如下步骤：
S210、获取待处理数据，基于所述待处理数据中携带的项目标识确定配置文件。
S220、基于所述配置文件获取所述待处理数据的数据类型的映射关系和/或协议类型的映射关系。
S230、基于所述数据类型的映射关系调用数据类型映射规则，和/或，基于所述协议类型的映射关系调用协议类型映射规则。
S240、根据所述数据类型映射规则对所述待处理数据进行数据类型的映射处理，和/或，基于所述协议类型映射规则对所述待处理数据进行协议类型的映射处理，并将处理完成数据传输中第三系统。其中，第三系统为输出系统。
S250、接收所述第三系统传输的反馈信息，将所述反馈信息传输至所述待处理数据对应的第四系统。其中，第四系统为输入系统。
本实施例的数据处理方法，通过对待处理数据对应的配置文件进行读取，确定数据类型的映射关系和/或协议类型的映射关系，基于数据处理平台预先存储的数据类型映射规则和/或协议类型映射规则对待处理数据进行映射处理，得到满足第三系统输入需求的数据，降低了不同系统间不同协议类型和数据类型间进行数据交互的开发成本，解决了系统对接代码耦合在每个业务系统中带来重复劳动和后期维护成本高的问题，数据处理平台基本做到零代码实现不同系统交互数据功能。
可选的，获取待处理数据，包括：
接收所述第四系统的调用指令，对所述调用指令中的授权码进行验证，当验证成功时，接收所述第四系统传输的待处理数据；或者，
监听预设消息队列，当监听到所述预设消息队列中存储有数据信息时，获取所述数据信息作为所述待处理数据，其中，所述预设消息队列用于存储至少一个系统的待处理数据；或者，
定时从预设的文件服务器拉取各项目的待处理数据，其中，所述文件服务器用于存储至少一个系统的待处理数据。其中，可以是将各项目设置相同或不同的数据刷新时间，基于项目在队列的顺序定时从文件服务器拉取各项目对应的待处理数据。
本实施例中，调用指令或者待处理数据中包括第四系统(发送的调用指令或者待处理数据的系统)的授权码，授权码例如可以是access_key或者secret_key，可以是由数据处理平台设置并传输的，用于对第四系统进行权限验证，当验证成功时，对待处理数据进行处理，验证失败时，向第四系统反馈无权限提示信息，避免未授权系统对数据处理平台调度产生的干扰。
可选的，在获取待处理数据之后，所述方法还包括：基于所述待处理数据的数据类型和/或协议类型，对所述待处理数据进行数据解析，其中，数据处理平台存储有各数据类型和各协议类型对应的解析子模块，用于对各数据类型和各协议类型的待处理数据进行数据解析，得到待处理数据的各字段名和字段内容。
相应的，根据所述数据类型映射规则对所述待处理数据进行数据类型的映射处理，和/或，基于所述协议类型映射规则对所述待处理数据进行协议类型的映射处理，包括：根据所述数据类型映射规则对解析后的待处理数据进行数据类型的映射处理，和/或，基于所述协议类型映射规则对解析后的待处理数据进行协议类型的映射处理。
可选的，配置文件还包括前置脚本和/或后置脚本，其中，前置脚本或后置脚本用于对待处理数据的字段内容进行处理，以满足数据处理需求。前置脚本或后置脚本中字段内容的处理方式包括但不限于字段内容的数据清洗、合并、拆分、运算等。可根据用户需求在配置文件中添加前置脚本和/或后置脚本。相应的，在根据所述数据类型映射规则对所述待处理数据进行数据类型的映射处理，和/或，基于所述协议类型映射规则对所述待处理数据进行协议类型的映射处理之前，还包括：基于所述前置脚本对所述待处理数据进行处理；和/或，在接收所述第三系统传输的反馈信息之后，还包括：基于所述后置脚本对所述反馈信息进行处理。
可选的，在接收所述第三系统传输的反馈信息之后，还包括当所述反馈信息异常时，重新执行将处理完成数据传输中第三系统的步骤，或者向所述第四系统发送异常提示信息。
示例性的，参见图3，图3是本发明实施例提供的一种数据处理方法的示例图，第四系统配置为A系统，A系统的数据类型为JSON，协议类型为HTTP，第三系统配置为B系统，B系统的数据类型为XML，协议类型为HTTP。数据处理平台接收A系统传输的待处理数据，进行可信验证，即对待处理数据中的授权码进行验证，当验证成功时，确定待处理数据可信，当验证失败时，确定待处理数据不可信。基于可信的待处理数据读取项目配置文件，图3中配置为项目配置guava脚本，其中待处理数据中携带有项目标识，各项目配置guava脚本中包括项目标识，基于项目标识确定待处理数据对应的项目配置guava脚本。项目配置guava脚本中包括B系统的数据类型、协议类型、前置脚本和后置脚本中的至少一项。对待处理数据进行数据解析，得到解析后的字段内容，当项目配置guava脚本中包括前置脚本时，基于前置脚本对待处理数据的字段内容(即请求参数)进行处理。A系统的协议类型和B系统的协议类型相同，无需进行协议类型的映射处理，A系统的数据类型和B系统的数据类型不相同，确定数据类型的映射关系为Json向xml的映射。调用xml的映射规则，对前置脚本处理后的字段内容进行映射处理，得到xml数据类型的数据内容，基于B系统的协议(即输出协议)对映射处理后的数据内容进行组装，得到可传输的http/xml数据，并传输至B系统。B系统对映射后的数据进行处理得到反馈数据(即返回结果)，传输至数据处理平台，当配置文件中包括后置脚本时，通过后置脚本对反馈数据进行处理，在图3中对反馈数据进行数据清洗处理，并将后置脚本处理后的反馈数据传输至A系统，完成A系统与B系统之间的数据交互。
进一步，当反馈数据存在异常时，重新将映射后的数据传输至B系统，以使B系统重新处理得到新的反馈数据。或者生成异常提示信息，发送至A系统或者A系统对应的相关负责人。相应的，还可以是根据反馈数据生成项目执行日志，便于后续进行查询操作。
实施例三
图4为本发明实施例三提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施方式的电子设备12的框图。图4显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备12典型的是承担图像分类功能的电子设备。
如图4所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器16，存储装置28，连接不同系统组件(包括存储装置28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块26的程序36，可以存储在例如存储装置28中，这样的程序模块26包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块26通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、摄像头、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的数据处理方法。
实施例四
本实施例提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所提供的数据处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的数据处理方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种数据处理平台，其特征在于，包括项目配置模块、对外接口、数据解析模块、数据映射模块；其中，
所述对外接口为至少两个，分别用于连接项目关联的第一系统和第二系统，并分别与所述第一系统或所述第二系统进行数据传输；
所述项目配置模块，用于获取所述项目关联的第一系统和第二系统的数据类型和协议类型，形成配置文件；
所述数据解析模块，包括预先设置的各数据类型的解析子模块和各协议类型的解析子模块，用于根据输入数据的数据类型或协议类型对所述输入数据进行解析，得到输入数据的数据内容；
所述数据映射模块，包括预先设置的各数据类型的映射规则和各协议类型的映射规则，用于对根据输入数据的映射关系对解析后的所述数据内容进行数据映射处理。
2.根据权利要求1所述的数据处理平台，其特征在于，所述输入数据中携带有项目标识；
所述数据映射模块用于基于所述项目标识从与所述项目标识对应的配置文件中读取项目数据类型的映射关系和/或协议类型的映射关系，调用所述数据类型的映射关系和/或协议类型的映射关系分别对应的映射规则，对所述解析后的所述输入数据进行数据映射处理。
3.根据权利要求1所述的数据处理平台，其特征在于，还包括：信息监听模块和/或数据拉取模块；其中，
所述信息监听模块用于监听预设消息队列中存储的数据信息，并在监听到所述预设消息队列中存储有数据信息时，获取所述数据信息作为所述输入数据，其中，所述预设消息队列用于存储至少一个系统的待处理数据；
所述数据拉取模块用于定时从预设的文件服务器拉取输入数据，其中，所述文件服务器用于存储至少一个系统的待处理数据。
4.根据权利要求1所述的数据处理平台，其特征在于，还包括：
异常处理模块，用于当确定所述第二系统反馈的数据为异常数据时，对所述异常数据对应的映射数据进行重复处理，或者，向所述第一系统发送异常提示信息。
5.一种数据处理方法，其特征在于，应用于如权利要求1-4任一所述的数据处理平台，所述方法包括：
获取待处理数据，基于所述待处理数据中携带的项目标识确定配置文件；
基于所述配置文件获取所述待处理数据的数据类型的映射关系和/或协议类型的映射关系；
基于所述数据类型的映射关系调用数据类型映射规则，和/或，基于所述协议类型的映射关系调用协议类型映射规则；
根据所述数据类型映射规则对所述待处理数据进行数据类型的映射处理，和/或，基于所述协议类型映射规则对所述待处理数据进行协议类型的映射处理，并将处理完成数据传输中第三系统；
接收所述第三系统传输的反馈信息，将所述反馈信息传输至所述待处理数据对应的第四系统。
6.根据权利要求5所述的方法，其特征在于，所述获取待处理数据，包括：
接收所述第四系统的调用指令，对所述调用指令中的授权码进行验证，当验证成功时，接收所述第四系统传输的待处理数据；或者，
监听预设消息队列，当监听到所述预设消息队列中存储有数据信息时，获取所述数据信息作为所述待处理数据，其中，所述预设消息队列用于存储至少一个系统的待处理数据；或者，
定时从预设的文件服务器拉取各项目的待处理数据，其中，所述文件服务器用于存储至少一个系统的待处理数据。
7.根据权利要求5所述的方法，其特征在于，在根据所述数据类型映射规则对所述待处理数据进行数据类型的映射处理，和/或，基于所述协议类型映射规则对所述待处理数据进行协议类型的映射处理之前，所述方法还包括：
基于所述待处理数据的数据类型和/或协议类型，对所述待处理数据进行数据解析，得到数据内容；
相应的，根据所述数据类型映射规则对所述待处理数据进行数据类型的映射处理，和/或，基于所述协议类型映射规则对所述待处理数据进行协议类型的映射处理，包括：
根据所述数据类型映射规则对解析得到的数据内容进行数据类型的映射处理，和/或，基于所述协议类型映射规则对得到的数据内容进行协议类型的映射处理。
8.根据权利要求5所述的方法，其特征在于，所述配置文件还包括前置脚本和/或后置脚本；
相应的，在根据所述数据类型映射规则对所述待处理数据进行数据类型的映射处理，和/或，基于所述协议类型映射规则对所述待处理数据进行协议类型的映射处理之前，还包括：
基于所述前置脚本对所述待处理数据进行处理；
和/或，在接收所述第三系统传输的反馈信息之后，还包括：
基于所述后置脚本对所述反馈信息进行处理。
9.根据权利要求5所述的方法，其特征在于，在接收所述第三系统传输的反馈信息之后，还包括
当所述反馈信息异常时，重新执行将处理完成数据传输中第三系统的步骤，或者向所述第四系统发送异常提示信息。
10.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求5-9中任一所述的数据处理方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求5-9中任一所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011217691.2A CN113760565A (zh) | 2020-11-04 | 2020-11-04 | 一种数据处理平台、数据处理方法、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011217691.2A CN113760565A (zh) | 2020-11-04 | 2020-11-04 | 一种数据处理平台、数据处理方法、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113760565A true CN113760565A (zh) | 2021-12-07 |
Family
ID=78786043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011217691.2A Pending CN113760565A (zh) | 2020-11-04 | 2020-11-04 | 一种数据处理平台、数据处理方法、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113760565A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112887309A (zh) * | 2021-01-26 | 2021-06-01 | 深圳市宏电技术股份有限公司 | 一种工业协议解析系统 |
| CN114510298A (zh) * | 2022-04-20 | 2022-05-17 | 科大讯飞股份有限公司 | 智能引擎接入和调用方法及相关平台、装置、设备、介质 |
| CN114745330A (zh) * | 2022-04-08 | 2022-07-12 | 北京航天发射技术研究所 | 一种数据处理方法及装置 |
| CN115150244A (zh) * | 2022-06-28 | 2022-10-04 | 上海中汇亿达金融信息技术有限公司 | 用于管理外部数据与资金系统交互的适配系统和方法 |
| CN115314570A (zh) * | 2022-10-12 | 2022-11-08 | 深圳华锐分布式技术股份有限公司 | 基于协议开发框架的数据下发方法、装置、设备及介质 |
| CN115314553A (zh) * | 2022-07-26 | 2022-11-08 | 珠海格力电器股份有限公司 | 数据处理的方法、装置、设备、系统及可读存储介质 |
| CN115412601A (zh) * | 2022-08-26 | 2022-11-29 | 浙江中控技术股份有限公司 | 数据获取方法、装置、电子设备及非易失性存储介质 |
-
2020
- 2020-11-04 CN CN202011217691.2A patent/CN113760565A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112887309A (zh) * | 2021-01-26 | 2021-06-01 | 深圳市宏电技术股份有限公司 | 一种工业协议解析系统 |
| CN114745330A (zh) * | 2022-04-08 | 2022-07-12 | 北京航天发射技术研究所 | 一种数据处理方法及装置 |
| CN114745330B (zh) * | 2022-04-08 | 2024-01-16 | 北京航天发射技术研究所 | 一种数据处理方法及装置 |
| CN114510298A (zh) * | 2022-04-20 | 2022-05-17 | 科大讯飞股份有限公司 | 智能引擎接入和调用方法及相关平台、装置、设备、介质 |
| CN115150244A (zh) * | 2022-06-28 | 2022-10-04 | 上海中汇亿达金融信息技术有限公司 | 用于管理外部数据与资金系统交互的适配系统和方法 |
| CN115314553A (zh) * | 2022-07-26 | 2022-11-08 | 珠海格力电器股份有限公司 | 数据处理的方法、装置、设备、系统及可读存储介质 |
| CN115314553B (zh) * | 2022-07-26 | 2024-05-03 | 珠海格力电器股份有限公司 | 数据处理的方法、装置、设备、系统及可读存储介质 |
| CN115412601A (zh) * | 2022-08-26 | 2022-11-29 | 浙江中控技术股份有限公司 | 数据获取方法、装置、电子设备及非易失性存储介质 |
| CN115314570A (zh) * | 2022-10-12 | 2022-11-08 | 深圳华锐分布式技术股份有限公司 | 基于协议开发框架的数据下发方法、装置、设备及介质 |
| CN115314570B (zh) * | 2022-10-12 | 2023-01-03 | 深圳华锐分布式技术股份有限公司 | 基于协议开发框架的数据下发方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113760565A (zh) | 一种数据处理平台、数据处理方法、存储介质及电子设备 | |
| CN110008045B (zh) | 微服务的聚合方法、装置、设备及存储介质 | |
| US7673029B2 (en) | Grid automation bus to integrate management frameworks for dynamic grid management | |
| CN107241315B (zh) | 银行网关接口的接入方法、装置及计算机可读存储介质 | |
| KR102407334B1 (ko) | 게이트웨이 장치 및 그 동작 방법 | |
| US8782470B2 (en) | Generation of test data for web service-based test automation and semi-automated test data categorization | |
| CN110428319B (zh) | 一种数据比对平台、方法、设备和存储介质 | |
| CN114221995A (zh) | 服务调用方法、装置及电子设备 | |
| CN111679892A (zh) | 分布式事务的处理方法、装置、设备及介质 | |
| CN112084114B (zh) | 用于测试接口的方法和装置 | |
| CN113191889A (zh) | 风控配置方法、配置系统、电子设备及可读存储介质 | |
| CN117667573A (zh) | 基于ai语言模型的集群运维方法及装置 | |
| CN113645260A (zh) | 业务重试方法、装置、存储介质及电子设备 | |
| CN110825538A (zh) | 一种基于mq可自定义数据类型动态进行数据交互的方法 | |
| CN115374207A (zh) | 业务处理方法及装置、电子设备和计算机可读存储介质 | |
| CN113077241B (zh) | 审批处理方法、装置、设备及存储介质 | |
| CN114546370A (zh) | 一种数据对接方法及相关装置 | |
| CN113989046A (zh) | 交易处理方法、装置、电子设备、存储介质和程序产品 | |
| CN114219643A (zh) | 一种交易调用方法、装置、设备及存储介质 | |
| CN114675989A (zh) | 数据校验方法、装置、电子设备及存储介质 | |
| CN112667441A (zh) | 基于容错功能的业务模块调度方法、系统及存储介质 | |
| CN111552907A (zh) | 消息处理方法、装置、设备和存储介质 | |
| CN112860770A (zh) | 报表生成的方法、装置、电子设备和存储介质 | |
| US20230214312A1 (en) | Mapping api dependencies for a journey test | |
| US11943322B2 (en) | Interceptor hub for service-consuming applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |