CN110955640A - 跨系统数据文件的处理方法、装置、服务器和存储介质 - Google Patents
跨系统数据文件的处理方法、装置、服务器和存储介质 Download PDFInfo
- Publication number
- CN110955640A CN110955640A CN201911174568.4A CN201911174568A CN110955640A CN 110955640 A CN110955640 A CN 110955640A CN 201911174568 A CN201911174568 A CN 201911174568A CN 110955640 A CN110955640 A CN 110955640A
- Authority
- CN
- China
- Prior art keywords
- data file
- analysis
- processing
- message
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 168
- 238000000034 method Methods 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 12
- 230000009471 action Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Abstract
本发明实施例提供了一种跨系统数据文件的处理方法、装置、服务器和存储介质。该跨系统数据文件的处理方法包括：接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理。达到提高业务处理的速度的效果。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种跨系统数据文件的处理方法、装置、服务器和存储介质。
背景技术
随着大数据时代的迅速发展，如何高效地对数据进行处理越来越重要。
目前，用来处理数据的系统在接收到数据文件后，需要进行解析存储到数据库中，再从数据库拉取解析后的数据文件进行业务处理，例如进行用户风险的计算等。
然而，通过处理数据的系统对数据文件进行解析，极大限制了业务处理的速度。
发明内容
本发明实施例提供一种跨系统数据文件的处理方法、装置、服务器和存储介质，以实现提高业务处理的速度的效果。
第一方面，本发明实施例提供了一种跨系统数据文件的处理方法，包括：
接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；
根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；
接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；
基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理。
可选的，所述接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析，包括：
接收所述消息队列发送的解析完成消息，以确认所述解析系统基于所述解析需求消息从所述存储位置获取所述第一数据文件进行解析，并将解析后的第一数据文件入库到预设数据库。
可选的，所述订单信息包括业务参数，所述接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置，包括:
在所述第一系统判断所述业务参数合法后，接收所述第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置。
可选的，所述基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理，包括：
基于所述解析完成消息从预设数据库获取解析后的第一数据文件；
对解析后的第一数据文件进行变量计算，得到所述订单信息的风险参数。
可选的，在所述对解析后的第一数据文件进行变量计算，得到所述订单信息的风险参数之后，包括：
将所述风险参数发送给第二系统，以供所述第二系统从所述预设数据库读取第二数据文件进行第二业务处理。
可选的，所述解析系统为flink。
可选的，所述共享存储系统为fastdfs。
第二方面，本发明实施例提供了一种跨系统数据文件的处理系统，包括：
第一接收模块，用于接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；
推送模块，用于根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；
第二接收模块，用于接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；
第一业务处理模块，用于基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理。
第三方面，本发明实施例提供了一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的跨系统数据文件的处理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的跨系统数据文件的处理方法。
本发明实施例通过接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理，解决了通过处理数据的系统对数据文件进行解析，极大限制了业务处理的速度的问题，实现了提高业务处理的速度的效果。
附图说明
图1是本发明实施例一提供的一种跨系统数据文件的处理方法的流程示意图；
图2是本发明实施例二提供的一种跨系统数据文件的处理方法的流程示意图；
图3是本发明实施例三提供的一种跨系统数据文件的处理系统的结构示意图；
图4是本发明实施例四提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一系统为第二系统，且类似地，可将第二系统称为第一系统。第一系统和第二系统两者都是系统，但其不是同一系统。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的一种跨系统数据文件的处理方法的流程示意图，可适用于对数据文件进行处理的场景，该方法可以由跨系统数据文件的处理系统来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器上。
如图1所示，本发明实施例一提供的跨系统数据文件的处理方法包括：
S110、接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置。
其中，第一系统是指用于接收外部渠道的数据文件的系统。在本实施例中，第一系统是指内部授信系统，用户与一个或多个外部渠道进行对接。第一数据文件是指通过外部渠道发送的数据文件。跨系统数据文件的处理系统需要对第一数据文件进行业务处理，例如对第一文件数据进行用户的贷款风险计算等，此处不作限制。第一数据文件对应一种数据格式，例如json(JavaScript Object Notation，JS对象简谱)数据格式，此处不作限制。订单信息是指与业务处理相关的信息。例如，订单信息可以是计算用户贷款风险的订单信息。共享文件系统是指用户存放第一数据文件的系统。在本实施例中，可选的，共享存储系统为fastdfs。fastdfs是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
具体的，第一系统在接收外部渠道发送的第一数据文件后，将大数据文件存储到共享存储系统中，将订单信息和第一数据文件在共享存储系统中的存储位置发送给跨系统数据文件的处理系统。
S120、根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列。
其中，解析需求消息是指对第一数据文件进行解析的消息，解析需求消息可以看作是对第一数据文件进行解析的一种请求。消息队列是指用于存放解析需求消息的队列。具体的，消息队列中的解析需求消息包括订单信息和存储位置，以供解析系统消费消息队列中的解析需求消息，从而对第一数据文件进行解析。消息队列使利用发布-订阅模式工作,消息发送者(生产者)发布消息,一个或多个消息接受者(消费者)订阅消息。在本实施例中，消息发送者可以是解析系统和跨系统数据文件的处理系统，消息接受者可以是解析系统和跨系统数据文件的处理系统。在本实施例中，可选的，消息队列为kafka。kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
S130、接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析。
其中，解析完成消息是指解析系统对第一数据文件解析完成生成的信息。具体的，跨系统数据文件的处理系统将解析需求消息发送到消息队列中，解析系统消费消息队列中的解析需求消息后，对第一数据文件进行解析，解析完成后，再推送解析完成消息给消息队列。当跨系统数据文件的处理系统接收到消息队列发送的解析完成消息，则说明解析系统已经完成对第一数据文件的解析。在本实施例中，可选的，解析系统为flink。具体的，flink一次可以解析一个或多个第一数据文件，可以根据需要设置job数量，以实现一次解析一个或多个第一数据文件。示例性地，当需要解析三个数据文件时，则设置三个job。利用Flink高并发处理在大量用户爆发性访问B系统时候，Flink大吞吐能力可以快速处理数据完成业务响应。
S140、基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理。
其中，预设数据库是指存放解析后的第一数据文件的数据库。具体的，解析完成消息包括预设数据库的地址，则可以根据预设数据库的地址调用解析后的第一数据文件进行第一业务处理。第一业务处理是指一种业务类型的处理。在本实施例中，第一业务处理可以是对贷款用户的风险参数进行计算，以确认是否需要给该用户发放贷款，或者对该用户进行催收，此处不作限制。在本实施例中，第一数据文件的解析和第一业务处理是异步进行的。
在本实施例中，跨系统数据文件的处理系统不需要执行解析任务，解析第一数据文件在解析系统中完成，跨系统数据文件的处理系统只需要在接收到解析完成消息后直接获取解析后的第一数据文件进行第一业务处理，解析任务和第一业务处理的任务在异步进行，不需要占用进行业务处理的系统的资源，明显提高了业务处理的速度。此外，系统之间通过http方式进行传输，第一系统直接将第一数据文件存储到共享存储系统中，在需要时从共享存储系统中进行调用，还减少了网络传输的数据量，降低了网络资源的占用。
本发明实施例的技术方案，通过接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理，跨系统数据文件的处理系统不需要执行解析任务，解析第一数据文件在解析系统中完成，跨系统数据文件的处理系统只需要在接收到解析完成消息后直接获取解析后的第一数据文件进行第一业务处理，达到提高业务处理的速度的技术效果。
实施例二
图2是本发明实施例二提供的一种跨系统数据文件的处理方法的流程示意图。本实施例是在上述技术方案的进一步细化，适用于对数据文件进行处理的场景。该方法可以由跨系统数据文件的处理系统来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器上。
如图2所示，本发明实施例二提供的跨系统数据文件的处理方法包括：
S210、接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置。
其中，第一系统是指用于接收外部渠道的数据文件的系统。在本实施例中，第一系统是指内部授信系统，用户与一个或多个外部渠道进行对接。第一数据文件是指通过外部渠道发送的数据文件。跨系统数据文件的处理系统需要对第一数据文件进行业务处理，例如对第一文件数据进行用户的贷款风险计算等，此处不作限制。第一数据文件对应一种数据格式，例如json(JavaScript Object Notation，JS对象简谱)数据格式，此处不作限制。订单信息是指与业务处理相关的信息。例如，订单信息可以是计算用户贷款风险的订单信息。共享文件系统是指用户存放第一数据文件的系统。在本实施例中，可选的，共享存储系统为fastdfs。fastdfs是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
具体的，第一系统在接收外部渠道发送的第一数据文件后，将大数据文件存储到共享存储系统中，将订单信息和第一数据文件在共享存储系统中的存储位置发送给跨系统数据文件的处理系统。
在一个可选的实施方式中，接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析，可以包括：
接收所述消息队列发送的解析完成消息，以确认所述解析系统基于所述解析需求消息从所述存储位置获取所述第一数据文件进行解析，并将解析后的第一数据文件入库到预设数据库。
具体的，解析系统通过消费消息队列中的解析需求消息，从存储位置获取第一数据文件进行解析后，入库到预设数据库中，并发送解析完成消息到消息队列中。当跨系统数据文件的处理系统接收到解析完成消息后，则说明解析系统已经解析完成，可以获取解析后的第一数据文件执行第一业务处理。
S220、根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列。
其中，解析需求消息是指对第一数据文件进行解析的消息，解析需求消息可以看作是对第一数据文件进行解析的一种请求。消息队列是指用于存放解析需求消息的队列。具体的，消息队列中的解析需求消息包括订单信息和存储位置，以供解析系统消费消息队列中的解析需求消息，从而对第一数据文件进行解析。消息队列使利用发布-订阅模式工作,消息发送者(生产者)发布消息,一个或多个消息接受者(消费者)订阅消息。在本实施例中，消息发送者可以是解析系统和跨系统数据文件的处理系统，消息接受者可以是解析系统和跨系统数据文件的处理系统。在本实施例中，可选的，消息队列为kafka。kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
S230、接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析。
其中，解析完成消息是指解析系统对第一数据文件解析完成生成的信息。具体的，跨系统数据文件的处理系统将解析需求消息发送到消息队列中，解析系统消费消息队列中的解析需求消息后，对第一数据文件进行解析，解析完成后，再推送解析完成消息给消息队列。当跨系统数据文件的处理系统接收到消息队列发送的解析完成消息，则说明解析系统已经完成对第一数据文件的解析。在本实施例中，可选的，解析系统为flink。具体的，flink一次可以解析一个或多个第一数据文件，可以根据需要设置job数量，以实现一次解析一个或多个第一数据文件。示例性地，当需要解析三个数据文件时，则设置三个job。
在一个可选的实施方式中，订单信息包括业务参数，接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析，可以包括：
在所述第一系统判断所述业务参数合法后，接收所述第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置。
其中，业务参数是指与业务相关的参数。在本实施方式中，业务参数是指第一数据文件的来源。业务参数合法，则说明第一数据文件的来源正常，可以正常接收。具体的，可以通过提前配置合法来源渠道，当第一数据文件的来源为配置的合法来源渠道之一，则属于合法，此处对于具体如何判断业务参数是否合法不作限制。
S240、基于所述解析完成消息从预设数据库获取解析后的第一数据文件。
其中，预设数据库是指存放解析后的第一数据文件的数据库。具体的，解析完成消息包括预设数据库的地址，则可以根据预设数据库的地址调用解析后的第一数据文件。
S250、对解析后的第一数据文件进行变量计算，得到所述订单信息的风险参数。
其中，变量计算是指通过解析后的第一数据文件进行计算，以得到订单信息的风险参数。示例性的，可以解析后的第一文件数据的贷款金额，贷款时长，逾期还款时间等多个信息进行变量计算，以得到风险参数，此处不作限制。风险参数可以是指该订单信息的风险等级，例如用户逾期还款的可能性，此处不作限制。
在一个可选的实施方式中，在对解析后的第一数据文件进行变量计算，得到所述订单信息的风险参数之后，可以包括：
将所述风险参数发送给第二系统，以供所述第二系统从所述预设数据库读取第二数据文件进行第二业务处理。
其中，第二系统是指对风险参数确定措施的系统。在本实施方式中，可选的，第二系统可以是催收系统，用于对风险等级高的贷款用户进行催收。在本实施方式中，对于第二系统的具体作用不作限制，可以根据需要进行设置。第二数据文件是指第二系统需要执行第二业务处理的数据文件。可选的，第二数据文件可以跟第一数据文件一致，也可以是第一数据文件的一部分，此处不作限制，可以根据第二系统具体需要执行的第二业务处理确定。示例性地，当第二系统为催收系统时，在接收到风险等级后，判断风险等级过高时，则根据待还款金额和到期时间等信息，计算催收的时间，从而对贷款的用户进行催收，此处不作限制。通过将风险参数发送给第二系统，第二系统执行第一业务处理，从而对风险进行控制。
本发明实施例的技术方案，通过接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理，跨系统数据文件的处理系统不需要执行解析任务，解析第一数据文件在解析系统中完成，跨系统数据文件的处理系统只需要在接收到解析完成消息后直接获取解析后的第一数据文件进行第一业务处理，达到提高业务处理的速度的技术效果。
实施例三
图3是本发明实施例三提供的一种跨系统数据文件的处理系统的结构示意图，本实施例可适用于对数据文件进行处理的场景，该装置可以采用软件和/或硬件的方式实现，并可集成在服务器上。
如图3所示，本实施例提供的跨系统数据文件的处理系统可以包括第一接收模块310、推送模块320、第二接收模块330和第一业务处理模块340，其中：
第一接收模块310，用于接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；
推送模块320，用于根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；
第二接收模块330，用于接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；
第一业务处理模块340，用于基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理。
可选的，该第二接收模块330具体用于接收所述消息队列发送的解析完成消息，以确认所述解析系统基于所述解析需求消息从所述存储位置获取所述第一数据文件进行解析，并将解析后的第一数据文件入库到预设数据库。
可选的，所述订单信息包括业务参数，该第一接收模块310具体用于在所述第一系统判断所述业务参数合法后，接收所述第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置。
可选的，第一业务处理模块340包括：
获取单元，用于基于所述解析完成消息从预设数据库获取解析后的第一数据文件；
计算单元，用于对解析后的第一数据文件进行变量计算，得到所述订单信息的风险参数。
可选的，该第一业务处理模块340还包括：
发送单元，用于将所述风险参数发送给第二系统，以供所述第二系统从所述预设数据库读取第二数据文件进行第二业务处理。
可选的，所述解析系统为flink。
可选的，所述共享存储系统为fastdfs。
本发明实施例所提供的跨系统数据文件的处理系统可执行本发明任意实施例所提供的跨系统数据文件的处理方法，具备执行方法相应的功能模块和有益效果。本发明实施例中未详尽描述的内容可以参考本发明任意方法实施例中的描述。
实施例四
图4是本发明实施例四提供的一种服务器的结构示意图。图4示出了适于用来实现本发明实施方式的示例性服务器612的框图。图4显示的服务器612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，服务器612以通用服务器的形式表现。服务器612的组件可以包括但不限于：一个或者多个处理器616，存储装置628，连接不同系统组件(包括存储装置628和处理器616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
服务器612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)630和/或高速缓存存储器632。终端612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储装置628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块642的程序/实用工具640，可以存储在例如存储装置628中，这样的程序模块642包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块642通常执行本发明所描述的实施例中的功能和/或方法。
服务器612也可以与一个或多个外部设备614(例如键盘、指向终端、显示器624等)通信，还可与一个或者多个使得用户能与该服务器612交互的终端通信，和/或与使得该服务器612能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，服务器612还可以通过网络适配器620与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide AreaNetwork，WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器620通过总线618与服务器612的其它模块通信。应当明白，尽管图中未示出，可以结合服务器612使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器616通过运行存储在存储装置628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的一种跨系统数据文件的处理方法，该方法可以包括：
接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；
根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；
接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；
基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理。
本发明实施例的技术方案，通过接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理，跨系统数据文件的处理系统不需要执行解析任务，解析第一数据文件在解析系统中完成，跨系统数据文件的处理系统只需要在接收到解析完成消息后直接获取解析后的第一数据文件进行第一业务处理，达到提高业务处理的速度的技术效果。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的一种跨系统数据文件的处理方法，该方法可以包括：
接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；
根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；
接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；
基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例的技术方案，通过接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理，跨系统数据文件的处理系统不需要执行解析任务，解析第一数据文件在解析系统中完成，跨系统数据文件的处理系统只需要在接收到解析完成消息后直接获取解析后的第一数据文件进行第一业务处理，达到提高业务处理的速度的技术效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种跨系统数据文件的处理方法，其特征在于，包括：
接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；
根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；
接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；
基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理。
2.如权利要求1所述的跨系统数据文件的处理方法，其特征在于，所述接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析，包括：
接收所述消息队列发送的解析完成消息，以确认所述解析系统基于所述解析需求消息从所述存储位置获取所述第一数据文件进行解析，并将解析后的第一数据文件入库到预设数据库。
3.如权利要求1所述的跨系统数据文件的处理方法，其特征在于，所述订单信息包括业务参数，所述接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置，包括:
在所述第一系统判断所述业务参数合法后，接收所述第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置。
4.如权利要求1所述的跨系统数据文件的处理方法，其特征在于，所述基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理，包括：
基于所述解析完成消息从预设数据库获取解析后的第一数据文件；
对解析后的第一数据文件进行变量计算，得到所述订单信息的风险参数。
5.如权利要求4所述的跨系统数据文件的处理方法，其特征在于，在所述对解析后的第一数据文件进行变量计算，得到所述订单信息的风险参数之后，包括：
将所述风险参数发送给第二系统，以供所述第二系统从所述预设数据库读取第二数据文件进行第二业务处理。
6.如权利要求1-5任一项所述的跨系统数据文件的处理方法，其特征在于，所述解析系统为flink。
7.如权利要求1-5任一项所述的跨系统数据文件的处理方法，其特征在于，所述共享存储系统为fastdfs。
8.一种跨系统数据文件的处理系统，其特征在于，包括：
第一接收模块，用于接收第一系统发送的第一数据文件的订单信息和所述第一数据文件在共享存储系统的存储位置；
推送模块，用于根据所述订单信息和存储位置生成解析需求消息，并将所述解析需求消息推送至消息队列；
第二接收模块，用于接收所述消息队列发送的解析完成消息，以确认解析系统完成对所述第一数据文件的解析；
第一业务处理模块，用于基于所述解析完成消息从预设数据库获取解析后的第一数据文件进行第一业务处理。
9.一种服务器，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的跨系统数据文件的处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的跨系统数据文件的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911174568.4A CN110955640B (zh) | 2019-11-26 | 2019-11-26 | 跨系统数据文件的处理方法、装置、服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911174568.4A CN110955640B (zh) | 2019-11-26 | 2019-11-26 | 跨系统数据文件的处理方法、装置、服务器和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110955640A true CN110955640A (zh) | 2020-04-03 |
| CN110955640B CN110955640B (zh) | 2024-04-23 |
Family
ID=69978447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911174568.4A Active CN110955640B (zh) | 2019-11-26 | 2019-11-26 | 跨系统数据文件的处理方法、装置、服务器和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110955640B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652691A (zh) * | 2020-06-09 | 2020-09-11 | 北京字节跳动网络技术有限公司 | 一种订单信息处理方法、装置和电子设备 |
| CN111666745A (zh) * | 2020-06-03 | 2020-09-15 | 中国建设银行股份有限公司 | 一种文件下载方法、装置、服务器及介质 |
| CN111694797A (zh) * | 2020-06-04 | 2020-09-22 | 中国建设银行股份有限公司 | 一种文件上传及解析方法、装置、服务器及介质 |
| CN113660231A (zh) * | 2021-08-06 | 2021-11-16 | 上海浦东发展银行股份有限公司 | 一种报文解析方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104410725A (zh) * | 2014-09-17 | 2015-03-11 | 广州杰赛科技股份有限公司 | Gpu的处理方法、系统以及基于gpu的dns解析方法和系统 |
| CN105577800A (zh) * | 2016-02-17 | 2016-05-11 | 亿阳安全技术有限公司 | 一种上传文件时的异步提醒装置及方法 |
| CN109491797A (zh) * | 2018-11-26 | 2019-03-19 | 深圳市斯博科技有限公司 | 数据存储方法、系统及计算机可读存储介质 |
| CN109992432A (zh) * | 2019-03-15 | 2019-07-09 | 青岛海信移动通信技术股份有限公司 | 一种基于消息队列的数据处理系统及方法 |
| CN110096664A (zh) * | 2019-04-03 | 2019-08-06 | 北大方正集团有限公司 | 分布式文本信息处理方法、装置、系统、设备及存储介质 |
-
2019
- 2019-11-26 CN CN201911174568.4A patent/CN110955640B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104410725A (zh) * | 2014-09-17 | 2015-03-11 | 广州杰赛科技股份有限公司 | Gpu的处理方法、系统以及基于gpu的dns解析方法和系统 |
| CN105577800A (zh) * | 2016-02-17 | 2016-05-11 | 亿阳安全技术有限公司 | 一种上传文件时的异步提醒装置及方法 |
| CN109491797A (zh) * | 2018-11-26 | 2019-03-19 | 深圳市斯博科技有限公司 | 数据存储方法、系统及计算机可读存储介质 |
| CN109992432A (zh) * | 2019-03-15 | 2019-07-09 | 青岛海信移动通信技术股份有限公司 | 一种基于消息队列的数据处理系统及方法 |
| CN110096664A (zh) * | 2019-04-03 | 2019-08-06 | 北大方正集团有限公司 | 分布式文本信息处理方法、装置、系统、设备及存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666745A (zh) * | 2020-06-03 | 2020-09-15 | 中国建设银行股份有限公司 | 一种文件下载方法、装置、服务器及介质 |
| CN111694797A (zh) * | 2020-06-04 | 2020-09-22 | 中国建设银行股份有限公司 | 一种文件上传及解析方法、装置、服务器及介质 |
| CN111694797B (zh) * | 2020-06-04 | 2024-03-15 | 中国建设银行股份有限公司 | 一种文件上传及解析方法、装置、服务器及介质 |
| CN111652691A (zh) * | 2020-06-09 | 2020-09-11 | 北京字节跳动网络技术有限公司 | 一种订单信息处理方法、装置和电子设备 |
| CN113660231A (zh) * | 2021-08-06 | 2021-11-16 | 上海浦东发展银行股份有限公司 | 一种报文解析方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110955640B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110955640B (zh) | 跨系统数据文件的处理方法、装置、服务器和存储介质 | |
| CN111368013B (zh) | 基于多账户的统一标识方法、系统、设备和存储介质 | |
| CN110287146B (zh) | 应用下载的方法、设备和计算机存储介质 | |
| CN108073429B (zh) | 一种支付方式配置方法、装置、设备及存储介质 | |
| CN114528044B (zh) | 一种接口调用方法、装置、设备及介质 | |
| US20180248837A1 (en) | Interactive splitting of entries in social collaboration environments | |
| CN106372844B (zh) | 一种日程创建方法和设备 | |
| CN111476015A (zh) | 一种文档处理方法、装置、电子设备及存储介质 | |
| CN110688111A (zh) | 业务流程的配置方法、装置、服务器和存储介质 | |
| CN112445866A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| CN112860706A (zh) | 一种业务的处理方法、装置、设备及存储介质 | |
| CN111913922B (zh) | 二进制结构化日志的生成方法、装置、设备及存储介质 | |
| CN111241043A (zh) | 一种多媒体文件的分享方法、终端及存储介质 | |
| CN111367813B (zh) | 决策引擎自动化测试方法、装置、服务器及存储介质 | |
| CN110717992B (zh) | 调度模型的方法、装置、计算机系统和可读存储介质 | |
| CN111741046B (zh) | 数据上报方法、获取方法、装置、设备及介质 | |
| CN114217790A (zh) | 接口编排调度方法、装置、电子设备及介质 | |
| CN110415112B (zh) | 贷后业务的处理方法、装置、设备和存储介质 | |
| CN110187987B (zh) | 用于处理请求的方法和装置 | |
| CN113448578A (zh) | 页面数据处理方法、处理系统、电子设备和可读存储介质 | |
| CN113420042A (zh) | 基于演示文稿的数据统计方法、装置、设备及存储介质 | |
| CN113781154A (zh) | 一种信息回滚方法、系统、电子设备及存储介质 | |
| CN112035732A (zh) | 一种搜索结果的扩展方法、系统、设备和存储介质 | |
| CN111258775A (zh) | 消息处理方法、装置、设备和存储介质 | |
| CN111338621A (zh) | 显示数据方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |