CN112202781A - 一种电商大数据量回执报文处理方法、装置和系统 - Google Patents

一种电商大数据量回执报文处理方法、装置和系统 Download PDF

Info

Publication number
CN112202781A
CN112202781A CN202011060213.5A CN202011060213A CN112202781A CN 112202781 A CN112202781 A CN 112202781A CN 202011060213 A CN202011060213 A CN 202011060213A CN 112202781 A CN112202781 A CN 112202781A
Authority
CN
China
Prior art keywords
receipt
data
middleware
analysis system
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011060213.5A
Other languages
English (en)
Other versions
CN112202781B (zh
Inventor
林灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Perkins Technology Co ltd
Original Assignee
Guangdong Perkins Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Perkins Technology Co ltd filed Critical Guangdong Perkins Technology Co ltd
Priority to CN202011060213.5A priority Critical patent/CN112202781B/zh
Publication of CN112202781A publication Critical patent/CN112202781A/zh
Application granted granted Critical
Publication of CN112202781B publication Critical patent/CN112202781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/562—Brokering proxy services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明提供了一种电商大数据量回执报文处理方法、装置和系统，涉及回执数据处理技术领域，主要解决了如何高效率、高精确处理电商大数据量回执报文技术问题。该发明包括：数据解析系统读取MQ中间件的回执数据，其中，回执数据是回执报文解析系统解析电商大数据量的报文文件，并根据回执类型存储至MQ中间件的；数据解析系统将MQ中间件中的回执数据，根据不同的回执类型进行不同的数据解析处理；数据解析系统对回执数据进行数据解析处理后，向MQ中间件发送确认消息，以使MQ中间件确定回执数据已被处理后，删除回执数据。本发明减少了资源的浪费，根据回执数据量的大小自动调节处理速度，提高数据处理的效率和准确性。

Description

一种电商大数据量回执报文处理方法、装置和系统
技术领域
本发明涉及回执数据处理技术领域，尤其涉及一种电商大数据量回执报文处理方法、装置和系统。
背景技术
通常，电商大数据量回执报文处理流程是：由回执报文解析系统负责读取存放在文件夹中的回执文件，并将回执文件不做数据处理，直接放到一个中间件中。再由数据解析系统负责对回执文件进行数据处理，即读取中间件的回执文件，进行分析数据内容和做相应的操作，如更新回执对应的数据，保存回执等。其中，回执文件是一种xml格式的文件。
现有技术中，中间件采用的是远程字典服务(Redis服务)，然而，却带来了如下技术问题：
(1)阻塞处理，导致影响其他功能。回执高峰期时，Redis服务的请求激增。由于Redis不仅仅是用于回执处理，还有很多实时性要求比较高的功能也需要Redis。Redis服务如果一直被回执处理占用，就会导致其他功能受阻。
(2)资源浪费。由于Redis服务提供的数据结构的限制，导致要读取数据时，需要全部数据读取出来。但是由于数据处理系统的处理数量限制，多出来的数据不做处理，只能下次读取出来之后再处理。假设数据处理系统每次最多处理1000份回执数据，而此时Redis服务中存放数据的集合有2000份，则2000份会全部读取到数据处理系统的内存中，但实际处理的只有1000，剩下的1000需要下次读取的时候再处理。但是下次读取的时候，Redis中的数据集合又不只1000，又会被全部取出，然后又只处理前1000，剩下的又只能留下次。如此反复，浪费数据处理系统的资源的同时，还占用Redis服务的网络IO。数据量大的时候，Redis响应就会慢，导致其他请求只能等。
(3)回执数据存在重复处理或者丢失的情况。
(4)数据解析系统的定时任务的扫描间隔需要根据处理速度确定合适的时间间隔。
发明内容
本发明其中一个目的是为了提出一种电商大数据量回执报文处理方法、装置和系统，解决了现有技术中高效率、高精确处理电商大数据量回执报文的技术问题。本发明优选实施方案中能够达到诸多有益效果，具体见下文阐述。
为实现上述目的，本发明提供了以下技术方案：
本发明的一种电商大数据量回执报文的处理方法，其包括：
数据解析系统读取MQ中间件的回执数据，其中，所述回执数据是回执报文解析系统解析电商大数据量的报文文件，并根据回执类型存储至MQ中间件的；
所述数据解析系统将MQ中间件中的回执数据，根据不同的回执类型进行不同的数据解析处理；
所述数据解析系统对所述回执数据进行数据解析处理后，向MQ中间件发送确认消息，以使MQ中间件确定所述回执数据已被处理后，删除所述回执数据。
进一步的，包括：
所述数据解析系统配置与MQ中间件进行连接的第一配置信息，以使所述MQ中间件验证第一配置信息后，所述数据解析系统与所述MQ中间件建立连接；
所述数据解析系统创建与所述MQ中间件的连接信道；
所述数据解析系统根据所述回执类型，在与所述MQ中间件的连接信道上开启不同的监听器，以监听所述与所述MQ中间件的连接信道上是否存在回执数据，以便及时接收和处理所述回执数据。
进一步的，还包括：
所述MQ中间件创建与所述数据解析系统和回执报文解析系统的连接；其中，所述创建包括：创建用户，创建虚拟主机和为用户分配访问虚拟主机的权限；
所述MQ中间件接收、校验所述回执报文解析系统发送的连接信息；
校验通过后，所述MQ中间件分配与所述回执报文解析系统的连接信道，并在所述与所述回执报文解析系统的连接信道上，设置与所述回执类型相对应的消息列队。
进一步的，还包括：
所述回执报文解析系统配置与MQ中间件进行连接的第二配置信息，以使所述回执报文解析系统与所述MQ中间件建立连接；
所述回执报文解析系统在MQ中间中，创建存放回执数据的环境，以将回执数据根据不同的回执类型进行判断，并存储至MQ中间件中。
进一步的，所述创建存放回执数据的环境，包括：
所述回执报文解析系根据不同的回执类型，声明交换机信息；
所述回执报文解析系将交换机信息和所述消息列队，通过路由绑定；
所述回执报文解析系通过指定的交换机信息和路由，发送回执数据，以实现根据不同的回执类型，将不同的回执数据存储至不同的消息列队中。
进一步的，还包括：
所述回执报文解析系统定时扫描电商大数据量的报文文件，读取回执数据；
根据所述回执类型，所述回执报文解析系统将读取的所述回执数据进行判断，并通过所述MQ中间件分配的与所述回执报文解析系统的连接信道存放至MQ中间件中。
进一步的，所述第一配置信息和第二配置信息均包括：用户名、密码和虚拟主机名。
进一步的，所述MQ中间件为RabbitMq服务。
本发明的一种电商大数据量回执报文的处理装置，其包括：
接收模块，用于接收MQ中间件的回执数据，其中，所述回执数据是回执报文解析系统解析电商大数据量的报文文件，并根据回执类型存储至MQ中间件的；
处理模块，用于将MQ中间件中的回执数据，根据不同的回执类型进行不同的数据解析处理；
发送模块，用于对所述回执数据进行数据解析处理后，向MQ中间件发送确认消息，以使MQ中间件确定所述回执数据已被处理后，删除所述回执数据。
本发明的一种电商大数据量回执报文的处理系统，其包括：
MQ中间件，回执报文解析系统，数据解析系统；
所述回执报文解析系统，用于解析电商大数据量的报文文件的回执数据，并将回执数据根据回执类型存储至MQ中间件中；
所述数据解析系统，用于将MQ中间件中的回执数据，根据不同的回执类型进行不同的数据解析处理；对所述回执数据进行数据解析处理后，向MQ中间件发送确认消息，以使MQ中间件确定所述回执数据已被处理后，删除所述回执数据。
本发明提供的一种电商大数据量回执报文处理方法、装置和系统至少具有如下有益技术效果：
本发明通过数据解析系统读取MQ中间件的回执数据，其中，所述回执数据是回执报文解析系统解析电商大数据量的报文文件，并根据回执类型存储至MQ中间件的；然后，数据解析系统将MQ中间件中的回执数据，根据不同的回执类型进行不同的数据解析处理；最后，数据解析系统对所述回执数据进行数据解析处理后，向MQ中间件发送确认消息，以使MQ中间件确定所述回执数据已被处理后，删除所述回执数据。
本发明的核心是回执报文解析系统将回执数据放入MQ中间件服务，并且，数据解析系统从MQ中间件中获取回执数据，处理后向MQ发送确认消息。本发明每次只从MQ中间件中读取一条回执数据，不会有额外的资源浪费；处理完一条回执数据就发送一条确认信息，减低消息重复消费和丢失的风险；而且数据解析系统不需要自己管理取数据的频率和大小，监听器监听队列消费数据即可。
因此，本发明减少了资源的浪费，根据回执数据量的大小自动调节处理速度，提高数据处理的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的电商大数据量回执报文的处理方法的一种流程示意图；
图2是本发明的电商大数据量回执报文的处理方法的另一种流程示意图；
图3是本发明的电商大数据量回执报文的处理装置的结构示意图；
图4是本发明的电商大数据量回执报文的处理系统的结构示意图。
图中，1-接收模块，2-处理模块，3-发送模块；4-回执报文解析系统，5-MQ中间件，6-数据解析系统。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
参见图1，本发明的一种电商大数据量回执报文的处理方法，其包括：
S1：数据解析系统读取MQ中间件的回执数据，其中，所述回执数据是回执报文解析系统解析电商大数据量的报文文件，并根据回执类型存储至MQ中间件的；
S2：所述数据解析系统将MQ中间件中的回执数据，根据不同的回执类型进行不同的数据解析处理；
S3：所述数据解析系统对所述回执数据进行数据解析处理后，向MQ中间件发送确认消息，以使MQ中间件确定所述回执数据已被处理后，删除所述回执数据。
需要说明的是，MQ中间件是一个消息中间件，连接与回执报文解析系统和数据解析系统之间。
回执报文解析系统，主要用于解析报文文件，读取内容，然后将内容根据回执类型放入MQ中间件中。
数据解析系统，主要用于从MQ中间件读取回执数据，根据不同的回执类型进行不同的数据解析处理。
对于MQ中间件来说，回执数据就是消息。MQ中间件的主要流程是消息从生产者生产后，由对应的消费者来进行消费。在本发明中，消息的生产者是回执报文解析系统，消息的消费者是回执数据解析系统。所以交互过程主要包括生产者和中间件的交互，中间件和消费者的交互。
在本发明中，回执报文解析系统将回执数据放入MQ中间件服务；数据解析系统从MQ中间件中获取回执数据，根据不同的回执类型进行不同的数据解析处理，处理后向MQ发送确认消息。本发明每次从MQ服务中读取一条回执数据，不会有额外的资源浪费；处理完一条回执数据就向MQ中间件发送一条确认信息，减低消息重复消费和丢失的风险；而且数据解析系统不需要自己管理取数据的频率和大小，监听器监听队列消费数据即可。本发明大大提高了处理回执数据的能力，提高了处理效率，保障了处理数据的准确性。
本发明包括：
所述数据解析系统配置与MQ中间件进行连接的第一配置信息，以使所述MQ中间件验证第一配置信息后，所述数据解析系统与所述MQ中间件建立连接；
所述数据解析系统创建与所述MQ中间件的连接信道；
所述数据解析系统根据所述回执类型，在与所述MQ中间件的连接信道上开启不同的监听器，以监听所述与所述MQ中间件的连接信道上是否存在回执数据，以便及时接收和处理所述回执数据。
需要说明的是：
(1)数据解析系统配置连接MQ中间件的相关信息，如用户名，密码，vhost名等，并创建连接，最终通过信道和MQ中间件交互。在数据解析系统和MQ中间件的连接信道上，根据不同的回执类型开启不同的监听器，即有一个监听器对应一个回执类型。
(2)由于MQ中间件根据不同的回执类型，设有不同的消息列队，则数据解析系统的监听器监听MQ中间件的消息列队，一个监听线程监听一个队列。
(3)监听器监听到消息队列有回执数据就马上处理，不用等待，提高数据处理效率。
(4)处理成功后，数据解析系统回复MQ中间件确认消息(简称：ack)，避免消息的重复消费或者丢失。
(5)数据解析系统作为消费者，不需要主动创建交换机等。
本发明还包括：
所述MQ中间件创建与所述数据解析系统和回执报文解析系统的连接；其中，所述创建包括：创建用户，创建虚拟主机和为用户分配访问虚拟主机的权限；
所述MQ中间件接收、校验所述回执报文解析系统发送的连接信息；
校验通过后，所述MQ中间件分配与所述回执报文解析系统的连接信道；并在所述与所述回执报文解析系统的连接信道上，设置与所述回执类型相对应的消息列队。
需要说明的是，在MQ中间件中，需要创建用户，创建虚拟主机和为用户分配访问虚拟主机的权限。
其中，用户：用于连接访问操作MQ中间件。
vhost(是virtual host的简称)：是在MQ中间件中创建的虚拟主机，用于不同的系统连接到MQ中间件时可以隔离开，相互不影响。
不同的系统连接MQ中间件时，需要用户密码连接。通过用户访问vhost，因而需要给用户授予相应的权限。
MQ中间件分别与回执报文解析系统和数据解析系统连接时，需要通过用户和用户密码验证用户信息。验证通过后，MQ中间件分别与回执报文解析系统和数据解析系统建立连接信道。
在MQ中间件与回执报文解析系统的连接信道上，根据不同的回执类型，MQ中间件设有不同的消息列队，以接收回执报文解析系统根据不同的回执类型发送的不同的回执数据。在MQ中间件与数据解析系统的连接信道上，根据不同的回执类型，数据解析系统设有不同的监听器，以监听不同的消息列队，若有消息列队上有回执数据，立马处理，处理完毕后回复MQ中间件确认消息，使MQ中间件删除已处理回执数据。则本发明是一个回执数据对应一个回执类型，对应一个消息列队，对应一个监听器。
本发明还包括：
所述回执报文解析系统配置与MQ中间件进行连接的第二配置信息，以使所述回执报文解析系统与所述MQ中间件建立连接；
所述回执报文解析系统在MQ中间中，创建存放回执数据的环境，以将回执数据根据不同的回执类型进行判断，并存储至MQ中间件中。
所述创建存放回执数据的环境，包括：
所述回执报文解析系根据不同的回执类型，声明交换机信息；
所述回执报文解析系将交换机信息和所述MQ中间件分配的与所述回执报文解析系统的连接信道，通过路由绑定；
所述回执报文解析系通过指定的交换机信息和路由，发送回执数据。
还包括：
所述回执报文解析系统定时扫描电商大数据量的报文文件，读取回执数据；
根据所述回执类型，所述回执报文解析系统将读取的所述回执数据进行判断，并通过所述MQ中间件分配的与所述回执报文解析系统的连接信道存放至MQ中间件中。
需要说明的是，回执报文解析系统首先需要配置连接MQ中间件的相关信息，如用户名，密码，vhost名等。再带着配置的相关信息和MQ中间件建立连接。然后，MQ中间件校验回执报文解析系统发送来的相关信息通过后，给回执报文解析系统分配信道。
最后，由于回执报文解析系统是生产者，所以需要主动在MQ中间件中创建存放回执数据的环境。因为在MQ中间件中，是根据交换机收到的消息类型以及路由键，将回执数据分发到相应的队列中的，具体步骤如下：
步骤一：回执报文解析系统声明交换机，不同的交换机用于区分不同的业务。
步骤二：回执报文解析系统将交换机和消息队列通过路由绑定。
步骤三：回执报文解析系统发送回执数据时，通过指定交换机和路由至MQ中间件的消息列队。
优选地，所述第一配置信息和第二配置信息均包括：用户名、密码和虚拟主机名。
优选地，所述MQ中间件为RabbitMq服务。
需要说明的是，MQ中间件也可以选择RacketMQ，RabbitMQ，ActiveMQ等。
参见图2，本发明的电商大数据量回执报文的处理方法的另一种流程示意图。图2中，生产回执数据(生产者)：
①定时扫描文件夹。
②读取文件夹的回执数据。
③判断回执数据的类型，将回执数据放入MQ中间件对应的队列中。
MQ中间件：交换机接收数据，根据回执数据指定的路由分发数据到对应的消息队列中。不同的消息队列存放不同的回执数据。
数据解析系统(消费者)：
①在每个消息队列都有对应的监听器监听；
②一旦消息队列有回执数据，就获取回执数据并对回执数据进行数据处理，不用拉取大量数据在数据解析系统中占资源。因为是监听的方式，不用自己设定拉取数据的时间间隔和数量，所以不会一次性传输大量数据，从而减少某一时刻数据拥堵，影响其他功能的风险。
③处理回执数据完成后，给MQ中间件回复ack，MQ中间件就会删除该回执数据，无需自己管理数据的生命周期。
参见图3，本发明的一种电商大数据量回执报文的处理装置，其包括：
接收模块1，用于接收MQ中间件的回执数据，其中，所述回执数据是回执报文解析系统解析电商大数据量的报文文件，并根据回执类型存储至MQ中间件的；
处理模块2，用于将MQ中间件中的回执数据，根据不同的回执类型进行不同的数据解析处理；
发送模块3，用于对所述回执数据进行数据解析处理后，向MQ中间件发送确认消息，以使MQ中间件确定所述回执数据已被处理后，删除所述回执数据。
本发明将MQ中间件的回执数据根据不同的回执类型进行数据处理，处理完毕后，向MQ中间件发送确认消息，使MQ中间件及时删除该回执数据；体现了本发明从MQ中间件中读取回执数据，不会有额外的资源浪费，处理完回执数据就发送确认消息，减低回执数据重复消费和丢失的风险；还提高了回执数据处理的效率，保障了回执数据处理的准确性，减少了资源的浪费，提高整体性能。
参见图4，本发明的一种电商大数据量回执报文的处理系统，其包括：
MQ中间件5，回执报文解析系统4，数据解析系统6；
所述回执报文解析系统4，用于解析电商大数据量的报文文件的回执数据，并将回执数据根据回执类型存储至MQ中间件5中；
所述数据解析系统6，用于将MQ中间件5中的回执数据，根据不同的回执类型进行不同的数据解析处理；对所述回执数据进行数据解析处理后，向MQ中间件5发送确认消息，以使MQ中间件5确定所述回执数据已被处理后，删除所述回执数据。
本发明的增强了回执数据处理能力，同时处理大数据量的回执时，不存在回执积压的问题；保证了回执数据不被重复处理，也不会导致数据丢失；提高了回执数据处理的效率；减少资源的浪费，让系统根据数据量的大小自动调节处理速度，提高数据处理的准确性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种电商大数据量回执报文的处理方法，其特征在于，包括：
数据解析系统读取MQ中间件的回执数据，其中，所述回执数据是回执报文解析系统解析电商大数据量的报文文件，并根据回执类型存储至MQ中间件的；
所述数据解析系统将MQ中间件中的回执数据，根据不同的回执类型进行不同的数据解析处理；
所述数据解析系统对所述回执数据进行数据解析处理后，向MQ中间件发送确认消息，以使MQ中间件确定所述回执数据已被处理后，删除所述回执数据。
2.根据权利要求1所述的处理方法，其特征在于，包括：
所述数据解析系统配置与MQ中间件进行连接的第一配置信息，以使所述MQ中间件验证第一配置信息后，所述数据解析系统与所述MQ中间件建立连接；
所述数据解析系统创建与所述MQ中间件的连接信道；
所述数据解析系统根据所述回执类型，在与所述MQ中间件的连接信道上开启不同的监听器，以监听所述与所述MQ中间件的连接信道上是否存在回执数据，以便及时接收和处理所述回执数据。
3.根据权利要求1所述的处理方法，其特征在于，还包括：
所述MQ中间件创建与所述数据解析系统和回执报文解析系统的连接；其中，所述创建包括：创建用户，创建虚拟主机和为用户分配访问虚拟主机的权限；
所述MQ中间件接收、校验所述回执报文解析系统发送的连接信息；
校验通过后，所述MQ中间件分配与所述回执报文解析系统的连接信道，并在所述与所述回执报文解析系统的连接信道上，设置与所述回执类型相对应的消息列队。
4.根据权利要求3所述的处理方法，其特征在于，还包括：
所述回执报文解析系统配置与MQ中间件进行连接的第二配置信息，以使所述回执报文解析系统与所述MQ中间件建立连接；
所述回执报文解析系统在MQ中间中，创建存放回执数据的环境，以将回执数据根据不同的回执类型进行判断，并存储至MQ中间件中。
5.根据权利要求4所述的处理方法，其特征在于，所述创建存放回执数据的环境，包括：
所述回执报文解析系根据不同的回执类型，声明交换机信息；
所述回执报文解析系将交换机信息和所述消息列队，通过路由绑定；
所述回执报文解析系通过指定的交换机信息和路由，发送回执数据，以实现根据不同的回执类型，将不同的回执数据存储至不同的消息列队中。
6.根据权利要求4所述的处理方法，其特征在于，还包括：
所述回执报文解析系统定时扫描电商大数据量的报文文件，读取回执数据；
根据所述回执类型，所述回执报文解析系统将读取的所述回执数据进行判断，并通过所述MQ中间件分配的与所述回执报文解析系统的连接信道存放至MQ中间件中。
7.根据权利要求2或4所述的处理方法，其特征在于，所述第一配置信息和第二配置信息均包括：用户名、密码和虚拟主机名。
8.根据权利要求1所述的处理方法，其特征在于，所述MQ中间件为RabbitMq服务。
9.一种电商大数据量回执报文的处理装置，其特征在于，包括：
接收模块，用于接收MQ中间件的回执数据，其中，所述回执数据是回执报文解析系统解析电商大数据量的报文文件，并根据回执类型存储至MQ中间件的；
处理模块，用于将MQ中间件中的回执数据，根据不同的回执类型进行不同的数据解析处理；
发送模块，用于对所述回执数据进行数据解析处理后，向MQ中间件发送确认消息，以使MQ中间件确定所述回执数据已被处理后，删除所述回执数据。
10.一种电商大数据量回执报文的处理系统，其特征在于，包括：
MQ中间件，回执报文解析系统，数据解析系统；
所述回执报文解析系统，用于解析电商大数据量的报文文件的回执数据，并将回执数据根据回执类型存储至MQ中间件中；
所述数据解析系统，用于将MQ中间件中的回执数据，根据不同的回执类型进行不同的数据解析处理；对所述回执数据进行数据解析处理后，向MQ中间件发送确认消息，以使MQ中间件确定所述回执数据已被处理后，删除所述回执数据。
CN202011060213.5A 2020-09-30 2020-09-30 一种电商大数据量回执报文处理方法、装置和系统 Active CN112202781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011060213.5A CN112202781B (zh) 2020-09-30 2020-09-30 一种电商大数据量回执报文处理方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011060213.5A CN112202781B (zh) 2020-09-30 2020-09-30 一种电商大数据量回执报文处理方法、装置和系统

Publications (2)

Publication Number Publication Date
CN112202781A true CN112202781A (zh) 2021-01-08
CN112202781B CN112202781B (zh) 2023-04-28

Family

ID=74012533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011060213.5A Active CN112202781B (zh) 2020-09-30 2020-09-30 一种电商大数据量回执报文处理方法、装置和系统

Country Status (1)

Country Link
CN (1) CN112202781B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500321A (zh) * 2022-04-12 2022-05-13 成方金融科技有限公司 报文核验方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777026A (zh) * 2016-12-08 2017-05-31 用友网络科技股份有限公司 支持微服务架构事务最终一致性的方法、装置及系统
CN107133302A (zh) * 2017-04-28 2017-09-05 努比亚技术有限公司 实现数据一致性的方法、系统、终端及计算机可读存储介质
CN109451032A (zh) * 2018-11-20 2019-03-08 上海联寓智能科技有限公司 一种消息传递系统
CN110611691A (zh) * 2018-06-15 2019-12-24 中兴通讯股份有限公司 一种消息推送方法、系统及存储介质
CN110661849A (zh) * 2019-08-30 2020-01-07 中国人民财产保险股份有限公司 一种请求处理方法、装置、电子设备及存储介质
CN110688284A (zh) * 2019-09-29 2020-01-14 武汉易酒批电子商务有限公司 一种管理和监控RabbitMq消息队列的方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777026A (zh) * 2016-12-08 2017-05-31 用友网络科技股份有限公司 支持微服务架构事务最终一致性的方法、装置及系统
CN107133302A (zh) * 2017-04-28 2017-09-05 努比亚技术有限公司 实现数据一致性的方法、系统、终端及计算机可读存储介质
CN110611691A (zh) * 2018-06-15 2019-12-24 中兴通讯股份有限公司 一种消息推送方法、系统及存储介质
CN109451032A (zh) * 2018-11-20 2019-03-08 上海联寓智能科技有限公司 一种消息传递系统
CN110661849A (zh) * 2019-08-30 2020-01-07 中国人民财产保险股份有限公司 一种请求处理方法、装置、电子设备及存储介质
CN110688284A (zh) * 2019-09-29 2020-01-14 武汉易酒批电子商务有限公司 一种管理和监控RabbitMq消息队列的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭忠: "《税库行横向联网数据接口的研究与设计》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500321A (zh) * 2022-04-12 2022-05-13 成方金融科技有限公司 报文核验方法、装置及存储介质

Also Published As

Publication number Publication date
CN112202781B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN111580995B (zh) 基于mqtt异步通信场景下的分布式云平台与物联网智能终端的同步通信方法与系统
CN110134534B (zh) 基于nio针对大数据分布式系统进行消息处理优化的系统及方法
CN109039817B (zh) 一种用于流量监控的信息处理方法、装置、设备及介质
CN111737022A (zh) 一种基于微服务的接口调用方法、系统、设备及介质
CN113938516A (zh) 同步实现异构系统交易处理的方法及系统
CN112104679B (zh) 处理超文本传输协议请求的方法、装置、设备和介质
CN112202781A (zh) 一种电商大数据量回执报文处理方法、装置和系统
CN112653736B (zh) 一种并行回源方法、装置及电子设备
CN111698310B (zh) 基于swift网络的多测试环境调度方法及装置
CN112817539A (zh) 一种工业数据存储方法、系统、电子设备及存储介质
CN114661433A (zh) 事件任务的调度方法及装置、存储介质、电子设备
CN114095571A (zh) 数据处理方法、数据服务总线、终端和存储介质
CN116974655A (zh) 能力调度方法及能力调度功能实体
CN115410580A (zh) 指挥调度系统的语音识别方法、装置、设备及介质
CN113709177B (zh) 一种处理报文的方法及外调网关
CN112202914B (zh) 一种消息推送方法及装置
CN113472846B (zh) 消息处理方法、装置、设备和计算机可读存储介质
CN111752728B (zh) 消息传输方法及装置
CN113687962A (zh) 一种请求处理方法、装置、设备及存储介质
CN112333262A (zh) 数据更新提示方法、装置、计算机设备及可读存储介质
CN110311936B (zh) 客户端之间的通讯方法、装置、电子设备及存储介质
CN113055493B (zh) 数据包处理方法、装置、系统、调度设备和存储介质
CN115190124B (zh) 基于分布式工业控制系统的消息传输方法、装置、存储介质及调度服务器
CN111131477B (zh) 一种数据处理方法、装置及设备
CN115623019B (zh) 一种分布式运行流调度执行方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant