CN114640707A - 一种消息异步处理方法、装置、电子设备及存储介质 - Google Patents

一种消息异步处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114640707A
CN114640707A CN202210210564.2A CN202210210564A CN114640707A CN 114640707 A CN114640707 A CN 114640707A CN 202210210564 A CN202210210564 A CN 202210210564A CN 114640707 A CN114640707 A CN 114640707A
Authority
CN
China
Prior art keywords
message
service
messages
clustering
service messages
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210210564.2A
Other languages
English (en)
Inventor
史济建
周方朵
宗瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weway Shenzhen Network Technology Co ltd
Original Assignee
Weway Shenzhen Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weway Shenzhen Network Technology Co ltd filed Critical Weway Shenzhen Network Technology Co ltd
Priority to CN202210210564.2A priority Critical patent/CN114640707A/zh
Publication of CN114640707A publication Critical patent/CN114640707A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3867—Concurrent instruction execution, e.g. pipeline or look ahead using instruction pipelines
    • G06F9/3871—Asynchronous instruction pipeline, e.g. using handshake signals between stages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及数据处理领域，揭露一种消息异步处理方法、装置、电子设备及存储介质，所述方法包括：接收通过生产者系统传输的业务消息集，识别业务消息集中每个业务消息的消息属性，将业务消息集中具有相同消费属性的业务消息进行聚类，形成一个或多个聚类业务消息；将聚类业务消息传输至预设的消息队列中，以通过预设的消息队列对聚类业务消息中的业务消息进行消费顺序排序，得到聚类业务消息的消费顺序列表；响应于消费者系统的消息订阅请求，从消息队列中查询消息订阅请求的订阅消息，并按照消费顺序列表将订阅消息返回至消费者系统中。本发明可以保障消息异步处理的顺序性，提高消息异步处理的效率。

Description

一种消息异步处理方法、装置、电子设备及存储介质
技术领域
本发明涉及数据处理领域，尤其涉及一种消息异步处理方法、装置、电子设备以及计算机可读存储介质。
背景技术
消息异步处理指的是当生产者系统产生业务消息时，消费者系统无需立刻对生产者系统的业务消息进行消费的过程，即消费者系统在何时需要业务消息在何时进行业务消息的消费，通过消息的异步处理，可以支持业务消息的高并发和高调用处理。目前消息的异步处理通常是采用消息中间件实现，但是在消息中间件处理消息异步时，容易出现单片机的问题，即消息队列会先进先出的原理执行消息的消费，但是在面对集群部署下的消息中间件，无法保障每个业务消息的消费顺序，从而导致业务消息在被消费时出现顺序混乱的现象，进而会影响业务消息的处理效率。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供了一种消息异步处理方法、装置、电子设备以及计算机可读存储介质，可以保障消息异步处理的顺序性，提高消息异步处理的效率。
第一方面，本发明提供了一种消息异步处理方法，包括：
接收通过生产者系统传输的业务消息集，识别所述业务消息集中每个业务消息的消息属性，将所述业务消息集中具有相同消费属性的业务消息进行聚类，形成一个或多个聚类业务消息；
将所述聚类业务消息传输至预设的消息队列中，以通过所述预设的消息队列对所述聚类业务消息中的业务消息进行消费顺序排序，得到所述聚类业务消息的消费顺序列表；
响应于消费者系统的消息订阅请求，从所述消息队列中查询所述消息订阅请求的订阅消息，并按照所述消费顺序列表将所述订阅消息返回至所述消费者系统中。
可以看出，本发明实施例首先识别通过生产者系统传输的业务消息集中每个业务消息的消息属性，将业务消息集中具有相同消费属性的业务消息进行聚类，形成一个或多个聚类业务消息，可以实现后续具有相同消费者的业务消息可以存储于相同的消息队列中，保障后续业务消息在被消费者系统消费时的有条不紊性；其次，本发明实施例通过将聚类业务消息传输至预设的消息队列中，以通过预设的消息队列对聚类业务消息中的业务消息进行消费顺序排序，得到聚类业务消息的消费顺序列表，可以确定所述聚类业务消息中的业务消息的消费顺序，保障所述消息队列处于单级部署或集群部署的状态情况下业务消息在被消费者系统消费时的顺序性；进一步地，本发明实施例通过响应于消费者系统的消息订阅请求，从消息队列中查询消息订阅请求的订阅消息，并按照消费顺序列表将订阅消息返回至消费者系统中，可以保障所述业务消息在被消费时的时效性。本发明实施例提出的一种消息异步处理方法可以保障消息异步处理的顺序性，提高消息异步处理的效率。
在第一方面的一种可能实现方式中，所述识别所述业务消息集中每个业务消息的消息属性，包括：
提取所述业务消息集中每个业务消息的业务特征；
根据所述业务特征，识别所述业务消息的业务类别与业务对象；
根据所述消息类别和所述业务对象，生成所述业务消息的消息属性。
在第一方面的一种可能实现方式中，所述提取所述业务消息集中每个业务消息的业务特征，包括：
对所述业务消息集中每个业务消息进行数据清洗，得到清洗数据；
计算所述清洗数据的权重，并将所述权重大于预设阈值的清洗数据作为所述业务消息的业务特征。
在第一方面的一种可能实现方式中，所述将所述服务字段按照所述预设的服务属性中服务类型进行聚类，形成一个或多个聚类业务消息，包括：
步骤A：将所述业务消息集存入待选池中；
步骤B：从所述待选池中随机选取一个业务消息，并以所述选取的业务消息为中心点；
步骤C：从所述待选池中选取与所述中心点具有相同消息属性的业务数据，以生成聚类业务消息；
重复执行上述的步骤B及步骤C，直到所述待选池已经没有业务消息或者所述待选池中的业务消息不属于任何一个中心点时，得到一个或多个聚类业务消息。
在第一方面的一种可能实现方式中，所述将所述聚类业务消息传输至预设的消息队列中，包括：
获取所述聚类业务消息对应生产者系统的第一接口地址及所述消息队列的第二接口地址；
构造所述第一接口地址以及所述第二接口地址的配置文件，得到第一配置文件和第二配置文件；
在所述第一配置文件和第二配置文件中定义相同的标识位，并在所述标识位中添加属性参数；
根据所述属性参数，配置所述生产者系统和所述消息队列的数据通道，根据所述数据通道，执行所述聚类业务消息的传输。
在第一方面的一种可能实现方式中，所述通过所述预设的消息队列对所述聚类业务消息中的业务消息进行消费顺序排序，得到所述聚类业务消息的消费顺序列表，包括：
获取所述预设的消息队列的部署环境；
当所述部署环境为单机环境下，按照所述聚类业务消息中业务消息的传输顺序执行所述消费顺序排序，得到所述聚类业务消息的消费顺序列表；
当所述部署环境为集群环境下，按照所述聚类业务消息中业务消息的权重执行所述消费顺序排序，得到所述聚类业务消息的消费顺序列表。
在第一方面的一种可能实现方式中，所述从所述消息队列中查询所述消息订阅请求的订阅消息，包括：
识别所述消息订阅请求的请求对象，将所述请求对象与所述消息队列中的业务消息进行匹配，并将匹配成功的业务消息作为所述订阅消息。
第二方面，本发明提供了一种消息异步处理装置，所述装置包括：
聚类消息生成模块，用于接收通过生产者系统传输的业务消息集，识别所述业务消息集中每个业务消息的消息属性，将所述业务消息集中具有相同消费属性的业务消息进行聚类，形成一个或多个聚类业务消息；
消息排序模块，用于将所述聚类业务消息传输至预设的消息队列中，以通过所述预设的消息队列对所述聚类业务消息中的业务消息进行消费顺序排序，得到所述聚类业务消息的消费顺序列表；
消息消费模块，用于响应于消费者系统的消息订阅请求，从所述消息队列中查询所述消息订阅请求的订阅消息，并按照所述消费顺序列表将所述订阅消息返回至所述消费者系统中。
第三方面，本发明提供一种电子设备，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，以使所述至少一个处理器能够执行如上述第一方面中任意一项所述的消息异步处理方法。
第四方面，本发明提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任意一项所述的消息异步处理方法。
可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种消息异步处理方法的流程示意图；
图2为本发明一实施例中图1提供的一种消息异步处理方法的其中一个步骤流程示意图；
图3为本发明一实施例提供的一种消息异步处理装置的模块示意图；
图4为本发明一实施例提供的实现消息异步处理方法的电子设备的内部结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1所示，是本发明一实施例提供的消息异步处理方法的流程示意图。其中，图1中描述的消息异步处理方法，包括：
S1、接收通过生产者系统传输的业务消息集，识别所述业务消息集中每个业务消息的消息属性，将所述业务消息集中具有相同消费属性的业务消息进行聚类，形成一个或多个聚类业务消息。
本发明实施例中，所述生产者系统可以理解为用于产生业务消息的系统，如订单生成系统、物流系统以及商城页面系统等，其与消费者系统相对应，即所述生产者系统所产生的业务消息会被消费者系统进行消费，如所述生产者系统为订单生成系统，则所述消费者系统可以为订单查询系统，所述生产者系统为商城页面系统，则所述消费者系统可以为商城后台系统等，所述业务消息集可以理解为在所述生产者系统所产生的系统数据的集合，其中，所述系统数据包括系统运行数据、系统交互数据等，详细地，所述系统运行数据包括运行日志、运行环境以及运行文件等，所述系统交互数据包括用户行为数据和用户基本数据等。
进一步地，本发明实施例通过识别所述业务消息集中每个业务消息的消息属性，以获取所述业务消息集中每个业务消息的消息类型，从而可以判定出所述业务消息集中每个业务消息的消费者对象是否相同。其中，所述消息属性可以理解为用于表征所述业务消息的业务类别与业务对象的结构数据。
作为本发明的一个实施例，参阅图2所示，所述识别所述业务消息集中每个业务消息的消息属性，包括：
S201、提取所述业务消息集中每个业务消息的业务特征；
S202、根据所述业务特征，识别所述业务消息的业务类别与业务对象；
S203、根据所述消息类别和所述业务对象，生成所述业务消息的消息属性。
其中，所述消息特征是指所述业务消息的特征数据，其用于表征所述业务消息的关键信息，所述业务类别是指所述业务消息的业务类型，其用于表征所述业务消息的身份标识，所述业务对象是指需要消费所述业务消息的对象，其可以用于表征消费所述业务消息的身份标识。
进一步地，本发明一可选实施例中，所述提取所述业务消息集中每个业务消息的业务特征，包括：对所述业务消息集中每个业务消息进行数据清洗，得到清洗数据，计算所述清洗数据的权重，并将所述权重大于预设阈值的清洗数据作为所述业务消息的业务特征。其中，所述业务消息的数据清洗包括数据的无用字段和异常字段的删除，所述清洗数据的权重可以通过信息增益率算法实现，所述预设阈值可以设置为0.6，也可以根据实际业务场景设置。
进一步地，本发明一可选实施例中，所述根据所述业务特征，识别所述业务消息的业务类别与业务对象，包括：根据所述业务特征，识别所述业务消息中的消息类型和消息目标，根据所述消息类型，确定所述业务消息的业务类别，根据所述消息目标，确定所述业务消息的业务对象。
进一步地，本发明实施例通过将相同消费属性的业务消息进行聚类，以实现后续具有相同消费者的业务消息可以存储于相同的消息队列中，保障后续业务消息在被消费者系统消费时的有条不紊性。
作为本发明的一个实施例，所述将所述业务消息集中具有相同消费属性的业务消息进行聚类，包括：
步骤A：将所述业务消息集存入待选池中；
步骤B：从所述待选池中随机选取一个业务消息，并以所述选取的业务消息为中心点；
步骤C：从所述待选池中选取与所述中心点具有相同消息属性的业务数据，以生成聚类业务消息；
重复执行上述的步骤B及步骤C，直到所述待选池已经没有业务消息或者所述待选池中的业务消息不属于任何一个中心点时，得到一个或多个聚类业务消息。
S2、将所述聚类业务消息传输至预设的消息队列中，以通过所述预设的消息队列对所述聚类业务消息中的业务消息进行消费顺序排序，得到所述聚类业务消息的消费顺序列表。
本发明实施例中，所述预设的消息队列包括消息中间件，如ActiveMQ、RabbitMQ、Kafka、RocketMQ等中间件，其用于实现消息的异步处理，即通过所述预设的消息队列可以使得所述生产者系统与消费者系统之间不需要通过传输控制协议(Transmission ControlProtocol，TCP)建立直接的通信连接，生产者系统发布消息进入消息队列，消费者系统在消息队列中只订阅其感兴趣的消息，从而实现所述业务消息的异步处理，提高业务消息的处理速度。
作为本发明的一个实施例，所述将所述聚类业务消息传输至预设的消息队列中，包括：获取所述聚类业务消息对应生产者系统的第一接口地址及所述消息队列的第二接口地址；构造所述第一接口地址以及所述第二接口地址的配置文件，得到第一配置文件和第二配置文件；在所述第一配置文件和第二配置文件中定义相同的标识位，并在所述标识位中添加属性参数；根据所述属性参数，配置所述生产者系统和所述消息队列的数据通道，根据所述数据通道，执行所述聚类业务消息的传输。
一个可选实施例中，所述标识位的定义可以通过SQL语句进行定义，所述属性参数包括：主键、id以及字段等。
进一步地，本发明实施例通过所述预设的消息队列对所述聚类业务消息中的业务消息进行消费顺序排序，以确定所述聚类业务消息中的业务消息的消费顺序，保障所述消息队列处于单级部署或集群部署的状态情况下业务消息在被消费者系统消费时的顺序性。
作为本发明的一个实施例，所述通过所述预设的消息队列对所述聚类业务消息中的业务消息进行消费顺序排序，得到所述聚类业务消息的消费顺序列表，包括：获取所述预设的消息队列的部署环境，当所述部署环境为单机环境下，按照所述聚类业务消息中业务消息的传输顺序执行所述消费顺序排序，得到所述聚类业务消息的消费顺序列表；当所述部署环境为集群环境下，按照所述聚类业务消息中业务消息的权重执行所述消费顺序排序，得到所述聚类业务消息的消费顺序列表；
其中，所述单机环境是指所述预设的消息队列只存在一个消息服务器进行数据处理，所述集群环境是指所述预设的消息队列存在多个消息服务器进行数据处理。进一步地，本发明一可选实施例中，所述按照所述聚类业务消息中业务消息的传输顺序执行所述消费顺序排序，即按照先进先出的顺序排序所述业务消息的消费顺序，所述按照所述聚类业务消息中业务消息的消费时间执行所述消费顺序排序，即业务消息的权重越高，所述业务消息的消费顺序越靠前。
S3、响应于消费者系统的消息订阅请求，从所述消息队列中查询所述消息订阅请求的订阅消息，并按照所述消费顺序列表将所述订阅消息返回至所述消费者系统中。
本发明实施例中，所述消费者系统可以参阅上述S1的描述，在此不做进一步描述，所述消息订阅请求基于不同的消费者系统需求产生，如订单查询系统的消息订阅请求可以为查询近一天内手机的销售数据，商城后台系统的消息订阅请求可以为近一周内商品上架的情况。
作为本发明的一个实施例，所述从所述消息队列中查询所述消息订阅请求的订阅消息，包括：识别所述消息订阅请求的请求对象，将所述请求对象与所述聚类业务消息中的业务消息进行匹配，并将匹配成功的业务消息作为所述订阅消息。其中，所述请求对象是指所述消息订阅请求的查询目标，其可以通过识别所述消息订阅请求中的字段识别，所述请求对象与所述聚类业务消息中的业务消息的匹配可以通过字符匹配算法实现。
进一步地，本发明实施例按照所述消费顺序列表将所述订阅消息返回至所述消费者系统中，即将所述订阅消息中在所述消费顺序列表排序靠前的消息先返回至所述消费者系统中，避免业务消息在消费时产生顺序混乱的现象，保障所述业务消息在被消费时的时效性，从而保障消息异步处理的效率。
可以看出，本发明实施例首先识别通过生产者系统传输的业务消息集中每个业务消息的消息属性，将业务消息集中具有相同消费属性的业务消息进行聚类，形成一个或多个聚类业务消息，可以实现后续具有相同消费者的业务消息可以存储于相同的消息队列中，保障后续业务消息在被消费者系统消费时的有条不紊性；其次，本发明实施例通过将聚类业务消息传输至预设的消息队列中，以通过预设的消息队列对聚类业务消息中的业务消息进行消费顺序排序，得到聚类业务消息的消费顺序列表，可以确定所述聚类业务消息中的业务消息的消费顺序，保障所述消息队列处于单级部署或集群部署的状态情况下业务消息在被消费者系统消费时的顺序性；进一步地，本发明实施例通过响应于消费者系统的消息订阅请求，从消息队列中查询消息订阅请求的订阅消息，并按照消费顺序列表将订阅消息返回至消费者系统中，可以保障所述业务消息在被消费时的时效性。本发明实施例提出的一种消息异步处理方法可以保障消息异步处理的顺序性，提高消息异步处理的效率。
如图3所示，是本发明消息异步处理装置的功能模块图。
本发明所述消息异步处理装置300可以安装于电子设备中。根据实现的功能，所述消息异步处理装置可以包括聚类消息生成模块301、消息排序模块302以及消息消费模块303。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述聚类消息生成模块301，用于接收通过生产者系统传输的业务消息集，识别所述业务消息集中每个业务消息的消息属性，将所述业务消息集中具有相同消费属性的业务消息进行聚类，形成一个或多个聚类业务消息；
所述消息排序模块302，用于将所述聚类业务消息传输至预设的消息队列中，以通过所述预设的消息队列对所述聚类业务消息中的业务消息进行消费顺序排序，得到所述聚类业务消息的消费顺序列表；
所述消息消费模块303，用于响应于消费者系统的消息订阅请求，从所述消息队列中查询所述消息订阅请求的订阅消息，并按照所述消费顺序列表将所述订阅消息返回至所述消费者系统中。
详细地，本发明实施例中所述消息异步处理装置300中的所述各模块在使用时采用与上述的图1和图2中所述的消息异步处理方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图4所示，是本发明实现消息异步处理方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如消息异步处理程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备1的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行消息异步处理程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如消息异步处理程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备1与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备1之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
图3仅示出了具有部件的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利发明范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的消息异步处理程序是多个计算机程序的组合，在所述处理器10中运行时，可以实现：
接收通过生产者系统传输的业务消息集，识别所述业务消息集中每个业务消息的消息属性，将所述业务消息集中具有相同消费属性的业务消息进行聚类，形成一个或多个聚类业务消息；
将所述聚类业务消息传输至预设的消息队列中，以通过所述预设的消息队列对所述聚类业务消息中的业务消息进行消费顺序排序，得到所述聚类业务消息的消费顺序列表；
响应于消费者系统的消息订阅请求，从所述消息队列中查询所述消息订阅请求的订阅消息，并按照所述消费顺序列表将所述订阅消息返回至所述消费者系统中。
具体地，所述处理器10对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备1的处理器所执行时，可以实现：
接收通过生产者系统传输的业务消息集，识别所述业务消息集中每个业务消息的消息属性，将所述业务消息集中具有相同消费属性的业务消息进行聚类，形成一个或多个聚类业务消息；
将所述聚类业务消息传输至预设的消息队列中，以通过所述预设的消息队列对所述聚类业务消息中的业务消息进行消费顺序排序，得到所述聚类业务消息的消费顺序列表；
响应于消费者系统的消息订阅请求，从所述消息队列中查询所述消息订阅请求的订阅消息，并按照所述消费顺序列表将所述订阅消息返回至所述消费者系统中。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种消息异步处理方法，其特征在于，包括：
接收通过生产者系统传输的业务消息集，识别所述业务消息集中每个业务消息的消息属性，将所述业务消息集中具有相同消费属性的业务消息进行聚类，形成一个或多个聚类业务消息；
将所述聚类业务消息传输至预设的消息队列中，以通过所述预设的消息队列对所述聚类业务消息中的业务消息进行消费顺序排序，得到所述聚类业务消息的消费顺序列表；
响应于消费者系统的消息订阅请求，从所述消息队列中查询所述消息订阅请求的订阅消息，并按照所述消费顺序列表将所述订阅消息返回至所述消费者系统中。
2.如权利要求1所述的消息异步处理方法，其特征在于，所述识别所述业务消息集中每个业务消息的消息属性，包括：
提取所述业务消息集中每个业务消息的业务特征；
根据所述业务特征，识别所述业务消息的业务类别与业务对象；
根据所述消息类别和所述业务对象，生成所述业务消息的消息属性。
3.如权利要求2所述的消息异步处理方法，其特征在于，所述提取所述业务消息集中每个业务消息的业务特征，包括：
对所述业务消息集中每个业务消息进行数据清洗，得到清洗数据；
计算所述清洗数据的权重，并将所述权重大于预设阈值的清洗数据作为所述业务消息的业务特征。
4.如权利要求3所述的消息异步处理方法，其特征在于，所述将所述服务字段按照所述预设的服务属性中服务类型进行聚类，形成一个或多个聚类业务消息，包括：
步骤A：将所述业务消息集存入待选池中；
步骤B：从所述待选池中随机选取一个业务消息，并以所述选取的业务消息为中心点；
步骤C：从所述待选池中选取与所述中心点具有相同消息属性的业务数据，以生成聚类业务消息；
重复执行上述的步骤B及步骤C，直到所述待选池已经没有业务消息或者所述待选池中的业务消息不属于任何一个中心点时，得到一个或多个聚类业务消息。
5.如权利要求1至4中任意一项所述的消息异步处理方法，其特征在于，所述将所述聚类业务消息传输至预设的消息队列中，包括：
获取所述聚类业务消息对应生产者系统的第一接口地址及所述消息队列的第二接口地址；
构造所述第一接口地址以及所述第二接口地址的配置文件，得到第一配置文件和第二配置文件；
在所述第一配置文件和第二配置文件中定义相同的标识位，并在所述标识位中添加属性参数；
根据所述属性参数，配置所述生产者系统和所述消息队列的数据通道，根据所述数据通道，执行所述聚类业务消息的传输。
6.如权利要求1所述的消息异步处理方法，其特征在于，所述通过所述预设的消息队列对所述聚类业务消息中的业务消息进行消费顺序排序，得到所述聚类业务消息的消费顺序列表，包括：
获取所述预设的消息队列的部署环境；
当所述部署环境为单机环境下，按照所述聚类业务消息中业务消息的传输顺序执行所述消费顺序排序，得到所述聚类业务消息的消费顺序列表；
当所述部署环境为集群环境下，按照所述聚类业务消息中业务消息的权重执行所述消费顺序排序，得到所述聚类业务消息的消费顺序列表。
7.如权利要求1所述的消息异步处理方法，其特征在于，所述从所述消息队列中查询所述消息订阅请求的订阅消息，包括：
识别所述消息订阅请求的请求对象，将所述请求对象与所述消息队列中的业务消息进行匹配，并将匹配成功的业务消息作为所述订阅消息。
8.一种消息异步处理装置，其特征在于，所述装置包括：
聚类消息生成模块，用于接收通过生产者系统传输的业务消息集，识别所述业务消息集中每个业务消息的消息属性，将所述业务消息集中具有相同消费属性的业务消息进行聚类，形成一个或多个聚类业务消息；
消息排序模块，用于将所述聚类业务消息传输至预设的消息队列中，以通过所述预设的消息队列对所述聚类业务消息中的业务消息进行消费顺序排序，得到所述聚类业务消息的消费顺序列表；
消息消费模块，用于响应于消费者系统的消息订阅请求，从所述消息队列中查询所述消息订阅请求的订阅消息，并按照所述消费顺序列表将所述订阅消息返回至所述消费者系统中。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的消息异步处理方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的消息异步处理方法。
CN202210210564.2A 2022-03-04 2022-03-04 一种消息异步处理方法、装置、电子设备及存储介质 Pending CN114640707A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210210564.2A CN114640707A (zh) 2022-03-04 2022-03-04 一种消息异步处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210210564.2A CN114640707A (zh) 2022-03-04 2022-03-04 一种消息异步处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114640707A true CN114640707A (zh) 2022-06-17

Family

ID=81948678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210210564.2A Pending CN114640707A (zh) 2022-03-04 2022-03-04 一种消息异步处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114640707A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708120A (zh) * 2023-04-12 2023-09-05 友帮信互联网技术(北京)有限公司 时间在线共享业务的服务方法和装置
CN116860562A (zh) * 2023-09-04 2023-10-10 湖南中青能科技有限公司 一种用于数据中台数据质量的监控方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656825A (zh) * 2017-09-01 2018-02-02 上海艾融软件股份有限公司 消息处理方法、装置及系统
CN110069353A (zh) * 2019-03-18 2019-07-30 中科恒运股份有限公司 业务异步处理方法及装置
CN110851248A (zh) * 2019-10-12 2020-02-28 中国平安财产保险股份有限公司 异步任务数据处理方法、装置及计算机可读存储介质
CN111784329A (zh) * 2020-06-30 2020-10-16 京东数字科技控股有限公司 业务数据的处理方法和装置、存储介质、电子装置
WO2020211344A1 (zh) * 2019-04-17 2020-10-22 平安科技（深圳）有限公司 一种基于mqtt的消息分发方法、服务器、装置及存储介质
CN112965839A (zh) * 2021-03-29 2021-06-15 远景智能国际私人投资有限公司 消息传输方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656825A (zh) * 2017-09-01 2018-02-02 上海艾融软件股份有限公司 消息处理方法、装置及系统
CN110069353A (zh) * 2019-03-18 2019-07-30 中科恒运股份有限公司 业务异步处理方法及装置
WO2020211344A1 (zh) * 2019-04-17 2020-10-22 平安科技（深圳）有限公司 一种基于mqtt的消息分发方法、服务器、装置及存储介质
CN110851248A (zh) * 2019-10-12 2020-02-28 中国平安财产保险股份有限公司 异步任务数据处理方法、装置及计算机可读存储介质
CN111784329A (zh) * 2020-06-30 2020-10-16 京东数字科技控股有限公司 业务数据的处理方法和装置、存储介质、电子装置
CN112965839A (zh) * 2021-03-29 2021-06-15 远景智能国际私人投资有限公司 消息传输方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708120A (zh) * 2023-04-12 2023-09-05 友帮信互联网技术(北京)有限公司 时间在线共享业务的服务方法和装置
CN116708120B (zh) * 2023-04-12 2024-02-23 友帮信互联网技术(北京)有限公司 时间在线共享业务的服务方法和装置
CN116860562A (zh) * 2023-09-04 2023-10-10 湖南中青能科技有限公司 一种用于数据中台数据质量的监控方法及系统
CN116860562B (zh) * 2023-09-04 2023-11-24 湖南中青能科技有限公司 一种用于数据中台数据质量的监控方法及系统

Similar Documents

Publication Publication Date Title
CN114640707A (zh) 一种消息异步处理方法、装置、电子设备及存储介质
CN113342472A (zh) 微服务集群创建方法、装置、电子设备及可读存储介质
CN113868528A (zh) 资讯推荐方法、装置、电子设备及可读存储介质
CN114185895A (zh) 数据导入导出方法、装置、电子设备及存储介质
CN113890712A (zh) 数据传输方法、装置、电子设备及可读存储介质
CN113688923A (zh) 订单异常智能检测方法、装置、电子设备及存储介质
CN114386509A (zh) 数据融合方法、装置、电子设备及存储介质
CN113379391A (zh) 工单处理方法、装置、电子设备及计算机可读存储介质
CN112631731A (zh) 数据查询方法、装置、电子设备及存储介质
CN112949278A (zh) 数据核对方法、装置、电子设备及可读存储介质
CN113868529A (zh) 知识推荐方法、装置、电子设备及可读存储介质
CN113722533B (zh) 信息推送方法、装置、电子设备及可读存储介质
CN114844844A (zh) 延时消息处理方法、装置、设备及存储介质
CN114491646A (zh) 数据脱敏方法、装置、电子设备及存储介质
CN112464619B (zh) 大数据处理方法、装置、设备及计算机可读存储介质
CN113468175A (zh) 数据压缩方法、装置、电子设备及存储介质
CN112948380A (zh) 基于大数据的数据存储方法、装置、电子设备及存储介质
CN112258244A (zh) 确定目标物品所属任务的方法、装置、设备及存储介质
CN111858617A (zh) 用户查找方法和装置、计算机可读存储介质、电子设备
CN114201466B (zh) 防缓存击穿方法、装置、设备及可读存储介质
CN114840388A (zh) 数据监控方法、装置、电子设备及存储介质
CN114911479A (zh) 基于配置化的界面生成方法、装置、设备及存储介质
CN114611046A (zh) 数据加载方法、装置、设备及介质
CN114547696A (zh) 文件脱敏方法、装置、电子设备及存储介质
CN113935663A (zh) 一种面板产品的设备组合分析方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination