CN111966508A

CN111966508A - 一种消息的批量发送方法、装置、计算机设备和存储介质

Info

Publication number: CN111966508A
Application number: CN202010742347.9A
Authority: CN
Inventors: 陈刚
Original assignee: Guangzhou Haici Network Technology Co ltd
Current assignee: Guangzhou Haici Network Technology Co ltd
Priority date: 2020-07-29
Filing date: 2020-07-29
Publication date: 2020-11-20

Abstract

本发明实施例提供了一种消息的批量发送方法、装置、计算机设备和存储介质，包括：业务系统获取到业务数据；其中，所述业务系统包含埋点上报组件；业务系统调用埋点上报组件将所述业务数据进行缓存，并异步批量将所述业务数据发送至消息中间件；数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行数据处理，执行相应的数据操作；使业务系统接入简单，降低对业务系统的性能影响，降低业务系统与消息中间件的耦合性，利于日后的修改与扩展，降低消息中间件的负载压力，提高业务系统整体稳定性。

Description

一种消息的批量发送方法、装置、计算机设备和存储介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种消息的批量发送方法、一种消息的批量发送装置、一种计算机设备和一种存储介质。

背景技术

在如今的互联网，大数据的应用越来越体现它的优势，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。但是如何才能在不影响原有业务系统的情况下批量采集到重要数据呢？

普遍的方案是业务系统直接通过调用消息中间件提供的接口发送埋点数据。这种业务系统与消息中间件集成的方式有以下缺陷：业务系统代码接入麻烦，改动过大；业务系统、消息中间件之间和数据处理系统强耦合，重复代码过多；当批量数据同时发送时，产生极大网络开销与性能开销，对整个系统和消息中间件的性能产生极大的影响。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种消息的批量发送方法、一种消息的批量发送装置、一种计算机设备和一种存储介质。

为了解决上述问题，本发明实施例公开了一种消息的批量发送方法，包括：

业务系统获取到业务数据；其中，所述业务系统包含埋点上报组件；

业务系统调用埋点上报组件将所述业务数据进行缓存，并异步批量将所述业务数据发送至消息中间件；

数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行数据处理，执行相应的数据操作。

2、根据权利要求1所述的批量发送方法，其特征在于，所述业务系统调用埋点上报组件将所述业务数据进行缓存，并异步批量将所述业务数据发送至消息中间件，包括：

所述业务系统调用埋点上报组件将业务数据存入消息缓存池；

所述埋点上报组件通过写入线程将业务数据从所述消息缓存池存入至消息发送池；

所述埋点上报组件异步批量将所述业务数据发送至消息中间件。

3、根据权利要求2所述的批量发送方法，其特征在于，所述埋点上报组件异步批量将所述业务数据发送至消息中间件，包括：

创建发送线程；

当所述消息发送池已满时，所述埋点上报组件通过所述发送线程批量发送所述业务数据至消息中间件。

4、根据权利要求3所述的批量发送方法，其特征在于，所述埋点上报组件异步批量将所述业务数据发送至消息中间件，包括：

获取到所述业务数据的消息等待时间；

当所述消息等待时间超过预设时长阈值时，所述埋点上报组件将所述业务数据批量发送至消息中间件。

5、根据权利要求1所述的批量发送方法，其特征在于，所述数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行数据处理，执行相应的数据操作，包括：

数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行行为分析，得到行为分析结果；

和/或，数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行数据监测，得到数据监测结果。

本发明实施例还公开了一种消息的批量发送装置，包括：

业务数据获取模块，用于业务系统获取到业务数据；其中，所述业务系统包含埋点上报组件；

缓存模块，用于业务系统调用埋点上报组件将所述业务数据进行缓存，并异步批量将所述业务数据发送至消息中间件；

数据操作执行模块，用于数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行数据处理，执行相应的数据操作。

7、根据权利要求6所述的批量发送装置，其特征在于，所述缓存模块包括：

消息缓存池存入子模块，用于所述业务系统调用埋点上报组件将业务数据存入消息缓存池；

消息发送池存入子模块，用于所述埋点上报组件通过写入线程将业务数据从所述消息缓存池存入至消息发送池；

消息中间件发送子模块，用于所述埋点上报组件异步批量将所述业务数据发送至消息中间件。

8、根据权利要求7所述的批量发送装置，其特征在于，所述消息中间件发送子模块包括：

创建单元，用于创建发送线程；

第一批量发送单元，用于当所述消息发送池已满时，所述埋点上报组件通过所述发送线程批量发送所述业务数据至消息中间件。

本发明实施例还公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的消息的批量发送方法的步骤。

本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的消息的批量发送方法的步骤。

本发明实施例包括以下优点：

本发明实施例中，业务系统获取到业务数据；其中，所述业务系统包含埋点上报组件；业务系统调用埋点上报组件将所述业务数据进行缓存，并异步批量将所述业务数据发送至消息中间件；数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行数据处理，执行相应的数据操作；使业务系统接入简单，降低对业务系统的性能影响，降低业务系统与消息中间件的耦合性，利于日后的修改与扩展，降低消息中间件的负载压力，提高业务系统整体稳定性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图

图1是本发明实施例的一种消息的批量发送方法实施例的步骤流程图；

图2是本发明实施例的一种业务数据缓存步骤的流程示意图；

图3是本发明实施例的一种业务数据发送步骤的流程示意图；

图4是本发明实施例的一种业务数据发送步骤的流程示意图；

图5是本发明实施例的一种数据操作执行步骤的流程示意图；

图6是本发明实施例的一种埋点数据上报的时序图；

图7是本发明实施例的一种消息的批量发送装置实施例的结构框图；

图8是一个实施例的一种计算机设备的内部结构图。

具体实施方式

为了使本发明实施例所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明实施例进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，示出了本发明实施例的一种消息的批量发送方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，业务系统获取到业务数据；其中，所述业务系统包含埋点上报组件；

本发明实施例中，所述业务系统可以设置有埋点上报组件，该业务系统可以用于将埋点数据上报的业务应用系统，对接所述埋点上报组件，将数据进行上报。

具体而言，业务系统可以与消息中间件连接，而消息中间件可以与数据处理系统进行连接。

进一步应用到本发明实施例中，所述埋点上报组件可以包括埋点上报客户端SDK(Software Development Kit，软件开发工具包)，其是特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。

首先，该业务系统可以获取到业务数据，该业务数据可以包括多种业务数据，如医疗数据、支付数据、视频数据等，本发明实施例对此不作过多的限制。

步骤102，业务系统调用埋点上报组件将所述业务数据进行缓存，并异步批量将所述业务数据发送至消息中间件；

进一步应用到本发明实施例中，业务系统可以调用该埋点上报组件缓存业务数据，将批量将该业务数据发送至消息中间件；

举例而言，该数据可以为医疗支付数据，当业务系统获取到医疗支付数据后，首先调用埋点上报组件将医疗支付数据进行缓存，并异步批量将所述医疗支付数据发送至消息中间件；降低消息中间件的负载压力，提高业务系统整体稳定性，将数据充分利用。

步骤103，数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行数据处理，执行相应的数据操作。

具体应用到本发明实施例中，当消息中间件接收到业务数据之后，可以将该业务数据发送至数据处理系统，获取到消息中间件中的埋点数据主题，消费消息中间件的消息，获取业务数据进行数据处理。

实际应用到本发明实施例中，数据处理系统可以为多种的数据处理系统，如医疗账单数据处理系统，本发明实施例对此不作过多的限制。

当医疗账单数据处理系统获取到医疗支付数据后，可以执行对账、计算或其他的数据操作，本发明实施例同样对此不作过多的限制。

参照图2，示出了本发明实施例的一种业务数据缓存步骤的流程示意图，所述业务系统调用埋点上报组件将所述业务数据进行缓存，并异步批量将所述业务数据发送至消息中间件，包括以下子步骤：

步骤S11，所述业务系统调用埋点上报组件将业务数据存入消息缓存池；

步骤S12，所述埋点上报组件通过写入线程将业务数据从所述消息缓存池存入至消息发送池；

步骤S13，所述埋点上报组件异步批量将所述业务数据发送至消息中间件。

具体应用到本发明实施例中，业务系统可以包括消息缓存池及消息发送池；业务系统可以首先调用埋点上报组件将业务数据储存于消息缓存池，埋点上报组件再调用写入线程，将缓存的业务数据从消息缓存池存入至消息发送池，最后，埋点上报组件异步批量将所述业务数据发送至消息中间件。

参照图3，示出了本发明实施例的一种业务数据发送步骤的流程示意图，所述埋点上报组件异步批量将所述业务数据发送至消息中间件，包括以下子步骤：

步骤S131，创建发送线程；

步骤S132，当所述消息发送池已满时，所述埋点上报组件通过所述发送线程批量发送所述业务数据至消息中间件。

具体应用到本发明实施例中，业务系统首先创建发送线程，当检测到消息发送池已满时，通过所述发送线程批量发送所述业务数据至消息中间件。

参照图4，示出了本发明实施例的一种业务数据发送步骤的流程示意图，所述埋点上报组件异步批量将所述业务数据发送至消息中间件，包括以下子步骤：

步骤S133，获取到所述业务数据的消息等待时间；

步骤S134，当所述消息等待时间超过预设时长阈值时，所述埋点上报组件将所述业务数据批量发送至消息中间件。

进一步，还可以获取到业务数据的消息等待时间，当消息等待时间超过设定的阈值时，则将业务数据批量发送至消息中间件

需要说明的是，该预设时长阈值可以为本领域技术人员根据实际情况而设定的任意时长数据，如30s、3min等，本发明实施例对此不作限制。

参照图5，示出了本发明实施例的一种数据操作执行步骤的流程示意图，所述数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行数据处理，执行相应的数据操作，包括以下子步骤：

步骤S21，数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行行为分析，得到行为分析结果；

步骤S22，数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行数据监测，得到数据监测结果。

本发明实施例中，上述的业务数据可以包括行为数据，当数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行行为分析，得到行为分析结果。

举例而言，上述的业务数据为消费者行为数据，当数据处理系统读取所述消息中间件的消费者行为数据，针对所述消费者行为数据进行行为分析，得到消费者行为分析结果。

进一步地，该业务数据还可以包括需要监测的数据，当数据处理系统读取需要监测的数据时，针对所述业务数据进行数据监测或筛选，得到数据监测结果。

为了使本领域技术人员更好了理解本发明实施例，以下通过一个具体示例进行说明：

本发明实施例的技术要点为：

1.为不同的数据结构提供不同的发送方式与主题(topic)；

2.缓存数据以来达到批量发送，减少网络开销与性能开销，减低消息中间件的压力；

3.初始化独立线程池以减少对业务系统的性能影响；

4.异步发送以减少对业务系统的业务影响；

5.灵活配置以便于后期的修改与扩展；

本发明包含的主要模块：

业务系统：存在需要将埋点数据上报需求的业务应用系统，对接埋点上报客户端SDK以将数据进行上报；

埋点上报客户端SDK:一个对埋点消息异步批量发送的客户端，通过SDK方式暴露给业务系统，将数据异步批量上报给消息中间件；

数据处理系统：处理埋点数据的应用系统，冲消息中间件读取数据并处理数据，将数据应用于监控、推销、行为分析等等；

消息中间件：用于存储埋点上报的数据，降低业务系统与数据处理系统的耦合性。

参照图6，示出了本发明实施例的一种埋点数据上报的时序图，本发明实施例的主要流程：

1.业务系统集成埋点上报客户端SDK；

2.业务系统调用埋点上报客户端SDK中封装的异步数据上报方法；

3.SDK将数据存入消息缓存池；

4.SDK写入线程从缓存池读取消息存入消息发送池；

4.1如消息发送池已满获取新的发送线程被创建，将唤醒发送线程批量发送消息；

4.2如发送消息等待时间超过预设时间，将批量发送消息；

4.3写入线程挂起；

5.消息被发往消息中间件埋点数据主题(topic)；

6.数据处理系统阅消息中间件中的埋点数据主题(topic)，消费消息中间件的消息，取出数据进行数据处理。

本发明实施例中，可以解耦业务系统、消息中间件之间和数据处理系统，提供一种基于消息中间件的埋点数据异步批量发送方法，降低消息中间件的负载压力，提高业务系统整体稳定性，充分将数据利用起来。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图7，示出了本发明实施例的一种消息的批量发送装置实施例的结构框图，具体可以包括如下模块：

业务数据获取模块301，用于业务系统获取到业务数据；其中，所述业务系统包含埋点上报组件；

缓存模块302，用于业务系统调用埋点上报组件将所述业务数据进行缓存，并异步批量将所述业务数据发送至消息中间件；

数据操作执行模块303，用于数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行数据处理，执行相应的数据操作。

优选地，所述缓存模块包括：

优选地，所述消息中间件发送子模块包括：

创建单元，用于创建发送线程；

优选地，所述消息中间件发送子模块包括：

消息等待时间获取单元，用于获取到所述业务数据的消息等待时间；

第二批量发送单元，用于当所述消息等待时间超过预设时长阈值时，所述埋点上报组件将所述业务数据批量发送至消息中间件。

优选地，所述数据操作执行模块包括：

第一数据操作执行子模块，用于数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行行为分析，得到行为分析结果；

和/或，第二数据操作执行模块，用于数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行数据监测，得到数据监测结果。

上述消息的批量发送装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

上述提供的消息的批量发送装置可用于执行上述任意实施例提供的消息的批量发送方法，具备相应的功能和有益效果。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种消息的批量发送方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现图1至图5的实施例的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下图1至图5的实施例的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种消息的批量发送方法、一种消息的批量发送装置、一种计算机设备和一种存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种消息的批量发送方法，其特征在于，包括：

2.根据权利要求1所述的批量发送方法，其特征在于，所述业务系统调用埋点上报组件将所述业务数据进行缓存，并异步批量将所述业务数据发送至消息中间件，包括：

3.根据权利要求2所述的批量发送方法，其特征在于，所述埋点上报组件异步批量将所述业务数据发送至消息中间件，包括：

创建发送线程；

4.根据权利要求3所述的批量发送方法，其特征在于，所述埋点上报组件异步批量将所述业务数据发送至消息中间件，包括：

获取到所述业务数据的消息等待时间；

5.根据权利要求1所述的批量发送方法，其特征在于，所述数据处理系统读取所述消息中间件的业务数据，针对所述业务数据进行数据处理，执行相应的数据操作，包括：

6.一种消息的批量发送装置，其特征在于，包括：

7.根据权利要求6所述的批量发送装置，其特征在于，所述缓存模块包括：

8.根据权利要求7所述的批量发送装置，其特征在于，所述消息中间件发送子模块包括：

创建单元，用于创建发送线程；

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的消息的批量发送方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的消息的批量发送方法的步骤。