CN111400059A - 一种数据处理方法以及数据处理装置 - Google Patents

一种数据处理方法以及数据处理装置 Download PDF

Info

Publication number
CN111400059A
CN111400059A CN202010159477.XA CN202010159477A CN111400059A CN 111400059 A CN111400059 A CN 111400059A CN 202010159477 A CN202010159477 A CN 202010159477A CN 111400059 A CN111400059 A CN 111400059A
Authority
CN
China
Prior art keywords
scf
node
target data
data
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010159477.XA
Other languages
English (en)
Other versions
CN111400059B (zh
Inventor
高伟伟
史忠伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuba Co Ltd
Original Assignee
Wuba Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuba Co Ltd filed Critical Wuba Co Ltd
Priority to CN202010159477.XA priority Critical patent/CN111400059B/zh
Publication of CN111400059A publication Critical patent/CN111400059A/zh
Application granted granted Critical
Publication of CN111400059B publication Critical patent/CN111400059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种数据处理方法以及数据处理装置，该方法包括：第一服务通讯框架SCF从服务器的消息队列中拉取目标数据，其中，消息队列包含多个分区，目标数据为多个分区中的目标分区内实时更新的数据；第一服务通讯框架SCF将目标数据转发至第二SCF的第一节点，第二SCF的第一节点用于对目标数据进行处理，其中，第二SCF包含多个节点，第一节点为多个节点中的节点。这样，第一服务通讯框架SCF可以从服务器的消息队列中拉取目标数据，并将目标数据转发至第二SCF的第一节点，由第二SCF的第一节点对目标数据进行处理。采用双层SCF，将数据收集和数据处理进行解耦，当数据量较大或者数据处理业务量较大时，可以有效减少数据延迟或者数据丢失的情况。

Description

一种数据处理方法以及数据处理装置
技术领域
本申请涉及通信技术领域，尤其涉及一种数据处理方法以及数据处理装置。
背景技术
消息队列是指在消息的传输过程中保存消息的容器，消息队列的主要目的是提供路由并保证消息传递的可靠性。如果消息被发送时，消息接收者不可用，消息队列可以保留消息，直到可以成功地传递它。
当采用消息队列作为数据通道时，消息队列可以包含多个分区，并行处理数据的线程数受限于消息队列的分区。当数据量较大或者数据处理业务量较大时，容易造成数据延迟或者数据丢失。
发明内容
本申请提供了一种数据处理方法以及数据处理装置，以解决现有技术中，当数据量较大或者数据处理业务量较大时，容易造成数据延迟或者数据丢失的问题。
第一方面，本发明提供了一种数据处理方法，所述方法包括：
第一服务通讯框架SCF从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据；
所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用于对所述目标数据进行处理，其中，所述第二SCF包含多个节点，所述第一节点为所述多个节点中的节点。
进一步的，在所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点的步骤之后，所述方法还包括：
所述第一服务通讯框架SCF接收所述第二SCF的第一节点返回的无法处理信息；
所述第一服务通讯框架SCF根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，所述第二SCF的第二节点用于对所述目标数据进行处理，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。
进一步的，所述第一服务通讯框架SCF根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，包括：
所述第一服务通讯框架SCF根据所述无法处理信息，判断所述目标数据的转发次数是否大于或者等于预设第一阈值；
所述第一服务通讯框架SCF在判断出所述目标数据的转发次数小于所述预设第一阈值的情况下，将所述目标数据转发至所述第二SCF的第二节点。
进一步的，所述方法还包括：
所述第一服务通讯框架SCF在判断出所述目标数据的转发次数大于或者等于所述预设第一阈值的情况下，显示提示信息。
第二方面，本发明还提供了一种数据处理方法，所述方法包括：
第二SCF的第一节点接收第一SCF转发的目标数据，其中，所述目标数据为所述第一SCF从服务器的消息队列中拉取的数据，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据，所述第一节点为所述第二SCF所包含的多个节点中的节点；
所述第二SCF的第一节点根据当前负载情况，判断是否具有处理所述目标数据的能力；
在所述第二SCF的第一节点判断出具有处理所述目标数据的能力的情况下，对所述目标数据进行处理；
在所述第二SCF的第一节点判断出不具有处理所述目标数据的能力的情况下，向所述第一SCF返回无法处理信息。
进一步的，在所述向所述第一SCF返回无法处理信息的步骤之后，所述方法还包括：
所述第二SCF的第二节点接收所述第一SCF转发的所述目标数据，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。
进一步的，所述第二SCF的第一节点根据当前负载情况，判断是否具有处理所述目标数据的能力，包括：
所述第二SCF的第一节点判断所述第一节点的中央处理器CPU的当前使用率是否大于或者等于预设第二阈值；
所述第二SCF的第一节点判断所述第一节点的内存占用率是否大于或者等于预设第三阈值；
在所述中央处理器CPU的当前使用率小于所述预设第二阈值，且所述内存占用率小于所述预设第三阈值的情况下，确定具有处理所述目标数据的能力；
在所述中央处理器CPU的当前使用率大于或者等于所述预设第二阈值和/或所述内存占用率大于或者等于所述预设第三阈值的情况下，确定不具有处理所述目标数据的能力。
第三方面，本发明还提供了一种数据处理装置，包括：
拉取模块，第一服务通讯框架SCF通过所述拉取模块从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据；
第一转发模块，所述第一服务通讯框架SCF通过所述第一转发模块将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用于对所述目标数据进行处理，其中，所述第二SCF包含多个节点，所述第一节点为所述多个节点中的节点。
进一步的，所述数据处理装置还包括：
接收模块，所述第一服务通讯框架SCF通过所述接收模块接收所述第二SCF的第一节点返回的无法处理信息；
第二转发模块，所述第一服务通讯框架SCF通过所述第二转发模块根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，所述第二SCF的第二节点用于对所述目标数据进行处理，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。
进一步的，所述第二转发模块包括：
判断子模块，所述第一服务通讯框架SCF通过所述判断子模块根据所述无法处理信息，判断所述目标数据的转发次数是否大于或者等于预设第一阈值；
转发子模块，所述第一服务通讯框架SCF通过所述转发子模块在判断出所述目标数据的转发次数小于所述预设第一阈值的情况下，将所述目标数据转发至所述第二SCF的第二节点。
进一步的，所述数据处理装置还包括：
显示子模块，所述第一服务通讯框架SCF通过所述显示子模块在判断出所述目标数据的转发次数大于或者等于所述预设第一阈值的情况下，显示提示信息。
第四方面，本发明还提供了一种数据处理装置，包括：
第一接收模块，第二SCF的第一节点通过所述第一接收模块接收第一SCF转发的目标数据，其中，所述目标数据为所述第一SCF从服务器的消息队列中拉取的数据，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据，所述第一节点为所述第二SCF所包含的多个节点中的节点；
判断模块，所述第二SCF的第一节点通过所述判断模块根据当前负载情况，判断是否具有处理所述目标数据的能力；
处理模块，在所述第二SCF的第一节点通过所述处理模块判断出具有处理所述目标数据的能力的情况下，对所述目标数据进行处理；
返回模块，在所述第二SCF的第一节点通过所述返回模块判断出不具有处理所述目标数据的能力的情况下，向所述第一SCF返回无法处理信息。
进一步的，所述数据处理装置还包括：
第二接收模块，所述第二SCF的第二节点通过所述第二接收模块接收所述第一SCF转发的所述目标数据，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。
进一步的，所述判断模块包括：
第一判断子模块，所述第二SCF的第一节点通过所述第一判断子模块判断所述第一节点的中央处理器CPU的当前使用率是否大于或者等于预设第二阈值；
第二判断子模块，所述第二SCF的第一节点通过所述第二判断子模块判断所述第一节点的内存占用率是否大于或者等于预设第三阈值；
第一确定子模块，用于在所述中央处理器CPU的当前使用率小于所述预设第二阈值，且所述内存占用率小于所述预设第三阈值的情况下，确定具有处理所述目标数据的能力；
第二确定子模块，用于在所述中央处理器CPU的当前使用率大于或者等于所述预设第二阈值和/或所述内存占用率大于或者等于所述预设第三阈值的情况下，确定不具有处理所述目标数据的能力。
第五方面，本发明还提供了一种电子设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，以实现第一方面所述的数据处理方法。
第六方面，本发明还提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，当数据处理装置的至少一个处理器执行所述计算机程序时，数据处理装置执行第一方面所述的数据处理方法。
第七方面，本发明还提供了一种电子设备，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，以实现第二方面所述的数据处理方法。
第八方面，本发明还提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，当数据处理装置的至少一个处理器执行所述计算机程序时，数据处理装置执行第二方面所述的数据处理方法。
由以上技术方案可知，本发明实施例提供的一种数据处理方法以及数据处理装置，第一服务通讯框架SCF从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据；
所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用于对所述目标数据进行处理，其中，所述第二SCF包含多个节点，所述第一节点为所述多个节点中的节点。这样，第一服务通讯框架SCF可以从服务器的消息队列中拉取目标数据，并将目标数据转发至第二SCF的第一节点，由第二SCF的第一节点对目标数据进行处理。采用双层SCF，将数据收集和数据处理进行解耦，当数据量较大或者数据处理业务量较大时，可以有效减少数据延迟或者数据丢失的情况。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种数据处理方法的流程图；
图2为本发明提供的另一种数据处理方法的流程图；
图3为本发明提供的一种数据处理装置的结构图；
图4为本发明提供的另一种数据处理装置的结构图；
图5为本发明提供的另一种数据处理装置的结构图；
图6为本发明提供的另一种数据处理装置的结构图；
图7为本发明提供的另一种数据处理装置的结构图；
图8为本发明提供的另一种数据处理装置的结构图；
图9为本发明提供的另一种数据处理装置的结构图；
图10为本发明提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
参见图1，图1是本发明提供的一种数据处理方法的流程图。如图1所示，包括以下步骤：
步骤101、第一服务通讯框架SCF从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据。
在步骤101中，第一服务通讯框架(Service Communication Framework，SCF)可以从服务器端的消息队列中拉取目标数据。其中，消息队列可以包含多个分区，目标数据为多个分区中的目标分区内实时更新的数据。进一步的，第一服务通讯框架SCF可以采用多线程拉取消息队列中的数据。例如，消息队列可以包含10个分区，第一服务通讯框架SCF可以包含5个节点。此时每个节点可以负责消息队列中的2个分区，每个节点可以包含两个线程。
步骤102、所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用于对所述目标数据进行处理，其中，所述第二SCF包含多个节点，所述第一节点为所述多个节点中的节点。
在步骤102中，第一服务通讯框架SCF可以将从消息队列中拉取的目标数据转发至第二SCF的第一节点，第二SCF的第一节点用于对目标数据进行处理。其中，第二SCF可以包含多个节点，第一节点为多个节点中的节点。
可选的，在所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点的步骤之后，所述方法还包括：
所述第一服务通讯框架SCF接收所述第二SCF的第一节点返回的无法处理信息；
所述第一服务通讯框架SCF根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，所述第二SCF的第二节点用于对所述目标数据进行处理，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。
第一服务通讯框架SCF还可以接收第二SCF的第一节点返回的无法处理信息。进而第一服务通讯框架SCF可以根据该无法处理信息，将目标数据转发至第二SCF的第二节点，由第二SCF的第二节点对目标数据进行处理。其中，第二节点为第二SCF所包含的多个节点中除第一节点之外的节点。这样，在第一服务通讯框架SCF接收到第二SCF的第一节点返回的无法处理信息的情况下，可以将目标数据转发至第二SCF的第二节点，由第二SCF的第二节点对目标数据进行处理。通过这种重试机制保证目标数据可以被尽快处理。
可选的，所述第一服务通讯框架SCF根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，包括：
所述第一服务通讯框架SCF根据所述无法处理信息，判断所述目标数据的转发次数是否大于或者等于预设第一阈值；
所述第一服务通讯框架SCF在判断出所述目标数据的转发次数小于所述预设第一阈值的情况下，将所述目标数据转发至所述第二SCF的第二节点。
进一步的，第一服务通讯框架SCF可以根据第二SCF的第一节点返回的无法处理信息，判断目标数据的转发次数是否大于或者等于预设第一阈值。该预设第一阈值可以为6。第一服务通讯框架SCF在判断出目标数据的转发次数小于预设第一阈值的情况下，即第一服务通讯框架SCF在判断出目标数据的转发次数小于6的情况下，可以将目标数据转发至第二SCF的第二节点，由第二SCF的第二节点对目标数据进行处理。这样，可以设置重新转发的次数上限，防止线程死锁。
可选的，所述方法还包括：
所述第一服务通讯框架SCF在判断出所述目标数据的转发次数大于或者等于所述预设第一阈值的情况下，显示提示信息。
需要说明的是，第一服务通讯框架SCF在判断出目标数据的转发次数大于或者等于预设第一阈值的情况下，即第一服务通讯框架SCF在判断出目标数据的转发次数大于或者等于6的情况下，可以直接将该目标数据丢弃，并显示提示信息。例如，可以显示“需要增加第二SCF的节点”的提示信息。这样，第一服务通讯框架SCF在判断出目标数据的转发次数大于或者等于预设第一阈值的情况下，可以显示提示信息，通过该提示信息通知用户增加第二SCF的节点，使得服务可以满足当前业务需求。
需要说明的是，现有技术中，当采用消息队列作为数据通道时，消息队列可以包含多个分区，并行处理数据的线程数受限于消息队列的分区。当数据量较大或者数据处理业务量较大时，容易造成数据延迟或者数据丢失。
而在本申请中，第一服务通讯框架SCF可以从服务器的消息队列中拉取目标数据，并将目标数据转发至第二SCF的第一节点，由第二SCF的第一节点对目标数据进行处理。采用双层SCF，将数据收集和数据处理进行解耦，当数据量较大或者数据处理业务量较大时，可以有效减少数据延迟或者数据丢失的情况。
由以上技术方案可知，本发明实施例提供的一种数据处理方法，第一服务通讯框架SCF从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据；所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用于对所述目标数据进行处理，其中，所述第二SCF包含多个节点，所述第一节点为所述多个节点中的节点。这样，第一服务通讯框架SCF可以从服务器的消息队列中拉取目标数据，并将目标数据转发至第二SCF的第一节点，由第二SCF的第一节点对目标数据进行处理。采用双层SCF，将数据收集和数据处理进行解耦，当数据量较大或者数据处理业务量较大时，可以有效减少数据延迟或者数据丢失的情况。
参见图2，图2是本发明提供的另一种数据处理方法的流程图。如图2所示，包括以下步骤：
步骤201、第二SCF的第一节点接收第一SCF转发的目标数据，其中，所述目标数据为所述第一SCF从服务器的消息队列中拉取的数据，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据，所述第一节点为所述第二SCF所包含的多个节点中的节点。
在步骤201中，第二SCF的第一节点可以接收第一SCF转发的目标数据。其中，目标数据为第一SCF从服务器的消息队列中拉取的数据。该消息队列可以包含多个分区，目标数据为多个分区中的目标分区内实时更新的数据。第一节点为第二SCF所包含的多个节点中的节点。
步骤202、所述第二SCF的第一节点根据当前负载情况，判断是否具有处理所述目标数据的能力。
在步骤202中，第二SCF的第一节点可以根据当前负载情况，判断是否具有处理目标数据的能力。
可选的，所述第二SCF的第一节点根据当前负载情况，判断是否具有处理所述目标数据的能力，包括：
所述第二SCF的第一节点判断所述第一节点的中央处理器CPU的当前使用率是否大于或者等于预设第二阈值；
所述第二SCF的第一节点判断所述第一节点的内存占用率是否大于或者等于预设第三阈值；
在所述中央处理器CPU的当前使用率小于所述预设第二阈值，且所述内存占用率小于所述预设第三阈值的情况下，确定具有处理所述目标数据的能力；
在所述中央处理器CPU的当前使用率大于或者等于所述预设第二阈值和/或所述内存占用率大于或者等于所述预设第三阈值的情况下，确定不具有处理所述目标数据的能力。
进一步的，第二SCF的第一节点可以判断第一节点的中央处理器(CentralProcessing Unit，CPU)的当前使用率是否大于或者等于预设第二阈值；第二SCF的第一节点还可以判断第一节点的内存占用率是否大于或者等于预设第三阈值。在中央处理器CPU的当前使用率小于预设第二阈值，且内存占用率小于预设第三阈值的情况下，可以确定具有处理目标数据的能力；在中央处理器CPU的当前使用率大于或者等于预设第二阈值和/或内存占用率大于或者等于预设第三阈值的情况下，可以确定不具有处理目标数据的能力。
步骤203、在所述第二SCF的第一节点判断出具有处理所述目标数据的能力的情况下，对所述目标数据进行处理。
在步骤203中，在第二SCF的第一节点判断出具有处理目标数据的能力的情况下，可以对目标数据进行处理。
步骤204、在所述第二SCF的第一节点判断出不具有处理所述目标数据的能力的情况下，向所述第一SCF返回无法处理信息。
在步骤204中，在第二SCF的第一节点判断出不具有处理目标数据的能力的情况下，可以向第一SCF返回无法处理信息。
可选的，在所述向所述第一SCF返回无法处理信息的步骤之后，所述方法还包括：
所述第二SCF的第二节点接收所述第一SCF转发的所述目标数据，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。
需要说明的是，第二SCF的第一节点向第一SCF返回无法处理信息之后，第二SCF的第二节点可以接收第一SCF转发的目标数据。其中，第二节点为第二SCF所包含的多个节点中除第一节点之外的节点。这样，第二SCF的第一节点向第一SCF返回无法处理信息之后，第二SCF的第二节点可以接收第一SCF转发的目标数据，由第二SCF的第二节点对目标数据进行处理。通过这种重试机制保证目标数据可以被尽快处理。
由以上技术方案可知，本发明实施例提供的一种数据处理方法，第二SCF的第一节点接收第一SCF转发的目标数据，其中，所述目标数据为所述第一SCF从服务器的消息队列中拉取的数据，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据，所述第一节点为所述第二SCF所包含的多个节点中的节点；所述第二SCF的第一节点根据当前负载情况，判断是否具有处理所述目标数据的能力；在所述第二SCF的第一节点判断出具有处理所述目标数据的能力的情况下，对所述目标数据进行处理；在所述第二SCF的第一节点判断出不具有处理所述目标数据的能力的情况下，向所述第一SCF返回无法处理信息。这样，第二SCF的第一节点可以接收第一SCF转发的目标数据，并判断是否具有处理目标数据的能力。在第二SCF的第一节点判断出具有处理目标数据的能力的情况下，可以对目标数据进行处理；在第二SCF的第一节点判断出不具有处理目标数据的能力的情况下，可以向第一SCF返回无法处理信息。采用双层SCF，将数据收集和数据处理进行解耦，当数据量较大或者数据处理业务量较大时，可以有效减少数据延迟或者数据丢失的情况。
参见图3，图3是本发明提供的一种数据处理装置的结构图。如图3所示，数据处理装置300包括拉取模块301和第一转发模块302，其中：
拉取模块301，第一服务通讯框架SCF通过所述拉取模块从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据；
第一转发模块302，所述第一服务通讯框架SCF通过所述第一转发模块将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用于对所述目标数据进行处理，其中，所述第二SCF包含多个节点，所述第一节点为所述多个节点中的节点。
可选的，如图4所示，所述数据处理装置还包括：
接收模块303，所述第一服务通讯框架SCF通过所述接收模块接收所述第二SCF的第一节点返回的无法处理信息；
第二转发模块304，所述第一服务通讯框架SCF通过所述第二转发模块根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，所述第二SCF的第二节点用于对所述目标数据进行处理，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。
可选的，如图5所示，所述第二转发模块304包括：
判断子模块3041，所述第一服务通讯框架SCF通过所述判断子模块根据所述无法处理信息，判断所述目标数据的转发次数是否大于或者等于预设第一阈值；
转发子模块3042，所述第一服务通讯框架SCF通过所述转发子模块在判断出所述目标数据的转发次数小于所述预设第一阈值的情况下，将所述目标数据转发至所述第二SCF的第二节点。
可选的，如图6所示，所述数据处理装置还包括：
显示子模块3043，所述第一服务通讯框架SCF通过所述显示子模块在判断出所述目标数据的转发次数大于或者等于所述预设第一阈值的情况下，显示提示信息。
数据处理装置300能够实现图1的方法实施例中数据处理装置实现的各个过程，为避免重复，这里不再赘述。且数据处理装置300可以实现第一服务通讯框架SCF可以从服务器的消息队列中拉取目标数据，并将目标数据转发至第二SCF的第一节点，由第二SCF的第一节点对目标数据进行处理。采用双层SCF，将数据收集和数据处理进行解耦，当数据量较大或者数据处理业务量较大时，可以有效减少数据延迟或者数据丢失的情况。
参见图7，图7是本发明提供的另一种数据处理装置的结构图。如图7所示，数据处理装置700包括第一接收模块701、判断模块702、处理模块703和返回模块704，其中：
第一接收模块701，第二SCF的第一节点通过所述第一接收模块接收第一SCF转发的目标数据，其中，所述目标数据为所述第一SCF从服务器的消息队列中拉取的数据，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据，所述第一节点为所述第二SCF所包含的多个节点中的节点；
判断模块702，所述第二SCF的第一节点通过所述判断模块根据当前负载情况，判断是否具有处理所述目标数据的能力；
处理模块703，在所述第二SCF的第一节点通过所述处理模块判断出具有处理所述目标数据的能力的情况下，对所述目标数据进行处理；
返回模块704，在所述第二SCF的第一节点通过所述返回模块判断出不具有处理所述目标数据的能力的情况下，向所述第一SCF返回无法处理信息。
可选的，如图8所示，所述数据处理装置还包括：
第二接收模块705，所述第二SCF的第二节点通过所述第二接收模块接收所述第一SCF转发的所述目标数据，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。
可选的，如图9所示，所述判断模块702包括：
第一判断子模块7021，所述第二SCF的第一节点通过所述第一判断子模块判断所述第一节点的中央处理器CPU的当前使用率是否大于或者等于预设第二阈值；
第二判断子模块7022，所述第二SCF的第一节点通过所述第二判断子模块判断所述第一节点的内存占用率是否大于或者等于预设第三阈值；
第一确定子模块7023，用于在所述中央处理器CPU的当前使用率小于所述预设第二阈值，且所述内存占用率小于所述预设第三阈值的情况下，确定具有处理所述目标数据的能力；
第二确定子模块7024，用于在所述中央处理器CPU的当前使用率大于或者等于所述预设第二阈值和/或所述内存占用率大于或者等于所述预设第三阈值的情况下，确定不具有处理所述目标数据的能力。
数据处理装置700能够实现图2的方法实施例中数据处理装置实现的各个过程，为避免重复，这里不再赘述。且数据处理装置700可以实现第二SCF的第一节点可以接收第一SCF转发的目标数据，并判断是否具有处理目标数据的能力。在第二SCF的第一节点判断出具有处理目标数据的能力的情况下，可以对目标数据进行处理；在第二SCF的第一节点判断出不具有处理目标数据的能力的情况下，可以向第一SCF返回无法处理信息。采用双层SCF，将数据收集和数据处理进行解耦，当数据量较大或者数据处理业务量较大时，可以有效减少数据延迟或者数据丢失的情况。
图10为本发明实施例提供的电子设备的硬件结构示意图。如图10所示，该电子设备，包括：
存储器1001，用于存储程序指令；
处理器1002，用于调用并执行所述存储器中的程序指令，以实现上述实施例中所述数据处理方法。具体可以参见前述实施例中的相关描述。
本实施例中，处理器1002和存储器1001可通过总线或其他方式连接。处理器可以是通用处理器，例如中央处理器、数字信号处理器、专用集成电路，或者被配置成实施本发明实施例的一个或多个集成电路。存储器可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘。
本发明实施例还提供了一种可读存储介质，包括：所述可读存储介质中存储有计算机程序，当数据处理装置的至少一个处理器执行所述计算机程序时，数据处理装置执行上述实施例中所述的数据处理方法。
所述的可读存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于数据处理装置、电子设备及可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (18)

1.一种数据处理方法，其特征在于，所述方法包括：
第一服务通讯框架SCF从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据；
所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用于对所述目标数据进行处理，其中，所述第二SCF包含多个节点，所述第一节点为所述多个节点中的节点。
2.如权利要求1所述的方法，其特征在于，在所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点的步骤之后，所述方法还包括：
所述第一服务通讯框架SCF接收所述第二SCF的第一节点返回的无法处理信息；
所述第一服务通讯框架SCF根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，所述第二SCF的第二节点用于对所述目标数据进行处理，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。
3.如权利要求2所述的方法，其特征在于，所述第一服务通讯框架SCF根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，包括：
所述第一服务通讯框架SCF根据所述无法处理信息，判断所述目标数据的转发次数是否大于或者等于预设第一阈值；
所述第一服务通讯框架SCF在判断出所述目标数据的转发次数小于所述预设第一阈值的情况下，将所述目标数据转发至所述第二SCF的第二节点。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
所述第一服务通讯框架SCF在判断出所述目标数据的转发次数大于或者等于所述预设第一阈值的情况下，显示提示信息。
5.一种数据处理方法，其特征在于，所述方法包括：
第二SCF的第一节点接收第一SCF转发的目标数据，其中，所述目标数据为所述第一SCF从服务器的消息队列中拉取的数据，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据，所述第一节点为所述第二SCF所包含的多个节点中的节点；
所述第二SCF的第一节点根据当前负载情况，判断是否具有处理所述目标数据的能力；
在所述第二SCF的第一节点判断出具有处理所述目标数据的能力的情况下，对所述目标数据进行处理；
在所述第二SCF的第一节点判断出不具有处理所述目标数据的能力的情况下，向所述第一SCF返回无法处理信息。
6.如权利要求5所述的方法，其特征在于，在所述向所述第一SCF返回无法处理信息的步骤之后，所述方法还包括：
所述第二SCF的第二节点接收所述第一SCF转发的所述目标数据，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。
7.如权利要求5或6所述的方法，其特征在于，所述第二SCF的第一节点根据当前负载情况，判断是否具有处理所述目标数据的能力，包括：
所述第二SCF的第一节点判断所述第一节点的中央处理器CPU的当前使用率是否大于或者等于预设第二阈值；
所述第二SCF的第一节点判断所述第一节点的内存占用率是否大于或者等于预设第三阈值；
在所述中央处理器CPU的当前使用率小于所述预设第二阈值，且所述内存占用率小于所述预设第三阈值的情况下，确定具有处理所述目标数据的能力；
在所述中央处理器CPU的当前使用率大于或者等于所述预设第二阈值和/或所述内存占用率大于或者等于所述预设第三阈值的情况下，确定不具有处理所述目标数据的能力。
8.一种数据处理装置，其特征在于，包括：
拉取模块，第一服务通讯框架SCF通过所述拉取模块从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据；
第一转发模块，所述第一服务通讯框架SCF通过所述第一转发模块将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用于对所述目标数据进行处理，其中，所述第二SCF包含多个节点，所述第一节点为所述多个节点中的节点。
9.如权利要求8所述的数据处理装置，其特征在于，所述数据处理装置还包括：
接收模块，所述第一服务通讯框架SCF通过所述接收模块接收所述第二SCF的第一节点返回的无法处理信息；
第二转发模块，所述第一服务通讯框架SCF通过所述第二转发模块根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，所述第二SCF的第二节点用于对所述目标数据进行处理，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。
10.如权利要求9所述的数据处理装置，其特征在于，所述第二转发模块包括：
判断子模块，所述第一服务通讯框架SCF通过所述判断子模块根据所述无法处理信息，判断所述目标数据的转发次数是否大于或者等于预设第一阈值；
转发子模块，所述第一服务通讯框架SCF通过所述转发子模块在判断出所述目标数据的转发次数小于所述预设第一阈值的情况下，将所述目标数据转发至所述第二SCF的第二节点。
11.如权利要求10所述的数据处理装置，其特征在于，所述数据处理装置还包括：
显示子模块，所述第一服务通讯框架SCF通过所述显示子模块在判断出所述目标数据的转发次数大于或者等于所述预设第一阈值的情况下，显示提示信息。
12.一种数据处理装置，其特征在于，包括：
第一接收模块，第二SCF的第一节点通过所述第一接收模块接收第一SCF转发的目标数据，其中，所述目标数据为所述第一SCF从服务器的消息队列中拉取的数据，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据，所述第一节点为所述第二SCF所包含的多个节点中的节点；
判断模块，所述第二SCF的第一节点通过所述判断模块根据当前负载情况，判断是否具有处理所述目标数据的能力；
处理模块，在所述第二SCF的第一节点通过所述处理模块判断出具有处理所述目标数据的能力的情况下，对所述目标数据进行处理；
返回模块，在所述第二SCF的第一节点通过所述返回模块判断出不具有处理所述目标数据的能力的情况下，向所述第一SCF返回无法处理信息。
13.如权利要求12所述的数据处理装置，其特征在于，所述数据处理装置还包括：
第二接收模块，所述第二SCF的第二节点通过所述第二接收模块接收所述第一SCF转发的所述目标数据，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。
14.如权利要求12或13所述的数据处理装置，其特征在于，所述判断模块包括：
第一判断子模块，所述第二SCF的第一节点通过所述第一判断子模块判断所述第一节点的中央处理器CPU的当前使用率是否大于或者等于预设第二阈值；
第二判断子模块，所述第二SCF的第一节点通过所述第二判断子模块判断所述第一节点的内存占用率是否大于或者等于预设第三阈值；
第一确定子模块，用于在所述中央处理器CPU的当前使用率小于所述预设第二阈值，且所述内存占用率小于所述预设第三阈值的情况下，确定具有处理所述目标数据的能力；
第二确定子模块，用于在所述中央处理器CPU的当前使用率大于或者等于所述预设第二阈值和/或所述内存占用率大于或者等于所述预设第三阈值的情况下，确定不具有处理所述目标数据的能力。
15.一种电子设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，以实现权利要求1～4任一项所述的数据处理方法。
16.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，当数据处理装置的至少一个处理器执行所述计算机程序时，数据处理装置执行权利要求1～4任一项所述的数据处理方法。
17.一种电子设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，以实现权利要求5～7任一项所述的数据处理方法。
18.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，当数据处理装置的至少一个处理器执行所述计算机程序时，数据处理装置执行权利要求5～7任一项所述的数据处理方法。
CN202010159477.XA 2020-03-09 2020-03-09 一种数据处理方法以及数据处理装置 Active CN111400059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010159477.XA CN111400059B (zh) 2020-03-09 2020-03-09 一种数据处理方法以及数据处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010159477.XA CN111400059B (zh) 2020-03-09 2020-03-09 一种数据处理方法以及数据处理装置

Publications (2)

Publication Number Publication Date
CN111400059A true CN111400059A (zh) 2020-07-10
CN111400059B CN111400059B (zh) 2023-11-14

Family

ID=71434095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010159477.XA Active CN111400059B (zh) 2020-03-09 2020-03-09 一种数据处理方法以及数据处理装置

Country Status (1)

Country Link
CN (1) CN111400059B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516744A (zh) * 2012-06-20 2014-01-15 阿里巴巴集团控股有限公司 一种数据处理的方法和应用服务器及集群
WO2017092582A1 (zh) * 2015-12-01 2017-06-08 阿里巴巴集团控股有限公司 一种数据处理方法和装置
CN108134746A (zh) * 2017-12-19 2018-06-08 深圳交控科技有限公司 轨道交通数据的处理方法及装置
CN109271265A (zh) * 2018-09-29 2019-01-25 平安科技（深圳）有限公司 基于消息队列的请求处理方法、装置、设备及存储介质
CN109491797A (zh) * 2018-11-26 2019-03-19 深圳市斯博科技有限公司 数据存储方法、系统及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516744A (zh) * 2012-06-20 2014-01-15 阿里巴巴集团控股有限公司 一种数据处理的方法和应用服务器及集群
WO2017092582A1 (zh) * 2015-12-01 2017-06-08 阿里巴巴集团控股有限公司 一种数据处理方法和装置
CN108134746A (zh) * 2017-12-19 2018-06-08 深圳交控科技有限公司 轨道交通数据的处理方法及装置
CN109271265A (zh) * 2018-09-29 2019-01-25 平安科技（深圳）有限公司 基于消息队列的请求处理方法、装置、设备及存储介质
CN109491797A (zh) * 2018-11-26 2019-03-19 深圳市斯博科技有限公司 数据存储方法、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN111400059B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN107197015B (zh) 一种基于消息队列系统的消息处理方法和装置
US11290381B2 (en) Method and system for transmitting data resource acquisition request
CN109614377B (zh) 分布式文件系统的文件删除方法、装置、设备及存储介质
US9742667B2 (en) Packet processing method, device and system
CN110808922B (zh) 一种消息处理方法、装置、存储介质及电子设备
CN107172171B (zh) 一种服务请求处理方法、装置及计算机可读存储介质
CN103795569A (zh) 一种基于连接池的服务器连接方法和装置
CN101674320A (zh) 一种集群环境下的服务寻址方法及装置
CN110290009A (zh) 一种数据调度方法、装置及计算机可读存储介质
CN111400059B (zh) 一种数据处理方法以及数据处理装置
US6650643B1 (en) Method and system for handling asynchronous transfer mode (ATM) call set-ups
CN106790354B (zh) 一种防数据拥堵的通信方法及其装置
CN109067864A (zh) 通知消息推送方法、装置及电子设备
CN112860449B (zh) 一种防止消息超时导致重启的方法、系统、设备及介质
CN114401235B (zh) 一种队列管理中重载处理方法、系统、介质、设备及应用
CN113626221A (zh) 一种消息入队方法及装置
CN114500544A (zh) 一种节点间负载均衡方法、系统、设备以及介质
CN109933426B (zh) 服务调用的处理方法、装置、电子设备及可读存储介质
CN113268327A (zh) 事务请求的处理方法、装置和电子设备
CN106302184A (zh) 一种流表项下发方法、流表项保存方法、相关装置和系统
CN113747100B (zh) 音视频通话方法、装置、存储介质及电子设备
CN112311678B (zh) 报文分发的实现方法及装置
CN114567540B (zh) 主备节点切换方法、装置、设备、介质及程序产品
CN113726614B (zh) 一种防止报文丢包的方法、装置、分布式设备及存储介质
CN113726493B (zh) 一种信元调度方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant