CN112445625A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN112445625A
CN112445625A CN201910797250.5A CN201910797250A CN112445625A CN 112445625 A CN112445625 A CN 112445625A CN 201910797250 A CN201910797250 A CN 201910797250A CN 112445625 A CN112445625 A CN 112445625A
Authority
CN
China
Prior art keywords
message
task
node server
processing
task message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910797250.5A
Other languages
English (en)
Inventor
张冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201910797250.5A priority Critical patent/CN112445625A/zh
Publication of CN112445625A publication Critical patent/CN112445625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/547Remote procedure calls [RPC]; Web services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/547Messaging middleware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/548Queue

Abstract

本发明公开了一种数据处理方法及装置。其中,该方法包括:接收消息平台发送的任务消息,其中,消息平台接收设备发送的任务消息后,将任务消息进行转发;将任务消息发送给节点服务器,根据节点服务器对任务消息进行处理,其中,节点服务器对任务消息进行处理,得到任务消息的处理结果;接收节点服务器发送的处理结果,将处理结果发送给消息平台。本发明解决了相关技术中的数据处理方法,使用效果差,处理效率低的技术问题。

Description

数据处理方法及装置
技术领域
本发明涉及数据处理领域,具体而言,涉及一种数据处理方法及装置。
背景技术
工业互联网平台在很多方面需要使用js引擎,比如数据生成,数据过滤等任务消息,传统的做法是java直接调用内置的js引擎,来执行相应的js代码。上述方法的弊端如下:数据量大的时候容易发生内存溢出,使用效果差,导致处理任务消息的效率低,而且数据处理功能与其它功能混在一起,不方便扩容。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法及装置,以至少解决相关技术中的数据处理方法,使用效果差,处理效率低的技术问题。
根据本发明实施例的一个方面,提供了一种数据处理方法,包括:接收消息平台发送的任务消息,其中,所述消息平台接收设备发送的所述任务消息后,将所述任务消息进行转发;将所述任务消息发送给节点服务器,根据所述节点服务器对所述任务消息进行处理,其中,所述节点服务器对所述任务消息进行处理,得到所述任务消息的处理结果;接收所述节点服务器发送的所述处理结果,将所述处理结果发送给所述消息平台。
可选的,接收所述节点服务器发送的所述处理结果包括:通过消息中间件的请求标题,接收所述节点服务器的所述处理结果,其中,所述节点服务器监听所述请求标题,所述节点服务器将所述任务消息处理完成,得到所述处理结果后,将所述处理结果发送到所述消息中间件的所述请求标题。
可选的,将所述任务消息发送给节点服务器,根据所述节点服务器对所述任务消息进行处理包括:从多个节点服务器中,确定接收所述任务消息的目标节点服务器,其中,多个所述节点服务器与消息中间件连接,所述目标节点服务器用于对所述任务消息进行处理,将处理结果发送给所述消息中间件;将所述任务消息发送给所述目标节点服务器,根据所述目标节点服务器对所述任务消息进行处理。
可选的,所述任务消息的数量为多个,从多个节点服务器中,确定接收所述任务消息的目标节点服务器之前包括:根据所述任务消息的数量,确定所述节点服务器的数量,其中,所述节点服务器的数量不少于同一批次同时处理的所述任务消息的最大数量,多个所述任务消息包括多个不同批次进行处理的任务消息,同一批次进行处理的任务消息为一个或多个。
可选的,从多个节点服务器中,确定接收所述任务消息的目标节点服务器包括:根据同一批次同时处理的所述任务消息的数量,从多个节点服务器中选取预设数量的节点服务器作为所述目标节点服务器,其中,节点服务器的数量与同一批次同时处理的所述任务消息的数量相同。
根据本发明实施例的另一方面,还提供了一种数据处理方法,包括:接收设备发送的任务消息;将所述任务消息发送给消息中间件,其中,所述消息中间件用于将所述任务消息转发至节点服务器,所述节点服务器用于对所述任务消息进行处理;接收所述消息中间件发送的针对所述任务消息的处理结果,其中,在所述节点服务器对所述任务消息进行处理完成后,返回针对所述任务消息的处理结果至所述消息中间件。
可选的,将所述任务消息发送给消息中间件之后,包括:监听所述消息中间件的响应标题,其中,通过所述响应标题获取所述消息中间件的所述任务消息的处理结果。
根据本发明实施例的另一方面,还提供了一种消息中间件,包括:第一接收模块,用于接收消息平台发送的任务消息,其中,所述消息平台接收设备发送的所述任务消息后,将所述任务消息进行转发;第一发送模块,用于将所述任务消息发送给节点服务器,根据所述节点服务器对所述任务消息进行处理,其中,所述节点服务器对所述任务消息进行处理,得到所述任务消息的处理结果;转发模块,用于接收所述节点服务器发送的所述处理结果,将所述处理结果发送给所述消息平台。
根据本发明实施例的另一方面,还提供了一种消息平台,包括:第二接收模块,用于接收设备发送的任务消息;第二发送模块,用于将所述任务消息发送给消息中间件,其中,所述消息中间件用于将所述任务消息转发至节点服务器,所述节点服务器用于对所述任务消息进行处理;第三接收模块,用于接收所述消息中间件发送的针对所述任务消息的处理结果,其中,在所述节点服务器对所述任务消息进行处理完成后,返回针对所述任务消息的处理结果至所述消息中间件。
根据本发明实施例的另一方面,还提供了一种数据处理系统,包括:消息平台,消息中间件,节点服务器;所述消息平台,用于将设备发送的任务消息转发给所述消息中间件;所述消息中间件,用于将所述消息平台发送的任务消息分配给所述节点服务器,以及接收所述节点服务器发送的所述任务消息的处理结果,并发送给所述消息平台,其中,所述节点服务器的数量为多个;所述节点服务器,用于接收所述消息中间件发送的任务消息,对所述任务消息进行处理,得到所述任务消息的处理结果,将所述处理结果发送给所述消息中间件。
根据本发明实施例的另一方面,还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述中任意一项所述的方法。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的方法。
在本发明实施例中,采用接收消息平台发送的任务消息,其中,消息平台接收设备发送的任务消息后,将任务消息进行转发;将任务消息发送给节点服务器,根据节点服务器对任务消息进行处理,其中,节点服务器对任务消息进行处理,得到任务消息的处理结果;接收节点服务器发送的处理结果,将处理结果发送给消息平台的方式,消息平台通过消息中间件向节点服务器分配任务消息,并通过消息中间件将节点服务器的处理结果发送回消息平台,达到了消息平台可以更高效和快速的处理更高数量的数据任务消息的目的,从而实现了提高使用效果和处理效率的技术效果,进而解决了相关技术中的数据处理方法,使用效果差,处理效率低的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本发明实施例的一种数据处理方法的流程图;
图2是根据本发明实施例的另一种数据处理方法的流程图;
图3是根据本发明实施方式的js引擎的实现方法的流程图;
图4是根据本发明实施例的一种消息中间件的示意图;
图5是根据本发明实施例的一种消息平台的示意图;
图6是根据本发明实施例的一种数据处理系统的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述,以下对本申请实施例涉及的部分名词或术语进行说明:
js:JavaScript也叫js,是一种客户端语言。
Node.js:一种服务端语言。
Java:一种服务端语言。
根据本发明实施例,提供了一种数据处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种数据处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,接收消息平台发送的任务消息,其中,消息平台接收设备发送的任务消息后,将任务消息进行转发;
步骤S104,将任务消息发送给节点服务器,根据节点服务器对任务消息进行处理,其中,节点服务器对任务消息进行处理,得到任务消息的处理结果;
步骤S106,接收节点服务器发送的处理结果,将处理结果发送给消息平台。
通过上述步骤,采用接收消息平台发送的任务消息,其中,消息平台接收设备发送的任务消息后,将任务消息进行转发;将任务消息发送给节点服务器,根据节点服务器对任务消息进行处理,其中,节点服务器对任务消息进行处理,得到任务消息的处理结果;接收节点服务器发送的处理结果,将处理结果发送给消息平台的方式,通过消息中间件向节点服务器分配任务消息,并通过消息中间件将节点服务器的处理结果发送回消息平台,达到了消息平台可以更高效和快速的处理更高数量的数据任务消息的目的,从而达到了提高使用效果和处理效率的技术效果,进而解决了相关技术中的数据处理方法,使用效果差,处理效率低的技术问题。
上述步骤的执行主体可以为消息中间件。
上述消息平台可以为设备提供任务处理服务,在用户需要任务处理的服务时,通过设备发送任务消息给消息平台,需要说明的是,上述消息平台通常需要为多个数量的设备进行服务,以便对多个不同的用户提供服务,但是,无法避免在用户需求量大,服务请求的并行数量较多的情况下,会造成任务平台的任务处理量较大,甚至超出任务平台的承受范围,导致任务处理的效率低,速度慢,甚至导致消息平台崩溃故障。本申请为了解决上述问题,为消息平台提供外界处理扩展,通过节点服务器为上述消息平台提供处理模块扩展,也即是,消息平台接收到设备发送的任务消息后,将任务消息转发给上述节点服务器,由节点服务器对上述任务消息进行执行,并得出处理结果,将处理结果发送给消息平台,由上述消息平台发送给各个请求处理服务的设备。从而实现更高效更快速地处理更多数量的数据任务消息的目的。解决数据处理方法,使用效果差,处理效率低的问题。
上述消息平台可以为工业互联网平台,工业互联网平台接收设备的数据生成任务,或者数据过滤任务等任务消息,然后通过上述工业互联网平台的java程序调用内置js引擎,执行相应的js代码,从而对上述任务消息进行处理,生成处理结果。上述方式就存在数据量大的时候容易发生内存溢出,处理效率低的问题。因此,本实施方式提供的数据处理方法,通过消息中间件连接多个节点服务器对上述任务消息进行处理。
上述节点服务器可以为node.js集群,包括多个node.js,可以根据工业互联网平台的处理需求,调用不同数量的node.js,来分担消息平台的处理压力。由于上述工业互联网平台的接口有限,在本实施例中,在上述工业互联网平台和node.js集群之间通过消息中间件,对工业互联网平台的任务消息进行转发,并在消息中间件上连接上述node.js集群,node.js的数量在上述消息中间件上可以根据需求进行增加或者减少。
上述节点服务器对任务消息进行处理,可以是节点服务器通过调用js引擎执行相关js代码对上述任务消息进行处理。得到最终的处理结果。然后把处理结果发送给消息中间件,消息中间件接收上述节点服务器的处理结果后,将处理结果转发给上述消息平台,也即是工业互联网平台。
上述消息中间件将处理结果发送给消息平台后,消息平台可以根据该处理结果对上述设备进行操作,也可以将该处理结果直接发送给上述设备。
可选的,接收节点服务器发送的处理结果包括:通过消息中间件的请求标题,接收节点服务器的处理结果,其中,节点服务器监听请求标题,节点服务器将任务消息处理完成,得到处理结果后,将处理结果发送到消息中间件的请求标题。
上述消息平台通过监听消息中间件的请求标题,在消息中间件接收到节点服务器发送的处理结果后,将处理结果发送到上述请求标题中,消息平台根据上述请求标题,自动接收消息中间件转发的处理结果,可以有效提高处理结果的传输效率。
可选的,将任务消息发送给节点服务器,根据节点服务器对任务消息进行处理包括:从多个节点服务器中,确定接收任务消息的目标节点服务器,其中,多个节点服务器与消息中间件连接,目标节点服务器用于对任务消息进行处理,将处理结果发送给消息中间件;将任务消息发送给目标节点服务器,根据目标节点服务器对任务消息进行处理。
在上述节点服务器的数量较多的情况下,可以先根据任务消息的处理量,从多个节点服务器中选择合适的节点服务器,作为目标节点服务器,将上述任务消息发送给上述目标节点服务器进行处理。在任务消息的数量小于节点服务器的数量的情况下,从多个节点服务器中,确定接收任务消息的目标节点服务器,其中,多个节点服务器与消息中间件连接,根据目标节点服务器对任务消息进行处理,将处理结果发送给消息中间件;将任务消息发送给目标节点服务器,根据目标节点服务器对任务消息进行处理。需要说明的是,还可以根据任务消息的数量,确定节点服务器的数量,从而使一个节点服务器对应一个任务消息,保证处理的高效性和可靠性,具体如下。
可选的,任务消息的数量为多个,从多个节点服务器中,确定接收任务消息的目标节点服务器之前包括:根据任务消息的数量,确定节点服务器的数量,其中,节点服务器的数量不少于同一批次同时处理的任务消息的最大数量,多个任务消息包括多个不同批次进行处理的任务消息,同一批次进行处理的任务消息为一个或多个。
可以根据上述消息平台的接收的任务消息的数量,来确定上述节点服务器的数量,在一个处理周期内,消息平台接收到多个任务消息后,统计任务消息的数量,将任务消息的数量发送给消息中间件,消息中间件接收上述多个任务消息,以及任务消息的数量,为每个任务消息单独提供一个节点服务器,也即是根据上述任务消息的数量对节点服务器的数量进行调整,然后,将上述多个任务消息分别发送给节点服务器进行处理。上述一个处理周期可以是上述消息平台接收多个设备一次发送的任务消息,并根据消息中间件和上述多个节点服务器对上述任务消息进行处理的过程。
可选的,从多个节点服务器中,确定接收任务消息的目标节点服务器包括:根据同一批次同时处理的任务消息的数量,从多个节点服务器中选取预设数量的节点服务器作为目标节点服务器,其中,节点服务器的数量与同一批次同时处理的任务消息的数量相同。
图2是根据本发明实施例的另一种数据处理方法的流程图,如图2所示,根据本发明实施例的另一方面,还提供了一种数据处理方法,该方法包括以下步骤:
步骤S202,接收设备发送的任务消息;
步骤S204,将任务消息发送给消息中间件,其中,消息中间件用于将任务消息转发至节点服务器,节点服务器用于对任务消息进行处理;
步骤S206,接收消息中间件发送的针对任务消息的处理结果,其中,在节点服务器对任务消息进行处理完成后,返回针对任务消息的处理结果至消息中间件。
通过上述步骤,采用接收设备发送的任务消息;将任务消息发送给消息中间件,其中,消息中间件用于将任务消息转发至节点服务器,节点服务器用于对任务消息进行处理;接收消息中间件发送的针对任务消息的处理结果,其中,在节点服务器对任务消息进行处理完成后,返回针对任务消息的处理结果至消息中间件的方式,消息平台通过消息中间件向节点服务器分配任务消息,并通过消息中间件将节点服务器的处理结果发送回消息平台,达到了消息平台可以更高效和快速的处理更高数量的数据任务消息的目的,从而实现了提高使用效果和处理效率的技术效果,进而解决了相关技术中的数据处理方法,使用效果差,处理效率低的技术问题。
上述步骤的执行主体可以为消息平台。上述消息平台可以为工业互联网平台。
可选的,将任务消息发送给消息中间件之后,包括:监听消息中间件的响应标题,其中,通过响应标题获取消息中间件的任务消息的处理结果。
需要说明的是,本实施例还提供了一种可选的实施方式,下面对该实施方式进行详细说明。
本实施方式技术方案的优势是:node.js执行js脚本比java调用js引擎来执行js效率要高。通过消息中间件进行缓冲,避免系统崩溃。可以根据数据量的大小进行方便的扩容。
本实施方式的技术方案基于java执行js脚本过程中,容易内存溢出的事实,以及工业互联网需要大量使用js脚本的需求。利用了消息中间件流量削峰的作用和node.js执行js脚本的天然优势。图3是根据本发明实施方式的js引擎的实现方法的流程图,如图3所示,本技术方案实现步骤依次为:
1、工业互联网平台(java服务)端向消息中间件发送js脚本执行的任务,并等待处理结果。
2、Js执行器(node.js服务)接收消息中间件的消息,并执行js脚本,把处理结果返回给中间件。
本实施方式的关键点和保护点是:利用消息中间件和node.js实现分布式js执行引擎。
本实施方式的一个可选的应用实例的具体步骤如下:
1.工业互联网平台(iiot)接收到设备1传过来的温度(t)和湿度(h)数据,想通过js计算温度和湿度的比例(t/h)。
2工业互联网平台把这个计算任务放到消息中间件(kafka)的请求标识(requesttopic)中,并监听消息中间件的请求标识。
3.node.js监听消息中间件的请求标识,拿到要处理的计算任务t/h,调用js引擎来计算,并将计算结果放到消息中间件的响应标识(response topic)。
4.工业互联网平台通过消息中间件的响应标识拿到计算结果。
本实施方式主要体现的是如何让js引擎能并发处理更多的任务。
图4是根据本发明实施例的一种消息中间件的示意图,如图4所示,根据本发明实施例的另一方面,还提供了一种消息中间件,包括:第一接收模块42,第一发送模块44和转发模块46,下面对该消息中间件进行详细说明。
第一接收模块42,用于接收消息平台发送的任务消息,其中,消息平台接收设备发送的任务消息后,将任务消息进行转发;第一发送模块44,与上述第一接收模块42相连,用于将任务消息发送给节点服务器,根据节点服务器对任务消息进行处理,其中,节点服务器对任务消息进行处理,得到任务消息的处理结果;转发模块46,与上述第一发送模块44相连,用于接收节点服务器发送的处理结果,将处理结果发送给消息平台。
通过上述装置,采用第一接收模块42接收消息平台发送的任务消息,其中,消息平台接收设备发送的任务消息后,将任务消息进行转发;第一发送模块44将任务消息发送给节点服务器,根据节点服务器对任务消息进行处理,其中,节点服务器对任务消息进行处理,得到任务消息的处理结果;转发模块46接收节点服务器发送的处理结果,将处理结果发送给消息平台的方式,消息平台通过消息中间件向节点服务器分配任务消息,并通过消息中间件将节点服务器的处理结果发送回消息平台,达到了消息平台可以更高效和快速的处理更高数量的数据任务消息的目的,从而实现了提高使用效果和处理效率的技术效果,进而解决了相关技术中的数据处理方法,使用效果差,处理效率低的技术问题。
上述数据处理装置包括处理器和存储器,上述第一接收模块42,第一发送模块44和转发模块46均作为程序模块单元存储在存储器中,由处理器执行存储在存储器中的上述程序模块单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来同时显示韦恩图和关键词,提高使用效果。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
图5是根据本发明实施例的一种消息平台的示意图,如图5所示,根据本发明实施例的另一方面,还提供了一种消息平台,包括:第二接收模块52,第二发送模块54和第三接收模块56,下面对该消息平台进行详细说明。
第二接收模块52,用于接收设备发送的任务消息;第二发送模块54,与上述第二接收模块52相连,用于将任务消息发送给消息中间件,其中,消息中间件用于将任务消息转发至节点服务器,节点服务器用于对任务消息进行处理;第三接收模块56,与上述第二发送模块54相连,用于接收消息中间件发送的针对任务消息的处理结果,其中,在节点服务器对任务消息进行处理完成后,返回针对任务消息的处理结果至消息中间件。
通过上述步骤,采用第二接收模块52接收设备发送的任务消息;第二发送模块54将任务消息发送给消息中间件,其中,消息中间件用于将任务消息转发至节点服务器,节点服务器用于对任务消息进行处理;第三接收模块56接收消息中间件发送的针对任务消息的处理结果,其中,在节点服务器对任务消息进行处理完成后,返回针对任务消息的处理结果至消息中间件的方式,消息平台通过消息中间件向节点服务器分配任务消息,并通过消息中间件将节点服务器的处理结果发送回消息平台,达到了消息平台可以更高效和快速的处理更高数量的数据任务消息的目的,从而实现了提高使用效果和处理效率的技术效果,进而解决了相关技术中的数据处理方法,使用效果差,处理效率低的技术问题。
上述数据处理装置包括处理器和存储器,上述第二接收模块52,第二发送模块54和第三接收模块56均作为程序模块单元存储在存储器中,由处理器执行存储在存储器中的上述程序模块单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来同时显示韦恩图和关键词,提高使用效果。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
图6是根据本发明实施例的一种数据处理系统的示意图,如图6所示,根据本发明实施例的另一方面,还提供了一种数据处理系统,包括:消息平台62,消息中间件64,节点服务器66;下面对该系统进行详细说明。
消息平台62,用于将设备发送的任务消息转发给消息中间件;消息中间件64,用于将消息平台发送的任务消息分配给节点服务器,以及接收节点服务器发送的任务消息的处理结果,并发送给消息平台,其中,节点服务器的数量为多个;节点服务器66,用于接收消息中间件发送的任务消息,对任务消息进行处理,得到任务消息的处理结果,将处理结果发送给消息中间件。
通过上述系统,采用接收消息平台发送的任务消息,其中,消息平台接收设备发送的任务消息后,将任务消息进行转发;将任务消息发送给节点服务器,根据节点服务器对任务消息进行处理,其中,节点服务器对任务消息进行处理,得到任务消息的处理结果;接收节点服务器发送的处理结果,将处理结果发送给消息平台的方式,消息平台通过消息中间件向节点服务器分配任务消息,并通过消息中间件将节点服务器的处理结果发送回消息平台,达到了消息平台可以更高效和快速的处理更高数量的数据任务消息的目的,从而实现了提高使用效果和处理效率的技术效果,进而解决了相关技术中的数据处理方法,使用效果差,处理效率低的技术问题。
根据本发明实施例的另一方面,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述中任意一项的方法。
根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述中任意一项的方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
接收消息平台发送的任务消息,其中,消息平台接收设备发送的任务消息后,将任务消息进行转发;将任务消息发送给节点服务器,根据节点服务器对任务消息进行处理,其中,节点服务器对任务消息进行处理,得到任务消息的处理结果;接收节点服务器发送的处理结果,将处理结果发送给消息平台。
可选的,接收节点服务器发送的处理结果包括:通过消息中间件的请求标题,接收节点服务器的处理结果,其中,节点服务器监听请求标题,节点服务器将任务消息处理完成,得到处理结果后,将处理结果发送到消息中间件的请求标题。
可选的,将任务消息发送给节点服务器,根据节点服务器对任务消息进行处理包括:从多个节点服务器中,确定接收任务消息的目标节点服务器,其中,多个节点服务器与消息中间件连接,目标节点服务器用于对任务消息进行处理,将处理结果发送给消息中间件;将任务消息发送给目标节点服务器,根据目标节点服务器对任务消息进行处理。
可选的,任务消息的数量为多个,从多个节点服务器中,确定接收任务消息的目标节点服务器之前包括:根据任务消息的数量,确定节点服务器的数量,其中,节点服务器的数量不少于同一批次同时处理的任务消息的最大数量,多个任务消息包括多个不同批次进行处理的任务消息,同一批次进行处理的任务消息为一个或多个。
可选的,从多个节点服务器中,确定接收任务消息的目标节点服务器包括:根据同一批次同时处理的任务消息的数量,从多个节点服务器中选取预设数量的节点服务器作为目标节点服务器,其中,节点服务器的数量与同一批次同时处理的任务消息的数量相同。
处理器执行程序时还可以实现以下步骤:接收设备发送的任务消息;将任务消息发送给消息中间件,其中,消息中间件用于将任务消息转发至节点服务器,节点服务器用于对任务消息进行处理;接收消息中间件发送的针对任务消息的处理结果,其中,在节点服务器对任务消息进行处理完成后,返回针对任务消息的处理结果至消息中间件。
可选的,将任务消息发送给消息中间件之后,包括:监听消息中间件的响应标题,其中,通过响应标题获取消息中间件的任务消息的处理结果。
本申请中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:接收消息平台发送的任务消息,其中,消息平台接收设备发送的任务消息后,将任务消息进行转发;将任务消息发送给节点服务器,根据节点服务器对任务消息进行处理,其中,节点服务器对任务消息进行处理,得到任务消息的处理结果;接收节点服务器发送的处理结果,将处理结果发送给消息平台。
可选的,接收节点服务器发送的处理结果包括:通过消息中间件的请求标题,接收节点服务器的处理结果,其中,节点服务器监听请求标题,节点服务器将任务消息处理完成,得到处理结果后,将处理结果发送到消息中间件的请求标题。
可选的,将任务消息发送给节点服务器,根据节点服务器对任务消息进行处理包括:从多个节点服务器中,确定接收任务消息的目标节点服务器,其中,多个节点服务器与消息中间件连接,目标节点服务器用于对任务消息进行处理,将处理结果发送给消息中间件;将任务消息发送给目标节点服务器,根据目标节点服务器对任务消息进行处理。
可选的,任务消息的数量为多个,从多个节点服务器中,确定接收任务消息的目标节点服务器之前包括:根据任务消息的数量,确定节点服务器的数量,其中,节点服务器的数量不少于同一批次同时处理的任务消息的最大数量,多个任务消息包括多个不同批次进行处理的任务消息,同一批次进行处理的任务消息为一个或多个。
可选的,从多个节点服务器中,确定接收任务消息的目标节点服务器包括:根据同一批次同时处理的任务消息的数量,从多个节点服务器中选取预设数量的节点服务器作为目标节点服务器,其中,节点服务器的数量与同一批次同时处理的任务消息的数量相同。
处理器执行程序时还可以实现以下步骤:接收设备发送的任务消息;将任务消息发送给消息中间件,其中,消息中间件用于将任务消息转发至节点服务器,节点服务器用于对任务消息进行处理;接收消息中间件发送的针对任务消息的处理结果,其中,在节点服务器对任务消息进行处理完成后,返回针对任务消息的处理结果至消息中间件。
可选的,将任务消息发送给消息中间件之后,包括:监听消息中间件的响应标题,其中,通过响应标题获取消息中间件的任务消息的处理结果。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中,设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本实施例中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种数据处理方法,其特征在于,包括:
接收消息平台发送的任务消息,其中,所述消息平台接收设备发送的所述任务消息后,将所述任务消息进行转发;
将所述任务消息发送给节点服务器,根据所述节点服务器对所述任务消息进行处理,其中,所述节点服务器对所述任务消息进行处理,得到所述任务消息的处理结果;
接收所述节点服务器发送的所述处理结果,将所述处理结果发送给所述消息平台。
2.根据权利要求1所述的方法,其特征在于,接收所述节点服务器发送的所述处理结果包括:
通过消息中间件的请求标题,接收所述节点服务器的所述处理结果,其中,所述节点服务器监听所述请求标题,所述节点服务器将所述任务消息处理完成,得到所述处理结果后,将所述处理结果发送到所述消息中间件的所述请求标题。
3.根据权利要求1所述的方法,其特征在于,将所述任务消息发送给节点服务器,根据所述节点服务器对所述任务消息进行处理包括:
从多个节点服务器中,确定接收所述任务消息的目标节点服务器,其中,多个所述节点服务器与消息中间件连接,所述目标节点服务器用于对所述任务消息进行处理,将处理结果发送给所述消息中间件;
将所述任务消息发送给所述目标节点服务器,根据所述目标节点服务器对所述任务消息进行处理。
4.根据权利要求3所述的方法,其特征在于,所述任务消息的数量为多个,从多个节点服务器中,确定接收所述任务消息的目标节点服务器之前包括:
根据所述任务消息的数量,确定所述节点服务器的数量,其中,所述节点服务器的数量不少于同一批次同时处理的所述任务消息的最大数量,多个所述任务消息包括多个不同批次进行处理的任务消息,同一批次进行处理的任务消息为一个或多个。
5.根据权利要求4所述的方法,其特征在于,从多个节点服务器中,确定接收所述任务消息的目标节点服务器包括:
根据同一批次同时处理的所述任务消息的数量,从多个节点服务器中选取预设数量的节点服务器作为所述目标节点服务器,其中,节点服务器的数量与同一批次同时处理的所述任务消息的数量相同。
6.一种数据处理方法,其特征在于,包括:
接收设备发送的任务消息;
将所述任务消息发送给消息中间件,其中,所述消息中间件用于将所述任务消息转发至节点服务器,所述节点服务器用于对所述任务消息进行处理;
接收所述消息中间件发送的针对所述任务消息的处理结果,其中,在所述节点服务器对所述任务消息进行处理完成后,返回针对所述任务消息的处理结果至所述消息中间件。
7.根据权利要求6所述的方法,其特征在于,将所述任务消息发送给消息中间件之后,包括:
监听所述消息中间件的响应标题,其中,通过所述响应标题获取所述消息中间件的所述任务消息的处理结果。
8.一种消息中间件,其特征在于,包括:
第一接收模块,用于接收消息平台发送的任务消息,其中,所述消息平台接收设备发送的所述任务消息后,将所述任务消息进行转发;
第一发送模块,用于将所述任务消息发送给节点服务器,根据所述节点服务器对所述任务消息进行处理,其中,所述节点服务器对所述任务消息进行处理,得到所述任务消息的处理结果;
转发模块,用于接收所述节点服务器发送的所述处理结果,将所述处理结果发送给所述消息平台。
9.一种消息平台,其特征在于,包括:
第二接收模块,用于接收设备发送的任务消息;
第二发送模块,用于将所述任务消息发送给消息中间件,其中,所述消息中间件用于将所述任务消息转发至节点服务器,所述节点服务器用于对所述任务消息进行处理;
第三接收模块,用于接收所述消息中间件发送的针对所述任务消息的处理结果,其中,在所述节点服务器对所述任务消息进行处理完成后,返回针对所述任务消息的处理结果至所述消息中间件。
10.一种数据处理系统,其特征在于,包括:消息平台,消息中间件,节点服务器;
所述消息平台,用于将设备发送的任务消息转发给所述消息中间件;
所述消息中间件,用于将所述消息平台发送的任务消息分配给所述节点服务器,以及接收所述节点服务器发送的所述任务消息的处理结果,并发送给所述消息平台,其中,所述节点服务器的数量为多个;
所述节点服务器,用于接收所述消息中间件发送的任务消息,对所述任务消息进行处理,得到所述任务消息的处理结果,将所述处理结果发送给所述消息中间件。
11.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的方法。
12.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的方法。
CN201910797250.5A 2019-08-27 2019-08-27 数据处理方法及装置 Pending CN112445625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910797250.5A CN112445625A (zh) 2019-08-27 2019-08-27 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910797250.5A CN112445625A (zh) 2019-08-27 2019-08-27 数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN112445625A true CN112445625A (zh) 2021-03-05

Family

ID=74742313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910797250.5A Pending CN112445625A (zh) 2019-08-27 2019-08-27 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN112445625A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102904746A (zh) * 2012-09-13 2013-01-30 曙光信息产业(北京)有限公司 基于消息机制的集群任务自调度系统与方法
CN107395729A (zh) * 2017-07-27 2017-11-24 深圳乐信软件技术有限公司 一种消息队列的消费系统、方法及装置
US20180212857A1 (en) * 2017-01-26 2018-07-26 International Business Machines Corporation Proactive channel agent
CN110134531A (zh) * 2019-05-06 2019-08-16 广州华多网络科技有限公司 虚拟资产流转数据的处理方法、装置和计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102904746A (zh) * 2012-09-13 2013-01-30 曙光信息产业(北京)有限公司 基于消息机制的集群任务自调度系统与方法
US20180212857A1 (en) * 2017-01-26 2018-07-26 International Business Machines Corporation Proactive channel agent
CN107395729A (zh) * 2017-07-27 2017-11-24 深圳乐信软件技术有限公司 一种消息队列的消费系统、方法及装置
CN110134531A (zh) * 2019-05-06 2019-08-16 广州华多网络科技有限公司 虚拟资产流转数据的处理方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN106131213B (zh) 一种服务管理方法和系统
CN110633442A (zh) 一种推送方法、装置及电子设备
CN109561128B (zh) 数据传输方法和装置
CN110677475A (zh) 一种微服务处理方法、装置、设备及存储介质
CN111913792B (zh) 一种业务处理方法和装置
CN108124021B (zh) 网际协议ip地址获取、网站访问的方法、装置及系统
CN112769671B (zh) 消息处理方法、装置与系统
CN110764930B (zh) 基于消息模式的请求或应答处理方法及装置
CN112114976A (zh) 业务处理方法、装置、设备及存储介质
CN111444017A (zh) 多媒体数据处理方法、装置、系统、电子设备及存储介质
CN112445625A (zh) 数据处理方法及装置
CN111831503A (zh) 一种基于监控代理的监控方法和监控代理装置
CN106899652B (zh) 一种推送业务处理结果的方法及装置
CN115134373A (zh) 数据同步方法、装置、存储介质及电子设备
CN116226045A (zh) 文件数据聚合方法、文件数据聚合装置和查询系统
CN116016584A (zh) 一种基于物联网平台的设备数据流转方法、设备及介质
CN110413427B (zh) 订阅数据拉取方法、装置、设备及存储介质
CN114500484A (zh) 页面渲染方法、装置、电子设备及可读介质
CN105763508B (zh) 一种数据访问方法和应用服务器
CN109933426B (zh) 服务调用的处理方法、装置、电子设备及可读存储介质
CN112583742A (zh) 一种消息处理方法及装置
CN112860720A (zh) 一种存储容量的更新方法以及装置
CN112583862A (zh) 数据并发的处理方法、装置、存储介质及设备
CN113098914B (zh) 消息总线系统及消息传输方法、装置、电子设备
CN111314303B (zh) 直播系统、直播系统的数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination