CN107241281A - 一种数据处理方法及其装置 - Google Patents
一种数据处理方法及其装置 Download PDFInfo
- Publication number
- CN107241281A CN107241281A CN201710393129.7A CN201710393129A CN107241281A CN 107241281 A CN107241281 A CN 107241281A CN 201710393129 A CN201710393129 A CN 201710393129A CN 107241281 A CN107241281 A CN 107241281A
- Authority
- CN
- China
- Prior art keywords
- data
- queue
- data processing
- processing process
- soe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/6295—Queue scheduling characterised by scheduling criteria using multiple queues, one for each individual QoS, connection, flow or priority
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Abstract
本发明实施例涉及能源技术领域，尤其涉及一种数据处理方法及其装置，包括：从所述消息服务器集群的公共队列中取出所述云终端服务器上报的数据后，确定所述数据的数据类型；若所述数据的数据类型为数据量数据，则将所述数据存储至数据队列中，所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至所述云平台服务器集群，所述数据量数据为实时监测数据；若所述数据的数据类型为SOE数据，则将所述数据存储至专用队列中。可以看出，将实时性要求较高的数据量数据存储至数据队列中，然后配置多个数据处理进程并行处理数据队列中的数据，因此，能够提升数据量数据的处理效率，从而保证数据的实时性。
Description
技术领域
本发明实施例涉及能源技术领域，尤其涉及一种数据处理方法及其装置。
背景技术
现有的能源服务系统大多都是基于局域网对能源设备进行管理，并且现有的能源服务系统内部的通信都是采取即收即发机制，而随着云服务系统在能源技术领域的应用，发现在基于云服务的能源云服务系统中采用即收即发机制，则会造成传输数据的拥堵、不及时、从而导致数据处理效率较低等。
发明内容
本发明实施例提供一种数据处理方法及其装置，用以提升数据的处理效率，从而保证数据的实时性。
本发明实施例提供一种数据处理方法，该方法应用于能源云服务系统，所述能源云服务系统包括：多个云终端服务器、与所述多个云终端服务器网络连接的消息服务器集群、与所述消息服务器集群网络连接的云平台服务器集群，该方法包括：
从所述消息服务器集群的公共队列中取出所述云终端服务器上报的数据后，根据所述数据的属性信息，确定所述数据的数据类型；
若所述数据的数据类型为数据量数据，则将所述数据存储至数据队列中，所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至所述云平台服务器集群，所述数据量数据为实时监测数据；
若所述数据的数据类型为SOE数据，则将所述数据存储至专用队列中，所述专用队列中的数据被配置为由专用进程进行处理后上报至所述云平台服务器集群，所述SOE数据为事件顺序记录SOE事件。
较佳的，所述数据队列中的数据被配置为由多个数据处理进程进行处理，包括：
从空闲队列中获取数据处理进程标识信息，所述空闲队列用于存储处于空闲状态的数据处理进程的标识信息；
根据所述进程标识信息，确定处于空闲状态的数据处理进程，调度所述处于空闲状态的数据处理进程对所述数据队列中的数据进行处理。
较佳的，还包括：
确定当前正在处理所述数据队列中数据的数据处理进程的标识信息，并将正在处理所述数据队列中数据的数据处理进程的标识信息存储至繁忙队列中，所述繁忙队列用于存储处于工作状态的数据处理进程的标识信息；
待所述繁忙队列中的数据处理进程标识所对应的数据处理进程对数据队列中的数据处理完毕，则将该数据进程的标识信息存储至所述空闲队列中。
较佳的，还包括：
根据空闲队列中存储的处于空闲状态的数据处理进程的标识信息，确定处于空闲状态的数据处理进程的数量；
若处于空闲状态的数据处理进程的数量大于预设值，且所述专用队列中存在待处理SOE事件，则调度所述数据处理进程处理所述专用队列中的SOE数据。
较佳的，所述从消息服务器集群的公共队列中取出所述云终端服务器上报的数据后，根据所述数据的属性信息，确定所述数据的数据类型，包括：
预先建立一鉴别进程；
所述鉴别进程从消息服务器集群的公共队列中取出数据后，根据所述数据的属性信息，确定所述数据的数据类型。
本发明实施例还提供一种数据处理装置，该装置应用于能源云服务系统，所述能源云服务系统包括：多个云终端服务器、与所述多个云终端服务器网络连接的消息服务器集群、与所述消息服务器集群网络连接的云平台服务器集群，该装置包括：
获取模块，用于从所述消息服务器集群的公共队列中取出所述云终端服务器上报的数据后，根据所述数据的属性信息，确定所述数据的数据类型；
分发模块，用于在所述数据的数据类型为数据量数据时，则将所述数据分发至数据队列中，所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至所述云平台服务器集群，所述数据量数据为实时监测数据；
在所述数据的数据类型为SOE数据时，则将所述数据分发至专用队列中，所述专用队列中的数据被配置为由专用进程进行处理后上报至所述云平台服务器集群，所述SOE数据为事件顺序记录SOE事件。
较佳的，还包括：处理模块；
所述处理模块，用于从空闲队列中获取数据处理进程标识信息，所述空闲队列用于存储处于空闲状态的数据处理进程的标识信息；
还用于根据所述进程标识信息，确定处于空闲状态的数据处理进程，调度所述处于空闲状态的数据处理进程对所述数据队列中的数据进行处理。
较佳的，所述处理模块，还用于：
确定当前正在处理所述数据队列中数据的数据处理进程的标识信息，并将正在处理所述数据队列中数据的数据处理进程的标识信息存储至繁忙队列中，所述繁忙队列用于存储处于工作状态的数据处理进程的标识信息；
待所述繁忙队列中的数据处理进程标识所对应的数据处理进程对数据队列中的数据处理完毕，则将该数据进程的标识信息存储至所述空闲队列中。
较佳的，所述处理模块，还用于：
根据空闲队列中存储的处于空闲状态的数据处理进程的标识信息，确定处于空闲状态的数据处理进程的数量；
若处于空闲状态的数据处理进程的数量大于预设值，则调度所述数据处理进程处理所述专用队列中的状态量数据。
较佳的，所述获取模块，具体用于：
预先建立一鉴别进程；
所述鉴别进程从消息服务器集群的公共队列中取出数据后，根据所述数据的属性信息，确定所述数据的数据类型。
本发明另一实施例提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
本发明另一实施例提供了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
上述实施例提供的一种数据处理方法及其装置，应用于能源云服务系统，所述能源云服务系统包括：多个云终端服务器、与所述多个云终端服务器网络连接的消息服务器集群、与所述消息服务器集群网络连接的云平台服务器集群，包括：从所述消息服务器集群的公共队列中取出所述云终端服务器上报的数据后，根据所述数据的属性信息，确定所述数据的数据类型；若所述数据的数据类型为数据量数据，则将所述数据存储至数据队列中，所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至所述云平台服务器集群，所述数据量数据为实时监测数据；若所述数据的数据类型为SOE数据，则将所述数据存储至专用队列中，所述专用队列中的数据被配置为由专用进程进行处理后上报至所述云平台服务器集群，所述SOE数据为事件顺序记录SOE事件。可以看出，首先根据数据的数据类型将从消息服务器集群的公共队列中取出的数据进行分类，将实时性要求较高的数据量数据存储至数据队列中，将实时性要求不是很高的SOE数据存储至专用队列中，然后配置多个数据处理进程并行处理数据队列中的数据，因此，能够提升数据量数据的处理效率，从而保证数据的实时性。同时，由于将实时性要求不高的SOE数据存储至专用队列中，由专用进程对专用队列中的SOE数据进行处理，还能够保证非实时数据的不丢失。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。
图1为本发明实施例提供的能源云服务系统的结构示意图；
图2为本发明实施例提供的一种数据处理方法的流程示意图；
图3为本发明实施例提供的确定数据类型的方法流程示意图；
图4为本发明实施例提供的一种数据处理装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，本发明实施例提供的数据处理方法及其装置应用于能源云服务系统中，其中，能源云服务系统的结构示意图，可参见图1，如图1所示，该能源云服务系统可包括：
多个云终端服务器10、与多个云终端服务器10网络连接的消息服务器集群20、以及与消息服务器集群20网络连接的云平台服务器集群30。其中：
多个云终端服务器10用于获取各现场设备的数据信息，并将获取的各现场设备的数据信息转换为统一格式并发送至消息服务器集群20。
多个云终端服务器10，还用于从消息服务器集群20的存储空间中获取各现场设备的控制信息并发送给各现场设备。
消息服务器集群20，用于接收多个云终端服务器10发送的各现场设备的数据信息，并存储至各现场设备所属的云终端服务器对应的存储空间。
消息服务器集群20，还用于从云平台服务器集群30接收各现场设备的控制信息，并将各现场设备的控制信息存储至各现场设备所属的云终端服务器对应的存储空间。
云平台服务器集群30，用于从消息服务器集群20的存储空间获取各现场设备的数据信息。
云平台服务器集群30，还用于获取针对各现场设备的控制信息，并将各现场设备的控制信息发送给消息服务器集群20。
其中，云终端服务器10在用于获取各现场设备的数据信息时，可通过采集设备获取各现场设备的数据信息，即采集设备在采集各现场设备的数据信息以后，将采集到的各现场设备的数据信息发送给云终端服务器10。
基于图1所示的能源云服务系统的结构基础上，本发明实施例还提供一种数据处理方法。
图2示例性示出了本发明实施例提供的一种基于图1所示的能源云服务系统的数据处理方法的流程示意图，如图2所示，该方法可包括：
S201、从消息服务器集群的公共队列中取出云终端服务器上报的数据后，根据数据的属性信息，确定数据的数据类型。
S202、判断所述数据的数据类型是否为数据量数据，若是，则转至步骤S203，否则，转至步骤S204。
其中，数据量数据为实时监测数据。
S203、将所述数据存储至预先设置的数据队列中，所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至云平台服务器集群。
其中，数据队列的数量可以为一个，也可以为多个，数据队列的数量可根据能源云服务系统应用的环境进行设置。例如，当能源云服务系统应用于大型企业时，可设置多个数据队列，而当能源云服务系统应用于小微型企业中，可设置一个数据队列。
S204、判断所述数据的数据类型是否为SOE数据，若是，则转至步骤S205，否则，结束流程。
其中，SOE数据为事件顺序记录SOE(Sequence of event，事件顺序记录)事件。例如，云终端服务器在断电、开机启动时会将所有现场设备的状态都以SOE的形式上报到消息服务器集群的公共队列中。
S205、将所述数据存储至预先设置的专用队列中，所述专用队列中的数据被配置为由专用进程进行处理后上报至所述云平台服务器集群。
其中，专用队列的数量可以为一个，也可以为多个。
优选的，为了节约系统资源以及防止内存泄漏，可设置一个专用队列。
需要说明的是，上述步骤S202与上述步骤S204，并没有先后顺序之分，即在具体实施时，可以先执行步骤S202，再执行步骤S204，也可以先执行步骤S204，再执行步骤S202。
具体的，在从消息服务器集群的公共队列中取出云终端服务器上报的数据后，可以先判断该数据的数据类型是否为数据量数据，然后再判断该数据的数据类型是否为SOE数据，也可以先判断该数据的数据类型是否为SOE数据，然后再判断该数据的数据类型是否为数据量数据。
在上述步骤S201中，在从消息服务器集群的公共队列中取出云终端服务器上报的数据后，根据数据的属性信息，确定数据的数据类型所采用的方法流程，可参见图3。
S301、预先建立一鉴别进程。
S302、所述鉴别进程从消息服务器集群的公共队列中取出数据后，根据所述数据的属性信息，确定所述数据的数据类型。
具体的，可预先建立一鉴别进程，该鉴别进程从消息服务器集群的公共队列中取出数据以后并不对数据进行处理，而是先对数据类型进行鉴别，并且将从消息服务器集群的公共队列中取出的数据分为两种类型的数据，第一种类型的数据是对实时性要求不高的SOE数据，这类数据只要保证不丢失即可，由于SOE数据对实时性要求不是很高，只要保证不丢失即可，因此，为了防止内存泄漏以及占用系统资源，由能源云服务系统默认分配一个专用进程处理该专用队列中的数据。第二种类型的数据是云平台服务器集群对实时性要求较高的数据量数据，由于云平台服务器集群对实时监测的数据量数据的实时性要求较高，因此，为了提升数据量数据的处理效率，由能源云服务系统分配多个处理进程对数据队列中的数据进行处理，这样，多个进程能够同时处理实时性要求较高的数据量数据，从而能够提升数据量数据的处理效率，进而保证数据的实时性。例如，为数据队列分配N个进程，分别为进程1、进程2、进程3、…、进程N，这样，可以达到N个进程同时处理实时性要求较高的数据，从而能够提升数据量数据的处理效率，进而保证数据的实时性。
可选的，能源云服务系统为了便于管理多个数据处理进程，达到进程重用，减少频繁创建进程导致的内存泄漏，以及减少创建进程的系统资源开销，提升数据处理进程的效率，从而进一步提升数据处理的效率，能源云服务系统还配置了繁忙队列和空闲队列两个队列来管理多个数据进程，其中，空闲队列用于存储处于空闲状态的数据处理进程的标识信息，繁忙队列用于存储处于工作状态的数据处理进程的标识信息。
具体的，在数据队列中有数据需要处理时，可首先从空闲队列中获取数据进程标识信息，然后根据该进程的标识信息，确定处于空闲状态的数据处理进程，并调度该数据处理进程对数据队列中的数据进行处理。在调度该数据处理进程对数据队列中的数据进行处理后，由于此时该数据处理进程处于工作状态而不是处于空闲状态，因此，可将该数据处理进程的标识存储至繁忙队列中，待该数据处理进程对数据队列中的数据处理完毕，再将该数据处理进程的标识存储至空闲队列中，如此循环。
为了提升SOE数据处理的效率，还可统计处于空闲状态的数据处理进程的数量，当处于空闲状态的数据处理进程的数量大于预设值，专用队列中又存在堆积的SOE数据时，可调度空闲的数据处理进程去处理专用队列中堆积的SOE数据。
具体的，可根据空闲队列中存储的处于空闲状态的数据处理进程的标识信息，统计处于空闲状态的数据处理进程的数量。
可选的，当处于空闲状态的数据处理进程的数量占总的数据处理进程的数量四分之一时，说明待处理的数据量数据处于一个较低水平，此时，可调用空闲的数据处理进程处理堆积的SOE数据，并且在处理完毕后，将该进程再释放回空闲进程队列中，从而能够合理的利用的数据处理进程。
下面通过一个具体的例子对上述的方法流程进行详细的解释说明。
假设鉴别进程从消息服务器集群的公共队列中取出数据后，鉴别进程首先根据数据属性对数据类型进行鉴别，然后鉴别进程将数据类型为SOE数据的数据以SOE事件的形式存储到专用队列A中，假设专用队列A中存储的SOE事件为：SOE事件1、SOE事件2、SOE事件3、SOE事件4、SOE事件5，此时，专用队列A中的SOE数据存储的格式，可参见下列表格一。
表格一
| SOE事件5 |
| SOE事件4 |
| SOE事件3 |
| SOE事件2 |
| SOE事件1 |
鉴别进程将数据类型为数据量数据的数据以数据包的形式存储到数据队列B中，假设数据队列B中存储的数据包为：数据包1、数据包2、数据包3、数据包4、数据包5、数据包6、数据包7，此时数据队列B中的数据量数据存储的格式，可参见下列表格二。
表格二
其中，数据队列A和专用队列B可以采用先进先出的存取方式，也可以采用先进后出的存储方式。
由于能源云服务系统对SOE数据的实时性要求不是很高，因此，能源云服务系统为专用队列A配置一个专用进程1即可处理专用队列A中存储的SOE事件。
由于能源云服务系统对数据量数据的实时性要求较高，因此，能源云服务系统可对数据队列B配置多个数据处理进程对数据队列B中存储的数据包进行处理。进一步假设，能源云服务系统对数据队列B配置10个数据处理进程，这10个数据处理进程分别为：数据处理进程1、数据处理进程2、数据处理进程3、数据处理进程4、数据处理进程5、数据处理进程6、数据处理进程7、数据处理进程8、数据处理进程9、数据处理进程10。进一步假设，能源云服务系统分配数据处理进程1处理数据队列B中的数据包1，数据处理进程2处理数据队列B中的数据包2，数据处理进程3处理数据队列B中的数据包3，数据处理进程4处理数据队列B中的数据包4，数据处理进程5处理数据队列B中的数据包5，数据处理进程6处理数据队列B中的数据包6，数据处理进程7处理数据队列B中的数据包7。
进一步假设，能源云服务系统还配置了用于管理上述10个数据处理进程状态的空闲队列K和繁忙队列F，其中，繁忙队列F用于存储处于工作状态的数据处理进程的标识信息，则繁忙队列F中存储的数据处理进程的标识信息为：数据处理进程1的标识“1”、数据处理进程2的标识“2”、数据处理进程3的标识“3”、数据处理进程4的标识“4”、数据处理进程5的标识“5”、数据处理进程的标识信息为：数据处理进程6的标识“6”、数据处理进程7的标识“7”，繁忙队列F中存储的数据处理进程的标识信息，可参见下列表格三。
表格三
| 数据处理进程7的标识“7” |
| 数据处理进程6的标识“6” |
| 数据处理进程5的标识“5” |
| 数据处理进程4的标识“4” |
| 数据处理进程3的标识“3” |
| 数据处理进程2的标识“2” |
| 数据处理进程1的标识“1” |
空闲队列K用于存储处于空闲状态的数据处理进程的标识信息，则空闲队列K中存储的数据处理进程的标识信息为：数据处理进程8的标识“8”、数据处理进程9的标识“9”、数据处理进程10的标识“10”，空闲队列K中存储的数据处理进程的标识信息，可参见下列表格四。
表格四
| 数据处理进程10的标识“10” |
| 数据处理进程9的标识“9” |
| 数据处理进程8的标识“8” |
当数据处理进程1对数据包1处理完毕后，则可将数据处理进程1的标识“1”从繁忙队列F中移除，由于此时数据处理进程1在对数据包1处理完毕后，处于空闲状态，因此，可将数据处理进程1的标识“1”存储至空闲队列K中，此时，空闲队列K中存储的数据处理进程的标识信息，可参见下列表格五。
表格五
| 数据处理进程1的标识“1” |
| 数据处理进程10的标识“10” |
| 数据处理进程9的标识“9” |
| 数据处理进程8的标识“8” |
同理，当数据处理进程2对数据包2处理完毕后，则可将数据处理进程2的标识“2”从繁忙队列F中移除，并将数据处理进程1的标识“2”存储至空闲队列K中；当数据处理进程3对数据包3处理完毕后，则可将数据处理进程3的标识“3”从繁忙队列F中移除，并将数据处理进程1的标识“3”存储至空闲队列K中；当数据处理进程4对数据包4处理完毕后，则可将数据处理进程4的标识“4”从繁忙队列F中移除，并将数据处理进程1的标识“4”存储至空闲队列K中；当数据处理进程5对数据包5处理完毕后，则可将数据处理进程5的标识“5”从繁忙队列F中移除，并将数据处理进程1的标识“5”存储至空闲队列K中；当数据处理进程6对数据包6处理完毕后，则可将数据处理进程6的标识“6”从繁忙队列F中移除，并将数据处理进程1的标识“6”存储至空闲队列K中；当数据处理进程7对数据包7处理完毕后，则可将数据处理进程7的标识“7”从繁忙队列F中移除，并将数据处理进程1的标识“7”存储至空闲队列K中，此时，空闲队列K中存储的数据处理进程的标识信息，可参见下列表格六。
表格六
| 数据处理进程7的标识“7” |
| 数据处理进程6的标识“6” |
| 数据处理进程5的标识“5” |
| 数据处理进程4的标识“4” |
| 数据处理进程3的标识“3” |
| 数据处理进程2的标识“2” |
| 数据处理进程1的标识“1” |
| 数据处理进程10的标识“10” |
| 数据处理进程9的标识“9” |
| 数据处理进程8的标识“8” |
相应的，当能源云服务系统根据空闲队列K中的数据处理进程标识调用相应的数据处理进程时，则需要将该数据处理进程的标识从空闲队列K中移除，存储至繁忙队列F中。例如，当鉴别进程从消息服务器集群的公共队列继续取出数据，假设该数据的数据类型为数据量数据，并将该数据以数据包8的形式存储至数据队列中，此时，能源云服务系统需要从空闲队列中分配数据处理进程8对数据包8进行处理，则能源云服务系统首先需要从空闲队列K中确定处于空闲状态的数据数据处理进程8的标识“8”，然后根据数据数据处理进程8的标识“8”，调用数据处理进程8对数据包进行处理，此时，由于数据处理进程8处于工作状态，因此，需要将数据处理进程8的标识“8”从空闲队列K中移除，存储至繁忙队列F中，此时，空闲队列K中存储的数据处理进程的标识信息，可参见下列表格七。
表格七
| 数据处理进程7的标识“7” |
| 数据处理进程6的标识“6” |
| 数据处理进程5的标识“5” |
| 数据处理进程4的标识“4” |
| 数据处理进程3的标识“3” |
| 数据处理进程2的标识“2” |
| 数据处理进程1的标识“1” |
| 数据处理进程10的标识“10” |
| 数据处理进程9的标识“9” |
进一步假设，数据处理进程协助专用进程处理SOE数据的预设值为3，即当空闲队列中存储的数据处理进程标识的数量大于或等于3时，则能源云服务系统可调用处于空闲状态的数据处理进程协助专用进程处理专用队列中的SOE数据。从上述表格7所示，当前空闲队列K中存储的数据处理进程标识的数量为9，由于9大于预设值3，此时，能源云服务系统可根据空闲队列K中存储的数据处理进程标识，调用相应的数据处理进程协助专用进程处理专用队列A中的SOE事件，例如，能源云服务系统可调用处理进程9处理专用进程处理专用队列A中的SOE事件。
根据以上内容可以看出，首先根据数据的数据类型将从消息服务器集群的公共队列中取出的数据进行分类，将实时性要求较高的数据量数据存储至数据队列中，而将实时性要求不是很高的SOE数据存储至专用队列中，然后配置多个数据处理进程并行处理数据队列中的数据，因此，能够提升数据量数据的处理效率，从而保证数据的实时性，同时，由于将实时性要求不高的SOE数据存储至专用队列中，由专用进程对专用队列中的SOE数据进行处理，还能够保证非实时数据的不丢失。通过设置空闲队列和繁忙队列对用于处理数据量数据的多个数据处理进程进行管理，还可达到进程重用，减少频繁创建进程导致的内存泄漏，以及减少创建进程所产生的系统资源开销。此外，用于处理数据量数据的数据处理进程在空闲时还能够协助专用进程处理堆积的SOE数据，从而提升数据处理进程的资源利用率。
基于相同的技术构思，本发明实施例还提供一种数据处理装，该装置应用于能源云服务系统，所述能源云服务系统包括：多个云终端服务器、与所述多个云终端服务器网络连接的消息服务器集群、与所述消息服务器集群网络连接的云平台服务器集群，如图4所示，该装置包括：
获取模块401，用于从所述消息服务器集群的公共队列中取出所述云终端服务器上报的数据后，根据所述数据的属性信息，确定所述数据的数据类型；
分发模块402，用于在所述数据的数据类型为数据量数据时，则将所述数据分发至数据队列中，所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至所述云平台服务器集群，所述数据量数据为实时监测数据；
在所述数据的数据类型为SOE数据时，则将所述数据存储至专用队列中，所述专用队列中的数据被配置为由专用进程进行处理后上报至所述云平台服务器集群，所述SOE数据为事件顺序记录SOE事件。
较佳的，还包括：处理模块403；
处理模块403，用于从空闲队列中获取数据处理进程标识信息，所述空闲队列用于存储处于空闲状态的数据处理进程的标识信息；
还用于根据所述进程标识信息，确定处于空闲状态的数据处理进程，调度所述处于空闲状态的数据处理进程对所述数据队列中的数据进行处理。
较佳的，处理模块403，还用于：
确定当前正在处理所述数据队列中数据的数据处理进程的标识信息，并将正在处理所述数据队列中数据的数据处理进程的标识信息存储至繁忙队列中，所述繁忙队列用于存储处于工作状态的数据处理进程的标识信息；
待所述繁忙队列中的数据处理进程标识所对应的数据处理进程对数据队列中的数据处理完毕，则将该数据进程的标识信息存储至所述空闲队列中。
较佳的，处理模块403，还用于：
根据空闲队列中存储的处于空闲状态的数据处理进程的标识信息，确定处于空闲状态的数据处理进程的数量；
若处于空闲状态的数据处理进程的数量大于预设值，则调度所述数据处理进程处理所述专用队列中的SOE数据。
较佳的，获取模块401，具体用于：
预先建立一鉴别进程；
所述鉴别进程从消息服务器集群的公共队列中取出数据后，根据所述数据的属性信息，确定所述数据的数据类型。
本发明实施例还提供一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该计算设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本发明实施例中，存储器可以用于存储数据处理方法的程序。
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行：从所述消息服务器集群的公共队列中取出所述云终端服务器上报的数据后，根据所述数据的属性信息，确定所述数据的数据类型；若所述数据的数据类型为数据量数据，则将所述数据存储至数据队列中，所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至所述云平台服务器集群，所述数据量数据为实时监测数据；若所述数据的数据类型为SOE数据，则将所述数据存储至专用队列中，所述专用队列中的数据被配置为由专用进程进行处理后上报至所述云平台服务器集群，所述SOE数据为事件顺序记录SOE事件。
本发明实施例还提供一种计算机存储介质，用于储存为上述计算设备所用的计算机程序指令，其包含用于执行上述基于数据处理方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
综上，上述实施例提供的一种数据处理方法及其装置，应用于能源云服务系统，所述能源云服务系统包括：多个云终端服务器、与所述多个云终端服务器网络连接的消息服务器集群、与所述消息服务器集群网络连接的云平台服务器集群，包括：从所述消息服务器集群的公共队列中取出所述云终端服务器上报的数据后，根据所述数据的属性信息，确定所述数据的数据类型；若所述数据的数据类型为数据量数据，则将所述数据存储至数据队列中，所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至所述云平台服务器集群，所述数据量数据为实时监测数据；若所述数据的数据类型为SOE数据，则将所述数据存储至专用队列中，所述专用队列中的数据被配置为由专用进程进行处理后上报至所述云平台服务器集群，所述SOE数据为事件顺序记录SOE事件。可以看出，首先根据数据的数据类型将从消息服务器集群的公共队列中取出的数据进行分类，将实时性要求较高的数据量数据存储至数据队列中，将实时性要求不是很高的SOE数据存储至专用队列中，然后配置多个数据处理进程并行处理数据队列中的数据，因此，能够提升数据量数据的处理效率，从而保证数据的实时性。同时，由于将实时性要求不高的SOE数据存储至专用队列中，由专用进程对专用队列中的SOE数据进行处理，还能够保证非实时数据的不丢失。通过设置空闲队列和繁忙队列对用于处理数据量数据的多个数据处理进程进行管理，还可达到进程重用，减少频繁创建进程导致的内存泄漏，以及减少创建进程所产生的系统资源开销。此外，用于处理数据量数据的数据处理进程在空闲时还能够协助专用进程处理堆积的SOE数据，从而提升数据处理进程的资源利用率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种数据处理方法，该方法应用于能源云服务系统，所述能源云服务系统包括：多个云终端服务器、与所述多个云终端服务器网络连接的消息服务器集群、与所述消息服务器集群网络连接的云平台服务器集群，其特征在于，该方法包括：
从所述消息服务器集群的公共队列中取出所述云终端服务器上报的数据后，根据所述数据的属性信息，确定所述数据的数据类型；
若所述数据的数据类型为数据量数据，则将所述数据存储至数据队列中，所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至所述云平台服务器集群，所述数据量数据为实时监测数据；
若所述数据的数据类型为SOE数据，则将所述数据存储至专用队列中，所述专用队列中的数据被配置为由专用进程进行处理后上报至所述云平台服务器集群，所述SOE数据为事件顺序记录SOE事件。
2.如权利要求1所述的方法，其特征在于，所述数据队列中的数据被配置为由多个数据处理进程进行处理，包括：
从空闲队列中获取数据处理进程标识信息，所述空闲队列用于存储处于空闲状态的数据处理进程的标识信息；
根据所述进程标识信息，确定处于空闲状态的数据处理进程，调度所述处于空闲状态的数据处理进程对所述数据队列中的数据进行处理。
3.如权利要求2所述的方法，其特征在于，还包括：
确定当前正在处理所述数据队列中数据的数据处理进程的标识信息，并将正在处理所述数据队列中数据的数据处理进程的标识信息存储至繁忙队列中，所述繁忙队列用于存储处于工作状态的数据处理进程的标识信息；
待所述繁忙队列中的数据处理进程标识所对应的数据处理进程对数据队列中的数据处理完毕，则将该数据进程的标识信息存储至所述空闲队列中。
4.如权利要求2所述的方法，其特征在于，还包括：
根据空闲队列中存储的处于空闲状态的数据处理进程的标识信息，确定处于空闲状态的数据处理进程的数量；
若处于空闲状态的数据处理进程的数量大于预设值，且所述专用队列中存在待处理SOE数据时，则调度所述数据处理进程处理所述专用队列中的SOE数据。
5.如权利要求1所述的方法，其特征在于，所述从消息服务器集群的公共队列中取出所述云终端服务器上报的数据后，根据所述数据的属性信息，确定所述数据的数据类型，包括：
预先建立一鉴别进程；
所述鉴别进程从消息服务器集群的公共队列中取出数据后，根据所述数据的属性信息，确定所述数据的数据类型。
6.一种数据处理装置，该装置应用于能源云服务系统，所述能源云服务系统包括：多个云终端服务器、与所述多个云终端服务器网络连接的消息服务器集群、与所述消息服务器集群网络连接的云平台服务器集群，其特征在于，该装置包括：
获取模块，用于从所述消息服务器集群的公共队列中取出所述云终端服务器上报的数据后，根据所述数据的属性信息，确定所述数据的数据类型；
分发模块，用于在所述数据的数据类型为数据量数据时，则将所述数据分发至数据队列中，所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至所述云平台服务器集群，所述数据量数据为实时监测数据；
在所述数据的数据类型为SOE数据时，则将所述数据分发至专用队列中，所述专用队列中的数据被配置为由专用进程进行处理后上报至所述云平台服务器集群，所述SOE数据为事件顺序记录SOE事件。
7.如权利要求6所述的装置，其特征在于，还包括：处理模块；
所述处理模块，用于从空闲队列中获取数据处理进程标识信息，所述空闲队列用于存储处于空闲状态的数据处理进程的标识信息；
还用于根据所述进程标识信息，确定处于空闲状态的数据处理进程，调度所述处于空闲状态的数据处理进程对所述数据队列中的数据进行处理。
8.如权利要求7所述的装置，其特征在于，所述处理模块，还用于：
确定当前正在处理所述数据队列中数据的数据处理进程的标识信息，并将正在处理所述数据队列中数据的数据处理进程的标识信息存储至繁忙队列中，所述繁忙队列用于存储处于工作状态的数据处理进程的标识信息；
待所述繁忙队列中的数据处理进程标识所对应的数据处理进程对数据队列中的数据处理完毕，则将该数据进程的标识信息存储至所述空闲队列中。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行：从所述消息服务器集群的公共队列中取出所述云终端服务器上报的数据后，根据所述数据的属性信息，确定所述数据的数据类型；若所述数据的数据类型为数据量数据，则将所述数据存储至数据队列中，所述数据队列中的数据被配置为由多个数据处理进程进行处理后上报至所述云平台服务器集群，所述数据量数据为实时监测数据；若所述数据的数据类型为SOE数据，则将所述数据存储至专用队列中，所述专用队列中的数据被配置为由专用进程进行处理后上报至所述云平台服务器集群，所述SOE数据为事件顺序记录SOE事件。
10.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710393129.7A CN107241281B (zh) | 2017-05-27 | 2017-05-27 | 一种数据处理方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710393129.7A CN107241281B (zh) | 2017-05-27 | 2017-05-27 | 一种数据处理方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107241281A true CN107241281A (zh) | 2017-10-10 |
| CN107241281B CN107241281B (zh) | 2020-01-14 |
Family
ID=59985681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710393129.7A Active CN107241281B (zh) | 2017-05-27 | 2017-05-27 | 一种数据处理方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107241281B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108121596A (zh) * | 2017-12-20 | 2018-06-05 | 唐山松下产业机器有限公司 | 数据传输方法及装置、存储介质、电子设备 |
| CN108171488A (zh) * | 2017-11-28 | 2018-06-15 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和系统 |
| CN108347477A (zh) * | 2018-01-24 | 2018-07-31 | 广东欧珀移动通信有限公司 | 数据发送方法、装置以及服务器 |
| CN108768886A (zh) * | 2018-05-30 | 2018-11-06 | 无锡知更鸟网络科技有限公司 | 一种SaaS数据访问质量提升方法 |
| CN110231983A (zh) * | 2019-05-13 | 2019-09-13 | 北京百度网讯科技有限公司 | 数据并发处理方法、装置及系统、计算机设备及可读介质 |
| CN111569417A (zh) * | 2020-04-30 | 2020-08-25 | 北京视博云信息技术有限公司 | 一种云游戏的外设数据传输方法及系统 |
| CN112016025A (zh) * | 2019-05-31 | 2020-12-01 | 北京易真学思教育科技有限公司 | 数据采集方法、装置及终端设备 |
| CN112102554A (zh) * | 2020-09-11 | 2020-12-18 | 北京百度网讯科技有限公司 | 服务处理方法、装置、电子设备和存储介质 |
| CN112363835A (zh) * | 2020-11-11 | 2021-02-12 | 深圳供电局有限公司 | 一种基于网络大数据的智能资源调整方法及系统 |
| CN113207107A (zh) * | 2021-04-25 | 2021-08-03 | 浙江吉利控股集团有限公司 | 一种多通道带宽调控方法、装置、设备及存储介质 |
| CN113992752A (zh) * | 2021-09-13 | 2022-01-28 | 广州番禺电缆集团有限公司 | 一种电缆监控数据上报方法及装置 |
| CN115277848A (zh) * | 2022-07-29 | 2022-11-01 | 中国银行股份有限公司 | 基于消息队列的消息处理方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102207883A (zh) * | 2011-06-01 | 2011-10-05 | 华中科技大学 | 异构分布式实时系统的事务调度方法 |
| CN102591712A (zh) * | 2011-12-30 | 2012-07-18 | 大连理工大学 | 一种云计算中依赖任务的解耦并行调度方法 |
| CN103414761A (zh) * | 2013-07-23 | 2013-11-27 | 北京工业大学 | 一种基于Hadoop架构的移动终端云资源调度方法 |
| CN103533081A (zh) * | 2013-10-25 | 2014-01-22 | 从兴技术有限公司 | 一种基于云计算的计费系统及其实现方法 |
| CN105045820A (zh) * | 2015-06-25 | 2015-11-11 | 浙江立元通信技术股份有限公司 | 一种处理海量级数据的视频图像信息的方法及数据库系统 |
| CN105487500A (zh) * | 2014-10-06 | 2016-04-13 | 费希尔-罗斯蒙特系统公司 | 在过程控制系统中流式传输用于分析的数据 |
| CN106412113A (zh) * | 2016-11-15 | 2017-02-15 | 上海远景数字信息技术有限公司 | 一种能源云服务系统及其通信方法 |
-
2017
- 2017-05-27 CN CN201710393129.7A patent/CN107241281B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102207883A (zh) * | 2011-06-01 | 2011-10-05 | 华中科技大学 | 异构分布式实时系统的事务调度方法 |
| CN102591712A (zh) * | 2011-12-30 | 2012-07-18 | 大连理工大学 | 一种云计算中依赖任务的解耦并行调度方法 |
| CN103414761A (zh) * | 2013-07-23 | 2013-11-27 | 北京工业大学 | 一种基于Hadoop架构的移动终端云资源调度方法 |
| CN103533081A (zh) * | 2013-10-25 | 2014-01-22 | 从兴技术有限公司 | 一种基于云计算的计费系统及其实现方法 |
| CN105487500A (zh) * | 2014-10-06 | 2016-04-13 | 费希尔-罗斯蒙特系统公司 | 在过程控制系统中流式传输用于分析的数据 |
| CN105045820A (zh) * | 2015-06-25 | 2015-11-11 | 浙江立元通信技术股份有限公司 | 一种处理海量级数据的视频图像信息的方法及数据库系统 |
| CN106412113A (zh) * | 2016-11-15 | 2017-02-15 | 上海远景数字信息技术有限公司 | 一种能源云服务系统及其通信方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171488A (zh) * | 2017-11-28 | 2018-06-15 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置和系统 |
| CN108121596A (zh) * | 2017-12-20 | 2018-06-05 | 唐山松下产业机器有限公司 | 数据传输方法及装置、存储介质、电子设备 |
| CN108347477A (zh) * | 2018-01-24 | 2018-07-31 | 广东欧珀移动通信有限公司 | 数据发送方法、装置以及服务器 |
| CN108347477B (zh) * | 2018-01-24 | 2020-04-21 | Oppo广东移动通信有限公司 | 数据发送方法、装置以及服务器 |
| CN108768886A (zh) * | 2018-05-30 | 2018-11-06 | 无锡知更鸟网络科技有限公司 | 一种SaaS数据访问质量提升方法 |
| CN110231983B (zh) * | 2019-05-13 | 2022-01-28 | 北京百度网讯科技有限公司 | 数据并发处理方法、装置及系统、计算机设备及可读介质 |
| CN110231983A (zh) * | 2019-05-13 | 2019-09-13 | 北京百度网讯科技有限公司 | 数据并发处理方法、装置及系统、计算机设备及可读介质 |
| CN112016025A (zh) * | 2019-05-31 | 2020-12-01 | 北京易真学思教育科技有限公司 | 数据采集方法、装置及终端设备 |
| CN112016025B (zh) * | 2019-05-31 | 2022-02-18 | 北京易真学思教育科技有限公司 | 数据采集方法、装置及终端设备 |
| CN111569417A (zh) * | 2020-04-30 | 2020-08-25 | 北京视博云信息技术有限公司 | 一种云游戏的外设数据传输方法及系统 |
| CN112102554A (zh) * | 2020-09-11 | 2020-12-18 | 北京百度网讯科技有限公司 | 服务处理方法、装置、电子设备和存储介质 |
| CN112363835A (zh) * | 2020-11-11 | 2021-02-12 | 深圳供电局有限公司 | 一种基于网络大数据的智能资源调整方法及系统 |
| CN113207107A (zh) * | 2021-04-25 | 2021-08-03 | 浙江吉利控股集团有限公司 | 一种多通道带宽调控方法、装置、设备及存储介质 |
| CN113992752A (zh) * | 2021-09-13 | 2022-01-28 | 广州番禺电缆集团有限公司 | 一种电缆监控数据上报方法及装置 |
| CN115277848A (zh) * | 2022-07-29 | 2022-11-01 | 中国银行股份有限公司 | 基于消息队列的消息处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107241281B (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107241281A (zh) | 一种数据处理方法及其装置 | |
| EP3335119B1 (en) | Multi-priority service instance allocation within cloud computing platforms | |
| CN103701934B (zh) | 一种资源优化调度方法及虚拟机宿主机优化选择方法 | |
| CN110413412B (zh) | 一种基于gpu集群资源分配的方法和装置 | |
| CN107239336A (zh) | 一种实现任务调度的方法及装置 | |
| CN106681835A (zh) | 资源分配的方法和资源管理器 | |
| CN111338791A (zh) | 集群队列资源的调度方法、装置、设备及存储介质 | |
| CN104023042B (zh) | 云平台资源调度方法 | |
| GB2507038A (en) | Scheduling jobs weighted according to the memory usage using a knapsack problem. | |
| CN109324890A (zh) | 资源管理方法、装置及计算机可读存储介质 | |
| CN103729252B (zh) | 一种虚拟机调度的方法及调度监控器 | |
| CN107273200A (zh) | 一种针对异构存储的任务调度方法 | |
| CN107357630A (zh) | 一种实现虚拟机同步的方法、装置和存储介质 | |
| CN108897626A (zh) | 一种资源调度方法及服务器 | |
| CN102457578A (zh) | 一种基于事件机制的分布式网络监控方法 | |
| CN113886034A (zh) | 任务调度方法、系统、电子设备及存储介质 | |
| CN109271236A (zh) | 一种业务调度的方法、装置、计算机存储介质及终端 | |
| CN109656684A (zh) | 一种Kafka的分区方法、分区系统及相关装置 | |
| CN110167031B (zh) | 一种面向集中式基站的资源分配方法、设备及存储介质 | |
| CN105677481B (zh) | 一种数据处理方法、系统及电子设备 | |
| CN110069319B (zh) | 一种面向朵云资源管理的多目标虚拟机调度方法及系统 | |
| CN102184124A (zh) | 任务调度方法及系统 | |
| CN107402812A (zh) | 集群资源调度方法、装置、设备及存储介质 | |
| CN115952054A (zh) | 一种仿真任务资源管理方法、装置、设备及介质 | |
| CN106850822A (zh) | 负载均衡方法、设备及分布式系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |