CN112614002A - 数据采集系统、方法、装置、电子设备及计算机存储介质 - Google Patents

数据采集系统、方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN112614002A
CN112614002A CN201911206637.5A CN201911206637A CN112614002A CN 112614002 A CN112614002 A CN 112614002A CN 201911206637 A CN201911206637 A CN 201911206637A CN 112614002 A CN112614002 A CN 112614002A
Authority
CN
China
Prior art keywords
data
data acquisition
queue
acquisition
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911206637.5A
Other languages
English (en)
Inventor
霍然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Goldwind Smart Energy Service Co Ltd
Original Assignee
Beijing Goldwind Smart Energy Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Goldwind Smart Energy Service Co Ltd filed Critical Beijing Goldwind Smart Energy Service Co Ltd
Priority to CN201911206637.5A priority Critical patent/CN112614002A/zh
Publication of CN112614002A publication Critical patent/CN112614002A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请提供了一种数据采集系统、方法、装置、电子设备及计算机存储介质,该方法包括:获取多个数据采集指令,将数据采集指令添加到第一数据队列;根据第一数据队列,确定出数据采集指令符合预设校验条件的第二数据队列;根据第二数据队列,确定数据采集参数并向数据收集终端发送;获取由数据收集终端生成的与数据采集参数对应的响应数据。本申请提供的数据采集方法,使用数据采集接收主队列和数据采集下发子队列的双队列模型,解决了新能源监控系统中采集基于串口通讯的风力发电设备的实时数据积压,导致通讯阻塞超时的问题,达到了高效率和高稳定性进行数据采集的目的。

Description

数据采集系统、方法、装置、电子设备及计算机存储介质
技术领域
本申请涉及风电数据处理技术领域,具体而言,本申请涉及一种数据采集系统、方法、装置、电子设备及计算机存储介质。
背景技术
新能源发电技术经过多年发展,风力发电设备的数据通讯链路也在不断得到发展,通常存在的种类有串口通信、网口通信等,老版本非兆瓦级风力发电设备,如650KW/700KW(千瓦)风力发电设备大部分采用的是串口通信。
新能源监控系统在采集基于串口通信的风力发电设备的数据时,常采用以下几种方式:
维护请求模型队列的方式,依次向风力发电设备发送数据采集请求,然后解析发电设备返回的数据信息。通过维护请求模型队列,依次请求解析的方式,不同的客户端向请求队列添加请求模型时,相同的请求模型会重复请求,导致不同的客户端采集数据响应周期不一致,有的瞬态数据可能在短时间被多次采集,刷新频率很高;有的瞬态数据可能很长时间才会被采集一次,刷新频率又较低。这种不平衡的状态会造成监控系统的瞬态数据刷新不稳定的问题。
在数据请求客户端不对请求数量做限制,采集数据时允许并发请求,采集请求可以发送多个。然而,采集网关会并发接收到大量的采集数据请求,通过串口通道向风力发电设备进行数据请求,由于风力发电设备采用串口通信的特性,会导致大量请求数据积压,从而使得返回数据速率变慢,采集数据请求超时。又会造成监控系统的瞬态数据刷新不稳定的问题。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一,本申请提供了一种数据采集系统、方法、装置、电子设备及计算机存储介质,可以解决请求数据积压、返回数据速率变慢导致采集数据请求超时的问题。该技术方案如下:
第一方面,本申请提供了一种数据采集系统,包括数据收集终端和数据采集服务器;
数据采集服务器用于获取多个数据采集指令,将数据采集指令添加到第一数据队列;根据第一数据队列,确定出数据采集指令符合预设校验条件的第二数据队列;根据第二数据队列,确定数据采集参数并向数据收集终端发送;获取由数据收集终端生成的与数据采集参数对应的响应数据;
数据收集终端与数据采集服务器通信连接,用于接收多个数据采集参数,以及根据数据采集参数生成响应数据并向数据采集服务器发送。
在一个实施例中,还包括采集网关,采集网关用于接收数据采集服务器发送的数据采集参数,将数据采集参数发送到数据收集终端;
数据采集服务器与采集网关通信连接,采集网关与数据收集终端通信连接;数据收集终端设置于风力发电设备处。
第二方面,本申请提供了一种数据采集方法,包括:
获取多个数据采集指令,将数据采集指令添加到第一数据队列;
根据第一数据队列,确定出数据采集指令符合预设校验条件的第二数据队列;
根据第二数据队列,确定数据采集参数并向数据收集终端发送;
获取由数据收集终端生成的与数据采集参数对应的响应数据。
在一个实施例中,将数据采集指令添加到第一数据队列的步骤,包括:
当待添加的数据采集指令与第一数据队列中已存在的一个数据采集指令相同时,更新一个数据采集指令的有效时间属性。
在一个实施例中,确定出数据采集指令符合预设校验条件的第二数据队列,包括:
逐一确定第一数据队列中每个数据采集指令的有效时间属性中的指令有效时间;
根据第一数据队列中的指令有效时间小于或等于预设时间阈值的数据采集指令,确定第二数据队列。
在一个实施例中,根据第一数据队列中的指令有效时间小于或等于预设时间阈值的数据采集指令,确定第二数据队列,包括:
删除第一数据队列中指令有效时间大于预设时间阈值的数据采集指令,确定处理后第一数据队列;
复制处理后第一数据队列,作为第二数据队列。
在一个实施例中,根据第二数据队列,确定数据采集参数并向数据收集终端发送,包括:
以预设频率逐一获取第二数据队列中的数据采集指令;
解析出数据采集指令中的数据采集参数;
根据数据采集参数中的对象信息,将数据采集参数向对象信息相应的数据收集终端发送。
在一个实施例中,获取由数据收集终端生成的与数据采集参数对应的响应数据,包括:
获取到数据收集终端生成的响应数据;
解析响应数据为响应参数;
根据响应参数,更新数据内存。
第三方面,本申请提供了一种数据采集装置,包括:
获取模块,用于获取多个数据采集指令,将数据采集指令添加到第一数据队列;
克隆模块,用于根据第一数据队列,确定出数据采集指令符合预设校验条件的第二数据队列;
发送模块,用于根据第二数据队列,确定数据采集参数并向数据收集终端发送;
采集模块,用于获取由数据收集终端生成的与数据采集参数对应的响应数据。
第四方面,本申请提供了一种电子设备,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于:执行本申请第一方面提供的数据采集方法。
第五方面,本申请提供了一种计算机可读存储介质,计算机存储介质用于存储计算机程序,当计算机程序在计算机上运行时,实现本申请第一方面提供的数据采集方法。
本申请提供的技术方案带来的有益效果是:
本申请提供的数据采集系统,通过将数据采集指令首先添加到第一数据队列当中,并通过预设校验条件对第一数据队列进行预处理,从而得到满足预设校验条件的第二数据队列,然后再根据第二数据队列确定数据采集参数并进行数据采集操作,采用的是数据采集接收主队列和数据采集下发子队列的双队列模型,解决了新能源监控系统中采集基于串口通讯的风力发电设备的实时数据积压,导致通讯阻塞超时的问题,达到了高效率和高稳定性进行数据采集的目的。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请一个实施例提供的一种数据采集系统的结构示意图;
图2为本申请另一个实施例提供的一种数据采集系统的结构示意图;
图3为本申请一个实施例提供的一种数据采集方法的流程示意图;
图4为本申请一实施例提供的确定出数据采集指令符合预设校验条件的第二数据队列的流程示意图;
图5为本申请一实施例提供的根据第二数据队列,确定数据采集参数并向数据收集终端发送的流程示意图;
图6为本申请一实施例提供的获取由数据收集终端生成的与数据采集参数对应的响应数据的流程示意图;
图7为本申请一实施例提供的新能源监控系统与风力发电设备的信息交互关系示意图;
图8为本申请一实施例提供的一种数据采集装置的结构示意图;
图9为本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作可选地详细描述。
首先对本申请涉及的几个名词进行介绍和解释:
队列,一种特殊的线性表,只允许在表的前端进行删除操作,而在表的后端进行插入操作,进行插入操作的端称为队尾,进行删除操作的端称为队头。
串行通信,指在计算机总线或其他数据通道上,每次传输一个位元数据,并连续进行以上单次过程的通信方式,串行通信被用于长距离通信以及大多数计算机网络。
由于现有新能源发电技术当中很多终端,例如风力发电设备的数据采集终端,都是基于串口通信的方式传输收集自风力发电设备的数据。然而,随着新能源监控系统的发展,向风力发电设备的数据采集终端请求返回数据的客户端或者服务器端在不断增多,例如不同的客户端通过服务器向请求队列添加请求模型时,可能存在相同的请求模型,也就存在重复请求,会使得不同的客户端采集数据相应周期不一致,造成有的瞬态数据可能在短时间内重复被采集多次,使得数据收集终端的刷新频率很高,而有的瞬态数据则长期不会被要求采集,因此出现数据采集的不平衡。另外,在不对请求数量加以限制的情况下,采集请求会有多个发送过来,会在基于串口通信的风力发电设备处产生数据积压,使得返回数据速率变慢,采集数据请求超时。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
第一方面,本申请提供了一种数据采集系统10,如图1所示,包括数据采集服务器11和数据收集终端12;数据采集服务器11用于获取多个数据采集指令,将数据采集指令添加到第一数据队列;根据第一数据队列,确定出数据采集指令符合预设校验条件的第二数据队列;根据第二数据队列,确定数据采集参数并向数据收集终端12发送;获取由数据收集终端12生成的与数据采集参数对应的响应数据;数据收集终端12与数据采集服务器11通信连接,用于接收多个数据采集参数,以及根据数据采集参数生成响应数据并向数据采集服务器11发送。有关数据采集服务器11的具体运行方法以及运行方法的步骤细节,参见本申请后文提供的数据采集方法。
本申请提供的数据采集系统10,采用的是数据采集接收主队列和数据采集下发子队列的双队列模型,解决了新能源监控系统中采集基于串口通讯的风力发电设备的实时数据积压,导致通讯阻塞超时的问题,能够实现高效率和高稳定性的数据采集。数据收集终端12可以为可编程逻辑控制器,位于风机的数控设备中,但不限于此。
可行的,在一个实施例中,如图2所示,数据采集系统10还包括采集网关13,采集网关13用于接收数据采集服务器11发送的数据采集参数,将数据采集参数发送到数据收集终端12;数据采集服务器11与采集网关13通信连接,采集网关13与数据收集终端12通信连接;数据收集终端12设置于风力发电设备处。采集网关13可以采用网口方式实现数据采集服务器11与数据收集终端12通信,也即实现数据采集服务器11与风力发电设备之间的通信,提高了设备之间的通信效率和通信兼容性。
第二方面,本申请提供了一种数据采集方法,如图3所示,包括:
S100:获取多个数据采集指令,将数据采集指令添加到第一数据队列;
S200:根据第一数据队列,确定出数据采集指令符合预设校验条件的第二数据队列;
S300:根据第二数据队列,确定数据采集参数并向数据收集终端发送;
S400:获取由数据收集终端生成的与数据采集参数对应的响应数据。
本申请提供的数据采集方法,首先通过将数据采集指令添加到第一数据队列当中,然后通过预设校验条件对第一数据队列进行预处理,对加入到第一数据队列中的数据采集指令加以筛选,得到满足预设校验条件的第二数据队列,然后再根据第二数据队列确定数据采集参数并进行数据采集操作,采用的是数据采集接收主队列和数据采集下发子队列的双队列模型,解决了新能源监控系统中采集基于串口通讯的风力发电设备的实时数据积压,导致通讯阻塞超时的问题,达到了高效率和高稳定性进行数据采集的目的。
对于S100,服务器可同时获取多个数据采集指令,这些数据采集指令可能来自多个客户端,按照队列数据添加规则,在第一数据队列的队尾不断依序插入数据采集指令。每个数据采集指令不仅包括数据采集的数据类目、采集的设备对象的地址等信息,还包括数据采集指令发出时间、数据采集指令存在的有效时长等组成有效时间属性的信息。
在一个可行的实施方式中,将数据采集指令添加到第一数据队列的步骤,包括:
当待添加的数据采集指令与第一数据队列中已存在的一个数据采集指令相同时,更新一个数据采集指令的有效时间属性。
服务器获取到的多个数据采集指令当中可能存在重复的数据采集请求,这些相同的数据采集请求无需重复向数据收集终端发送,然而为响应这些相同的数据采集请求,仍然需要向发出请求的客户端返回采集得到的相应数据。数据采集指令当中的数据采集内容可能相同,但每个数据采集指令的有效时间属性一般不同。因此只需更新前一个已经存在于队列当中的有效时间属性即可,从而减轻数据采集指令的积压。
对于S200,在形成有第一数据队列之后,需要对形成队列的数据采集指令进行校验筛选,避免直接向数据收集终端发送造成不必要的数据拥堵。而是否满足预设校验条件,则是会否产生数据拥堵的影响因素。
在一个可行的实施方式中,介绍上述步骤S200中,根据第一数据队列,确定出数据采集指令符合预设校验条件的第二数据队列的具体方法,该具体方法的流程示意图如图4所示,包括:
S210:逐一确定第一数据队列中每个数据采集指令的有效时间属性中的指令有效时间。
S220:根据第一数据队列中的指令有效时间小于或等于预设时间阈值的数据采集指令,确定第二数据队列。
服务器当中的相关模块对第一数据队列中的每个数据采集指令逐一进行有效时间校验,根据前文提及的内容,每个数据采集指令的有效时间属性当中记载有该数据采集指令的存在时长,也即指令有效时间,当指令有效时间过大,说明该数据采集指令可能存在较长的时间,后期会对数据积压时间产生较大影响,也就影响了数据反馈的效率。因此,需要将超过预设时间阈值的数据采集指令移除,保证线程每一次采集任务面向的数据请求指令都是有效的。
在一个具体的实施方式中,S220中,根据第一数据队列中的指令有效时间小于或等于预设时间阈值的数据采集指令,确定第二数据队列,包括:
删除第一数据队列中指令有效时间大于预设时间阈值的数据采集指令,确定处理后第一数据队列;
复制处理后第一数据队列,作为第二数据队列。
也即,确定第二数据队列的具体操作是,剔除第一数据队列中的指令有效时间大于预设时间阈值的数据采集指令,获取到符合预设校验条件的第一数据队列,将这一处理后得到的第一数据队列复制克隆,形成第二数据队列,该第二数据队列是第一数据队列的至少一部分,第二数据队列中各个数据采集指令的排列顺序与在第一数据队列中的排列顺序相同。
使用第一数据队列和第二数据队列的主-副双队列模型,解决了系统中并发采集串口通讯设备实时数据导致通讯阻塞超时的问题,降低了服务器当中数据采集相关的模块的设计要求。
对于S300,服务器根据得到的第二数据队列,生成数据采集参数,并下发到数据收集终端,使数据收集终端根据生成的数据采集参数收集相关数据。
在一个可行的实施方式中,如图5所示,根据第二数据队列,确定数据采集参数并向数据收集终端发送,包括:
S310:以预设频率逐一获取第二数据队列中的数据采集指令;
S320:解析出数据采集指令中的数据采集参数;
S330:根据数据采集参数中的对象信息,将数据采集参数向对象信息相应的数据收集终端发送。
服务器中的相关模块按照第二数据队列依次弹出数据采集指令,并且还能解析数据采集请求指令为数据采集参数,进行数据采集动作。S310当中以预设频率逐一获取数据采集指令,即指弹出数据采集指令的动作之间存在一定的间隔时间,而该间隔时间可以支持预先配置。单次采集动作首先解析出数据采集参数,向数据采集指令指定的数据收集终端下发数据采集报文,也即根据数据采集参数当中包含的对象信息,该对象信息是数据收集终端的地址信息、设备属性信息等内容,使得数据收集终端相应地接收到数据采集参数,并使得数据收集终端依照数据采集参数收集数据。
对于S400,服务器的最终目的是要收集到来自数据收集终端的数据,服务器下发数据采集请求指令与数据采集响应动作之间相互分离,通过内部的瞬态数据内存缓存每次采集的数据,提高了采集数据的可用性。
在一个可行的实施方式中,如图6所示,获取由数据收集终端生成的与数据采集参数对应的响应数据,包括:
S410:获取到数据收集终端生成的响应数据;
S420:解析响应数据为响应参数;
S430:根据响应参数,更新数据内存。
数据收集终端根据之前由服务器发送过来的数据采集参数收集到相关设备的响应数据,向服务器反馈。服务器获取到数据收集终端生成的上述响应数据,服务器对这些响应数据加以解析。通常,服务器当中设置有瞬态数据内存,这些解析后的响应数据,即响应参数,会缓存在瞬态数据内存中,不断有新的解析后的响应数据会缓存在瞬态数据内存当中,对瞬态数据内存进行刷新。
为便于理解,如图7所示,现以实际案例的形式对本申请提供的数据采集系统的工作过程加以说明:
新能源监控系统是一种包含客户端、服务端、采集网关等硬件设备的用于采集风机、光伏发电机等新能源发电设备数据的软件系统。
采集数据是指由新能源监控系统主动发起的向采集网关建立TCP(传输控制协议,Transmission Control Protocol)数据连接,发送采集数据报文,并等待数据响应的过程。
采集网关是一种网关设备或服务器,与新能源电站的风力发电设备通讯,接收上层监控系统下发的数据采集请求,采集指定风力发电设备的数据后继续返回给上层监控系统的网关设备或服务器。
新能源监控系统的获取模块获取到来自多个客户端或者其他服务端发送来的数据采集指令,将数据采集指令添加到第一数据队列当中(即图7中显示的添加模型),第一数据队列即为图中的数据采集请求模型接收主队列。新能源监控系统的数据采集线程执行循环任务,对数据采集指令当中的有效时间属性进行校验,即图7中的“模型超时校验”,剔除数据采集请求模型接收主队列当中指令有效时间超过预设时间阈值的数据采集请求指令,对具有剩余数据采集请求指令的数据采集请求模型接收主队列进行队列克隆,确定得第二数据队列,即图7中的数据采集请求模型下发子队列,然后根据数据采集请求模型下发子队列,按照一定的间隔时间,逐一弹出数据采集指令,即弹出模型,经过新能源监控系统的发送模块对数据采集指令进行解析,确定到解析请求参数,将该解析请求参数作为瞬态请求数据发送到采集网关。
采集网关根据瞬态请求数据中包括的相关信息,将瞬态请求数据发送到基于串口通讯的多个风力发电设备处,收集对应的风力发电设备上的原始数据。采集网关收集到原始数据之后,将这些数据作为瞬态响应数据发送回新能源监控系统。新能源监控系统中的相关模块将瞬态响应数据解析为解析响应参数,刷新瞬态数据内存,使解析响应参数缓存入瞬态数据内存,使得采集模块能够获取到大量的解析响应参数,从而为新能源监控系统提供数据支持,实现通过新能源监控系统输出采集得到的数据。
基于相同的发明构思,第三方面,本申请提供了一种数据采集装置20,如图8所示,包括获取模块21、克隆模块22、发送模块23和采集模块24。获取模块21用于获取多个数据采集指令,将数据采集指令添加到第一数据队列。克隆模块22用于根据第一数据队列,确定出数据采集指令符合预设校验条件的第二数据队列。发送模块23用于根据第二数据队列,确定数据采集参数并向数据收集终端发送。采集模块24用于获取由数据收集终端生成的与数据采集参数对应的响应数据。
本申请提供的数据采集装置20,能够将数据采集指令添加到第一数据队列当中,然后通过预设校验条件对第一数据队列进行预处理,对加入到数据队列中的数据采集指令加以筛选,得到满足预设校验条件的第二数据队列,然后再根据第二数据队列确定数据采集参数并进行数据采集操作,采用的是数据采集接收主队列和数据采集下发子队列的双队列模型,解决了新能源监控系统中采集基于串口通讯的风力发电设备的实时数据积压,导致通讯阻塞超时的问题,本申请提供的数据采集装置能够高效率和高稳定性地进行数据采集。
在一个可行的实施例中,获取模块21将数据采集指令添加到第一数据队列的步骤,包括:当待添加的数据采集指令与第一数据队列中已存在的一个数据采集指令相同时,更新一个数据采集指令的有效时间属性。
在一个可行的实施例中,克隆模块22确定出数据采集指令符合预设校验条件的第二数据队列,包括:逐一确定第一数据队列中每个数据采集指令的有效时间属性中的指令有效时间;根据第一数据队列中的指令有效时间小于或等于预设时间阈值的数据采集指令,确定第二数据队列。
在一个可行的实施例中,克隆模块22根据第一数据队列中的指令有效时间小于或等于预设时间阈值的数据采集指令,确定第二数据队列,具体包括:删除第一数据队列中指令有效时间大于预设时间阈值的数据采集指令,确定处理后第一数据队列;复制处理后第一数据队列,作为第二数据队列。
在一个可行的实施例中,发送模块23根据第二数据队列,确定数据采集参数并向数据收集终端发送,包括:以预设频率逐一获取第二数据队列中的数据采集指令;解析出数据采集指令中的数据采集参数;根据数据采集参数中的对象信息,将数据采集参数向对象信息相应的数据收集终端发送。
在一个可行的实施例中,采集模块24获取由数据收集终端生成的与数据采集参数对应的响应数据,包括:获取到数据收集终端生成的响应数据;解析响应数据为响应参数;根据响应参数,更新数据内存。
基于同一发明构思,第四个方面,本申请提供了一种电子设备,如图9所示,图9所示的电子设备1000包括:处理器1001和存储器1003。其中,处理器1001和存储器1003相连,如通过总线1002相连。可选地,电子设备1000还可以包括收发器1004。需要说明的是,实际应用中收发器1004不限于一个,该电子设备1000的结构并不构成对本申请实施例的限定。
其中,电子设备1000包括但不限于:数据采集服务器。
处理器1001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器1001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线1002可包括一通路,在上述组件之间传送信息。总线1002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线1002可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器1003可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器1003用于存储执行本申请方案的应用程序代码,并由处理器1001来控制执行。处理器1001用于执行存储器1003中存储的应用程序代码,以实现前述任一方法实施例所示的内容。
本申请提供的电子设备,能够将获取到的数据采集指令添加到第一数据队列当中,然后通过预设校验条件对第一数据队列进行预处理,对加入到数据队列中的数据采集指令加以筛选,得到满足预设校验条件的第二数据队列,然后再根据第二数据队列确定数据采集参数并进行数据采集操作,解决了新能源监控系统中采集基于串口通讯的风力发电设备的实时数据积压,导致通讯阻塞超时的问题,能够高效率和高稳定性地进行数据采集。
同样基于一个发明构思,本申请第五方面,提供了一种计算机可读存储介质,计算机存储介质用于存储计算机程序,当计算机程序在计算机上运行时,实现本申请第一方面提供的数据采集方法。
与现有技术相比,本申请提供的计算机可读存储介质存储的计算机程序,在执行后实现的数据采集方法,通过将数据采集指令首先添加到第一数据队列当中,并通过预设校验条件对第一数据队列进行预处理,从而得到满足预设校验条件的第二数据队列,然后再根据第二数据队列确定数据采集参数并进行数据采集操作,使用数据采集接收主队列和数据采集下发子队列的双队列模型,解决了新能源监控系统中采集基于串口通讯的风力发电设备的实时数据积压,导致通讯阻塞超时的问题,达到了高效率和高稳定性进行数据采集的目的。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种数据采集系统,其特征在于,包括数据采集服务器和数据收集终端;
所述数据采集服务器用于获取多个数据采集指令,将所述数据采集指令添加到第一数据队列;根据所述第一数据队列,确定出所述数据采集指令符合预设校验条件的第二数据队列;根据所述第二数据队列,确定数据采集参数并向所述数据收集终端发送;获取由所述数据收集终端生成的与所述数据采集参数对应的响应数据;
所述数据收集终端与所述数据采集服务器通信连接,用于接收多个所述数据采集参数,以及根据所述数据采集参数生成响应数据并向所述数据采集服务器发送。
2.根据权利要求1所述的数据采集系统,其特征在于,还包括采集网关,所述采集网关用于接收所述数据采集服务器发送的数据采集参数,将所述数据采集参数发送到所述数据收集终端;
所述数据采集服务器与所述采集网关通信连接,所述采集网关与所述数据收集终端通信连接;所述数据收集终端设置于风力发电设备处。
3.一种数据采集方法,其特征在于,包括:
获取多个数据采集指令,将所述数据采集指令添加到第一数据队列;
根据所述第一数据队列,确定出所述数据采集指令符合预设校验条件的第二数据队列;
根据所述第二数据队列,确定数据采集参数并向数据收集终端发送;
获取由所述数据收集终端生成的与所述数据采集参数对应的响应数据。
4.根据权利要求3所述的数据采集方法,其特征在于,所述将所述数据采集指令添加到第一数据队列的步骤,包括:
当待添加的数据采集指令与所述第一数据队列中已存在的一个数据采集指令相同时,更新所述一个数据采集指令的有效时间属性。
5.根据权利要求3所述的数据采集方法,其特征在于,所述确定出数据采集指令符合预设校验条件的第二数据队列,包括:
逐一确定所述第一数据队列中每个数据采集指令的有效时间属性中的指令有效时间;
根据所述第一数据队列中的所述指令有效时间小于或等于预设时间阈值的数据采集指令,确定所述第二数据队列。
6.根据权利要求5所述的数据采集方法,其特征在于,所述根据所述第一数据队列中的所述指令有效时间小于或等于预设时间阈值的数据采集指令,确定所述第二数据队列,包括:
删除所述第一数据队列中指令有效时间大于所述预设时间阈值的数据采集指令,确定处理后第一数据队列;
复制所述处理后第一数据队列,作为所述第二数据队列。
7.根据权利要求3所述的数据采集方法,其特征在于,所述根据所述第二数据队列,确定数据采集参数并向数据收集终端发送,包括:
以预设频率逐一获取所述第二数据队列中的数据采集指令;
解析出所述数据采集指令中的所述数据采集参数;
根据所述数据采集参数中的对象信息,将所述数据采集参数向所述对象信息相应的所述数据收集终端发送。
8.根据权利要求3所述的数据采集方法,其特征在于,所述获取由所述数据收集终端生成的与所述数据采集参数对应的响应数据,包括:
获取到所述数据收集终端生成的响应数据;
解析所述响应数据为响应参数;
根据所述响应参数,更新数据内存。
9.一种数据采集装置,其特征在于,包括:
获取模块,用于获取多个数据采集指令,将所述数据采集指令添加到第一数据队列;
克隆模块,用于根据所述第一数据队列,确定出所述数据采集指令符合预设校验条件的第二数据队列;
发送模块,用于根据所述第二数据队列,确定数据采集参数并向数据收集终端发送;
采集模块,用于获取由所述数据收集终端生成的与所述数据采集参数对应的响应数据。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行权利要求3~8中任一项所述的数据采集方法。
11.一种计算机可读存储介质,其特征在于,所述计算机存储介质用于存储计算机程序,当所述计算机程序在计算机上运行时,实现上述权利要求3~8中任一项所述的数据采集方法。
CN201911206637.5A 2019-11-29 2019-11-29 数据采集系统、方法、装置、电子设备及计算机存储介质 Pending CN112614002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911206637.5A CN112614002A (zh) 2019-11-29 2019-11-29 数据采集系统、方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911206637.5A CN112614002A (zh) 2019-11-29 2019-11-29 数据采集系统、方法、装置、电子设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN112614002A true CN112614002A (zh) 2021-04-06

Family

ID=75224299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911206637.5A Pending CN112614002A (zh) 2019-11-29 2019-11-29 数据采集系统、方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112614002A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040442A (zh) * 2021-11-26 2022-02-11 珠海格力电器股份有限公司 一种无线网关传输系统及其信息过滤方法、无线网关
CN114339044A (zh) * 2021-12-29 2022-04-12 天津天地伟业智能安全防范科技有限公司 一种基于消息队列的高吞吐量的抓拍方法及装置
CN115150307A (zh) * 2022-06-30 2022-10-04 北京天融信网络安全技术有限公司 采集频率安全检测的方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156547A1 (en) * 2002-02-15 2003-08-21 Exanet. Inc. System and method for handling overload of requests in a client-server environment
CN103686769A (zh) * 2012-09-12 2014-03-26 中兴通讯股份有限公司 终端设备的业务控制方法及装置
CN107580054A (zh) * 2017-09-08 2018-01-12 深圳市智物联网络有限公司 基于物联网的工业设备反向控制方法及系统
CN108596389A (zh) * 2018-04-24 2018-09-28 宁波三星医疗电气股份有限公司 基于蚁群算法的电力集中器智能抄表方法
CN109088908A (zh) * 2018-06-06 2018-12-25 武汉酷犬数据科技有限公司 一种面向网络的分布式通用数据采集方法和系统
CN109413180A (zh) * 2018-10-26 2019-03-01 厦门科灿信息技术有限公司 一种数据采集方法、系统及设备和存储介质
CN109656707A (zh) * 2018-12-26 2019-04-19 鼎信信息科技有限责任公司 计量数据采集方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156547A1 (en) * 2002-02-15 2003-08-21 Exanet. Inc. System and method for handling overload of requests in a client-server environment
CN103686769A (zh) * 2012-09-12 2014-03-26 中兴通讯股份有限公司 终端设备的业务控制方法及装置
CN107580054A (zh) * 2017-09-08 2018-01-12 深圳市智物联网络有限公司 基于物联网的工业设备反向控制方法及系统
CN108596389A (zh) * 2018-04-24 2018-09-28 宁波三星医疗电气股份有限公司 基于蚁群算法的电力集中器智能抄表方法
CN109088908A (zh) * 2018-06-06 2018-12-25 武汉酷犬数据科技有限公司 一种面向网络的分布式通用数据采集方法和系统
CN109413180A (zh) * 2018-10-26 2019-03-01 厦门科灿信息技术有限公司 一种数据采集方法、系统及设备和存储介质
CN109656707A (zh) * 2018-12-26 2019-04-19 鼎信信息科技有限责任公司 计量数据采集方法、装置、计算机设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040442A (zh) * 2021-11-26 2022-02-11 珠海格力电器股份有限公司 一种无线网关传输系统及其信息过滤方法、无线网关
CN114040442B (zh) * 2021-11-26 2023-11-14 珠海格力电器股份有限公司 一种无线网关传输系统及其信息过滤方法、无线网关
CN114339044A (zh) * 2021-12-29 2022-04-12 天津天地伟业智能安全防范科技有限公司 一种基于消息队列的高吞吐量的抓拍方法及装置
CN115150307A (zh) * 2022-06-30 2022-10-04 北京天融信网络安全技术有限公司 采集频率安全检测的方法、装置、存储介质及电子设备
CN115150307B (zh) * 2022-06-30 2023-12-22 珠海天融信网络安全技术有限公司 采集频率安全检测的方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN110704518B (zh) 基于Flink引擎的业务数据处理方法及装置
CN112614002A (zh) 数据采集系统、方法、装置、电子设备及计算机存储介质
CN112130993B (zh) 基于图形化建模的电力边缘物联代理边缘计算方法及系统
CN109033404B (zh) 日志数据处理方法、装置和系统
CN113900810A (zh) 分布式图处理方法、系统及存储介质
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN111585344A (zh) 一种基于全站ied仿真的变电站智能校核方法及装置
CN111177193A (zh) 一种基于Flink的日志流式处理方法及系统
CN112559538A (zh) 关联关系生成方法、装置、计算机设备和存储介质
CN114401207B (zh) 一种通讯异常终端设备定位方法、装置及电子设备
CN113157790B (zh) 一种核聚变曲线编辑方法、系统、终端及介质
CN111158892A (zh) 一种任务队列生成方法、装置及设备
CN109409948B (zh) 交易异常检测方法、装置、设备及计算机可读存储介质
CN104468248A (zh) 业务性能的监控方法、反向代理服务器、统计分析服务器及系统
CN111130882A (zh) 网络设备的监控系统及方法
CN116955075A (zh) 一种基于日志的解析语句生成方法、装置、设备及介质
CN114510708A (zh) 实时数据仓库构建、异常检测方法、装置、设备及产品
CN114584573A (zh) 一种基于长轮询机制的节点机信息同步方法
CN114817671A (zh) 一种空调物联网的日志分析方法及系统
CN111049877B (zh) 一种大数据对外输出方法、装置及数据开放平台
CN107066538B (zh) 一种数据统计的方法及装置
CN113641576B (zh) 数据库的测试方法、装置及终端设备
CN114417065A (zh) 信息获取方法、装置、服务器及存储介质
CN115639997B (zh) Json格式描述opc ua信息模型的方法和系统
CN116974856B (zh) 一种自动获取日志文件的方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination