CN115374300A - 一种用于海上风电设备的多源异构数据存储方法及系统 - Google Patents

一种用于海上风电设备的多源异构数据存储方法及系统 Download PDF

Info

Publication number
CN115374300A
CN115374300A CN202211309952.2A CN202211309952A CN115374300A CN 115374300 A CN115374300 A CN 115374300A CN 202211309952 A CN202211309952 A CN 202211309952A CN 115374300 A CN115374300 A CN 115374300A
Authority
CN
China
Prior art keywords
data
acquisition equipment
target data
database
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211309952.2A
Other languages
English (en)
Other versions
CN115374300B (zh
Inventor
孙小钎
马泽嶙
苗文举
许靖
郝利忠
吴蓉
吴潘兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qianyao New Energy Technology Development Co ltd
Original Assignee
Beijing Qianyao New Energy Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qianyao New Energy Technology Development Co ltd filed Critical Beijing Qianyao New Energy Technology Development Co ltd
Priority to CN202211309952.2A priority Critical patent/CN115374300B/zh
Publication of CN115374300A publication Critical patent/CN115374300A/zh
Application granted granted Critical
Publication of CN115374300B publication Critical patent/CN115374300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及风电设备监测技术领域,具体公开了一种用于海上风电设备的多源异构数据存储方法及系统,所述方法包括根据预设的显示模型接收用户的输入信号,确定含有数据结构和位置信息的数据点;根据所述数据结构和所述位置信息选取并安装采集设备;接收采集设备实时获取到的目标数据;采集并记录预设时间段内采集设备的数据传输特征,根据数据传输特征对采集设备进行聚类;将同类采集设备获取到的目标数据输入同一数据库。本发明在接收采集设备获取到的数据时,记录数据传输特征,根据数据传输特征将关联性较强的采集设备分为一类,将同类采集设备获取到的目标数据转换为图像数据后,统一保存;实现了针对多源异构数据的集成式存储功能。

Description

一种用于海上风电设备的多源异构数据存储方法及系统
技术领域
本发明涉及风电设备监测技术领域,具体是一种用于海上风电设备的多源异构数据存储方法及系统。
背景技术
在海上风电设备的工作过程中,采集到的数据种类很多,这些数据有的是海洋数据,有的是设备本身的数据,由于海上工作的复杂性与重要性,这些数据大都需要存储;可以想到,不同类型的数据对应着不同的数据表,这些数据表中的数据都具有相互独立的数据结构,当需要采集的数据较多时,存储压力将非常大,因此,如何优化不同数据的存储过程是本发明技术方案想要解决的技术问题。
发明内容
本发明的目的在于提供一种用于海上风电设备的多源异构数据存储方法及系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种用于海上风电设备的多源异构数据存储方法,所述方法包括:
根据预设的显示模型接收用户的输入信号,确定含有数据结构和位置信息的数据点;所述显示模型与待监控区域之间存在确定的比例尺;
根据所述数据结构和所述位置信息选取并安装采集设备;
接收采集设备实时获取到的目标数据;
采集并记录预设时间段内采集设备的数据传输特征,根据数据传输特征对采集设备进行聚类;
将同类采集设备获取到的目标数据输入同一数据库。
作为本发明进一步的方案:所述根据预设的显示模型接收用户的输入信号,确定含有数据结构和位置信息的数据点的步骤包括:
接收用户输入的边界点坐标,根据所述边界点坐标计算两个垂直方向上的极限距离;
获取显示参数,根据所述显示参数和所述极限距离确定比例尺;
根据边界点坐标和比例尺生成含有数据输入端口的显示模型;所述显示模型与待监控区域存在相互对应的原点;
根据数据输入端口获取用户输入的点位信息,确定数据点;
接收用户输入的功能标签,根据功能标签在预设的数据结构表中查询数据结构,将查询到的数据结构插入数据点。
作为本发明进一步的方案:所述根据所述数据结构和所述位置信息选取并安装采集设备的步骤包括:
根据数据结构在备案的采集设备表中标记采集设备;
获取数据点的环境参数,根据所述环境参数修正标记信息;
统计并显示标记的采集设备,接收用户输入的选取信息,确定目标设备;
根据位置信息生成目标设备的安装指引。
作为本发明进一步的方案:所述接收采集设备实时获取到的目标数据的步骤包括:
接收采集设备实时获取到的目标数据,将所述目标数据输入预设的缓存队列;
对缓存队列中的目标数据进行重合度识别,当后一目标数据与前一目标数据的重合度达到预设的重合度阈值时,删除后一目标数据;
实时计算缓存队列中目标数据的数据条数,当所述数据条数达到预设的条数阈值时,将缓存队列的头部元素提取至子数据库;
其中,缓存队列、采集设备和子数据库均含有同一身份标签;所述身份标签由所述数据结构和位置信息确定;所述目标数据含有时间信息。
作为本发明进一步的方案:所述采集并记录预设时间段内采集设备的数据传输特征,根据数据传输特征对采集设备进行聚类的步骤包括:
实时采集缓存队列的数据输入特征;所述数据输入特征由数据元大小和数据输入频率确定;
实时获取缓存队列的数据输出特征;所述数据输入特征由缓存队列的头部元素的提取时间确定;
根据所述数据输入特征和所述数据输出特征对采集设备进行聚类。
作为本发明进一步的方案:所述将同类采集设备获取到的目标数据输入同一数据库的步骤包括:
依次读取采集设备对应的数据结构,根据所述数据结构确定各采集设备对应的目标数据的数据类型;
当所述数据类型为数值型数据时,定位该采集设备对应的子数据库,读取子数据库中的目标数据,以时间信息为自变量生成数值曲线图;
当所述数据类型为图像型数据时,定位该采集设备对应的子数据库,读取子数据库中的目标数据,调整所述目标数据的参数,得到修正图像;所述修正图像的数据量小于预设的数据量阈值;
向数值曲线图和修正图像中插入对应的采集设备的身份标签,输入同一数据库。
本发明技术方案还提供了一种用于海上风电设备的多源异构数据存储系统,所述系统包括:
数据点确定模块,用于根据预设的显示模型接收用户的输入信号,确定含有数据结构和位置信息的数据点;所述显示模型与待监控区域之间存在确定的比例尺;
设备安装模块,用于根据所述数据结构和所述位置信息选取并安装采集设备;
数据接收模块,用于接收采集设备实时获取到的目标数据;
设备聚类模块,用于采集并记录预设时间段内采集设备的数据传输特征,根据数据传输特征对采集设备进行聚类;
数据传输模块,用于将同类采集设备获取到的目标数据输入同一数据库。
作为本发明进一步的方案:所述数据接收模块包括:
数据缓存单元,用于接收采集设备实时获取到的目标数据,将所述目标数据输入预设的缓存队列;
重合筛选单元,用于对缓存队列中的目标数据进行重合度识别,当后一目标数据与前一目标数据的重合度达到预设的重合度阈值时,删除后一目标数据;
数据提取单元,用于实时计算缓存队列中目标数据的数据条数,当所述数据条数达到预设的条数阈值时,将缓存队列的头部元素提取至子数据库;
其中,缓存队列、采集设备和子数据库均含有同一身份标签;所述身份标签由所述数据结构和位置信息确定;所述目标数据含有时间信息。
作为本发明进一步的方案:所述设备聚类模块包括:
输入特征查询单元,用于实时采集缓存队列的数据输入特征;所述数据输入特征由数据元大小和数据输入频率确定;
输出特征查询单元,用于实时获取缓存队列的数据输出特征;所述数据输入特征由缓存队列的头部元素的提取时间确定;
特征分析单元,用于根据所述数据输入特征和所述数据输出特征对采集设备进行聚类。
作为本发明进一步的方案:所述数据传输模块包括:
数据类型确定单元,用于依次读取采集设备对应的数据结构,根据所述数据结构确定各采集设备对应的目标数据的数据类型;
数值转换单元,用于当所述数据类型为数值型数据时,定位该采集设备对应的子数据库,读取子数据库中的目标数据,以时间信息为自变量生成数值曲线图;
修正图像生成单元,用于当所述数据类型为图像型数据时,定位该采集设备对应的子数据库,读取子数据库中的目标数据,调整所述目标数据的参数,得到修正图像;所述修正图像的数据量小于预设的数据量阈值;
标签插入单元,用于向数值曲线图和修正图像中插入对应的采集设备的身份标签,输入同一数据库。
与现有技术相比,本发明的有益效果是:本发明建立与实际场景对应的显示模型,基于显示模型确定数据点,根据数据点安装采集设备;在接收采集设备获取到的数据时,记录数据传输特征,根据数据传输特征将关联性较强的采集设备分为一类,将同类采集设备获取到的目标数据转换为图像数据后,统一保存;实现了针对多源异构数据的集成式存储功能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1为用于海上风电设备的多源异构数据存储方法的流程框图。
图2为用于海上风电设备的多源异构数据存储方法的第一子流程框图。
图3为用于海上风电设备的多源异构数据存储方法的第二子流程框图。
图4为用于海上风电设备的多源异构数据存储方法的第三子流程框图。
图5为用于海上风电设备的多源异构数据存储方法的第四子流程框图。
图6为用于海上风电设备的多源异构数据存储方法的第五子流程框图。
图7为用于海上风电设备的多源异构数据存储系统的组成结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
图1为用于海上风电设备的多源异构数据存储方法的流程框图,本发明实施例中,一种用于海上风电设备的多源异构数据存储方法,所述方法包括步骤S100至步骤S500:
步骤S100:根据预设的显示模型接收用户的输入信号,确定含有数据结构和位置信息的数据点;所述显示模型与待监控区域之间存在确定的比例尺;
通俗地说,显示模型是在显示器中显示的地图,这个地图与待监控区域之间存在确定的比例尺;所述显示器设有信息输入端口,比如触屏模块,根据这一信息输入端口可以接收用户输入的信号,进而在该地图中确定一些数据点,这一数据点对应的实际硬件设备就是采集设备。其中,在确定数据点的过程中,一是要确定该数据点对应的采集设备的位置信息,二是要确定该采集设备需要获取何种数据,也就是其数据结构。
步骤S200:根据所述数据结构和所述位置信息选取并安装采集设备;
根据所述数据结构和所述位置信息可以在风电设备区(待监控区域)安装采集设备,所述采集设备可以是安装在风电设备上的传感器,也可以是安装在海上平台上的摄像头,还可以是一些无人机和无人艇等等。
步骤S300:接收采集设备实时获取到的目标数据;
本发明技术方案中的方法由数据处理端完成,所述数据处理端的硬件架构可以是服务器集群,所述数据处理端与采集设备之间存在数据传输过程,采集设备获取到数据之后,统一向数据处理端发送,数据处理端对这些采集设备获取到的数据进行统计。
步骤S400:采集并记录预设时间段内采集设备的数据传输特征,根据数据传输特征对采集设备进行聚类;
在数据处理端接收采集设备获取到的数据的过程中,数据处理端实时的记录数据传输特征,根据数据传输特征可以对采集设备进行分类,同类采集设备的数据传输特征相近,将相近的目标数据视为一批数据进行存储,可以提高数据的紧密性;
值得一提的是,数据传输特征相近的目标数据,其关联性较强,比如,风电设备的某一个模块出现了波动,这一波动有可能会影响其他模块,但是与远处的海浪采集设备之间并不存在影响关系。
步骤S500:将同类采集设备获取到的目标数据输入同一数据库;
将同类采集设备获取到的目标数据统一输入同一个数据库,将同类目标数据统一保存。
图2为用于海上风电设备的多源异构数据存储方法的第一子流程框图,所述根据预设的显示模型接收用户的输入信号,确定含有数据结构和位置信息的数据点的步骤包括步骤S101至步骤S105:
步骤S101:接收用户输入的边界点坐标,根据所述边界点坐标计算两个垂直方向上的极限距离;
步骤S102:获取显示参数,根据所述显示参数和所述极限距离确定比例尺;
步骤S103:根据边界点坐标和比例尺生成含有数据输入端口的显示模型;所述显示模型与待监控区域存在相互对应的原点;
步骤S104:根据数据输入端口获取用户输入的点位信息,确定数据点;
步骤S105:接收用户输入的功能标签,根据功能标签在预设的数据结构表中查询数据结构,将查询到的数据结构插入数据点。
步骤S101至步骤S105对数据点的确定过程进行了描述,由上述内容可以得知,数据点的确定过程发现在显示屏上,是一种软件层面的虚拟点确定过程;具体的流程为:根据用户输入的边界点坐标,确定待监控区域的实际范围;所述边界点坐标可以由用户输入,也可以借助现有的卫星定位系统获取;然后,获取显示屏的显示参数,根据显示参数对实际范围进行匹配,进而确定一个比例尺;实际上,考虑到放大功能,比例尺往往设置成一个范围;根据比例尺和实际范围即可生成一个显示模型;其中,所述显示模型与待监控区域存在相互对应的原点。
在显示模型的基础上,接收用户输入的点位信息,可以确定数据点;最后,由用户输入的功能标签确定数据点的数据结构,即可得到含有数据结构和位置信息的数据点。
图3为用于海上风电设备的多源异构数据存储方法的第二子流程框图,所述根据所述数据结构和所述位置信息选取并安装采集设备的步骤包括步骤S201至步骤S204:
步骤S201:根据数据结构在备案的采集设备表中标记采集设备;
步骤S202:获取数据点的环境参数,根据所述环境参数修正标记信息;
步骤S203:统计并显示标记的采集设备,接收用户输入的选取信息,确定目标设备;
步骤S204:根据位置信息生成目标设备的安装指引。
步骤S201至步骤S204对采集设备的安装过程进行了限定,在已经确定了数据点的基础上,安装采集设备并不困难,重点就是采集设备的选取过程;能够满足条件的采集设备有很多,上述内容中还引入了环境参数这一概念,进一步缩小了采集设备的可选范围,使得采集设备的选取过程更加准确。
图4为用于海上风电设备的多源异构数据存储方法的第三子流程框图,所述接收采集设备实时获取到的目标数据的步骤包括步骤S301至步骤S303:
步骤S301:接收采集设备实时获取到的目标数据,将所述目标数据输入预设的缓存队列;
步骤S302:对缓存队列中的目标数据进行重合度识别,当后一目标数据与前一目标数据的重合度达到预设的重合度阈值时,删除后一目标数据;
步骤S303:实时计算缓存队列中目标数据的数据条数,当所述数据条数达到预设的条数阈值时,将缓存队列的头部元素提取至子数据库;
其中,缓存队列、采集设备和子数据库均含有同一身份标签;所述身份标签由所述数据结构和位置信息确定;所述目标数据含有时间信息。
由于采集设备的类型不同,因此,将采集设备获取到的数据统称为目标数据;在实际的场景中,很多采集设备采集到的数据都是稳定的,其波动数值几乎为零,因此,在存储时,采用时间+数值的方式更为合适,比如,1点到3点某一模块稳定输入高电平,这与一直记录高电平的方式相比,极大地提高了存储空间的利用率。
在本发明技术方案的一个实例中,通过缓存队列,对新获取到的目标数据进行重合分析,如果后一数据与前一数据足够相似,那么保留一个即可,最终,缓存队列中都是一些有效数据;当有效数据的数据量足够多时,就将缓存队列中的数据提取至对应的子数据库中。
值得一提的是,对于图像数据的重合度评判过程,可以用平均色值来反映,这是因为,海浪本身是运动的,海面本身不平静,但是一张图像中的海面的颜色几乎不会发生大的变化,其均值也是相对稳定的,一旦发生大的变化,就说明环境发生了变化,比如光照强度发生了明显改变;又或者是出现了一些异物。
图5为用于海上风电设备的多源异构数据存储方法的第四子流程框图,所述采集并记录预设时间段内采集设备的数据传输特征,根据数据传输特征对采集设备进行聚类的步骤包括步骤S401至步骤S403:
步骤S401:实时采集缓存队列的数据输入特征;所述数据输入特征由数据元大小和数据输入频率确定;
步骤S402:实时获取缓存队列的数据输出特征;所述数据输入特征由缓存队列的头部元素的提取时间确定;
步骤S403:根据所述数据输入特征和所述数据输出特征对采集设备进行聚类。
数据输入特征指的是,保存在缓存队列中的目标数据的大小及其保存频率,由于存在重合度识别过程,缓存队列中的目标数据存在一个更新频率(数据输入频率),往往会间隔一段时间才会添加一个新数据;数据输入特征就包括数据元大小和数据输入频率;数据输出特征指的是缓存队列的数据提取时间,缓存队列的数据达到一定量时,数据处理端才会提取其中的数据(保证缓存队列中有数据)。
如果两个缓存队列的数据输入特征和数据输出特征均相似,就说明这两个缓存队列对应的采集设备之间是相关联的,因此,它们可以归为一类。
值得一提的是,单独比对数据输入特征或数据输出特征也是可行的。
图6为用于海上风电设备的多源异构数据存储方法的第五子流程框图,所述将同类采集设备获取到的目标数据输入同一数据库的步骤包括步骤S501至步骤S504:
步骤S501:依次读取采集设备对应的数据结构,根据所述数据结构确定各采集设备对应的目标数据的数据类型;
步骤S502:当所述数据类型为数值型数据时,定位该采集设备对应的子数据库,读取子数据库中的目标数据,以时间信息为自变量生成数值曲线图;
步骤S503:当所述数据类型为图像型数据时,定位该采集设备对应的子数据库,读取子数据库中的目标数据,调整所述目标数据的参数,得到修正图像;所述修正图像的数据量小于预设的数据量阈值;
步骤S504:向数值曲线图和修正图像中插入对应的采集设备的身份标签,输入同一数据库。
同类采集设备采集到的目标数据的数据结构可能存在差异,用同一数据库进行保存,对数据库及其接口的要求较高,不仅不易维护,还容易出错,因此,将目标数据统一为图像数据。
具体的,目标数据可以分为数值类和图像类,如果目标数据是数值类数据,就将目标数据转换为曲线图,如果目标数据是图像类数据,就对目标数据进行一些虚化或压缩处理,防止目标数据过大;此外,目标数据获取完成后,向目标数据中插入身份标签。
实施例2
图7为用于海上风电设备的多源异构数据存储系统的组成结构框图,本发明实施例中,一种用于海上风电设备的多源异构数据存储系统,所述系统包括:
数据点确定模块,用于根据预设的显示模型接收用户的输入信号,确定含有数据结构和位置信息的数据点;所述显示模型与待监控区域之间存在确定的比例尺;
设备安装模块,用于根据所述数据结构和所述位置信息选取并安装采集设备;
数据接收模块,用于接收采集设备实时获取到的目标数据;
设备聚类模块,用于采集并记录预设时间段内采集设备的数据传输特征,根据数据传输特征对采集设备进行聚类;
数据传输模块,用于将同类采集设备获取到的目标数据输入同一数据库。
所述数据接收模块包括:
数据缓存单元,用于接收采集设备实时获取到的目标数据,将所述目标数据输入预设的缓存队列;
重合筛选单元,用于对缓存队列中的目标数据进行重合度识别,当后一目标数据与前一目标数据的重合度达到预设的重合度阈值时,删除后一目标数据;
数据提取单元,用于实时计算缓存队列中目标数据的数据条数,当所述数据条数达到预设的条数阈值时,将缓存队列的头部元素提取至子数据库;
其中,缓存队列、采集设备和子数据库均含有同一身份标签;所述身份标签由所述数据结构和位置信息确定;所述目标数据含有时间信息。
所述设备聚类模块包括:
输入特征查询单元,用于实时采集缓存队列的数据输入特征;所述数据输入特征由数据元大小和数据输入频率确定;
输出特征查询单元,用于实时获取缓存队列的数据输出特征;所述数据输入特征由缓存队列的头部元素的提取时间确定;
特征分析单元,用于根据所述数据输入特征和所述数据输出特征对采集设备进行聚类。
所述数据传输模块包括:
数据类型确定单元,用于依次读取采集设备对应的数据结构,根据所述数据结构确定各采集设备对应的目标数据的数据类型;
数值转换单元,用于当所述数据类型为数值型数据时,定位该采集设备对应的子数据库,读取子数据库中的目标数据,以时间信息为自变量生成数值曲线图;
修正图像生成单元,用于当所述数据类型为图像型数据时,定位该采集设备对应的子数据库,读取子数据库中的目标数据,调整所述目标数据的参数,得到修正图像;所述修正图像的数据量小于预设的数据量阈值;
标签插入单元,用于向数值曲线图和修正图像中插入对应的采集设备的身份标签,输入同一数据库。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于海上风电设备的多源异构数据存储方法,其特征在于,所述方法包括:
根据预设的显示模型接收用户的输入信号,确定含有数据结构和位置信息的数据点;所述显示模型与待监控区域之间存在确定的比例尺;
根据所述数据结构和所述位置信息选取并安装采集设备;
接收采集设备实时获取到的目标数据;
采集并记录预设时间段内采集设备的数据传输特征,根据数据传输特征对采集设备进行聚类;
将同类采集设备获取到的目标数据输入同一数据库。
2.根据权利要求1所述的用于海上风电设备的多源异构数据存储方法,其特征在于,所述根据预设的显示模型接收用户的输入信号,确定含有数据结构和位置信息的数据点的步骤包括:
接收用户输入的边界点坐标,根据所述边界点坐标计算两个垂直方向上的极限距离;
获取显示参数,根据所述显示参数和所述极限距离确定比例尺;
根据边界点坐标和比例尺生成含有数据输入端口的显示模型;所述显示模型与待监控区域存在相互对应的原点;
根据数据输入端口获取用户输入的点位信息,确定数据点;
接收用户输入的功能标签,根据功能标签在预设的数据结构表中查询数据结构,将查询到的数据结构插入数据点。
3.根据权利要求1所述的用于海上风电设备的多源异构数据存储方法,其特征在于,所述根据所述数据结构和所述位置信息选取并安装采集设备的步骤包括:
根据数据结构在备案的采集设备表中标记采集设备;
获取数据点的环境参数,根据所述环境参数修正标记信息;
统计并显示标记的采集设备,接收用户输入的选取信息,确定目标设备;
根据位置信息生成目标设备的安装指引。
4.根据权利要求1所述的用于海上风电设备的多源异构数据存储方法,其特征在于,所述接收采集设备实时获取到的目标数据的步骤包括:
接收采集设备实时获取到的目标数据,将所述目标数据输入预设的缓存队列;
对缓存队列中的目标数据进行重合度识别,当后一目标数据与前一目标数据的重合度达到预设的重合度阈值时,删除后一目标数据;
实时计算缓存队列中目标数据的数据条数,当所述数据条数达到预设的条数阈值时,将缓存队列的头部元素提取至子数据库;
其中,缓存队列、采集设备和子数据库均含有同一身份标签;所述身份标签由所述数据结构和位置信息确定;所述目标数据含有时间信息。
5.根据权利要求1所述的用于海上风电设备的多源异构数据存储方法,其特征在于,所述采集并记录预设时间段内采集设备的数据传输特征,根据数据传输特征对采集设备进行聚类的步骤包括:
实时采集缓存队列的数据输入特征;所述数据输入特征由数据元大小和数据输入频率确定;
实时获取缓存队列的数据输出特征;所述数据输入特征由缓存队列的头部元素的提取时间确定;
根据所述数据输入特征和所述数据输出特征对采集设备进行聚类。
6.根据权利要求1所述的用于海上风电设备的多源异构数据存储方法,其特征在于,所述将同类采集设备获取到的目标数据输入同一数据库的步骤包括:
依次读取采集设备对应的数据结构,根据所述数据结构确定各采集设备对应的目标数据的数据类型;
当所述数据类型为数值型数据时,定位该采集设备对应的子数据库,读取子数据库中的目标数据,以时间信息为自变量生成数值曲线图;
当所述数据类型为图像型数据时,定位该采集设备对应的子数据库,读取子数据库中的目标数据,调整所述目标数据的参数,得到修正图像;所述修正图像的数据量小于预设的数据量阈值;
向数值曲线图和修正图像中插入对应的采集设备的身份标签,输入同一数据库。
7.一种用于海上风电设备的多源异构数据存储系统,其特征在于,所述系统包括:
数据点确定模块,用于根据预设的显示模型接收用户的输入信号,确定含有数据结构和位置信息的数据点;所述显示模型与待监控区域之间存在确定的比例尺;
设备安装模块,用于根据所述数据结构和所述位置信息选取并安装采集设备;
数据接收模块,用于接收采集设备实时获取到的目标数据;
设备聚类模块,用于采集并记录预设时间段内采集设备的数据传输特征,根据数据传输特征对采集设备进行聚类;
数据传输模块,用于将同类采集设备获取到的目标数据输入同一数据库。
8.根据权利要求7所述的用于海上风电设备的多源异构数据存储系统,其特征在于,所述数据接收模块包括:
数据缓存单元,用于接收采集设备实时获取到的目标数据,将所述目标数据输入预设的缓存队列;
重合筛选单元,用于对缓存队列中的目标数据进行重合度识别,当后一目标数据与前一目标数据的重合度达到预设的重合度阈值时,删除后一目标数据;
数据提取单元,用于实时计算缓存队列中目标数据的数据条数,当所述数据条数达到预设的条数阈值时,将缓存队列的头部元素提取至子数据库;
其中,缓存队列、采集设备和子数据库均含有同一身份标签;所述身份标签由所述数据结构和位置信息确定;所述目标数据含有时间信息。
9.根据权利要求7所述的用于海上风电设备的多源异构数据存储系统,其特征在于,所述设备聚类模块包括:
输入特征查询单元,用于实时采集缓存队列的数据输入特征;所述数据输入特征由数据元大小和数据输入频率确定;
输出特征查询单元,用于实时获取缓存队列的数据输出特征;所述数据输入特征由缓存队列的头部元素的提取时间确定;
特征分析单元,用于根据所述数据输入特征和所述数据输出特征对采集设备进行聚类。
10.根据权利要求7所述的用于海上风电设备的多源异构数据存储系统,其特征在于,所述数据传输模块包括:
数据类型确定单元,用于依次读取采集设备对应的数据结构,根据所述数据结构确定各采集设备对应的目标数据的数据类型;
数值转换单元,用于当所述数据类型为数值型数据时,定位该采集设备对应的子数据库,读取子数据库中的目标数据,以时间信息为自变量生成数值曲线图;
修正图像生成单元,用于当所述数据类型为图像型数据时,定位该采集设备对应的子数据库,读取子数据库中的目标数据,调整所述目标数据的参数,得到修正图像;所述修正图像的数据量小于预设的数据量阈值;
标签插入单元,用于向数值曲线图和修正图像中插入对应的采集设备的身份标签,输入同一数据库。
CN202211309952.2A 2022-10-25 2022-10-25 一种用于海上风电设备的多源异构数据存储方法及系统 Active CN115374300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211309952.2A CN115374300B (zh) 2022-10-25 2022-10-25 一种用于海上风电设备的多源异构数据存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211309952.2A CN115374300B (zh) 2022-10-25 2022-10-25 一种用于海上风电设备的多源异构数据存储方法及系统

Publications (2)

Publication Number Publication Date
CN115374300A true CN115374300A (zh) 2022-11-22
CN115374300B CN115374300B (zh) 2023-01-24

Family

ID=84072968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211309952.2A Active CN115374300B (zh) 2022-10-25 2022-10-25 一种用于海上风电设备的多源异构数据存储方法及系统

Country Status (1)

Country Link
CN (1) CN115374300B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591139A (zh) * 2024-01-16 2024-02-23 北京航天绘景科技有限公司 一种海洋监测数据的同步优化方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6012058A (en) * 1998-03-17 2000-01-04 Microsoft Corporation Scalable system for K-means clustering of large databases
CN107330056A (zh) * 2017-06-29 2017-11-07 河北工业大学 基于大数据云计算平台的风电场scada系统及其运行方法
CN110377663A (zh) * 2019-07-17 2019-10-25 国网陕西省电力公司电力科学研究院 一种电网环保生态多源异构大数据采集交互平台
CN114872574A (zh) * 2022-07-01 2022-08-09 惠州市丝鹭新能源科技有限公司 基于充电桩的采集与监控系统及方法
CN115037766A (zh) * 2022-06-12 2022-09-09 上海慧程工程技术服务有限公司 一种工业设备物联网数据采集方法及装置
CN115222909A (zh) * 2022-09-19 2022-10-21 深圳市湾测技术有限公司 一种三维图像检测模型构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6012058A (en) * 1998-03-17 2000-01-04 Microsoft Corporation Scalable system for K-means clustering of large databases
CN107330056A (zh) * 2017-06-29 2017-11-07 河北工业大学 基于大数据云计算平台的风电场scada系统及其运行方法
CN110377663A (zh) * 2019-07-17 2019-10-25 国网陕西省电力公司电力科学研究院 一种电网环保生态多源异构大数据采集交互平台
CN115037766A (zh) * 2022-06-12 2022-09-09 上海慧程工程技术服务有限公司 一种工业设备物联网数据采集方法及装置
CN114872574A (zh) * 2022-07-01 2022-08-09 惠州市丝鹭新能源科技有限公司 基于充电桩的采集与监控系统及方法
CN115222909A (zh) * 2022-09-19 2022-10-21 深圳市湾测技术有限公司 一种三维图像检测模型构建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591139A (zh) * 2024-01-16 2024-02-23 北京航天绘景科技有限公司 一种海洋监测数据的同步优化方法及系统
CN117591139B (zh) * 2024-01-16 2024-04-09 北京航天绘景科技有限公司 一种海洋监测数据的同步优化方法及系统

Also Published As

Publication number Publication date
CN115374300B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN115374300B (zh) 一种用于海上风电设备的多源异构数据存储方法及系统
CN111950396B (zh) 一种仪表读数神经网络识别方法
CN115019158B (zh) 一种基于图像识别的海洋污染区域识别方法及系统
CN111598942A (zh) 一种用于对电力设施仪表进行自动定位的方法及系统
CN111368906A (zh) 一种基于深度学习的指针式油位计读数识别方法
CN111027456A (zh) 基于图像识别的机械水表读数识别方法
CN115439753A (zh) 一种基于dem的陡峭河岸识别方法及系统
CN109614512B (zh) 一种基于深度学习的电力设备检索方法
CN113295142B (zh) 一种基于faro扫描仪和点云的地形扫描分析方法和装置
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
CN114004950A (zh) 一种基于BIM与LiDAR技术的路面病害智能识别与管理方法
CN113705350A (zh) 变电站的指针仪表读数识别方法、装置、介质和电子设备
CN116310263A (zh) 一种指针式航空地平仪示数自动读取实现方法
CN111199191A (zh) 基于刻度搜索的指针式仪表自动读取方法
CN112783962B (zh) 基于etl技术的时空大数据人工智能分析方法及系统
CN114035189A (zh) 一种道路隐患定位方法、装置、电子设备及存储介质
CN113239076A (zh) 一种基于三维影像的地理信息查询管理平台
CN114119389A (zh) 一种图像复原方法、系统和存储模块
CN113112551A (zh) 相机参数的确定方法、装置、路侧设备和云控平台
CN116522261B (zh) 一种基于大数据的风险信息监控方法及系统
CN113469162B (zh) 基于双尺度分割的指针仪表识读方法、装置、设备和介质
CN112584033B (zh) 图像采集参数调节方法、装置及设备
CN111652935B (zh) 一种铁路火车托架的定位系统及其方法
CN117437654B (zh) 一种基于语义识别的栅格地图解析方法、设备和介质
CN117809315A (zh) 一种通用仪表识别方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant