CN113468168B - 一种起重机械多源异构数据高速采集与处理软控制方法 - Google Patents
一种起重机械多源异构数据高速采集与处理软控制方法 Download PDFInfo
- Publication number
- CN113468168B CN113468168B CN202110585295.3A CN202110585295A CN113468168B CN 113468168 B CN113468168 B CN 113468168B CN 202110585295 A CN202110585295 A CN 202110585295A CN 113468168 B CN113468168 B CN 113468168B
- Authority
- CN
- China
- Prior art keywords
- data
- acquisition
- domain
- time
- time window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims abstract description 12
- 238000004806 packaging method and process Methods 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims description 28
- 238000007405 data analysis Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000005538 encapsulation Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 3
- 230000036541 health Effects 0.000 description 14
- 230000010354 integration Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000005059 dormancy Effects 0.000 description 2
- 238000011058 failure modes and effects analysis Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 108700012277 ALL-VI protocol Proteins 0.000 description 1
- 238000012351 Integrated analysis Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000010310 metallurgical process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000009751 slip forming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种起重机械多源异构数据高速采集与处理软控制方法，依据各参数采集周期建立时间窗口，与采集设备建立网络通讯，依据时间窗口开始分段采集，对所采集的数据进行解析并初步以时间窗口进行时间区间分类；构建数据域模型，设立数据域分类规则与属性方法，将解析后的参数数据送入数据域；以时间窗口为基础进行多数据域并发处理，进而将数据域数据进行封装发送，最终形成数据流发送至实时数据库。本发明实现了起重机械安全运行监控数据的实时显示与分析，解决了起重机械运行参数与状态参数各参数之间的数据异构性以及时间分辨率不同难以整合的问题，提高了数据采集的实时性，保证了采集数据的准确性。
Description
技术领域
本发明属于数据采集与处理技术领域，更具体的，涉及一种起重机械多源异构数据高速采集与处理软控制方法，利用数据域模型与时间窗口通过多线程并发实现多源异构数据实时高速采集，进而利用内存数据库处理实时数据的方法。
背景技术
起重机械是港口、冶金过程中的重要工艺设备，也是物流的一个重要环节，其运行安全与健康状况预测不仅关乎企业经济效益，更关乎人民财产生命安全，因此需要对起重机械运行过程中的运行参数与状态参数进行监测，以保证运行安全并进行健康状况预测。
目前的起重机械安全监测系统主要通过在起重机械的主要位置加装相应的传感器，通过对单一装置的数据获取，根据预先设定的数据有效区域进行数据的判断，从而得到对起重机械该位置处运行状态的判断。对起重机械的健康状态判断主要通过安装一些过载保护的装置，用来防止由于起重机械的过载及超速等复杂状况下引起的起重机械突然停止运行，仅仅能够作为一种应急手段对起重机械的紧急故障进行及时处理，而不能够进行健康状态预测。该类系统由于各采集装置的不同导致采集的参数数据结构具有很大的差别，因此在对起重机械进行数据分析时，往往难以对全部数据进行集成分析，极易造成起重机械参数间的“信息孤岛”现象，同时也不利于产品生命周期管理(Product LifecycleManagement，PLM)系统的建立。因此，迫切需要构建一套起重机械参数实时采集系统，通过利用相应的传感器装置，对起重机械不同位置处的运行参数以及状态参数实现实时采集，并消除不同参数间的数据异构性进行集成。
根据GB/T 28264-2017《起重机械安全监控系统》所明确的要对起重机械工况运行参数进行监控。同时要对应力、振动等起重机械健康状态参数进行监控。由于在起重机械运行参数与状态参数采集中国内外相关采集设备种类较多，部分采集设备自带存储功能，可直接读取存储设备中数据，没有存储设备的采集设备一般通过相应的标准协议或私有协议传输数据，部分通讯协议需要进行相应转换才可进一步使用，因此，起重机械运行参数与状态参数的采集由于数据源的不同如何做到各参数数据的同步采集具有较大困难。此外，根据不同的采集需要，各运行参数与状态参数的采集频率往往不同，不同时间分辨率的数据对最终结果影响的权重各不相同，因此需要对不同时间分辨率的数据做到合理匹配。最后，由于采集设备的不同以及各运行参数与状态参数自身性质的不同，最终采集到的参数包括起升高度、起重量等数值型参数、起重机挡位、操作指令等数字量型参数、起重机特定位置视频监控等影像型等多种数据结构类型，其数据结构存在较大差异，要对采集数据进行有效集成，就必须消除数据间的异构性。因此，基于起重机械运行参数与状态参数多源异构的特性，要在消除数据间异构性与合理匹配不同时间分辨率数据的同时，保证数据采集的同步传输与实时性。
目前的异构数据集成方案主要有三种：联邦数据库、中间件集成方法、数据仓库。联邦数据库将各个独立的数据库的模式映射到一个共同的数据模式上，形成一个联邦模式。联邦数据库能够很好的解决数据源之间的异构性，但是联邦数据库只能够处理结构化数据，同时要构建一个完整有效的联邦模式需要极其复杂的算法。中间件集成方法通过构建中间件，并为每一个数据源设立包装器，利用中间件通过包装器与每个数据源进行通信。通过构建全局数据模式，用户在全局数据模式的基础上向中间件发出请求，中间件对用户请求做一定处理，将其转换成各个数据源能够直接处理的请求，并将子请求发送给包装器，由包装器与其封装的数据源进行交互，执行请求，并将查询结果返回给中间件。中间件系统不仅能够处理结构化数据，也能处理非结构化数据。但是中间件系统通常要求每个数据源能够保留有历史数据并提供查询功能，这在起重机械的运行参数与状态参数采集过程中通常很难实现。数据仓库集成方法将各个数据源的数据复制到一个统一的数据源——数据仓库上，并维护整体数据源的数据一致性。数据仓库能够很好的对所采集的数据进行存储并实现相应的历史数据查询功能，但不能够很好的支持实时数据的显示。
发明内容
本发明的目的是针对现有起重机械数据采集过程中普遍存在的数据单独采集，实时性差，分散管理，不易集中分析等问题，提出一种起重机械多源异构数据高速采集与处理软控制方法。
具体的技术方案为：
一种起重机械多源异构数据高速采集与处理软控制方法，主要包括如下步骤：
S1：根据参数采集需要选取采集设备、测量各参数采集周期并与参数采集设备进行匹配，接入采集系统。
具体包括以下子步骤：
S1.1获取待测起重机械运行参数与状态参数的具体参数名称与参数采集信息，包括数据形式、采集频率等；
S1.2根据采集参数的具体信息选择合适的采集设备，对采集设备进行ID编号，同时测量采集设备的采集周期并与待测参数的采集频率进行匹配；
S1.3将采集设备接入采集系统，同时获取各采集设备的数据传输协议并接入数据协议端口。为保证能够得到完整准确的参数，所述采集系统采用软实时系统(SRT，softreal-time)，在不满足系统实时性要求时，通过牺牲部分数据的精确性以满足实时性要求，同时仍然可以描述数据的变化趋势；
S1.4在实时调度过程中，采集系统实时调度以tDmax为最大限度来满足所有任务的采集时间要求，同时在数据有效期(TV＝tDmax-tQ)内完成对数据的解析处理；
S2：依据各参数采集周期建立时间窗口，与采集设备建立网络通讯，依据时间窗口开始分段采集，对所采集的数据进行解析并初步以时间窗口进行时间区间分类。
具体包括以下子步骤：
S2.1采集系统通过具体的数据传输协议与各采集设备建立网络通讯，从采集设备获取采集参数数据；
S2.2获取采集参数的采集周期，计算全部参数采集周期的最小公倍数，以最小公倍数的大小作为时间窗口的长度建立时间窗口，时间窗口划分是相对的，可以根据各数据采集周期进行灵活调整的。进而对采集全周期以时间窗口进行采集任务的划分，进行分段采集传输，得到采集参数的数据报文；
S2.3采集系统的数据接收端通过数据协议端口获取各数据源的数据传输协议与方法，当数据采集单元通过网络通信协议将数据发送到数据接收端时，数据接收端发送数据解析通知，通知开启数据解析子线程，并将所接收到的数据报文交由数据解析单元；
S2.4数据接收端在将报文信息送入数据解析单元后根据其最小时间约束tDmin与参数采集周期的要求判断是否进行下一次数据接收，数据解析单元根据相应的数据解析协议将所收到的报文信息在子线程中进行数据解析，并且在下一次数据报文到达之前完成数据的解析与发送，最后关闭子线程。
S3：构建数据域模型，设立数据域分类规则与属性方法，将解析后的参数数据送入数据域。
具体包括以下子步骤：
S3.1将采集全周期以时间窗口进行划分，得到若干个连续的时间窗口。以其中某一个单独的时间窗口作为域(Region)模型结构信息，并在其中添加在该时间窗口中采集到的参数数据作为域模型的数据信息。因此域模型作为数据采集时间段内某可测时间段以及其中所含数据信息的抽象表征。设T表征时间结构信息，D表示数据信息，则域R＝{T，D}。
S3.2在域模型的基础上进行抽象化得到数据域(Data Region)模型，数据域包含域的属性，方法，操作，可以被准确量化。设R表示域，P为其属性信息，F表示其方法，O表示其操作，则数据域DR＝{P,F,O}。每个数据域包含数据头与数据信息两个部分。数据头包含数据域ID、时间窗口信息、各采集设备信息以及数据结构信息，数据信息包括采集到的各参数数据。
S3.3为数据域内所包含的数据信息设立数据分类规则，首先以参数数据的采集来源设备ID进行数据分类，其次依据数据结构形式对数据进行分类，包括数值类、文本类、影像类、矢量类及数字量的数据进行分类。同时根据参数采集设备与数据结构的不同创建不同的索引方式，创建数据域的操作方法，并根据数据域内时间窗口信息与数据结构信息生成数据域属性信息。
S3.4以数据域作为标准化模型接收当前时间窗口内的所有数据信息，并按照数据域内规则对所有数据进行重新分类与整合，并实时对数据域内数据进行监测，仅仅当数据域内数据包含全部数据源数据且到达当前时间窗口截止期，则当前数据域停止数据的接收。
S4：以时间窗口为基础进行多数据域并发处理，进而将数据域数据进行封装发送，最终形成数据流发送至实时数据库。
具体包括：
在中间缓存区设立多数据域进行数据的接收，在不同的时间窗口由系统根据数据域的占用情况调度不同的数据域进行数据的接收，充分利用多线程并发技术，在数据接收与数据封装发送的过程中保证其实时性并形成数据流；
数据域数据接收采用多线程并行，将连续时间窗口内的数据域数据利用不同线程进行封装发送，不断地在连续的时间窗口内进行数据域数据的轮转解析接收发送，从而将所有连续时间窗口内的数据域数据封装而成的帧数据连接成完整的数据流向内存数据库发送。
所述的多线程并行，优选的，为3线程并行，具体的过程为：
(1)在中间缓存区构建多数据域进行数据接收。结合S3中数据域模型建立数据域，首先建立第一个数据域DR1，负责数据的接收，后续根据采集需求，再建立更多数据域并行负责数据接收，构建的所有数据域均具有数据域的全部属性与方法；
(2)以时间窗口技术为基础将数据采集全周期划分为若干时间窗口TH1，TH2，TH3···。当采集任务开始时，采集系统处于时间窗口TH1内，系统开始调用数据域DR1执行接收任务，并与各数据采集源建立数据连接，通过相应的数据接收协议或方法接收来自数据采集源的数据；
(3)数据接收端通过数据协议端口获取各数据源的数据传输协议与方法，并在子线程中对来自采集单元的参数数据报文进行解析，最终将解析完成的数据送入数据域中；
(4)当系统为数据域DR1所分配的执行时间窗口TH1耗尽，则判断当前是否有子线程进行数据发送任务，若没有则DR1保存当前数据域内信息并开启多线程，进行子线程等待最后一次数据解析结果的传入并准备数据的封装与发送。当时间窗口TH2开启后，系统主线程创建第二个新的数据域DR2进行数据的接收，并进行数据的解析。同时DR1在子线程中判断数据信息是否完整，当数据完整后将数据域封装成一帧数据向内存数据库发送，发送完毕后关闭当前子线程，释放DR1资源；
(5)当时间窗口TH2耗尽后，数据域DR2保存当前数据域信息并开启多线程，进入子线程等待最后一次数据解析结果的传入并准备数据的封装与发送。当时间窗口TH3开启后，系统判断DR1所在线程是否空闲，由于数据域DR1尚未完成数据封装与发送任务，因此，系统判断数据域DR2所在线程是否空闲，当数据域DR2返回忙碌状态后，系统开始创建第三个数据域DR3进行数据的接收并在接收完成后开启子线程进行数据的封装发送；
(6)当开启时间窗口TH4后，系统以此对之前的数据域所在线程进行判断，得到数据域DR1空闲，因此不再进行数据域的创建而直接调用DR1进行数据的接收使用其所在线程进行数据的封装发送。以此类推，每次新的时间窗口开启便对之前的数据域所在线程进行判断，有可用数据域线程就直接调用，否则就创建新的数据域线程进行数据的接收与发送。
S5：内存数据库接收并处理数据流信息，供用户查看使用或第三方程序调用。具体包括：采集的数据将数据域信息作为连续的帧数据以数据流的形式发送到内存数据库中，同时内存数据库以数据域模型作为整体架构源源不断地处理数据流信息。形象地理解，内存数据库可认为是一个很大的数据域，每当内存数据库收到由数据接收端解析发送而来的一帧数据域数据时，内存数据库先将数据域数据进行解码，根据原先的封装解码得到各个参数数据，并将各个参数数据输入到内存数据库中进行处理。由于内存数据库的结构与原先的数据接收数据域结构相同，因此从数据接收端发送而来的数据能够快速的存入内存数据库中。
内存数据库缓存数据流数据多少根据用户物理内存容量决定，通过计算得到可缓存最大数据量，如果超过最大可缓存数据量，则每当处理一条新的数据，便删除最早的与处理数据量相同的缓存数据。
根据用户需求，如果需要实时展示所采集数据，由于全部实时数据均存入内存数据库中，因此便可以直接从采集系统的内存数据库中快速调用实时显示。如果需要进行数据备份以进行历史数据的查看，则可以将内存数据库中的数据由采集系统生成TDMS文件或直接与本地数据库建立连接定期地向本地数据库进行备份。
本发明应用了时间窗口的概念，并构建了数据域模型，通过使用时间窗口对采集全周期进行划分，从而将采集数据进行分段集合，存储在数据域中，从而解决了采集数据时间分辨率不同，数据结构不同难以进行整合的问题，能够为起重机械数据采集与集成技术提供支持与应用。
在数据采集过程中，实时数据往往是当前设备状态的真实反映，而数据实时性是保证实时数据准确的关键因素。本发明利用数据域轮转与多线程并发技术，通过减少数据数据采集过程中的数据解析、数据封装发送延时，从而解决了数据实时性变差导致的设备当前状态错误的问题。
本发明能够应用在起重机械运行参数与状态参数采集中，通过使用数据域与时间窗口技术对起重机械的多源异构数据进行了有效的集成，同时利用多线程并发技术与数据域轮转提高了数据实时性，提高了起重机械运行监控的可靠度，同时能够实现起重机械新数据的快速获取与旧数据的高效复用，从而为起重装备的故障模式与影响分析(FailureMode and Effects Analysis，FMEA)提供一定的数据积累，为起重机械的故障预测与健康管理(Prognostics and Health Management，PHM)提供相应的数据支撑，实现起重机械的安全运行与健康状况预测，对起重机械的运维全生命周期数据集成管理与应用具有重要意义。
综上所述，本发明提供一种起重机械多源异构数据高速采集与处理软控制方法，相较于现有起重机械运行参数与状态参数采集方法，具有如下的优点：
一、依据各参数采集周期建立时间窗口，对来自不同采集源的数据进行了时序匹配，对不同时间分辨率的数据进行了有效整合。解决了起重机械运行参数与状态参数采集过程中由于采集参数周期不同无法进行参数数据匹配的问题。
二、通过建立数据域模型，从而对多源异构数据依据不同的数据采集源、数据结构进行分类集合，克服了多源异构数据由于结构的不同难以进行集合的问题。
三、在数据域与时间窗口的基础上针对数据采集过程中的延时通过使用数据协议端口，利用多线程并发技术在两次数据接收间隔间完成数据解析。采取多线程并发技术进行多数据域轮转操作使得数据接收与数据封装发送同步进行，从而使得数据接收不必等待上一次数据发送完毕再进行，保证了数据及时到达接收，不产生数据溢出与丢失，从而提高了数据接收实时性。
四、利用内存数据库对实时数据进行实时处理，相较于传统的本地数据库存储，在数据实时显示方面具有很高的实时性，解决了起重机械运行安全监控系统参数数据显示实时性不高的问题。
五、本发明能够很好的在起重机械的故障预测与健康管理(Prognostics andHealth Management，PHM)中得到应用，并通过数据域能够针对起重机械所涉及运行参数与状态参数数据类型多样性进行良好的匹配，同时通过保证数据的实时性从而降低数据丢失的可能性，提高了起重机械的PHM结果的可靠度。
附图说明
图1为本发明的总体架构图；
图2为本发明的软实时约束图；
图3为本发明的时间窗口组成图；
图4为本发明的数据域结构图；
图5为本发明的数据域-时间窗口多线程发送图；
图6为本发明的多线程数据域图；
图7为实施例的流程图；
图8为实施例的内存数据库结构图。
具体实施方式
为了更清晰明了的对本发明的目的、技术方案及优点做出阐释，下面参照附图并结合具体实施例对本发明做进一步详细说明。应当理解，此处所描述的具体实施方式仅用于解释和说明本发明，但本发明的实施方式不限于此。
本发明的一种起重机械多源异构数据高速采集与处理软控制方法，整体流程如图1，主要包括如下步骤：
S1：根据参数采集需要选取采集设备、测量各参数采集周期并与参数采集设备进行匹配，接入采集系统。
所述采集系统采用软实时系统(SRT，soft real-time)，如图2所示，在不满足系统实时性要求时，通过牺牲部分数据的精确性以满足实时性要求，同时仍然可以描述数据的变化趋势；
S2：依据各参数采集周期建立时间窗口，与采集设备建立网络通讯，如图3所示，依据时间窗口开始分段采集，对所采集的数据进行解析并初步以时间窗口进行时间区间分类。
S3：构建数据域模型，设立数据域分类规则与属性方法，将解析后的参数数据送入数据域，如图4所示。
S4：如图6所示，以时间窗口为基础进行多数据域并发处理，进而将数据域数据进行封装发送，最终形成数据流发送至实时数据库。优选的为3线程并行，如图5所示。
本实施例中，结合图7与表1，在起重机实施例中，使用LabVIEW编写采集系统，LabVIEW编写的采集系统作为OPCClient通过NIOPCServer对PLC进行监控，同时使用DSC模块中的数据通讯协议VI与未连接到PLC的参数进行数据交换，具体实施步骤如下：
S1、将所述采集设备与采集系统进行连接，采集系统的数据接收端使用LabVIEW编写数据接收处理程序，NI OPC Server与PLC使用IP地址建立连接，负责对PLC进行监控，数据接收端使用DataSocket获取到NIOPCServer中各参数的URL，并作为OPCClient通过URL地址读取NIOPCServer中的数据。
此外，数据接收端创建Modbus主设备，使用固定的IP地址与端口通过Modbus TCP协议与光纤光栅传感器进行通讯连接，光纤光栅传感器作为从设备将采集数据写入保持寄存器中，数据接收端读取保持寄存器中的十六进制数据得到数据报文。数据接收端根据IP地址与振动采集仪创建TCP连接，并向振动采集仪发送数据接收命令，振动采集仪收到命令返回采集数据，数据接收端接收TCP报文并解析。最后，使用NI IMAQdx通过网络通信，连接到工业摄像机。
表1采集参数及设备
S2、根据各参数采集需求以及采集设备的具体采集频率得到各参数的采集周期，在本实施例中数值类参数与数字量参数的采集周期均为100ms，而影像类参数的采集周期为10s，由于影像类参数采集周期较长，因此考虑使用除影像类参数的其他参数采集周期求取时间窗口大小，而影像类参数单独进行采集。所得最小公倍数为100ms，根据实际采集需要以1s作为时间窗口的长度对采集全周期进行划分，对采集任务进行划分。利用LabVIEW创建一个外部While循环做采集任务的分段，以1000ms作为外循环的延时间隔，每次到一个时间窗口结束，就输出一次数据。
在一个时间窗口内，利用LabVIEW多线程并发技术创建多个While循环来对多个参数进行采集，通过为数值类参数与数字量参数采集循环配置100ms的循环休眠延时来保证采集任务的采集周期要求，同时为影像类参数单独配置采集循环为10000ms的采集休眠延时来保证其采集周期，每进行10次时间窗口，便进行一次影像类数据的传输。不限于本实施例，应力参数与振动参数往往要求较高的采样率，如1000Hz的采样率则可以通过调整其采集循环的休眠延时为1ms，使其可以实现应力与振动参数的高速采集。
为各参数采集循环配置通知器与子线程循环，每当采集循环从采集设备得到数据或报文，将其装入通知器中送到子线程循环中去解析处理，数据解析子线程循环通过移位寄存器不断将采集的数据添加到当前时间窗口的数组中。而采集循环等待休眠延时到达便开启下一次数据接收。采集循环根据采集周期与时间窗口计算循环次数，到达预期次数则结束本次时间窗口内的循环，等待下一时间窗口的开启。同时数据解析子线程结束解析，输出本次时间窗口所有采集数据。
S3、各采集循环结束本次时间窗口内采集任务后输出由数据解析子线程循环通过移位寄存器组成的当前时间窗口数据数组，由LabVIEW创建通知器，首先将各参数数据数组装入通知器，通知子线程循环开启。同时从负责时间窗口任务划分的外循环次数获取当前簇数据编号，从时间窗口开始与结束时间差获取时间窗口信息，从各采集设备获取设备ID，计算当前所得采集数据的数据结构类型以获得数据结构信息。最后将簇数组编号、时间窗口信息、设备ID、数据结构信息组成数据头簇装入通知器，送入子线程循环。
首先对采集数据数组根据数据类型组成相应的数值类参数簇、数字量参数簇、以及影像类参数簇，最终将数据簇与数据头簇进行捆绑组成数据域簇，以簇作为数据域，从而得到起重机械各类多源异构数据的集合，同时将数据域簇送入通知器，创建子线程循环来进行数据域簇的封装与发送。
S4、LabVIEW在子线程中首先取出来自通知器中的数据数组以及数据头簇，同时根据数据类型对数据数组进行分类，分别将运行参数中的模拟量以及状态参数作为一类进行捆绑构成数值类簇，对运行参数中的操作指令数据作为一类进行捆绑构成数字量簇、每第10次时间窗口循环对变速箱制动器行程作为一类进行捆绑得到影像类簇，从通知器中取得的数据头簇作为数据头簇。将上述数据头簇与3类数据簇进行捆绑得到数据域簇，将数据域簇与内存数据库的全局变量连接起来，从而将数据域簇作为一帧数据发送到内存数据库，在下次数据域簇构成之后再通过全局变量发送到内存数据库，从而源源不断地数据域簇构成数据流地形式发送到内存数据库。
S5、采集系统使用LabVIEW在前面板参照数据域模型建立簇作为内存数据库，主要负责对源源不断地数据流进行实时地解析处理，如图8，内存数据库将浮点数数组、布尔量数组、图像数组以及数据域信息簇进行捆绑，得到内存数据库。首先内存数据库从全局变量中取得一帧数据域簇数据，通过解捆绑得到数值类簇、数字量簇、影像簇以及数据头簇，再进一步对参数类簇进行解捆绑，得到起重量、起升高度等运行参数与状态参数，通过数组插入函数插入内存数据库中各已采集参数数组中。最后，内存数据库不断地取得全局变量中地每一帧数据进行解析，从而完成对数据流的实时处理。
本实施例根据内存大小对内存数据库进行优化，基于数据流大小进行计算，每帧数据含有95个运行参数、两个状态参数、以及1条影像参数，运行参数及状态参数采集周期均为100ms，影像参数采集周期为10s，每个参数1个时间窗口即1s内采集10条数据，每条数据大小为4字节，1条影像数据的大小为200KB，则每帧数据大小约为240KB，工业计算机内存为8G，因此选择缓存10min的数据，数据量大小约为15MB，超出10min则丢弃时间最早的数据。
起重机械安全监控系统调用内存数据库中的数据进行实时参数显示，在显示界面获取来自内存数据库的实时数据连接到显示控件进行显示，显示控件刷新间隔设置为1s。设置不同的选项卡分别对运行参数、状态参数进行显示，首先取得起重机械运行参数输入到显示面板每1s刷新一次进行显示，本实施例前面板显示控件显示的起重量、起升高度、工作时间等起重机械运行参数能够及时有效的跟踪起重机械的当前起重运行状态，数据延迟率不超过1s，能够及时有效的反应当前运行状态，同时报警限位能够以1s的时间间隔监测起重机械运行中的安全问题，并进行相应的故障原因分析，数据的高速传输与实时性同时也减小了错漏安全故障的几率，提高了起重机械安全运行故障监测的可靠性。
同时从内存数据库中取出应力参数与振动参数数组中数据，依据时间顺序将数据输入到波形图表显示控件中实现应力、振动的曲线显示，本实施例应力振动曲线显示根据其工业计算机内存大小设置实时显示1024个数据点，得到关键监测点参数曲线总体趋势平稳，不存在数据突变点，满足安全使用的要求。同时本实施例变速箱制动器行程视频监测数据每10s进行一次视频截图，得到了较多视频监测数据，能够为制动器行程过程分析提供足够的数据积累。通过对内存数据库中状态参数进行分析，提供了结构健康判断、损伤趋势分析、维修建议等数据对起重机械进行健康管理。
可选的，为实现数据本地备份，本实施例使用SQLServer作为本地数据库与LabVIEW建立连接进行数据备份，实现了历史采集数据的本地存储，为起重机械安全健康管理提供了相应的数据积累。
综上所述，本发明提供了一种起重机械多源异构数据高速采集与处理软控制方法，实现了起重机械多源异构数据的高速采集与实时处理，通过使用时间窗口与数据域模型，解决了起重机械运行参数与状态参数各参数之间的数据异构性以及时间分辨率不同难以整合的问题，实现了起重机械安全运行监控数据的实时显示与分析。通过使用多线程并发技术与内存数据库，提高了数据采集的实时性，保证了采集数据的准确性，为起重机械故障预测与健康管理(PHM)结果的实现提供了实时且准确的数据以及足够积累的数据量，为二次分析实现故障预测提供了有力的数据支撑。
Claims (7)
1.一种起重机械多源异构数据高速采集与处理软控制方法，其特征在于，主要包括以下步骤：
S1：根据参数采集需要选取采集设备、测量各参数采集周期并与参数采集设备进行匹配，接入采集系统；
S2：依据各参数采集周期建立时间窗口，与采集设备建立网络通讯，依据时间窗口开始分段采集，对所采集的数据进行解析并初步以时间窗口进行时间区间分类；
S3：构建数据域模型，设立数据域分类规则与属性方法，将解析后的参数数据送入数据域；
S4：以时间窗口为基础进行多数据域并发处理，进而将数据域数据进行封装发送，最终形成数据流发送至实时数据库；
S5：内存数据库接收并处理数据流信息，供用户查看使用或第三方程序调用；
步骤S3具体包括以下子步骤：
S3.1将采集全周期以时间窗口进行划分，得到若干个连续的时间窗口；以其中某一个单独的时间窗口作为域模型结构信息，并在其中添加在该时间窗口中采集到的参数数据作为域模型的数据信息；域模型作为数据采集时间段内某可测时间段以及其中所含数据信息的抽象表征，设T表征时间结构信息，D表示数据信息，则域R={T，D}；
S3.2在域模型的基础上进行抽象化得到数据域模型，数据域包含域的属性、方法、操作；设R表示域，P为其属性信息，F表示其方法，O表示其操作，则数据域DR={P，F，O}；每个数据域包含数据头与数据信息两个部分，数据头包含数据域ID、时间窗口信息、各采集设备信息以及数据结构信息，数据信息包括采集到的各参数数据；
S3.3为数据域内所包含的数据信息设立数据分类规则；同时根据参数采集设备与数据结构的不同创建不同的索引方式，创建数据域的操作方法，并根据数据域内时间窗口信息与数据结构信息生成数据域属性信息；
S3.4以数据域作为标准化模型接收当前时间窗口内的所有数据信息，并按照数据域内规则对所有数据进行重新分类与整合，并实时对数据域内数据进行监测，仅仅当数据域内数据包含全部数据源数据且到达当前时间窗口截止期，则当前数据域停止数据的接收；
步骤S4中：
在中间缓存区设立多数据域进行数据的接收，在不同的时间窗口由系统根据数据域的占用情况调度不同的数据域进行数据的接收，利用多线程并发技术，在数据接收与数据封装发送的过程中保证其实时性并形成数据流；
数据域数据接收采用多线程并行，将连续时间窗口内的数据域数据利用不同线程进行封装发送，不断地在连续的时间窗口内进行数据域数据的轮转解析接收发送，从而将所有连续时间窗口内的数据域数据封装而成的帧数据连接成完整的数据流向内存数据库发送。
2.根据权利要求1所述的一种起重机械多源异构数据高速采集与处理软控制方法，其特征在于，步骤S1具体包括以下子步骤：
S1.1获取待测起重机械运行参数与状态参数的具体参数名称与参数采集信息，包括数据形式、采集频率；
S1.2根据采集参数的具体信息选择采集设备，对采集设备进行ID编号，同时测量采集设备的采集周期并与待测参数的采集频率进行匹配；
S1.3将采集设备接入采集系统，同时获取各采集设备的数据传输协议并接入数据协议端口；
S1.4在实时调度过程中，采集系统实时调度以tDmax为最大限度来满足所有任务的采集时间要求，同时在数据有效期TV=tDmax -tQ内完成对数据的解析处理。
3.根据权利要求2所述的一种起重机械多源异构数据高速采集与处理软控制方法，其特征在于，所述采集系统采用软实时系统；在不满足系统实时性要求时，通过牺牲部分数据的精确性以满足实时性要求，同时仍然可以描述数据的变化趋势。
4.根据权利要求1所述的一种起重机械多源异构数据高速采集与处理软控制方法，其特征在于，步骤S2具体包括以下子步骤：
S2.1采集系统通过具体的数据传输协议与各采集设备建立网络通讯，从采集设备获取采集参数数据；
S2.2获取采集参数的采集周期，计算全部参数采集周期的最小公倍数，以最小公倍数的大小作为时间窗口的长度建立时间窗口，进而对采集全周期以时间窗口进行采集任务的划分，进行分段采集传输，得到采集参数的数据报文；
S2.3采集系统的数据接收端通过数据协议端口获取各数据源的数据传输协议与方法，当数据采集单元通过网络通信协议将数据发送到数据接收端时，数据接收端发送数据解析通知，通知开启数据解析子线程，并将所接收到的数据报文交由数据解析单元；
S2.4数据接收端在将报文信息送入数据解析单元后根据其最小时间约束tDmin与参数采集周期的要求判断是否进行下一次数据接收，数据解析单元根据相应的数据解析协议将所收到的报文信息在子线程中进行数据解析，并且在下一次数据报文到达之前完成数据的解析与发送，最后关闭子线程。
5.根据权利要求1所述的一种起重机械多源异构数据高速采集与处理软控制方法，其特征在于，S3.3中所述的数据分类规则为：首先以参数数据的采集来源设备ID进行数据分类，其次依据数据结构形式对数据进行分类，包括数值类、文本类、影像类、矢量类及数字量的数据进行分类。
6.根据权利要求1所述的一种起重机械多源异构数据高速采集与处理软控制方法，其特征在于，利用3线程并发；具体包括以下步骤：
（1）在中间缓存区构建多数据域进行数据接收；结合步骤S3中数据域模型建立数据域，首先建立第一个数据域DR1，负责数据的接收，后续根据采集需求，再建立更多数据域并行负责数据接收，构建的所有数据域均具有数据域的全部属性与方法；
（2）以时间窗口技术为基础将数据采集全周期划分为若干时间窗口TH1，TH2，TH3···；当采集任务开始时，采集系统处于时间窗口TH1内，系统开始调用数据域DR1执行接收任务，并与各数据采集源建立数据连接，通过相应的数据接收协议或方法接收来自数据采集源的数据；
（3）数据接收端通过数据协议端口获取各数据源的数据传输协议与方法，并在子线程中对来自采集单元的参数数据报文进行解析，最终将解析完成的数据送入数据域中；
（4）当系统为数据域DR1所分配的执行时间窗口TH1耗尽，则判断当前是否有子线程进行数据发送任务，若没有则DR1保存当前数据域内信息并开启多线程，进行子线程等待最后一次数据解析结果的传入并准备数据的封装与发送；当时间窗口TH2开启后，系统主线程创建第二个新的数据域DR2进行数据的接收，并进行数据的解析；同时DR1在子线程中判断数据信息是否完整，当数据完整后将数据域封装成一帧数据向内存数据库发送，发送完毕后关闭当前子线程，释放DR1资源；
（5）当后续时间窗口来临时，系统依次以轮询的方式判断前几个时间窗口内的数据是否已经完成全部的数据解析、封装以及发送的任务，若已经完成，则其所处的线程可以释放出来供后续时间窗口中的数据解析、封装与发送使用，不必再继续创建新的线程浪费资源；若没有完成，则继续创建新的线程以保证数据采集的实时性。
7.根据权利要求1所述的一种起重机械多源异构数据高速采集与处理软控制方法，其特征在于，步骤S5中，采集的数据将数据域信息作为连续的帧数据以数据流的形式发送到内存数据库中，同时内存数据库以数据域模型作为整体架构源源不断地处理数据流信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110585295.3A CN113468168B (zh) | 2021-05-27 | 2021-05-27 | 一种起重机械多源异构数据高速采集与处理软控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110585295.3A CN113468168B (zh) | 2021-05-27 | 2021-05-27 | 一种起重机械多源异构数据高速采集与处理软控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113468168A CN113468168A (zh) | 2021-10-01 |
| CN113468168B true CN113468168B (zh) | 2024-01-19 |
Family
ID=77871591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110585295.3A Active CN113468168B (zh) | 2021-05-27 | 2021-05-27 | 一种起重机械多源异构数据高速采集与处理软控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113468168B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113949161A (zh) * | 2021-10-19 | 2022-01-18 | 青岛鼎信通讯股份有限公司 | 一种用于台区终端的拓扑识别技术融合方法 |
| CN114422239A (zh) * | 2022-01-18 | 2022-04-29 | 英赛克科技（北京）有限公司 | 一种基于动态端口技术的通信方法和装置 |
| CN116760635B (zh) * | 2023-08-14 | 2024-01-19 | 华能信息技术有限公司 | 一种基于工业互联网平台的资源管理方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106878092A (zh) * | 2017-03-28 | 2017-06-20 | 上海以弈信息技术有限公司 | 一种多源异构数据融合的网络运维实时监控与分析呈现平台 |
| CN109347536A (zh) * | 2018-09-11 | 2019-02-15 | 中国空间技术研究院 | 一种基于态势知识的空间网络资源状态监控系统 |
| CN109704199A (zh) * | 2018-12-29 | 2019-05-03 | 明光利拓智能科技有限公司 | 一种多线程桥式起重机数据采集处理系统及方法 |
| CN111124679A (zh) * | 2019-12-19 | 2020-05-08 | 南京莱斯信息技术股份有限公司 | 一种面向多源异构海量数据限时自动处理方法 |
| CN112016828A (zh) * | 2020-08-26 | 2020-12-01 | 中国特种设备检测研究院 | 基于流式大数据的工业设备健康管理云平台架构 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729366B (zh) * | 2017-09-08 | 2021-01-05 | 广东省建设信息中心 | 一种普适多源异构大规模数据同步系统 |
-
2021
- 2021-05-27 CN CN202110585295.3A patent/CN113468168B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106878092A (zh) * | 2017-03-28 | 2017-06-20 | 上海以弈信息技术有限公司 | 一种多源异构数据融合的网络运维实时监控与分析呈现平台 |
| CN109347536A (zh) * | 2018-09-11 | 2019-02-15 | 中国空间技术研究院 | 一种基于态势知识的空间网络资源状态监控系统 |
| CN109704199A (zh) * | 2018-12-29 | 2019-05-03 | 明光利拓智能科技有限公司 | 一种多线程桥式起重机数据采集处理系统及方法 |
| CN111124679A (zh) * | 2019-12-19 | 2020-05-08 | 南京莱斯信息技术股份有限公司 | 一种面向多源异构海量数据限时自动处理方法 |
| CN112016828A (zh) * | 2020-08-26 | 2020-12-01 | 中国特种设备检测研究院 | 基于流式大数据的工业设备健康管理云平台架构 |
Non-Patent Citations (2)
| Title |
|---|
| 基于Python的生态监测物联网数据自动采汇中间件应用研究;胡飞虎;郭建文;吴阿丹;杨鹏飞;李亚珍;;遥感技术与应用(第02期);第214-219页 * |
| 通用数采监控系统数据集成设计与实现;曾志强;王绍源;谭蓉;;电子技术应用(第06期);第140-142、145页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113468168A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113468168B (zh) | 一种起重机械多源异构数据高速采集与处理软控制方法 | |
| CN110825801B (zh) | 基于分布式架构的列车信号系统车载日志分析系统和方法 | |
| US9501555B2 (en) | Real-time data management for a power grid | |
| CN108335075B (zh) | 一种面向物流大数据的处理系统及方法 | |
| CN110083436A (zh) | 一种基于Java字节码增强技术的业务数据实时监控系统及方法 | |
| Baresi et al. | Event-based multi-level service monitoring | |
| CN108718345A (zh) | 一种数字化车间工业数据网络化传输系统 | |
| CN105323111A (zh) | 一种运维自动化系统及方法 | |
| CA2948700A1 (en) | Systems and methods for websphere mq performance metrics analysis | |
| US5412753A (en) | Expert system capable of meeting real time constraints | |
| CN110597621A (zh) | 集群资源的调度方法与系统 | |
| CN102541724A (zh) | 一种实时操作系统的性能评估方法 | |
| CN112804093B (zh) | 一种基于故障能力中心的集中调度支撑方法和系统 | |
| JP2018173865A (ja) | 制御装置 | |
| CN114372084A (zh) | 面向传感流数据的实时处理系统 | |
| Marie-Magdelaine et al. | Proactive autoscaling for cloud-native applications using machine learning | |
| US7899906B2 (en) | Multi-layered measurement model for data collection and method for data collection using same | |
| Han et al. | Rt-dap: A real-time data analytics platform for large-scale industrial process monitoring and control | |
| CN108563787A (zh) | 一种数据中心综合管理系统的数据交互管理系统及方法 | |
| Liu et al. | Generalized distributed four-domain digital twin system for intelligent manufacturing | |
| CN110442446A (zh) | 实时处理高速数字信号数据流的方法 | |
| US11537576B2 (en) | Assisted problem identification in a computing system | |
| CN110647070A (zh) | 一种用于超大规模数据中心的动力环境监控系统 | |
| CN112286762A (zh) | 基于云环境的系统信息分析方法、装置、电子设备及介质 | |
| CN110245120A (zh) | 流式计算系统及流式计算系统的日志数据处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |