CN117376430A - 基于dcs的工业数据快速传输方法及系统 - Google Patents
基于dcs的工业数据快速传输方法及系统 Download PDFInfo
- Publication number
- CN117376430A CN117376430A CN202311412847.6A CN202311412847A CN117376430A CN 117376430 A CN117376430 A CN 117376430A CN 202311412847 A CN202311412847 A CN 202311412847A CN 117376430 A CN117376430 A CN 117376430A
- Authority
- CN
- China
- Prior art keywords
- data
- region
- encoded
- data points
- industrial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000005540 biological transmission Effects 0.000 title claims abstract description 33
- 238000007906 compression Methods 0.000 claims abstract description 66
- 230000006835 compression Effects 0.000 claims abstract description 66
- 230000000694 effects Effects 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000013144 data compression Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 235000019738 Limestone Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 239000006028 limestone Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及数据压缩技术领域，具体涉及基于DCS的工业数据快速传输方法及系统。该方法包括：获取数据序列；根据数据序列中局部数据点的数据值获取数据点的局部渐变性；根据局部渐变性获取工业数据的种类判别性，并基于此分类；对于第一类，根据待编码区的数据点与其时序之前的数据点的距离以及待编码区长度获取编码压缩效果，根据数据点的局部渐变值获取待编码区的调节因子，基于以上两者完成第一类工业数据的压缩；对于第二类，将数据序列分段，根据不同数据段之间的差异获取数据段的变化指数，以此获取字典区长度和待编码区长度，并完成第二类工业数据的压缩；将压缩后两类数据进行传输。本发明提高了工业数据的传输效率。
Description
技术领域
本发明涉及数据压缩技术领域，具体涉及基于DCS的工业数据快速传输方法及系统。
背景技术
DCS全称分布式控制系统，其是以微处理器为基础，采用控制功能分散、显示操作集中兼顾分而自治和综合协调的设计原则的新一代仪表控制系统。其中微处理器是由少数大规模集成电路组成的中央处理器。
DCS内工业数据的种类与数据量繁多，故在进行传输时，传输效率较低，往往需要对工业数据进行编码压缩后再进行传输，以便于增加传输效率。而传统的LZ77压缩算法在对数据进行压缩时，需要人为设定滑动窗口，滑动窗口分为两个区域，左侧为字典区，右侧为待编码区。滑动窗口的大小设定直接影响了LZ77压缩算法的压缩效果，同时工业数据的种类与数据量较为繁多，压缩算法的压缩效率较低。
发明内容
为了解决压缩算法压缩效率较低的技术问题，本发明提供了基于DCS的工业数据快速传输方法及系统，所采用的技术方案具体如下：
第一方面，本发明提出了基于DCS的工业数据快速传输方法，该方法包括以下步骤：
获取每个工业数据的数据序列；
根据数据序列中每个数据点的周围数据点的数据值获取每个数据点的局部渐变性；将所有数据点的局部渐变性累加获取工业数据的种类判别值，根据种类判别值使用聚类将所有工业数据分为了第一类工业数据和第二类工业数据；
对于第一类工业数据，将待编码区内的每个数据点在其时序之前的数据点中找到数据值相同的数据点，根据待编码区的长度、相同数据点的距离和方差以及待编码区内数据点的数量获取待编码区的编码压缩效果；获取新的字典区长度，根据待编码区内所有数据点的局部渐变值获取待编码区的调节因子，根据待编码区的编码压缩效果和调节因子获取最优待编码长度，根据最优待编码区长度和新的字典区长度完成第一类工业数据的压缩；
对于第二类工业数据，将每个工业数据对应的数据序列分为若干个数据点，根据数据段之间的长度差异以及相同的数据点数量获取数据段的变化指数，根据数据段的变化指数获取字典区长度和待编码区长度，并根据字典区长度和待编码区长度完成第二类工业数据的压缩；
将压缩后的第一类工业数据和第二类工业数据进行传输。
优选的，所述获取每个工业数据的数据序列的方法为：
对于每个工业数据使用不同的传感器每经过预设时间采集一次数据，将每个工业数据采集的所有数据按照时间顺序排序得到每个工业数据的数据序列。
优选的，所述根据数据序列中每个数据点的周围数据点的数据值获取每个数据点的局部渐变性的方法为：
对于每个数据序列中的一个数据点，以自身为中心，向左侧和右侧各选取预设数量个邻近数据点，在所有的邻近数据点中获取数据值最大的邻近数据点以及数据值最小的邻近数据点，计算所有邻近数据点的数据值方差，根据邻近数据点的数据值方差以及最小数据值和最大数据值的差异获取数据点的局部渐变性。
优选的，所述根据邻近数据点的数据值方差以及最小数据值和最大数据值的差异获取数据点的局部渐变性的方法为：
式中，U(i)表示第i个数据点的邻近数据点的数据值方差，表示第i个数据点对应的所有邻近数据点的最大数据值，/>表示第i个数据点对应的所有邻近数据点的最小数据值，Yi表示第i个数据点的局部渐变性。
优选的，所述根据待编码区的长度、相同数据点的距离和方差以及待编码区内数据点的数量获取待编码区的编码压缩效果的方法为：
将待编码区的数据点记为目标数据点，目标数据点在其时序前数据值相同的数据点记为近似数据点，获取目标数据点和其近似数据点的时序差异记为时序距离，获取待编码区内时序距离的最大值和方差，根据待编码区的长度、目标数据点对应的近似数据点数量、时序距离的最大值和方差获取待编码区的编码压缩效果。
优选的，所述根据待编码区的长度、目标数据点对应的近似数据点数量、时序距离的最大值和方差获取待编码区的编码压缩效果的方法为：
式中，dmax表示时序距离的最大值，L1表示待编码区的长度，m表示待编码区内目标数据点的近似数据点的数量，U(dv)表示待编码区内时序距离的方差，norm()表示线性归一化函数，P表示每个待编码区的编码压缩效果。
优选的，所述根据待编码区内所有数据点的局部渐变值获取待编码区的调节因子的方法为：
将待编码区的所有数据点的局部渐变值求均值后进行归一化，将归一化后的值作为待编码区的调节因子。
优选的，所述根据待编码区的编码压缩效果和调节因子获取最优待编码长度的方法为：
式中，L1表示待编码区的长度，F表示待编码区的调节因子，P表示待编码区的编码压缩效果，c1，c2表示设定阈值，f()表示向上取整函数，L2表示优化待编码区长度；
将优化待编码区长度对应的编码压缩效果与预设阈值比较，若大于预设阈值，优化待编码区长度为最优待编码区长度，若小于预设阈值，根据优化待编码区再次计算获取新的优化待编码区长度，直到计算预设次数或其对应的编码压缩效果大于预设阈值时停止计算。
优选的，所述根据数据段之间的长度差异以及相同的数据点数量获取数据段的变化指数的方法为：
获取每个数据段中数据点在其数据段中的时序记为数据段时序；将任意一个数据段记为选择数据段，将其中的数据点记为选择数据点，对于其余的数据段，若数据段中的数据点与选择数据段中的数据点的数据段时序相同，将数据段中的数据点记为选择数据段中数据点的时序数据点；
选择数据段的数据点与数据段中对应的时序数据点的数据值的差值记为第一差值，将选择数据段与数据段中第一差值为0的数据点数量记为选择数据段与数据段的第一数量；
将选择数据段的长度与数据段长度的差的绝对值记为第一长度，将第一长度与第一数量的比值记为选择数据段与数据段的第一比值，将选择数据段与所有数据段的第一比值的累加和记为选择数据段的变化指数。
第二方面，本发明实施例还提供了基于DCS的工业数据快速传输系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述基于DCS的工业数据快速传输方法的步骤。
本发明具有如下有益效果：本发明首先完成了工业数据不同种类数据的类别判断，进而对于不同种类的数据自适应使用压缩算法，获取相应的最优压缩窗口，在提高传统的压缩算法压缩效果的同时解决此压缩算法不能有效的压缩参数随着不同的工业生产阶段的变化而发生变化的数据的问题，进一步提高压缩的压缩效果，提高了空间资源利用率，进而提高了工业数据的传输效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的基于DCS的工业数据快速传输方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于DCS的工业数据快速传输方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
基于DCS的工业数据快速传输方法实施例：
下面结合附图具体的说明本发明所提供的基于DCS的工业数据快速传输方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的基于DCS的工业数据快速传输方法流程图，该方法包括以下步骤：
步骤S001，获取每个工业数据的数据序列。
DCS分布式控制系统往往通过传感器监测各种工业过程中的参数，如温度、压力、流量、液位等。通过采集这些参数的传感器采集相关数据，并通过DCS系统进行处理和分析。采集的数据通常是连续采集的，为时序数据，用于监测设备的状态、分析生产趋势、预测故障等。在本实施例中，以工业过程中的任意一个数据进行分析，对于不同的工业数据使用不同的传感器每1s采集一次，由此获取每个工业数据的数据序列。
至此，获取了每个工业数据的数据序列。
步骤S002，根据数据序列中每个数据点的周围数据点的数据值获取每个数据点的局部渐变性；将所有数据点的局部渐变性累加获取工业数据的种类判别值，根据种类判别值使用聚类将所有工业数据分为了第一类工业数据和第二类工业数据。
由于DCS内的工业数据数量和每个工业数据的数据量都较多，因此在传输时，传输效率较低，往往需要把工业数据进行编码压缩后再进行传输，提高数据的传输效率。
在对工业数据进行压缩时，使用较多的压缩算法为LZ77压缩算法。LZ77是一种基于字典的算法，它将长字符串(也称为短语)编码成短小的标记，用小标记代替字典中的短语，从而达到压缩的目的。也就是说，它通过用小的标记来代替数据中多次重复出现的长字符串来压缩数据。
LZ77压缩算法在对数据进行压缩时，需要设定滑动窗口，滑动窗口分为两个区域，左侧为字典区，右侧为待编码区。LZ77编码器在编码压缩时，在字典区进行查找，直至找到匹配的字符串。匹配字符串的开始位置与离字典区右边的距离称为“偏移值”，匹配字符串的长度称为“匹配长度”。LZ77在编码时，会一直在字典区中搜索，直到找到最大匹配字符串，然后输出一个三元组(off，len，char)其中off表示偏移值，len表示匹配长度，char为待编码区第一个等待编码的字符。
在本实施例中，工业数据为设备的运行状态数据，其中工业数据在本实施例被分为两类，第一类为设备需要控制参数在恒定范围内，以便于高效生产，第二类为设备的参数随着不同生产阶段的的变化而进行变化，例如在分解石灰石生产石灰中，需要对分解炉进行加热，其所获取的监测温度从常温逐渐增大到一定温度后完成石灰石分解，之后温度降至常温，其所对应的分解过程的温度监测曲线，应为常温逐渐增大至恒定温度稳定一端时间再降至常温，此类工业数据的数据波动变化较大。由于LZ77算法是通过滑动窗口将待编码区与字典区进行匹配，进而完成重复出现数据的压缩，故在温度监测过程中，温度上升部分以及温度下降部分，LZ77算法无法对其进行有效压缩。
基于上述分析，本实施例首先对于每个工业数据进行分类，进而根据分类获取最优滑动窗口进行数据压缩。
将每个工业数据的数据序列中的值记为一个数据点，其数据序列的值为数据点的数据值，以数据序列中任意一个数据点为中心获取其邻近的n个数据点，在本实施例中n为10，即对于每个数据点其左侧和右侧各选取5个邻近数据点。通过每个数据点的局部变化反映数据的局部渐变性，公式如下：
式中，U(i)表示第i个数据点的邻近数据点的数据值方差，表示第i个数据点对应的所有邻近数据点的最大数据值，/>表示第i个数据点对应的所有邻近数据点的最小数据值，Yi表示第i个数据点的局部渐变性。
将每个工业数据的所有数据点的局部渐变性累加获取每个工业数据的种类判别值。
其中每个数据点的周围数据点上下限差异越大说明波动幅度越高，说明数据点的局部渐变性越大，每个数据点的周围数据点的数据值方差越大，说明数据点周围波动越剧烈，说明数据点的局部渐变性越大；局部渐变性越大说明数据点局部的波动性越大，将所有数据点的局部渐变性相加表示整条时间序列的波动性，局部渐变性越大，其工业数据的种类判别值越大，越有可能为第二类工业数据。
由此获取了每个工业数据的种类判别值，对于每个工业数据的种类判别值使用K-means聚类，由于将工业数据分为两类，因此设置K＝2，随机选取初始聚类中心，聚类的度量距离为种类判别值差异的绝对值，聚类过程为公知技术，在此不多做赘述，由此通过K-means聚类将所有工业数据分为了两类，计算每一类工业数据的种类判别值的均值，将其中均值较大的一类工业数据记为第二类工业数据，均值较小的工业数据记为第一类工业数据。
至此，获取了所有工业数据的类型判断。
步骤S003，对于第一类工业数据，将待编码区内的每个数据点在其时序之前的数据点中找到数据值相同的数据点，根据待编码区的长度、相同数据点的距离和方差以及待编码区内数据点的数量获取待编码区的编码压缩效果；获取新的字典区长度，根据待编码区内所有数据点的局部渐变值获取待编码区的调节因子，根据待编码区的编码压缩效果和调节因子获取最优待编码长度，根据最优待编码区长度和新的字典区长度完成第一类工业数据的压缩。
对所有工业数据进行分类的原因是在本实施例中不同种类的工业数据使用LZ77算法压缩时进行压缩的步骤不同。
对于第一类工业数据的每个工业数据，其每个工业数据存在一个数据序列，首先设置初始待编码区的长度为L，在本实施例中令L为50；其次设置初始字典区的长度H，在本实施例中令H为50，在进行LZ77算法压缩时，首先在数据序列中按照时序顺序正常移动初始字典区和初始待编码区，直到初始待编码区填满为止，之后令初始待编码区中的中的数据点在其数据点时序之前的所有数据点中找到时序最近的数据值相同的数据点，并且获取数据值相同的数据点的距离记为时序距离，在时序距离中获取最长时序距离和最短时序距离，若最长时序距离大于等于最短时序距离的三倍，则认为最长时序距离的数据点没有对应的数据点，将第二长的时序距离记为最长时序距离，此举是为了减少搜索量；例如：1，2，3，4，5，2，1，3，4，5；其中2，1，3，4，5为初始待编码区的长度，其中数据值1的时序距离为6，2的时序距离为4，3的时序距离为5，4的时序距离为5，5的时序距离为5；其中最长时序距离为6，最短时序距离为4；以待初始编码区中的第一个数据点为端点，令最长时序距离为端点前的字典区，由此对初始字典区进行更新，获取了新的字典区。根据字典区大小以及待编码区数据点数量和初始待编码区长度获取编码压缩效果，公式如下：
式中，dmax表示最长时序距离，L1表示待编码区的长度，m表示待编码区内数据点的对应数据点的数量，U(dv)表示待编码区内时序距离的方差，norm()表示线性归一化函数，P表示每个待编码区的编码压缩效果。
根据待编码区内所有数据点的局部渐变值获取待编码区的调节因子，公式如下：
式中，Yv待编码区内第v个数据点，L1表示待编码区的长度，norm()表示线性归一化函数，F表示待编码区的调节因子。
根据待编码区的编码压缩效果和调节因子获取最优待编码长度，公式如下：
式中，L1表示待编码区的长度，F表示待编码区的调节因子，P表示待编码区的编码压缩效果，c1，c2表示设定阈值，在本实施例中分别取0.5和0.8，f()表示向上取整函数，L2表示优化待编码区长度。
将优化待编码区长度幅值给待编码区，重新计算此时待编码区的编码压缩效果，若计算出的编码压缩效果大于c2，则将此时的待编码区长度记为最优待编码区长度，若计算出的编码压缩效果小于c2，重新得到优化待编码区长度，直到大于c2或计算20次为止，此时得到最优待编码区长度。之后根据最优待编码区和新的字典区再次进行压缩，完成一次压缩后，在此利用现在的最优待编码区长度和新的字典区长度得到新的最优待编码区长度和新的字典区长度，重复上述操作，完成第一类每个工业数据的数据序列的压缩。通过自适应调整字典区长度和待编码区的长度使用LZ77算法对数据点进行压缩编码，提高了LZ77编码的效率，降低了空间资源的浪费。
至此，完成了第一类工业数据的压缩。
步骤S004，对于第二类工业数据，将每个工业数据对应的数据序列分为若干个数据点，根据数据段之间的长度差异以及相同的数据点数量获取数据段的变化指数，根据数据段的变化指数获取字典区长度和待编码区长度，并根据字典区长度和待编码区长度完成第二类工业数据的压缩。
对于第二类工业数据，在工业生产中往往是大循环重复的，因此对于每个工业数据可以将其分为不同的数据段，不同的数据段之间数据相似，可以根据划分的数据段进行压缩。
对于每个工业数据，在其数据序列中第一个数据值不为0的数据点作为起始点，该数据点也为DCS系统开始运行时的时间点，遍历数据序列，将起始点后的第一个数据值为0的数据点作为结束点，令起始点和结束点构成一个数据段，之后在剩余的数据段中重新选择新的起始点和结束点，由此将每个工业数据的数据序列分为了若干个数据段，对于任意一个数据段中的数据点，在其余数据段中时序相同的数据点记为时序数据点，由于数据段的长度大小可能不相同，若两个数据段长度不同，将短的数据段补长，补长后的数据点的数据值记为0，根据不同数据段的数据值差异和数据点数量获取每个数据段的变化指数，公式如下：
式中，Ns表示第s个数据段的长度，Ne表示第e个数据段的长度，ue,s表示第s个数据段与第e个数据段中相同时序数据点的数据值差异为0的数据点个数，H表示数据段的数量，BHs表示第s个数据段的变化指数。
其中，数据段的变化指数越小，其作为LZ77压缩算法中的字典进行编码时，数据更容易找到相应的字符进行编码。故本发明中选择BHs最小的数据段作为字典区，其长度即为字典区的长度，将除了该数据段之外，以最长数据段作为待编码区长度，以此使用LZ77编码对每个工业数据进行压缩，由此完成了第二类每个工业数据的数据序列的压缩。
至此，完成了第二类工业数据的压缩。
步骤S005，将压缩后的第一类工业数据和第二类工业数据进行传输。
完成第一类工业数据和第二类工业数据压缩后，将压缩后的数据从DCS分布式收集控制系统中传输到储存区域，完成传输。
本实施例提供基于DCS的工业数据快速传输系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述步骤S001至步骤S005的方法。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
Claims (10)
1.基于DCS的工业数据快速传输方法，其特征在于，该方法包括以下步骤：
获取每个工业数据的数据序列；
根据数据序列中每个数据点的周围数据点的数据值获取每个数据点的局部渐变性；将所有数据点的局部渐变性累加获取工业数据的种类判别值，根据种类判别值使用聚类将所有工业数据分为了第一类工业数据和第二类工业数据；
对于第一类工业数据，将待编码区内的每个数据点在其时序之前的数据点中找到数据值相同的数据点，根据待编码区的长度、相同数据点的距离和方差以及待编码区内数据点的数量获取待编码区的编码压缩效果；获取新的字典区长度，根据待编码区内所有数据点的局部渐变值获取待编码区的调节因子，根据待编码区的编码压缩效果和调节因子获取最优待编码长度，根据最优待编码区长度和新的字典区长度完成第一类工业数据的压缩；
对于第二类工业数据，将每个工业数据对应的数据序列分为若干个数据点，根据数据段之间的长度差异以及相同的数据点数量获取数据段的变化指数，根据数据段的变化指数获取字典区长度和待编码区长度，并根据字典区长度和待编码区长度完成第二类工业数据的压缩；
将压缩后的第一类工业数据和第二类工业数据进行传输。
2.如权利要求1所述的基于DCS的工业数据快速传输方法，其特征在于，所述获取每个工业数据的数据序列的方法为：
对于每个工业数据使用不同的传感器每经过预设时间采集一次数据，将每个工业数据采集的所有数据按照时间顺序排序得到每个工业数据的数据序列。
3.如权利要求1所述的基于DCS的工业数据快速传输方法，其特征在于，所述根据数据序列中每个数据点的周围数据点的数据值获取每个数据点的局部渐变性的方法为：
对于每个数据序列中的一个数据点，以自身为中心，向左侧和右侧各选取预设数量个邻近数据点，在所有的邻近数据点中获取数据值最大的邻近数据点以及数据值最小的邻近数据点，计算所有邻近数据点的数据值方差，根据邻近数据点的数据值方差以及最小数据值和最大数据值的差异获取数据点的局部渐变性。
4.如权利要求3所述的基于DCS的工业数据快速传输方法，其特征在于，所述根据邻近数据点的数据值方差以及最小数据值和最大数据值的差异获取数据点的局部渐变性的方法为：
式中，U(i)表示第i个数据点的邻近数据点的数据值方差，表示第i个数据点对应的所有邻近数据点的最大数据值，/>表示第i个数据点对应的所有邻近数据点的最小数据值，Yi表示第i个数据点的局部渐变性。
5.如权利要求1所述的基于DCS的工业数据快速传输方法，其特征在于，所述根据待编码区的长度、相同数据点的距离和方差以及待编码区内数据点的数量获取待编码区的编码压缩效果的方法为：
将待编码区的数据点记为目标数据点，目标数据点在其时序前数据值相同的数据点记为近似数据点，获取目标数据点和其近似数据点的时序差异记为时序距离，获取待编码区内时序距离的最大值和方差，根据待编码区的长度、目标数据点对应的近似数据点数量、时序距离的最大值和方差获取待编码区的编码压缩效果。
6.如权利要求5所述的基于DCS的工业数据快速传输方法，其特征在于，所述根据待编码区的长度、目标数据点对应的近似数据点数量、时序距离的最大值和方差获取待编码区的编码压缩效果的方法为：
式中，dmax表示时序距离的最大值，L1表示待编码区的长度，n表示待编码区内目标数据点的近似数据点的数量，U(dv)表示待编码区内时序距离的方差，norm()表示线性归一化函数，P表示每个待编码区的编码压缩效果。
7.如权利要求1所述的基于DCS的工业数据快速传输方法，其特征在于，所述根据待编码区内所有数据点的局部渐变值获取待编码区的调节因子的方法为：
将待编码区的所有数据点的局部渐变值求均值后进行归一化，将归一化后的值作为待编码区的调节因子。
8.如权利要求1所述的基于DCS的工业数据快速传输方法，其特征在于，所述根据待编码区的编码压缩效果和调节因子获取最优待编码长度的方法为：
式中，L1表示待编码区的长度，F表示待编码区的调节因子，P表示待编码区的编码压缩效果，c1，c2表示设定阈值，f()表示向上取整函数，L2表示优化待编码区长度；
将优化待编码区长度对应的编码压缩效果与预设阈值比较，若大于预设阈值，优化待编码区长度为最优待编码区长度，若小于预设阈值，根据优化待编码区再次计算获取新的优化待编码区长度，直到计算预设次数或其对应的编码压缩效果大于预设阈值时停止计算。
9.如权利要求1所述的基于DCS的工业数据快速传输方法，其特征在于，所述根据数据段之间的长度差异以及相同的数据点数量获取数据段的变化指数的方法为：
获取每个数据段中数据点在其数据段中的时序记为数据段时序；将任意一个数据段记为选择数据段，将其中的数据点记为选择数据点，对于其余的数据段，若数据段中的数据点与选择数据段中的数据点的数据段时序相同，将数据段中的数据点记为选择数据段中数据点的时序数据点；
选择数据段的数据点与数据段中对应的时序数据点的数据值的差值记为第一差值，将选择数据段与数据段中第一差值为0的数据点数量记为选择数据段与数据段的第一数量；
将选择数据段的长度与数据段长度的差的绝对值记为第一长度，将第一长度与第一数量的比值记为选择数据段与数据段的第一比值，将选择数据段与所有数据段的第一比值的累加和记为选择数据段的变化指数。
10.基于DCS的工业数据快速传输系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任意一项所述基于DCS的工业数据快速传输方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311412847.6A CN117376430B (zh) | 2023-10-30 | 2023-10-30 | 基于dcs的工业数据快速传输方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311412847.6A CN117376430B (zh) | 2023-10-30 | 2023-10-30 | 基于dcs的工业数据快速传输方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117376430A true CN117376430A (zh) | 2024-01-09 |
| CN117376430B CN117376430B (zh) | 2024-04-23 |
Family
ID=89392590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311412847.6A Active CN117376430B (zh) | 2023-10-30 | 2023-10-30 | 基于dcs的工业数据快速传输方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117376430B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117792403A (zh) * | 2024-02-26 | 2024-03-29 | 成都农业科技职业学院 | 基于流式大数据技术的分布式农业数据存储管理方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060235992A1 (en) * | 2005-04-14 | 2006-10-19 | Ramot At Tel Aviv University Ltd. | Method, apparatus and computer-readable code for data compression of network packets |
| CN115459782A (zh) * | 2022-08-29 | 2022-12-09 | 北京思维实创科技有限公司 | 基于时序分割和聚类的工业物联网高频数据压缩方法 |
| CN115599757A (zh) * | 2021-07-08 | 2023-01-13 | 华为技术有限公司（Cn） | 数据压缩方法、装置、计算设备及存储系统 |
| CN115865274A (zh) * | 2022-11-29 | 2023-03-28 | 通号(西安)轨道交通工业集团有限公司北京分公司 | 一种数据压缩方法、数据解压缩方法及数据压缩装置 |
| CN116828070A (zh) * | 2023-08-28 | 2023-09-29 | 无锡市锡容电力电器有限公司 | 一种智慧电网数据优化传输方法 |
| CN116938256A (zh) * | 2023-09-18 | 2023-10-24 | 苏州科尔珀恩机械科技有限公司 | 基于大数据的回转炉运行参数智能管理方法 |
| CN116939047A (zh) * | 2023-09-18 | 2023-10-24 | 吉林省车桥汽车零部件有限公司 | 一种用于数控机床系统的数据智能通信方法 |
-
2023
- 2023-10-30 CN CN202311412847.6A patent/CN117376430B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060235992A1 (en) * | 2005-04-14 | 2006-10-19 | Ramot At Tel Aviv University Ltd. | Method, apparatus and computer-readable code for data compression of network packets |
| CN115599757A (zh) * | 2021-07-08 | 2023-01-13 | 华为技术有限公司（Cn） | 数据压缩方法、装置、计算设备及存储系统 |
| CN115459782A (zh) * | 2022-08-29 | 2022-12-09 | 北京思维实创科技有限公司 | 基于时序分割和聚类的工业物联网高频数据压缩方法 |
| CN115865274A (zh) * | 2022-11-29 | 2023-03-28 | 通号(西安)轨道交通工业集团有限公司北京分公司 | 一种数据压缩方法、数据解压缩方法及数据压缩装置 |
| CN116828070A (zh) * | 2023-08-28 | 2023-09-29 | 无锡市锡容电力电器有限公司 | 一种智慧电网数据优化传输方法 |
| CN116938256A (zh) * | 2023-09-18 | 2023-10-24 | 苏州科尔珀恩机械科技有限公司 | 基于大数据的回转炉运行参数智能管理方法 |
| CN116939047A (zh) * | 2023-09-18 | 2023-10-24 | 吉林省车桥汽车零部件有限公司 | 一种用于数控机床系统的数据智能通信方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孙瑞;张彩霞;: "点云数据压缩算法综述", 科技信息, no. 32, 15 November 2010 (2010-11-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117792403A (zh) * | 2024-02-26 | 2024-03-29 | 成都农业科技职业学院 | 基于流式大数据技术的分布式农业数据存储管理方法 |
| CN117792403B (zh) * | 2024-02-26 | 2024-05-07 | 成都农业科技职业学院 | 基于流式大数据技术的分布式农业数据存储管理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117376430B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117376430B (zh) | 基于dcs的工业数据快速传输方法及系统 | |
| CN115361027B (zh) | 一种污水处理效果识别方法 | |
| CN103995988B (zh) | 一种高通量dna测序质量分数无损压缩系统及压缩方法 | |
| CN116388767B (zh) | 用于软件开发数据的安全管理方法 | |
| CN116828070B (zh) | 一种智慧电网数据优化传输方法 | |
| CN115204754B (zh) | 一种基于大数据的热力供需信息管理平台 | |
| CN116304056B (zh) | 一种用于计算机软件开发数据的管理方法 | |
| CN115858832B (zh) | 一种用于钢绞线生产数据存储方法及系统 | |
| CN116700630B (zh) | 基于物联网的有机无机复混肥料生产数据优化存储方法 | |
| CN115459782A (zh) | 基于时序分割和聚类的工业物联网高频数据压缩方法 | |
| CN117097810B (zh) | 基于云计算的数据中心传输优化方法 | |
| CN116541828B (zh) | 一种服务信息数据的智能管理方法 | |
| CN116208172A (zh) | 一种建筑工程项目的数据管理系统 | |
| CN115543946A (zh) | 一种金融大数据优化存储方法 | |
| CN113328755A (zh) | 一种面向边缘计算的压缩数据传输方法 | |
| CN116418882A (zh) | 基于hplc双模载波通信的存储器数据压缩方法 | |
| CN116915259A (zh) | 基于物联网的仓配数据优化储存方法及系统 | |
| CN110260914B (zh) | 一种基于测点时空特征的工程安全监测系统区域划分方法 | |
| CN117459418A (zh) | 一种实时数据采集存储方法及系统 | |
| CN117316301B (zh) | 一种基因检测数据智能压缩处理方法 | |
| CN117290364B (zh) | 一种市场调查数据智能存储方法 | |
| CN113362915A (zh) | 一种基于多模态学习的材料性能预测方法及系统 | |
| CN110032585B (zh) | 一种时间序列双层符号化方法及装置 | |
| CN115622571B (zh) | 一种基于数据处理的雷达目标识别方法 | |
| CN115567058A (zh) | 一种结合预测与编码的时序数据有损压缩方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |