CN116450592B - 一种基于工业大数据特征的工况自适应压缩方法及系统 - Google Patents
一种基于工业大数据特征的工况自适应压缩方法及系统 Download PDFInfo
- Publication number
- CN116450592B CN116450592B CN202211719466.8A CN202211719466A CN116450592B CN 116450592 B CN116450592 B CN 116450592B CN 202211719466 A CN202211719466 A CN 202211719466A CN 116450592 B CN116450592 B CN 116450592B
- Authority
- CN
- China
- Prior art keywords
- data
- compression
- sparse representation
- working condition
- distortion rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007906 compression Methods 0.000 title claims abstract description 42
- 230000006835 compression Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013144 data compression Methods 0.000 claims abstract description 54
- 238000009826 distribution Methods 0.000 claims abstract description 52
- 238000011156 evaluation Methods 0.000 claims abstract description 47
- 238000013139 quantization Methods 0.000 claims abstract description 41
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000007667 floating Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 238000007621 cluster analysis Methods 0.000 claims description 7
- 238000009828 non-uniform distribution Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 abstract description 9
- 238000003860 storage Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000005070 sampling Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Numerical Control (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种基于工业大数据特征的工况自适应压缩方法及系统，通过采集模块采集设备数据；通过预处理模块对采集的设备数据进行预处理；通过识别层对预处理后的数据进行工况识别；通过评价层根据工况识别的不同工况信息数据采用相应的数据压缩方式完成数据压缩。针对整型数据采用传统的压缩算法进行数据压缩；针对浮点型数据则先进行稀疏表示，然后根据稀疏表示的数据分布情况进行曲线拟合，根据曲线拟合后的数据，通过失真率评价公式计算求解量化区间和步长，完成数据压缩。该方法采用的自适应压缩方法作为数据轻量化技术可以支持高频采样以降低数据传输量、节省存储空间，为数控系统提供可靠的数据轻量化服务。
Description
技术领域
本发明涉及数控系统技术领域，具体涉一种基于工业大数据特征的工况自适应压缩方法及系统。
背景技术
目前，智能工厂的构建首先是以信息物理系统(Cyber-physical System，CPS)为核心的，而各系统中采集、保存、运行的数据又是构成信息物理系统的基础，所以工业大数据是实现智能制造的根本，在智能工厂的构建中起着基础性、决定性的作用。
智能制造过程中数据的重要性不言而喻，数据普遍来自于数控系统以及所部署的各类传感器，其中主要的数据有运动轴状态数据(如电流、电压、位置、温度等)、主轴状态数据(如功率、扭矩、速度等)、机床运行状态数据(如振动、PLC、报警和故障信息等)、G代码程序数据(如程序名称、程序行号、加工时间等)等，通过针对不同的应用场景对数据进行分析计算可以实现在数控系统的基础上的智能应用。数控机床大数据具备采集密度高、质量要求高、时序性强、海量等特点。同时，由于数控机床的数据采集是伴随着数控机床工作进行的，能够给数据采集、传输的时间窗口有限，在有限的时间内实现数控机床大数据高效采集是实现数控机床在智能制造上前进的关键。但是数控系统通讯模块一般使用高度灵活性和实现简单性的以太网连接，由于以太网采用CSMA/CD碰撞检测方式，当网络负荷较大时数据传输性能会急剧下降，造成了网络传输数据的不确定性。并且由于数控机床在加工过程中所涉及到的工况极其复杂，若对于所传输的加工数据进行统一的轻量化处理，可能会导致大量的冗余信息的上传，导致达不到对加工数据实现轻量化的目的，亦或者对部分重要加工数据压缩程度把控不当，丢失大量有用信息，导致数据在后续分析计算过程中失去其本身的意义，故针对数控系统领域下针对多工况下的数据自适应压缩显得及其重要。
目前，在数控机床数据采集领域，信号稀疏性、数据压缩技术应用较少，且针对于数控机床各工况下实现自适应压缩更是甚少。现在通常做法是在边缘端进行特征提取，或者将采集信号原样上传，这两种方法都是不可取的。在边缘端处理虽然可以减少数据量传输，但会丢失大量有用信息，且造成了机床控制器内存计算量压力大；数据原样传输为网络通讯、数据存储带来非常大的负荷。
发明内容
本发明的目的在于克服现有技术之缺陷，提供了一种基于工业大数据特征的工况自适应压缩方法及系统，该方法采用的自适应压缩方法作为数据轻量化技术可以支持高频采样以降低数据传输量、节省存储空间，为数控系统提供可靠的数据轻量化服务。针对数控机床在不同工况下所生成的电控数据，采用自适应压缩方法解决了不同工况下各类电控数据的轻量化程度标准混乱、数控系统硬件资源有限、电控数据传输和存储的负荷巨大等问题。在针对这些问题的解决过程中，实现了在占用较小程度的硬件资源的基础上，解决了对多工况电控数据的自适应压缩难点问题。
为了到达预期效果，本发明采用了以下技术方案：
本发明公开了一种基于工业大数据特征的工况自适应压缩方法，包括：采集工业设备数据并进行预处理，对预处理后的数据进行工况识别，根据工况识别的不同工况信息数据采用相应的数据压缩方式完成数据压缩。
进一步地，所采集的数据来源于伺服装置、数控装置和部署在机床上的传感器。
进一步地，所述对预处理后的数据进行工况识别，具体包括：包括将预处理后的数据分为固有数据、冷数据、温数据和热数据，然后通过K-means聚类分析的方式对不同类别的数据进行分析得出设备的运行工况信息。
进一步地，所述根据工况识别的不同工况信息数据采用相应的数据压缩方式完成数据压缩，具体包括：针对整型数据采用传统的压缩算法进行数据压缩；针对浮点型数据则先进行稀疏表示，然后根据稀疏表示的数据分布情况进行曲线拟合，根据曲线拟合后的数据，通过失真率评价公式计算求解量化区间和步长，完成数据压缩。
进一步地，采用离散余弦变换的方式进行稀疏表示，根据稀疏表示的数据分布特点，采用非均匀分布的方式进行标量量化，并根据标量量化的绝对值从大到小进行排序。
进一步地，根据排序后的数据分布情况以及相对应的级数量化器，通过失真率评价公式对每一级数量化器的量化区间和步长进行求解，进而确定稀疏表示数据分布情况的函数形式，再据此进行类拉普拉斯的曲线拟合。
进一步地，假设步长为其中，Xmax为所提取的信源分布的最大值，M为所设置的量化器的级数；失真率评价公式为/>其中，x为稀疏表示数据值，f(x)为稀疏表示数据的分布情况；则对f(x)进行曲线拟合为其中，a为曲线的幅值，b为曲线的跨度，c为曲线的中值，d为曲线的峭度。
进一步地，根据工况识别的不同的数据信息，对失真率评价公式设定不同的阈值，通过失真率评价公式计算求解量化区间和步长后，判断失真率是否大于阈值，若是，则缩小量化区间和步长后，再通过失真率评价公式计算求解量化区间和步长，直到失真率小于或等于阈值，若否，则返回量化区间和步长，完成数据压缩。
本发明还公开了一种基于工业大数据特征的工况自适应压缩系统，包括：
采集模块，用于采集设备数据；
预处理模块，用于对采集的设备数据进行预处理；
识别层，用于对预处理后的数据进行工况识别；
评价层，用于根据工况识别的不同工况信息数据采用相应的数据压缩方式完成数据压缩。
进一步地，所述根据工况识别的不同工况信息数据采用相应的数据压缩方式完成数据压缩，具体包括：针对整型数据采用传统的压缩算法进行数据压缩；针对浮点型数据则先进行稀疏表示，然后根据稀疏表示的数据分布情况进行曲线拟合，根据曲线拟合后的数据，通过失真率评价公式计算求解量化区间和步长，完成数据压缩。
本发明的工作思路是：本发明公开了一种基于工业大数据特征的工况自适应压缩方法及系统，通过采集模块采集设备数据；通过预处理模块对采集的设备数据进行预处理；通过识别层对预处理后的数据进行工况识别；通过评价层根据工况识别的不同工况信息数据采用相应的数据压缩方式完成数据压缩。针对整型数据采用传统的压缩算法进行数据压缩；针对浮点型数据则先进行稀疏表示，然后根据稀疏表示的数据分布情况进行曲线拟合，根据曲线拟合后的数据，通过失真率评价公式计算求解量化区间和步长，完成数据压缩。
与现有技术相比，本发明的有益效果是：本发明公开了一种基于工业大数据特征的工况自适应压缩方法及系统，该方法采用自适应压缩方法作为数据轻量化技术，通过离散余弦变换对其频域稀疏性进行分析，并且对工况的自适应识别，建立高精度的信源分布拟合，提出失真率评价方式，在保证数据可用的前提下，进一步提升工业大数据的压缩程度，完成数据的压缩处理，可以支持高频采样以降低数据传输量、节省存储空间，为数控系统提供可靠的数据轻量化服务。本发明通过聚类分析的手段，对数控装备的运行数据应用K-means聚类进行分析，分析出数控装备运行过程中的工况，通过工况分析完善数据压缩的效率。本发明针对浮点型数据，提出了一种失真率评价指标方式，通过对工业数据稀疏表达后，对其分布情况进行失真率评价，并且根据工况识别信息进行阈值自主切换，实现针对多工况下高效率的数据压缩。由于稀疏表示的数据信源分布类似于拉普拉斯变换，针对其分布进行类拉普拉斯的曲线拟合，通过曲线的幅值、跨度、中值和峭度等四个角度来提升稀疏表示数据分布曲线的整体拟合准确程度。针对数控机床在不同工况下所生成的电控数据，采用自适应压缩方法解决了不同工况下各类电控数据的轻量化程度标准混乱、数控系统硬件资源有限、电控数据传输和存储的负荷巨大等问题。在针对这些问题的解决过程中，实现了在占用较小程度的硬件资源的基础上，解决了对多工况电控数据的自适应压缩难点问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于工业大数据特征的工况自适应压缩方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参见图1，
本发明公开了一种基于工业大数据特征的工况自适应压缩方法，包括：
通过采集模块采集工业设备数据，优选的实施例中，所采集的数据来源于伺服装置、数控装置和部署在机床上的传感器，其中，伺服装置中采集的数据主要有负载电流、力矩电流、实际位置、实际速度等10项关键状态数据；对于五轴类数控机床，伺服电机产生的关键数据至少200项；采集数控装置的数据包括：数控装置中各轴的指令位置、实际位置、负载电流以及转速等数据。
通过预处理模块对采集的设备数据进行预处理；优选的实施例中，所述预处理为去噪操作，即去除采集的设备数据的噪音。
通过识别层对预处理后的数据进行工况识别，优选的实施例中，具体包括：将预处理后的数据分为固有数据、冷数据、温数据和热数据，以时序方式上传给识别层，然后通过K-means聚类分析的方式对不同类别的数据进行分析得出设备的运行工况信息。将识别层识别的工况信息传输给评价层进行压缩处理。本发明通过聚类分析的手段，对数控装备的运行数据应用K-means聚类进行分析得到数控装备运行过程中的工况，通过工况分析完善数据压缩的效率。
根据工况识别的不同工况信息数据采用相应的数据压缩方式完成数据压缩，优选的实施例中，具体包括：针对加工程序号、刀具号等整型数据采用传统的压缩算法(如RLE)进行数据压缩即可满足压缩需求；针对各轴轴电流、功率等浮点型数据则先进行稀疏表示，然后根据稀疏表示的数据分布情况进行曲线拟合，根据曲线拟合后的数据，通过失真率评价公式计算求解量化区间和步长，完成数据压缩。优选的实施例中，采用离散余弦变换的方式进行稀疏表示，由于稀疏表示的数据分布并不均匀，根据稀疏表示的数据分布特点进行量化，因此采用非均匀分布的方式对稀疏表示的数据进行标量量化，并根据标量量化的绝对值从大到小进行排序，以助于进行信源分布情况的表达；根据排序后的数据分布情况以及相对应的级数量化器，通过失真率评价公式对每一级数量化器的步长进行求解，进而确定稀疏表示数据分布情况的函数形式，再据此进行类拉普拉斯的曲线拟合；根据稀疏表示的数据分布情况进行曲线拟合；根据曲线拟合后的数据，通过失真率评价公式计算求解量化区间和步长以完成数据压缩。优选的实施例中，假设步长为其中，Xmax为所提取的信源分布的最大值，M为所设置的量化器的级数；则失真率评价公式为：
其中，x为稀疏表示数据值，f(x)为稀疏表示数据的分布情况；则对f(x)进行曲线拟合为其中，a为曲线的幅值，b为曲线的跨度，c为曲线的中值，d为曲线的峭度。从非均匀分布的均匀量化公式中可以发现，当系数点在/>之后时，f(x)信号的概率分布趋近于0，则可将失真率评价公式整理为
优选的实施例中，根据所采集的工业数据来源以及种类，通过采取对应的参数调整措施，以提高不同工况下曲线拟合的精度，从而提高数控数据压缩精度。
优选的实施例中，根据工况识别的不同的数据信息，对失真率评价公式设定不同的阈值，通过失真率评价公式计算求解量化区间和步长后，判断失真率是否大于阈值，若是，则缩小量化区间和步长后，再通过失真率评价公式计算求解量化区间和步长，直到失真率小于或等于阈值，若否，则返回量化区间和步长，完成数据压缩。
本发明提出了一种失真率评价指标方式，通过对工业数据稀疏表达后，对其分布情况进行失真率评价，并且根据工况识别信息进行阈值自主切换，实现针对多工况下高效率的数据压缩。由于稀疏表示的数据信源分布类似于拉普拉斯变换，针对其分布进行类拉普拉斯的曲线拟合，通过曲线的幅值、跨度、中值和峭度等四个角度来提升稀疏表示数据分布曲线的整体拟合准确程度。
本发明还公开了一种基于工业大数据特征的工况自适应压缩系统，包括：
采集模块，用于采集工业设备数据；优选的实施例中，所采集的数据来源于伺服装置、数控装置和部署在机床上的传感器，其中，伺服装置中采集的数据主要有负载电流、力矩电流、实际位置、实际速度等10项关键状态数据；对于五轴类数控机床，伺服电机产生的关键数据至少200项；采集数控装置的数据包括：数控装置中各轴的指令位置、实际位置、负载电流以及转速等数据。
预处理模块，用于对采集的设备数据进行预处理；优选的实施例中，所述预处理为去噪操作，即去除采集的设备数据的噪音。
识别层，用于对预处理后的数据进行工况识别；优选的实施例中，具体包括：将预处理后的数据分为固有数据、冷数据、温数据和热数据，以时序方式上传给识别层，然后通过K-means聚类分析的方式对不同类别的数据进行分析得出设备的运行工况信息。将识别层识别的工况信息传输给评价层进行压缩处理。本发明通过聚类分析的手段，对数控装备的运行数据应用K-means聚类进行分析得到数控装备运行过程中的工况，通过工况分析完善数据压缩的效率。
评价层，用于根据工况识别的不同工况信息数据采用相应的数据压缩方式完成数据压缩，优选的实施例中，具体包括：针对加工程序号、刀具号等整型数据采用传统的压缩算法(如RLE)进行数据压缩即可满足压缩需求；针对各轴轴电流、功率等浮点型数据则先进行稀疏表示，然后根据稀疏表示的数据分布情况进行曲线拟合，根据曲线拟合后的数据，通过失真率评价公式计算求解量化区间和步长，完成数据压缩。优选的实施例中，采用离散余弦变换的方式进行稀疏表示，由于稀疏表示的数据分布并不均匀，根据稀疏表示的数据分布特点进行量化，因此采用非均匀分布的方式对稀疏表示的数据进行标量量化，并根据标量量化的绝对值从大到小进行排序，以助于进行信源分布情况的表达；根据排序后的数据分布情况以及相对应的级数量化器，通过失真率评价公式对每一级数量化器的步长进行求解，进而确定稀疏表示数据分布情况的函数形式，再据此进行类拉普拉斯的曲线拟合；根据稀疏表示的数据分布情况进行曲线拟合；根据曲线拟合后的数据，通过失真率评价公式计算求解量化区间和步长以完成数据压缩。优选的实施例中，假设步长为其中，Xmax为所提取的信源分布的最大值，M为所设置的量化器的级数；则失真率评价公式为：
其中，x为稀疏表示数据值，f(x)为稀疏表示数据的分布情况；则对f(x)进行曲线拟合为其中，a为曲线的幅值，b为曲线的跨度，c为曲线的中值，d为曲线的峭度。从非均匀分布的均匀量化公式中可以发现，当系数点在/>之后时，f(x)信号的概率分布趋近于0，则可将失真率评价公式整理为
优选的实施例中，根据所采集的工业数据来源以及种类，通过采取对应的参数调整措施，以提高不同工况下曲线拟合的精度，从而提高数控数据压缩精度。
优选的实施例中，根据工况识别的不同的数据信息，对失真率评价公式设定不同的阈值，通过失真率评价公式计算求解量化区间和步长后，判断失真率是否大于阈值，若是，则缩小量化区间和步长后，再通过失真率评价公式计算求解量化区间和步长，直到失真率小于或等于阈值，若否，则返回量化区间和步长，完成数据压缩。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于工业大数据特征的工况自适应压缩方法，其特征在于，包括：采集工业设备数据并进行预处理，对预处理后的数据进行工况识别，根据工况识别的不同工况信息数据采用相应的数据压缩方式完成数据压缩；所述根据工况识别的不同工况信息数据采用相应的数据压缩方式完成数据压缩，具体包括：针对整型数据采用传统的压缩算法进行数据压缩；针对浮点型数据则先进行稀疏表示，然后根据稀疏表示的数据分布情况进行曲线拟合，根据曲线拟合后的数据，通过失真率评价公式计算求解量化区间和步长，完成数据压缩；采用离散余弦变换的方式进行稀疏表示，根据稀疏表示的数据分布特点，采用非均匀分布的方式进行标量量化，并根据标量量化的绝对值从大到小进行排序；根据排序后的数据分布情况以及相对应的级数量化器，通过失真率评价公式对每一级数量化器的量化区间和步长进行求解，进而确定稀疏表示数据分布情况的函数形式，再据此进行类拉普拉斯的曲线拟合；假设步长为其中，Xmax为所提取的信源分布的最大值，M为所设置的量化器的级数；失真率评价公式为/>其中，x为稀疏表示数据值，f(x)为稀疏表示数据的分布情况；则对f(x)进行曲线拟合为/>其中，a为曲线的幅值，b为曲线的跨度，c为曲线的中值，d为曲线的峭度。
2.如权利要求1所述的一种基于工业大数据特征的工况自适应压缩方法，其特征在于，所采集的数据来源于伺服装置、数控装置和部署在机床上的传感器。
3.如权利要求1所述的一种基于工业大数据特征的工况自适应压缩方法，其特征在于，所述对预处理后的数据进行工况识别，具体包括：包括将预处理后的数据分为固有数据、冷数据、温数据和热数据，然后通过K-means聚类分析的方式对不同类别的数据进行分析得出设备的运行工况信息。
4.如权利要求1所述的一种基于工业大数据特征的工况自适应压缩方法，其特征在于，根据工况识别的不同的数据信息，对失真率评价公式设定不同的阈值，通过失真率评价公式计算求解量化区间和步长后，判断失真率是否大于阈值，若是，则缩小量化区间和步长后，再通过失真率评价公式计算求解量化区间和步长，直到失真率小于或等于阈值，若否，则返回量化区间和步长，完成数据压缩。
5.一种基于工业大数据特征的工况自适应压缩系统，其特征在于，包括：
采集模块，用于采集设备数据；
预处理模块，用于对采集的设备数据进行预处理；
识别层，用于对预处理后的数据进行工况识别；
评价层，用于根据工况识别的不同工况信息数据采用相应的数据压缩方式完成数据压缩；所述根据工况识别的不同工况信息数据采用相应的数据压缩方式完成数据压缩，具体包括：针对整型数据采用传统的压缩算法进行数据压缩；针对浮点型数据则先进行稀疏表示，然后根据稀疏表示的数据分布情况进行曲线拟合，根据曲线拟合后的数据，通过失真率评价公式计算求解量化区间和步长，完成数据压缩；采用离散余弦变换的方式进行稀疏表示，根据稀疏表示的数据分布特点，采用非均匀分布的方式进行标量量化，并根据标量量化的绝对值从大到小进行排序；根据排序后的数据分布情况以及相对应的级数量化器，通过失真率评价公式对每一级数量化器的量化区间和步长进行求解，进而确定稀疏表示数据分布情况的函数形式，再据此进行类拉普拉斯的曲线拟合；假设步长为其中，Xmax为所提取的信源分布的最大值，M为所设置的量化器的级数；失真率评价公式为其中，x为稀疏表示数据值，f(x)为稀疏表示数据的分布情况；则对f(x)进行曲线拟合为/>其中，a为曲线的幅值，b为曲线的跨度，c为曲线的中值，d为曲线的峭度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211719466.8A CN116450592B (zh) | 2022-12-30 | 2022-12-30 | 一种基于工业大数据特征的工况自适应压缩方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211719466.8A CN116450592B (zh) | 2022-12-30 | 2022-12-30 | 一种基于工业大数据特征的工况自适应压缩方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116450592A CN116450592A (zh) | 2023-07-18 |
| CN116450592B true CN116450592B (zh) | 2024-01-02 |
Family
ID=87127847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211719466.8A Active CN116450592B (zh) | 2022-12-30 | 2022-12-30 | 一种基于工业大数据特征的工况自适应压缩方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116450592B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109286817A (zh) * | 2018-09-19 | 2019-01-29 | 上海电力学院 | 一种视频编码中dct系数的量化失真信息处理方法 |
| CN109670485A (zh) * | 2019-01-23 | 2019-04-23 | 华南理工大学 | 基于多数据压缩追踪算法的旋转机械局部型故障远程诊断方法 |
| CN110830044A (zh) * | 2019-11-01 | 2020-02-21 | 四川大学 | 基于稀疏最小二乘优化的数据压缩方法 |
| WO2021027144A1 (zh) * | 2019-08-12 | 2021-02-18 | Tcl华星光电技术有限公司 | 数据压缩装置及压缩方法 |
| CN113554055A (zh) * | 2021-06-11 | 2021-10-26 | 杭州玖欣物联科技有限公司 | 一种基于聚类算法的加工工况识别方法 |
| CN115062009A (zh) * | 2022-03-09 | 2022-09-16 | 国电内蒙古东胜热电有限公司 | 一种基于K-means聚类的灵活数据压缩方法 |
-
2022
- 2022-12-30 CN CN202211719466.8A patent/CN116450592B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109286817A (zh) * | 2018-09-19 | 2019-01-29 | 上海电力学院 | 一种视频编码中dct系数的量化失真信息处理方法 |
| CN109670485A (zh) * | 2019-01-23 | 2019-04-23 | 华南理工大学 | 基于多数据压缩追踪算法的旋转机械局部型故障远程诊断方法 |
| WO2021027144A1 (zh) * | 2019-08-12 | 2021-02-18 | Tcl华星光电技术有限公司 | 数据压缩装置及压缩方法 |
| CN110830044A (zh) * | 2019-11-01 | 2020-02-21 | 四川大学 | 基于稀疏最小二乘优化的数据压缩方法 |
| CN113554055A (zh) * | 2021-06-11 | 2021-10-26 | 杭州玖欣物联科技有限公司 | 一种基于聚类算法的加工工况识别方法 |
| CN115062009A (zh) * | 2022-03-09 | 2022-09-16 | 国电内蒙古东胜热电有限公司 | 一种基于K-means聚类的灵活数据压缩方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116450592A (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109145957B (zh) | 基于大数据的配电网异常指标的识别与处理方法及装置 | |
| CN116697039B (zh) | 一种单级高速变速器的自适应控制方法及系统 | |
| CN117353751B (zh) | 基于大数据的无人充电桩交易数据智能管理系统 | |
| CN112288597A (zh) | 一种基于层次聚类和直方图算法的能耗在线异常检测方法 | |
| CN116599857B (zh) | 一种适用于物联网多场景的数字孪生应用系统 | |
| CN113822418A (zh) | 一种风电场功率预测方法、系统、设备和存储介质 | |
| CN110286649A (zh) | 针对数控机床上传感器采集数据的建模系统及其方法 | |
| CN114640355A (zh) | 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备 | |
| CN117478148A (zh) | 基于模式分析的风电机组运行状态划分方法 | |
| CN113626767A (zh) | 一种风机限电识别方法、系统、设备和存储介质 | |
| CN117435873A (zh) | 一种基于智能喷雾降尘的数据管理方法 | |
| CN112365090A (zh) | 一种基于深度学习的非入侵式用电负荷识别方法及装置 | |
| CN116151464A (zh) | 一种光伏发电功率预测方法、系统及可存储介质 | |
| CN116450592B (zh) | 一种基于工业大数据特征的工况自适应压缩方法及系统 | |
| CN112819646B (zh) | 一种定制木工家具柔性生产线故障诊断系统 | |
| CN117407681A (zh) | 一种基于向量聚类的时序数据预测模型建立方法 | |
| CN113780354A (zh) | 调度自动化主站系统遥测数据异常识别方法和装置 | |
| CN111382763A (zh) | 一种光伏集群划分方法及系统 | |
| CN114367710B (zh) | 一种基于深度学习和声发射信号的电火花加工控制方法 | |
| CN117154680A (zh) | 一种基于非平稳Transformer模型的风电功率预测方法 | |
| CN113780644B (zh) | 一种基于在线学习的光伏出力预测方法 | |
| CN115833843A (zh) | 一种车辆运行监控数据存储优化方法及管理平台 | |
| CN112534842A (zh) | 使用分布式计算网络的边缘节点的压缩感测系统和方法 | |
| CN114154567A (zh) | 一种基于机器学习的风电场站运行数据异常识别方法 | |
| CN111563543B (zh) | 一种风电机组的风速-发电功率数据的清洗方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |