CN116527777B - 量测数据压缩采集方法及系统、电子设备、存储介质 - Google Patents

量测数据压缩采集方法及系统、电子设备、存储介质 Download PDF

Info

Publication number
CN116527777B
CN116527777B CN202310440393.7A CN202310440393A CN116527777B CN 116527777 B CN116527777 B CN 116527777B CN 202310440393 A CN202310440393 A CN 202310440393A CN 116527777 B CN116527777 B CN 116527777B
Authority
CN
China
Prior art keywords
data
template
message
original message
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310440393.7A
Other languages
English (en)
Other versions
CN116527777A (zh
Inventor
祝视
方彬
周沿东
朱宏宇
孙毅臻
李浩志
余鸣
方龙泉
焦筱悛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Hunan Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202310440393.7A priority Critical patent/CN116527777B/zh
Publication of CN116527777A publication Critical patent/CN116527777A/zh
Application granted granted Critical
Publication of CN116527777B publication Critical patent/CN116527777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/084—Configuration by using pre-existing information, e.g. using templates or copying from other elements
    • H04L41/0843—Configuration by using pre-existing information, e.g. using templates or copying from other elements based on generic templates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种量测数据压缩采集方法及系统、电子设备、存储介质，在该方法中，终端侧在生成原始报文后新增了校验键，同时引入了模板作为数据压缩和解压缩的标准，校验键可以指示上报的数据项中哪些相比于模板发生了变化。在进行压缩时，只针对数据项进行压缩处理，且只保留相对于模板发生变化的数据项，大大降低了冗余数据信息。还配置了模板更新机制，进一步减少保留的数据项，提高数据压缩效率。另外，还计算了校验码，将其作为核查解压缩数据是否无误的辅助手段，保证了解压后数据的完整性和可靠性。该方法结合了终端的边缘计算能力，可以实现量测数据的无损压缩采集，大大降低了数据传输量和上传MQTT数据包所需的带宽和流量费用。

Description

量测数据压缩采集方法及系统、电子设备、存储介质
技术领域
本发明涉及电力物联网技术领域，特别地，涉及一种量测数据压缩采集方法及系统、电子设备、计算机可读取的存储介质。
背景技术
随着物联网、大数据与人工智能等领域快速发展，数据已成为至关重要的要素。在电力物联网系统中，终端下接了各类感知单元并负责将采集的量测数据上报。通常，终端利用边缘计算框架将感知的量测数据转化为json数据报文，然后再基于MQTT协议将json数据报文上传至物联管理平台等数据采集系统，紧接着，量测数据共享平台对来自物联管理平台等数据采集系统的各类数据进行汇聚和加工，为上层应用提供丰富的数据资源，以支持其更为精准的业务运营和决策。
然而，由于接入电力物联网的终端数量众多，海量终端上报MQTT数据包所需的流量成为了一个相当昂贵的开销，因此，亟需对此进行优化以降低成本。一种可行的方案是从终端侧考虑设计一种压缩采集方法，通过减少json数据报文的冗余以降低采集数据传输的数据量，进而提高数据传输的延时，降低上传MQTT数据包所需的带宽和流量费用。然而，如何在减少冗余信息的同时保证解压后数据的完整性和可靠性，即实现量测数据无损压缩采集，使得压缩采集方案不影响现有系统的正常运转，目前尚缺少相应的方法。
发明内容
本发明提供了一种量测数据压缩采集方法及系统、电子设备、计算机可读取的存储介质，以解决现有数据压缩采集方法无法实现量测数据无损压缩采集的技术问题。
根据本发明的一个方面，提供一种量测数据压缩采集方法，包括以下内容：
终端侧采集量测数据后生成原始报文，所述原始报文包括定位信息和数据项信息；
在原始报文中新增一个校验键，所述校验键的值基于原始报文和当前模板计算得到，其中，模板为终端侧上传的一条具有全量数据的报文，初始化时模板为空集；
对原始报文中的数据项信息进行压缩处理，压缩过程中仅保留相对于当前模板发生变化的数据项信息，从而得到压缩报文；
判断当前模板是否需要更新；
终端侧计算原始报文的校验码，并将校验码和压缩报文上传至平台侧；
平台侧对接收的压缩报文进行解压缩处理和数据核对。
进一步地，具体基于下式计算校验键的值：
c＝bin2hex(f(d,y))
其中，c表示校验键的值，bin2hex()表示二进制转十六进制的函数，函数f(d,y)用于返回一串长度为N+2的二进制串， d表示当前模板，y表示原始报文中的数据项信息，N和M分别表示原始报文和当前模板中的数据项数量，yn和/>分别表示原始报文和当前模板中第n个数据项的名称，zn和/>分别表示原始报文和当前模板中第n个数据项的值，u表示模板更新标志位，其为二进制变量。
进一步地，所述判断当前模板是否需要更新的过程具体为：
若函数f(d,y)的返还结果中除了首位为1、其余位均为0，则不更新当前模板；
若函数f(d,y)的返还结果全为1，则将当前模板更新为此次采集的原始报文，并将模板更新标志位u的值加1；
若函数f(d,y)的返还结果中除了首位为1、其余位不全为0，则采用基于相似度的模板更新算法判断是否更新当前模板。
进一步地，所述基于相似度的模板更新算法判断是否更新当前模板的过程具体为：
平台侧收集终端侧上报的大量历史数据，并采用聚类算法进行聚类处理，将聚类数据传输至终端侧；
终端侧分别计算原始报文和当前模板的数据项向量与聚类数据之间的相似度；
基于两个相似度值计算将当前模板更新为原始报文的概率值；
生成一个[0,1)范围内的随机数，若生成的随机数小于概率值，则将当前模板更新为原始报文，否则，不更新当前模板。
进一步地，所述对接收的压缩报文进行解压缩处理和数据核对的过程包括以下内容：
对校验键的值进行解析，得到函数f(d,y)的返回结果；
根据函数f(d,y)的返回结果对压缩报文进行解压处理，并判断是否更新平台侧的当前模板；
基于解压后的数据报文计算核验码，若核验码与终端侧上传的校验码一致，则校验通过，否则，校验不通过。
进一步地，所述根据函数f(d,y)的返回结果对压缩报文进行解压处理的过程具体为：
从函数f(d,y)返回的二进制串中定位到第一个1出现的位置，将二进制串缩减为"υ1υ2...υNu"，从而得到数据项的数量N和模板更新标志位的值，对于任意值为0的υn,n∈{1,2,...,N}，从模板中提取相应的数据项，将提取出的数据项的名称作为键、数据项的值作为键值加入到压缩报文的数据项信息中的对应位置处。
进一步地，若模板更新标志位的值为1，则将平台侧的当前模板更新为解压后的报文；若模板更新标志位的值为0，则不对平台侧的当前模板进行更新。
另外，本发明还提供一种量测数据压缩采集系统，包括：
数据采集模块，用于采集量测数据后生成原始报文，所述原始报文包括定位信息和数据项信息；
校验键生成模块，用于在原始报文中新增一个校验键，所述校验键的值基于原始报文和当前模板计算得到，其中，模板为终端侧上传的一条具有全量数据的报文，初始化时模板为空集；
数据压缩模块，用于对原始报文中的数据项信息进行压缩处理，压缩过程中仅保留相对于当前模板发生变化的数据项信息，从而得到压缩报文；
模板更新模块，用于判断当前模板是否需要更新；
校验码生成模块，用于计算原始报文的校验码，并将校验码和压缩报文上传至平台侧；
数据解压模块，用于对接收的压缩报文进行解压缩处理和数据核对；
所述数据采集模块、校验键生成模块、数据压缩模块、模板更新模块和校验码生成模块均部署在终端侧，所述数据解压模块部署在平台侧。
另外，本发明还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上所述的方法的步骤。
另外，本发明还提供一种计算机可读取的存储介质，用于存储进行量测数据压缩采集的计算机程序，所述计算机程序在计算机上运行时执行如上所述的方法的步骤。
本发明具有以下效果：
本发明的量测数据压缩采集方法中，终端侧在采集量测数据后生成原始报文，原始报文中包含定位信息和数据项信息，并在原始报文中新增了校验键，同时引入了模板作为数据压缩和解压缩的标准，而校验键的值基于原始报文和终端侧的当前模板计算得到，其中，校验键可以指示了当前需要上报的数据项信息中有哪些数据项相比于当前模板发生了变化。在对原始报文进行压缩时，考虑到量测数据的两个特性，第一个特性是一条量测数据报文中数据项信息的数据量一般远远高于定位信息的数据量，第二个特性是量测数据中存在不少的数据项是开关量等二进制数据，且不少数据项的值较为稳定，大多数情概况下这些数据不会发生变化，故而只针对原始报文中的数据项信息进行压缩处理，而不对定位信息进行压缩处理，并且压缩报文中只保留相对于当前模板发生变化的数据项信息，大大降低了冗余数据信息，获得了很好的数据压缩效果，同时，还可以准确定位到压缩数据的终端来源。并且，还配置了模板更新机制，可以实现模板的自动化更新，模板更新后可以进一步减少压缩报文中保留的数据项信息，有利于进一步提高数据压缩效率。另外，终端侧还计算了原始报文的校验码，将校验码作为辅助平台侧核查解压缩后的数据是否无误，保证了解压后数据的完整性和可靠性。本发明的量测数据压缩采集方法结合了终端的边缘计算能力，可以实现量测数据的无损压缩采集，大大降低了数据传输量，从而大大降低上传MQTT数据包所需的带宽和流量费用。
另外，本发明的量测数据压缩采集系统同样具有上述优点。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的量测数据压缩采集方法的流程示意图。
图2是本发明优选实施例的电力物联网的系统架构示意图。
图3是图1中步骤S4的子流程示意图。
图4是图1中步骤S6的子流程示意图。
图5是本发明另一实施例的量测数据压缩采集系统的模块结构示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由下述所限定和覆盖的多种不同方式实施。
如图1所示，本发明的优选实施例提供一种量测数据压缩采集方法，包括以下内容：
步骤S1：终端侧采集量测数据后生成原始报文，所述原始报文包括定位信息和数据项信息；
步骤S2：在原始报文中新增一个校验键，所述校验键的值基于原始报文和当前模板计算得到，其中，模板为终端侧上传的一条具有全量数据的报文，初始化时模板为空集；
步骤S3：对原始报文中的数据项信息进行压缩处理，压缩过程中仅保留相对于当前模板发生变化的数据项信息，从而得到压缩报文；
步骤S4：判断当前模板是否需要更新；
步骤S5：终端侧计算原始报文的校验码，并将校验码和压缩报文上传至平台侧；
步骤S6：平台侧对接收的压缩报文进行解压缩处理和数据核对。
可以理解，本实施例的量测数据压缩采集方法中，终端侧在采集量测数据后生成原始报文，原始报文中包含定位信息和数据项信息，并在原始报文中新增了校验键，同时引入了模板作为数据压缩和解压缩的标准，而校验键的值基于原始报文和终端侧的当前模板计算得到，其中，校验键可以指示了当前需要上报的数据项信息中有哪些数据项相比于当前模板发生了变化。在对原始报文进行压缩时，考虑到量测数据的两个特性，第一个特性是一条量测数据报文中数据项信息的数据量一般远远高于定位信息的数据量，第二个特性是量测数据中存在不少的数据项是开关量等二进制数据，且不少数据项的值较为稳定，大多数情概况下这些数据不会发生变化，故而只针对原始报文中的数据项信息进行压缩处理，而不对定位信息进行压缩处理，并且压缩报文中只保留相对于当前模板发生变化的数据项信息，大大降低了冗余数据信息，获得了很好的数据压缩效果，同时，还可以准确定位到压缩数据的终端来源。并且，还配置了模板更新机制，可以实现模板的自动化更新，模板更新后可以进一步减少压缩报文中保留的数据项信息，有利于进一步提高数据压缩效率。另外，终端侧还计算了原始报文的校验码，将校验码作为辅助平台侧核查解压缩后的数据是否无误，保证了解压后数据的完整性和可靠性。本发明的量测数据压缩采集方法结合了终端的边缘计算能力，可以实现量测数据的无损压缩采集，大大降低了数据传输量，从而大大降低上传MQTT数据包所需的带宽和流量费用。
可以理解，本实施例的量测数据压缩采集方法所适用的电力物联网架构如图2所示，其中，终端侧的边缘终端具备无线通信能力、计算能力和存储能力，其主要实现压缩数据报文和模板维护，而平台侧，即物联管理平台等数据采集系统，其主要实现维护聚类模型和数据采集。为了便于理解，本发明中将未压缩的json数据报文称为原始报文，压缩后的json数据报文称为压缩报文。终端侧获取感知终端采集的数据后基于边缘计算能力生成原始报文，经过压缩算法将原始报文压缩为压缩报文，然后再基于MQTT协议将压缩报文和原始报文的校验码上传至物联管理平台等数据采集系统；紧接着，平台侧，即数据采集系统，可基于解压缩算法实现无损解压获取到原始报文；之后，量测数据共享平台对来自物联管理平台等数据采集系统的各类原始报文数据进行汇聚和加工，为上层应用提供丰富的数据资源。显然，由于本发明是无损压缩，因此不会影响现有系统的正常运转，且需要压缩数据量越大，则压缩带来的效益越高，节省的流量费用越多。
具体地，在所述步骤S1中，终端侧在采集量测数据后，对于任意json数据结构的量测数据报文都可简化表示为{"info":x,"data":y}，其中，info键对应的值x表示定位信息，如终端ID、数据的时间戳、服务ID等信息，data键对应的值y则表示所采集的数据项。假设终端侧采集N个数据项，则y可表示为{"y1":"z1"，"y2":"z2"，…，"yN":"zN"}，其中yn和zn分别表示第n个数据项的名称和值，n＝1,2,…,N。另外，需要明确的是上述只是数据的简化表示，并不代表真实数据的json数据结构。其中，由于x包含该数据报文所属的终端ID、时间戳等信息，用于定位数据是由哪个终端上报的，即x是数据的定位信息，因此不能压缩x，因此，本发明考虑压缩数据项y以降低数据报文的长度。其中，只压缩数据项y的可行性基础如下：(1)一条量测数据报文中数据项y的数据量一般远远高于信息数据x的数据量；(2)由于终端采集的量测数据中存在不少的数据项是开关量等二进制数据，或者存在不少数据项的值较为稳定，即长时间不会发生显著变化，在允许范围内，这些变化可忽略，这意味着除非异常情况，否则大多数情况这些数据不会变化；因此，即使仅压缩数据项y也可取得很好的压缩效果。
可以理解，在所述步骤S2中，假设终端侧生成的原始报文为d1，通过在原始报文d1中新增一个校验键check，其中，具体基于下式计算校验键的值：
c＝bin2hex(f(d,y))
其中，c表示校验键的值，bin2hex()表示二进制转十六进制的函数，函数f(d,y)用于返回一串长度为N+2的二进制串， d表示当前模板，y表示原始报文中的数据项信息，y∈d1，N和M分别表示原始报文和当前模板中的数据项数量，yn和/>分别表示原始报文和当前模板中第n个数据项的名称，zn和/>分别表示原始报文和当前模板中第n个数据项的值，u表示模板更新标志位，其为二进制变量。其中，当u＝1时，则表示终端侧的模板发生了更新，当u＝0时，则表示终端侧的模板未更新，默认u＝0。另外，模板是包含终端上传的一条具有全量数据的报文，也是终端上报数据的报文格式，模板是数据压缩和解压缩的基准，要实现数据压缩，则需要模板和数据报文的格式一致。初始时，终端的模板为空，而每次执行压缩采集后，终端侧将基于一定的策略决定是否更新本地的模板。
根据函数f(d,y)的定义可知，若存在下面三种情况，则函数f(d,y)将返回长度为N+2的只由字符1组成的字符串，此时u的值为1，分别为：(1)当前模板和原始报文的任意一个数据项的名称不同，或者模板的数据项数量和当前终端上报的数据项数量不同时，即终端上报数据的格式发生变化；(2)当前模板为空集；(3)当前模板和原始报文所对应的数据项的值完全不同。而当终端上报的数据格式没有发生变化，则只有与模板中对应的数据项的名称和值都一样时，υn的值才为0，例如，当原始报文和当前模板的数据项信息完全相同，即data键对应的数据项y完全相同时，函数f(d,y)将返回只有首字符为1、其余字符为0的二进制串。因此，函数f(d,y)可以指示当前要上报的数据项信息y中哪些数据项相比于当前模板发生了变化，后续进行数据压缩时只保留发生了变化的数据项信息。另外，为满足特殊情况，规定当模板d中数据项的数量M小于数据项y的数量N时，若n>M，则和/>都为空字符。
并且，当数据项的数量N的值很大时，函数f(d,y)返回值的长度也会很长。因此，为了进一步压缩，通过函数bin2hex()将二进制串转化十六进制串。另外，由于每4位二进制转化为一个16进制数，因此当函数f(d,y)返回的二进制串的长度不能被4整除时，需在串的头部补最少的0，使得其能被4整除，由此，最终得到的校验键的值c实现了进一步压缩。需要明确的是，由于在进一步压缩中可能会存在补0操作，因此在函数f(d,y)返回的字符串中固定以1开头，通过补1操作可以划定补的0与指示数据项的字符串"υ1υ2...υN"之间的界限。
可以理解，在所述步骤S3中，假设函数f(d,y)返回的结果s＝"1υ1υ2...υNu"，而原始报文d1＝{"info":x,"data":y}，其中，y＝{"y1":"z1","y2":"z2",...,"yN":"zN"}，增加校验键后，原始报文变化为d1＝{"info":x,"data":y,"check":c}，c＝bin2hex(s)。然后，优化压缩数据项信息y，压缩后的数据项信息可表示为：即压缩后的数据项信息/>只保留了υn的值为1所对应的数据项信息，即保留变化的数据项信息，以达到压缩数据报文的目的。因此，压缩报文可表示为/>另外，当原始报文的数据格式发生变化时，压缩报文/>实际并未进行压缩，而是全量数据。
可以理解，在所述步骤S4中，所述判断当前模板是否需要更新的过程具体为：
若函数f(d,y)的返还结果中除了首位为1、其余位均为0，则不更新当前模板；
若函数f(d,y)的返还结果全为1，则将当前模板更新为此次采集的原始报文，并将模板更新标志位u的值加1；
若函数f(d,y)的返还结果中除了首位为1、其余位不全为0，则采用基于相似度的模板更新算法判断是否更新当前模板。
其中，当函数f(d,y)的返还结果中除了首位为1、其余位均为0，则表示原始报文d1和当前模板d中对应的数据项的名称和值完全相同，此时，不需要更新当前模板d。而当函数f(d,y)的返还结果全为1，则表示当前模板d为空集，或者原始报文d1中对应数据项的值与当前模板d完全不同，或者原始报文d1的数据格式发生了变化，则将当前模板d更新为此次采集的原始报文d1，并且将模板更新标志位u的值加1，即将u从默认值0改为1。而当函数f(d,y)的返还结果中除了首位为1、其余位不全为0时，表示原始报文d1的数据格式与当前模板d相比没有发生变化，但存在一些数据项的值发生了变化，此时需要采用基于相似度的模板更新算法判断是否更新当前模板。
可以理解，本发明的基于相似度的模板更新算法的原理为：如果原始报文与历史数据总体越相似，那么后续终端要上报的数据报文与原始报文相似的可能性越大，则本发明压缩算法的压缩比例越大，可进一步提高压缩率。因此，原始报文与历史数据总体越相似，则其作为模板的概率越大。然而，由于终端上报数据的特征分布复杂，数据量巨大，若直接计算相似度所需的计算和存储成本巨大，不符合现实情况，会给边缘终端带来较大的负担，因此，本发明的基于相似度的模板更新算法通过聚类算法选取簇头来表征整个簇的数据特征，以较低的计算和存储成本实现计算相似度的近似值。其中，如图3所示，所述基于相似度的模板更新算法判断是否更新当前模板的过程具体为：
步骤S41：平台侧收集终端侧上报的大量历史数据，并采用聚类算法进行聚类处理，将聚类数据传输至终端侧；
步骤S42：终端侧分别计算原始报文和当前模板的数据项向量与聚类数据之间的相似度；
步骤S43：基于两个相似度值计算将当前模板更新为原始报文的概率值；
步骤S44：生成一个[0,1)范围内的随机数，若生成的随机数小于概率值，则将当前模板更新为原始报文，否则，不更新当前模板。
具体地，平台侧收集终端侧上报的大量历史数据，然后基于K-means聚类算法得到K个聚类中心，紧接着，平台侧同步这K个聚类中心和每个簇中数据量的占比至终端侧。需明确的是，在K-means聚类算法中，优选使用汉明距离衡量数据点之间的距离，同时，在平均簇内的所有数据点生成簇头后，再选取距离该簇头最近的数据点作为该簇的簇头，以保证每个簇头向量的合法性。当然，聚类算法除了K-means外，还可以选用其他常用的无监督聚类算法，诸如DBSCAN聚类算法、层次聚类、t-SNE聚类算法等，具体采用的聚类算法可依据实际需求进行调整。
然后，终端侧分别计算原始报文和当前模板的数据项向量与聚类数据之间的相似度。令表示原始报文的数据项向量，/>同理，令/>表示当前模板d的数据项向量，采用下式计算/>和/>与聚类数据之间的相似度：
其中，simb表示原始报文的数据项向量与聚类数据之间的相似度值，simd表示当前模板的数据项向量与聚类数据之间的相似度值，表示第k个簇头和向量/>之间的汉明距离，/>的值越大则表明两个向量之间越相似，/>为权重，其表示第k个簇中数据量|Gk|占数据总量的比重。
计算出相似度值simb和simd后，基于下式计算将当前模板更新为原始报文的概率值：
接着，生成一个随机数r∈[0,1)，若r小于则将当前模板d更新为原始报文d1，赋值u为1；否则，保持当前模板d不变，赋值u为0。
可以理解，在所述步骤S5中，终端侧还基于原始报文计算校验码h，具体生成校验码的过程属于现有技术，例如采用现有的CRC校验码，在此不再赘述。终端侧将压缩报文和校验码h一起上传至平台侧，将校验码作为辅助平台侧核查解压缩后的数据是否无误，保证了解压后数据的完整性和可靠性。
可以理解，当数据报文的格式发生变化时，本发明的基于相似度的模板更新算法将失效，待后续平台侧基于新的数据报文格式收集足够多的历史数据进行聚类处理后更新聚类模型，再继续启用基于相似度的模板更新算法。因此，在所述步骤S6中，当平台侧发现终端侧上报的数据格式发生变化时，如终端侧上报的数据项数量增加了，某个数据项的名称发生变化，则平台侧开始收集终端侧上传的新的数据报文，当收集到一定量时，基于这些新的数据训练新的聚类模型并下发给终端侧，再继续启用基于相似度的模板更新算法。但由于终端侧的数据格式不会频繁变化，在较长的一段时间内的数据格式是固定的，因此本发明的基于相似度的模板更新算法是可行的。
另外，如图4所示，所述对接收的压缩报文进行解压缩处理和数据核对的过程包括以下内容：
步骤S61：对校验键的值进行解析，得到函数f(d,y)的返回结果；
步骤S62：根据函数f(d,y)的返回结果对压缩报文进行解压处理，并判断是否更新平台侧的当前模板；
步骤S63：基于解压后的数据报文计算核验码，若核验码与终端侧上传的校验码一致，则校验通过，否则，校验不通过。
具体地，当平台侧收到一条压缩报文和校验码h后，由于终端ID的唯一性，因此可以通过/>中的info键中的定位信息x可以定位到数据所属的终端，由此定位到平台侧维护的该终端的模板d。
然后，对校验键的值进行解析，将16进制串c转为二进制串s＝"0...01υ1υ2...υNu"，定位到第一个1出现的位置，可将二进制串s缩减为"υ1υ2...υNu"，从而得到数据项的数量N和模板更新标志位u的值。再基于二进制串"υ1υ2...υN"和当前模板d进行数据解压，对于任意值为0的υn,n∈{1,2,...,N}，从当前模板d中提取相应的数据项，将提取出的数据项的名称作为键、数据项的值作为键值加入到压缩报文的数据项信息/>中的对应位置处。显然，遍历一次二进制串"υ1υ2...υN"后，压缩报文/>中/>缺失的数据项得到了填充，报文完成解压缩操作，得到解压后的数据报文d1。需要明确的是，多个数据项的排序规则是固定的，因此解压缩后，每个数据项的位置与终端生成的原始报文的位置是一致的。另外，当二进制串"υ1υ2...υN"由全为1的字符组成时，这表明终端侧上报的是全量数据，此时，解压缩操作退化为简单的赋值，即压缩报文/>解压后的数据报文/>
接着，根据解析得到的模板更新标志位u的值来判断终端侧是否更新模板，若模板更新标志位的值为1，意味着终端侧更新了模板，则将平台侧的当前模板更新为解压后的报文，若模板更新标志位的值为0，意味着终端侧未更新模板，则不对平台侧的当前模板进行更新，从而保证终端侧和平台侧的模板同步更新，保证了解压后数据的完整性和可靠性。
接着，对解压后的数据进行内容准确性校验。从解压后的数据报文d1中提取出json数据，使其与原始报文具有相同的结构，其数据结构可简化为{"info":x,"data":y}，然后按照与终端侧相同的方式计算出核验码，若计算得到的核验码与校验码h一致，则表明终端侧上传的数据无误，内容准确性校验通过，否则校验不通过，平台侧标记该数据报文为异常数据。最后，对于校验通过的数据报文，平台侧将处理相应的数据报文，将处理后的数据上报给量测数据共享平台，而对于异常数据则发起告警，由相关工作人员负责排查异常情况。
可以理解，本发明中还基于下述实施案例来进一步解释本发明的量测数据压缩采集方法，具体地，假设终端侧上报数据的json格式如下所述：
由此可见，原始报文b1中有6项数据需要上报，原始报文b1可简化表示为{"info":x,"data":y}格式，其中，x＝{"deviceId":"123xB456","eventTime":"20191023T173625Z","serviceId":"xpt012"}，y＝{'set_temp':0,'set_switch':0,'oval_1':0,'cval_1':0,'oval_2':0,'cval_2':0}，显然，6项数据的取值都为0。由于压缩的关键在于每个数据项的值，同时为方便陈述，在表1中，用数据项的值向量表示该原始报文，如用[0,0,0,0,0,0]表示上述的原始报文b1。
表1、实施案例
如表1所示，案例1中终端侧是首次上报，则初始化模板d为空集，基于函数f(d,y)的定义可知，函数f(d,y)的返回值为“11111111”，则校验键的值c＝“FF”。则原始报文b1对应的压缩报文为：
用[0,0,0,0,0,0]和对应的校验键的值"FF"简化代表压缩报文完成压缩后，由于终端侧是首次上报数据导致模板不存在，则将终端侧的模板从空集更新为b1。
同样地，案例2中是第二次上报数据，在终端侧的模板更新为b1的前提下进行数据压缩。可见，与模板相比，原始报文b2只有第一个和第三个数据项的值发生了变化，则函数f(d,y)的返回值为“11010001”，此时，模板更新标志位的u初始化为0，那么对应的十六进制值为“D0”。则原始报文b2对应的压缩报文为：
同样地，用[1,1]和“D0”简化表示压缩报文压缩完成后，再采用基于相似度的模板更新算法来判断是否更新模板为b2。而在案例2中，由于生成的随机数小于概率值，因此模板将更新为b2，同时标志位u更新为1，因此压缩报文/>中的check键对应的值更改为“D1”。
同理，在案例3和案例4中，由于其数据项与案例2中的模板b2基本完全相同，故而其压缩数据中的数据项数量为0，并且由于生成的随机数大于概率值，因此模板并未发生更新。
可以理解，根据表1可知，由于b2与之后的数据报文b3和b4高度相似，故而更新模板为b2后的压缩效率显著提高了。假设模板不更新，依旧为b1，则四个案例中总共上报的数据量为6+2+2+2＝12，而更新模板b2后，总共上报的数据量为6+2+0+0＝8，单从数据量的角度考虑，就减少了33.3％。由于案例2中终端侧发生了模型更新，故而需要将校验键的模板更新标志位设为1，由此校验键的值由“D0”变为了“D1”，该标志位用以辅助平台侧判断终端侧是否发生了模板更新，以同步终端侧和平台侧的模板。另外，可以发现，压缩报文与原始报文b2相比，json数据报文的长度从157减少到了123，数据量减少了21.66％；而与原始报文b3相比，压缩报文/>的数据长度由157减少到了98，数据量减少了37.59％，可见本发明所提的压缩采集实现了较高的数据压缩率。从整个系统的角度来看，海量终端所节省的流量开支将非常巨大，此外，从时间维度进行考虑，单个终端日积月累所节省的流量也是十分巨大的。
而对于平台侧，在案例1中，由于初始化模板为空集，则终端侧上报的数据一定是全量数据，即原始报文和压缩报文完全一致，因此，平台侧无需解压缩该数据，并初始化该终端的模板为
当平台侧再次收到终端侧上报的压缩报文时，如案例2中的压缩报文令h表示该数据附带的校验码，此时平台侧已有该终端对应的模板，可实现解压缩。首先，从/>中取check键对应的值并转为二进制串，即将"D1"转为“11010001”，然后，定位到首个1出现的索引，去掉前面一个字符，字符串缩减为“1010001”。然后，平台侧解压缩报文，从模板中补充值为0所对应的数据项，即将模板中的数据项2、4、5、6的键和值填充到压缩报文中，使其变为完整的数据，由此报文完成解压缩操作。解压后的报文/>如下所示：
显然，由于仅需要遍历一次二进制串s即可完成解压，因此，解压操作的时间复杂度为O(N)，其中N为数据项的数量。
接着，平台侧需要更新维护该终端对应的模板，若解析得到的标志位u＝0，则表明终端侧未更新模板，因此平台侧的模板不更新。反之，若u＝1，则表明终端侧更新了模板，此时平台侧需同步更新模板。
同理，案例3和案例4的解压缩过程与案例2相同，区别在于它们的压缩报文中的校验位为0，故而平台侧不更新模板。
解压缩完成后，去除check键后得到压缩报文所对应的原始报文，即数据结构简化表示为{"info":x,"data":y}，然后通过与终端侧同样的算法计算该报文的核验码，如果该核验码与数据附带的校验码h一致，则表明终端上传的数据无误，该数据报文通过内容准确性校验；否则，平台标记该数据报文为异常数据。最后，对于校验通过的数据报文，平台将处理相应的数据报文，将处理后的数据上报给量测数据共享平台。对于异常数据则发起告警，由相关工作人员负责排查异常情况。
因此，本发明提出了一种适用于量测数据的压缩采集方案，该方案结合终端的边缘计算能力实现压缩采集，可减少数据传输量，节省终端上报数据所需的流量费用。并且，基于量测数据的特征进行设计，通过往原始json数据中加入一个校验键，然后结合模板实现数据压缩。另外，本发明还设计了一种基于聚类模型的模板更新算法，以提高压缩效率。总体而言，本发明提出的压缩算法复杂度低，所需要的算力不高，结合终端较差的边缘计算能力也可实现压缩采集，可以做到线性时间复杂度的无损解压，并具有校验数据是否正确的机制，有效保障了解压缩数据的完整性和可靠性，该压缩方法的部署不会引起大面积的连锁反应，不会影响现有系统正常运转。
另外，如图5所示，本发明的另一实施例还提供一种量测数据压缩采集系统，优选采用如上所述的量测数据压缩采集方法，该系统包括：
数据采集模块，用于采集量测数据后生成原始报文，所述原始报文包括定位信息和数据项信息；
校验键生成模块，用于在原始报文中新增一个校验键，所述校验键的值基于原始报文和当前模板计算得到，其中，模板为终端侧上传的一条具有全量数据的报文，初始化时模板为空集；
数据压缩模块，用于对原始报文中的数据项信息进行压缩处理，压缩过程中仅保留相对于当前模板发生变化的数据项信息，从而得到压缩报文；
模板更新模块，用于判断当前模板是否需要更新；
校验码生成模块，用于计算原始报文的校验码，并将校验码和压缩报文上传至平台侧；
数据解压模块，用于对接收的压缩报文进行解压缩处理和数据核对；
所述数据采集模块、校验键生成模块、数据压缩模块、模板更新模块和校验码生成模块均部署在终端侧，所述数据解压模块部署在平台侧。
可以理解，本实施例的量测数据压缩采集系统中，终端侧在采集量测数据后生成原始报文，原始报文中包含定位信息和数据项信息，并在原始报文中新增了校验键，同时引入了模板作为数据压缩和解压缩的标准，而校验键的值基于原始报文和终端侧的当前模板计算得到，其中，校验键可以指示了当前需要上报的数据项信息中有哪些数据项相比于当前模板发生了变化。在对原始报文进行压缩时，考虑到量测数据的两个特性，第一个特性是一条量测数据报文中数据项信息的数据量一般远远高于定位信息的数据量，第二个特性是量测数据中存在不少的数据项是开关量等二进制数据，且不少数据项的值较为稳定，大多数情概况下这些数据不会发生变化，故而只针对原始报文中的数据项信息进行压缩处理，而不对定位信息进行压缩处理，并且压缩报文中只保留相对于当前模板发生变化的数据项信息，大大降低了冗余数据信息，获得了很好的数据压缩效果，同时，还可以准确定位到压缩数据的终端来源。并且，还配置了模板更新机制，可以实现模板的自动化更新，模板更新后可以进一步减少压缩报文中保留的数据项信息，有利于进一步提高数据压缩效率。另外，终端侧还计算了原始报文的校验码，将校验码作为辅助平台侧核查解压缩后的数据是否无误，保证了解压后数据的完整性和可靠性。本发明的量测数据压缩采集系统结合了终端的边缘计算能力，可以实现量测数据的无损压缩采集，大大降低了数据传输量，从而大大降低上传MQTT数据包所需的带宽和流量费用。
另外，本发明的另一实施例还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上所述的方法的步骤。
另外，本发明的另一实施例还提供一种计算机可读取的存储介质，用于存储进行量测数据压缩采集的计算机程序，所述计算机程序在计算机上运行时执行如上所述的方法的步骤。
一般计算机可读取存储介质的形式包括：软盘(floppy disk)、可挠性盘片(flexible disk)、硬盘、磁带、任何其与的磁性介质、CD-ROM、任何其余的光学介质、打孔卡片(punch cards)、纸带(paper tape)、任何其余的带有洞的图案的物理介质、随机存取存储器(RAM)、可编程只读存储器(PROM)、可抹除可编程只读存储器(EPROM)、快闪可抹除可编程只读存储器(FLASH-EPROM)、其余任何存储器芯片或卡匣、或任何其余可让计算机读取的介质。指令可进一步被一传输介质所传送或接收。传输介质这一术语可包含任何有形或无形的介质，其可用来存储、编码或承载用来给机器执行的指令，并且包含数字或模拟通信信号或其与促进上述指令的通信的无形介质。传输介质包含同轴电缆、铜线以及光纤，其包含了用来传输一计算机数据信号的总线的导线。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (7)

1.一种量测数据压缩采集方法，其特征在于，包括以下内容：
终端侧采集量测数据后生成原始报文，所述原始报文包括定位信息和数据项信息；
在原始报文中新增一个校验键，所述校验键的值基于原始报文和当前模板计算得到，其中，模板为终端侧上传的一条具有全量数据的报文，初始化时模板为空集，检验键用于指示当前需要上报的数据项信息中有哪些数据项相比于当前模板发生了变化；
对原始报文中的数据项信息进行压缩处理，压缩过程中仅保留相对于当前模板发生变化的数据项信息，从而得到压缩报文；
判断当前模板是否需要更新；
终端侧计算原始报文的校验码，并将校验码和压缩报文上传至平台侧，其中，校验码用于辅助平台侧核查解压缩后的数据是否无误；
平台侧对接收的压缩报文进行解压缩处理和数据核对；
基于下式计算校验键的值：
c＝bin2hex(f(d,y))
其中，c表示校验键的值，bin2hex()表示二进制转十六进制的函数，函数f(d,y)用于返回一串长度为N+2的二进制串， d表示当前模板，y表示原始报文中的数据项信息，N和M分别表示原始报文和当前模板中的数据项数量，yn和/>分别表示原始报文和当前模板中第n个数据项的名称，zn和/>分别表示原始报文和当前模板中第n个数据项的值，u表示模板更新标志位，其为二进制变量，当u＝1时，则表示终端侧的模板发生了更新，当u＝0时，则表示终端侧的模板未更新，默认u＝0；
所述判断当前模板是否需要更新的过程具体为：
若函数f(d,y)的返还结果中除了首位为1、其余位均为0，则不更新当前模板；
若函数f(d,y)的返还结果全为1，则将当前模板更新为此次采集的原始报文，并将模板更新标志位u的值加1；
若函数f(d,y)的返还结果中除了首位为1、其余位不全为0，则采用基于相似度的模板更新算法判断是否更新当前模板；
所述基于相似度的模板更新算法判断是否更新当前模板的过程具体为：
平台侧收集终端侧上报的大量历史数据，并采用聚类算法进行聚类处理，将聚类数据传输至终端侧；
终端侧分别计算原始报文和当前模板的数据项向量与聚类数据之间的相似度；
基于两个相似度值计算将当前模板更新为原始报文的概率值，计算公式为：其中，simb表示原始报文的数据项向量与聚类数据之间的相似度值，simd表示当前模板的数据项向量与聚类数据之间的相似度值，/>表示将当前模板更新为原始报文的概率值；
生成一个[0,1)范围内的随机数，若生成的随机数小于概率值，则将当前模板更新为原始报文，否则，不更新当前模板。
2.如权利要求1所述的量测数据压缩采集方法，其特征在于，所述对接收的压缩报文进行解压缩处理和数据核对的过程包括以下内容：
对校验键的值进行解析，得到函数f(d,y)的返回结果；
根据函数f(d,y)的返回结果对压缩报文进行解压处理，并判断是否更新平台侧的当前模板；
基于解压后的数据报文计算核验码，若核验码与终端侧上传的校验码一致，则校验通过，否则，校验不通过。
3.如权利要求2所述的量测数据压缩采集方法，其特征在于，所述根据函数f(d,y)的返回结果对压缩报文进行解压处理的过程具体为：
从函数f(d,y)返回的二进制串中定位到第一个1出现的位置，将二进制串缩减为"υ1υ2...υNu"，从而得到数据项的数量N和模板更新标志位的值，对于任意值为0的υn,n∈{1,2,...,N}，从模板中提取相应的数据项，将提取出的数据项的名称作为键、数据项的值作为键值加入到压缩报文的数据项信息中的对应位置处。
4.如权利要求3所述的量测数据压缩采集方法，其特征在于，若模板更新标志位的值为1，则将平台侧的当前模板更新为解压后的报文；若模板更新标志位的值为0，则不对平台侧的当前模板进行更新。
5.一种量测数据压缩采集系统，采用如权利要求1～4任一项所述的方法，其特征在于，包括：
数据采集模块，用于采集量测数据后生成原始报文，所述原始报文包括定位信息和数据项信息；
校验键生成模块，用于在原始报文中新增一个校验键，所述校验键的值基于原始报文和当前模板计算得到，其中，模板为终端侧上传的一条具有全量数据的报文，初始化时模板为空集；
数据压缩模块，用于对原始报文中的数据项信息进行压缩处理，压缩过程中仅保留相对于当前模板发生变化的数据项信息，从而得到压缩报文；
模板更新模块，用于判断当前模板是否需要更新；
校验码生成模块，用于计算原始报文的校验码，并将校验码和压缩报文上传至平台侧；
数据解压模块，用于对接收的压缩报文进行解压缩处理和数据核对；
所述数据采集模块、校验键生成模块、数据压缩模块、模板更新模块和校验码生成模块均部署在终端侧，所述数据解压模块部署在平台侧。
6.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如权利要求1～4任一项所述的方法的步骤。
7.一种计算机可读取的存储介质，用于存储进行量测数据压缩采集的计算机程序，其特征在于，所述计算机程序在计算机上运行时执行如权利要求1～4任一项所述的方法的步骤。
CN202310440393.7A 2023-04-23 2023-04-23 量测数据压缩采集方法及系统、电子设备、存储介质 Active CN116527777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310440393.7A CN116527777B (zh) 2023-04-23 2023-04-23 量测数据压缩采集方法及系统、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310440393.7A CN116527777B (zh) 2023-04-23 2023-04-23 量测数据压缩采集方法及系统、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN116527777A CN116527777A (zh) 2023-08-01
CN116527777B true CN116527777B (zh) 2024-04-23

Family

ID=87402337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310440393.7A Active CN116527777B (zh) 2023-04-23 2023-04-23 量测数据压缩采集方法及系统、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN116527777B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010038011A2 (en) * 2008-09-30 2010-04-08 Cambridge Broadband Networks Ltd Improved data compression
RU2450441C1 (ru) * 2011-03-14 2012-05-10 Общество с ограниченной ответственностью "Астрософт Интернешн" Способ и устройство сжатия данных
CN108781213A (zh) * 2016-03-14 2018-11-09 华为技术有限公司 一种用于传输数据的方法、装置和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184712B2 (en) * 2006-04-30 2012-05-22 Hewlett-Packard Development Company, L.P. Robust and efficient compression/decompression providing for adjustable division of computational complexity between encoding/compression and decoding/decompression
US20160142937A1 (en) * 2014-11-14 2016-05-19 Qualcomm Incorporated Techniques for compressing session initiation messages using templates for evolved data compression scheme (edcs)
US11622297B2 (en) * 2020-09-03 2023-04-04 Rockwell Collins, Inc. System and method for dynamic variable compression of Aircraft Communications, Addressing, and Reporting System (ACARS) protocol messaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010038011A2 (en) * 2008-09-30 2010-04-08 Cambridge Broadband Networks Ltd Improved data compression
RU2450441C1 (ru) * 2011-03-14 2012-05-10 Общество с ограниченной ответственностью "Астрософт Интернешн" Способ и устройство сжатия данных
CN108781213A (zh) * 2016-03-14 2018-11-09 华为技术有限公司 一种用于传输数据的方法、装置和系统

Also Published As

Publication number Publication date
CN116527777A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN108327745B (zh) 一种列车数据实时解析方法和装置
CN111580884A (zh) 配置更新方法、装置、服务器和电子设备
CN112770197A (zh) 确定otn设备故障原因的方法、装置、设备、存储介质
CN114416877A (zh) 一种数据处理方法、装置、设备及可读存储介质
CN109191023A (zh) 一种电网告警信息快速处理方法及装置
CN116527777B (zh) 量测数据压缩采集方法及系统、电子设备、存储介质
CN114333862B (zh) 音频编码方法、解码方法、装置、设备、存储介质及产品
CN114860462A (zh) 双路机架式服务器的计算资源智能分配系统及其分配方法
CN114422515B (zh) 一种适配电力行业的边缘计算架构设计方法及系统
CN114025024B (zh) 一种数据传输方法及装置
CN117014527A (zh) 数据处理方法、装置、存储介质及电子设备
CN108600046B (zh) 基于感知哈希的设备状态监测终端、系统及方法
CN114925210B (zh) 知识图谱的构建方法、装置、介质及设备
CN114741380A (zh) 通信业务数据稽核方法及装置
CN116189706A (zh) 数据传输方法、装置、电子设备和计算机可读存储介质
CN114265601A (zh) 管理人工智能应用的方法、设备和程序产品
CN116319052B (zh) 一种量测数据的完整性校验方法及系统、电子设备、介质
CN115759236B (zh) 模型训练方法、信息发送方法、装置、设备和介质
CN115361032B (zh) 一种用于5g通信的天线单元
CN115941209B (zh) 区块链去中心化可信数据采集方法及系统
CN115242826B (zh) 核电厂数据实时传输、存储方法
CN113297045B (zh) 分布式系统的监控方法及装置
CN114726893B (zh) 可支持多种底层承载协议的物联网应用层接入方法和系统
CN112817988B (zh) 一种企业业务的同步加速方法
CN112968933B (zh) 数据传输方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant