CN107222217A - 数据压缩方法及装置 - Google Patents
数据压缩方法及装置 Download PDFInfo
- Publication number
- CN107222217A CN107222217A CN201710384364.8A CN201710384364A CN107222217A CN 107222217 A CN107222217 A CN 107222217A CN 201710384364 A CN201710384364 A CN 201710384364A CN 107222217 A CN107222217 A CN 107222217A
- Authority
- CN
- China
- Prior art keywords
- point
- data point
- data
- circle
- currently
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
- H03M7/3062—Compressive sampling or sensing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明实施例提供一种数据压缩方法及装置，属于数据压缩领域。所述方法首先将将采集的数据的采集时间和数据值映射为时间‑数据值的坐标系中的数据点，根据指定为起始点的已保存的数据点确定在采集时间上位于该已保存的数据点之后的下一个要被保存的数据点；将确定的要被保存的数据点重新指定为起始点并根据该重新指定的起始点确定在采集时间上位于该重新指定的起始点之后的下一个要被保存的数据点，直到确定出所述数据点中所有要被保存的数据点；以及保存被确定要被保存的数据点。其能够实现压缩后的相邻数据点的数据特征尽量不重复，从而可以在数据压缩率和数据特征覆盖率之间取得很好的平衡。
Description
技术领域
本发明涉及数据压缩领域，具体地，涉及一种数据压缩方法及装置。
背景技术
实体企业的工作空间使用或产生了海量的实时数据，这些实时数据的读写和特征分析效率关系着生产运维决策的制定和执行的效率，尤其在即将到来的“工业4.0”或《中国制造2025》时代，海量数据的处理将越发重要。
在目前的存储、读写、搜索架构中，实时数据并需要全部保存，因此，可以通过有损数据压缩算法来对实时数据进行处理，现有技术中使用的有损数据压缩算法例如可以是死区压缩算法、PI的旋转门压缩算法及其扩展等算法，这些数据压缩算法兼顾了特征数据覆盖率、计算和存储性能，在工业界具有广泛的应用。
图1示出了死区压缩算法的原理示意图。死区压缩算法工作在一维线型空间中，如图1所示，在时间点-数据值的坐标中，比对当前数据和上一个保存的数据的偏差是否位于预先设定好的变化区间内，即死区范围内，若是则将当前数据确定为舍弃点并将其过滤掉，否则将当前数据确定为保存点并将其保存，新的保存点与先前保存点之间的数据偏移超过预先设定好的变化区间。在确定出新的保存点之后，根据该新的保存点来确定位于该新的保存点之后的数据点是保存还是舍弃。死区压缩算法适用于波动稳定的数据压缩，不适用于总是沿一个方向波动的数据压缩。
图2示出了PI的旋转门压缩算法的原理示意图。PI的旋转门压缩算法工作在二维线型空间中，如图2所示，在时间点-数据值的坐标中，使用上一个保存点A和当前的数据点B画一条线段AB，并按照设定的偏差将此线段在垂直方向上向上向下移动，进而扩展出一个二维数据空间1。选择上一个保存点A和当前的数据点B的下一个数据点C继续上述过程，扩展出一个二维数据空间2。如果后一个二维数据空间2能包含位于上一个保存点A和下一个数据点C之间的所有数据点，则判断数据点C之前的数据点B为舍弃点，否则判断据点C之前的数据点B为保存点。继续上述的判断过程，可以判断出图2中，二维数据空间3能够包含保存点A与数据点D之间的所有数据点(数据点B和数据点C)，则数据点D的前一数据点C为舍弃点。二维数据空间4并不能够包含保存点A与数据点E之间的所有数据点(数据点B、数据点C和数据点D)，则数据点E的前一数据点D为保存点。然后根据保存点D来对保存点D之后的数据点继续上述的判断过程。PI的旋转门压缩算法适用于慢变化的数据。
从上述对死区压缩算法、PI的旋转门压缩算法的描述中可知，现有技术进行数据压缩时，均采取一刀切的方式，即根据数据点在一条边界线的内侧还是外侧、数据点在一个边界四边形的内侧还是外侧，来决定舍弃或保存数据，本质上都是检查数据点的数据值是否在纯人为设定的上限或下限之间来决定舍弃或保存。
发明内容
本发明实施例的目的是提供一种数据压缩方法及装置，以解决或至少部分解决上述技术问题。
为了实现上述目的，本发明实施例提供一种数据压缩方法，该方法包括：将采集的数据的采集时间和数据值映射为时间-数据值的坐标系中的数据点；根据指定为起始点的已保存的数据点确定在采集时间上位于该已保存的数据点之后的下一个要被保存的数据点；将确定的要被保存的数据点重新指定为起始点并根据该重新指定的起始点确定在采集时间上位于该重新指定的起始点之后的下一个要被保存的数据点，直到确定出所述数据点中所有要被保存的数据点；以及保存被确定要被保存的数据点；其中，确定下一个要被保存的数据点包括：按照采集时间的顺序依次判断所述起始点之后的数据点是否满足当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值；如果所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值，则将当前被考虑的数据点之前的一个相邻的数据点确定为下一个要被保存的数据点。
可选地，所述按照采集时间的顺序依次判断所述起始点之后的数据点是否满足当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值包括：针对所述当前被考虑的数据点与所述起始点之间的所有数据点中的每一个数据点，以该每一个数据点的坐标为圆心、以所述预定义值为半径建立针对所述每一个数据点的圆；判断所述当前被考虑的数据点与所述起始点之间的线段是否与针对所述每一个数据点的圆中的至少一个圆相离；在所述当前被考虑的数据点与所述起始点之间的线段与针对所述每一个数据点的圆中的至少一个圆相离的情况下，确定所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值；以及在所述当前被考虑的数据点与所述起始点之间的线段与针对所述每一个数据点的圆中的每一个圆均不相离的情况下，确定所述当前被考虑的数据点与所述起始点之间不存在数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值。
可选地，所述判断所述当前被考虑的数据点与所述起始点之间的线段是否与针对所述每一个数据点的圆中的至少一个圆相离包括：根据所述当前被考虑的数据点与所述起始点之间的线段方程和针对所述每一个数据点的圆中的每一个圆的方程来判断所述当前被考虑的数据点与所述起始点之间的线段是否与针对所述每一个数据点的圆中的至少一个圆相离。
可选地，所述确定下一个要被保存的数据点还包括：如果所述当前被考虑的数据点与所述起始点之间不存在数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值，则将当前被考虑的数据点之前的一个相邻的数据点确定舍弃点。
可选地，所述预定义值为2。
相应地，本发明实施例还提供一种数据压缩装置，所述装置包括：映射模块，用于将采集的数据的采集时间和数据值映射为时间-数据值的坐标系中的数据点；第一确定模块，用于根据指定为起始点的已保存的数据点确定在采集时间上位于该已保存的数据点之后的下一个要被保存的数据点；第二确定模块，用于将确定的要被保存的数据点重新指定为起始点并根据该重新指定的起始点确定在采集时间上位于该重新指定的起始点之后的下一个要被保存的数据点，直到确定出所述数据点中所有要被保存的数据点；以及保存模块，用于保存被确定要被保存的数据点；其中，所述第一确定模块包括：判断单元，用于按照采集时间的顺序依次判断所述起始点之后的数据点是否满足当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值；确定单元，用于如果所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值，则将当前被考虑的数据点之前的一个相邻的数据点确定为下一个要被保存的数据点。
可选地，所述判断单元包括：圆建立子单元，用于对所述当前被考虑的数据点与所述起始点之间的所有数据点中的每一个数据点，以该每一个数据点的坐标为圆心、以所述预定义值为半径建立针对所述每一个数据点的圆；判断子单元，用于判断所述当前被考虑的数据点与所述起始点之间的线段是否与针对所述每一个数据点的圆中的至少一个圆相离；确定子单元，用于：在所述当前被考虑的数据点与所述起始点之间的线段与针对所述每一个数据点的圆中的至少一个圆相离的情况下，确定所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值；以及在所述当前被考虑的数据点与所述起始点之间的线段与针对所述每一个数据点的圆中的每一个圆均不相离的情况下，确定所述当前被考虑的数据点与所述起始点之间不存在数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值。
可选地，所述判断子单元用于根据所述当前被考虑的数据点与所述起始点之间的线段方程和针对所述每一个数据点的圆中的每一个圆的方程来判断所述当前被考虑的数据点与所述起始点之间的线段是否与针对所述每一个数据点的圆中的至少一个圆相离。
可选地，所述确定单元还用于如果所述当前被考虑的数据点与所述起始点之间不存在数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值，则将当前被考虑的数据点之前的一个相邻的数据点确定舍弃点。
可选地，所述预定义值为2。
相应地，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的数据压缩方法。
通过上述技术方案，能够实现压缩后的相邻数据点的数据特征尽量不重复，从而可以在数据压缩率和数据特征覆盖率之间取得很好的平衡。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1示出了死区压缩算法的原理示意图；
图2示出了PI的旋转门压缩算法的原理示意图；
图3示出了根据本发明一实施例的数据压缩方法的流程示意图；
图4示出了根据本发明又一实施例的数据压缩方法的流程示意图；
图5示出了根据本发明一实施例的数据压缩方法的原理示意图；
图6示出了根据本发明一实施例的数据压缩方法的计算示意图；
图7示出了本发明实施例提供的数据压缩算法的应用示意图；以及
图8示出了根据本发明一实施例的数据压缩装置的结构框图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图3示出了根据本发明一实施例的数据压缩方法的流程示意图。如图3所示，本发明实施例提供一种数据压缩方法，该方法可以包括以下步骤：
步骤S31，将采集的数据的采集时间和数据值映射为时间-数据值的坐标系中的数据点。
具体地，可以首先定义横轴代表时间、纵轴代表数据值的坐标系。该坐标系例如可以以(0,0)为原点，或者可以根据需要以任意一点作为坐标原点。然后再将采集的数据的采集时间和数据值映射为所述坐标系中的数据点。这样，所采集的每一个数据在所述坐标系中均唯一的对应一个数据点。
步骤S32，根据指定为起始点的已保存的数据点确定在采集时间上位于该已保存的数据点之后的下一个要被保存的数据点。
具体地，确定下一个要保存的数据点可以包括：按照采集时间的顺序依次判断所述起始点之后的数据点是否满足当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值；如果所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值，则将当前被考虑的数据点之前的一个相邻的数据点确定为下一个要被保存的数据点。
在所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值的情况下，说明当前被考虑的数据点之前的一个相邻的数据点与相邻数据点的数据特征不同，需要保存，因此可以将该当前被考虑的数据点之前的一个相邻的数据点确定为保存点。
如果所述当前被考虑的数据点与所述起始点之间不存在数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值，说明当前被考虑的数据点之前的一个相邻的数据点与相邻数据点的数据特征相似，可以不保存，因此可以将当前被考虑的数据点之前的一个相邻的数据点确定舍弃点。
其中，可以在所述坐标系中确定所述当前被考虑的数据点与所述起始点之间的线段的方程，然后根据点到直线之间的距离公式来计算数据点到线段之间的距离。
可选地，所述预定义值可以根据实际需要进行设置，例如所述预定义值可以设置为2。
可选地，可以将所采集的数据中的第一个数据确定为要保存的数据，则该要保存的数据所映射的数据点就是已保存的数据点。
步骤S33，将确定的要被保存的数据点重新指定为起始点并根据该重新指定的起始点确定在采集时间上位于该重新指定的起始点之后的下一个要被保存的数据点，直到确定出所述数据点中所有要被保存的数据点。
采用步骤S32中的具体执行方式继续确定下一个要保存的数据点，直到确定出所述数据点中所有要被保存的数据点。
步骤S34，保存被确定要被保存的数据点。
在确定出所有要保存的数据点后，可以将确定为要保存的数据点保存，将确定为舍弃点的数据点舍弃。可选地，可以将要保存的数据点逆映射为所采集的数据，然后再进行保存。
本发明实施例提供的数据压缩方法可以实现压缩后的相邻数据点的数据特征尽量不重复，从而可以在数据压缩率和数据特征覆盖率之间取得很好的平衡。
基于图3所示的实施例，上述步骤S32可以进一步包括以下步骤：
步骤S321，针对所述当前被考虑的数据点与所述起始点之间的所有数据点中的每一个数据点，以该每一个数据点的坐标为圆心、以所述预定义值为半径建立针对所述每一个数据点的圆。
可选地，在执行上述步骤S32时，可以针对每一个数据点以该每一个数据点的坐标为圆心、预定义值为半径计算建立针对每一数据点的圆，例如，可以在所述坐标系中，通过计算圆的直角坐标方程来实现建立针对每一数据点的圆。
步骤S322，判断所述当前被考虑的数据点与所述起始点之间的线段是否与针对所述每一个数据点的圆中的至少一个圆相离。
在平面中，线段与圆的位置关系可以是相离、相切或相交。
可选地，在步骤S322中可以根据所述当前被考虑的数据点与所述起始点之间的线段方程和针对所述每一个数据点的圆中的每一个圆的方程来判断所述当前被考虑的数据点与所述起始点之间的线段是否与针对所述每一个数据点的圆中的至少一个圆相离。具体地，可以在坐标系中根据当前被考虑的数据点的坐标和起始点的坐标计算当前被考虑的数据点与所述起始点之间的线段的方程，然后将该线段的方程分别带入上述的每一数据点的圆的方程中从而得到一个一元二次方程，通过解该一元二次方程来判断所述位置关系，在该一元二次方程无实数解的情况下，确定参考线段与圆相离，说明圆对应的数据点到所述线段的距离大于预定义值，否则，确定线段与圆不相离，也就是说数据点到所述线段的距离不大于所述预定义值。
步骤S323，在所述当前被考虑的数据点与所述起始点之间的线段与针对所述每一个数据点的圆中的至少一个圆相离的情况下，确定所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值。
另一方面，在所述当前被考虑的数据点与所述起始点之间的线段与针对所述每一个数据点的圆中的至少一个圆相离的情况下，说明当前被考虑的数据点之前的一个相邻的数据点与相邻数据点的数据特征不同，需要保存，因此可以将该当前被考虑的数据点之前的一个相邻的数据点确定为保存点。
步骤S324，在所述当前被考虑的数据点与所述起始点之间的线段与针对所述每一个数据点的圆中的每一个圆均不相离的情况下，确定所述当前被考虑的数据点与所述起始点之间不存在数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值。
另一方面，在所述当前被考虑的数据点与所述起始点之间的线段与针对所述每一个数据点的圆中的每一个圆均不相离的情况下，说明当前被考虑的数据点之前的一个相邻的数据点与相邻数据点的数据特征相似，可以不保存，因此可以将当前被考虑的数据点之前的一个相邻的数据点确定舍弃点。
本发明实施例中，根据映射到坐标系中的两个数据点之间的线段与所述起始点之间的线段与针对所述每一个数据点的圆中的每一个圆(以这个数据点作为圆心，通过扩大样本容量而扩展出的一个圆)之间的位置关系(相离、相切或相交)来判断当前被考虑的数据点之前的一个相邻的数据点是否符合其相邻数据点的特征，实现压缩后的相邻数据点的数据特征尽量不重复，从而能够在数据压损率和数据特征覆盖率上取得了一个很好的平衡。
图5示出了根据本发明一实施例的数据压缩方法的原理示意图。在图5所示的直角坐标中，原点为0，横轴代表数据点的采集时间，纵轴代表数据点的数值，实时数据值随着横轴上的采集时间而在纵轴上波动。图5中以6个数据采集点在坐标系中映射的数据点A至数据点F这6个数据点为例来对本发明实施例提供的数据压缩算法的原理进行进一步说明，其中所述6个数据点中A点是已知保存点。
参考图5，可以通过以下步骤来对本发明实施例提供的数据压缩算法的原理进行说明：
步骤S51，以每个数据点为圆心，以预定义值为半径分别建立圆针对数据点A至数据点F的圆。
步骤S52，从已知保存点A出发，向下一个数据点B连线，形成线段AB。
步骤S53，从已知保存点A出发，继续向数据点B的下一个数据点C连线，形成线段AC。
步骤S54，判断线段AC与已知保存点A和数据点C之间的数据点B的圆的位置关系，如果线段AC与数据点B的圆相离，则数据点B是保存点，否则，数据点B是舍弃点，从图5中可以看出，线段AC与数据点B的圆不相离，因此，可以确定数据点B是舍弃点。
已知保存点A和数据点C之间的所有圆(数据点B的圆)相离，则当前点(数据点C)的前一个点(数据点B)需要被保存，否则从已知保存点A继续向下一个点(数据点D)连线重复此过程(从数据点A出发继续向数据点D连线，即线段AD。如果线段AD和数据点B的圆、数据点C的圆其中的任一相离，则数据点D的前一个数据点点即数据点C需要被保存，否则继续从已知保存点A向下一个数据点E连线段来重复这一过程)。
步骤S55，从已知保存点A继续向数据点C的下一个数据点D连线形成线段AD，并重复步骤S54的过程，确定线段AD与已知保存点A和数据点D之间的所有圆(数据点B和数据点C的圆)之间的位置关系。从图5中可知，线段AD与数据点B的圆相交而非相离，并且于数据点C的圆也相交而非相离，从而可以确定出数据点D的前一数据点C是舍弃点。
步骤S56，重复步骤S54的过程，从图5中可以确定，线段AE与数据点B的圆和与数据点C的圆均不相离，但是线段AE与数据点D的圆相离，则说明数据点D的数据特征不同于相邻数据点的数据特征，因此，可以确定出数据点D为保存点。
步骤S57，从新保存的点(数据点D)出发，重复上面的步骤S51至步骤S56。
使用上述步骤一致迭代下去，就能根据数据点的采集顺序的先后确定出每一数据点是保存点还是舍弃点。
图6示出了根据本发明一实施例的数据压缩方法的计算示意图。在图6所示的直角坐标中，原点为0，横轴代表数据点的采集时间。在该实施例中预先设定的半径值为2，图6中数据点A为已知保存点，其是以确定下一个保存点为例说明数据压缩方法的计算过程，具体地，本发明实施例提供的数据压缩方法可以包括以下计算步骤：
步骤S61，确定数据点B的圆的方程：(x-10)2+(y-6)2＝22，即x2+y2-20×x-12×y-4＝0，其中x属于[8,12]。
步骤S62，确定线段AC的方程：
设线段AC的方程为y＝kx+b，根据下面两个等式：
4＝b，
11＝k×20+b，
可知线段AC的方程为y＝0.35×x+4，其中x属于[0,20]。
步骤S63，判断线段AC是否和圆B相交：
将线段AC的方程带入数据点B的圆的方程，整理可得以下一元二次方程：
1.1225x2-21.4x-36＝0，
一元二次方程的判别式为：(-21.4)×(-21.4)-4×1.1225×(-36)＝619.6，该判别式大于0，所以可知线段AC与数据点B的圆相交。
步骤S64，继续执行步骤S61至步骤S63可知，线段AD和数据点B的圆、数据点C的圆都相交，线段AE和数据点D的圆相离，可知数据点D的数据特征与数据点B、C、E不同，所以数据点D为保存点。
根据保存D继续上面的判断过程，从而确定数据点D之后的下一保存点。使用上述步骤一致迭代下去，就能根据数据点的采集顺序的先后确定出每一数据点是保存点还是舍弃点。
图7示出了本发明实施例提供的数据压缩算法的应用示意图。本本发明实施例提供的数据压缩方法已经在神华国神集团的数据采集项目中实施，在生产指挥中心部署的采集器中运行，用于安全监测实时数据和人员定位实时数据的数据压缩。目前，采集器运行稳定，数据压缩性能良好，根据各个测点的数据特征分别设置各个测点的数据变化量后，各个测点的数据特征能成功提取。
在实施过程中，合理划分各个模块，模块间应用生产者-消费者模式，实现了模块间低耦合，模块内高内聚，其中所划分的各模块分别是数据获取模块、数据映射模块、数据压缩模块、数据规约模块、数据发送模块以及数据缓存模块。图7中队列Q1至队列Q4均为时间优先的优先级队列。参考图7，各个模块具体实施方式如下：
数据获取模块，用于将从各种数据源获取到的实时数据分别放入到队列Q1中。
数据映射模块，用于从队列Q1中拉取数据，将原生实时数据映射成按测点分类的实时数据，并分别放入队列Q2中。
数据压缩模块，用于从队列Q2中拉取数据，按照本发明实施例提供的数据压缩方法压缩实时数据，并将压缩后的实时数据分别放入队列Q3中。
数据规约模块，用于从队列Q3中拉取数据，执行数据映射的逆过程，即数据规约，获得按时间点分类的分批实时数据并将其放入队列Q4中。
数据发送模块，用于从队列Q4中拉取数据，异步发送至数据服务端。
数据缓存模块，用于在数据发送模块中注册回调函数，根据异步发送的响应和缓存策略，缓存相应的实时数据。
图8示出了根据本发明一实施例的数据压缩装置的结构框图。如图8所示，本发明实施例还提供一种数据压缩装置，该装置可以包括：映射模块81，用于将采集的数据的采集时间和数据值映射为时间-数据值的坐标系中的数据点；第一确定模块82，用于根据指定为起始点的已保存的数据点确定在采集时间上位于该已保存的数据点之后的下一个要被保存的数据点；第二确定模块83，用于将确定的要被保存的数据点重新指定为起始点并根据该重新指定的起始点确定在采集时间上位于该重新指定的起始点之后的下一个要被保存的数据点，直到确定出所述数据点中所有要被保存的数据点；以及保存模块84，用于保存被确定要被保存的数据点；其中，所述第一确定模块82包括：判断单元821，用于按照采集时间的顺序依次判断所述起始点之后的数据点是否满足当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值；确定单元822，用于如果所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值，则将当前被考虑的数据点之前的一个相邻的数据点确定为下一个要被保存的数据点。本发明实施例提供的数据压缩装置可以实现压缩后的相邻数据点的数据特征尽量不重复，从而可以在数据压缩率和数据特征覆盖率之间取得很好的平衡。
本发明实施例提供的数据压缩装置的具体工作原理及益处与上述本发明实施例提供的数据压缩方法的具体工作原理及益处相似，这里将不再赘述。
相应的，本发明提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述的数据压缩方法。
以上结合附图详细描述了本发明例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。
Claims (11)
1.一种数据压缩方法，其特征在于，该方法包括：
将采集的数据的采集时间和数据值映射为时间-数据值的坐标系中的数据点；
根据指定为起始点的已保存的数据点确定在采集时间上位于该已保存的数据点之后的下一个要被保存的数据点；
将确定的要被保存的数据点重新指定为起始点并根据该重新指定的起始点确定在采集时间上位于该重新指定的起始点之后的下一个要被保存的数据点，直到确定出所述数据点中所有要被保存的数据点；以及
保存被确定要被保存的数据点；
其中，确定下一个要被保存的数据点包括：
按照采集时间的顺序依次判断所述起始点之后的数据点是否满足当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值；
如果所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值，则将当前被考虑的数据点之前的一个相邻的数据点确定为下一个要被保存的数据点。
2.根据权利要求1所述的方法，其特征在于，所述按照采集时间的顺序依次判断所述起始点之后的数据点是否满足当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值包括：
针对所述当前被考虑的数据点与所述起始点之间的所有数据点中的每一个数据点，以该每一个数据点的坐标为圆心、以所述预定义值为半径建立针对所述每一个数据点的圆；
判断所述当前被考虑的数据点与所述起始点之间的线段是否与针对所述每一个数据点的圆中的至少一个圆相离；
在所述当前被考虑的数据点与所述起始点之间的线段与针对所述每一个数据点的圆中的至少一个圆相离的情况下，确定所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值；以及
在所述当前被考虑的数据点与所述起始点之间的线段与针对所述每一个数据点的圆中的每一个圆均不相离的情况下，确定所述当前被考虑的数据点与所述起始点之间不存在数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值。
3.根据权利要求2所述的方法，其特征在于，所述判断所述当前被考虑的数据点与所述起始点之间的线段是否与针对所述每一个数据点的圆中的至少一个圆相离包括：
根据所述当前被考虑的数据点与所述起始点之间的线段方程和针对所述每一个数据点的圆中的每一个圆的方程来判断所述当前被考虑的数据点与所述起始点之间的线段是否与针对所述每一个数据点的圆中的至少一个圆相离。
4.根据权利要求1所述的方法，其特征在于，所述确定下一个要被保存的数据点还包括：
如果所述当前被考虑的数据点与所述起始点之间不存在数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值，则将当前被考虑的数据点之前的一个相邻的数据点确定舍弃点。
5.根据权利要求1所述的方法，其特征在于，所述预定义值为2。
6.一种数据压缩装置，其特征在于，所述装置包括：
映射模块，用于将采集的数据的采集时间和数据值映射为时间-数据值的坐标系中的数据点；
第一确定模块，用于根据指定为起始点的已保存的数据点确定在采集时间上位于该已保存的数据点之后的下一个要被保存的数据点；
第二确定模块，用于将确定的要被保存的数据点重新指定为起始点并根据该重新指定的起始点确定在采集时间上位于该重新指定的起始点之后的下一个要被保存的数据点，直到确定出所述数据点中所有要被保存的数据点；以及
保存模块，用于保存被确定要被保存的数据点；
其中，所述第一确定模块包括：
判断单元，用于按照采集时间的顺序依次判断所述起始点之后的数据点是否满足当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值；
确定单元，用于如果所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值，则将当前被考虑的数据点之前的一个相邻的数据点确定为下一个要被保存的数据点。
7.根据权利要求6所述的装置，其特征在于，所述判断单元包括：
圆建立子单元，用于对所述当前被考虑的数据点与所述起始点之间的所有数据点中的每一个数据点，以该每一个数据点的坐标为圆心、以所述预定义值为半径建立针对所述每一个数据点的圆；
判断子单元，用于判断所述当前被考虑的数据点与所述起始点之间的线段是否与针对所述每一个数据点的圆中的至少一个圆相离；
确定子单元，用于：
在所述当前被考虑的数据点与所述起始点之间的线段与针对所述每一个数据点的圆中的至少一个圆相离的情况下，确定所述当前被考虑的数据点与所述起始点之间存在至少一个数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值；以及
在所述当前被考虑的数据点与所述起始点之间的线段与针对所述每一个数据点的圆中的每一个圆均不相离的情况下，确定所述当前被考虑的数据点与所述起始点之间不存在数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值。
8.根据权利要求7所述的装置，其特征在于，所述判断子单元用于根据所述当前被考虑的数据点与所述起始点之间的线段方程和针对所述每一个数据点的圆中的每一个圆的方程来判断所述当前被考虑的数据点与所述起始点之间的线段是否与针对所述每一个数据点的圆中的至少一个圆相离。
9.根据权利要求6所述的装置，其特征在于，所述确定单元还用于如果所述当前被考虑的数据点与所述起始点之间不存在数据点到当前被考虑的数据点与所述起始点之间的线段的距离超过预定义值，则将当前被考虑的数据点之前的一个相邻的数据点确定舍弃点。
10.根据权利要求6所述的装置，其特征在于，所述预定义值为2。
11.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1至5中任意一项权利要求所述的数据压缩方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710384364.8A CN107222217A (zh) | 2017-05-26 | 2017-05-26 | 数据压缩方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710384364.8A CN107222217A (zh) | 2017-05-26 | 2017-05-26 | 数据压缩方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107222217A true CN107222217A (zh) | 2017-09-29 |
Family
ID=59945459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710384364.8A Pending CN107222217A (zh) | 2017-05-26 | 2017-05-26 | 数据压缩方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107222217A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108549106A (zh) * | 2018-03-09 | 2018-09-18 | 中国石油天然气集团有限公司 | 混叠噪声压制方法及装置 |
| CN112667633A (zh) * | 2020-12-28 | 2021-04-16 | 山东鲁能软件技术有限公司 | 一种基于统计概率的数据压缩方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1168057A (zh) * | 1996-06-12 | 1997-12-17 | 大宇电子株式会社 | 对视频信号中的目标轮廓进行编码的方法及装置 |
| CN102437856A (zh) * | 2011-11-04 | 2012-05-02 | 国电南京自动化股份有限公司 | 基于特征点提取的地铁综合监控系统三级数据压缩方法 |
| CN102437854A (zh) * | 2011-11-03 | 2012-05-02 | 电子科技大学 | 一种高压缩比的工业实时数据压缩方法 |
| CN106197440A (zh) * | 2016-06-27 | 2016-12-07 | 江苏迪纳数字科技股份有限公司 | 基于角度约束的道路数据压缩方法 |
-
2017
- 2017-05-26 CN CN201710384364.8A patent/CN107222217A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1168057A (zh) * | 1996-06-12 | 1997-12-17 | 大宇电子株式会社 | 对视频信号中的目标轮廓进行编码的方法及装置 |
| CN102437854A (zh) * | 2011-11-03 | 2012-05-02 | 电子科技大学 | 一种高压缩比的工业实时数据压缩方法 |
| CN102437856A (zh) * | 2011-11-04 | 2012-05-02 | 国电南京自动化股份有限公司 | 基于特征点提取的地铁综合监控系统三级数据压缩方法 |
| CN106197440A (zh) * | 2016-06-27 | 2016-12-07 | 江苏迪纳数字科技股份有限公司 | 基于角度约束的道路数据压缩方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108549106A (zh) * | 2018-03-09 | 2018-09-18 | 中国石油天然气集团有限公司 | 混叠噪声压制方法及装置 |
| CN112667633A (zh) * | 2020-12-28 | 2021-04-16 | 山东鲁能软件技术有限公司 | 一种基于统计概率的数据压缩方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021004154A1 (zh) | 一种数控机床刀具剩余寿命预测方法 | |
| CN106793072B (zh) | 一种室内定位系统快速搭建方法 | |
| CN116992740B (zh) | 一种通讯基站精密部件生产设备的智能调控方法及系统 | |
| CN107222217A (zh) | 数据压缩方法及装置 | |
| CN104408055A (zh) | 一种激光雷达点云数据的存储方法及装置 | |
| CN108490325B (zh) | 一种两段式变电站局部放电信号定位方法及系统 | |
| CN111199346A (zh) | 综合管廊监理方法、装置、计算机设备以及存储介质 | |
| CN108169643A (zh) | 一种用于电缆局部放电模式识别的方法和系统 | |
| CN108121215A (zh) | 基于全回路重构仿真的工业控制回路性能评价方法及装置 | |
| US20130208951A1 (en) | Identification and quantification of microtextured regions in materials with ordered crystal structure | |
| CN109489220A (zh) | 变频空调功率器件的温升测试方法、装置、变频空调及计算机可读存储介质 | |
| CN108225332B (zh) | 基于监督的室内定位指纹地图降维方法 | |
| CN110415331A (zh) | 一种基于点云数据的轮廓或孔洞快速检测判别和孔洞修补方法 | |
| US20180052441A1 (en) | Simulation system, simulation method, and simulation program | |
| CN104268560B (zh) | 一种基于遥感解译的土地利用识别方法 | |
| CN105005024A (zh) | 压缩感知定位方法 | |
| CN106487540A (zh) | 一种规则处理方法和设备 | |
| CN104361192A (zh) | 一种压缩感知分析模型下的稀疏表示自适应重构方法 | |
| CN117471565A (zh) | 一种智能机器人水下检测方法、系统及介质 | |
| CN106921978A (zh) | 一种位置分布确定方法及装置 | |
| CN112836425A (zh) | 一种基于粒子群优化算法的圆柱体拟合方法及装置 | |
| CN112165498A (zh) | 一种渗透测试的智能决策方法 | |
| CN114061474B (zh) | 植入式光纤光栅传感器复合材料结构的低速冲击定位方法 | |
| CN109901105A (zh) | 一种基于空间数值迭代的室内定位方法 | |
| CN110084841A (zh) | 一种基于log算子的加权引导图滤波立体匹配算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170929 |