CN114596415A - 地形数据处理方法、装置、设备及存储介质 - Google Patents
地形数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114596415A CN114596415A CN202210209683.6A CN202210209683A CN114596415A CN 114596415 A CN114596415 A CN 114596415A CN 202210209683 A CN202210209683 A CN 202210209683A CN 114596415 A CN114596415 A CN 114596415A
- Authority
- CN
- China
- Prior art keywords
- data
- elevation
- plane
- topographic map
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title abstract description 11
- 238000007906 compression Methods 0.000 claims abstract description 114
- 230000006835 compression Effects 0.000 claims abstract description 114
- 238000000034 method Methods 0.000 claims abstract description 82
- 238000005192 partition Methods 0.000 claims abstract description 44
- 238000011068 loading method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 68
- 230000002776 aggregation Effects 0.000 claims description 62
- 238000004220 aggregation Methods 0.000 claims description 59
- 238000013519 translation Methods 0.000 claims description 25
- 238000005354 coacervation Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 13
- 230000000717 retained effect Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 230000014759 maintenance of location Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000002829 reductive effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000013500 data storage Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000007667 floating Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 238000005054 agglomeration Methods 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种地形数据处理方法、装置、设备及存储介质。该方法包括：获取输入的数字高程模型DEM地形图数据块；将所述DEM地形图数据块中的高程数据和平面数据进行分区压缩；将进行分区压缩后的高程数据和平面数据，采用预置编码法进行编码，得到编码数据；将所述编码数据进行序列化；将进行序列化后的编码数据与所述DEM地形图数据块关联后存储。本申请提供的技术方案，能够减少地形数据占用的本地空间和利于加载。
Description
技术领域
本申请涉及数字地图技术领域，尤其涉及一种地形数据处理方法、装置、设备及存储介质。
背景技术
数字高程模型(Digital Elevation Model，DEM)是三维地理信息系统中重要的数据信息，是三维地形特征分析的核心数据。DEM也是一定范围内规则格网点的平面坐标(X，Y)及其高程(Z)的数据集，它主要是描述区域地貌形态的空间分布，是通过等高线或相似立体模型进行数据采集，然后进行数据内插而形成。DEM是对地貌形态的虚拟表示，可派生出等高线、坡度图等信息。DEM常见的表示方式有网格和不规则三角网，网格DEM因其数据结构简单在实际使用过程中更为普遍。
但随着地理数据获取技术的发展及分辨率的提升，网格DEM数据量变得越来越大，导致地形数据占用的本地存储空间越来越大，这就给实时地形数据的存储和加载等相关应用带来不便。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种地形数据处理方法、装置、设备及存储介质，能够减少地形数据占用的本地空间和利于加载。
本申请的第一方面提供了一种地形数据处理方法，包括：
获取输入的数字高程模型DEM地形图数据块；
将所述DEM地形图数据块中的高程数据和平面数据进行分区压缩；
将进行分区压缩后的高程数据和平面数据，采用预置编码法进行编码，得到编码数据；
将所述编码数据进行序列化；
将进行序列化后的编码数据与所述DEM地形图数据块关联后存储。
在一实施方式中，所述将所述DEM地形图数据块中的高程数据和平面数据进行分区压缩，包括：将所述DEM地形图数据块中的高程数据进行高程平移后保留；
从所述DEM地形图数据块中利用凝聚层次聚类算法提取出进行特征聚合和有损压缩的平面数据；
将进行高程平移后保留的高程数据进行无损压缩。
在一实施方式中，所述对所述DEM地形图数据块中的高程数据进行高程平移后保留，包括：
将所述DEM地形图数据块中的高程数据的高程值减去高程值中值后保留。
在一实施方式中，所述从所述DEM地形图数据块中利用凝聚层次聚类算法提取出进行特征聚合和有损压缩的平面数据，包括：
采用凝聚层次聚类算法，从所述DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示。
在一实施方式中，所述采用凝聚层次聚类算法，从所述DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示，包括：
将所述DEM地形图数据块进行网格节点划分；
通过节点滤波处理将设定节点过滤；
将过滤后剩余的节点利用平面拟合处理确定均方误差；
利用均方误差的比较进行节点合并处理；
将合并后的聚合节点提取出来作为聚合平面，并采用包含平面参数的平面方程表示，其中所述平面参数通过平面拟合处理得到。
在一实施方式中，所述将进行分区压缩后的高程数据和平面数据，采用预置编码法进行编码，得到编码数据，包括：
将进行分区压缩后的高程数据和平面数据，采用算术编码法或哈弗曼编码法进行编码，得到编码数据。
在一实施方式中，所述将进行序列化后的编码数据与所述DEM地形图数据块关联后存储，包括：
将进行序列化后的编码数据与所述DEM地形图数据块的ID号和/或经纬度进行关联后存储到数据库。
在一实施方式中，所述方法还包括：
在检索到存储的编码数据后，加载所述编码数据；
将所述编码数据进行反序列化；
将进行反序列化后的编码数据进行解码；
将解码后的编码数据进行高程还原处理，得到还原后的DEM地形图数据块。
本申请第二方面提供一种地形数据处理装置，包括：
获取模块，用于获取输入的数字高程模型DEM地形图数据块；
分区压缩模块，用于将所述获取模块获取的DEM地形图数据块中的高程数据和平面数据进行分区压缩；
编码模块，用于将所述分区压缩模块进行分区压缩后的高程数据和平面数据，采用预置编码法进行编码，得到编码数据；
序列化模块，用于将所述编码模块得到的编码数据进行序列化；
存储模块，用于将所述序列化模块进行序列化后的编码数据与所述DEM地形图数据块关联后存储。
在一实施方式中，所述分区压缩模块包括：
第一压缩处理模块，用于将所述DEM地形图数据块中的高程数据进行高程平移后保留，将进行高程平移后保留的高程数据进行无损压缩；
第二压缩处理模块，用于从所述DEM地形图数据块中利用凝聚层次聚类算法提取出进行特征聚合和有损压缩的平面数据。
在一实施方式中，所述第一压缩处理模块将所述DEM地形图数据块中的高程数据的高程值减去高程值中值后保留；或，
所述第二压缩处理模块采用凝聚层次聚类算法，从所述DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示。
在一实施方式中，所述装置还包括：
检索模块，用于从数据库检索存储的编码数据；
加载模块，用于在所述检索模块检索到存储的编码数据后，加载所述编码数据；
反序列化模块，用于将所述加载模块加载的编码数据进行反序列化；
解码模块，用于将所述反序列化模块进行反序列化后的编码数据进行解码；
还原模块，用于将所述解码模块解码后的编码数据进行高程还原处理，得到还原后的DEM地形图数据块。
本申请第三方面提供一种飞行器，包括如上所述的地形数据处理装置。
本申请第四方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第五方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请的技术方案，在获取输入的数字高程模型DEM地形图数据块后，是将所述DEM地形图数据块中的高程数据和平面数据进行分区压缩后再采用预置编码法进行编码，然后进行序列化并存储。通过采用分区压缩的方式，不再采用传统的全局数学建模方式，并且进行编码，这样相对于原始的DEM地形图数据块，可以减少数据存储空间，极大减低数据的存储压力，也有利于地图数据的实时更新加载。
进一步的，通过采用凝聚层次聚类算法，从所述DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示。这样通过对数据进行聚合面提取的方式，可以将DEM地形图数据块中信息量较少冗余大的平面进行有损压缩，减少了数据存储量，也即可以针对性的对信息量较少冗余大的平面数据进行数学抽象，在精炼信息冗余的同时可以最大程度的保存原始DEM地形图数据块的基本特征。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的地形数据处理方法的流程示意图；
图2是本申请另一实施例示出的地形数据处理方法的流程示意图；
图3是本申请另一实施例示出的地形数据处理方法的流程示意图；
图4是本申请实施例示出的用于聚合的面数据特征的示意图；
图5是本申请实施例示出的采用凝聚层次聚类算法提取平面的流程框图；
图6是本申请实施例示出的编码过程示意图；
图7是本申请实施例示出的地形数据处理装置的结构示意图；
图8是本申请另一实施例示出的地形数据处理装置的结构示意图；
图9是本申请实施例示出的电子设备的结构示意图。
具体实施方式
本申请提供了一种地形数据处理方法，能够减少地形数据占用的本地空间和利于加载。为了更好地理解本申请的技术方案，下面结合附图详细说明本申请的技术方案。
图1示出了本申请实施例中的一种地形数据处理方法的流程示意图。
请参阅图1，一种地形数据处理方法，包括：
S11、获取输入的数字高程模型DEM地形图数据块。
DEM(Digital Elevation Model，数字高程模型)地形图数据块，其内可以包含有高程数据和平面数据等，其中平面数据是指平坦地形数据，高程数据是指出现较大高程变化的数据，例如高山、峡谷等地形数据，其中可以包括阶跃点以及线等数据。该步骤，可以获取通过飞行器飞行采集到的DEM地形图数据块。
S12、将DEM地形图数据块中的高程数据和平面数据进行分区压缩。
该步骤中，可以将DEM地形图数据块中的高程数据进行高程平移后保留；从DEM地形图数据块中利用凝聚层次聚类算法提取出进行特征聚合和有损压缩的平面数据；将进行高程平移后保留的高程数据进行无损压缩。
其中，从DEM地形图数据块中利用凝聚层次聚类算法提取出进行特征聚合和有损压缩的平面数据，包括：采用凝聚层次聚类算法，从DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示。平面参数可以包括平面方程系数及平面坐标索引(空间坐标值)，如果平面参数确定了，则平面方程也确定了。
S13、将进行分区压缩后的高程数据和平面数据，采用预置编码法进行编码，得到编码数据。
该步骤可以将进行分区压缩后的高程数据和平面数据，采用算术编码法或哈弗曼编码法进行编码，得到编码数据。
S14、将编码数据进行序列化。
该步骤可以将编码数据进行序列化，得到二进制序列。
S15、将进行序列化后的编码数据与DEM地形图数据块关联后存储。
该步骤可以将进行序列化后的编码数据与DEM地形图数据块的ID号和/或经纬度进行关联后存储到数据库。
从该示例可以看出，本申请的技术方案，在获取输入的数字高程模型DEM地形图数据块后，是将DEM地形图数据块中的高程数据和平面数据进行分区压缩后再采用预置编码法进行编码，然后进行序列化并存储。通过采用分区压缩的方式，不再采用传统的全局数学建模方式，并且进行编码，这样相对于原始的DEM地形图数据块，可以减少数据存储空间，极大减低数据的存储压力，也有利于地图数据的实时更新加载。
图2是本申请另一实施例示出的地形数据处理方法的流程示意图。
请参阅图2，一种地形数据处理方法，包括：
S21、获取输入的数字高程模型DEM地形图数据块；
步骤S21可以参见步骤S11的描述，此处不再赘述。
S22、将DEM地形图数据块中的高程数据进行高程平移后保留。
该步骤可以将DEM地形图数据块中的高程数据的高程值减去高程值中值后保留。高程平移的好处在于能够使得DEM地形图数据块中的各个数据相对具有较小的绝对值，进而能有效减少后续编码操作中的数位开销，提高压缩率。
S23、从DEM地形图数据块中利用凝聚层次聚类算法提取出进行特征聚合和有损压缩的平面数据。
该步骤可以采用凝聚层次聚类算法，从DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示。
例如，可以包括：将DEM地形图数据块进行网格节点划分；通过节点滤波处理将设定节点过滤；将过滤后剩余的节点利用平面拟合处理确定均方误差；利用均方误差的比较进行节点合并处理；将合并后的聚合节点提取出来作为聚合平面，并采用包含平面参数的平面方程表示，其中平面参数通过平面拟合处理得到。
S24、将进行高程平移后保留的高程数据进行无损压缩。
无损压缩，是指利用数据的统计冗余进行压缩，可完全恢复原始数据而不引起任何失真，但压缩率是受到数据统计冗余度的理论限制，一般为2:1到5:1。无损压缩一般广泛用于文本数据，程序和特殊应用场合的图像数据(如指纹图像，医学图像等)的压缩。
S25、将进行分区压缩后的高程数据和平面数据，采用预置编码法进行编码，得到编码数据。
该步骤可以将进行分区压缩后的高程数据和平面数据，采用算术编码法或哈弗曼编码法进行编码，得到编码数据。
S26、将编码数据进行序列化。
该步骤可以将编码数据进行序列化，得到二进制序列。
S27、将进行序列化后的编码数据与DEM地形图数据块关联后存储。
该步骤可以将进行序列化后的编码数据与DEM地形图数据块的ID号和/或经纬度进行关联后存储到数据库。
从该示例可以看出，通过采用凝聚层次聚类算法，从DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示。这样通过对数据进行聚合面提取的方式，可以将DEM地形图数据块中信息量较少冗余大的平面进行有损压缩，减少了数据存储量，也即可以针对性的对信息量较少冗余大的平面数据进行数学抽象，在精炼信息冗余的同时可以最大程度的保存原始DEM地形图数据块的基本特征。
图3是本申请另一实施例示出的地形数据处理方法的流程示意图。
本申请实施例提供的地形数据处理方法，是一种基于凝聚层次聚合的压缩方法。该方法可以不依赖任何预测模型，该方法通过平面聚合，将信息量较小的平面地形从DEM地形图数据块中提取出来压缩，而保留非平面的特征信息(例如特征点、线等)；最后再结合算术编码，将数据块统一压缩到浮点小数，并进行序列化处理变为对应的二进制数保存到本地。后续可以进行数据加载，例如用户检索可以触发数据加载，加载可以理解为是存储的反向过程。
请参阅图3，一种地形数据处理方法，包括：
S31、获取输入的数字高程模型DEM地形图数据块。
DEM地形图数据块，其内可以包含有高程数据和平面数据等，其中平面数据是指平坦地形数据，高程数据是指出现较大高程变化的数据，例如高山、峡谷等地形数据，其中可以包括阶跃点以及线等数据。该步骤，获取通过飞行器飞行采集到的DEM地形图数据块。
S32、将DEM地形图数据块中的高程数据进行高程平移后保留。
该步骤可以将DEM地形图数据块中的高程数据的高程值减去高程值中值后保留。
高程平移是指计算出DEM地形图数据块中高程数据的高程值的中值V，并将所有高程数据的高程值分别减去中值V，实现高程平移操作。高程平移的好处在于能够使得DEM地形图数据块中的各个数据相对具有较小的绝对值，进而能有效减少后续编码操作中的数位开销，提高压缩率。
高程平移的公式可参考如下：
Enew(i，j)＝Eold(i，j)-V；i∈[0，W]，j∈[0，H]； (1)
其中，Eold表示的是原始高程数据，(i，j)表示的是二维坐标，W、H分别是DEM地形图数据块所表示的物理长度和宽度。
S33、从DEM地形图数据块中利用凝聚层次聚类算法提取出进行特征聚合和有损压缩的平面数据。
该步骤可以采用凝聚层次聚类算法，从DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示。例如，可以包括：将DEM地形图数据块进行网格节点划分；通过节点滤波处理将设定节点过滤；将过滤后剩余的节点利用平面拟合处理确定均方误差；利用均方误差的比较进行节点合并处理；将合并后的聚合节点提取出来作为聚合平面，并采用包含平面参数的平面方程表示，其中平面参数通过平面拟合处理得到。
本申请实施例中，可以采用凝聚层次聚类算法对DEM地形图数据块中关联的数据例如关联的点云数据进行平面特征聚合。该处理方式的目的在于将携带信息量较少的平面进行压缩。如图4所示，是用于聚合的面数据特征。图4中左图的255表示地形数据，0表示没有数据；右图是左图的简化表示，其中2表示边缘，1表示平面。需说明的是，利用凝聚层次聚类算法提取出平面数据的时候，实际上进行平面拟合已经是将平面上的节点做了有损压缩。
采用凝聚层次聚类算法提取出DEM地形图数据块中的平面，提取出的平面可以用如下平面方程来进行表示：
Ax+By+Cz+D＝0； (2)
其中，A、B、C和D表示的是平面方程系数，(x，y，z)表示DEM地形图数据块的三维空间坐标值。
平面参数可以包括平面方程系数及平面坐标索引(空间坐标值)，如果平面参数确定了，则平面方程也确定了。
通过采用平面方程来表示平面，就可以用保存平面参数来取代整个平面中每个点的数值，降低平面数据的冗余度。
采用凝聚层次聚类算法提取出经过特征聚合和有损压缩的平面数据的过程可以参考图5流程所示。
请参阅图5，图5示出了采用凝聚层次聚合法提取平面，并对平面进行有损压缩的流程框图。图5中包括：
S331、对输入的DEM地形图数据块进行网格节点划分，进入步骤S332。
输入数据是DEM地形图数据块，一般是以单通道的栅格图的形式给出，其中栅格的大小即图像单个像素的实际物理尺寸可根据需要设定。
将DEM地形图数据块划分成N*N个格子，其中每个格子表示一个节点，每个节点包含多个图像像素点，且每个节点与其相邻的节点之间用边链接。
S332、对DEM地形图数据块进行节点滤波，进入步骤S333。
该步骤通过节点滤波处理将设定节点过滤，包括过滤掉DEM地形图数据块中一些特殊的节点和对应的边。例如，可以过滤掉DEM地形图数据块中缺少部分数据信息(传感器的限制)的节点、DEM地形图数据块中中两个平面交界所在的节点。此处假定每个有效节点都处在某个平面上，对于存在数值非连续的阶跃点的节点，可以将阶跃点单独备份后以平面离群点的方式剔除。
S333、利用平面拟合处理确定各节点的均方误差MSE，去除掉均方误差过高的节点，进入步骤S334。
平面拟合可以采用最小二乘法但不局限于此，平面拟合的结果输出，就是平面方程的平面方程系数。
S334、选取均方误差最小的节点M，进入步骤S335。
S335、计算均方误差最小的节点M与所有相邻节点分别合并后的
并选择最小的均方误差
对应的邻节点与M进行合并(也就是合并后
最小的一个邻节点)。
其中，所谓合并，也就是将两个节点两者看成一个整体，对该整体进行平面拟合，然后再计算均方误差。
S336、计算合并后的聚合节点对应的均方误差
判断聚合节点对应的均方误差
是否大于预设阈值，如果是，则进入步骤S337，如果否，则返回执行步骤S334。
S337、将合并后的聚合节点提取出来作为聚合平面，进入步骤S338。
该步骤将合并后的聚合节点提取出来作为聚合平面，并采用包含平面参数的平面方程表示，其中平面参数通过平面拟合处理得到。
S338、判断是否存在未处理的节点，若有则返回执行步骤S334；若无则进入步骤S339。
剩余未聚合的节点重新执行上述过程，直到全部的有效节点都处理完。
S339、采用预置优化法对聚合节点进行像素级优化。
因为在S332中舍弃了很多节点，因此在最后进行优化时，可以采用预置优化法对每一聚合节点进行像素级优化。例如，可以采用平均值进行填充或者数据拟合等方式来对每一聚合节点进行像素级优化。
需说明的是，步骤S33中从DEM地形图数据块中利用凝聚层次聚类算法提取出平面数据的时候，实际上进行平面拟合已经是将平面上的节点做了有损压缩。由于平面所表达的高程信息量相对较少，所以采用这种方式对平面区域进行有损压缩是有助于提升信息的传递效率。
S34、将进行高程平移后保留的高程数据进行无损压缩。
在经过凝聚层次聚合也即对于DEM地形图数据块中提取出平面数据后之后，整个DEM地形图数据块中平面的部分已接近都被提取出，剩下的就是一些非平滑的阶跃点、平面的交界线等高程数据。为了进一步压缩存储空间，可以对DEM地形图数据块中剩余的阶跃点、交界线等高程数据进行无损压缩，进一步减少后续数据的存储量。
无损数据压缩是指使用压缩后的数据进行重构(或者叫做还原、解压缩)，重构后的数据与原来的数据完全相同，但通常压缩比小于有损数据压缩的压缩比。常用的无损压缩算法可以包括霍夫曼(Huffman)算法和LZW(Lenpel-Ziv&Welch)压缩算法等，本申请实施例对使用的无损压缩算法不加以限制。
S35、将进行分区压缩后的高程数据和平面数据，采用预置编码法进行编码，得到编码数据；将编码数据进行序列化。
在得到进行分区压缩后的高程数据和平面数据后，相当于完成了数据准备的工作，下一步骤就是进行编码。
关于编码，本申请实施例考虑到存储空间优先且需要空间和速度权衡，可以选用编码效率较高的算术编码法。通过算术编码法将一整串字符编码成一个浮点数，最后将该浮点数对应的二进进制比特流保存到本地文件。需说明的是，数据编码除了可以采用算术编码法，也可以替换为其他的信息编码方式，例如哈弗曼编码法等。
算术编码是图像压缩的主要算法之一，是一种无损数据压缩方法。算术编码是直接把整个输入的消息编码为一个数。算术编码的工作原理是在给定符号集和符号概率的情况下，算术编码可以给出接近最优的编码结果。使用算术编码的压缩算法通常先要对输入符号的概率进行估计，然后再编码。这个估计越准，编码结果就越接近最优的结果。
请参阅图6，算术编码的操作流程可以如下：
先将DEM地形图数据块的图像矩阵转换成向量。统计每个数值的出现概率，例如字符1是0.2，字符2和字符3也是0.2，字符4是0.4。编码开始时，概率空间为[0，1]，当首先对字符1进行编码时，概率空间将会缩小到字符1的区间，即[0，0.2]这个区间，然后在缩小的区间内根据各个字符的概率重新分配概率空间。依次类推，当进行到最后一个字符时，将最后一个字符对应的概率空间作为编码区间，并且在编码区间内选择一个靠近区间上界的概率作为编码概率，在得到码长后将编码概率转换为与之等长的二进制序列，即为编码的结果，从而完成编码和序列化的过程。
S36、将进行编码和序列化后的编码数据与DEM地形图数据块关联后存储到数据库。
该步骤可以将进行序列化后的编码数据与DEM地形图数据块的ID号和/或经纬度进行关联后存储到数据库。
本申请实施例可以使用SQLite数据库将完成编码和序列化后的二进制序列也二进制码流文件，与DEM地形图数据块的ID号和/或经纬度进行关联后进行存储，这样可以方便加载过程通过ID号和经纬度快速检索到目标数据块。
数据库可以采用SQLite数据库，SQLite数据库轻量级速度快，虽然其对于高并发高流量的应用并不适用，但是在本地单机场景能够满足需求。当然，也可以根据实际需要，选择其余类型的数据库，本申请不作具体限定。
S37、在数据库进行检索。
在数据库中，可以通过设定检索条件例如ID号和经纬度快速检索到目标数据块，也即编码数据。
S38、在检索到存储的编码数据后，加载编码数据，将编码数据进行反序列化。
基于用户输入的检索条件，在数据库内检索出与检索条件相匹配的编码数据，也即存储的目标二进制序列。
然后，对目标二进制序列进行反序列化，即将目标二进制序列(二进制编码序列)转换为浮点数。
S39、将进行反序列化后的编码数据进行解码。
在将二进制编码序列转换为浮点数后，根据与编码方法对应的解码方法进行解码。顺序遍历编码时存储的字符概率空间改变序列与还原出的编码概率进行比较，选择相应字符概率空间对应的字符即可，这样就可以得到原字符序列，得到DEM地形图数据块，完成解码。
S40、将解码后的编码数据进行高程还原处理，得到还原后的DEM地形图数据块。
将得到的DEM地形图数据块中的高程数据进行高程还原，就可以得到原始输入的DEM地形图数据块。
需说明的是，上述处理过程中关于边界线的处理方式，本申请实施例是采用了直接逐点保存的方式。为了更进一步的提升效率，也可以采用线段分割直线拟合的方式表达。例如：如果边界点是数值连续的且梯度一致(数值变化趋势一致)，那么可进行直线拟合，只保存两端的点和两点之间的链接关系。对于数值连续但梯度不一致的边界，可采用分段的方式进行同样的拟合。对于数值不连续的边界，采用阶跃点备份再做离群点去除(与聚合面过滤节点类似)的方式，转换到数值连续的情况。
从上述实施例可以看出，本申请实施例提供的技术方案，针对性的对信息量较少冗余大的平面进行数学抽象，在精炼信息冗余的同时最大程度的保存原始DEM数据的基本特征。本申请实施例采用压缩编码，较原始DEM数据极大减低了数据的存储压力，为地图的实时更新加载提供保障。本申请实施例还引入了单机离线数据库，可以提升数据检索的整体鲁棒性和便捷性。
与前述的功能方法实施例相对应，本申请提供了地形数据处理装置、设备及相应的实施例。
图7是本申请实施例示出的地形数据处理装置的结构示意图。
请参阅图7，一种地形数据处理装置700，包括：获取模块701、分区压缩模块702、编码模块703、序列化模块704、存储模块705。
获取模块701，用于获取输入的数字高程模型DEM地形图数据块。DEM地形图数据块，其内可以包含有高程数据和平面数据等，其中平面数据是指平坦地形数据，高程数据是指出现较大高程变化的数据，例如高山、峡谷等地形数据，其中可以包括阶跃点以及线等数据。
分区压缩模块702，用于将获取模块701获取的DEM地形图数据块中的高程数据和平面数据进行分区压缩。分区压缩模块702可以将DEM地形图数据块中的高程数据进行高程平移后保留；从DEM地形图数据块中利用凝聚层次聚类算法提取出进行特征聚合和有损压缩的平面数据；将进行高程平移后保留的高程数据进行无损压缩。
编码模块703，用于将分区压缩模块702进行分区压缩后的高程数据和平面数据，采用预置编码法进行编码，得到编码数据。编码模块703可以将进行分区压缩后的高程数据和平面数据，采用算术编码法或哈弗曼编码法进行编码，得到编码数据。
序列化模块704，用于将编码模块703得到的编码数据进行序列化。序列化模块704可以将编码数据进行序列化，得到二进制序列。
存储模块705，用于将序列化模块704进行序列化后的编码数据与DEM地形图数据块关联后存储。存储模块705可以将进行序列化后的编码数据与DEM地形图数据块的ID号和/或经纬度进行关联后存储到数据库。
从该示例可以看出，本申请提供的地形数据处理装置，在获取输入的数字高程模型DEM地形图数据块后，是将DEM地形图数据块中的高程数据和平面数据进行分区压缩后再采用预置编码法进行编码，然后进行序列化并存储。通过采用分区压缩的方式，不再采用传统的全局数学建模方式，并且进行编码，这样相对于原始的DEM地形图数据块，可以减少数据存储空间，极大减低数据的存储压力，也有利于地图数据的实时更新加载。
图8是本申请另一实施例示出的地形数据处理装置的结构示意图；
请参阅图8，一种地形数据处理装置800，包括：获取模块701、分区压缩模块702、编码模块703、序列化模块704、存储模块705、检索模块706、加载模块707、反序列化模块708、解码模块709、还原模块710。
其中获取模块701、分区压缩模块702、编码模块703、序列化模块704、存储模块705的功能请参阅图7中的相关描述，此处不再赘述。
其中，分区压缩模块702可以包括：第一压缩处理模块7021、第二压缩处理模块7022。
第一压缩处理模块7021，用于将DEM地形图数据块中的高程数据进行高程平移后保留，将进行高程平移后保留的高程数据进行无损压缩；
第二压缩处理模块7022，用于从DEM地形图数据块中利用凝聚层次聚类算法提取出进行特征聚合和有损压缩的平面数据。
第一压缩处理模块7021将DEM地形图数据块中的高程数据的高程值减去高程值中值后保留；或，
第二压缩处理模块7022采用凝聚层次聚类算法，从DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示。
第二压缩处理模块7022可以将DEM地形图数据块进行网格节点划分；通过节点滤波处理将设定节点过滤；将过滤后剩余的节点利用平面拟合处理确定均方误差；利用均方误差的比较进行节点合并处理；将合并后的聚合节点提取出来作为聚合平面，并采用包含平面参数的平面方程表示，其中平面参数通过平面拟合处理得到。
检索模块706，用于从数据库检索存储的编码数据。
加载模块707，用于在检索模块706检索到存储的编码数据后，加载编码数据。
反序列化模块708，用于将加载模块707加载的编码数据进行反序列化。
解码模块709，用于将反序列化模块708进行反序列化后的编码数据进行解码。
还原模块710，用于将解码模块709解码后的编码数据进行高程还原处理，得到还原后的DEM地形图数据块。
从该示例可以看出，本申请提供的地形数据处理装置，通过采用凝聚层次聚类算法，从DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示。这样通过对数据进行聚合面提取的方式，可以将DEM地形图数据块中信息量较少冗余大的平面进行有损压缩，减少了数据存储量，也即可以针对性的对信息量较少冗余大的平面数据进行数学抽象，在精炼信息冗余的同时可以最大程度的保存原始DEM地形图数据块的基本特征。
关于上述实施例中的装置，其中各个模块及单元执行操作的具体方式已经在有关该装置所对应的方法实施例中进行了详细描述，此处将不再做详细阐述说明。
图9是本申请实施例示出的电子设备的结构示意图。
请参阅图9，电子设备1000包括处理器1100和存储器1200。
处理器1100可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1200可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器1100或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1200可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。存储器1200上存储有可执行代码，当可执行代码被处理器1100处理时，可以使处理器1100执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。
Claims (15)
1.一种地形数据处理方法，其特征在于，包括：
获取输入的数字高程模型DEM地形图数据块；
将所述DEM地形图数据块中的高程数据和平面数据进行分区压缩；
将进行分区压缩后的高程数据和平面数据，采用预置编码法进行编码，得到编码数据；
将所述编码数据进行序列化；
将进行序列化后的编码数据与所述DEM地形图数据块关联后存储。
2.根据权利要求1所述的方法，其特征在于，所述将所述DEM地形图数据块中的高程数据和平面数据进行分区压缩，包括：
将所述DEM地形图数据块中的高程数据进行高程平移后保留；
从所述DEM地形图数据块中利用凝聚层次聚类算法提取出进行特征聚合和有损压缩的平面数据；
将进行高程平移后保留的高程数据进行无损压缩。
3.根据权利要求2所述的方法，其特征在于，所述对所述DEM地形图数据块中的高程数据进行高程平移后保留，包括：
将所述DEM地形图数据块中的高程数据的高程值减去高程值中值后保留。
4.根据权利要求2所述的方法，其特征在于，所述从所述DEM地形图数据块中利用凝聚层次聚类算法提取出进行特征聚合和有损压缩的平面数据，包括：
采用凝聚层次聚类算法，从所述DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示。
5.根据权利要求4所述的方法，其特征在于，所述采用凝聚层次聚类算法，从所述DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示，包括：
将所述DEM地形图数据块进行网格节点划分；
通过节点滤波处理将设定节点过滤；
将过滤后剩余的节点利用平面拟合处理确定均方误差；
利用均方误差的比较进行节点合并处理；
将合并后的聚合节点提取出来作为聚合平面，并采用包含平面参数的平面方程表示，其中所述平面参数通过平面拟合处理得到。
6.根据权利要求1所述的方法，其特征在于，所述将进行分区压缩后的高程数据和平面数据，采用预置编码法进行编码，得到编码数据，包括：
将进行分区压缩后的高程数据和平面数据，采用算术编码法或哈弗曼编码法进行编码，得到编码数据。
7.根据权利要求1所述的方法，其特征在于，所述将进行序列化后的编码数据与所述DEM地形图数据块关联后存储，包括：
将进行序列化后的编码数据与所述DEM地形图数据块的ID号和/或经纬度进行关联后存储到数据库。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：
在检索到存储的编码数据后，加载所述编码数据；
将所述编码数据进行反序列化；
将进行反序列化后的编码数据进行解码；
将解码后的编码数据进行高程还原处理，得到还原后的DEM地形图数据块。
9.一种地形数据处理装置，其特征在于，包括：
获取模块，用于获取输入的数字高程模型DEM地形图数据块；
分区压缩模块，用于将所述获取模块获取的DEM地形图数据块中的高程数据和平面数据进行分区压缩；
编码模块，用于将所述分区压缩模块进行分区压缩后的高程数据和平面数据，采用预置编码法进行编码，得到编码数据；
序列化模块，用于将所述编码模块得到的编码数据进行序列化；
存储模块，用于将所述序列化模块进行序列化后的编码数据与所述DEM地形图数据块关联后存储。
10.根据权利要求9所述的装置，其特征在于，所述分区压缩模块包括：
第一压缩处理模块，用于将所述DEM地形图数据块中的高程数据进行高程平移后保留，将进行高程平移后保留的高程数据进行无损压缩；
第二压缩处理模块，用于从所述DEM地形图数据块中利用凝聚层次聚类算法提取出进行特征聚合和有损压缩的平面数据。
11.根据权利要求10所述的装置，其特征在于：
所述第一压缩处理模块将所述DEM地形图数据块中的高程数据的高程值减去高程值中值后保留；或，
所述第二压缩处理模块采用凝聚层次聚类算法，从所述DEM地形图数据块中提取出经过特征聚合和有损压缩的平面数据，将提取的平面数据采用包含平面参数的平面方程表示。
12.根据权利要求9至11任一项所述的装置，其特征在于，所述装置还包括：
检索模块，用于从数据库检索存储的编码数据；
加载模块，用于在所述检索模块检索到存储的编码数据后，加载所述编码数据；
反序列化模块，用于将所述加载模块加载的编码数据进行反序列化；
解码模块，用于将所述反序列化模块进行反序列化后的编码数据进行解码；
还原模块，用于将所述解码模块解码后的编码数据进行高程还原处理，得到还原后的DEM地形图数据块。
13.一种飞行器，其特征在于：包括如权利要求9-12中任一项所述的地形数据处理装置。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-8中任一项所述的方法。
15.一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210209683.6A CN114596415A (zh) | 2022-03-03 | 2022-03-03 | 地形数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210209683.6A CN114596415A (zh) | 2022-03-03 | 2022-03-03 | 地形数据处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114596415A true CN114596415A (zh) | 2022-06-07 |
Family
ID=81814963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210209683.6A Pending CN114596415A (zh) | 2022-03-03 | 2022-03-03 | 地形数据处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114596415A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030142523A1 (en) * | 2002-01-25 | 2003-07-31 | Zoltan Biacs | Method and system for storage and fast retrieval of digital terrain model elevations for use in positioning systems |
| CN102684703A (zh) * | 2012-04-26 | 2012-09-19 | 北京师范大学 | 一种高效的数字高程模型数据无损压缩的方法 |
| CN110223378A (zh) * | 2019-05-28 | 2019-09-10 | 中国科学院自动化研究所 | 基于层次聚类的二次曲面基元提取方法、系统、装置 |
| CN110738735A (zh) * | 2019-10-23 | 2020-01-31 | 黄河勘测规划设计研究院有限公司 | 一种提高三维数字地球平台展示效果的方法 |
| CN112953547A (zh) * | 2019-12-10 | 2021-06-11 | 华为技术有限公司 | 一种数据处理方法、装置及系统 |
| CN113284250A (zh) * | 2021-06-11 | 2021-08-20 | 北京大学深圳研究生院 | 一种点云的几何编码方法和解码方法及设备 |
-
2022
- 2022-03-03 CN CN202210209683.6A patent/CN114596415A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030142523A1 (en) * | 2002-01-25 | 2003-07-31 | Zoltan Biacs | Method and system for storage and fast retrieval of digital terrain model elevations for use in positioning systems |
| CN102684703A (zh) * | 2012-04-26 | 2012-09-19 | 北京师范大学 | 一种高效的数字高程模型数据无损压缩的方法 |
| CN110223378A (zh) * | 2019-05-28 | 2019-09-10 | 中国科学院自动化研究所 | 基于层次聚类的二次曲面基元提取方法、系统、装置 |
| CN110738735A (zh) * | 2019-10-23 | 2020-01-31 | 黄河勘测规划设计研究院有限公司 | 一种提高三维数字地球平台展示效果的方法 |
| CN112953547A (zh) * | 2019-12-10 | 2021-06-11 | 华为技术有限公司 | 一种数据处理方法、装置及系统 |
| CN113284250A (zh) * | 2021-06-11 | 2021-08-20 | 北京大学深圳研究生院 | 一种点云的几何编码方法和解码方法及设备 |
Non-Patent Citations (2)
| Title |
|---|
| 毛可标;苏玉扬;: "DEM的数据格式及压缩编码", 遥感信息, no. 01 * |
| 陈仁喜 等: "基于整型小波变换的DEM数据压缩", 《武汉大学学报 信息科学版》, 30 April 2006 (2006-04-30), pages 344 - 347 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | 3d point cloud geometry compression on deep learning | |
| Digne et al. | Self‐similarity for accurate compression of point sampled surfaces | |
| JP5962937B2 (ja) | 画像処理方法 | |
| Wen et al. | Lossy geometry compression of 3d point cloud data via an adaptive octree-guided network | |
| WO2010013290A1 (ja) | 圧縮処理装置および圧縮処理方法 | |
| US11210821B2 (en) | Graphics processing systems | |
| CN113613010A (zh) | 基于稀疏卷积神经网络的点云几何无损压缩方法 | |
| US11595057B2 (en) | Reducing error in data compression | |
| CN111246206B (zh) | 一种基于自编码器的光流信息压缩方法及装置 | |
| US20220398712A1 (en) | Generating modified digital images utilizing nearest neighbor fields from patch matching operations of alternate digital images | |
| KR20180077060A (ko) | 화소들의 리스트들을 인코딩 및 디코딩하는 방법 및 장치 | |
| Isenburg et al. | Streaming compression of tetrahedral volume meshes | |
| CN114596415A (zh) | 地形数据处理方法、装置、设备及存储介质 | |
| CN107231556B (zh) | 一种图像云储存设备 | |
| Zhang et al. | TDRnet: Transformer-based dual-branch restoration network for geometry based point cloud compression artifacts | |
| WO2023179464A1 (zh) | 一种图像压缩方法，图像解压方法和图像处理装置 | |
| CN114554220B (zh) | 一种基于抽象特征的固定场景视频超限压缩与解码方法 | |
| US20220392117A1 (en) | Data compression and decompression system and method thereof | |
| Tasnim et al. | Data reduction and deep-learning based recovery for geospatial visualization and satellite imagery | |
| JP2022187683A5 (zh) | ||
| CN113422965A (zh) | 一种基于生成对抗网络的图像压缩方法及装置 | |
| Deshmukh | Image compression using neural networks | |
| CN112906314B (zh) | 多块结构网格数据深度压缩存储与解压缩方法 | |
| CN113691818B (zh) | 视频目标检测方法、系统、存储介质、计算机视觉终端 | |
| WO2023050381A1 (en) | Image and video coding using multi-sensor collaboration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |