CN108629742A - 真正射影像阴影检测与补偿方法、装置及存储介质 - Google Patents
真正射影像阴影检测与补偿方法、装置及存储介质 Download PDFInfo
- Publication number
- CN108629742A CN108629742A CN201810268423.XA CN201810268423A CN108629742A CN 108629742 A CN108629742 A CN 108629742A CN 201810268423 A CN201810268423 A CN 201810268423A CN 108629742 A CN108629742 A CN 108629742A
- Authority
- CN
- China
- Prior art keywords
- image
- mask
- shadow mask
- aerial survey
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000000877 morphologic effect Effects 0.000 claims abstract description 10
- 239000000203 mixture Substances 0.000 claims description 18
- 230000014509 gene expression Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 230000010339 dilation Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 230000001052 transient effect Effects 0.000 claims description 6
- 238000004064 recycling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 21
- 230000000694 effects Effects 0.000 abstract description 9
- 238000004422 calculation algorithm Methods 0.000 abstract description 8
- 230000010354 integration Effects 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 abstract description 4
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了真正射影像阴影检测与补偿方法、装置和存储介质。真正射影像阴影检测与补偿方法，通过使用四叉树空间索引技术、影像金字塔技术、图像形态学技术、图像多尺度融合技术、距离反比加权技术、DSM建筑物边界提取技术等多种先进的技术手段与算法策略，经实践测试，处理效率较快，准确率较高，阴影补偿效果较好。
Description
技术领域
本申请实施方式涉及无人机技术领域，尤其涉及一种真正射影像阴影检测与补偿方法、装置及存储介质。
背景技术
作为真正射影像制作的关键技术，影像的阴影检测(又称遮挡检测)与补偿处理，在计算机视觉领域，阴影检测更多的被称之为遮挡检测，检测遮挡的主要目的是试图发现三维目标的结构，而在航测数据处理领域，阴影检测的目的更多的侧重于补偿由于建筑物倾倒引起的测量盲区。盲区检测的完整性与正确性直接影响后续阴影补偿的处理的质量。在航测方面，通常一个架次采集的影像覆盖的地面范围是小则几公里大则几十公里，如此大的测区范围也对测区内阴影的检测效率提出了较高的需求。另外，由于建筑物遮挡区域通常光照强度不是太好，与非阴影区的纹理对比度与色调都差距较大，这也给阴影补偿带来了更大的挑战。
发明人在实现本申请的过程中发现，现有阴影检测算法效率较慢，准确度较低，阴影补偿算法效果也不是很理想。
发明内容
本申请根据现有技术真正射影像的阴影检测算法效率较慢，准确度较低，阴影补偿算法效果不是很理想的技术问题，提出一种真正射影像阴影检测与补偿方法、装置及存储介质。
本申请实施例提供一种真正射影像阴影检测与补偿方法，应用于无人机航测影像，包括如下步骤：
A：构建地理空间坐标系oXYZ，构建数字表面模型影像金字塔；
B：为数字表面模型覆盖的三维空间建立四叉树空间索引；
C：根据所述数字表面模型影像金字塔顶层和四叉树空间索引，逐像素计算所述航测影像每一像元位置的遮挡情况，生成粗尺度阴影掩模；
D：在所述数字表面模型影像金字塔底层提取建筑物几何边界掩模；
E：在所述航测影像原始像素尺度上，将所述粗尺度阴影掩模与建筑物几何边界掩模进行合并，生成初始阴影掩模；
F：对所述初始阴影掩模逐点检测掩模的有效性，剔除掩模中的误差点，快速生成高精度阴影掩模；
G：使用距离反比加权的方法在多个所述航测影像覆盖的整个测区内确定每一阴影斑块的最优与次优补偿纹理及其所在的影像；
H：循环选取每一幅所述航测影像，计算提取与该航测影像具有有效重叠区域的所有其他航测影像的所述高精度阴影掩模，并对重叠区域进行由大到小排序，针对每一幅影像的阴影掩模斑块，调整最优与次优补偿纹理以及其他航测影像的重叠区域的补偿纹理混合比例，进行多尺度融合处理，实现阴影斑块的无缝拼合。
可选地，所述步骤B中，为数字表面模型覆盖的三维空间建立四叉树空间索引具体包括：
B1：计算当前影像的地理坐标范围R3D；
B2：所述当前影像对应的摄站点的平面坐标为投影中心，以所述投影中心和R3D内最低高程点组成的三维点为原点将R3D划分为四个子区域，并记录各子区域内的最大高程和最小高程；
B3：对所述四个子区域分别进行四等分，并记录各子区域的子区域内的最大高程和最小高程；
B4：迭代执行步骤B3，直到四叉树叶结点符合预设条件时，迭代终止。
可选地，所述步骤C：根据所述数字表面模型影像金字塔顶层和四叉树空间索引，逐像素计算所述航测影像每一像元位置的遮挡情况，生成粗尺度阴影掩模具体包括：
C1：计算从所述当前影像像元位置到当前影像的投影中心的射线与所述四叉树叶结点代表的空间长方体先后交点P1(X1,Y1,Z1),P2(X2,Y2,Z2)，其中，所述当前影像像元位置为其对应的数字表面模型采样单元位置；
C2：将所述P1,P2确定的线段P1P2投影到所述数字表面模型上，并采样出P1P2线段投影线上的数字表面模型高程序列，若所述数字表面模型高程序列中的某一点的高程值大于所述线段P1P2中对应位置的Z值，则该点不可视，标记为阴影；
aX+bY+cZ+d＝0
其中，a～d为空间直线方程的四个系数，X，Y，Z为地理空间坐标系的oXYZ的三个坐标分量，设定X1＜X2，Y1＜Y2，则X∈[X1,X2]，Y∈[Y1,Y2]。
C3：重复执行步骤C1和C2，直到所述线段P1P2投影到所述数字表面模型上的所有点位都遍历完毕，将阴影代表的遮挡情况汇总生成粗尺度阴影掩模。
可选地，所述步骤D：在所述数字表面模型影像金字塔底层提取建筑物几何边界掩模具体包括：
D1：对初始DSMorg执行形态学膨胀处理，得到膨胀后新的DSMdilate；
D2：将膨胀后新的DSMdilate与初始DSMorg作差分处理，得到差分DSMdiff，其计算表达式为；
DSMdiff(i,j)＝DSMdilate(i,j)-DSMorg(i,j)
其中，DSMdiff(i,j)，DSMdilate(i,j)，DSMorg(i,j)分别表示像元(i，j)位置处的高程差分、形态学膨胀后的高程与原始高程。
D3：根据差分DSMdiff得到建筑物近似边界，计算公式为：
其中，Border(i,j)表示像元(i，j)位置处的边界掩模。
可选地，所述步骤E：在所述航测影像原始像素尺度上，将所述粗尺度阴影掩模与建筑物几何边界掩模进行合并，生成初始阴影掩模具体包括：
E1：将步骤C中生成的所述粗尺度阴影掩模放大到原始像素尺寸阴影掩模Obsscale；
E2：将所述原始像素尺寸阴影掩模Obsscale按如下公式与建筑物边界掩模Border进行合并处理，得到影像初始阴影掩模；
其中，Obsorg(i,j)，Border(i,j)，Obsscale(i,j)分别表示像元(i,j)位置处的初始阴影掩模、建筑物边界掩模和原始像素尺寸阴影掩模。
可选地，所述步骤F：对所述初始阴影掩模逐点检测掩模的有效性，剔除掩模中的误差点，快速生成高精度阴影掩模具体包括：
遍历初始阴影掩模Obsorg中的每一像元，当某一像元Obsorg值等于0则为所述误差点予以剔除，大于0则为有效点执行步骤C中的C1和C2，直到所有像元遍历完成，汇总生成所述高精度阴影掩模。
可选地，所述步骤G：使用距离反比加权的方法在多个所述航测影像覆盖的整个测区内确定每一阴影斑块的最优与次优补偿纹理及其所在的影像具体包括：
G1：以任意一幅所述航测影像的投影中心平面坐标为原点，计算周围预设距离内栅格化离散点的距离，存储在全局权重查找表里，具体计算表达式为：
其中，Wglobal(i,j)表示在栅格化平面里位置(i,j)处的选取权重，D(i,j)表示位置(i,j)到G1中选取的坐标原点的平面欧几里得距离。G2：根据所述全局权重查找表快速生成每一幅所述航测影像的权值模板，具体计算表达式如下：
Wimg(i'ij')＝Wglobal(iij)
其中，
Wimg(i＇,j＇)表示当前影像坐标(i＇,j′)处的权重，(i′,j′)表示当前影像对应的地理坐标范围内，地面坐标为(X,Y)位置计算出的影像坐标，(Xs,Ys)表示当前影像的投影中心物方平面坐标，gsd表示地面分辨率；
G3：根据所在航测影像的权重大小确定每一阴影斑块的最优与次优补偿纹理以及其他重叠纹理。
可选地，所述步骤H：中，调整最优与次优补偿纹理以及其他航测影像的重叠区域的补偿纹理混合比例，进行多尺度融合处理，实现阴影斑块的无缝拼合具体包括：
H1：调整最优与次优补偿纹理以及其他重叠区域的补偿纹理混合比例。
H2：补偿纹理按不同混合比例进行多尺度融合以及对所述阴影斑块边缘进行羽化；
H3：得到所述阴影斑块的无缝拼合影像。
本申请实施例还提供一种真正射影像阴影检测与补偿装置，应用于无人机航测影像，包括：
构建模块，用于构建地理空间坐标系oXYZ，构建数字表面模型影像金字塔；
建立模块，用于为数字表面模型覆盖的三维空间建立四叉树空间索引；
计算及生成模块，用于根据所述数字表面模型影像金字塔顶层和四叉树空间索引，逐像素计算所述航测影像每一像元位置的遮挡情况，生成粗尺度阴影掩模；
提取模块，用于在所述数字表面模型影像金字塔底层提取建筑物几何边界掩模；
合并及生成模块，用于在所述航测影像原始尺度上，将所述粗尺度阴影掩模与建筑物几何边界掩模进行合并，生成初始阴影掩模；
无效剔除及生成模块，用于对所述初始阴影掩模逐点检测掩模的有效性，剔除掩模中的误差点，快速生成高精度阴影掩模；
确定模块，用于使用距离反比加权的方法在多个所述航测影像覆盖的整个测区内确定每一阴影斑块的最优与次优补偿纹理及其所在的影像；
计算及融合模块，用于循环选取每一幅所述航测影像，计算提取与该航测影像具有有效重叠区域的所有其他航测影像的所述高精度阴影掩模，并对重叠区域进行由大到小排序，针对每一幅影像的阴影掩模斑块，调整最优与次优补偿纹理以及其他航测影像的重叠区域的补偿纹理混合比例，进行多尺度融合处理，实现阴影斑块的无缝拼合。
本申请实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质中存储有计算机指令，所述计算机指令适于处理器加载，以实现上述真正射影像阴影检测与补偿方法。
本申请实施例的有益效果在于，相比现有技术，本申请实施例提供的真正射影像阴影检测与补偿方法，通过使用四叉树空间索引技术、影像金字塔技术、图像形态学技术、图像多尺度融合技术、距离反比加权技术、DSM建筑物边界提取技术等多种先进的技术手段与算法策略，经实践测试，处理效率较快，准确率较高，阴影补偿效果较好。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本申请实施例真正射影像阴影检测与补偿方法的流程图；
图2为本申请实施例真正射影像阴影检测与补偿装置的结构框图；
图3为本申请实施例真正射影像阴影检测与补偿的电子装置的示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本说明书中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本申请。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外，下面所描述的本申请各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
以下通过附图和具体实施方式对本申请做进一步详细说明。
为了便于理解本申请，下面结合附图和具体实施方式，对本申请进行更详细的说明。除非另有定义，本说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本说明书中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本申请。
如图1所示，本申请实施例提供一种真正射影像阴影检测与补偿方法，应用于无人机航测影像，包括如下步骤：
A：构建地理空间坐标系oXYZ，构建数字表面模型影像金字塔；
B：为数字表面模型覆盖的三维空间建立四叉树空间索引；
C：根据所述数字表面模型影像金字塔顶层和四叉树空间索引，逐像素计算所述航测影像每一像元位置的遮挡情况，生成粗尺度阴影掩模；
D：在所述数字表面模型影像金字塔底层提取建筑物几何边界掩模；
E：在所述航测影像原始尺度上，将所述粗尺度阴影掩模与建筑物几何边界掩模进行合并，生成初始阴影掩模；
F：对所述初始阴影掩模逐点检测掩模的有效性，剔除掩模中的误差点，快速生成高精度阴影掩模；
G：使用距离反比加权的方法在多个所述航测影像覆盖的整个测区内确定每一阴影斑块的最优与次优补偿纹理及其所在的影像；
H：循环选取每一幅所述航测影像，计算提取与该航测影像具有有效重叠区域的所有其他航测影像的所述高精度阴影掩模，并对重叠区域进行由大到小排序，针对每一幅影像的阴影掩模斑块，调整最优与次优补偿纹理以及其他航测影像的重叠区域的补偿纹理混合比例，进行多尺度融合处理，实现阴影斑块的无缝拼合。
本申请实施例的有益效果在于，相比现有技术，本申请实施例提供的真正射影像阴影检测与补偿方法，通过使用四叉树空间索引技术、影像金字塔技术、图像形态学技术、图像多尺度融合技术、距离反比加权技术、DSM建筑物边界提取技术等多种先进的技术手段与算法策略，经实践测试，处理效率较快，准确率较高，阴影补偿效果较好。
在本申请的一个或多个实施例中，所述步骤B：为数字表面模型覆盖的三维空间建立四叉树空间索引具体包括：
B1：计算当前影像的地理坐标范围R3D；
具体地，一副影像的地理坐标范围R3D是航测影像四个角点对应的地理坐标构成的空间长方体所覆盖的空间区域。
B2：所述当前影像对应的摄站点的平面坐标为投影中心，以所述投影中心和R3D内最低高程点组成的三维点为原点将R3D划分为四个子区域，并记录各子区域内的最大高程和最小高程；
B3：对所述四个子区域分别进行四等分，并记录各子区域的子区域内的最大高程和最小高程；
B4：迭代执行步骤B3，直到四叉树叶结点符合预设条件时，迭代终止。
进一步地，所述预设条件为四叉树的叶结点对应的平面区域的尺寸小于100×100像元或四叉树的深度大于4层。
投影中心的平面坐标在此为二维坐标，其与地理坐标范围R3D内最低高程点(一维坐标)组成一个三维点，以这个三维点作为地理坐标范围R3D表示的空间区域的坐标原点，将这个空间区域分解为四个子区域，然后将各个子区域进行几何四等分。紧接着，对子区域再分成子区域时(严格说是孙区域)，仍然是其地理坐标范围R3D内最低高程点与上述投影中心组成三维点作为原点来分解成四份，对所述四个孙区域分别进行四等分，并记录各子区域的子区域内的最大高超和最小高程执行B4的迭代。
在本申请的一个或多个实施例中，所述步骤C：根据所述数字表面模型影像金字塔顶层和四叉树空间索引，逐像素计算所述航测影像每一像元位置的遮挡情况，生成粗尺度阴影掩模具体包括：
C1：计算从所述当前影像像元位置到当前影像的投影中心的射线与所述四叉树叶结点代表的空间长方体先后交点P1(X1,Y1,Z1),P2(X2,Y2,Z2)，其中，所述当前影像像元位置为其对应的数字表面模型采样单元位置；
具体地，P1(X1,Y1,Z1),P2(X2,Y2,Z2)为当前影像像元位置到当前影像的投影中心的射线与所述四叉树叶结点代表的空间长方体的面的交点。
C2：将所述P1,P2确定的线段P1P2投影到所述数字表面模型上，并采样出线段P1P2投影线上的数字表面模型高程序列，若所述数字表面模型高程序列中的某一点的高程值大于所述线段P1P2中对应位置的Z值，则该点不可视，标记为阴影；aX+bY+cZ+d＝0其中，a～d为空间直线方程的四个系数，X，Y，Z为所述地理空间坐标系oXYZ的三个坐标分量，设定X1＜X2，Y1＜Y2，则X∈[X1,X2]，Y∈[Y1,Y2]。
C3：重复执行步骤C1和C2，直到所述线段P1P2投影到所述数字表面模型上的所有点位都遍历完毕，将阴影代表的遮挡情况汇总生成粗尺度阴影掩模。
具体地，上述线段P1P2中对应位置的Z值是根据线段的解析式计算出来的。
在本申请的一个或多个实施例中，所述步骤D：在所述数字表面模型影像金字塔底层提取建筑物几何边界掩模具体包括：
D1：对初始DSMorg执行形态学膨胀处理，得到膨胀后新的DSMdilate；
D2：将膨胀后新的DSMdilate与初始DSMorg作差分处理，得到差分DSMdiff，其计算表达式为；
DSMdiff(i,j)＝DSMdilate(i,j)-DSMorg(i,j)
其中，DSMdiff(i,j)，DSMdilate(i,j)，DSMorg(i,j)分别表示像元(i，j)位置处的高程差分、形态学膨胀后的高程与原始高程。
D3：根据差分DSMdiff得到建筑物近似边界，计算公式为：
其中，Border(i,j)表示像元(i，j)位置处的边界掩模。
通常情况下，建筑物高度最低不会低于2～3米，上式中设定的高程差分是为了检测出建筑物边缘。
在本申请的一个或多个实施例中，所述步骤E：在所述航测影像原始像素尺度上，将所述粗尺度阴影掩模与建筑物几何边界掩模进行合并，生成初始阴影掩模具体包括：
E1：将步骤C中生成的所述粗尺度阴影掩模放大到原始像素尺寸阴影掩模ObsscaleObsscale；E2：将所述原始像素尺寸阴影掩模Obsscale按如下公式与建筑物边界掩模Border进行合并处理，得到影像初始阴影掩模；
其中，Obsorg(i,j)，Border(i,j)，Obsscale(i,j)分别表示像元(i,j)位置处的初始阴影掩模、建筑物边界掩模和原始像素尺寸阴影掩模。
在本申请的一个或多个实施例中，所述步骤F：对所述初始阴影掩模逐点检测掩模的有效性，剔除掩模中的误差点，快速生成高精度阴影掩模具体包括：
遍历初始阴影掩模Obsorg中的每一像元，当某一像元Obsorg值等于0则为所述误差点予以剔除，大于0则为有效点执行步骤C中的C1和C2，直到所有像元遍历完成，汇总生成所述高精度阴影掩模。
在本申请的一个或多个实施例中，所述步骤G：使用距离反比加权的方法在多个所述航测影像覆盖的整个测区内确定每一阴影斑块的最优与次优补偿纹理及其所在的影像具体包括：
G1：以任意一幅所述航测影像的投影中心平面坐标为原点，计算周围预设距离内栅格化离散点的距离，存储在全局权重查找表里，具体计算表达式为：
其中，Wglobal(i,j)表示在栅格化平面里位置(i,j)处的选取权重，D(i,j)表示位置(i,j)到G1中选取的坐标原点的平面欧几里得距离。其中，上述周围预设距离为半径为5000像元的圆。
G2：根据所述全局权重查找表快速生成每一幅所述航测影像的权值模板，具体计算表达式如下：
Wimg(i′,j′)＝Wglobal(i,j)
其中，
Wimg(i′,j′)表示当前影像坐标(i′,j′)处的权重，(i′,j′)表示当前影像对应的地理坐标范围内，地面坐标为(X,Y)位置计算出的影像坐标，(Xs,Ys)表示当前影像的投影中心物方平面坐标，gsd表示地面分辨率；G3：根据所在航测影像的权重大小确定每一阴影斑块的最优与次优补偿纹理以及其他重叠纹理。
在本申请的一个或多个实施例中，所述步骤H：中，调整最优与次优补偿纹理以及其他航测影像的重叠区域的补偿纹理混合比例，进行多尺度融合处理，实现阴影斑块的无缝拼合具体包括：
H1：调整最优与次优补偿纹理以及其他重叠区域的补偿纹理混合比例。
H2：补偿纹理按不同混合比例进行多尺度融合以及对所述阴影斑块边缘进行羽化；
H3：得到所述阴影斑块的无缝拼合影像。
如图2所示，本申请实施例还提供真正射影像阴影检测与补偿装置100，应用于无人机航测影像，包括：
构建模块11，用于构建地理空间坐标系oXYZ，构建数字表面模型影像金字塔；
建立模块12，用于为数字表面模型覆盖的三维空间建立四叉树空间索引；
计算及生成模块13，用于根据所述数字表面模型影像金字塔顶层和四叉树空间索引，逐像素计算所述航测影像每一像元位置的遮挡情况，生成粗尺度阴影掩模；
提取模块14，用于在所述数字表面模型影像金字塔底层提取建筑物几何边界掩模；
合并及生成模块15，用于在所述航测影像原始尺度上，将所述粗尺度阴影掩模与建筑物几何边界掩模进行合并，生成初始阴影掩模；
无效剔除及生成模块16，用于对所述初始阴影掩模逐点检测掩模的有效性，剔除掩模中的误差点，快速生成高精度阴影掩模；
确定模块17，用于使用距离反比加权的方法在多个所述航测影像覆盖的整个测区内确定每一阴影斑块的最优与次优补偿纹理及其所在的影像；
计算及融合模块18，用于循环选取每一幅所述航测影像，计算提取与该航测影像具有有效重叠区域的所有其他航测影像的所述高精度阴影掩模，并对重叠区域进行由大到小排序，针对每一幅影像的阴影掩模斑块，调整最优与次优补偿纹理以及其他航测影像的重叠区域的补偿纹理混合比例，进行多尺度融合处理，实现阴影斑块的无缝拼合。
需要说明的是，本申请装置实施例与方法实施例基于相同的发明构思，方法实施例的进一步技术特征也适用于装置实施例，在此不再详述。
本申请实施例的有益效果在于，相比现有技术，本申请实施例提供的真正射影像阴影检测与补偿装置，通过使用四叉树空间索引技术、影像金字塔技术、图像形态学技术、图像多尺度融合技术、距离反比加权技术、DSM建筑物边界提取技术等多种先进的技术手段与算法策略，经实践测试，处理效率较快，准确率较高，阴影补偿效果较好。
本申请实施例还提供非暂态计算机可读存储介质，所述非暂态计算机可读存储介质中存储有计算机指令，所述计算机指令适于处理器加载，以实现上述真正射影像阴影检测与补偿方法。
请参考图3，本发明的一实施例公开一种真正射影像阴影检测与补偿的电子装置，包括：至少一个处理器201、至少一个存储器202、至少一个输入装置203以及至少一个输出装置204。所述处理器201、存储器202、输入装置203以及输出装置204通过总线相连。所述电子装置用于实现上述任意一种真正射影像阴影检测与补偿方法。
当上述各个实施例中的技术方案使用到软件实现时，可以将实现上述各个实施例的计算机指令和/或数据存储在计算机可读介质中或作为可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存储的任何可用介质。以此为例但不限于此：计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外，任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光钎光缆、双绞线、数字用户线(DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定义中。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种真正射影像阴影检测与补偿方法，应用于无人机航测影像，其特征在于，包括如下步骤：
A：构建地理空间坐标系oXYZ，构建数字表面模型影像金字塔；
B：为数字表面模型覆盖的三维空间建立四叉树空间索引；
C：根据所述数字表面模型影像金字塔顶层和四叉树空间索引，逐像素计算所述航测影像每一像元位置的遮挡情况，生成粗尺度阴影掩模；
D：在所述数字表面模型影像金字塔底层提取建筑物几何边界掩模；
E：在所述航测影像原始像素尺度上，将所述粗尺度阴影掩模与建筑物几何边界掩模进行合并，生成初始阴影掩模；
F：对所述初始阴影掩模逐点检测掩模的有效性，剔除掩模中的误差点，快速生成高精度阴影掩模；
G：使用距离反比加权的方法在多个所述航测影像覆盖的整个测区内确定每一阴影斑块的最优与次优补偿纹理及其所在的影像；
H：循环选取每一幅所述航测影像，计算提取与该航测影像具有有效重叠区域的所有其他航测影像的所述高精度阴影掩模，并对重叠区域进行由大到小排序，针对每一幅影像的阴影掩模斑块，调整最优与次优补偿纹理以及其他航测影像的重叠区域的补偿纹理混合比例，进行多尺度融合处理，实现阴影斑块的无缝拼合。
2.根据权利要求1所述的真正射影像阴影检测与补偿方法，其特征在于，所述步骤B中，为数字表面模型覆盖的三维空间建立四叉树空间索引具体包括：
B1：计算当前影像的地理坐标范围R3D；
B2：所述当前影像对应的摄站点的平面坐标为投影中心，以所述投影中心和R3D内最低高程点组成的三维点为原点将R3D划分为四个子区域，并记录各子区域内的最大高程和最小高程；
B3：对所述四个子区域分别进行四等分，并记录各子区域的子区域内的最大高程和最小高程；
B4：迭代执行步骤B3，直到四叉树叶结点符合预设条件时，迭代终止。
3.根据权利要求2所述的真正射影像阴影检测与补偿方法，其特征在于，所述步骤C：根据所述数字表面模型影像金字塔顶层和四叉树空间索引，逐像素计算所述航测影像每一像元位置的遮挡情况，生成粗尺度阴影掩模具体包括：
C1：计算从所述当前影像像元位置到当前影像的投影中心的射线与所述四叉树叶结点代表的空间长方体先后交点P1(X1,Y1,Z1),P2(X2,Y2,Z2)，其中，所述当前影像像元位置为其对应的数字表面模型采样单元位置；
C2：将所述P1,P2确定的线段P1P2投影到所述数字表面模型上，并采样出P1P2线段投影线上的数字表面模型高程序列，若所述数字表面模型高程序列中的某一点的高程值大于所述线段P1P2中对应位置的Z值，则该点不可视，标记为阴影；
aX+bY+cZ+d＝0
其中，a～d为空间直线方程的四个系数，X，Y，Z为地理空间坐标系的oXYZ的三个坐标分量，设定X1＜X2，Y1＜Y2，则X∈[X1,X2]，Y∈[Y1,Y2]。
C3：重复执行步骤C1和C2，直到所述线段P1P2投影到所述数字表面模型上的所有点位都遍历完毕，将阴影代表的遮挡情况汇总生成粗尺度阴影掩模。
4.根据权利要求3所述的真正射影像阴影检测与补偿方法，其特征在于，所述步骤D：在所述数字表面模型影像金字塔底层提取建筑物几何边界掩模具体包括：
D1：对初始DSMorg执行形态学膨胀处理，得到膨胀后新的DSMdilate；
D2：将膨胀后新的DSMdilate与初始DSMorg作差分处理，得到差分DSMdiff，其计算表达式为；
DSMdiff(i,j)＝DSMdilate(i,j)-DSMorg(i,j)
其中，DSMdiff(i,j)，DSMdilate(i,j)，DSMorg(i,j)分别表示像元(i，j)位置处的高程差分、形态学膨胀后的高程与原始高程。
D3：根据差分DSMdiff得到建筑物近似边界，计算公式为：
其中，Border(i,j)表示像元(i，j)位置处的边界掩模。
5.根据权利要求4所述的真正射影像阴影检测与补偿方法，其特征在于，所述步骤E：在所述航测影像原始像素尺度上，将所述粗尺度阴影掩模与建筑物几何边界掩模进行合并，生成初始阴影掩模具体包括：
E1：将步骤C中生成的所述粗尺度阴影掩模放大到原始像素尺寸阴影掩模Obsscale；
E2：将所述原始像素尺寸阴影掩模Obsscale按如下公式与建筑物边界掩模Border进行合并处理，得到影像初始阴影掩模；
其中，Obsorg(i,j)，Border(i,j)，Obsscale(i,j)分别表示像元(i,j)位置处的初始阴影掩模、建筑物边界掩模和原始像素尺寸阴影掩模。
6.根据权利要求5所述的真正射影像阴影检测与补偿方法，其特征在于，所述步骤F：对所述初始阴影掩模逐点检测掩模的有效性，剔除掩模中的误差点，快速生成高精度阴影掩模具体包括：
遍历初始阴影掩模Obsorg中的每一像元，当某一像元Obsorg值等于0则为所述误差点予以剔除，大于0则为有效点执行步骤C中的C1和C2，直到所有像元遍历完成，汇总生成所述高精度阴影掩模。
7.根据权利要求6所述的真正射影像阴影检测与补偿方法，其特征在于，所述步骤G：使用距离反比加权的方法在多个所述航测影像覆盖的整个测区内确定每一阴影斑块的最优与次优补偿纹理及其所在的影像具体包括：
G1：以任意一幅所述航测影像的投影中心平面坐标为原点，计算周围预设距离内栅格化离散点的距离，存储在全局权重查找表里，具体计算表达式为：
其中，Wglobal(i,j)表示在栅格化平面里位置(i,j)处的选取权重，D(i,j)表示位置(i,j)到G1中选取的坐标原点的平面欧几里得距离。
G2：根据所述全局权重查找表快速生成每一幅所述航测影像的权值模板，具体计算表达式如下：
Wimg(i′,j′)＝Wglobal(i,j)
其中，
Wimg(i＇,j＇)表示当前影像坐标(i′,j′)处的权重，(i′,j′)表示当前影像对应的地理坐标范围内，地面坐标为(X,Y)位置计算出的影像坐标，(Xs,Ys)表示当前影像的投影中心物方平面坐标，gsd表示地面分辨率；
G3：根据所在航测影像的权重大小确定每一阴影斑块的最优与次优补偿纹理以及其他重叠纹理。
8.根据权利要求7所述的真正射影像阴影检测与补偿方法，其特征在于，所述步骤H：中，调整最优与次优补偿纹理以及其他航测影像的重叠区域的补偿纹理混合比例，进行多尺度融合处理，实现阴影斑块的无缝拼合具体包括：
H1：调整最优与次优补偿纹理以及其他重叠区域的补偿纹理混合比例。
H2：补偿纹理按不同混合比例进行多尺度融合以及对所述阴影斑块边缘进行羽化；
H3：得到所述阴影斑块的无缝拼合影像。
9.一种真正射影像阴影检测与补偿装置，应用于无人机航测影像，其特征在于，包括：
构建模块，用于构建地理空间坐标系oXYZ，构建数字表面模型影像金字塔；
建立模块，用于为数字表面模型覆盖的三维空间建立四叉树空间索引；
计算及生成模块，用于根据所述数字表面模型影像金字塔顶层和四叉树空间索引，逐像素计算所述航测影像每一像元位置的遮挡情况，生成粗尺度阴影掩模；
提取模块，用于在所述数字表面模型影像金字塔底层提取建筑物几何边界掩模；
合并及生成模块，用于在所述航测影像原始尺度上，将所述粗尺度阴影掩模与建筑物几何边界掩模进行合并，生成初始阴影掩模；
无效剔除及生成模块，用于对所述初始阴影掩模逐点检测掩模的有效性，剔除掩模中的误差点，快速生成高精度阴影掩模；
确定模块，用于使用距离反比加权的方法在多个所述航测影像覆盖的整个测区内确定每一阴影斑块的最优与次优补偿纹理及其所在的影像；
计算及融合模块，用于循环选取每一幅所述航测影像，计算提取与该航测影像具有有效重叠区域的所有其他航测影像的所述高精度阴影掩模，并对重叠区域进行由大到小排序，针对每一幅影像的阴影掩模斑块，调整最优与次优补偿纹理以及其他航测影像的重叠区域的补偿纹理混合比例，进行多尺度融合处理，实现阴影斑块的无缝拼合。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质中存储有计算机指令，所述计算机指令适于处理器加载，以实现权利要求1至8任意一项所述真正射影像阴影检测与补偿方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810268423.XA CN108629742B (zh) | 2018-03-29 | 2018-03-29 | 真正射影像阴影检测与补偿方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810268423.XA CN108629742B (zh) | 2018-03-29 | 2018-03-29 | 真正射影像阴影检测与补偿方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108629742A true CN108629742A (zh) | 2018-10-09 |
| CN108629742B CN108629742B (zh) | 2020-08-28 |
Family
ID=63696458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810268423.XA Active CN108629742B (zh) | 2018-03-29 | 2018-03-29 | 真正射影像阴影检测与补偿方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108629742B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992330A (zh) * | 2019-11-28 | 2020-04-10 | 桂林理工大学 | 人工阴影驱动下多层次整体松弛匹配的高分辨率正射影像阴影检测 |
| CN113139995A (zh) * | 2021-04-19 | 2021-07-20 | 杭州伯资企业管理合伙企业(有限合伙) | 一种低成本的物体间光线遮挡检测和评估方法 |
| CN114255173A (zh) * | 2020-09-24 | 2022-03-29 | 苏州科瓴精密机械科技有限公司 | 粗糙度补偿方法、系统、图像处理设备及可读存储介质 |
| CN114417489A (zh) * | 2022-03-30 | 2022-04-29 | 宝略科技(浙江)有限公司 | 一种基于实景三维模型的建筑基底轮廓精细化提取方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200840993A (en) * | 2007-04-04 | 2008-10-16 | Univ Nat Central | Ortho-rectification method of photogrammetry with high-spatial resolution |
| CN106875364A (zh) * | 2017-02-23 | 2017-06-20 | 深圳飞马机器人科技有限公司 | 一种真正射影像生成方法 |
-
2018
- 2018-03-29 CN CN201810268423.XA patent/CN108629742B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200840993A (en) * | 2007-04-04 | 2008-10-16 | Univ Nat Central | Ortho-rectification method of photogrammetry with high-spatial resolution |
| CN106875364A (zh) * | 2017-02-23 | 2017-06-20 | 深圳飞马机器人科技有限公司 | 一种真正射影像生成方法 |
Non-Patent Citations (2)
| Title |
|---|
| QIAN FANGMING,LIU WEI: "Research on the Occlusion Processing Method for True Orthophoto", 《2013 SEVENTH INTERNATIONAL CONFERENCE ON IMAGE AND GRAPHICS》 * |
| 谢文寒,周国清: "城市大比例尺真正射影像阴影与遮挡问题的研究", 《测绘学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992330A (zh) * | 2019-11-28 | 2020-04-10 | 桂林理工大学 | 人工阴影驱动下多层次整体松弛匹配的高分辨率正射影像阴影检测 |
| CN110992330B (zh) * | 2019-11-28 | 2021-05-25 | 桂林理工大学 | 人工阴影驱动下多层次整体松弛匹配的高分辨率正射影像阴影检测 |
| CN114255173A (zh) * | 2020-09-24 | 2022-03-29 | 苏州科瓴精密机械科技有限公司 | 粗糙度补偿方法、系统、图像处理设备及可读存储介质 |
| CN113139995A (zh) * | 2021-04-19 | 2021-07-20 | 杭州伯资企业管理合伙企业(有限合伙) | 一种低成本的物体间光线遮挡检测和评估方法 |
| CN113139995B (zh) * | 2021-04-19 | 2022-06-21 | 杭州伯资企业管理合伙企业(有限合伙) | 一种低成本的物体间光线遮挡检测和评估方法 |
| CN114417489A (zh) * | 2022-03-30 | 2022-04-29 | 宝略科技(浙江)有限公司 | 一种基于实景三维模型的建筑基底轮廓精细化提取方法 |
| CN114417489B (zh) * | 2022-03-30 | 2022-07-19 | 宝略科技(浙江)有限公司 | 一种基于实景三维模型的建筑基底轮廓精细化提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108629742B (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109711288B (zh) | 基于特征金字塔和距离约束fcn的遥感船舶检测方法 | |
| CN104156536B (zh) | 一种盾构机刀具磨损的可视化定量标定及分析方法 | |
| CN108629742A (zh) | 真正射影像阴影检测与补偿方法、装置及存储介质 | |
| KR101347260B1 (ko) | 촬영이미지별 수치데이터 합성을 처리하는 영상도화이미지 제작시스템 | |
| Piermattei et al. | Suitability of ground-based SfM–MVS for monitoring glacial and periglacial processes | |
| CN106127791B (zh) | 一种航空遥感影像的建筑物轮廓线提取方法 | |
| WO2018061010A1 (en) | Point cloud transforming in large-scale urban modelling | |
| KR101347248B1 (ko) | 수치지도 수정제작 정확도 확보를 위한 기준점 조정 및 gps 정보 기반을 활용한 영상도화 처리시스템 | |
| CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
| CN111091502B (zh) | 遥感影像的匀色方法及系统、存储介质、电子设备 | |
| US8577139B2 (en) | Method of orthoimage color correction using multiple aerial images | |
| CN111047695A (zh) | 一种城市群高度空间信息及等高线的提取方法 | |
| CN105825543B (zh) | 基于低空遥感影像的多视密集点云生成方法及系统 | |
| CN107369204B (zh) | 一种从单幅照片恢复出场景基本三维结构的方法 | |
| CN107170037A (zh) | 一种基于多摄像机的实时三维点云重建方法和系统 | |
| CN111915662A (zh) | 一种三维激光点云数据预处理方法和装置 | |
| CN107170000B (zh) | 基于全局块优化的立体影像密集匹配方法 | |
| CN105466399B (zh) | 快速半全局密集匹配方法和装置 | |
| CN106952262B (zh) | 一种基于立体视觉的船板加工精度分析方法 | |
| CN111047698B (zh) | 一种真正射影像采集方法 | |
| CN104966281A (zh) | 多视影像的imu/gnss引导匹配方法 | |
| CN112465849B (zh) | 一种无人机激光点云与序列影像的配准方法 | |
| CN114792327B (zh) | 图像处理方法及系统 | |
| CN108021857B (zh) | 基于无人机航拍图像序列深度恢复的建筑物检测方法 | |
| CN112946679A (zh) | 一种基于人工智能的无人机测绘果冻效应检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Shadow detection and compensation method, device and storage medium for true projective image Effective date of registration: 20210609 Granted publication date: 20200828 Pledgee: Shenzhen hi tech investment small loan Co.,Ltd. Pledgor: SHENZHEN FEIMA ROBOTICS Co.,Ltd. Registration number: Y2021980004561 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20221121 Granted publication date: 20200828 Pledgee: Shenzhen hi tech investment small loan Co.,Ltd. Pledgor: SHENZHEN FEIMA ROBOTICS Co.,Ltd. Registration number: Y2021980004561 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| CP03 | Change of name, title or address |
Address after: 518000, 1st Floor, 16th Building, Zhiheng Industrial Park, Nantou Street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: Shenzhen Pegasus Robotics Co.,Ltd. Address before: 518000, 1st Floor, 16th Building, Zhiheng Industrial Park, Nantou Street, Nanshan District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN FEIMA ROBOTICS Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 518000, 13th Floor, Building A4, Nanshan Zhiyuan, No. 1001 Xueyuan Avenue, Changyuan Community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province Patentee after: Shenzhen Pegasus Robotics Co.,Ltd. Address before: 518000, 1st Floor, 16th Building, Zhiheng Industrial Park, Nantou Street, Nanshan District, Shenzhen City, Guangdong Province Patentee before: Shenzhen Pegasus Robotics Co.,Ltd. |
|
| CP03 | Change of name, title or address |