CN115526795A - 一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法 - Google Patents

一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法 Download PDF

Info

Publication number
CN115526795A
CN115526795A CN202211162907.9A CN202211162907A CN115526795A CN 115526795 A CN115526795 A CN 115526795A CN 202211162907 A CN202211162907 A CN 202211162907A CN 115526795 A CN115526795 A CN 115526795A
Authority
CN
China
Prior art keywords
shadow
region
homogeneous
sub
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211162907.9A
Other languages
English (en)
Inventor
杨风暴
刘晓霞
高敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Original Assignee
North University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China filed Critical North University of China
Priority to CN202211162907.9A priority Critical patent/CN115526795A/zh
Publication of CN115526795A publication Critical patent/CN115526795A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及无人机遥感图像的阴影补偿技术，具体为一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法。通过Mean‑shift算法进行同质子区域分割，得到同质子区域集合；建立参考区域搜索与匹配模型，对无人机图像分割后的同质子区域进行搜索与匹配；通过权重设置，构造基于保持细节的局部颜色迁移，利用匹配组合中参考区域信息对该阴影子区域进行本影补偿，对半影区域进行逐像元宽度补偿。本发明克服已有方法无法同时兼顾颜色与纹理补偿导致阴影区域颜色失真、纹理模糊的缺陷。在保证不干扰图像非阴影区域特征信息的前提下，准确恢复了阴影区域的颜色和纹理信息，并有效消除阴影边界效应。本发明方法主要用于（但不限于）遥感图像阴影区域信息补偿。

Description

一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法
技术领域
本发明涉及无人机遥感图像的阴影补偿技术，具体为一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法。
背景技术
随着无人机低空遥感技术的广泛应用，其图像的有效利用问题得到了研究者的普遍关注。无人机图像中的阴影极大地影响了后续图像处理工作中涉及到的图像匹配精确度、 DOM产品质量和图像解译准确度，导致图像不能被有效的利用。为了恢复阴影区域丢失的信息，阴影补偿是无人机遥感图像判读中必不可少的预处理步骤。目前阴影补偿方法因无法同时兼顾颜色与纹理补偿，在处理地物种类繁多、空间细节复杂的无人机图像阴影方面仍然是一项具有挑战性的任务。因此，如何准确地补偿无人机图像阴影区域信息，精确恢复其颜色和纹理信息具有重要意义。
阴影区域是图像中信息被遮挡的部分，非阴影区域的信息是阴影区域信息恢复的主要来源，如何利用非阴影区域的信息补偿阴影区域信息是阴影补偿的关键。传统方法如通过膨胀处理找到每个阴影区域附近的同质非阴影区域，采用映射策略对阴影区域的HIS波段的灰度值进行补偿，该方法的补偿结果能一定程度改善阴影的清晰度，但补偿后的结果颜色与真实地物存在较大差异。利用相同材料反射率相同更新直环比的阴影补偿算法，补偿结果与匹配精度有关，在处理纹理单一的近景影像效果较好，而无人机影像的地物复杂，匹配难度较大，造成纹理模糊。利用非阴影区域均值与方差，对阴影区域逐像素进行线性拉伸得到补偿结果，该方法利用阴影概率图进行加权补偿处理，能量优化算法能够去除影像噪声与边缘效应，补偿后结果较好，但补偿后影像的地物差异性不够理想，依然具有过度补偿现象。总之，现有方法可以为简单图像生成高质量的无阴影结果，但对具有繁杂阴影的无人机图像，由于阴影的亮度较低且与非阴影难以准确匹配，导致阴影区域过度补偿，其结果往往与非阴影区域不一致。
综上所述，现有无人机影像阴影补偿方法无法同时兼顾颜色与纹理补偿，其侧重纹理信息的恢复，但往往容易过渡补偿，导致阴影区域颜色失真；而保证不丢失颜色信息的情况下，又容易造成纹理模糊。因此，对于地物种类繁多、空间细节复杂的无人机图像，还需寻求一种既不丢失纹理信息，又准确地补偿图像阴影区域颜色信息的新方法。
发明内容
本发明的核心思想是定义一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法，通过构建同质子区域搜索与匹配模型，利用同质子区域中非阴影地物的信息来对应匹配并恢复该阴影地物缺失的信息；兼顾图像本身的纹理信息，通过权重设置，构造基于保持细节的局部颜色迁移；采用本影与半影分离补偿的策略，一种基于子区域匹配组合的颜色迁移算法用于本影区域补偿，一种逐像元宽度颜色迁移算法用于半影区域补偿。通过分析无人机遥感影像的光谱、细节等特点，提出一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法，使得阴影区域与周围非阴影区域色彩、纹理具有一致性。
本发明是采用如下的技术方案实现的：一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法，包括以下步骤：
S1：基于Mean-shift算法的同质子区域分割；利用激光雷达的强度信息和高程信息，对无人机图像进行同质区域提取，在同质区域的基础上采用Mean-shift算法进行同质子区域分割；
S2：建立参考区域搜索与匹配模型对同质子区域进行搜索与匹配；采用协方差矩阵提取同质阴影区域和同质非阴影区域中每个子区域的纹理特征，为同质阴影区域中的每个子区域在同质非阴影区域中搜索特征最相似的n个子区域作为候选匹配区域；对于同质阴影区域中的每个子区域，计算和其候选匹配区域的空间距离，按距离找到m个最佳匹配子区域，并获得子区域匹配组合；
S3：基于保持细节的局部颜色迁移的阴影区域补偿；对阴影边界处样本强度进行统计分析，提取半影掩膜和本影掩膜，兼顾图像本身的纹理信息，通过权重设置，构造基于保持细节的局部颜色迁移，利用S2中的子区域匹配组合中参考区域信息对该阴影子区域进行本影补偿，对半影区域进行逐像元宽度阴影补偿。
上述的一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法，步骤S2具体包括以下步骤：
S21：设S＝{S1，S2，…，SM}和U＝{U1，U2，…，UN}分别为同质阴影区域和同质非阴影区域内的子区域集，M是S中的子区域数，N是U中的子区域数；采用协方差矩阵提取S和U 的每个同质子区域的纹理特征，对于任意同质子区域，其特征向量f(C)表示为：
Figure BDA0003860375700000021
其中C为协方差矩阵，C＝LLT，Li为矩阵L中的第i列数据；
S22：通过对特征向量f(C)进行比较，为阴影同质子区域Si在U中搜索特征最相似的 n个非阴影同质子区域作为候选匹配区域；
S23：根据空间距离公式计算阴影同质子区域Si和其候选匹配区域的空间距离；
S24：按空间距离递增顺序对候选匹配区域进行排序，选取前m(m≤n)个候选匹配区域为Si最佳匹配子区域，即阴影同质子区域Si阴影补偿的参考区域，并将此区域匹配组合记作{Si，ri，1，ri，2，…，ri，m}。
上述的一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法，步骤S3具体包括以下步骤：
S31：对图像I阴影边界处样本强度进行统计分析，确定半影宽度D，将阴影掩膜向本影方向腐蚀2/3D个像元，得到本影掩膜；将阴影掩膜向非阴影方向膨胀1/3D个像元后，减去本影掩膜，获取半影掩膜；并将包含W个同质区域的图像I转换到lαβ颜色空间；
S32：取图像I中一个同质阴影区域Sf，f∈{1，2，…，W}，计算其所有同质阴影子区域匹配组合{Si，ri，1，ri，2，...，ri，m}，i∈{1，2，…，M}；取第i个阴影同质子区域Si，计算其在q波段的均值和标准差，分别为
Figure BDA0003860375700000031
q∈{l，α，β}；对于第i个阴影同质子区域Si的最佳匹配子区域ri，1，ri，2，...，ri，m，计算其在q波段的均值和标准差，分别为
Figure BDA0003860375700000032
Figure BDA0003860375700000033
q∈{l，α，β}；
S33：将邻近半影区域1/2D个像元宽度的同质非阴影区域作为颜色迁移的参考样本，对于半影区域Pf中第k个单像素宽度半影区域Pk，k∈{1，2，…，D}，计算其在q波段的均值和标准差，分别为
Figure BDA0003860375700000034
q∈{l，α，β}；并计算其对应的参考样本Rk在q波段的均值与方差，分别为
Figure BDA0003860375700000035
q∈{l，α，β}；
S34：对同质阴影子区域Si在q波段执行颜色迁移得
Figure BDA0003860375700000036
有
Figure BDA0003860375700000037
对第k个单像素宽度半影区域Pk在q波段执行颜色迁移得
Figure BDA0003860375700000038
有
Figure BDA0003860375700000041
S35：重复以上步骤，直到i＝M，同质阴影区域Sf中所有同质阴影子区域Si中本影颜色迁移完成，有
Figure BDA0003860375700000042
直到k＝D，半影区域Pf中所有单像素宽度半影区域颜色迁移完成，有
Figure BDA0003860375700000043
直到f＝W，图像I所有同质阴影区域中本影区域颜色迁移完成，有
Figure BDA0003860375700000044
图像I所有同质区域中半影区域颜色迁移完成，有
Figure BDA0003860375700000045
Figure BDA0003860375700000046
为lαβ颜色空间阴影区域颜色迁移后的数据；
S36：将lαβ颜色空间数据转换到RGB颜色空间得到
Figure BDA0003860375700000047
p∈{R，G，B}；合成RGB图像Ufree，
Figure BDA0003860375700000048
阴影补偿完成。
上述的一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法，阴影同质子区域Si和非阴影同质子区域Uj之间的空间距离ds(i，j)定义为：
Figure BDA0003860375700000049
其中
Figure BDA00038603757000000410
和
Figure BDA00038603757000000411
分别表示Si中所有像素的 x坐标和y坐标的平均值；同样，
Figure BDA00038603757000000412
和
Figure BDA00038603757000000413
分别表示Uj中所有像素的x坐标和y坐标的平均值。
本发明与现有技术相比具有以下优点：
1.基于同质子区域的纹理特征与空间距离特征，建立参考区域搜索与匹配模型，为阴影子区域匹配对应的非阴影子区域，保证了匹配的准确性。
2.在进行颜色迁移时，兼顾图像本身的纹理信息，通过权重设置，实现了保持细节的颜色迁移。其颜色迁移结果更为自然，在无人机影像阴影区域颜色与纹理信息恢复方面具有显著优势，有效提高了阴影补偿后图像的质量。
3.采用本影与半影分离补偿的策略，基于保持细节的局部颜色迁移，在本影区域对子区域匹配组合进行阴影补偿，在半影区域采用逐像元宽度阴影补偿。补偿后阴影边界过渡自然，颜色和纹理信息得到了有效恢复，实现了阴影区域的准确补偿。
附图说明
图1为本发明的流程图。
图2为无人机RGB图像：(a)区域1，(b)区域2，(c)区域3，(d)区域4。
图3为阴影掩膜数据：(a)区域1，(b)区域2，(c)区域3，(d)区域4。
图4为本发明方法与其余三种方法在区域1、2、3、4阴影补偿所得结果图：(a)光照转移法，(b)局部颜色迁移法，(c)颜色与纹理均衡补偿法，(d)本文方法。
图5为图4补偿结果局部放大图。
图6为参数ε1在四个测试区域的灵敏性分析：(a)区域1，(b)区域2，(c)区域3， (d)区域4。
具体实施方式
一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法，包括以下步骤：
S1：基于Mean-shift算法的同质子区域分割；统计每个图像区域的激光雷达强度(IN) 和高程特征(EL)，利用激光雷达强度和高程特征，定义代表典型地物的强度范围和高程范围；然后，基于强度范围和高程范围，满足IN∩EL这一条件的像素组成的区域划分为同质区域(包括同质阴影区域和同质非阴影区域)；最后，采用Mean-shift算法进行同质子区域分割，将分割后的对象作为最小处理单元。其中，Mean-shift使用中，本发明设置分割空间半径为9，分割特征空间半径为15，最小分割面积为100。
S2：建立参考区域搜索与匹配模型对同质子区域进行搜索与匹配；采用协方差矩阵提取同质阴影区域和同质非阴影区域中每个同质子区域的纹理特征，搜索特征最相似的n个子区域作为候选匹配区域。对于阴影区域中的每个子区域，计算两个子区域的空间距离，在非阴影区域中找到m个最佳匹配子区域，并获得子区域匹配组合。具体步骤包括：
S21：设S＝{S1，S2，…，SM}和U＝{U1，U2，…，UN}分别为同质阴影区域和同质非阴影区域内的子区域集。M是S中的子区域数，N是U中的子区域数。采用协方差矩阵提取S和U 的每个同质子区域的纹理特征。对于任意同质子区域，其特征向量f(C)表示为：
Figure BDA0003860375700000051
其中C为一个6×6协方差矩阵，C＝LLT，Li为下三角矩阵L中的第i列数据。
S22：通过对特征向量f(C)进行比较，为阴影同质子区域Si在U中搜索特征最相似的 n个非阴影同质子区域作为候选匹配区域。为了保证匹配过程的精确性与高效性，设置n＝5。
S23：阴影同质子区域Si和非阴影同质子区域Uj之间的空间距离ds(i，j)定义为：
Figure BDA0003860375700000052
其中
Figure BDA0003860375700000053
和
Figure BDA0003860375700000054
分别表示Si中所有像素的 x坐标和y坐标的平均值；同样，
Figure BDA0003860375700000055
和
Figure BDA0003860375700000056
分别表示Uj中所有像素的x坐标和y坐标的平均值，根据空间距离公式计算阴影同质子区域Si和其候选匹配区域的空间距离。
S24：然后，执行子区域匹配过程，对于同质阴影区域中的每个同质阴影子区域，按距离递增顺序对候选匹配区域进行排序，选取前m(m≤n)个候选匹配区域为Si最佳匹配子区域，即阴影同质子区域Si阴影补偿的参考区域，并将此区域匹配组合记作 {Si，ri，1，ri，2，…，ri，m}，设置m＝3。
S3：基于保持细节的局部颜色迁移的阴影区域补偿；对阴影边界处样本强度进行统计分析，提取半影掩膜和本影掩膜。兼顾图像本身的纹理信息，通过权重设置，构造基于保持细节的局部颜色迁移，利用S2中的匹配组合中参考区域信息对该阴影子区域进行本影补偿，对半影区域进行逐像元宽度阴影补偿。具体步骤包括：
S31：对图像I阴影边界处样本强度进行统计分析，确定半影宽度D，将阴影掩膜向本影方向腐蚀2/3D个像元，得到本影掩膜；将阴影掩膜向非阴影方向膨胀1/3D个像元后，减去本影掩膜，获取半影掩膜；并将包含W个同质区域的图像I转换到lαβ颜色空间。
S32：取图像I中一个同质阴影区域Sf，f∈{1，2，…，W}，计算其所有同质阴影子区域匹配组合{Si，ri，1，ri，2，ri，3}，i∈{1，2，…，M}；取第i个阴影同质子区域Si，计算其在q波段的均值和标准差，分别为
Figure BDA0003860375700000061
q∈{l，α，β}；对于第i个阴影同质子区域Si的最佳匹配子区域ri，1，ri，2，ri，3，计算其在q波段的均值和标准差，分别为
Figure BDA0003860375700000062
q∈{l，α，β}；
S33：将邻近半影区域1/2D个像元宽度的同质非阴影区域作为颜色迁移的参考样本，对于半影区域Pf中第k(k∈{1，2，…，D})个单像素宽度半影区域Pk，计算其在q波段的均值和标准差，分别为
Figure BDA0003860375700000063
q∈{l，α，β}；并计算其对应的参考样本Rk在q波段的均值与方差，分别为
Figure BDA0003860375700000064
q∈{l，α，β}；
S34：同时兼顾梯度和标准差，在颜色迁移中引入关键参数ε1和ε2，ε1，ε2∈[0，1]且ε1+ε2＝1，通过线性插值来获得缩放权重，最终选择的缩放比例在1和局部标准差比值之间。得到纹理保持的局部颜色迁移形式如下：
Figure BDA0003860375700000065
式中，
Figure BDA0003860375700000071
和
Figure BDA0003860375700000072
分别为目标图像和参考图像在X通道的标准差，
Figure BDA0003860375700000073
和
Figure BDA0003860375700000074
分别为目标图像和参考图像在X通道的均值，X*为目标图像Xt在X通道等距迁移后的值，其中 X∈{l，α，β}°
对同质阴影子区域Si在q波段执行颜色迁移得
Figure BDA0003860375700000075
有
Figure BDA0003860375700000076
Figure BDA0003860375700000077
Figure BDA0003860375700000078
对第k(k∈{1，2，…，D})个单像素宽度半影区域Pk在q波段执行颜色迁移得
Figure BDA0003860375700000079
有
Figure BDA00038603757000000710
设置ε1＝0.8，ε2＝0.2。
S35：重复以上步骤，直到i＝M，同质阴影区域Sf中所有同质阴影子区域Si中本影颜色迁移完成，有
Figure BDA00038603757000000711
直到k＝D，半影区域Pf中所有单像素宽度半影区域颜色迁移完成，有
Figure BDA00038603757000000712
直到f＝W，图像I所有同质阴影区域中本影区域颜色迁移完成，有
Figure BDA00038603757000000713
图像I所有同质区域中半影区域颜色迁移完成，有
Figure BDA00038603757000000714
Figure BDA00038603757000000715
为lαβ颜色空间阴影区域颜色迁移后的数据；
S36：将lαβ颜色空间数据转换到RGB颜色空间得到
Figure BDA00038603757000000716
p∈{R，G，B}；合成RGB 图像Ufree，
Figure BDA00038603757000000717
阴影补偿完成。
具体实施时，以2幅包含建筑、植被、车辆、沥青道路等的典型城区地物的无人机图像和2幅呈现不规则、碎片化阴影的农田作物无人机图像为例，航摄地点的经纬度为东经112°43′、北纬38°27′。所选用设备为的大疆“精灵PHANTOM 4RTK”无人机，配备1英寸CMOS、有效像素2000万的相机，飞行高度为85米，其地面采样距离(GSD) 为2.51厘米。
本发明使用色差、阴影标准差指数、梯度相似性作为评价指标，如下表所示。
Figure BDA0003860375700000081
将本发明方法与目前最常用的无人机影像阴影补偿算法同时对4个测试区域进行了阴影补偿，其结果如附图所示，其中图4为本发明阴影补偿方法与其余三种方法在区域1、2、3、 4阴影补偿所得结果图。图5为图4恢复结果局部放大图。下表为本发明与其余三种方法实验结果指标对比：
Figure BDA0003860375700000082
Figure BDA0003860375700000083
Figure BDA0003860375700000084
Figure BDA0003860375700000091
本发明在四组实验区域中平均色差值为1.109，光照转移法、局部颜色迁移法和颜色与纹理均衡补偿法的平均CD值分别低3.784、2.839和0.778，表现为对色差感觉很小。平均SSDI 值为7.338，较光照转移法、局部颜色迁移法和颜色与纹理均衡补偿法的平均SSDI值分别低 12.525、9.648和8.149，说明本发明纹理细节信息恢复良好。平均GS值为0.836，较光照转移法、局部颜色迁移法和颜色与纹理均衡补偿法的平均阴影边界梯度相似值高0.328、0.299 和0.102，有效的降低了阴影边界效应。综上所述，该发明准确补偿了阴影区域的颜色和纹理信息，并且阴影边界也得到了有效恢复，可获得视觉上更自然的无阴影图像。
由于参数的灵敏度设置，本发明通过调整参数ε1的值来分析局部标准差比值因子ε1对阴影补偿性能的影响。选取均方根误差(RMSE)作为阴影补偿精度的误差度量，RMSE值与局部标准差比值因子ε1之间的关系如图6所示。可以看到RMSE曲线在四幅图像呈现几乎相同的趋势，ε1取0.8到0.9时，RMSE值最小，阴影补偿效果最优。
以上所述，仅为本发明中的具体实施方式，但本文发明的保护范围并不局限于此，认识熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法，其特征在于：包括以下步骤：
S1：基于Mean-shift算法的同质子区域分割；利用激光雷达的强度信息和高程信息，对无人机图像进行同质区域提取，在同质区域的基础上采用Mean-shift算法进行同质子区域分割；
S2：建立参考区域搜索与匹配模型对同质子区域进行搜索与匹配；采用协方差矩阵提取同质阴影区域和同质非阴影区域中每个子区域的纹理特征，为同质阴影区域中的每个子区域在同质非阴影区域中搜索特征最相似的n个子区域作为候选匹配区域；对于同质阴影区域中的每个子区域，计算和其候选匹配区域的空间距离，按距离找到m个最佳匹配子区域，并获得子区域匹配组合；
S3：基于保持细节的局部颜色迁移的阴影区域补偿；对阴影边界处样本强度进行统计分析，提取半影掩膜和本影掩膜，兼顾图像本身的纹理信息，通过权重设置，构造基于保持细节的局部颜色迁移，利用S2中的子区域匹配组合中参考区域信息对该阴影子区域进行本影补偿，对半影区域进行逐像元宽度阴影补偿。
2.根据权利要求1所述的一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法，其特征在于：步骤S2具体包括以下步骤：
S21：设S＝{S1，S2，…，SM}和U＝{U1，U2，…，UN}分别为同质阴影区域和同质非阴影区域内的子区域集，M是S中的子区域数，N是U中的子区域数；采用协方差矩阵提取S和U的每个同质子区域的纹理特征，对于任意同质子区域，其特征向量f(C)表示为：
Figure FDA0003860375690000011
其中C为协方差矩阵，C＝LLT，Li为矩阵L中的第i列数据；
S22：通过对特征向量f(C)进行比较，为阴影同质子区域Si在U中搜索特征最相似的n个非阴影同质子区域作为候选匹配区域；
S23：根据空间距离公式计算阴影同质子区域Si和其候选匹配区域的空间距离；
S24：按空间距离递增顺序对候选匹配区域进行排序，选取前m(m≤n)个候选匹配区域为Si最佳匹配子区域，即阴影同质子区域Si阴影补偿的参考区域，并将此区域匹配组合记作{Si，ri，1，ri，2，…，ri，m}。
3.根据权利要求2所述的一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法，其特征在于：步骤S3具体包括以下步骤：
S31：对图像I阴影边界处样本强度进行统计分析，确定半影宽度D，将阴影掩膜向本影方向腐蚀2/3D个像元，得到本影掩膜；将阴影掩膜向非阴影方向膨胀1/3D个像元后，减去本影掩膜，获取半影掩膜；并将包含W个同质区域的图像I转换到lαβ颜色空间；
S32：取图像I中一个同质阴影区域Sf，f∈{1，2，…，W}，计算其所有同质阴影子区域匹配组合{Si，ri，1，ri，2，...，ri，m}，i∈{1，2，…，M}；取第i个阴影同质子区域Si，计算其在q波段的均值和标准差，分别为
Figure FDA0003860375690000021
q∈{l，α，β}；对于第i个阴影同质子区域Si的最佳匹配子区域ri，1，ri，2，...，ri，m，计算其在q波段的均值和标准差，分别为
Figure FDA0003860375690000022
q∈{l，α，β}；
S33：将邻近半影区域1/2D个像元宽度的同质非阴影区域作为颜色迁移的参考样本，对于半影区域Pf中第k个单像素宽度半影区域Pk，k∈{1，2，…，D}，计算其在q波段的均值和标准差，分别为
Figure FDA0003860375690000023
并计算其对应的参考样本Rk在q波段的均值与方差，分别为
Figure FDA0003860375690000024
q∈{l，α，β}；
S34：对同质阴影子区域Si在q波段执行颜色迁移得
Figure FDA0003860375690000025
有
Figure FDA0003860375690000026
Figure FDA0003860375690000027
对第k个单像素宽度半影区域Pk在q波段执行颜色迁移得
Figure FDA0003860375690000028
有
Figure FDA0003860375690000029
S35：重复以上步骤，直到i＝M，同质阴影区域Sf中所有同质阴影子区域Si中本影颜色迁移完成，有
Figure FDA00038603756900000210
直到k＝D，半影区域Pf中所有单像素宽度半影区域颜色迁移完成，有
Figure FDA00038603756900000211
直到f＝W，图像I所有同质阴影区域中本影区域颜色迁移完成，有
Figure FDA00038603756900000212
图像I所有同质区域中半影区域颜色迁移完成，有
Figure FDA0003860375690000031
Figure FDA0003860375690000032
为lαβ颜色空间阴影区域颜色迁移后的数据；
S36：将lαβ颜色空间数据转换到RGB颜色空间得到
Figure FDA0003860375690000033
p∈{R，G，B}；合成RGB图像Ufree，
Figure FDA0003860375690000034
阴影补偿完成。
4.根据权利要求2或3所述的一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法，其特征在于：阴影同质子区域Si和非阴影同质子区域Uj之间的空间距离ds(i，j)定义为：
Figure FDA0003860375690000035
其中
Figure FDA0003860375690000036
和
Figure FDA0003860375690000037
分别表示Si中所有像素的x坐标和y坐标的平均值；同样，
Figure FDA0003860375690000038
和
Figure FDA0003860375690000039
分别表示Uj中所有像素的x坐标和y坐标的平均值。
CN202211162907.9A 2022-09-23 2022-09-23 一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法 Pending CN115526795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211162907.9A CN115526795A (zh) 2022-09-23 2022-09-23 一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211162907.9A CN115526795A (zh) 2022-09-23 2022-09-23 一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法

Publications (1)

Publication Number Publication Date
CN115526795A true CN115526795A (zh) 2022-12-27

Family

ID=84699754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211162907.9A Pending CN115526795A (zh) 2022-09-23 2022-09-23 一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法

Country Status (1)

Country Link
CN (1) CN115526795A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524364A (zh) * 2023-06-25 2023-08-01 苏州市中地行信息技术有限公司 基于特征识别的异构多源数据处理系统与方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524364A (zh) * 2023-06-25 2023-08-01 苏州市中地行信息技术有限公司 基于特征识别的异构多源数据处理系统与方法
CN116524364B (zh) * 2023-06-25 2023-09-26 苏州市中地行信息技术有限公司 基于特征识别的异构多源数据处理系统与方法

Similar Documents

Publication Publication Date Title
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN109146889B (zh) 一种基于高分辨率遥感图像的农田边界提取方法
CN108428220B (zh) 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法
CN107067405B (zh) 基于尺度优选的遥感影像分割方法
CN111079556A (zh) 一种多时相无人机视频图像变化区域检测及分类方法
CN111047695B (zh) 一种城市群高度空间信息及等高线的提取方法
US20230094679A1 (en) Satellite Image Sequence Cloud Region Repairing Method and Apparatus
CN106846322B (zh) 基于曲线波滤波器和卷积结构学习的sar图像分割方法
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN110598564B (zh) 基于OpenStreetMap的高空间分辨率遥感影像迁移学习分类方法
CN111008664B (zh) 一种基于空谱联合特征的高光谱海冰检测方法
CN110245566B (zh) 一种基于背景特征的红外目标远距离追踪方法
CN111104850B (zh) 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN109829426B (zh) 基于高分遥感影像的铁路建设临时建筑监测方法及系统
KR101941043B1 (ko) 고화질 항공 이미지에서의 물체 검출 방법
CN112419196B (zh) 一种基于深度学习的无人机遥感影像阴影去除方法
CN111414954A (zh) 一种岩石图像检索方法及其系统
Poterek et al. Deep learning for automatic colorization of legacy grayscale aerial photographs
CN110070545A (zh) 一种城镇纹理特征密度自动提取城镇建成区的方法
CN115526795A (zh) 一种基于区域匹配和颜色迁移的无人机图像阴影补偿方法
CN115908924A (zh) 一种基于多分类器的小样本高光谱图像语义分割方法及系统
He et al. Object-based distinction between building shadow and water in high-resolution imagery using fuzzy-rule classification and artificial bee colony optimization
CN107292268A (zh) 快速脊波反卷积结构学习模型的sar图像语义分割方法
Huang et al. Multi-feature combined for building shadow detection in GF-2 Images
CN112883823A (zh) 一种基于多源遥感数据融合的土地覆盖类别亚像素定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination