CN113537154A - 无人机建筑航拍图神经网络自动校色方法 - Google Patents

无人机建筑航拍图神经网络自动校色方法 Download PDF

Info

Publication number
CN113537154A
CN113537154A CN202110965319.8A CN202110965319A CN113537154A CN 113537154 A CN113537154 A CN 113537154A CN 202110965319 A CN202110965319 A CN 202110965319A CN 113537154 A CN113537154 A CN 113537154A
Authority
CN
China
Prior art keywords
image
building
color
neural network
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110965319.8A
Other languages
English (en)
Other versions
CN113537154B (zh
Inventor
李如诗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Art
Original Assignee
China Academy of Art
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Art filed Critical China Academy of Art
Priority to CN202110965319.8A priority Critical patent/CN113537154B/zh
Publication of CN113537154A publication Critical patent/CN113537154A/zh
Application granted granted Critical
Publication of CN113537154B publication Critical patent/CN113537154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种无人机建筑航拍图神经网络自动校色方法。该方法包括：使用无人机多次拍摄建筑物及标准色环得到待校色图像集，并对图像进行光照补偿处理；使用DETR神经网络对待校色图像集中的图像作图像分割处理，分割出建筑物区域，并通过降采样算法和聚类算法提取建筑物主色调；识别待校色图像中标准色环的轮廓，并提取标准色环上与建筑物主色调对应的色彩真值；训练阶段将建筑物主色调作为训练数据，对应的标准色环色彩真值作为训练标签，制作校色数据集，训练并得到卷积校色神经网络模型；推理阶段对待校色图像进行光照补偿，使用DETR神经网络分割出建筑物区域，使用卷积校色神经网络模型对建筑物区域进行校色，得到校色后的无人机建筑航拍图。

Description

无人机建筑航拍图神经网络自动校色方法
技术领域
本发明涉及无人机对建筑物的镜头成像的色彩校正领域，是针对无人机在不同光照、环境下拍摄的建筑物照片，进行色彩还原和矫正的方法。
背景技术
因无人机具有高空拍摄、操作简单、价格实惠、携带方便等特点，已成为城市规划、建筑设计、景观设计等行业的重要测绘工具。通过无人机，设计师能够准确掌握并获取城市的地形、地貌、建筑等三维数据，方便后续的现状分析和方案设计。
在城市建筑色彩设计领域，除了需要获取城市建筑的三维数据外，还需要得到城市建筑的色彩数据。在城市尺度下，无人机的大规模、大批量拍摄模式，可让数据采集的效率大大提高。然而，无人机因飞行高度、天气情况、成像模式等因素，使得镜头拍摄的色彩与实际物体的色彩，存在较大差值。对于需要精准色彩数值的城市建筑色彩专业来说，当下的无人机获得的色彩数据，还无法被采用。
所以，如何对无人机拍摄的建筑照片进行色彩校正，在各种天气、环境下飞行，都能获取准确、可靠的色彩数据，是当下需要解决的重要问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本发明提供一种无人机建筑航拍图神经网络自动校色方法。通过设计由光线补偿、图像分割、色彩真值自动提取、卷积校色神经网络组成的校色算法，在减少环境光线变化带来的噪声的同时，可以自动、批量化地提取建筑物主色调和其对应的标准色环真值，并组建校色数据集训练卷积校色神经网络模型，从而实现高鲁棒、高效率、高精度的无人机建筑航拍图校色。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面，提供了一种无人机建筑航拍图神经网络自动校色方法，包括以下五个步骤：
步骤一：使用无人机多次拍摄建筑物及标准色环得到待校色图像集，对待校色图像集中的图像进行光照补偿处理；
步骤二：使用基于Transformer的DETR神经网络对待校色图像集中光照补偿后的图像作图像分割处理，分割出建筑物区域，并通过降采样算法和聚类算法提取建筑物主色调；
步骤三：使用霍夫变换算法识别待校色图像集中光照补偿后的图像的标准色环轮廓，提取标准色环上与建筑物主色调对应的色彩真值；
步骤四：训练阶段将所有待校色图像集中光照补偿后的图像的建筑物主色调与其对应的标准色环色彩真值制作成校色数据集，建筑物主色调作为训练数据，与之对应的标准色环色彩真值作为训练标签，以此训练卷积校色神经网络模型；
步骤五：推理阶段对待校色图像进行光照补偿处理，使用DETR神经网络分割出待校色图像中的建筑物区域，使用训练好的卷积校色神经网络模型对建筑物区域进行校色，得到校色后的无人机建筑航拍图。
针对步骤一中的航拍操作与光照补偿，将标准色环摆放至与建筑物同一视场的位置，并操作无人机多次拍摄不同建筑物与标准色环的不同方位的航拍合照，再进行如下光照补偿处理：
首先用HSL色彩空间坐标表征图像上的像素点，并计算整个图像的光照增益，如公式(1)所示：
Figure BDA0003222573210000021
其中Li表示图像i的光照增益，x＝1，2...，widthi，y＝1，2，...，heighti分别为像素的横纵坐标，widthi、heighti分别表示图像i的宽度与高度，lI(x，y)表示图像坐标为(x，y)的像素点在HSL色彩空间下的L坐标；
基于整个图像集计算平均光照增益，如公式(2)所示：
Figure BDA0003222573210000022
其中LAverage表示整个图像集的平均光照增益，N表示图像集中图像总数；
然后基于图像集中所有图像在HSL色彩空间下的光照增益Li与图像集的平均光照增益LAverage计算放缩比例
Figure BDA0003222573210000031
如公式(3)所示：
Figure BDA0003222573210000032
并将图像中所有像素点在HSL色彩空间下的L坐标乘以放缩比例
Figure BDA0003222573210000035
得到图像集光照均衡的待校色图像；
此后将图像集光照均衡的待校色图像i分割为W×H个相同的矩形子区域，矩形子区域的高为
Figure BDA0003222573210000033
宽为
Figure BDA0003222573210000034
并计算第j个矩形子区域中的光照增益Lij，计算方法同公式(1)，由此得到尺寸为W×H的分区光照矩阵S；将矩阵S逐元素地减去整个图像的光照增益Li，得到分区光照差值矩阵ES，如公式(4)所示：
ES＝S-Li×I (4)
其中I为单位矩阵；
用双立方差值法将分区光照差值矩阵ES扩充成与分区光照矩阵S等尺寸的光照差值矩阵E；将原图像在HSL色彩空间下L坐标的二维矩阵MLi减去光照差值矩阵E，得到全图光照均衡图像。
在步骤二中，本方法使用DETR神经网络模型在现有航拍图建筑物分割数据集上进行训练，并在推理阶段迁移到无人机航拍图建筑物分割的任务上进行推理；在推理阶段，基于Transformer的DETR神经网络模型使用ResNet网络对输入图像进行卷积操作，获取信息丰富的二维特征图；将二维位置信息嵌入二维特征图并将特征图重构为一维特征向量，输入多头注意力机制(multi-head attention mechanism)的Transformer模块；一维特征向量经由Transformer模块的编码器编码、解码器解码得到预测特征向量，重构为二维预测特征图，并通过ResNet网络对所得二维预测特征图进行稀疏卷积操作，扩张特征图尺寸，压缩特征图通道，得到最终的航拍图建筑物分割预测结果。
进一步地，对于分割出的建筑物区域的像素集，先使用平均池化算法对像素集构成的二维分割图进行降采样处理，再进行无监督的层次聚类，获取建筑物主色调。
进一步地，层次聚类采用Chameleon聚类算法，基于属于建筑物的像素集构造一个KNN(K-Nearest-Neighbor)图，并通过hMETIS算法基于最小化割边的权重之和将KNN图分割为M个子图{C1，C2，...，CM}；然后，Chameleon聚类算法以相对互连性和相对近似性来度量子图之间的综合相似性；子图Ci与Cj的相对互连性度量RI(Ci，Cj)如公式(5)所示：
Figure BDA0003222573210000041
其中EC(Ci，Cj)是连接两个子图Ci与Cj的边的权重之和；EC(Ci)是将子图Ci划分为两个大小相等部分时所用割边的权重之和的最小值；子图Ci与Cj的相对近似性度量RC(Ci，Cj)如公式(6)所示：
Figure BDA0003222573210000042
其中
Figure BDA0003222573210000043
是连接两个子图Ci与Cj的边的平均权重；
Figure BDA0003222573210000044
是将子图Ci划分为两个大小相等部分时所用割边的平均权重的最小值；|Ci|是子图Ci的模；子图Ci与Cj的综合相似性度量R如公式(7)所示：
R＝RI(Ci，Cj)×RC(Ci，Cj)α (7)
其中α是指数系数；
Chameleon聚类算法不断地合并综合相似性最大的两个子图，直到子图的最大综合相似性低于阈值Ts，此时属于建筑物的像素集已被划分成若干像素簇，对每个像素簇计算其中像素的RGB均值，得到建筑物的若干个主色调RGB值。
在步骤三中，霍夫变换首先使用边缘检测算法获取图像上的所有边缘，将边缘点置1，非边缘点置0；已知在图像的笛卡尔坐标系中，若一圆的圆心坐标为(a，b)，半径为r，则其曲线方程为(x-a)2+(y-b)2＝r2；而对于边缘上一点(x0，y0)，假设其处于半径为r的圆上，则所有过该点的圆之圆心所在的参数空间方程表示为(a-x0)2+(b-y0)2＝r2，即abr三维坐标系中的点对应XY平面上的一个圆；在abr三维坐标系中画出所有XY平面边缘上的点对应的圆所映射的圆锥，其交点数量大于预先设定的阈值的区域，即是图像上的一个圆；由此，霍夫变换算法得到圆形标准色环在图像上的圆心和半径。
创建用于旋转遍历圆形标准色环的矩形窗口，以其一端绕色环圆心以固定步长旋转一周；计算旋转角度θ对应的矩形窗口内像素的平均值，记为Mθ；找到像素均值的模取最小值时对应的旋转角度，并将该旋转角度θ0记为零点，其他旋转位置相应地以该零点为参考零点，以顺时针方向来记录角度，范围0度～360度；在所有旋转所得的像素均值中，找到与步骤二所得到的建筑物主色调RGB值欧氏距离最小时所对应的旋转角度，由此得到建筑物主色调对应的色彩真值。
在步骤四中，卷积校色神经网络模型首先将建筑物主色调按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含主色调的输入训练图像；相应地，与主色调对应的色彩真值也按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含色彩真值的标签图像；其中卷积校色神经网络模型的校色特征提取层采用5层ResNet模块压缩输入图像尺寸，从输入图像提取特征，再通过图像恢复层进行PixelShuffle上采样，恢复原始分辨率，并根据损失函数与标签图像计算校色损失，由此训练得到用于校色的卷积校色神经网络模型。
本发明的有益效果在于：
1.本发明设计了光照补偿流程，可以实现图像之间及图像内的光照均衡，有效减少了因不同时间不同位置航拍带来的光照不均对色彩校正的影响。
2.基于DETR神经网络与霍夫变换，设计了建筑物主色调与对应标准色环色彩真值的自动提取算法，自动从航拍图中提取建筑物主色调和对应的标准色环色彩真值，构建分别以建筑物主色调和标准色环色彩真值作为训练数据和训练标签的校色数据集，有效节省了不必要的人工工作量，提高整体无人机建筑航拍图自动校色的效率。
3.设计卷积校色神经网络模型进行校色，相比传统多项式校色及多层感知机校色，本发明对建筑物校色前后色彩空间的映射规律有着更高的特征表达能力，有效提高校色精度与鲁棒性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了无人机建筑航拍图神经网络自动校色方法训练阶段流程图；
图2示出了无人机建筑航拍图神经网络自动校色方法推理阶段流程图；
图3示出了用于建筑物分割的DETR神经网络的结构图；
图4示出了用于校色的卷积校色神经网络的结构图；
图5示出了本发明无人机建筑航拍图神经网络自动校色方法与其他多项式校色方法、多层感知机校色方法的校色性能表现对比。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
图1示出了无人机建筑航拍图神经网络自动校色方法的训练阶段流程图，对应地，图2示出了该校色方法的推理阶段流程图。根据本公开实施例的一个方面，提供了一种无人机建筑航拍图神经网络自动校色方法，包括以下五个步骤：
步骤一：使用无人机多次拍摄建筑物及标准色环得到待校色图像集，对待校色图像集中的图像进行光照补偿处理；
步骤二：使用基于Transformer的DETR神经网络对待校色图像集中光照补偿后的图像作图像分割处理，分割出建筑物区域，并通过降采样算法和聚类算法提取建筑物主色调；
步骤三：使用霍夫变换算法识别待校色图像集中光照补偿后的图像的标准色环轮廓，提取标准色环上与建筑物主色调对应的色彩真值；
步骤四：训练阶段将所有待校色图像集中光照补偿后的图像的建筑物主色调与其对应的标准色环色彩真值制作成校色数据集，建筑物主色调作为训练数据，与之对应的标准色环色彩真值作为训练标签，以此训练卷积校色神经网络模型；
步骤五：推理阶段对待校色图像进行光照补偿处理，使用DETR神经网络分割出待校色图像中的建筑物区域，使用训练好的卷积校色神经网络模型对建筑物区域进行校色，得到校色后的无人机建筑航拍图。
以下依次对各个步骤进行详细介绍。
针对步骤一中的航拍操作与光照补偿，将标准色环摆放至与建筑物同一视场的位置，并操作无人机多次拍摄不同建筑物与标准色环的不同方位的航拍合照，再进行如下光照补偿处理：
首先用HSL色彩空间坐标表征图像上的像素点，并计算整个图像的光照增益，如公式(1)所示：
Figure BDA0003222573210000071
其中Li表示图像i的光照增益，x＝1，2...，widthi，y＝1，2，...，heighti分别为像素的横纵坐标，widthi、heighti分别表示图像i的宽度与高度，lI(x，y)表示图像坐标为(x，y)的像素点在HSL色彩空间下的L坐标；
基于整个图像集计算平均光照增益，如公式(2)所示：
Figure BDA0003222573210000072
其中LAverage表示整个图像集的平均光照增益，N表示图像集中图像总数；
然后基于图像集中所有图像在HSL色彩空间下的光照增益Li与图像集的平均光照增益LAverage计算放缩比例
Figure BDA0003222573210000073
如公式(3)所示：
Figure BDA0003222573210000074
并将图像中所有像素点在HSL色彩空间下的L坐标乘以放缩比例
Figure BDA0003222573210000077
得到图像集光照均衡的待校色图像；
此后将图像集光照均衡的待校色图像i分割为W×H个相同的矩形子区域，矩形子区域的高为
Figure BDA0003222573210000075
宽为
Figure BDA0003222573210000076
并计算第j个矩形子区域中的光照增益Lij，计算方法同公式(1)，由此得到尺寸为W×片的分区光照矩阵S；将矩阵S逐元素地减去整个图像的光照增益Li，得到分区光照差值矩阵ES，如公式(4)所示：
ES＝S-Li×I (4)
其中I为单位矩阵；
用双立方差值法将分区光照差值矩阵ES扩充成与分区光照矩阵S等尺寸的光照差值矩阵E；将原图像在HSL色彩空间下L坐标的二维矩阵MLi减去光照差值矩阵E，得到全图光照均衡图像。
在步骤二中，本方法使用DETR神经网络模型在现有航拍图建筑物分割数据集上进行训练，并在推理阶段迁移到无人机航拍图建筑物分割的任务上进行推理。现有航拍图建筑物分割数据集可采用UAVid、The AeroScapes等。
图3示出了用于建筑物分割的DETR神经网络的结构图；在推理阶段，基于Transformer的DETR神经网络模型使用ResNet网络对输入图像进行卷积操作，获取信息丰富的二维特征图；将二维位置信息嵌入二维特征图并将特征图重构为一维特征向量，输入多头注意力机制(multi-head attention mechanism)的Transformer模块；一维特征向量经由Transformer模块的编码器编码、解码器解码得到预测特征向量，重构为二维预测特征图，并通过ResNet网络对所得二维预测特征图进行稀疏卷积操作，扩张特征图尺寸，压缩特征图通道，得到最终的航拍图建筑物分割预测结果。
对于分割出的建筑物区域的像素集，先使用平均池化算法对像素集构成的二维分割图进行降采样处理，再进行无监督的层次聚类，获取建筑物主色调。层次聚类采用Chameleon聚类算法，基于属于建筑物的像素集构造一个KNN(K-Nearest-Neighbor)图，并通过hMETIS算法基于最小化割边的权重之和将KNN图分割为M个子图{C1，C2，...，CM}，本实施例中M取40；然后，Chameleon聚类算法以相对互连性和相对近似性来度量子图之间的综合相似性；子图Ci与Cj的相对互连性度量RI(Ci，Cj)如公式(5)所示：
Figure BDA0003222573210000081
其中EC(Ci，Cj)是连接两个子图Ci与Cj的边的权重之和；EC(Ci)是将子图Ci划分为两个大小相等部分时所用割边的权重之和的最小值；子图Ci与Cj的相对近似性度量RC(Ci，Cj)如公式(6)所示：
Figure BDA0003222573210000082
其中
Figure BDA0003222573210000083
是连接两个子图Ci与Cj的边的平均权重；
Figure BDA0003222573210000084
是将子图Ci划分为两个大小相等部分时所用割边的平均权重的最小值；|Ci|是子图Ci的模；子图Ci与Cj的综合相似性度量R如公式(7)所示：
R＝RI(Ci，Cj)×RC(Ci，Cj)α (7)
其中α是指数系数，本实施例取1，使相对互连性和相对近似性对图分割同等重要；
Chameleon聚类算法不断地合并综合相似性最大的两个子图，直到子图的最大综合相似性低于阈值Ts，本实施例中Ts取0.1，此时属于建筑物的像素集已被划分成若干像素簇，对每个像素簇计算其中像素的RGB均值，得到建筑物的若干个主色调RGB值。
在步骤三中，霍夫变换首先使用边缘检测算法获取图像上的所有边缘，将边缘点置1，非边缘点置0，其中边缘检测算法可以采用Canny算法；已知在图像的笛卡尔坐标系中，若一圆的圆心坐标为(a，b)，半径为r，则其曲线方程为(x-a)2+(y-b)2＝r2；而对于边缘上一点(x0，y0)，假设其处于半径为r的圆上，则所有过该点的圆之圆心所在的参数空间方程表示为(a-x0)2+(b-y0)2＝r2，即abr三维坐标系中的点对应XY平面上的一个圆；在abr三维坐标系中画出所有XY平面边缘上的点对应的圆所映射的圆锥，其交点数量大于预先设定的阈值的区域，即是图像上的一个圆；由此，霍夫变换算法得到圆形标准色环在图像上的圆心和半径。
创建用于旋转遍历圆形标准色环的矩形窗口，以其一端绕色环圆心以固定步长旋转一周，本实施例中设置矩形窗口宽度为3像素、高度为色环半径，步长设置为1度；计算旋转角度θ对应的矩形窗口内像素的平均值，记为Mθ；找到像素均值的模取最小值时对应的旋转角度，并将该旋转角度θ0记为零点，其他旋转位置相应地以该零点为参考零点，以顺时针方向来记录角度，范围0度～360度；在所有旋转所得的像素均值中，找到与步骤二所得到的建筑物主色调RGB值欧氏距离最小时所对应的旋转角度，由此得到建筑物主色调对应的色彩真值。
图4示出了卷积校色神经网络的结构图；卷积校色神经网络模型首先将建筑物主色调按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含主色调的输入训练图像；相应地，与主色调对应的色彩真值也按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含色彩真值的标签图像；其中卷积校色神经网络模型的校色特征提取层采用5层ResNet模块压缩输入图像尺寸，从输入图像提取特征，再通过图像恢复层进行PixelShuffle上采样，恢复原始分辨率，并根据损失函数与标签图像计算校色损失，本实施例取MSE均方误差损失函数，由此训练得到用于校色的卷积校色神经网络模型。
图5示出了本发明无人机建筑航拍图神经网络自动校色方法与其他多项式校色方法、多层感知机校色方法的校色性能表现对比，以RMSE和拟合优度R作为评价指标，可以看出，本发明方法具有较低的RMSE和较高的拟合优度R，可以实现无人机建筑航拍图的校色。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (8)

1.一种无人机建筑航拍图神经网络自动校色方法，其特征在于，包括以下步骤：
步骤一：使用无人机多次拍摄建筑物及标准色环得到待校色图像集，对待校色图像集中的图像进行光照补偿处理；
步骤二：使用基于Transformer的DETR神经网络对待校色图像集中光照补偿后的图像作图像分割处理，分割出建筑物区域，并通过降采样算法和聚类算法提取建筑物主色调；
步骤三：使用霍夫变换算法识别待校色图像集中光照补偿后的图像的标准色环轮廓，提取标准色环上与建筑物主色调对应的色彩真值；
步骤四：训练阶段将所有待校色图像集中光照补偿后的图像的建筑物主色调与其对应的标准色环色彩真值制作成校色数据集，建筑物主色调作为训练数据，与之对应的标准色环色彩真值作为训练标签，以此训练卷积校色神经网络模型；
步骤五：推理阶段对待校色图像进行光照补偿处理，使用DETR神经网络分割出待校色图像中的建筑物区域，使用训练好的卷积校色神经网络模型对建筑物区域进行校色，得到校色后的无人机建筑航拍图。
2.如权利要求1所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤一中，将标准色环摆放至与建筑物同一视场的位置，并操作无人机多次拍摄不同建筑物与标准色环的不同方位的航拍合照，再对航拍合照进行光照补偿处理。
3.如权利要求1所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤一中，所述光照补偿处理具体为：
首先用HSL色彩空间坐标表征图像上的像素点，并计算整个图像的光照增益，如公式(1)所示：
Figure FDA0003222573200000011
其中Li表示图像i的光照增益，x＝1，2...，widthi，y＝1，2，...，heighti分别为像素的横纵坐标，widthi、heighti分别表示图像i的宽度与高度，lI(x，y)表示图像坐标为(x，y)的像素点在HSL色彩空间下的L坐标；
基于整个图像集计算平均光照增益，如公式(2)所示：
Figure FDA0003222573200000021
其中LAverage表示整个图像集的平均光照增益，N表示图像集中图像总数；
然后基于图像集中所有图像在HSL色彩空间下的光照增益Li与图像集的平均光照增益LAverage计算放缩比例
Figure FDA0003222573200000022
如公式(3)所示：
Figure FDA0003222573200000023
并将图像中所有像素点在HSL色彩空间下的L坐标乘以放缩比例
Figure FDA0003222573200000026
得到图像集光照均衡的待校色图像；
此后将图像集光照均衡的待校色图像i分割为W×H个相同的矩形子区域，矩形子区域的高为
Figure FDA0003222573200000024
宽为
Figure FDA0003222573200000025
并计算第j个矩形子区域中的光照增益Lij，计算方法同公式(1)，由此得到尺寸为W×H的分区光照矩阵S；将矩阵S逐元素地减去整个图像的光照增益Li，得到分区光照差值矩阵ES，如公式(4)所示：
ES＝S-Li×I (4)
其中I为单位矩阵；
用双立方差值法将分区光照差值矩阵ES扩充成与分区光照矩阵S等尺寸的光照差值矩阵E；将原图像在HSL色彩空间下L坐标的二维矩阵MLi减去光照差值矩阵E，得到全图光照均衡图像。
4.如权利要求1所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤二中，DETR神经网络模型在现有航拍图建筑物分割数据集上进行训练，并在推理阶段迁移到无人机航拍图建筑物分割的任务上进行推理；在推理阶段，基于Transformer的DETR神经网络模型使用ResNet网络对输入图像进行卷积操作，获取信息丰富的二维特征图；将二维位置信息嵌入二维特征图并将特征图重构为一维特征向量，输入多头注意力机制的Transformer模块；一维特征向量经由Transformer模块的编码器编码、解码器解码得到预测特征向量，重构为二维预测特征图，并通过ResNet网络对所得二维预测特征图进行稀疏卷积操作，扩张特征图尺寸，压缩特征图通道，得到最终的航拍图建筑物分割预测结果。
5.如权利要求1所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤二中，对于分割出的建筑物区域的像素集，先使用平均池化算法对像素集构成的二维分割图进行降采样处理，再进行无监督的层次聚类，获取建筑物主色调。
6.如权利要求5所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤二中，所述层次聚类采用Chameleon聚类算法，基于属于建筑物的像素集构造一个KNN图，并通过hMETIS算法基于最小化割边的权重之和将KNN图分割为M个子图{C1，C2，...，CM}；以相对互连性和相对近似性来度量子图之间的综合相似性；子图Ci与Cj的相对互连性度量RI(Ci，Cj)如公式(5)所示：
Figure FDA0003222573200000031
其中EC(Ci，Cj)是连接两个子图Ci与Cj的边的权重之和；EC(Ci)是将子图Ci划分为两个大小相等部分时所用割边的权重之和的最小值；子图Ci与Cj的相对近似性度量RC(Ci，Cj)如公式(6)所示：
Figure FDA0003222573200000032
其中
Figure FDA0003222573200000033
是连接两个子图Ci与Cj的边的平均权重；
Figure FDA0003222573200000034
是将子图Ci划分为两个大小相等部分时所用割边的平均权重的最小值；|Ci|是子图Ci的模；子图Ci与Cj的综合相似性度量R如公式(7)所示：
R＝RI(Ci，Cj)×RC(Ci，Cj)α (7)
其中α是指数系数；
Chameleon聚类算法不断地合并综合相似性最大的两个子图，直到子图的最大综合相似性低于阈值Ts，此时属于建筑物的像素集已被划分成若干像素簇，对每个像素簇计算其中像素的RGB均值，得到建筑物的若干个主色调RGB值。
7.如权利要求1所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤三中，霍夫变换首先使用边缘检测算法获取图像上的所有边缘，将边缘点置1，非边缘点置0；已知在图像的笛卡尔坐标系中，若一圆的圆心坐标为(a，b)，半径为r，则其曲线方程为(x-a)2+(y-b)2＝r2；而对于边缘上一点(x0，y0)，假设其处于半径为r的圆上，则所有过该点的圆之圆心所在的参数空间方程表示为(a-x0)2+(b-y0)2＝r2，即abr三维坐标系中的点对应XY平面上的一个圆；在abr三维坐标系中画出所有XY平面边缘上的点对应的圆所映射的圆锥，其交点数量大于预先设定的阈值的区域，即是图像上的一个圆；由此，霍夫变换算法得到圆形标准色环在图像上的圆心和半径；
创建用于旋转遍历圆形标准色环的矩形窗口，以其一端绕色环圆心以固定步长旋转一周；计算旋转角度θ对应的矩形窗口内像素的平均值，记为Mθ；找到像素均值的模取最小值时对应的旋转角度，并将该旋转角度θ0记为零点，其他旋转位置相应地以该零点为参考零点，以顺时针方向来记录角度，范围0度～360度；在所有旋转所得的像素均值中，找到与步骤二所得到的建筑物主色调RGB值欧氏距离最小时所对应的旋转角度，由此得到建筑物主色调对应的色彩真值。
8.如权利要求1所述的无人机建筑航拍图神经网络自动校色方法，其特征在于，所述步骤四中，所述卷积校色神经网络模型首先将建筑物主色调按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含主色调的输入训练图像；相应地，与主色调对应的色彩真值也按照对应的二维位置映射到建筑物的分割结果上，其余位置设为黑色，以此获得只包含色彩真值的标签图像；其中卷积校色神经网络模型的校色特征提取层采用5层ResNet模块压缩输入图像尺寸，从输入图像提取特征，再通过图像恢复层进行PixelShuffle上采样，恢复原始分辨率，并根据损失函数与标签图像计算校色损失，由此训练得到用于校色的卷积校色神经网络模型。
CN202110965319.8A 2021-08-20 2021-08-20 无人机建筑航拍图神经网络自动校色方法 Active CN113537154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110965319.8A CN113537154B (zh) 2021-08-20 2021-08-20 无人机建筑航拍图神经网络自动校色方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110965319.8A CN113537154B (zh) 2021-08-20 2021-08-20 无人机建筑航拍图神经网络自动校色方法

Publications (2)

Publication Number Publication Date
CN113537154A true CN113537154A (zh) 2021-10-22
CN113537154B CN113537154B (zh) 2022-08-12

Family

ID=78091293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110965319.8A Active CN113537154B (zh) 2021-08-20 2021-08-20 无人机建筑航拍图神经网络自动校色方法

Country Status (1)

Country Link
CN (1) CN113537154B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078778A (zh) * 2023-10-16 2023-11-17 四川邕合科技有限公司 基于大数据的智慧园区空气质量检测方法及检测终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1063559A (zh) * 1992-01-21 1992-08-12 陈坚 彩色照相中的校色方法及其装置
JP2000311243A (ja) * 1999-04-28 2000-11-07 Sony Corp 画像色補正方法及び装置
CN1484090A (zh) * 2002-09-19 2004-03-24 陈富强 彩扩机正像校色装置及校色方法
CN101692690A (zh) * 2009-10-10 2010-04-07 刘潭华 一种远程校色方法
US20120275698A1 (en) * 2011-04-28 2012-11-01 National Central University Method of Orthoimage Color Correction Using Multiple Aerial Images
CN110060222A (zh) * 2019-04-29 2019-07-26 重庆金山医疗器械有限公司 一种图像校正方法、装置及内窥镜系统
CN110197463A (zh) * 2019-04-25 2019-09-03 深圳大学 基于深度学习的高动态范围图像色调映射方法及其系统
CN110381303A (zh) * 2019-05-31 2019-10-25 成都品果科技有限公司 基于皮肤颜色统计的人像自动曝光白平衡矫正方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1063559A (zh) * 1992-01-21 1992-08-12 陈坚 彩色照相中的校色方法及其装置
JP2000311243A (ja) * 1999-04-28 2000-11-07 Sony Corp 画像色補正方法及び装置
CN1484090A (zh) * 2002-09-19 2004-03-24 陈富强 彩扩机正像校色装置及校色方法
CN101692690A (zh) * 2009-10-10 2010-04-07 刘潭华 一种远程校色方法
US20120275698A1 (en) * 2011-04-28 2012-11-01 National Central University Method of Orthoimage Color Correction Using Multiple Aerial Images
CN110197463A (zh) * 2019-04-25 2019-09-03 深圳大学 基于深度学习的高动态范围图像色调映射方法及其系统
CN110060222A (zh) * 2019-04-29 2019-07-26 重庆金山医疗器械有限公司 一种图像校正方法、装置及内窥镜系统
CN110381303A (zh) * 2019-05-31 2019-10-25 成都品果科技有限公司 基于皮肤颜色统计的人像自动曝光白平衡矫正方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VERTIKA JAIN ET AL: "Automized gamma correction for shadow removal in color aerial images", 《2017 RECENT DEVELOPMENTS IN CONTROL, AUTOMATION & POWER ENGINEERING (RDCAPE)》 *
王莉莉: "低空航拍图像校正与增强方法的研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078778A (zh) * 2023-10-16 2023-11-17 四川邕合科技有限公司 基于大数据的智慧园区空气质量检测方法及检测终端
CN117078778B (zh) * 2023-10-16 2024-01-26 四川邕合科技有限公司 基于大数据的智慧园区空气质量检测方法及检测终端

Also Published As

Publication number Publication date
CN113537154B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN109410321B (zh) 基于卷积神经网络的三维重建方法
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
US20180174301A1 (en) Iterative method for salient foreground detection and multi-object segmentation
US20020136449A1 (en) Apparatus and method for extracting object based on feature matching between segmented regions in images
CN111524168B (zh) 点云数据的配准方法、系统、装置及计算机存储介质
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN107944437B (zh) 一种基于神经网络和积分图像的人脸定位方法
CN111640116B (zh) 基于深层卷积残差网络的航拍图建筑物分割方法及装置
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN109754440A (zh) 一种基于全卷积网络和均值漂移的阴影区域检测方法
CN111209920A (zh) 一种复杂动态背景下飞机检测方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN107392211B (zh) 基于视觉稀疏认知的显著目标检测方法
CN113537154B (zh) 无人机建筑航拍图神经网络自动校色方法
CN109784297A (zh) 一种基于深度学习的三维目标识别与最优抓取方法
CN114359323A (zh) 一种基于视觉注意机制的图像目标区域检测方法
CN112946679A (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN117218029A (zh) 基于神经网络的夜间暗光图像智能处理方法
CN110634142A (zh) 一种复杂车路图像边界优化方法
CN116630828B (zh) 基于地形环境适配的无人机遥感信息采集系统及方法
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
CN116958434A (zh) 多视图三维重建方法、测量方法及系统
CN116563104A (zh) 一种基于粒子群算法的图像配准方法及图像拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant