CN114757848B - 基于人工智能的相机果冻效应检测方法及系统 - Google Patents

Abstract

一种基于人工智能的相机果冻效应检测方法及系统，包括：获取相同视角和范围的三维点云数据和RGB图像，并根据三维点云数据获得深度图像；将三维点云数据划分成多个分区域，根据分区域确定各个候选区域一；在深度图像中找出候选区域一对应的深度区域，在各个深度区域中筛选出候选区域二；将深度图像划分为M个子块区域，并将RGB图像划分为相同的子块区域；根据RGB图像和深度图像中的相对应的子块区域，计算总果冻效应量化指标值；最终得到RGB图像的果冻效应严重程度。本发明通过对三维点云数据和RGB图像进行对比分析，获得准确且量化的果冻效应指标，为无人机测绘过程提供了参考依据，使图像的果冻效应判断结果更加准确。

Description

基于人工智能的相机果冻效应检测方法及系统

技术领域

本申请涉及人工智能技术领域，具体涉及一种基于人工智能的相机果冻效应检测方法及系统。

背景技术

使用无人机进行航拍时，为了得到清晰的图像经常使用卷帘快门。因为卷帘相机的特性，无人机在飞行过程中，当相机机架或装置与无人机发生共振时，无人机摄像头采集的图像将会出现果冻效应，虽然全局快门可以有效避免果冻效应，但由于卷帘快门有着读出不复杂，更具成本效益和更少的晶体管热量及电子噪声等优点，因此卷帘快门仍是目前最广泛运用的快门技术。

在城市测绘中，使用无人机进行数据采集，构建城市模型，已经成为一种趋势，但由于果冻效应的存在，且不同图像的果冻效应情况还不一致，这就对获得的数据精度有一定的影响。所以，为了获取高精度的图像，迫切需要实现图像果冻效应的准确检测。

发明内容

本发明的目的在于提出一种无人机航拍过程中相机果冻效应检测方法，用于解决图像果冻效应的检测分析准确性较差的问题。

为解决上述技术问题，本发明提供了一种基于人工智能的相机果冻效应检测方法，包括以下步骤：

获取相同视角和范围的三维点云数据和RGB图像，并获取三维点云数据对应的深度图像；

将所述三维点云数据划分成多个分区域，并根据各个分区域内的点云的纵坐标，确定各个候选区域一；

在所述深度图像中确定各个候选区域一对应的深度区域，进而根据各个深度区域中的各个建筑物的大小，在各个深度区域中筛选出候选区域二；

将深度图像划分为M个子块区域，每个子块区域中均包含至少一个候选区域二中的建筑物，并将RGB图像划分为相同的子块区域，同时获取RGB图像的每个子块区域中的各个感兴趣区域，所述感兴趣区域为深度图像中的同一子块区域的候选区域二所对应的区域；

将RGB图像的各个子块区域中的各个感兴趣区域中的建筑物与深度图像的各个子块区域中的各个候选区域二中的建筑物进行比较，确定每个子块区域对应的果冻效应量化指标；

根据每个子块区域对应的果冻效应量化指标，计算总果冻效应量化指标值，并根据总果冻效应量化指标值，确定RGB图像的果冻效应严重程度。

进一步的，确定每个子块区域对应的果冻效应量化指标的步骤包括：

根据RGB图像的各个子块区域中的各个感兴趣区域中的各个建筑物，确定RGB图像的各个子块区域中的最佳建筑物，进而在所述最佳建筑物中确定最佳局部区域以及距离最佳局部区域最近的N个局部区域；

根据深度图像的各个子块区域中的各个候选区域二中的各个建筑物以及RGB图像的各个子块区域中的最佳建筑物，在深度图像的各个子块区域中确定对应的最佳建筑物，进而根据最佳局部区域以及距离最佳局部区域最近的N个局部区域，在深度图像的各个子块区域对应的最佳建筑物中确定对应的最佳局部区域以及N个局部区域；

根据RGB图像中各个子块区域中的最佳局部区域和N个局部区域以及深度图像中各个子块区域中的对应的最佳局部区域和N个局部区域，确定每个子块区域对应的果冻效应量化指标。

进一步的，根据RGB图像的各个子块区域中的各个感兴趣区域中的建筑物，确定RGB图像的各个子块区域中的最佳建筑物，进而在所述最佳建筑物中确定最佳局部区域的步骤包括：

将RGB图像的各个子块区域中的各个感兴趣区域中的各个建筑物分别划分成多个宫格区域，并在每个宫格区域中确定一个局部区域；

计算各个建筑物的每个宫格区域中所确定的局部区域的面积，进而得到每个建筑物对应的所有面积的方差；

将各个子块区域中最小方差所对应的建筑物作为最佳建筑物，并将最佳建筑物中的面积最大的局部区域作为最佳局部区域。

进一步的，根据RGB图像中各个子块区域中的最佳局部区域和N个局部区域以及深度图像中各个子块区域中的对应的最佳局部区域和N个局部区域，确定每个子块区域对应的果冻效应量化指标的步骤包括：

分别获取RGB图像和深度图像中所对应的各个子块区域的最佳局部区域和N个局部区域的面积、中心点坐标、像素方差和宽高比；

分别计算RGB图像和深度图像中所对应的各个子块区域的最佳局部区域和N个局部区域之间的面积差值、中心点距离、像素方差差值和宽高比差值；

根据RGB图像和深度图像中所对应的各个子块区域的最佳局部区域和N个局部区域之间的面积差值、中心点距离、像素方差差值和宽高比差值，计算RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值；

根据RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值，确定每个子块区域对应的果冻效应量化指标。

进一步的，根据RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值，确定每个子块区域对应的果冻效应量化指标的步骤包括：

分别获取RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值所对应的第一权值、第二权值、第三权值和第四权值；

对RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值进行归一化处理；

根据第一权值、第二权值、第三权值和第四权值以及归一化处理的RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值，计算每个子块区域对应的果冻效应量化指标值。

进一步的，计算总果冻效应量化指标值对应的计算公式为：

其中，σ为总果冻效应量化指标值，M为子块区域的个数，

为第i个子块区域对应的果冻效应量化指标值。

进一步的，根据总果冻效应量化指标值，确定RGB图像的果冻效应严重程度的步骤包括：将总果冻效应量化指标值与设定指标阈值进行比较，若总果冻效应量化指标值大于设定指标阈值，则判定RGB图像的果冻效应严重，否则判定RGB图像的果冻效应不严重。

进一步的，根据各个分区域内的点云的纵坐标，确定各个候选区域一的步骤包括：

确定各个分区域内的点云的纵坐标中的最大纵坐标，并将最大纵坐标与设定高程阈值进行比较；

若最大纵坐标大于设定高程阈值，则将该最大纵坐标对应的分区域中的不大于高程阈值的点云进行删除，并将该删除点云后的分区域作为候选区域一。

进一步的，在各个深度区域中筛选出候选区域二的步骤包括：

计算各个深度区域中的各个建筑物所占网格的行数和列数，进而计算各个深度区域中的所有建筑物所占网格的行数的平均值和列数的平均值；

若深度区域中的所有建筑物所占网格的行数均大于所占网格的行数的平均值且所占网格的列数均大于所占网格的列数的平均值，则将该深度区域作为候选区域二。

本发明还提供了一种基于人工智能的相机果冻效应检测系统，所述系统包括存储器和处理器以及存储在存储器中并在处理器上运行的计算机程序，处理器与存储器相耦合，处理器在执行计算机程序时实现上述的基于人工智能的相机果冻效应检测方法。

本发明和现有技术相比有如下有益效果：

本发明通过将三维点云数据划分为多个分区域，进而根据各个分区域内的点云的纵坐标，确定各个候选区域一，可以有效排除低位置的树木或建筑物的影响，保证了检测精度；然后根据各个候选区域一对应的深度区域中的各个建筑物的大小，在各个深度区域中筛选出候选区域二，进一步排除了远处建筑物的影响，使得最终划分得到的各个子块区域中都包含近处的建筑物，便于后续基于近处的建筑物进行果冻效应的检测，进一步保证了检测精度；然后以深度图像中的各个子块区域中的建筑物为基准，将RGB图像的各个子块区域中的建筑物与之进行比较，从而得到每个子块区域对应的果冻效应量化指标，进而得到整个RGB图像的总果冻效应量化指标值，由于统筹考虑了多个子块区域的果冻效应，在提高检测效率的同时，更重要的是提高了果冻检测准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明实施例提供的基于人工智能的相机果冻效应检测方法的流程图；

图2为本发明实施例提供的将深度图像中的候选区域二划分为M个子块区域的示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

为了让本领域技术人员更好的理解本发明，下面结合实施例和附图对本发明展开描述。本实施例提供了一种基于人工智能的相机果冻效应检测方法，其对应的流程图如图1所示，具体包括以下步骤：

(1)获取相同视角和范围的三维点云数据和RGB图像，并获取三维点云数据对应的深度图像。

首先在无人机上布置激光雷达相机和卷帘相机，同时保证两者拍摄的视角及范围相同。本实施例采用TOF激光雷达相机采集到高质量的连续多帧的三维点云数据，并将其作为目标图像，同时卷帘相机采集到连续多帧的RGB图像数据。在获取三维点云数据后，进一步根据三维点云数据生成相对应的深度图像。

需要说明的是，卷帘相机采用的是卷帘快门，卷帘快门是以逐行曝光的方式采集图像的，当无人机产生振动时，不同行之间可能会产生相互挤压，导致果冻效应；TOF激光雷达相机采用的是全局快门，全局快门一次曝光一整张图片，与卷帘快门相比，不会出现果冻效应，且全局快门的帧率远远超过卷帘快门，但TOF激光雷达相机不能采集到RGB图像信息，只能获得物体的三维点云数据。由于深度图像中的连通域可实现与RGB图像的快速精准匹配，因此，为了后续便于分析，现将三维点云数据转化为相对应的深度图像。

(2)将三维点云数据划分成多个分区域，并根据各个分区域内的点云的纵坐标，确定各个候选区域一。

对于城市测绘，采集的数据主要为建筑物，建筑物的特点为静止物体并且存在一定的高度，可以较容易检测出建筑物的位置信息，且建筑物也能较为准确的体现果冻效应。因此，本实施例首先根据三维点云数据的高度信息，也就是根据点云的纵坐标，选择候选区域一。选择候选区域一能够有效降低无关工况的影响，首先排除一些果冻效应表现不明显的区域，以便后续对最佳窗口区域的准确提取，同时减少系统计算量，提高后续系统的检测速度。候选区域一的具体获取方法为：

首先根据点云坐标的纵坐标信息对三维点云数据集进行区域拟合，拟合间距为r，本实施例中取r＝5，将图像均匀划分为间距为r＝5的多个分区域，其中拟合间距r可根据实际拍摄的情况来确定，拟合间距r的大小和相机的帧率有关，相机的帧率越高则采集到的图像也就越多，为了减小计算量，则拟合间距r的值也应该越大。将均匀划分的各个分区域分别标记为{Ω₁，Ω₂，…，Ω_n}，其中n为总的分区域的数量。由于采集的数据主要为建筑物，所以各个分区域内均包含多个高程值。

将各个分区域内的各个高程值按照从大到小进行排序，将进行排序后的序列作为高度序列，则每个分区域内均对应一个高度序列。以分区域Ω₁为例，分区域Ω₁对应的高度序列为{Z₁₁，Z₁₂，…，Z_1m}，(Z₁₁≥Z₁₂≥…≥Z_1m)，其中m为分区域Ω₁内总的高程值的数量，Z₁₁为分区域Ω₁中最大的高程值，最大的高程值所对应的点云在三维点云中反映的就是最高的建筑物所对应的点云。

本实施例对各个分区域内的各个高程值进行处理分析，以粗略估计各个建筑物区域。由于图像中的树木以及低建筑物是不利于检测果冻效应的，因此，为提高后续果冻效应的检测速度和准确性，防止一些高树木等误认为是建筑物，同时排除低建筑物的影响，本发明通过高程阈值对分区域进行筛选，具体过程为：

分别得到各个分区域中的最高的高程值，将各个分区域中最高的高程值作为一个最高高程值序列，最高高程值序列为{Z₁₁，Z₂₁，…，Z_n1}，分别将最高高程值序列中的各个高程值与高程阈值Z_T进行比较，若最高高程值序列中的高程值大于高程阈值Z_T，则将该最高高程值序列中的高程值所对应的分区域保留，否则，将最高高程值序列中的高程值所对应的分区域删除。再将保留下来的分区域中的不大于高程阈值的点云全部删除，至此，可以得到删除之后的分区域为{Ω₁，Ω₂，…，Ω_k}，k≤n，将删除之后的分区域{Ω₁，Ω₂，…，Ω_k}作为候选区域一。

需要说明的是，这里设置高程阈值Z_T的目的是排除低建筑物和树木等对果冻效应判断结果产生的影响，以提高检测结果的快速性和准确性。但是，另一方面，为了使检测的结果较为准确，需要对尽量多的样本数据进行计算，所以不宜删除过多的建筑物点云数据，因此设置高程阈值Z_T的值不应太大，高程阈值Z_T可根据相机拍摄的实际情况进行设置。

(3)在深度图像中确定各个候选区域一对应的深度区域，进而根据各个深度区域中的各个建筑物的大小，在各个深度区域中筛选出候选区域二。

把三维点云数据转换到深度图像中，则各个候选区域一在深度图像中都有对应的深度区域。考虑到实际情况下，当无人机在飞行的过程中，距离无人机较近的建筑物区域，果冻效应表现较为明显，所以在计算果冻效应的指标时，应选择距离无人机视野较近的建筑物。因此，通过考虑各个深度区域中的各个建筑物的大小，在各个深度区域中筛选出候选区域二，以便于后续果冻效应的检测，具体过程为：

(3.1)计算各个深度区域中的各个建筑物所占网格的行数和列数，进而计算各个深度区域中的所有建筑物所占网格的行数的平均值和列数的平均值。

为了便于计算，在深度图像中划分多个行列间距相同的正方形小网格，划分的网格的个数越多越好，划分的网格越多得到的结果也就越准确。针对深度图像中各个候选区域一对应的深度区域，首先计算在各个深度区域中的各个建筑物所占网格的行数，分别为h＝{h₁,h₂,…,h_s}，其中s为某个深度区域中的所有建筑物的数量，h_i为该深度区域中的第i个建筑物所占网格的行数。并计算深度图像中所有深度区域中的所有建筑物所占网格的行数的平均值

建筑物所占网格的行数为建筑物在高度方向上所占的网格的数目。同样地，计算在各个深度区域中的各个建筑物所占网格的列数，分别为w＝{w₁,w₂,…w_S}，其中s为上述某个深度区域中的所有建筑物的数量，w_i为该深度区域中的第i个建筑物所占网格的列数。并计算深度图像中所有深度区域中的所有建筑物所占网格的列数的平均值

建筑物所占网格的列数为建筑物在宽度方向上所占的网格的数目。

需要说明的是，上述建筑物所占网格的列数是指建筑物在与建筑物高度方向垂直的方向所占的网格数目，当正面拍摄建筑物时，则该建筑物所占网格的列数是指建筑物的正面所占的网格数目，当侧面拍摄建筑物时，则该建筑物所占网格的列数是指建筑物的侧面所占的网格数目，所占网格的列数需要根据建筑物的拍摄角度来定。

(3.2)若深度区域中的所有建筑物所占网格的行数均大于所占网格的行数的平均值且所占网格的列数均大于所占网格的列数的平均值，则将该深度区域作为候选区域二。

为了提高系统检测果冻效应指标的准确性，提取出更能体现果冻效应的建筑物信息，根据建筑物的行列信息，选取出距离相机视野较近的区域。本实施例将在各个深度区域中找出所有符合设定条件的建筑物，该设定条件为：深度区域中的每个建筑物既满足所占网格的行数h大于所占网格的行数的平均值

并且还满足所占网格的列数w大于所占网格的列数的平均值

将所有符合设定条件的深度区域作为候选区域二，并将不符合条件的深度区域删除掉，可以筛选出符合条件的深度区域，为{Ω₁，Ω₂，…，Ω_g}，g≤k，将筛选出来的深度区域{Ω₁，Ω₂，…，Ω_g}作为候选区域二。

(4)将深度图像划分为M个子块区域，每个子块区域中均包含至少一个候选区域二中的建筑物，并将RGB图像划分为相同的子块区域，同时获取RGB图像的每个子块区域中的各个感兴趣区域，感兴趣区域为深度图像中的同一子块区域的候选区域二所对应的区域。

由于相机拍摄的视野不同，所以不同区域在图像中的果冻效应也不同，因此本实施例将对深度图像进行分子块区域处理，便于后续准确检测果冻效应，提高系统整体检测精度。该对深度图像进行分子块区域处理是指对深度图像进行动态划分，相较于静态划分，该动态划分更具有针对性，且适用范围更广泛。为保证划分后的每个子块区域中均包含可以进行果冻效应检测的建筑物，本实施例根据每个建筑物区域的中心点距离整个深度图像左边缘的距离，并根据距离的不同将深度图像划分为M个子块区域。

下面以将深度图像划分为3个子块区域，对动态划分进行举例说明：如图2所示，深度图像15中包含两个候选区域二，这两个候选区域二为图2中的10和11，这两个候选区域二中均包含两个建筑物区域，两个候选区域二中包含的两个建筑物区域分别为图2中的6、7、8和9，根据这两个候选区域二中所有建筑物区域6、7、8、和9的中心点距离深度图像左边缘1的距离，从建筑物区域中分别找到距离深度图像左边缘1的最小距离和最大距离，最小距离和最大距离所对应的建筑物区域分别为距离深度图像左边缘最近的建筑物区域6和距离深度图像左边缘最远的建筑物区域9，用最大距离减去最小距离所得到的距离差值L除以划分的子块区域数M得到距离间隔为S。以距离深度图像左边缘1最近的建筑物区域6的中心点4作为起点，并根据距离起点4的右方间距分别为S、2S、…、(M-1)S的位置，在深度图像15的竖直方向上作分割线，分割线的数量为(M-1)，根据分割线把深度图像15划分为M个子块区域，其中分割线只能在距离深度图像左边缘最近的建筑物区域的中心点4和距离深度图像左边缘最远的建筑物区域的中心点5之间选取，每个分割线的移动范围均为L，分割线的具体位置可根据实际情况进行调整，直到每个子块区域中均包含候选区域二的建筑物区域，在本实施例中，2和3为最终得到的两条分割线，12、13和14为最终划分得到的3个子块区域。需要说明的是，这里每个子块区域中所包含的建筑物区域可以指包括该建筑物的建筑物区域所占网格的所有列，也可以指包括该建筑物的建筑物区域所占网格的部分列。

在本实施例中，取M＝3，也就是将候选区域二划分为三个子块区域，三个子块区域分别为

其中动态划分可根据实际进行调整，每个图像中的建筑物不同所划分的区域也会发生变化。在将候选区域二划分为M个子块区域之后，将RGB图像也划分为相同的M个感兴趣区域，其中RGB图像的M个感兴趣区域与候选区域二中的M个子块区域相对应。则在本实施例中，由于将候选区域二划分为三个子块区域，因此也将RGB图像划分为相同的三个子块区域。

(5)根据RGB图像的各个子块区域中的各个感兴趣区域中的各个建筑物，确定RGB图像的各个子块区域中的最佳建筑物，进而在最佳建筑物中确定最佳局部区域。

(5.1)将RGB图像的各个子块区域中的各个感兴趣区域中的各个建筑物分别划分成多个宫格区域，并在每个宫格区域中确定一个局部区域，计算各个建筑物的每个宫格区域中所确定的局部区域的面积，进而得到每个建筑物对应的所有面积的方差。

为了从每块子块区域中筛选出最佳的建筑物，并在每块最佳建筑物中筛选出最佳局部区域，首先需要使用预先构建并训练好的目标检测网络获得建筑物的局部区域信息，即待检测局部区域的图像输入到目标检测网络中，由目标检测网络输出图像中各个局部区域的包围框中心点和包围框宽高尺寸。由于建筑物中都设置有窗户，且所有窗口都整齐排列，为了便于计算图像的果冻效应，所以在本实施例中，取局部区域为窗户区域。其中，用于对图像中的局部区域进行检测的目标检测网络的构建和训练过程如下：

利用DNN网络构建目标检测网络，该目标检测网络为Encoder-Decoder编码解码的结构，所采用的loss函数为均方差损失函数。在构建好目标检测网络后，通过收集大量的窗户区域，获取训练数据集，该训练数据集分为训练集和验证集，将训练数据集中各个图像的局部区域的包围框的中心点采用热斑的形式标注在图像中，标注出对应的(x_i，y_i)坐标后，使用高斯核进行模糊处理，得到对应热斑，其中x_i为图像中某个局部区域的中心点对应的横坐标，y_i为图像中该局部区域的中心点对应的纵坐标。并将各个图像的局部区域的包围框的宽高尺寸标注为(w，h)，w为包围框所占网格的列数，h为包围框所占网格的行数。在对训练数据集标注完成之后，采用该训练数据集对构建的目标检测网络进行训练，从而得到训练好的目标检测网络。

需要说明的是，本步骤的目的是利用预先构建并训练好的目标检测网络，来检测图像中的各个局部区域，也就是窗户区域，以得到每个子块区域中建筑物的所有的窗户区域的中心点坐标和宽高尺寸，而构建并训练目标检测网络的关键是根据应用需要，确定出网络的模型结构，本实施例的目标检测网络的结构为Encoder-Decoder编码解码结构，确定网络的训练数据集和标签数据，而至于训练的详细过程属于现有技术，此处不再进行详细描述。

对于每个子块区域中的每个建筑物，类似于大小不同距离不同的棋盘格，为保证后续准确检测到图像的果冻效应指标，选择其中最为规矩的棋盘格作为分析果冻效应的建筑物。本实施例中在每个子块区域中把每个建筑物划分为九宫格，也就是将每个建筑物均分为九份，在每个宫格里任意选择其中一个窗户，共选择出九个窗户，至此可将每个建筑物均选择出九个窗户。计算选择的九个窗户之间的面积的方差，以面积的离散程度来表示窗户相似性的大小，以窗户间的相似性为依据，判断棋盘格的规矩程度。每个建筑物中的九个窗口的面积的方差计算公式为：

其中，δ_s为建筑物中选择的九个窗户之间的面积的方差，s_i为建筑物中选择的第i个窗户的面积，s_i＝w_i*h_i，w_i和h_i分别为建筑物中选择的第i个窗户所占网格的列数和行数，

为建筑物中选择的九个窗户的面积的平均值。

(5.2)将各个子块区域中最小方差所对应的建筑物作为最佳建筑物，并将最佳建筑物中的面积最大的局部区域作为最佳局部区域。

通过上述方式，可以得到每个建筑物所对应的方差，方差δ_s越小，则建筑物内各窗口间的相似性越高，建筑物的规矩程度越高，越有利于果冻效应检测。在每个子块区域中寻找出窗户面积方差最小的棋盘格，将其作为最佳棋盘格，也即选择出最佳的建筑物。

在果冻效应检测中，成像较大的窗户区域可以更准确的判断出果冻效应的量化指标，可以提高对果冻效应的检测精度。因此，在最佳建筑物中，根据每个窗户的宽高特征大小，计算出最佳建筑物区域中每个窗户的大小，选取最佳建筑物在RGB图像中成像最大的窗户区域，作为分析果冻效应量化指标的区域，即最佳局部区域，也就是最佳窗户区域。

至此，从每个子块区域中分别提取出分析图像果冻效应量化指标的最佳窗户区域，也即从RGB图像的三个子块区域

中提取出对应的三个最佳窗户区域，记为

同样的，在与RGB图像相对应的深度图像的三个子块区域

中也提取出对应的三个最佳窗户区域，记为

后续根据RGB图像对应的三个最佳窗户区域

与深度图像对应的三个最佳窗户区域

之间的不同之处，来度量RGB图像的果冻效应严重程度。

(6)根据RGB图像中各个子块区域中的最佳局部区域和N个局部区域以及深度图像中各个子块区域中的对应的最佳局部区域和N个局部区域，确定每个子块区域对应的果冻效应量化指标。

(6.1)分别获取RGB图像和深度图像中所对应的各个子块区域的最佳局部区域和N个局部区域的面积、中心点坐标、像素方差和宽高比。

本实施例以RGB图像中的其中一个子块区域

与其在深度图像中相对应的一个子块区域

为例，对获取RGB图像和深度图像中所对应的各个子块区域的最佳局部区域和N个局部区域的面积、中心点坐标、像素方差和宽高比的详细过程进行说明。

由于N个局部区域为距离最佳窗户区域最近的窗户区域，所以为了兼顾运算量和准确性，使运算量较小并且使果冻效应量化指标较为准确，本实施例中取N＝2。

RGB图像中的子块区域

对应的最佳窗户区域为

寻找距离最佳窗户区域

最近的相邻两个窗户区域，分别记为

计算RGB图像中子块区域

的窗户区域

对应的面积，分别为S_i，S_j，S_k；每个窗户区域

对应的中心点坐标，分别为(x_i,y_i)、(x_j,y_j)、(x_k,y_k)；每个窗户区域

对应的像素方差，分别为δ_i，δ_j，δ_k；每个窗户区域

对应的宽高比，分别为a_i,a_j,a_k。其中，窗户区域的像素方差计算公式如下：

其中，δ为窗户区域的像素方差，K为窗户区域中的总像素个数，x_r为窗户区域中第r个像素的像素值，

为窗户区域中的所有像素的像素均值。

同理，深度图像中的子块区域

对应的最佳窗户区域为

寻找距离最佳窗户区域

最近的相邻两个窗户区域，分别记为

计算深度图像中子块区域

的窗户区域

对应的面积，分别为S_ri，S_rj，S_rk；每个窗户区域

对应的中心点坐标，分别为(x_ri,y_ri)，(x_rj,y_rj)，(x_rk,y_rk)；每个窗户区域

对应的像素方差，分别为δ_ri，δ_rj，δ_rk；每个窗户区域

对应的宽高比，分别为a_ri，a_rj，a_rk。

(6.2)分别计算RGB图像和深度图像中所对应的各个子块区域的最佳局部区域和N个局部区域之间的面积差值、中心点距离、像素方差差值和宽高比差值。

本实施例同样以RGB图像中的其中一个子块区域

与其在深度图像中相对应的一个子块区域

为例，对计算RGB图像和深度图像中所对应的各个子块区域的最佳局部区域和N个局部区域之间的面积差值、中心点距离、像素方差差值和宽高比差值的详细过程进行说明。

计算RGB图像中的子块区域

和其相对应的深度图像中的子块区域

最佳窗户区域的面积差值记为S_u＝S_i-S_ri；中心点距离记为

像素方差差值记为δ_u＝δ_i-δ_ri；宽高比差值记为a_u＝a_i-a_ri。

同理，计算RGB图像中的子块区域

和其相对应的深度图像中的子块区域

距离最佳窗户区域最近的窗户区域的面积差值分别记为S_v＝S_j-S_rj、S_w＝S_k-S_rk；中心点距离分别记为

像素方差差值分别记为δ_v＝δ_j-δ_rj、δ_w＝δ_k-δ_rk；宽高比差值分别记为a_v＝a_j-a_rj、a_w＝a_k-a_rk。

需要说明的是，发生果冻效应之后，RGB图像上的窗户区域可能会出现不同程度的变形或偏移，面积差值反映的是RGB图像和深度图像对应的窗户区域之间大小的差异，中心点距离反映的是RGB图像和深度图像对应的窗户区域之间的中心位置的偏差，像素方差差值反映的是RGB图像和深度图像对应的窗户区域之间模糊程度的差异；宽高比反映的是RGB图像和深度图像对应的窗户区域之间的扭曲程度。面积差值、中心点距离、像素方差差值和宽高比差值均能反应图像的果冻效应严重程度，并且面积差值、中心点距离、像素方差差值和宽高比差值越大，图像的果冻效应也就越严重。

(6.3)根据RGB图像和深度图像中所对应的各个子块区域的最佳局部区域和N个局部区域之间的面积差值、中心点距离、像素方差差值和宽高比差值，计算RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值。

本实施例同样以RGB图像中的其中一个子块区域

与其在深度图像中相对应的一个子块区域

为例，对计算RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值的详细过程进行说明。

a.计算RGB图像的子块区域

和对应的深度图像子块区域

的面积差值特征值，计算公式为：

S(u,v,w)＝max(S_u,S_v,S_w)

其中，S(u,v,w)为RGB图像的子块区域

和对应的深度图像子块区域

的面积差值特征值，S_u,S_v,S_w分别为RGB图像和深度图像中子块区域的对应的窗户区域的面积差值，函数max()代表求最大值的函数。

b.计算RGB图像的子块区域

和对应的深度图像子块区域

的中心点距离特征值，计算公式为：

d(u,v,w)＝max(d_u,d_v,d_w)

其中，d(u,v,w)为RGB图像的子块区域

和对应的深度图像子块区域

的中心点距离特征值，d_u,d_v,d_w分别为RGB图像和深度图像中子块区域的对应的窗户区域的中心点距离。

c.计算RGB图像的子块区域

和对应的深度图像子块区域

的像素方差差值特征值，计算公式为：

δ(u,v,w)＝max(δ_u,δ_v,δ_w)

其中，δ(u,v,w)为RGB图像的子块区域

和对应的深度图像子块区域

的像素方差差值特征值，δ_u,δ_v,δ_w分别为RGB图像和深度图像中子块区域的对应的窗户区域的像素方差差值。

d.计算RGB图像的子块区域

和对应的深度图像子块区域

的宽高比差值特征值，计算公式为：

H(u,v,w)＝max(a_u,a_v,a_w)

其中，H(u,v,w)为RGB图像的子块区域

和对应的深度图像子块区域

的宽高比差值特征值，a_u,a_v,a_w分别为RGB图像和深度图像中子块区域的对应的窗户区域的宽高比差值。

(6.4)根据RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值，确定每个子块区域对应的果冻效应量化指标。

同样以RGB图像中的其中一个子块区域

与其在深度图像中相对应的一个子块区域

为例，对确定每个子块区域对应的果冻效应量化指标的详细过程进行说明。

分别对上述得到的S(u,v,w)、d(u,v,w)、δ(u,v,w)和H(u,v,w)进行归一化处理，并设定相对应的第一权重为α＝0.2、第二权重为β＝0.3、第三权重为γ＝0.2、第四权重为θ＝0.3，各个权重值可根据实际情况调整。根据归一化后的S(u,v,w)、d(u,v,w)、δ(u,v,w)和H(u,v,w)以及相应的权值，得到的子块区域

对应的果冻效应量化指标

为：

至此，可根据上述方法得到的子块区域

的果冻效应量化指标值，分别计算剩余M-1个子块区域的果冻效应量化指标值，即可得到每个子块区域对应的果冻效应量化指标。

(7)根据每个子块区域对应的果冻效应量化指标，计算总果冻效应量化指标值，并根据总果冻效应量化指标值，确定RGB图像的果冻效应严重程度。

根据步骤(6)所确定的这M个子块区域的果冻效应量化指标值，得到总果冻效应量化指标值为：

其中，σ为总果冻效应量化指标值，M为子块区域的个数，

为第i个子块区域对应的果冻效应量化指标值。

由于RGB图像存在果冻效应，所以根据得到的总果冻效应量化指标值可得到RGB图像的果冻效应严重程度，根据图像的果冻效应的严重程度，保留合适的图像，方便测绘人员在进行城市测绘时对图像的筛选，为无人机测绘过程提供了参考依据。本实施例对RGB图像的果冻效应量化指标设置指标阈值T＝0.6，当总果冻效应量化指标值σ>T时，本实施例将判断RGB图像的果冻效应过于严重，采集的RGB图像数据严重偏离真实数据，数据可信度较低，将该RGB图像数据删除；当总果冻效应量化指标值σ≤T时，本实施例判定RGB图像的果冻效应不严重，可以根据STN空间变换网络对RGB图像进行修复。由于STN空间变换网络对图像的修复过程为现有技术，此处不再赘述。

本实施例还提供了一种基于人工智能的相机果冻效应检测系统，包括处理器和存储器，处理器用于处理存储在存储器中的指令，以实现上述的基于人工智能的相机果冻效应检测方法。由于该基于人工智能的相机果冻效应检测方法已经在上述内容中进行了详细介绍，此处不再赘述。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的相机果冻效应检测方法，其特征在于，包括以下步骤：

获取相同视角和范围的三维点云数据和RGB图像，并获取三维点云数据对应的深度图像；

将所述三维点云数据划分成多个分区域，并根据各个分区域内的点云的纵坐标，确定各个候选区域一；

在所述深度图像中确定各个候选区域一对应的深度区域，进而根据各个深度区域中的各个建筑物的大小，在各个深度区域中筛选出候选区域二；

将深度图像划分为M个子块区域，每个子块区域中均包含至少一个候选区域二中的建筑物，并将RGB图像划分为相同的子块区域，同时获取RGB图像的每个子块区域中的各个感兴趣区域，所述感兴趣区域为深度图像中的同一子块区域的候选区域二所对应的区域；

将RGB图像的各个子块区域中的各个感兴趣区域中的建筑物与深度图像的各个子块区域中的各个候选区域二中的建筑物进行比较，确定每个子块区域对应的果冻效应量化指标；

根据每个子块区域对应的果冻效应量化指标，计算总果冻效应量化指标值，并根据总果冻效应量化指标值，确定RGB图像的果冻效应严重程度。

2.根据权利要求1所述的基于人工智能的相机果冻效应检测方法，其特征在于，确定每个子块区域对应的果冻效应量化指标的步骤包括：

根据RGB图像的各个子块区域中的各个感兴趣区域中的各个建筑物，确定RGB图像的各个子块区域中的最佳建筑物，进而在所述最佳建筑物中确定最佳局部区域以及距离最佳局部区域最近的N个局部区域；

根据深度图像的各个子块区域中的各个候选区域二中的各个建筑物以及RGB图像的各个子块区域中的最佳建筑物，在深度图像的各个子块区域中确定对应的最佳建筑物，进而根据最佳局部区域以及距离最佳局部区域最近的N个局部区域，在深度图像的各个子块区域对应的最佳建筑物中确定对应的最佳局部区域以及N个局部区域；

根据RGB图像中各个子块区域中的最佳局部区域和N个局部区域以及深度图像中各个子块区域中的对应的最佳局部区域和N个局部区域，确定每个子块区域对应的果冻效应量化指标。

3.根据权利要求2所述的基于人工智能的相机果冻效应检测方法，其特征在于，根据RGB图像的各个子块区域中的各个感兴趣区域中的建筑物，确定RGB图像的各个子块区域中的最佳建筑物，进而在所述最佳建筑物中确定最佳局部区域的步骤包括：

将RGB图像的各个子块区域中的各个感兴趣区域中的各个建筑物分别划分成多个宫格区域，并在每个宫格区域中确定一个局部区域；

计算各个建筑物的每个宫格区域中所确定的局部区域的面积，进而得到每个建筑物对应的所有面积的方差；

将各个子块区域中最小方差所对应的建筑物作为最佳建筑物，并将最佳建筑物中的面积最大的局部区域作为最佳局部区域。

4.根据权利要求2所述的基于人工智能的相机果冻效应检测方法，其特征在于，根据RGB图像中各个子块区域中的最佳局部区域和N个局部区域以及深度图像中各个子块区域中的对应的最佳局部区域和N个局部区域，确定每个子块区域对应的果冻效应量化指标的步骤包括：

分别获取RGB图像和深度图像中所对应的各个子块区域的最佳局部区域和N个局部区域的面积、中心点坐标、像素方差和宽高比；

分别计算RGB图像和深度图像中所对应的各个子块区域的最佳局部区域和N个局部区域之间的面积差值、中心点距离、像素方差差值和宽高比差值；

根据RGB图像和深度图像中所对应的各个子块区域的最佳局部区域和N个局部区域之间的面积差值、中心点距离、像素方差差值和宽高比差值，计算RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值；

根据RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值，确定每个子块区域对应的果冻效应量化指标。

5.根据权利要求4所述的基于人工智能的相机果冻效应检测方法，其特征在于，根据RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值，确定每个子块区域对应的果冻效应量化指标的步骤包括：

分别获取RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值所对应的第一权值、第二权值、第三权值和第四权值；

对RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值进行归一化处理；

根据第一权值、第二权值、第三权值和第四权值以及归一化处理的RGB图像和深度图像中各个子块区域的面积差值特征值、中心点距离特征值、像素方差差值特征值和宽高比差值特征值，计算每个子块区域对应的果冻效应量化指标值。

6.根据权利要求1-5中任一项所述的基于人工智能的相机果冻效应检测方法，其特征在于，计算总果冻效应量化指标值对应的计算公式为：

其中，σ为总果冻效应量化指标值，M为子块区域的个数，

为第i个子块区域对应的果冻效应量化指标值。

7.根据权利要求1-5中任一项所述的基于人工智能的相机果冻效应检测方法，其特征在于，根据总果冻效应量化指标值，确定RGB图像的果冻效应严重程度的步骤包括：将总果冻效应量化指标值与设定指标阈值进行比较，若总果冻效应量化指标值大于设定指标阈值，则判定RGB图像的果冻效应严重，否则判定RGB图像的果冻效应不严重。

8.根据权利要求1-5中任一项所述的基于人工智能的相机果冻效应检测方法，其特征在于，根据各个分区域内的点云的纵坐标，确定各个候选区域一的步骤包括：

确定各个分区域内的点云的纵坐标中的最大纵坐标，并将最大纵坐标与设定高程阈值进行比较；

若最大纵坐标大于设定高程阈值，则将该最大纵坐标对应的分区域中的不大于高程阈值的点云进行删除，并将该删除点云后的分区域作为候选区域一。

9.根据权利要求1-5中任一项所述的基于人工智能的相机果冻效应检测方法，其特征在于，在各个深度区域中筛选出候选区域二的步骤包括：

计算各个深度区域中的各个建筑物所占网格的行数和列数，进而计算各个深度区域中的所有建筑物所占网格的行数的平均值和列数的平均值；

若深度区域中的所有建筑物所占网格的行数均大于所占网格的行数的平均值且所占网格的列数均大于所占网格的列数的平均值，则将该深度区域作为候选区域二。

10.一种基于人工智能的相机果冻效应检测系统，其特征在于，所述系统包括存储器和处理器以及存储在存储器中并在处理器上运行的计算机程序，处理器与存储器相耦合，处理器在执行计算机程序时实现如权利要求1-9中任一项所述的基于人工智能的相机果冻效应检测方法。

Images