CN112241690B - 一种bim驱动的输水渠道航拍图像兴趣区提取方法 - Google Patents

Abstract

本发明涉及一种BIM驱动的输水渠道航拍图像兴趣区提取方法，包括以下方法步骤：步骤1渠道BIM模型可见性控制；步骤2航拍图‑BIM图像匹配；步骤3渠道BIM掩膜生成：渠道兴趣区提取。本发明方法能够避免传统兴趣区提取方法对人工先验知识的依赖，提高了输水渠道航拍图兴趣区提取的精度与效率，同时能够实现输水渠道兴趣区的批量提取与自动处理，为后续进行渠道险情图像的高效识别提供依据。

Description

一种BIM驱动的输水渠道航拍图像兴趣区提取方法

技术领域

本发明属于水利工程供水安全领域，涉及输水渠道无人机航拍图险情智能图像识别领域，是一种图像的预处理技术，尤其是一种BIM驱动的输水渠道航拍图像兴趣区提取方法。

背景技术

应用无人机对长距离输水渠道进行巡检时，产生了海量的航拍影像数据。采用机器学习、图像处理等方法能自动识别方法对渠道险情进行判断，可大幅提高航拍数据的处理效率，降低人力与时间成本。然而，输水渠道巡检航拍图像尺度大、范围广，其中渠道险情图像识别感兴趣的区域(如渠道)只占一小部分，无关的背景(周围地形、地物、天空等)却占大幅区域，增加了渠道险情图像识别的难度与工作量，难以达到预期的精度与效率。因此，有必要在图像识别前进行兴趣区提取预处理，以降低假正概率并避免无效滑窗，提高识别精度与效率。现有的兴趣区提取方法可分为基于图像处理的先验特征法和基于数据集训练的语意分割法两类。其本质上都需要大量手动图片标注或特征分析，普适性不高，不适用于布置形态多样(直段、弯段、渐变段)、附属建筑物众多(水闸、桥梁、明渠等)、与周边环境特征区别较小的输水渠道兴趣区提取。

综上，有必要研究一种适用于形态多样、建筑物众多的输水渠道的兴趣区提取方法，以在航拍图像中快速、自动地提取渠道结构兴趣区，为后续的险情智能识别提供条件。

发明内容

本发明的目的在于克服现有技术的不足之处，提供一种BIM驱动的输水渠道航拍图像兴趣区提取方法，利用巡检航拍图关联的地理标签信息和BIM模型中构件语义-空间信息的对应关系，对输水渠道航拍图进行兴趣区提取。

本发明解决其技术问题是采取以下技术方案实现的：

本发明针对当前兴趣区提取方法有赖于人工先验知识的驱动、不适用于形态多样的输水渠道兴趣区提取的问题，提出了基于BIM(building information modelling，建筑信息模型)驱动的从输水渠道航拍图中提取渠道结构兴趣区与渠内液面兴趣区的方法。

包括以下方法步骤：

步骤1：渠道BIM模型可见性控制。

根据待提取目标，即渠道的结构元素种类，对渠道BIM模型中元素的可见性进行操作，使其只显示待提取目标元素，隐藏无关的地形等背景。

步骤2：航拍图-BIM图像匹配。

具体可分为以下两个步骤：

2-1.基于空间位置进行航拍图-BIM初步匹配。从输水渠道航拍影像中可获取地理标签数据，包括储存的三维坐标、相机姿态(偏航角、俯仰角、横滚角)以及相机焦距和分辨率等，并将其转换为BIM中虚拟相机的参数。利用转换好的地理标签参数，在渠道BIM中相同位置以相同相机姿态和成像参数进行渲染，得到与航拍影像匹配的BIM图像，并将生成的渠道BIM图叠加到对应的航拍图上。

2-2.基于图像配准的航拍图-BIM精确匹配。对初步匹配得到的BIM图像进行仿射变换，包括平移、旋转、缩放和错切。上述仿射变换中的参数：旋转角度、沿两个坐标轴的平移量、缩放因子和剪切因子，可利用基于强度(intensity-based)的图像配准方法，以互信息指标最大为目标，根据配准的实际需求确定约束条件，进行优化求解得到。其中，互信息指标在本方法中表征了转换后BIM图像与航拍图像间的相似性。

步骤3：渠道BIM掩膜生成。

首先，将步骤2中精确配准后得到的渠道BIM图像由RGB图转换为灰度图，并对灰度图进行基于阈值的二值化处理，即把灰度图中灰度值小于设定阈值的像素的灰度值映射为1(即白色)，大于该阈值的映射为0(黑色)。处理后得到一幅黑白图像，其中白色区域为兴趣区，黑色区域为无关背景。

然后，对生成的二值图进行基于形态学的膨胀处理，以填补兴趣区内零星散布的黑色孔洞。形态学图像处理涉及到前景区域A(即兴趣区)与结构元素B两部分，结构元素是指以中心点为原点的3×3的像素结构。用结构元素B对二值图进行遍历扫描，当B与前景A的交集非空时，将B原点所在位置纳入前景区域，循环此操作直至遍历所有像素，即

其中，(x,y)为图像上的像素坐标；(B)_(x,y)为结构元素原点移动到(x,y)位置时所占的区域。上述操作实现了前景区域的膨胀扩大，自动填充兴趣区中的孔洞。此时得到的即为最终的兴趣区提取BIM掩膜。

步骤4：渠道兴趣区提取。

具体可分为渠道结构兴趣区提取与渠内液面兴趣区提取两个步骤。

4-1.渠道结构提取。步骤3中得到的BIM掩膜图像矩阵为(m_ij)，原航拍图的图像矩阵为(o_ij)，使两个矩阵中每个对应元素相乘，得到新矩阵(e_ij)，即为渠道结构兴趣区提取结果。其中，(m_ij)中强度值为1的像素(白色)为预估的兴趣区，强度值为0(黑色)的则为无关背景；(o_ij)中矩阵元素代表航拍图第i行j列的像素的颜色强度值。

4-2.渠内液面兴趣区提取。首先，将得到的渠道结构兴趣区图像从RGB(Red红，Green绿，blue蓝)模式转换为HSV(Hue色相,Saturation饱和度,Value明度)模式。然后，根据渠道边坡衬砌与渠内液面颜色特征的区别，采用Otsu算法(大津法)对H通道图像进行阈值分割，根据图像的直方图统计特性自适应地确定H通道图像阈值Th，并将小于Th的像素分割为背景(边坡衬砌)，而大于Th的像素划分割为前景(渠内液面)。最后，采用基于形态学的膨胀处理(同步骤3)，对分割结果进行去噪，得到的图像即为渠内液面提取的掩膜。利用该掩膜，参照步骤4-1的渠道结构兴趣区提取方法，可从渠道结构兴趣区图像中提取渠内液面兴趣区。

本发明的优点和积极效果是：

本发明方法能够避免传统兴趣区提取方法对人工先验知识的依赖，提高了输水渠道航拍图兴趣区提取的精度与效率，同时能够实现输水渠道兴趣区的批量提取与自动处理，为后续进行渠道险情图像的高效识别提供前提。

附图说明

图1为本发明方法流程图；

图2为本发明航拍图-BIM配准流程图；

图3为本发明BIM图像掩膜生成流程图；

图4为本发明基于形态学的膨胀算法原理图；

图5为本发明实施例中某工程实例航拍图渠道结构兴趣区提取结果图，其中，(a)为渠道高边坡，(b)为渠、闸、桥段；

图6为本发明渠内液面兴趣区提取流程图；

图7为本发明实施例中某工程实例渠内液面兴趣区提取结果图。

具体实施方式

下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种BIM驱动的输水渠道航拍图像兴趣区提取方法，包括以下方法步骤：

步骤1：BIM模型可见性控制。

以渠道结构为提取目标，在输水渠道BIM模型中对其可见性进行操作，隐藏无关的地形等背景元素。使得BIM场景中只显示与提取目标相关的渠道结构，而其他无关区域都呈现同意的简单色彩特征。

步骤2：航拍图-BIM图像匹配。

对无人机采集到的航拍图与步骤1中隐藏无关背景后的渠道BIM模型进行匹配，具体可分为以下两个步骤：

1.基于空间位置进行航拍图-BIM初步匹配。

无人机沿输水渠道巡检的影像中带有地理标签信息，包括无人机的三维坐标、相机的姿态(偏航角、俯仰角、横滚角)以及相机焦距和分辨率等。利用上述参数，解算对应的BIM内渲染引擎的虚拟相机参数，并根据解算后的虚拟相机参数，在相同的位置以相同的相机姿态和成像参数对BIM模型进行渲染，进而截屏获得与真实航拍图对应的BIM图像。将BIM图像叠加到真实航拍图上，即实现了初步匹配。如图2(a)所示，初步匹配后仍有小部分未对齐的部分，二者吻合度有待进一步提高。

2.基于图像配准的航拍图-BIM精确匹配。

对上述步骤中初步匹配得到的BIM图像进行仿射变换，包括平移、旋转、缩放和错切，其变换操作如式(2)所示。

式(2)中，[x_BIM y_BIM 1]^T和[x_BIMt y_BIMt 1]^T分别为变换前后的BIM图片像素的齐次坐标；

和

为转换矩阵，分别对应平移、旋转、缩放和错切操作；其中t_x和t_y分别为沿两个图像坐标轴的平移量，θ为旋转角度，s_x和s_y分别为沿着不同坐标轴的缩放银子，sh_x和sh_y分别为沿不同坐标轴的剪切因子。

上述仿射变换中的参数：t_x、t_y、θ、s_x、s_y、sh_x和sh_y，可利用基于强度(intensity-based)的图像配准方法进行优化求解得到。互信息是信息论里一种有用的信息度量，可以认为是一个随机变量中包含另一个随机变量的信息量，可用来表征转换后BIM图像与航拍图像间的相似性。本优化模型以互信息指标I(R,B)最大为目标，并根据配准的实际需求确定了约束条件，如式(3)所示。

式中，I(R,B)是航拍图与初步匹配的BIM图像间的互信息指标；航拍图和BIM图像上的像素强度分别以r和b表示，P_R(r)和P_B(b)分别代表航拍图与BIM图像像素强度的边缘分布，P_RB(r,b)为其联合概率分布；w和h分别为BIM图像的宽和高。

采用实数编码的遗传算法对上述模型求解，可得到最优的仿射变换参数。根据优化结果对BIM图像进行放射变换，得到配准后的结果，如图2(b)所示。

步骤3：BIM掩膜生成。

首先，将步骤2中精确配准后得到的BIM图像由RGB图转换为单通道的灰度图，如图3(b)所示，可按照式(4)将R(Red)、G(Green)、B(Blue)三个数值映射到灰度上：

gray＝0.2989×R+0.5870×G+0.1140×B (4)

然后，对转换好的灰度图进行基于阈值的二值化处理。以某一数值为灰度值阈值，将小于该数值的像素的灰度值映射为1(白色)，而大于该阈值的像素映射为0(黑色)。如图3(c)所示，以0.85为灰度值阈值，得到的二值图中白色部分为初步提取的渠道兴趣区，黑色则为无关背景。

最后，对生成的二值图进行基于形态学的膨胀处理，以填补兴趣区内零星散布的黑色孔洞。其原理如图4所示。形态学图像处理涉及到前景区域A与结构元素B两部分，结构元素是3×3的像素结构，其中心点为原点，即图中的中央深色像素。用结构元素B对二值图进行遍历扫描，当B与前景A的交集非空时，将B原点所在位置纳入前景区域，循环此操作直至遍历所有像素，实现前景区域的膨胀扩大，此过程可表达为式(5)。

其中，(x,y)为图像上的像素坐标；(B)_(x,y)为结构元素原点移动到(x,y)位置时所占的区域。

以二值图上提取的兴趣区为前景区域A，采用Matlab图像处理工具包的imfill()函数进行膨胀处理，即可实现了兴趣区孔洞的自动填充，如图3(d)即为图3(c)膨胀孔洞填充后的结果，也是最终的兴趣区提取BIM掩膜。

步骤4：渠道兴趣区提取。

具体可分为渠道结构兴趣区提取与渠内液面兴趣区提取两个步骤。

4-1.渠道结构提取。

步骤3中获得了BIM掩膜(m_ij)，若其第i行第j列的元素m_ij值为0则代表该位置的像素为无关背景，为1则代表该位置的像素为预估的兴趣区。(o_ij)代表原航拍图的图像矩阵，矩阵元素o_ij为航拍图位于i行j列的像素的颜色强度值。令(m_ij)与(o_ij)中每个对应的元素相乘，可得到一个新矩阵(e_ij)，即为渠道结构兴趣区的提取结果，达到了在维持原航拍图中兴趣区不变的同时，把无关背景变为统一的黑色区域的效果。

以图像分割和目标检测领域常用的交并比指标(IoU)来确定兴趣区真值和预测值间的重叠程度，见式(6)：

其中，A(x)表示区域x的面积，R_gro与R_ext分别表示兴趣区真值和本发明方法提取兴趣区预测值，其面积通过区域内像素量来计算。IoU越大，预测兴趣区越准确，一般认为IoU超过50％即可归为正确的结果。

以某工程为例，按照上述方法从航拍图片中对不同布置形态的渠道结构进行兴趣区提取并计算IoU，结果如图5所示，所有测试样例的提取IoU均大于控制基准值50％，说明了本发明方法的有效性。

4-2.渠内液面兴趣区提取。

根据渠道边坡衬砌与渠内液面颜色特征的区别来提取渠内液面兴趣区，其提取流程如图6所示。首先，将获得的渠道结构兴趣区提取图像从RGB色彩模式转换为HSV色彩模式，并分离H(色相)、S(饱和度)、V(明度)三个通道(见图6(a))，以避免光照、阴影等外在因素的影响。然后，采用Otsu(大津法)对H通道图像进行阈值分割。Otsu可根据图像的直方图统计特性自适应地确定H通道图像阈值Th，并将小于Th的像素划为背景，而大于Th的像素划为前景。如图6(b)中，Otsu自适应确定阈值为71，并依据此划分前景(浅色部分)和后景(深色部分)。阈值分割的结果存在孔洞等不连续噪声，如图6(c)中形态学处理前图像所示。为此，采用形态学操作，如膨胀(其原理见步骤3)等，对分割结果进行去噪后处理，处理结果如图6(c)右下角所示，处理后掩膜中的孔洞得到了填充。最后，以去噪后的图像为渠内液面提取的掩膜，利用得到的掩膜，参照渠道结构兴趣区提取方法，即可从渠道结构兴趣区图像中提取渠内液面兴趣区。

以某工程为例，按照上述方法对渠内液面兴趣区进行提取并计算其IoU，结果如图7所示，所有测试样例提取IoU值都超过了90％，均值为94.6％，验证了本发明方法的有效性。

尽管为说明目的公开了本发明的实施例，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例所公开的内容。

Claims (2)

1.一种BIM驱动的输水渠道航拍图像兴趣区提取方法，其特征在于：包括以下方法步骤：

步骤1渠道BIM模型可见性控制：

根据待提取目标，即渠道的结构元素种类，对渠道BIM模型中元素的可见性进行操作，使其只显示待提取目标元素，隐藏无关的地形背景，

步骤2航拍图-BIM图像匹配：

先基于空间位置进行航拍图-BIM初步匹配，之后基于图像配准的航拍图-BIM精确匹配，

具体方法步骤如下：

(1)基于空间位置进行航拍图-BIM初步匹配

无人机沿输水渠道巡检的影像中带有地理标签信息，包括无人机的三维坐标、相机的姿态偏航角、俯仰角、横滚角以及相机焦距和分辨率，利用上述参数，解算对应的BIM内渲染引擎的虚拟相机参数，并根据解算后的虚拟相机参数，在相同的位置以相同的相机姿态和成像参数对BIM模型进行渲染，进而截屏获得与真实航拍图对应的BIM图像，将BIM图像叠加到真实航拍图上，即实现了初步匹配；

(2)基于图像配准的航拍图-BIM精确匹配

对上述步骤中初步匹配得到的BIM图像进行仿射变换，包括平移、旋转、缩放和错切，其变换操作如式(2)所示，

式(2)中，[x_BIM y_BIM 1]^T和[x_BIMt y_BIMt 1]^T分别为变换前后的BIM图片像素的齐次坐标；

和

为转换矩阵，分别对应平移、旋转、缩放和错切操作；其中t_x和t_y分别为沿两个图像坐标轴的平移量，θ为旋转角度，s_x和s_y分别为沿着不同坐标轴的缩放银子，sh_x和sh_y分别为沿不同坐标轴的剪切因子，

上述仿射变换中的参数：t_x、t_y、θ、s_x、s_y、sh_x和sh_y，可利用基于强度intensity-based的图像配准方法进行优化求解得到，互信息是信息论里一种有用的信息度量，可以认为是一个随机变量中包含另一个随机变量的信息量，可用来表征转换后BIM图像与航拍图像间的相似性，本优化模型以互信息指标I(R,B)最大为目标，并根据配准的实际需求确定了约束条件，如式(3)所示，

式中，I(R,B)是航拍图与初步匹配的BIM图像间的互信息指标；航拍图和BIM图像上的像素强度分别以r和b表示，P_R(r)和P_B(b)分别代表航拍图与BIM图像像素强度的边缘分布，P_RB(r,b)为其联合概率分布；w和h分别为BIM图像的宽和高，采用实数编码的遗传算法对上述模型求解，可得到最优的仿射变换参数，根据优化结果对BIM图像进行放射变换，得到配准后的结果；

步骤3渠道BIM掩膜生成：

首先，将步骤2中精确配准后得到的渠道BIM图像由RGB图转换为灰度图，并对灰度图进行基于阈值的二值化处理，即把灰度图中灰度值小于设定阈值的像素的灰度值映射为1，即白色，大于该阈值的映射为0，黑色，处理后得到一幅黑白图像，其中白色区域为兴趣区，黑色区域为无关背景；

然后，对生成的二值图进行基于形态学的膨胀处理，以填补兴趣区内零星散布的黑色孔洞，形态学图像处理涉及到前景区域A，即兴趣区，与结构元素B两部分，结构元素是指以中心点为原点的3×3的像素结构，用结构元素B对二值图进行遍历扫描，当B与前景A的交集非空时，将B原点所在位置纳入前景区域，循环此操作直至遍历所有像素，即

其中，(x,y)为图像上的像素坐标；(B)_(x,y)为结构元素原点移动到(x,y)位置时所占的区域，上述操作实现了前景区域的膨胀扩大，自动填充兴趣区中的孔洞，此时得到的即为最终的兴趣区提取BIM掩膜；

步骤4：渠道兴趣区提取：

可分为渠道结构兴趣区提取与渠内液面兴趣区提取两个步骤：

步骤4中渠道结构提取，操作方法如下：

将步骤3中得到的BIM掩膜图像矩阵m_ij，原航拍图的图像矩阵o_ij，使两个矩阵中每个对应元素相乘，得到新矩阵e_ij，即为渠道结构兴趣区提取结果，其中，m_ij中强度值为1的像素白色为预估的兴趣区，强度值为0黑色的则为无关背景；o_ij中矩阵元素代表航拍图第i行j列的像素的颜色强度值，

将步骤4中渠内液面兴趣区提取，操作方法如下：

首先，将得到的渠道结构兴趣区图像从RGB模式转换为HSV模式，然后，根据渠道边坡衬砌与渠内液面颜色特征的区别，采用Otsu算法对H通道图像进行阈值分割，根据图像的直方图统计特性自适应地确定H通道图像阈值Th，并将小于Th的像素分割为背景，而大于Th的像素划分割为前景，最后，采用步骤3基于形态学的膨胀处理，对分割结果进行去噪，得到的图像即为渠内液面提取的掩膜，利用该掩膜，参照渠道结构兴趣区提取方法，可从渠道结构兴趣区图像中提取渠内液面兴趣区。

2.根据权利要求1所述的一种BIM驱动的输水渠道航拍图像兴趣区提取方法，其特征在于：所述的背景为边坡衬砌，所述的前景为渠内液面。

Images