CN112052751A - 一种安全壳水膜覆盖率检测方法 - Google Patents

Abstract

本发明的目的在于公开一种安全壳水膜覆盖率检测方法，与现有技术相比，有效克服现有红外测量和人工测量手段在准确性和实时性上的不足，能够直接利用机器人拍摄的连续视频序列，快速、准确地测量水膜覆盖率；充分考虑安全壳表面的曲面特性，引入曲面成像校正模型，将不规则成像结果投影至二维平面，能够反映水膜覆盖的真实区域、尺寸，提高水膜覆盖率的测量精度，实现本发明的目的。

Description

一种安全壳水膜覆盖率检测方法

技术领域

本发明涉及一种安全壳水膜覆盖率检测方法，特别涉及一种基于移动机器人连续视频序列的安全壳水膜覆盖率检测方法。

背景技术

目前的核电站通常采用双层安全壳结构，外层安全壳为混凝土结构的屏蔽层，内层为钢制安全壳，主要用于把核电站内部的热量传导至钢制安全壳外部，然后通过空气对流扩散至外界环境。为提高热量传输效率，通常在钢制安全壳顶部加装冷却水箱，冷却水在重力的作用下沿安全壳外壁流动，达到加快热量散发的目的。

因此，冷却水在安全壳上形成足够覆盖率的水膜，对于保证核电站的安全运行具有重要意义。

现有的钢制安全壳水膜覆盖率测量通常在核电站系统投入运行前的调试阶段进行，为确保安全壳在整个寿命期内的安全、稳定，核电站投入运行之后通常需要定期开展冷却水膜覆盖情况测试。常用的水膜覆盖率测量手段包括人工测量和红外测量，前者主观性较强，且需要测量人员进入核电站内、外安全壳之间的狭窄空间，人员移动不可避免地受钢制安全壳表面空气导流板的限制，容易影响测量精度；而后者的精度易受冷却水与安全壳接触面不均匀温差变化的影响，存在一定的局限性。

因此，特别需要一种安全壳水膜覆盖率检测方法，以解决上述现有存在的问题。

发明内容

本发明的目的在于提供一种安全壳水膜覆盖率检测方法，针对现有技术的不足，能够对安全壳表面进行成像校正、实时特征提取和连续帧拼接，进而以拼接后的二维全景图为基础，实现水膜覆盖区域智能分割。

本发明所解决的技术问题可以采用以下技术方案来实现：

一种安全壳水膜覆盖率检测方法，其特征在于，它包括如下步骤：

步骤1：利用移动机器人配备的光学相机，以向下斜视角度采集安全壳表面的RGB图像，作为后续算法步骤的输入信息；

步骤2：将曲面成像投影至二维平面进行图像校正；

步骤3：将移动机器人拍摄的连续、重叠图像拼接成描述安全壳表面信息的全景图像；

步骤4：在虚拟环境下搭建安全壳的三维模型，并进行真实场景渲染，快速地生成大规模虚拟样本，利用大规模虚拟样本(有标记信息)和少量真实采集的样本(有标记信息)，共同训练水膜区域分割网络；

步骤5：根据水膜语义分割结果，统计水膜覆盖区域的像素个数，计为area_c；安全壳表面经校正、拼接之后的全景图像应表现为规则矩形，其包含的像素个数为area_w，安全壳表面的水膜覆盖率γ表示为：γ＝area_c/area_w。

在本发明的一个实施例中，在安全壳上、下方分别选定一个环形区域，作为水膜覆盖率测量的基准线，并利用改进Hough变换在成像图像中实现基准线的提取。由于安全壳曲状表面的影响，基准线表现为弯曲线，在此采用三次多项式进行拟合：

w_i＝α₃h_i ³+α₂h_i ²+α₁h_i ¹+α₀

其中，w_i,h_i分别表示基准线上第i个像素点在图像坐标系下的横、纵坐标；α_i,i＝0,1,2,3表示各项系数。

在本发明的一个实施例中，在二维平面中，基准线应表现为一条竖直直线，定义为：w＝w₀，w₀表示基准线第一个像素点的横坐标值。对于基准曲线上的像素点(w_i,h_i)以及图像中与该像素点位于同一行的所有像素点，其在水平方向的校正位移为w₀-w_i；通过对不同行的像素点施加不同的校正位移，达到图像校正的目的。

在本发明的一个实施例中，步骤3的具体步骤如下：

(1)特征点提取：采用加速鲁棒特征(SURF)提取图像中的关键特征点；

(2)特征点匹配：采用归一化互相关系数衡量两幅图像中特征点的相似度，归一化互相关系数γ定义如下：

其中，

表示图像M中特征点(x₁,y₁)处的像素值，

表示图像N中特征点(x₂,y₂)处的像素值。

表示以(x₁,y₁)为左上角顶点，宽度为w，高度为h的矩形区域的像素点均值，

表示以(x₂,y₂)为左上角顶点，宽度为w，高度为h的矩形区域的像素点均值；

(3)图像配准：利用RANSAC(Random Sample Consensus)算法筛选、校正异常匹配特征点，并计算两幅图像间的单应性矩阵；

(4)图像融合：图像重叠区域的像素值由两幅图像对应位置的像素值加权求和，融合得到，表示为：

其中α表示权重系数，M_p,N_p分别表示像素点p在两幅图像中的对应像素值，

为融合后的像素值。

在本发明的一个实施例中，步骤4中水膜区域分割包括如下步骤：

(1)虚拟成像数据生成：利用3D MAX等三维建模软件构建钢制安全壳的三维等比缩小模型，并还原主要结构部件在模型上的分布；构建贴片状水膜几何模型，其颜色与实际水膜覆盖部分类似，将其随机附着于安全壳三维模型表面，达到模拟水膜覆盖的目的；固定模型中虚拟相机的观测位置和角度，生成当前配置下包含水膜区域的安全壳表面虚拟成像图；

(2)跨场景域水膜语义分割：采用U-Net模型作为水膜分割的基础网络，为消除虚拟样本和真实样本之间的特征分布差异，引入场景风格抽取模块；

对于输入图像x，首先使用场景风格抽取模块获得无风格的图像内容信息，该模块由全卷积网络(FCN,Fully Convolutional Networks)构成，经多次编、解码操作，生成图像的内容fcn(x)，通过去除图像内容，可得到图像的风格信息，表示为：x-fcn(x)；

将图像内容fcn(x)作为U-Net模型的输入，得到图像的水膜分割结果，分割效果由区域损失l_region衡量；将图像风格x-fcn(x)与输入图像x的风格进行相似度对比，其效果由风格损失l_style衡量，则水膜语义分割网络的损失函数表示为：l_loss＝l_region+l_style，通过最小化l_loss，即可实现模型的训练过程。

本发明的安全壳水膜覆盖率检测方法，与现有技术相比，有效克服现有红外测量和人工测量手段在准确性和实时性上的不足，能够直接利用机器人拍摄的连续视频序列，快速、准确地测量水膜覆盖率；充分考虑安全壳表面的曲面特性，引入曲面成像校正模型，将不规则成像结果投影至二维平面，能够反映水膜覆盖的真实区域、尺寸，提高水膜覆盖率的测量精度，实现本发明的目的。

本发明的特点可参阅本案图式及以下较好实施方式的详细说明而获得清楚地了解。

附图说明

图1为本发明的安全壳水膜覆盖率检测方法的流程示意图；

图2为本发明的移动机器人成像结果校正前后图像的示意图；

图3为本发明的水膜区域分割网络的框架示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

实施例

如图1至图3所示，本发明的安全壳水膜覆盖率检测方法，它包括如下步骤：

1.图像采集：

利用移动机器人配备的光学相机，以向下斜视角度采集安全壳表面的RGB图像，作为后续算法步骤的输入信息。

2.图像校正：

考虑安全壳表面的曲面特性以及相机的倾斜观测视角，成像图像中安全壳表面的细节特征会出现弯曲、变形等现象，为提高水膜覆盖率检测精度，需要将曲面成像投影至二维平面，实现图像校正。

具体地，在安全壳上、下方分别选定一个环形区域，作为水膜覆盖率测量的基准线，并利用改进Hough变换在成像图像中实现基准线的提取。由于安全壳曲状表面的影响，基准线表现为弯曲线，在此采用三次多项式进行拟合：

w_i＝α₃h_i ³+α₂h_i ²+α₁h_i ¹+α₀

其中，w_i,h_i分别表示基准线上第i个像素点在图像坐标系下的横、纵坐标；α_i,i＝0,1,2,3表示各项系数。

在二维平面中，基准线应表现为一条竖直直线，定义为：w＝w₀，w₀表示基准线第一个像素点的横坐标值。对于基准曲线上的像素点(w_i,h_i)以及图像中与该像素点位于同一行的所有像素点，其在水平方向的校正位移为w₀-w_i。通过对不同行的像素点施加不同的校正位移，达到图像校正的目的。

3.图像拼接及融合：

图像拼接目的是将移动机器人拍摄的连续、重叠图像拼接成描述安全壳表面信息的全景图像，主要由特征点提取、特征点匹配、图像配准和图像融合构成。

(1)特征点提取

考虑准确度和实时性的影响，采用加速鲁棒特征(SURF)提取图像中的关键特征点。

(2)特征点匹配

采用归一化互相关系数衡量两幅图像中特征点的相似度，归一化互相关系数γ定义如下：

其中，

表示图像M中特征点(x₁,y₁)处的像素值，

表示图像N中特征点(x₂,y₂)处的像素值。

表示以(x₁,y₁)为左上角顶点，宽度为w，高度为h的矩形区域的像素点均值，

表示以(x₂,y₂)为左上角顶点，宽度为w，高度为h的矩形区域的像素点均值。

(3)图像配准

利用RANSAC(Random Sample Consensus)算法筛选、校正异常匹配特征点，并计算两幅图像间的单应性矩阵。

(4)图像融合

图像重叠区域的像素值由两幅图像对应位置的像素值加权求和，融合得到，表示为：

其中α表示权重系数，M_p,N_p分别表示像素点p在两幅图像中的对应像素值，

为融合后的像素值。

4.水膜区域分割：

真实水膜覆盖场景图像的获取依赖于移动机器人的预采样，且需要执行水箱放水操作，以构建水膜场景，样本的采集过程繁琐、成本高昂，并会对安全壳本身的结构特性造成一定影响。因此，首先在虚拟环境下搭建安全壳的三维模型，并进行真实场景渲染，快速地生成大规模虚拟样本；然后利用大规模虚拟样本(有标记信息)和少量真实采集的样本(有标记信息)，共同训练水膜区域分割网络，实现高效、鲁棒的水膜区域分割效果。

(1)虚拟成像数据生成

首先，利用3D MAX等三维建模软件构建钢制安全壳的三维等比缩小模型，并还原主要结构部件在模型上的分布；然后构建贴片状水膜几何模型，其颜色与实际水膜覆盖部分类似，将其随机附着于安全壳三维模型表面，达到模拟水膜覆盖的目的；最后，固定模型中虚拟相机的观测位置和角度，生成当前配置下包含水膜区域的安全壳表面虚拟成像图。

为提高虚拟成像结果的多样性，对如下参数进行随机调整：安全壳表面纹理、水膜贴图大小和形状、相机观测位置和角度，以及光照方向和强度等。

(2)跨场景域水膜语义分割

采用U-Net模型作为水膜分割的基础网络，为消除虚拟样本和真实样本之间的特征分布差异，引入场景风格抽取模块，其目的是降低输入样本风格对分割结果的影响。

对于输入图像x，首先使用场景风格抽取模块获得无风格的图像内容信息，该模块由全卷积网络(FCN,Fully Convolutional Networks)构成，经多次编、解码操作，生成图像的内容fcn(x)。通过去除图像内容，可得到图像的风格信息，表示为：x-fcn(x)。

然后，将图像内容fcn(x)作为U-Net模型的输入，得到图像的水膜分割结果，分割效果由区域损失l_region衡量；将图像风格x-fcn(x)与输入图像x的风格进行相似度对比，其效果由风格损失l_style衡量。则水膜语义分割网络的损失函数表示为：

l_loss＝l_region+l_style

通过最小化l_loss，即可实现模型的训练过程。

5.水膜覆盖率测量：

根据水膜语义分割结果，统计水膜覆盖区域的像素个数，计为area_c。安全壳表面经校正、拼接之后的全景图像应表现为规则矩形，其包含的像素个数为area_w，因此安全壳表面的水膜覆盖率γ表示为：γ＝area_c/area_w。

本发明的方法易于实现，其应用价值主要体现在以下几个方面：

1、在操作环境高度受限条件下能够有效保证安全壳水膜覆盖率测量的精度和鲁棒性；

2、无需安装位置固定、复杂的传统测量设备，仅利用在安全壳表面移动的机器人，应用部署方便，后期功能升级、维护成本低廉。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种安全壳水膜覆盖率检测方法，其特征在于，它包括如下步骤：

步骤1：利用移动机器人配备的光学相机，以向下斜视角度采集安全壳表面的RGB图像，作为后续算法步骤的输入信息；

步骤2：将曲面成像投影至二维平面进行图像校正；

步骤3：将移动机器人拍摄的连续、重叠图像拼接成描述安全壳表面信息的全景图像；

步骤4：在虚拟环境下搭建安全壳的三维模型，并进行真实场景渲染，快速地生成大规模虚拟样本，利用大规模虚拟样本(有标记信息)和少量真实采集的样本(有标记信息)，共同训练水膜区域分割网络；

步骤5：根据水膜语义分割结果，统计水膜覆盖区域的像素个数，计为area_c；安全壳表面经校正、拼接之后的全景图像应表现为规则矩形，其包含的像素个数为area_w，安全壳表面的水膜覆盖率γ表示为：γ＝area_c/area_w。

2.如权利要求1所述的安全壳水膜覆盖率检测方法，其特征在于，在安全壳上、下方分别选定一个环形区域，作为水膜覆盖率测量的基准线，并利用改进Hough变换在成像图像中实现基准线的提取。由于安全壳曲状表面的影响，基准线表现为弯曲线，在此采用三次多项式进行拟合：

w_i＝α₃h_i ³+α₂h_i ²+α₁h_i ¹+α₀

其中，w_i,h_i分别表示基准线上第i个像素点在图像坐标系下的横、纵坐标；α_i,i＝0,1,2,3表示各项系数。

3.如权利要求1所述的安全壳水膜覆盖率检测方法，其特征在于，在二维平面中，基准线应表现为一条竖直直线，定义为：w＝w₀，w₀表示基准线第一个像素点的横坐标值。对于基准曲线上的像素点(w_i,h_i)以及图像中与该像素点位于同一行的所有像素点，其在水平方向的校正位移为w₀-w_i；通过对不同行的像素点施加不同的校正位移，达到图像校正的目的。

4.如权利要求1所述的安全壳水膜覆盖率检测方法，其特征在于，步骤3的具体步骤如下：

(1)特征点提取：采用加速鲁棒特征(SURF)提取图像中的关键特征点；

(2)特征点匹配：采用归一化互相关系数衡量两幅图像中特征点的相似度，归一化互相关系数γ定义如下：

其中，

表示图像M中特征点(x₁,y₁)处的像素值，

表示图像N中特征点(x₂,y₂)处的像素值。

表示以(x₁,y₁)为左上角顶点，宽度为w，高度为h的矩形区域的像素点均值，

表示以(x₂,y₂)为左上角顶点，宽度为w，高度为h的矩形区域的像素点均值；

(3)图像配准：利用RANSAC(Random Sample Consensus)算法筛选、校正异常匹配特征点，并计算两幅图像间的单应性矩阵；

(4)图像融合：图像重叠区域的像素值由两幅图像对应位置的像素值加权求和，融合得到，表示为：

其中α表示权重系数，M_p,N_p分别表示像素点p在两幅图像中的对应像素值，

为融合后的像素值。

5.如权利要求1所述的安全壳水膜覆盖率检测方法，其特征在于，步骤4中水膜区域分割包括如下步骤：

(1)虚拟成像数据生成：利用3D MAX等三维建模软件构建钢制安全壳的三维等比缩小模型，并还原主要结构部件在模型上的分布；构建贴片状水膜几何模型，其颜色与实际水膜覆盖部分类似，将其随机附着于安全壳三维模型表面，达到模拟水膜覆盖的目的；固定模型中虚拟相机的观测位置和角度，生成当前配置下包含水膜区域的安全壳表面虚拟成像图；

(2)跨场景域水膜语义分割：采用U-Net模型作为水膜分割的基础网络，为消除虚拟样本和真实样本之间的特征分布差异，引入场景风格抽取模块；

对于输入图像x，首先使用场景风格抽取模块获得无风格的图像内容信息，该模块由全卷积网络(FCN,Fully Convolutional Networks)构成，经多次编、解码操作，生成图像的内容fcn(x)，通过去除图像内容，可得到图像的风格信息，表示为：x-fcn(x)；

将图像内容fcn(x)作为U-Net模型的输入，得到图像的水膜分割结果，分割效果由区域损失l_region衡量；将图像风格x-fcn(x)与输入图像x的风格进行相似度对比，其效果由风格损失l_style衡量，则水膜语义分割网络的损失函数表示为：l_loss＝l_region+l_style，通过最小化l_loss，即可实现模型的训练过程。

Images