CN109598755A - 基于双目视觉的危化品泄漏检测方法 - Google Patents

Abstract

本发明提供一种基于双目视觉的危化品泄漏检测方法，该方法对于从不同角度拍摄的两幅危化品图像，执行：基于危化品液面的亮度特征获得第一危化品液面区域；基于危化品液面的纹理特征获得第二危化品液面区域；将所述第一危化品液面区域和所述第二危化品液面区域进行融合，获得待提取的危化品液面区域；对所述待提取的危化品液面区域进行立体匹配，获得两幅危化品图像的匹配点；根据获得的匹配点，计算所述待提取的危化品液面区域的空间位置。本发明能够准确快速的定位危化品泄漏的空间位置。

Description

基于双目视觉的危化品泄漏检测方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于双目视觉的危化品泄漏检测方法。

背景技术

在危化品仓库、发射场塔架、特种燃动力试验场中存在大量危化品试剂和燃料，倘若发生危化品泄漏且未妥善处置，将对关键任务的实施产生严重负面影响。因此，一旦发生危化品泄漏，就需要对危化品泄漏区域进行快速检测和定位，以便为应急处置提供准确的情报信息。

然而，对于现有的基于双目视觉的目标检测方法，被检测对象属性通常为固体目标，例如，行人、车辆、人脸、道路、船只、障碍物、生产线产品等，而危化品泄漏往往是液体物质，与固体目标的属性存在明显差异，并且危化品泄漏检测存在以下技术难题：

1)、危化品泄漏属液体目标，液体表面平整且高度一致，导致细微特征不足、立体匹配难度大；

2)、危化品泄漏的液体目标区域无明显几何特征，且液面容易受光照以及周围环境影响，想要获得准确的液面区域难度大；

3)、危化品泄漏属于易燃易爆品，需要在一定安全距离外实施准确的目标检测，这对双目视觉检测算法提出了更高要求。

因此，需要对现有的目标检测方法进行改进，以提供检测准确率高、检测速度快并且更适合于液体目标的危化品泄漏检测方法。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提供一种基于双目视觉的危化品泄漏检测方法。

根据本发明的第一方面，提供了一种基于双目视觉的危化品泄漏检测方法。该方法对于从不同角度拍摄的两幅危化品图像，执行以下步骤：

步骤1：基于危化品液面的亮度特征获得第一危化品液面区域；

步骤2：基于危化品液面的纹理特征获得第二危化品液面区域；

步骤3：将所述第一危化品液面区域和所述第二危化品液面区域进行融合，获得待提取的危化品液面区域；

步骤4：对所述待提取的危化品液面区域进行立体匹配，获得两幅危化品图像的匹配点

步骤5：根据获得的匹配点，计算所述待提取的危化品液面区域的空间位置。

在一个实施例中，步骤1包括：

步骤11：通过将所述两幅危化品图像的灰度图中每一个像素值与灰度阈值进行比较获得亮度分割图；

步骤12：根据危化品图像和背景图像的亮度特征从所述亮度分割图剔除背景区域，从而获得所述第一危化品液面区域。

在一个实施例中，步骤11包括以下子步骤：

步骤11-1：将两幅危化品图像的灰度图中每一个像素值和灰度阈值G₀进行比较，利用聚类法得到大于G₀和小于G₀的两个分割区域；

步骤11-2：计算该两个分割区域的中心灰度值G₁，并重复进行聚类直到前后两次聚类结果得到的中心灰度值的比值小于预定阈值，从而获得所述亮度分割图。

在一个实施例中，步骤12包括以下子步骤：

步骤12-1：从所述亮度分割图的最上面的一行像素中检测出大于亮度阈值的高亮度值的像素点；

步骤12-2：以该高亮度值的像素点为出发点，运用区域生长扩散方法逐行扫描每行像素点，获得与该高亮度值的像素点相连通的区域并将该区域剔除，从而获得所述第一危化品液面区域。

在一个实施例中，步骤2包括：

步骤21：利用滑动窗口法计算两幅危化品图像的区域纹理特征值，通过聚类法找到图像中的纹理特征值小于纹理特征阈值的弱纹理特征区域；

步骤22：运用区域生长扩散方法对所述两幅危化品图像从上至下逐区域扫描，获得与所述弱纹理特征区域相连通的区域并将该区域剔除，从而获得所述第二危化品液面区域。

在一个实施例中，在步骤3中，将所述第一危化品液面区域和所述第二危化品液面区域的共同像素作为最小集合，通过膨胀算法获得与所述最小集合相连通的亮度特征区域和纹理特征区域，作为所述待提取的危化品液面区域。

在一个实施例中，步骤4包括：

步骤41：构造滑动窗口卷积核矩阵D，其为d₁×d₂的矩阵；

步骤42：使用滑动窗口覆盖两幅危化品图像并选择出覆盖区域的像素点；

步骤43：对两幅危化品图像中覆盖区域对应像素点的特征值差值的绝对值求和，表示为：

其中，XL_i、XR_i分别表示两幅图像中的第i个像素的特征值；

步骤44：调整卷积核大小，循环执行步骤41至步骤43，获得ΔX最小的窗口区域，将其作为两幅危化品图像的匹配点。

在一个实施例中，步骤5包括：

步骤51：利用最小二乘法求解以下方程组，获得危化品目标点P的距离信息Z：

步骤52：测算危化品目标点P的方位角α和俯仰角β：

其中，H_l和H_r分别为拍摄危化品图像的两个相机的标定矩阵，p_l和p_r分别是左右两幅危化品图像的匹配点，(u_l,v_l,1)与(u_r,v_r,1)分别为p_l和p_r在两幅危化品图像中的齐次坐标，(X,Y,Z,1)为危化品液面目标点P对应的图像匹配点在世界坐标系下的齐次坐标。

与现有技术相比，本发明的优点在于：针对危化品泄漏检测需求，综合采用危化品液体亮度特征和液面纹理特征来计算危化品泄漏区域，并通过双目定位算法获取危化品目标的空间坐标参数，能够准确快速地实现危化品泄漏的远距离目标检测功能。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1示出了根据本发明一个实施例的基于双目视觉的危化品泄漏检测方法的流程图；

图2示出了危化品目标点的方位角和俯仰角的示意图。

具体实施方式

为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

本发明的研究目标是，利用从不同角度拍摄的两幅危化品泄漏图像，经过处理之后检测出泄漏危化品的空间位置。

例如，可通过双目相机(摄像机)采集两幅图像，为便于说明，在本文中称为左右两幅图像。在进行图像采集时，假设：双目相机已完成标定，并获取到两个相机的内参矩阵、外参矩阵、畸变矩阵；双目相机的图像采集完全同步；双目相机的基线距离、焦距均固定不变。

在实际过程中，可采用通用的平面黑白棋盘图对双目相机进行标定，获取双目相机的内参矩阵M和外参矩阵W，其中，内参矩阵M用于描述相机光轴在图像坐标系中的偏移量以及焦距信息，能够反映相机坐标系到图像坐标系之间的投影关系；外参矩阵W用于描述如何将点从世界坐标系转换到相机坐标系，能够反映相机坐标系和世界坐标系之间的旋转和平移关系，左右相机的标定矩阵可以表示为H_l＝M_lW_l和H_r＝M_rW_r。

应理解的是，在本文中，世界坐标系、相机坐标系和图像坐标系具有现有技术的通常定义，其中，世界坐标系也称为空间坐标系，用于表示客观世界的绝对坐标，可以用该坐标系准确的描述空间场景中相机和任何物体的位置坐标；相机坐标系是以相机为中心的坐标系，相机坐标系和世界坐标系之间存在一一对应的映射转换关系；图像坐标系是以相机投影出的图像平面坐标系，其原点是相机光轴与图像平面的交点。

下面以已经通过双目相机采集到泄漏危化品的左右两幅图像为前提介绍本发明的原理。

图1示出了根据本发明一个实施例的基于双目视觉的危化品泄漏检测方法的流程图，简言之，该方法通过将亮度和纹理两种特征进行融合来检测危化品泄漏区域的边缘。具体地，本发明的方法包括以下步骤：

步骤S110，基于危化品液面和周围背景的亮度特征提取危化品液面区域。

在一个实施例中，采用以下步骤提取危化品液面区域：

步骤S111，确定用于区分危化品液面和周围背景图像的灰度阈值。

可通过对已知危化品泄漏液面的样本图像进行分析获得灰度阈值的经验值。例如，采集一定数量的危化品泄漏灰度图片，用固定大小的窗口将拍到的危化品泄漏灰度图片进行框定，并逐一分割出周围的背景物和危化品液面；从所采集的灰度图片库中统计出危化品泄漏液面和周围背景的图像灰度值的范围，找出这两类灰度的中心值的区间，从而获得灰度阈值G₀。

步骤S112，基于灰度阈值确定双目相机拍摄的左右两幅图像的亮度分隔图。

在一个实施例中，将双目相机实时拍摄的危化品泄漏灰度图中每一个像素点和阈值G₀进行比较，利用聚类算法(例如近邻聚类)获取到两类分割区域，即大于G₀的亮度区域和小于G₀的亮度区域；然后，计算新的两个分割区域的中心灰度值G₁，并重复进行聚类；随着聚类次数的增多，中心灰度值的变化将趋于稳定，当稳定到一定程度时，停止计算。例如，当前后两次聚类结果得到的中心灰度值的比值满足时，停止迭代聚类，获得精确的亮度分割图。

步骤S113，根据获得的亮度分割图剔除周围背景区域，获得危化品液面区域。

以周围背景是天空为例，为了剔除背景中的天空高亮区域，需检测实时拍摄的图像最上面的一行像素，如果其中存在高亮度值的像素点(例如大于预定的亮度阈值的像素点)，那么就以该像素点为出发点，运用区域生长扩散的方法逐行扫描每行像素点，直到最终获得与第一行高亮度像素相连通的所有高亮度区域，该区域即为要删除的天空区域。在去除天空区域后，剩下的区域即为危化品液面区域，在本文中，为便于说明，将基于亮度特征提取的危化品液面区域也称为第一危化品液面区域。

应理解的是，对于其它类型的周围背景，例如，发射塔架、塔架周围地面等，也可以根据与危化品液面进行区分的经验灰度阈值，采用上述类似的算法提取危化品液面区域。

步骤S120，基于危化品液面和周围背景的纹理特征提取危化品液面区域。

在一个实施例中，采用以下步骤获得基于纹理特征提取的危化品液面区域：

步骤S121，确定用于区分危化品液面和周围背景图像的纹理特征阈值。

与步骤S111类似，可通过对已知危化品泄漏液面的纹理特征进行分析获得危化品液面及周围背景的纹理特征区分阈值T₀。

例如，通过滑动窗口方式获得区域纹理特征值，在本文中，以像素灰度值的方差来衡量纹理特征。具体地，计算滑动窗口内所有像素灰度值的方差，计算公式为其中n×n表示滑动窗口大小，X_i表示第i个像素的灰度值，表示滑动窗口内各个像素的灰度的期望值。

在实际应用中，滑动窗口不能太小，以避免反映不出具体的纹理特征，窗口也不能太大，以避免造成划分太粗。优选地，窗口值n设置为6～9。通过计算样本图像的纹理特征，最终确定危化品液面纹理特征值的范围在4～6，而周围背景(以背景是天空为例)纹理较强的值在7～10，有相对明显的区分度，因此可将T＝5和T＝7分别设置为危化品液面纹理特征的初始阈值及周围背景纹理特征的初始阈值，即相比之下，危化品液面属于较弱纹理特征区域，而天空背景属于较强的纹理特征区域。

步骤S122，基于纹理特征剔除周围背景区域，获得危化品液面区域。

仍以周围背景是天空为例，可采用滑动窗口方式来计算实际采集的危化品图像区域纹理特征值，并通过聚类的方法找到较弱纹理特征区域，即危化品液面区域。由于危化品液面和天空背景的纹理特征的区别，可采用与步骤S113类似的方法，利用区域生长扩散的方法，通过从上至下逐区域扫描找出天空区域。在去除天空区域后，剩下的区域即为危化品液面区域，在本文中，将基于纹理特征提取的危化品液面区域也称为第二危化品液面区域。

综上，在此实施例中，基于已有的液面图像生成危化品液面纹理特征库，并以不同的纹理特征值将危化品液面与周围背景(例如，发射塔架、天空、塔架周围地面等)加以区分。再通过聚类的方法找到危化品图片中的周围背景区域。对于天空背景，由于纹理特征较小，但多居于图像上方，因此采用自上而下扫描将天空从图像中快速分割出去。

步骤S130，将基于亮度特征提取的危化品液面区域和基于纹理特征提取的危化品液面区域进行融合，获得待提取的危化品液面区域。

在此步骤中，将基于亮度特征获得的危化品液面区域和基于纹理特征获得的危化品液面区域进行叠加，将两者的共同像素作为核心原点，采用油滴扩散的方法(或称膨胀算法)，将与核心原点连通的亮度特征区域和纹理特征区域作为待提取的危化品液面的目标区域。

在此实施例中，对亮度特征和纹理特征融合过程中，采用的是最小集合膨胀算法，即将已经提取的液面亮度特征和纹理特征的交集作为最小集合，然后通过膨胀算法，逐次获得与最小交集相连通的亮度部分和纹理部分作为最终待提取的危化品液面，能够准确的确定危化品液面的目标区域。

步骤S140，对待提取的危化品液面区域进行双目特征立体匹配。

立体匹配是寻找同一空间点映射到左右两幅图像的对应像素点的过程，并得到视差图。对于双目相机拍摄的同一场景的左、右两幅图像，运用立体匹配算法能够获取视差图，进而获取深度图。通过对深度图进行处理能够得到物体的三维空间信息，并实现二维图像到三维图像的重建。然而，由于危化品液面图像中的显著特征点较少，因此无法直接选择显著特征点进行左右匹配。

在一个实施例中，采用绝对误差累计的滑动窗口法来查找左右两幅图像之间的最佳特征匹配点，包括以下步骤：

步骤S141：构造滑动窗口卷积核矩阵D，其为d₁×d₂的矩阵，其中，d₁和d₂为大于等于2的任意整数。

步骤S142：使用滑动窗口覆盖左右两幅图像并选择出覆盖区域的像素点；

步骤S143：对左右两幅图像中覆盖区域对应像素点的特征值差值的绝对值求和，即其中XL_i、XR_i分别表示左右两幅图像中的第i个像素的特征值；

步骤S144：调整卷积核大小(例如逐步将卷积核调小)，循环执行步骤S141～步骤S143，最终获得ΔX最小的窗口区域，即左右两幅图像的匹配点。通过这种方式，左右两幅图像的视差像素数也能够确定。

步骤S150，利用立体匹配获得的匹配点坐标和相机标定参数测算危化品的目标距离。

假设步骤S140中计算出的左右两幅图像的匹配点分别为p_l和p_r，双目相机的标定矩阵分别为H_l和H_r，(u_l,v_l,1)与(u_r,v_r,1)分别为p_l和p_r在左右两幅图像中的齐次坐标，(X,Y,Z,1)为危化品液面目标点P对应的图像匹配点在世界坐标系下的齐次坐标。

在一个实施例中，可利用最小二乘法求解下面方程组，从而得到危化品液面目标点P的距离信息Z。

步骤S160，测算危化品目标点的方位角和俯仰角。

根据步骤S150计算出的危化品液面目标点P对应的图像匹配点在世界坐标系下的齐次坐标(X,Y,Z)，计算方位角α和俯仰角β：

其中，方位角α是指目标空间位置在xz平面上的投影点与z轴之间的夹角，俯仰角β是指目标空间位置在yz平面上的投影点与z轴之间的夹角，参见图2所示。

通过上述对危化品目标的距离坐标和角度坐标的测算，即可锁定危化品目标的空间坐标参数，即空间位置。

综上所述，本发明的基于双目视觉的危化品泄漏检测方法，通过将亮度特征和纹理特征进行融合获得待提取的危化品液面区域，能够弥补亮度特征或纹理特征没有正确检测出背景(例如水等)，实现了对危化品泄漏的准确快速检测，提高了危化品泄漏区域的边缘检测准确度，进而增强抗环境噪声能力；通过采用滑动窗口卷积法对双目图像进行立体匹配，解决双目图像中成片危化品液体目标区域的特征点选择匹配问题，并提升了匹配速度。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行(例如，基于亮度特征提取危化品液面区域和基于纹理特征提取危化品液面区域)，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于双目视觉的危化品泄漏检测方法，对于从不同角度拍摄的两幅危化品图像，执行以下步骤：

步骤1：基于危化品液面的亮度特征获得第一危化品液面区域；

步骤2：基于危化品液面的纹理特征获得第二危化品液面区域；

步骤3：将所述第一危化品液面区域和所述第二危化品液面区域进行融合，获得待提取的危化品液面区域；

步骤4：对所述待提取的危化品液面区域进行立体匹配，获得两幅危化品图像的匹配点；

步骤5：根据获得的匹配点，计算所述待提取的危化品液面区域的空间位置。

2.根据权利要求1所述的方法，其中，步骤1包括：

步骤11：通过将所述两幅危化品图像的灰度图中每一个像素值与灰度阈值进行比较获得亮度分割图；

步骤12：根据危化品图像和背景图像的亮度特征从所述亮度分割图剔除背景区域，从而获得所述第一危化品液面区域。

3.根据权利要求2所述的方法，其中，步骤11包括以下子步骤：

步骤11-1：将两幅危化品图像的灰度图中每一个像素值和灰度阈值G₀进行比较，利用聚类法得到大于G₀和小于G₀的两个分割区域；

步骤11-2：计算该两个分割区域的中心灰度值G₁，并重复进行聚类直到前后两次聚类结果得到的中心灰度值的比值小于预定阈值，从而获得所述亮度分割图。

4.根据权利要求2所述的方法，其中，步骤12包括以下子步骤：

步骤12-1：从所述亮度分割图的最上面的一行像素中检测出大于亮度阈值的高亮度值的像素点；

步骤12-2：以该高亮度值的像素点为出发点，运用区域生长扩散方法逐行扫描每行像素点，获得与该高亮度值的像素点相连通的区域并将该区域剔除，从而获得所述第一危化品液面区域。

5.根据权利要求1所述的方法，其中，步骤2包括：

步骤21：利用滑动窗口法计算两幅危化品图像的区域纹理特征值，通过聚类法找到图像中的纹理特征值小于纹理特征阈值的弱纹理特征区域；

步骤22：运用区域生长扩散方法对所述两幅危化品图像从上至下逐区域扫描，获得与所述弱纹纹理特征区域相连通的区域并将该区域剔除，从而获得所述第二危化品液面区域。

6.根据权利要求1所述的方法，其中，在步骤3中，将所述第一危化品液面区域和所述第二危化品液面区域的共同像素作为最小集合，通过膨胀算法获得与所述最小集合相连通的亮度特征区域和纹理特征区域，作为所述待提取的危化品液面区域。

7.根据权利要求1所述的方法，其中，步骤4包括：

步骤41：构造滑动窗口卷积核矩阵D，其为d₁×d₂的矩阵；

步骤42：使用滑动窗口覆盖两幅危化品图像并选择出覆盖区域的像素点；

步骤43：对两幅危化品图像中覆盖区域对应像素点的特征值差值的绝对值求和，表示为：

其中，XL_i、XR_i分别表示两幅图像中的第i个像素的特征值；

步骤44：调整卷积核大小，循环执行步骤41至步骤43，获得ΔX最小的窗口区域，将其作为两幅危化品图像的匹配点。

8.根据权利要求1所述的方法，其中，步骤5包括：

步骤51：利用最小二乘法求解以下方程组，获得危化品目标点P的距离信息Z：

步骤52：测算危化品目标点P的方位角α和俯仰角β：

其中，H_l和H_r分别为拍摄危化品图像的两个相机的标定矩阵，p_l和p_r分别是左右两幅危化品图像的匹配点，(u_l,v_l,1)与(u_r,v_r,1)分别为p_l和p_r在两幅危化品图像中的齐次坐标，(X,Y,Z,1)为危化品液面目标点P对应的图像匹配点在世界坐标系下的齐次坐标。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。