CN114581658A - 一种基于计算机视觉的目标检测方法及装置 - Google Patents

Abstract

本发明公开了一种在复杂环境下基于计算机视觉的目标检测方法及装置，其方法包括：采集前景区域的RGB图像，对所述前景区域的RGB图像进行预处理，获得前景目标区域分割二值图；对所述前景目标区域分割二值图进行分析，提取出目标区域的多种形态特征；对所述目标区域的多种形态特征进行分析，将目标区域分为被遮挡的孤立目标区域与重叠目标区域；对所述被遮挡的孤立目标区域与重叠目标区域进行轮廓分段，提取出有效轮廓片段；采用圆拟合方法对所述有效轮廓片段中的目标形状进行圆拟合，对拟合圆作综合分析，定位潜在目标区域；剔除干扰，识别获得所述潜在目标区域的特定目标；本发明实施例可以对提高自然复杂环境的目标实例检测准确率。

Description

一种基于计算机视觉的目标检测方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种在复杂环境下基于计算机视觉的目标检测方法。

背景技术

从自然复杂环境中采集的RGB图像通常包含目标对象和非目标的其他对象，但不同的场景非目标对象通常呈现出不同颜色特性，其中目标对象可较明显区别非目标对象，因此可采用色差法进行目标区域提取。

在自然复杂环境下采集的图像中大部分目标有重叠区域或被非目标其他对象遮挡，使得提取的目标潜在前景区域存在目标黏连或目标局部区域缺失的现象，难以准确定位目标区域位置，从而影响目标分割效果。甚至有些目标的纹理特征更细腻复杂且颜色特征的一致性更差，重叠目标区域多呈现出轮廓边界模糊或局部不规则的特点。对于被其他对象遮挡的孤立目标区域或前景区域边界局部形状不规则的重叠目标区域，可能存在过度分割现象，而对于重叠面积较大且前景区域轮廓边界不清晰的重叠目标区域，可能存在欠分割现象。

目前针对自然复杂环境的目标分割，现有方法中有采用R-B色差图实现了黄绿色目标的分割，有采用R-G色差图实现了黄色目标的有效分割。用以上两种方法对重叠的目标和被遮挡的目标分割仍不理想。

因此，本发明提出一种在复杂环境下基于计算机视觉的目标检测方法，实现重叠目标和被遮挡目标精准分割和定位，进一步的识别特定目标。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种在复杂环境下基于计算机视觉的目标检测方法，可以提高在目标遮挡的情况下特定类别目标检测的准确率。

为了解决上述问题，本发明提出了一种在复杂环境下基于计算机视觉的目标检测方法，所述方法包括：

采集前景区域的RGB图像，对所述前景区域的RGB图像进行预处理，获得前景目标区域分割二值图；

对所述前景目标区域分割二值图进行分析，提取出目标区域的多种形态特征；

对所述目标区域的多种形态特征进行分析，将目标区域分为被遮挡的孤立目标区域与重叠目标区域；

对所述被遮挡的孤立目标区域与重叠目标区域进行轮廓分段，提取出有效轮廓片段；

采用圆拟合方法对所述有效轮廓片段中的目标形状进行圆拟合，对拟合圆作综合分析，定位潜在目标区域；

剔除所述潜在目标区域中背景因素的干扰，识别获得所述潜在目标区域的特定目标。

所述采集前景区域的RGB图像，对所述前景区域的RGB图像进行预处理，获得前景目标区域分割二值图，包括：

获得所述前景区域的RG色差图、RB色差图和GR色差图，对所述RG色差图、RB色差图和RG色差图进行Otsu阈值化，计算出前景目标区域二值图I_fcmt，计算公式如下：

I_fcmt＝f_Otsu(I_RB)∪f_Otsu(I_RG)-f_Otsu(I_GR)

其中f_Otsu为Otsu阈值化函数，I_RG、I_RB、I_GR分别为RG色差图、RB色差图和GR色差图；

采用中值滤波和形态学操作对所述前景目标区域二值图进行滤波平滑处理；

采用泛洪填充算法对滤波平滑处理后的前景目标区域二值图的孔洞进行填充，得到所述前景目标区域分割二值图。

所述多种形态特征包括：目标区域的面积S、周长L、目标区域的圆度ρ、霍夫圆圆外的目标区域面积S^e、目标区域质心到边界点的距离与霍夫圆半径之差，其均值λ_m和标准差λ_σ、被霍夫圆填充前后目标区域的面积变化量S^dv、周长变化量L^dv和圆度变化量ρ^dv。

所述对所述被遮挡的孤立目标区域与重叠目标区域进行轮廓分段，提取出有效轮廓片段，包括：

对所述重叠目标区域采取基于标记的分水岭变换方法，分离出重叠目标与孤立目标；

求解出局部极小值点，基于所述局部最小值点在对应的位置点对重叠目标边界轮廓进行划分，得到重叠目标的有效轮廓片段；

对所述被遮挡的孤立目标区域采取基于边界兴趣点的果实区域轮廓分段方法，提取所述孤立目标区域中的检测兴趣点，以所述检测兴趣点为分割点对目标轮廓曲线进行分段，得到所述被遮挡的孤立目标区域中的有效轮廓片段。

所述基于所述局部最小值点在对应的位置点对重叠目标边界轮廓进行划分，得到重叠目标的有效轮廓片段，包括：

求解出所述重叠目标区域的质心位置(x^b，y^b)，计算公式如下：

计算重叠目标区域轮廓边界点到质心位置的距离d_i，生成与所有轮廓边界点对应的距离序列数据Φ，计算式如下：

Φ＝{d₀，…，d_i，…，d_N-1}

其中P_i(x_i，y_i)为目标潜在连通域轮廓的第i个边界点，N为目标区域轮廓像素点数量；

求解出距离序列数据Φ的局部最小值，基于局部极小值对应的边界点对目标区域边界轮廓进行划分，得到所述重叠目标区域的有效轮廓片段。

所述提取所述孤立目标区域中的检测兴趣点，以所述检测兴趣点为分割点对目标轮廓曲线进行分段，得到所述被遮挡的孤立目标区域中的有效轮廓片段，包括：

计算所述被遮挡的孤立目标区域中所有像素点的N点方向矢量角θ_i(N)，计算公式为：

其中

获得N点方向矢量角集合；

提取所述N点方向矢量角集合中矢量角方向变化最大的两个像素点，将所述两个像素点作为检测兴趣点，对目标轮廓曲线进行分段，得到所述被遮挡的孤立目标区域中目标未被遮挡的有效轮廓片段与目标被遮挡后形成的伪轮廓片段。

所述采用圆拟合方法对所述有效轮廓片段中的目标形状进行圆拟合，对拟合圆作综合分析，定位潜在目标区域，包括：

采用最小二乘法的圆拟合方法对所述有效轮廓片段中的目标形状进行拟合，提取所述有效轮廓片段中的每段轮廓片段的n个像素点，基于所述n个像素点作该段轮廓片段的拟合圆，并通过对所述拟合圆的位置与拟合圆的拟合误差进行综合分析，判断出拟合圆为有效拟合圆还是无效拟合圆并剔除无效拟合圆区域，定位所述潜在目标区域。

所述对所述拟合圆的位置与拟合圆的拟合误差进行综合分析，判断出拟合圆为有效拟合圆还是无效拟合圆并剔除无效拟合圆区域，实现潜在目标区域定位，包括：

计算目标轮廓质心(x^b，y^b)与目标圆心位置(x_ci，y_ci)的距离σ_i，计算公式如下：

计算出σ_i，i＝1，2；

若σ₁≤r₁且σ₂＞r₂，则表明所述目标区域在拟合圆C₁与拟合圆C₂内部，C₂为无效拟合圆；

若σ₁＞r₁且σ₂≤r₂，则表明所述目标区域在拟合圆C₁外部且在拟合圆C₂内部，C₁为无效拟合圆；

其中r_i为第i段轮廓片段对应的拟合圆的半径。

所述剔除所述潜在目标区域中背景因素的干扰，识别所述潜在目标区域的特定目标，包括：

第一阶段利用SVM分类器实现目标和背景区域的判别；

第二阶段利用SVM分类器对目标进行分类，实现特定目标的准确识别。

相应的，本发明还提出了一种在复杂环境下基于计算机视觉的目标检测装置，其特征在于，所述装置包括：

数据采集模块：用于采集前景区域的RGB图像，对所述前景区域的RGB图像进行预处理，获得前景目标区域分割二值图；

特征提取模块：用于对所述前景目标区域分割二值图进行分析，提取出目标区域的多种形态特征；

划分模块：用于对所述目标区域的多种形态特征进行分析，将目标区域分为被遮挡的孤立目标区域与重叠目标区域；

轮廓分段模块：用于对所述被遮挡的孤立目标区域与重叠目标区域进行轮廓分段，提取出有效轮廓片段；

拟合定位模块：用于采用圆拟合方法对所述有效轮廓片段中的目标形状进行圆拟合，对拟合圆作综合分析，定位潜在目标区域；

特定目标识别模块：用于剔除所述潜在目标区域中背景因素的干扰，识别获得所述潜在目标区域的特定目标。

本发明实施例通过利用色差法进行目标前景区域初步分割后，利用目标对象先验知识将目标区域判别为重叠目标区域和遮挡目标区域，而针对重叠目标区域采用标记控制的分水岭变换方法进行多目标初步分离，并通过边界轮廓点到质心位置的极小值计算，实现未分离目标区域的连通域分段；针对孤立目标区域通过目标连通域的边界角点计算，实现孤立目标区域轮廓分段；接着，采用最小二乘法对目标区域拟合，从而实现目标区域准确定位；最后，通过目标区域颜色、纹理特征提取，采用二阶段的SVM模型进行目标分类，以实现目标类别的准确识别。该方法能够提高自然复杂环境的目标实例检测准确率，在安防监控、农业感知等领域具有重要的应用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的一种复杂环境下基于计算机视觉的目标检测方法流程图；

图2是本发明实施例中的一种复杂环境下基于计算机视觉的目标检测装置。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1是本发明实施例中的一种复杂环境下基于计算机视觉的目标检测方法流程图，该方法包括以下步骤：

S101：采集前景区域的RGB图像，对所述前景区域的RGB图像进行预处理，获得前景目标区域分割二值图；

在本发明的具体实施例当中，所述采集前景区域的RGB图像，对所述前景区域的RGB图像进行预处理，获得前景目标区域分割二值图，包括：

获得所述前景区域的RG色差图、RB色差图和GR色差图，对所述RG色差图、RB色差图和RG色差图进行Otsu阈值化，计算出前景目标区域二值图I_fcmt，计算公式如下：

I_fcmt＝f_Otsu(I_RB)∪f_Otsu(I_RG)-f_Otsu(I_GR)

其中f_Otsu为Otsu阈值化函数，I_RG、I_RB、I_GR分别为RG色差图、RB色差图和GR色差图；

采用中值滤波和形态学操作对所述前景目标区域二值图进行滤波平滑处理；最后采用泛洪填充算法对滤波平滑处理后的前景目标区域二值图的孔洞进行填充，得到所述前景目标区域分割二值图。

需要说明的是，采集前景区域的色差图，包括采集前景区域的RG色差图、RB色差图与RG色差图，计算公式如下：

其中I_B为图像RGB颜色空间中的B分量图，I_G为图像RGB颜色空间中的G分量图，I_R为图像RGB颜色空间中的R分量图，其中f_Otsu为Otsu阈值化函数，I_RG、I_RB、I_GR分别为RG色差图、RB色差图和GR色差图。

计算出目标前景区域二值图I_fcmt，计算公式如下：

I_fcmt＝f_Otsu(I_RB)∪f_Otsu(I_RG)-f_Otsu(I_GR)

对Otsu阈值化处理后的RG色差图与Otsu阈值化处理后的RB色差图进行图像或运算，得到或运算后的色差图，将或运算后的色差图与Otsu阈值化处理后的GR色差图进行图像减运算，得到图像减运算后的色差图。

为减少背景噪声干扰，利用中值滤波和形态学操作对图像减运算后的色差图进行滤波平滑处理。

采用泛洪填充算法对滤波平滑处理后的色差图的孔洞进行填充，补偿因光照不良导致的目标分割局部区域像素缺失的现象，实现目标潜在前景区域准确提取，获得前景目标区域分割二值图。

S102：对所述前景目标区域分割二值图进行分析，提取出目标区域的多种形态特征；

在本发明的具体实施例当中，所述多种形态特征包括：目标区域的面积S、周长L、目标区域的圆度ρ、霍夫圆圆外的目标区域面积S^e、目标区域质心到边界点的距离与霍夫圆半径之差，其均值λ_m和标准差λ_σ、被霍夫圆填充前后目标区域的面积变化量S^dv、周长变化量L^dv和圆度变化量ρ^dv。

需要说明的是，提取目标区域的多种形态特征，计算出目标区域的圆度，计算公式如下：

为进一步准确区分目标区域状态，利用霍夫圆变换检测目标区域，获得目标区域中的首个霍夫圆，填充该霍夫圆并映射至目标前景区域二值图I_f，得到被霍夫圆填充后的目标区域二值图

通过图像

中目标区域面积与霍夫圆面积相减，获得霍夫圆圆外的目标区域面积S^e。

同时，计算图像中目标区域质心到边界点的距离与霍夫圆半径之差，获得其均值λ_m和标准差λ_σ。

通过被霍夫圆填充前后的目标区域二值图I_f与

分析，获得被霍夫圆填充前后目标区域的面积变化量S^dv、周长变化量L^dv和圆度变化量ρ^dv。

S103：对所述目标区域的多种形态特征进行分析，将目标区域分为被遮挡的孤立目标区域与重叠目标区域。

需要说明的是，目标区域的状态分为：重叠目标区域与孤立目标区域，孤立目标区域又可以分为被遮挡的孤立目标区域与未被遮挡的孤立目标区域。

因为目标区域的状态仅仅与目标区域外观状态有关，为此果实前景区域分割二值图分析，基于提取的多种形态特征，组成训练所需要的特征数据，采用K近邻算法对目标区域状态判断，将所述目标区域分为被遮挡的孤立目标区域、未被遮挡的孤立目标区域与重叠目标区域。

S104：对所述被遮挡的孤立目标区域与重叠目标区域进行轮廓分段，提取出有效轮廓片段；

在本发明的具体实施例当中，所述所述对所述被遮挡的孤立目标区域与重叠目标区域进行轮廓分段，提取出有效轮廓片段，包括：

对所述重叠目标区域采取采取基于标记的分水岭变换方法，分离出重叠目标与孤立目标；

求解出局部极小值点，基于所述局部最小值点在对应的位置点对重叠目标边界轮廓进行划分，得到重叠目标的有效轮廓片段；

对所述被遮挡的孤立目标区域采取基于基于边界兴趣点的果实区域轮廓分段方法，提取所述孤立目标区域中的检测兴趣点，以所述检测兴趣点为分割点对目标轮廓曲线进行分段，得到所述被遮挡的孤立目标区域中的有效轮廓片段；

在本发明的具体实施例当中，所述基于所述局部最小值点在对应的位置点对重叠目标边界轮廓进行划分，得到重叠目标的有效轮廓片段，包括：

求解出所述重叠目标区域的质心位置(x^b，y^b)，计算公式如下：

计算重叠目标区域轮廓边界点到质心位置的距离d_i，生成与所有轮廓边界点对应的距离序列数据Φ，计算式如下：

Φ＝{d₀，…，d_i，…，d_N-1}

其中P_i(x_i，y_i)为目标潜在连通域轮廓的第i个边界点，N为目标区域轮廓像素点数量；

求解出距离序列数据Φ的局部最小值，基于局部极小值对应的边界点对目标区域边界轮廓进行划分，得到所述重叠目标区域的有效轮廓片段；

在本发明的具体实施例当中，所述提取所述孤立目标区域中的检测兴趣点，以所述检测兴趣点为分割点对目标轮廓曲线进行分段，得到所述被遮挡的孤立目标区域中的有效轮廓片段，包括：

计算所述被遮挡的孤立目标区域中所有像素点的N点方向矢量角θ_i(N)，计算公式为：

其中

获得N点方向矢量角集合；

提取所述N点方向矢量角集合中矢量角方向变化最大的两个像素点，将所述两个像素点作为检测兴趣点，对目标轮廓曲线进行分段，得到所述被遮挡的孤立目标区域中目标未被遮挡的有效轮廓片段与目标被遮挡后形成的伪轮廓片段。

需要说明的是，若判断目标区域为重叠目标区域，则基于标记控制的分水岭变换方法分离重叠目标与孤立目标，实现轻微重叠目标区域的目标提取。

对于分离获得的重叠目标，获取重叠目标的局部最小值所对应的分界点，基于对应的分界点对重叠目标轮廓进行分段，得到重叠目标中的每个目标对应的轮廓片段。

具体的，重叠目标轮廓边界划分的具体过程如下：

通过图像一阶矩求解出重叠果实区域的质心位置(x^b，y^b)，其计算公式如下：

计算重叠目标区域轮廓边界点到质心位置的距离d_i，生成与所有轮廓边界点对应的距离序列数据Φ，计算公式如下：

Φ＝{d₀，…，d_i，…，d_N-1}

其中P_i(x_i，y_i)为目标潜在连通域轮廓的第i个边界点，N为目标区域轮廓像素点数量。

需要说明的是，求解出的距离序列数据Φ中的局部最小值可能存在异常干扰值，因此还需要计算出坐标系中相邻极小值之间的水平距离d^h，其计算公式如下：

最小水平距离阈值d_min的公式为：

通过计算坐标系中相邻极小值之间的水平距离d^h，设置最小水平距离阈值d_min实现异常值剔除。

求解出距离序列数据Φ中的局部最小值，并且剔除最小值中异常干扰值，利用该局部最小值对应的边界点实现对重叠目标的轮廓分段。

需要说明的是，对于采用标记控制的分水岭变换方法分离获取的孤立目标区域，采用K近邻算法分离出被遮挡的孤立目标区域，并采用下述的基于边界兴趣点的果实区域轮廓分段方法提取出被遮挡的孤立目标区域中的有效轮廓片段。

需要说明的是，若判断目标区域为被遮挡的孤立目标区域，则基于边界兴趣点的果实区域轮廓分段方法，提取被遮挡的孤立目标区域中的有效轮廓片段。

具体的，目标的轮廓可以表示为一条由多个像素点组成的闭合曲线，在曲线上的任一个像素点都可以找到该像素点的前驱点与后驱点，提出关于像素点的N点方向矢量角，用于表征曲线上像素点的方向变化程度，其计算公式为：

其中

并获得目标轮廓曲线上所有像素点对应的N点方向矢量角集合，在曲线中的角点对应的像素点位置上，对应的像素点的N点方向矢量角变化最大，所以提取出对应的N点方向矢量角集合中的两个最大值，将两个最大值对应的像素点作为检测兴趣点，对被遮挡的孤立目标的轮廓曲线进行分段，获得孤立目标真实轮廓片段和被遮挡后形成的伪轮廓片段。

S105：采用圆拟合方法对所述有效轮廓片段中的目标形状进行圆拟合，对拟合圆作综合分析，定位潜在目标区域；

在本发明的具体实施例当中，所述采用圆拟合方法对所述有效轮廓片段中的目标形状进行圆拟合，对拟合圆作综合分析，定位潜在目标区域，包括：

采用最小二乘法的圆拟合方法对所述有效轮廓片段中的目标形状进行拟合，提取所述有效轮廓片段中的每段轮廓片段的n个像素点，基于所述n个像素点作该段轮廓片段的拟合圆，并通过对所述拟合圆的位置与拟合圆的拟合误差进行综合分析，判断出拟合圆为有效拟合圆还是无效拟合圆并剔除无效拟合圆区域，定位所述潜在目标区域。

在本发明的具体实施例当中，所述对所述拟合圆的位置与拟合圆的拟合误差进行综合分析，判断出拟合圆为有效拟合圆还是无效拟合圆并剔除无效拟合圆区域，实现潜在目标区域定位，包括：

计算目标轮廓质心(x^b，y^b)与目标圆心位置(x_ci，y_ci)的距离σ_i，计算公式如下：

计算出σ_i，i＝1，2；

若σ₁≤r₁且σ₂＞r₂，则表明所述目标区域在拟合圆C₁与拟合圆C₂内部，C₂为无效拟合圆；

若σ₁＞r₁且σ₂≤r₂，则表明所述目标区域在拟合圆C₁外部且在拟合圆C₂内部，C₁为无效拟合圆；

其中r_i为第i段轮廓片段对应的拟合圆的半径。

需要说明的是，因为目标的轮廓形状可以近似为圆形，故可以根据目标轮廓片段，采用最小二乘法的圆拟合方法对目标形状进行拟合，剔除遮挡目标轮廓拟合出现的无效圆，利用圆的位置和拟合误差进行综合分析，实现拟合圆的有效性。

具体的，计算目标轮廓质心(x^b，y^b)与目标圆心位置(x_ci，y_ci)的距离σ_i，计算公式如下：

计算出σ_i，i＝1，2；

若σ₁≤r₁且σ₂＞r₂，则表明所述目标区域在拟合圆C₁与拟合圆C₂内部，C₂为无效拟合圆；

若σ₁＞r₁且σ₂≤r₂，则表明所述目标区域在拟合圆C₁外部且在拟合圆C₂内部，C₁为无效拟合圆；

其中r_i为第i段轮廓片段对应的拟合圆的半径。

需要说明的是，若无上述两种情况，则说明目标区域同时出现在拟合圆C₁与拟合圆C₂内部或者同时出现在拟合圆C₁与拟合圆C₂外部，需要结合拟合误差进行判断，该公式如下：

其中d_ik为第i段轮廓片段对应拟合圆的圆心到该轮廓片段第k个像素点的距离，其计算式如下：

计算出δ₁与δ₂，若δ₁不大于δ₂，则说明拟合圆C₂为无效拟合圆，若δ₁大于δ₂，则说明拟合圆C₁为无效拟合圆。

在有效拟合圆区域中剔除无效拟合圆区域，剩下的有效拟合圆区域为潜在目标区域，实现潜在目标区域的定位。

S106：剔除所述潜在目标区域中背景因素的干扰，识别所述潜在目标区域的特定目标。

在本发明的具体实施例当中，所述剔除所述潜在目标区域中背景因素的干扰，识别所述潜在目标区域的特定目标，包括：

第一阶段利用SVM分类器实现目标和背景区域的判别；

第二阶段利用SVM分类器对目标进行分类，实现特定目标的准确识别。

需要说明的是，在第一阶段执行的过程之前，需要构建模型，选取目标的多个特征，根据对应的方法提取出目标的多种特征数据，根据提取的多种特征数据，构建出对应的目标识别SVM模型与类别识别SVM模型。

第一阶段利用SVM模型实现目标区域与背景区域的判别，第二阶段利用类别识别SVM模型实现特定目标的识别。

图2是本发明实施例中的一种复杂环境下基于计算机视觉的目标检测装置示意图，该装置包括：

数据采集模块S201：采集前景区域的RGB图像，对所述前景区域的RGB图像进行预处理，获得前景目标区域分割二值图；

在本发明的具体实施例当中，所述采集前景区域的RGB图像，对所述前景区域的RGB图像进行预处理，获得前景目标区域分割二值图，包括：

获得所述前景区域的RG色差图、RB色差图和GR色差图，对所述RG色差图、RB色差图和RG色差图进行Otsu阈值化，计算出前景目标区域二值图I_fcmt，计算公式如下：

I_fcmt＝f_Otsu(I_RB)∪f_Otsu(I_RG)-f_Otsu(I_GR)

其中f_Otsu为Otsu阈值化函数，I_RG、I_RB、I_GR分别为RG色差图、RB色差图和GR色差图；

采用中值滤波和形态学操作对所述前景目标区域二值图进行滤波平滑处理；最后采用泛洪填充算法对滤波平滑处理后的前景目标区域二值图的孔洞进行填充，得到所述前景目标区域分割二值图。

需要说明的是，采集前景区域的色差图，包括采集前景区域的RG色差图、RB色差图与RG色差图，计算公式如下：

其中I_B为图像RGB颜色空间中的B分量图，I_G为图像RGB颜色空间中的G分量图，I_R为图像RGB颜色空间中的R分量图，其中f_Otsu为Otsu阈值化函数，I_RG、I_RB、I_GR分别为RG色差图、RB色差图和GR色差图。

计算出目标前景区域二值图I_fcmt，计算公式如下：

I_fcmt＝f_Otsu(I_RB)∪f_Otsu(I_RG)-f_Otsu(I_GR)

对Otsu阈值化处理后的RG色差图与Otsu阈值化处理后的RB色差图进行图像或运算，得到或运算后的色差图，将或运算后的色差图与Otsu阈值化处理后的GR色差图进行图像减运算，得到图像减运算后的色差图。

为减少背景噪声干扰，利用中值滤波和形态学操作对图像减运算后的色差图进行滤波平滑处理。

采用泛洪填充算法对滤波平滑处理后的色差图的孔洞进行填充，补偿因光照不良导致的目标分割局部区域像素缺失的现象，实现目标潜在前景区域准确提取，获得前景目标区域分割二值图。

特征提取模块S202：对所述前景目标区域分割二值图进行分析，提取出目标区域的多种形态特征；

在本发明的具体实施例当中，所述多种形态特征包括：目标区域的面积S、周长L、目标区域的圆度ρ、霍夫圆圆外的目标区域面积S^e、目标区域质心到边界点的距离与霍夫圆半径之差，其均值λ_m和标准差λ_σ、被霍夫圆填充前后目标区域的面积变化量S^dv、周长变化量L^dv和圆度变化量ρ^dv。

需要说明的是，提取目标区域的多种形态特征，计算出目标区域的圆度，计算公式如下：

为进一步准确区分目标区域状态，利用霍夫圆变换检测目标区域，获得目标区域中的首个霍夫圆，填充该霍夫圆并映射至目标前景区域二值图I_f，得到被霍夫圆填充后的目标区域二值图

通过图像

中目标区域面积与霍夫圆面积相减，获得霍夫圆圆外的目标区域面积S^e。

同时，计算图像中目标区域质心到边界点的距离与霍夫圆半径之差，获得其均值λ_m和标准差λ_σ。

通过被霍夫圆填充前后的目标区域二值图I_f与

分析，获得被霍夫圆填充前后目标区域的面积变化量S^dv、周长变化量L^dv和圆度变化量ρ^dv。

划分模块S203：对所述目标区域的多种形态特征进行分析，将目标区域分为被遮挡的孤立目标区域与重叠目标区域。

需要说明的是，目标区域的状态分为：重叠目标区域与孤立目标区域，孤立目标区域又可以分为被遮挡的孤立目标区域与未被遮挡的孤立目标区域。

因为目标区域的状态仅仅与目标区域外观状态有关，为此果实前景区域分割二值图分析，基于提取的多种形态特征，组成训练所需要的特征数据，采用K近邻算法对目标区域状态判断，将所述目标区域分为被遮挡的孤立目标区域、未被遮挡的孤立目标区域与重叠目标区域。

轮廓分块模块S204：对所述被遮挡的孤立目标区域与重叠目标区域进行轮廓分段，提取出有效轮廓片段；

在本发明的具体实施例当中，所述所述对所述被遮挡的孤立目标区域与重叠目标区域进行轮廓分段，提取出有效轮廓片段，包括：

对所述重叠目标区域采取采取基于标记的分水岭变换方法，分离出重叠目标与孤立目标；

求解出局部极小值点，基于所述局部最小值点在对应的位置点对重叠目标边界轮廓进行划分，得到重叠目标的有效轮廓片段；

对所述被遮挡的孤立目标区域采取基于基于边界兴趣点的果实区域轮廓分段方法，提取所述孤立目标区域中的检测兴趣点，以所述检测兴趣点为分割点对目标轮廓曲线进行分段，得到所述被遮挡的孤立目标区域中的有效轮廓片段；

在本发明的具体实施例当中，所述基于所述局部最小值点在对应的位置点对重叠目标边界轮廓进行划分，得到重叠目标的有效轮廓片段，包括：

求解出所述重叠目标区域的质心位置(x^b，y^b)，计算公式如下：

计算重叠目标区域轮廓边界点到质心位置的距离d_i，生成与所有轮廓边界点对应的距离序列数据Φ，计算式如下：

Φ＝{d₀，…，d_i，…，d_N-1}

其中P_i(x_i，y_i)为目标潜在连通域轮廓的第i个边界点，N为目标区域轮廓像素点数量；

求解出距离序列数据中的局部最小值，基于局部极小值对应的边界点对目标区域边界轮廓进行划分，得到所述重叠目标区域的有效轮廓片段；

在本发明的具体实施例当中，所述提取所述孤立目标区域中的检测兴趣点，以所述检测兴趣点为分割点对目标轮廓曲线进行分段，得到所述被遮挡的孤立目标区域中的有效轮廓片段，包括：

计算所述被遮挡的孤立目标区域中所有像素点的N点方向矢量角θ_i(N)，计算公式为：

其中

获得N点方向矢量角集合；

提取所述N点方向矢量角集合中矢量角方向变化最大的两个像素点，将所述两个像素点作为检测兴趣点，对目标轮廓曲线进行分段，得到所述被遮挡的孤立目标区域中目标未被遮挡的有效轮廓片段与目标被遮挡后形成的伪轮廓片段。

需要说明的是，若判断目标区域为重叠目标区域，则基于标记控制的分水岭变换方法分离重叠目标与孤立目标，实现轻微重叠目标区域的目标提取。

对于分离获得的重叠目标，获取重叠目标的局部最小值所对应的分界点，基于对应的分界点对重叠目标轮廓进行分段，得到重叠目标中的每个目标对应的轮廓片段。

具体的，重叠目标轮廓边界划分的具体过程如下：

通过图像一阶矩求解出重叠果实区域的质心位置(x^b，y^b)，其计算公式如下：

计算重叠目标区域轮廓边界点到质心位置的距离d_i，生成与所有轮廓边界点对应的距离序列数据Φ，计算公式如下：

Φ＝{d₀，…，d_i，…，d_N-1}

其中P_i(x_i，y_i)为目标潜在连通域轮廓的第i个边界点，N为目标区域轮廓像素点数量。

需要说明的是，求解出的距离序列数据Φ中的局部最小值可能存在异常干扰值，因此还需要计算出坐标系中相邻极小值之间的水平距离d^h，其计算公式如下：

最小水平距离阈值d_min的公式为：

通过计算坐标系中相邻极小值之间的水平距离d^h，设置最小水平距离阈值d_min实现异常值剔除。

求解出距离序列数据Φ中的局部最小值，并且剔除最小值中异常干扰值，利用该局部最小值对应的边界点实现对重叠目标的轮廓分段。

需要说明的是，对于采用标记控制的分水岭变换方法分离获取的孤立目标区域，采用K近邻算法分离出被遮挡的孤立目标区域，并采用下述的基于边界兴趣点的果实区域轮廓分段方法提取出被遮挡的孤立目标区域中的有效轮廓片段。

需要说明的是，若判断目标区域为被遮挡的孤立目标区域，则基于边界兴趣点的果实区域轮廓分段方法，提取被遮挡的孤立目标区域中的有效轮廓片段。

具体的，目标的轮廓可以表示为一条由多个像素点组成的闭合曲线，在曲线上的任一个像素点都可以找到该像素点的前驱点与后驱点，提出关于像素点的N点方向矢量角，用于表征曲线上像素点的方向变化程度，其计算公式为：

其中

并获得目标轮廓曲线上所有像素点对应的N点方向矢量角集合，在曲线中的角点对应的像素点位置上，对应的像素点的N点方向矢量角变化最大，所以提取出对应的N点方向矢量角集合中的两个最大值，将两个最大值对应的像素点作为检测兴趣点，对被遮挡的孤立目标的轮廓曲线进行分段，获得孤立目标真实轮廓片段和被遮挡后形成的伪轮廓片段。

拟合定位模块S205：采用圆拟合方法对所述有效轮廓片段中的目标形状进行圆拟合，对拟合圆作综合分析，定位潜在目标区域；

在本发明的具体实施例当中，所述采用圆拟合方法对所述有效轮廓片段中的目标形状进行圆拟合，对拟合圆作综合分析，定位潜在目标区域，包括：

采用最小二乘法的圆拟合方法对所述有效轮廓片段中的目标形状进行拟合，提取所述有效轮廓片段中的每段轮廓片段的n个像素点，基于所述n个像素点作该段轮廓片段的拟合圆，并通过对所述拟合圆的位置与拟合圆的拟合误差进行综合分析，判断出拟合圆为有效拟合圆还是无效拟合圆并剔除无效拟合圆区域，定位所述潜在目标区域。

在本发明的具体实施例当中，所述对所述拟合圆的位置与拟合圆的拟合误差进行综合分析，判断出拟合圆为有效拟合圆还是无效拟合圆并剔除无效拟合圆区域，实现潜在目标区域定位，包括：

计算目标轮廓质心(x^b，y^b)与目标圆心位置(x_ci，y_ci)的距离σ_i，计算公式如下：

计算出σ_i，i＝1，2；

若σ₁≤r₁且σ₂＞r₂，则表明所述目标区域在拟合圆C₁与拟合圆C₂内部，C₂为无效拟合圆；

若σ₁＞r₁且σ₂≤r₂，则表明所述目标区域在拟合圆C₁外部且在拟合圆C₂内部，C₁为无效拟合圆；

其中r_i为第i段轮廓片段对应的拟合圆的半径。

需要说明的是，因为目标的轮廓形状可以近似为圆形，故可以根据目标轮廓片段，采用最小二乘法的圆拟合方法对目标形状进行拟合，剔除遮挡目标轮廓拟合出现的无效圆，利用圆的位置和拟合误差进行综合分析，实现拟合圆的有效性。

具体的，计算目标轮廓质心(x^b，y^b)与目标圆心位置(x_ci，y_ci)的距离σ_i，计算公式如下：

计算出σ_i，i＝1，2；

若σ₁≤r₁且σ₂＞r₂，则表明所述目标区域在拟合圆C₁与拟合圆C₂内部，C₂为无效拟合圆；

若σ₁＞r₁且σ₂≤r₂，则表明所述目标区域在拟合圆C₁外部且在拟合圆C₂内部，C₁为无效拟合圆；

其中r_i为第i段轮廓片段对应的拟合圆的半径。

需要说明的是，若无上述两种情况，则说明目标区域同时出现在拟合圆C₁与拟合圆C₂内部或者同时出现在拟合圆C₁与拟合圆C₂外部，需要结合拟合误差进行判断，该公式如下：

其中d_ik为第i段轮廓片段对应拟合圆的圆心到该轮廓片段第k个像素点的距离，其计算式如下：

计算出δ₁与δ₂，若δ₁不大于δ₂，则说明拟合圆C₂为无效拟合圆，若δ₁大于δ₂，则说明拟合圆C₁为无效拟合圆。

在有效拟合圆区域中剔除无效拟合圆区域，剩下的有效拟合圆区域为潜在目标区域，实现潜在目标区域的定位。

特定目标识别模块S206：剔除所述潜在目标区域中背景因素的干扰，识别所述潜在目标区域的特定目标。

在本发明的具体实施例当中，所述剔除所述潜在目标区域中背景因素的干扰，识别所述潜在目标区域的特定目标，包括：

第一阶段利用SVM分类器实现目标和背景区域的判别；

第二阶段利用SVM分类器对目标进行分类，实现特定目标的准确识别。

需要说明的是，在第一阶段执行的过程之前，需要构建模型，选取目标的多个特征，根据对应的方法提取出目标的多种特征数据，根据提取的多种特征数据，构建出对应的目标识别SVM模型与类别识别SVM模型。

第一阶段利用SVM模型实现目标区域与背景区域的判别，第二阶段利用类别识别SVM模型实现特定目标的识别。

综上所述，该种复杂环境下基于计算机视觉的目标检测方法及装置，通过目标对象先验知识将目标区域判别为重叠目标区域和遮挡目标区域，而针对重叠目标区域采用标记控制的分水岭变换方法进行多目标初步分离，并通过边界轮廓点到质心位置的极小值计算，实现未分离目标区域的连通域分段。针对孤立目标区域通过目标连通域的边界角点计算，实现孤立目标区域轮廓分段，采用最小二乘法对目标区域拟合，从而实现目标区域准确定位。最后，通过目标区域颜色、纹理特征提取，采用二阶段的SVM模型进行目标分类，以实现目标类别的准确识别。该方法能够提高自然复杂环境的目标实例检测准确率，在安防监控、农业感知等领域具有重要的应用价值。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种复杂环境下基于计算机视觉的目标检测方法及装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种在复杂环境下基于计算机视觉的目标检测方法，其特征在于，所述方法包括：

采集前景区域的RGB图像，对所述前景区域的RGB图像进行预处理，获得前景目标区域分割二值图；

对所述前景目标区域分割二值图进行分析，提取出目标区域的多种形态特征；

对所述目标区域的多种形态特征进行分析，将目标区域分为被遮挡的孤立目标区域与重叠目标区域；

对所述被遮挡的孤立目标区域与重叠目标区域进行轮廓分段，提取出有效轮廓片段；

采用圆拟合方法对所述有效轮廓片段中的目标形状进行圆拟合，对拟合圆作综合分析，定位潜在目标区域；

剔除所述潜在目标区域中背景因素的干扰，识别所述潜在目标区域的特定目标。

2.根据权利要求1所述的目标检测方法，其特征在于，所述采集前景区域的RGB图像，对所述前景区域的RGB图像进行预处理，获得前景目标区域分割二值图，包括：

获得所述前景区域的RG色差图、RB色差图和GR色差图，对所述RG色差图、RB色差图和RG色差图进行Otsu阈值化，计算出前景目标区域二值图I_fcmt，计算公式如下：

I_fcmt＝f_Otsu(I_RB)∪f_Otsu(I_RG)-f_Otsu(I_GR)

其中f_Otsu为Otsu阈值化函数，I_RG、I_RB、I_GR分别为RG色差图、RB色差图和GR色差图；

采用中值滤波和形态学操作对所述前景目标区域二值图进行滤波平滑处理；

采用泛洪填充算法对滤波平滑处理后的前景目标区域二值图的孔洞进行填充，得到所述前景目标区域分割二值图。

3.根据权利要求1所述的目标检测方法，其特征在于，所述多种形态特征包括：目标区域的面积S、周长L、目标区域的圆度ρ、霍夫圆圆外的目标区域面积S^e、目标区域质心到边界点的距离与霍夫圆半径之差，其均值λ_m和标准差λ_σ、被霍夫圆填充前后目标区域的面积变化量S^dv、周长变化量L^dv和圆度变化量ρ^dv。

4.根据权利要求1所述的目标检测方法，其特征在于，所述对所述被遮挡的孤立目标区域与重叠目标区域进行轮廓分段，提取出有效轮廓片段，包括：

对所述重叠目标区域采取基于标记的分水岭变换方法，分离出重叠目标与孤立目标；

求解出局部极小值点，基于所述局部最小值点在对应的位置点对重叠目标边界轮廓进行划分，得到重叠目标的有效轮廓片段；

对所述被遮挡的孤立目标区域采取基于边界兴趣点的果实区域轮廓分段方法，提取所述孤立目标区域中的检测兴趣点，以所述检测兴趣点为分割点对目标轮廓曲线进行分段，得到所述被遮挡的孤立目标区域中的有效轮廓片段。

5.根据权利要求4所述的目标检测方法，其特征在于，所述基于所述局部最小值点在对应的位置点对重叠目标边界轮廓进行划分，得到重叠目标的有效轮廓片段，包括：

求解出所述重叠目标区域的质心位置(x^b，y^b)，计算公式如下：

计算重叠目标区域轮廓边界点到质心位置的距离d_i，生成与所有轮廓边界点对应的距离序列数据Φ，计算式如下：

Φ＝{d₀，…，d_i，…，d_N-1}

其中P_i(x_i，y_i)为目标潜在连通域轮廓的第i个边界点，N为目标区域轮廓像素点数量；

求解出距离序列数据Φ的局部最小值，基于局部极小值对应的边界点对目标区域边界轮廓进行划分，得到所述重叠目标区域的有效轮廓片段。

6.根据权利要求4所述的目标检测方法，其特征在于，所述提取所述孤立目标区域中的检测兴趣点，以所述检测兴趣点为分割点对目标轮廓曲线进行分段，得到所述被遮挡的孤立目标区域中的有效轮廓片段，包括：

计算所述被遮挡的孤立目标区域中所有像素点的N点方向矢量角θ_i(N)，计算公式为：

其中

获得N点方向矢量角集合；

提取所述N点方向矢量角集合中矢量角方向变化最大的两个像素点，将所述两个像素点作为检测兴趣点，对目标轮廓曲线进行分段，得到所述被遮挡的孤立目标区域中目标未被遮挡的有效轮廓片段与目标被遮挡后形成的伪轮廓片段。

7.根据权利要求1所述的目标检测方法，其特征在于，所述采用圆拟合方法对所述有效轮廓片段中的目标形状进行圆拟合，对拟合圆作综合分析，定位潜在目标区域，包括：

采用最小二乘法的圆拟合方法对所述有效轮廓片段中的目标形状进行拟合，提取所述有效轮廓片段中的每段轮廓片段的n个像素点，基于所述n个像素点作该段轮廓片段的拟合圆，并通过对所述拟合圆的位置与拟合圆的拟合误差进行综合分析，判断出拟合圆为有效拟合圆还是无效拟合圆并剔除无效拟合圆区域，定位所述潜在目标区域。

8.根据权利要求7所述的目标检测方法，其特征在于，所述对所述拟合圆的位置与拟合圆的拟合误差进行综合分析，判断出拟合圆为有效拟合圆还是无效拟合圆并剔除无效拟合圆区域，实现潜在目标区域定位，包括：

计算目标轮廓质心(x^b，y^b)与目标圆心位置(x_ci，y_ci)的距离σ_i，计算公式如下：

计算出σ_i，i＝1，2；

若σ₁≤r₁且σ₂＞r₂，则表明所述目标区域在拟合圆C₁与拟合圆C₂内部，C₂为无效拟合圆；

若σ₁＞r₁且σ₂≤r₂，则表明所述目标区域在拟合圆C₁外部且在拟合圆C₂内部，C₁为无效拟合圆；

其中r_i为第i段轮廓片段对应的拟合圆的半径。

9.根据权利要求1所述的目标检测方法，其特征在于，所述剔除所述潜在目标区域中背景因素的干扰，识别所述潜在目标区域的特定目标，包括：

第一阶段利用SVM分类器实现目标和背景区域的判别；

第二阶段利用SVM分类器对目标进行分类，实现特定目标的准确识别。

10.一种在复杂环境下基于计算机视觉的目标检测装置，其特征在于，所述装置包括：

数据采集模块：用于采集前景区域的RGB图像，对所述前景区域的RGB图像进行预处理，获得前景目标区域分割二值图；

特征提取模块：用于对所述前景目标区域分割二值图进行分析，提取出目标区域的多种形态特征；

划分模块：用于对所述目标区域的多种形态特征进行分析，将目标区域分为被遮挡的孤立目标区域与重叠目标区域；

轮廓分段模块：用于对所述被遮挡的孤立目标区域与重叠目标区域进行轮廓分段，提取出有效轮廓片段；

拟合定位模块：用于采用圆拟合方法对所述有效轮廓片段中的目标形状进行圆拟合，对拟合圆作综合分析，定位潜在目标区域；

特定目标识别模块：用于剔除所述潜在目标区域中背景因素的干扰，识别获得所述潜在目标区域的特定目标。

Images