CN111291747B - 一种复杂场景下基于深度图的彩色小目标检测方法 - Google Patents

Abstract

本发明公开了一种复杂场景下基于深度图的彩色小目标检测方法，属于目标检测领域。通过采集彩色图像和其对应的深度图，对彩色图像进行颜色空间转换，利用待检测目标颜色和深度信息对图像进行限制得到二值化图像，接着制定静态和动态打分策略，对形态学处理后的图像中的候选连通区域进行打分，最终检测出复杂场景下的彩色小目标。该方法可以筛选出在特定范围内的目标，可靠性高；具有很强的鲁棒性；程序简单，易于实现，海陆空都可以用，在复杂的丛林背景下更加凸显其优势。

Description

一种复杂场景下基于深度图的彩色小目标检测方法

技术领域

本发明属于目标检测领域，特别涉及到一种复杂场景下基于深度图的彩色小目标检测方法。

背景技术

目标检测是计算机视觉和图像处理领域的一个重要方向。目标检测广泛应用于军事侦察，自动驾驶，智能安防等领域。通过目标检测可以获取目标位置信息为后续处理做准备。

目前很多检测方法采用的都是单目彩色图像或者深度图像。单纯使用单目彩色图像难以解决光线和影子的影响，并且当目标颜色和背景颜色相近的时，容易产生漏检。同时，单纯根据深度图在目标和背景相距较近的情况下也会漏检。如何使两者优势互补，降低彩色小目标误检率是一个亟待解决的问题。

发明内容

本发明旨在克服现有技术的不足，提出了一种复杂场景下基于深度图的彩色小目标检测方法。HSV是一种比较直观的颜色模型，这个模型中颜色的参数分别是：H(色调)，S(饱和度)，V(明度)，每种颜色在这三个通道中都有对应的参数范围。通过获得彩色图像和对应的深度图，对彩色图像进行颜色空间转换，基于目标颜色和距离信息对图像做出限制，形态学处理，制定静态和动态打分策略这五个步骤，该方法能在极为复杂的场景下实时地检测出静态或者动态的彩色小目标。

本发明的具体技术方案为，一种复杂场景下基于深度图的彩色小目标检测方法，包括下列步骤：

1)获取图像：获取彩色双目相机拍摄的单帧或者多帧的彩色图像I及其对应的深度图dis_I；

2)颜色空间转换：将彩色图像I从RGB空间转换到HSV空间，得到图I′；

3)颜色和距离限制：基于待检测目标颜色和距离信息对图I′做出限制，将图I′中同时满足H、S、V三通道条件和距离条件的像素点，对应到二值化图像Binary_I中，Binary_I(x,y)为255，剩余像素点对应到Binary_I中，Binary_I(x,y)为0，得到二值化图像Binary_I；

4)形态学处理：对二值化图像进行形态学处理包括：求连通区域、膨胀和腐蚀。用于从图像中提取出对于表达和描绘待检测目标形状有用处的图像信息；

5)制定静态和动态打分策略：使用静态和动态特征作为决策项。使用加权打分机制，分别对静态特征和动态特征按照排序策略进行排序，最后加权得出图像上每个连通区域的得分；

6)筛选目标：根据每个连通区域的分数结果筛选出目标。

步骤5)中，制定静态和动态打分策略的具体过程包括：

5-1)根据目标的静态特征，使用矩形度、宽高比、连通区域HSV三个通道各自的变异系数、圆形度作为静态特征，制定静态打分策略。各个静态特征的计算公式为：

其中，S_k为第k个连通区域的面积，S_rect为第k个连通区域的最小外接矩形的面积，width_k是第k个连通区域的宽，height_k是第k个连通区域的高，H_i为连通区域内像素点I′(x,y)的色调值，S_i为连通区域内像素点I′(x,y)的饱和度值，V_i为连通区域内像素点I′(x,y)的明度值，N为第k个连通区域中像素点的个数，S_mean为第k个连通区域的平均色调值，

L_k为第k个连通区域的周长，α，β，γ，τ，δ和ε为静态特征对应的权重；RankS_k表示第k个连通区域静态特征的得分。

5-2)使用面积和距离作为动态特征，制定动态打分策略。

其中，Speed_k表示第k个连通区域的运动速度，speed_min为已知的最小运动速度，speed_max为已知的最大运动速度，Area_k表示第k个连通区域的面积，Area_min为已知的最小连通区域面积，Area_max为已知的最大连通区域面积。θ₁，θ₂为对应的速度权重，μ₁，μ₂为对应的面积权重，ζ，

为动态特征对应的权重，RankD_k表示第k个连通区域动态特征的得分。

本发明的有益效果是：

本发明设计了一种复杂场景下基于深度图的彩色小目标检测方法。利用深度图信息和静态动态打分策略检测彩色小目标，根据得分筛选出单目标或者多目标。该方法具有以下特点：(1)可以筛选出在特定范围内的目标，可靠性高。(2)具有很强的鲁棒性。(3)程序简单，易于实现，海陆空都可以用，在复杂的丛林背景下更加凸显其优势。

附图说明

图1为复杂场景下基于深度图的彩色小目标检测方法主流程图；

图2为复杂场景下基于深度图的彩色小目标检测的单帧图像；

图3为图2局部放大后的待检测目标。

具体实施方式

本发明提出了一种复杂场景下基于深度图的彩色小目标检测方法，通过对彩色图像进行颜色空间转换，基于目标颜色和距离信息做出限制，形态学处理，制定静态和动态打分策略四个步骤实现了复杂场景下彩色小目标的检测。下面结合附图及实施例进一步阐述本发明。

如图1所示，一种复杂场景下基于深度图的彩色小目标检测的方法，方法具体步骤如下:

1)获取双目彩色相机拍摄的单帧或者多帧的彩色图像I及其对应的深度图dis_I，图2为复杂场景下基于深度图的彩色小目标检测的单帧图像；

2)将彩色图像I从RGB空间转换到HSV空间，得到图I′。相对于RGB空间，HSV空间能够非常直观的表达色彩的明暗，色调，以及鲜艳程度，以便根据目标颜色信息进行筛选；

3)图3为局部放大后的待检测目标。基于待检测目标颜色和距离信息对图I′做出限制，将图I′中同时满足H、S、V三通道条件和距离条件的像素点，对应到二值化图像Binary_I中，Binary_I(x,y)为255，剩余像素点对应到Binary_I中，Binary_I(x,y)为0，得到二值化图像Binary_I；

4)对二值化图像Binary_I进行形态学处理，包括求连通区域、腐蚀和膨胀。根据待检测目标在二值化图像Binary_I中面积信息，设腐蚀结构元素为SE1，膨胀结构元素为SE2。设待检测目标所在连通区域的面积最大不超过Area_max，面积最小不少于Area_min。若连通区域的面积为Area_k，k为连通区域的编号，则只保留Area_min≤Area_k≤Area_max的连通区域；

5)使用静态和动态特征作为决策项。使用加权打分机制，分别对静态特征和动态特征按照一定的排序策略进行排序，最后加权得出图像上每个连通区域的得分；

6)根据分数结果可以筛选出单目标或者多目标。

步骤5)中，制定静态和动态打分策略的具体过程包括：

5-1)根据目标的静态信息，使用矩形度、宽高比、连通区域HSV三个通道各自的变异系数、圆形度作为静态特征，制定静态打分策略。各个静态特征的计算公式为：

其中，S_k为第k个连通区域的面积，S_rect为第k个连通区域的最小外接矩形的面积，width_k是第k个连通区域的宽，height_k是第k个连通区域的高，H_i为连通区域内像素点I′(x,y)的色调值，S_i为连通区域内像素点I′(x,y)的饱和度值，V_i为连通区域内像素点I′(x,y)的明度值，N为第k个连通区域中像素点的个数，S_mean为第k个连通区域的平均色调值，

L_k为第k个连通区域的周长，α，β，γ，τ，δ和ε为静态特征对应的权重；RankS_k表示第k个连通区域静态特征的得分。

5-2)使用面积和距离作为动态特征，制定动态打分策略。

其中，Speed_k表示第k个连通区域的运动速度，speed_min为已知的最小运动速度，speed_max为已知的最大运动速度，Area_k表示第k个连通区域的面积，Area_min为已知的最小连通区域面积，Area_max为已知的最大连通区域面积。θ₁，θ₂为对应的速度权重，μ₁，μ₂为对应的面积权重，ζ，

为动态特征对应的权重，RankD_k表示第k个连通区域动态特征的得分。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (1)

1.一种复杂场景下基于深度图的彩色小目标检测方法，其特征在于，包括以下步骤：

1)获取图像：获取彩色双目相机拍摄的彩色图像I及其对应的深度图dis_I；

2)颜色空间转换：将彩色图像I从RGB空间转换到HSV空间，得到图I′；

3)颜色和距离限制：基于待检测目标颜色和距离信息对图I′做出限制，将图I′中同时满足H、S、V三通道条件和距离条件的像素点，对应到二值化图像Binary_I中，Binary_I(x,y)为255，剩余像素点对应到Binary_I中，Binary_I(x,y)为0，得到二值化图像Binary_I；

4)形态学处理：对二值化图像进行形态学处理包括：求连通区域、膨胀和腐蚀；用于从图像中提取出对于表达和描绘待检测目标形状有用处的图像信息；

5)制定静态和动态打分策略：使用静态和动态特征作为决策项；使用加权打分机制，分别对静态特征和动态特征按照排序策略进行排序，最后加权得出图像上每个连通区域的得分；所述的制定静态和动态打分策略的具体过程包括：

5-1)根据目标的静态特征，使用矩形度、宽高比、连通区域HSV三个通道各自的变异系数、圆形度作为静态特征，制定静态打分策略；各个静态特征的计算公式为：

其中，S_k为第k个连通区域的面积，S_rect为第k个连通区域的最小外接矩形的面积，width_k是第k个连通区域的宽，height_k是第k个连通区域的高，H_i为连通区域内像素点I^′(x,y)的色调值，S_i为连通区域内像素点I^′(x,y)的饱和度值，V_i为连通区域内像素点I^′(x,y)的明度值，N为第k个连通区域中像素点的个数，S_mean为第k个连通区域的平均饱和度值，

L_k为第k个连通区域的周长，α，β，γ，τ，δ和ε为静态特征对应的权重；RankS_k表示第k个连通区域静态特征的得分；

5-2)使用面积和距离作为动态特征，制定动态打分策略；

其中，Speed_k表示第k个连通区域的运动速度，speed_min为已知的最小运动速度，speed_max为已知的最大运动速度，Area_k表示第k个连通区域的面积，Area_min为已知的最小连通区域面积，Area_max为已知的最大连通区域面积；θ₁，θ₂为对应的速度权重，μ₁，μ₂为对应的面积权重，ζ，

为动态特征对应的权重，RankD_k表示第k个连通区域动态特征的得分；

6)筛选目标：根据每个连通区域的分数结果筛选出目标。

Images