CN108596188A - 基于hog特征算子的视频目标检测方法 - Google Patents

Abstract

本发明属于目标检测技术领域，公开了基于HOG特征算子的视频目标检测方法，包括：获取待检测视频，在待检测视频的第一帧图像中标定目标区域；利用第一帧图像对随机森林检测器进行初始化，令s＝2；利用预设尺度的目标框扫描第s帧图像，得到对应的多个图像块；分别对每个图像块进行HOG特征提取，得到每个图像块对应的D个特征值；利用每个图像块对应的D个特征值以及随机森林检测器，对第s帧图像进行目标检测；利用正样本图像块和负样本图像块更新随机森林检测器，利用更新后的随机森林检测器对下一帧图像进行检测，即完成对待检测视频的检测。本发明在目标检测过程中当光照强度发生变化时，仍然能够准确检测到目标。

Description

基于HOG特征算子的视频目标检测方法

技术领域

本发明涉及目标检测技术领域，尤其涉及基于方向梯度直方图(Histogram ofOrientation Gradient，HOG)特征算子的视频目标检测方法。

背景技术

运动目标的检测和跟踪是计算机视觉领域重要的研究内容之一。通过人眼将运动的目标从视频序列中分析识别出来是非常容易的，但是对于计算机来说却是很困难的，因为跟踪目标的形态变化、背景混杂以及光照变化都会对跟踪带来巨大的干扰。运动目标的检测与跟踪的目的在于利用数字图像处理以及视频分析等相关技术对视频序列图像进行处理分析，最终使计算机理解视频序列中的客观背景和目标。

目前，常用的目标检测方法有帧差法、背景差法以及光流法。其中，帧差法通过比较相邻两帧或者三帧图像的差异实现对目标的检测，对动态的场景有较强的适应性，但该方法在运动实体内部容易产生空洞，无法完整的提取目标；背景差法则通过将当前帧与背景模型进行查分，利用差分结果将图像分为前景点和背景点，其中的前景点即是运动目标；而光流法基于目标随时间变化的光流特性，利用图像的亮度来检测运动目标，该方法计算复杂耗时，准确性达不到保证。

此外，由于在目标运动过程中，其周围的光照强度会不断变化，而光照强度发生变化会使目标的像素值发生变化，进而导致现有的目标检测器在提取动目标的特征时会出现误差，从而导致检测结果出现偏差甚至错误。

发明内容

有鉴于此，本发明提供一种基于HOG特征算子的视频目标检测方法，在目标检测过程中当光照强度发生变化时，仍然能够准确检测到目标。

为达到上述目的，本发明采用如下技术方案：

提供一种基于HOG特征算子的视频目标检测方法，包括以下步骤：

步骤1，获取待检测视频，所述待检测视频包括S帧图像，在其中的第一帧图像中标定目标区域；

步骤2，利用所述第一帧图像，对随机森林检测器进行初始化；同时，对帧序号s进行初始化，令s＝2；

步骤3，利用预设尺度的目标框扫描第s帧图像，得到对应的多个图像块；分别对每个所述图像块进行HOG特征提取，得到每个所述图像块对应的D个特征值；其中，D表示预设的特征值个数；

对于任一所述图像块，利用该图像块对应的D个特征值以及所述随机森林检测器，得到该图像块对应的判决值，进而确定所述判决值是否大于预设的判决门限；若所述判决值大于所述预设的判决门限，则确定该图形块中存在目标，并将该图像块标记为正样本图像块；若所述判决值小于或等于所述预设的判决门限，则确定该图形块中不存在目标，并将该图像块标记为负样本图像块；

根据全部正样本图像块，得到所述第s帧图像中的目标区域，在所述第s帧图像中标示目标区域；

步骤4，判断s是否小于S：若s小于S，则利用所述正样本图像块和所述负样本图像块更新所述随机森林检测器，并令s加1，重复执行步骤4，直至s等于S，即完成对所述待检测视频的跟踪。

基于本发明上述方案，由于本发明方法在目标检测过程中引入了HOG特征算子及随机森林检测器，能够弱化检测过程中光照强度的变化对检测准确性的影响，增强目标检测的准确性，在目标检测过程中光照强度发生变化时依然可以准确的检测到目标。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于HOG特征算子的视频目标检测方法的流程示意图；

图2为本发明实施例中对方向角进行划分的示意图；

图3为本发明实施例中单个单元细胞对应的梯度方向直方图；

图4(a)为待检测视频序列的第一帧图像；

图4(b)为利用本发明实施例方法进行目标检测得到的检测结果；

图4(c)为利用现有的背景差分方法进行目标检测得到的检测结果；

图5(a)为待检测视频序列的第一帧图像；

图5(b)为利用本发明实施例方法进行目标检测得到的检测结果；

图5(c)为利用现有的背景差分方法进行目标检测得到的检测结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1所示为本发明实施例提供的一种基于HOG特征算子的视频目标检测方法的流程示意图。

如图1所示，本发明实施例提供的基于HOG特征算子的视频目标检测方法包括以下步骤：

步骤1，获取待检测视频，待检测视频包括S帧图像，在其中的第一帧图像中标定目标区域。

其中，所述目标区域指的是包含有待检测动目标的区域。

步骤2，利用第一帧图像，对随机森林检测器进行初始化；同时对帧序号s进行初始化，令s＝2。

步骤2中，所述利用所述第一帧图像，对随机森林检测器进行初始化，具体包括以下子步骤：

步骤2.1，确定目标区域的尺寸，以目标区域的尺寸为基准，设定至少N个尺度不同于基准的目标框；对于其中任一尺度的目标框，以该尺度的目标框为单位、以一个像素点为步长，扫描第一帧图像，并在扫描过程中记录该尺度的目标框在每个位置时与目标区域的重合度，存储至集合grid中；将集合grid中重合度大于第一重合度阈值的目标框对应的信息记录在集合good-boxes中，将集合grid中重合度小于第二重合度阈值的目标框对应的信息记录在集合good-boxes中；其中，目标框对应的信息包括：目标框的尺度，目标框的位置以及目标框与目标区域的重合度；确定集合good-boxes中重合度较大的t个目标框，对于其中任一目标框，对该目标框对应的图像块进行f次仿射变换，得到f×t个图像块；将f×t个图像块中各图像块标记为正样本图像块；分别对各正样本图像块进行HOG特征提取，得到每个正样本图像块对应的D个特征值，并记为正样本特征值。

其中，N为大于1的整数，f具体可以取20，t具体可以取10，第一重合度阈值具体可以取0.6，第二重合度阈值具体可以取0.2。

所述目标框对应的图像块指的是目标框在第一帧图像圈定的图像区域；所述重合度表示图像块与目标区域的重合程度，具体可以用以下公式计算：

式中，AM表示图像块，AC表示目标区域，Area(AM∩AC)表示图像块与目标区域的重合区域的面积，Area(AM∪AC)表示图像块与目标区域的并集的面积。

一种具体的实现方式中，可以设定21个尺度不同的目标框，目标框的尺度具体可以是所述基准的[0.16，0.19，0.23，0.27，0.33，0.40，0.48，0.57，0.69，0.83，1，1.20，1.44，1.72，2.07，2.48，2.98，3.58，4.29，5.15，6.19]倍，本发明实施例对此不作具体限定。

步骤2.1中，对图像块进行HOG特征提取，得到图像块对应的D个特征值具体可以包括以下步骤：

(1)将图像片分割成大小为一定的多个单元细胞，其中每个单元细胞包括若干个像素点。

(2)确定每个单元细胞的方向梯度直方图，将全部单元细胞的方向梯度直方图拼接在一起，得到图像片的方向梯度直方图，其中每个方向梯度直方图的横坐标为bin，纵坐标为分布在对应bin上的像素点的梯度值之和。

示例性的，以下以大小为8*8的单元细胞为例，详细说明确定单元细胞的方向梯度直方图的过程：

在大小为8*8的单元细胞cell中就会存在64个像素值，首先求得每个像素值的梯度大小以及梯度的方向。为了能够量化梯度值在不同方向上的投影，将方向角的取值范围0°～180°平均划分成9等分，每一等份对应的角度大小为20°，如图2所示。其中，每一等份即是一个bin，也就是说每个bin代表20°的方向角。在图2中，圆形的圆心代表是某一位置的像素点，实线代表的是两个bin之间的分界线，而虚线代表的是bin的中心线，图中的θ代表的是在这个像素点的梯度方向，带箭头的线表示这一像素点的梯度值。利用这种方式，对该细胞单元中每个像素点都进行如上计算，然后统计分布在每个bin上的像素点的梯度值之和(即图3中的权值)，就得到了该细胞单元的一个九维的梯度方向直方图，如图3所示。

(3)从图像片的方向梯度直方图中随机抽取偶数个bin，将抽取得到的bin分为D组，每组包括d个bin。

(4)在每组bin中不重复的随机选择两个bin，比较两个bin在梯度直方图上的纵坐标，若先抽出的bin的纵坐标较大，则对应的输出为1；若后抽出的bin的纵坐标较大，则对应的输出为0。这样，每组进行d次抽取，产生d/2个0或1，这d/2个0和1组成一串二进制数，将该二进制数转换为十进制数，该十进制数即是该图形片对应的特征值。

步骤2.2，从集合bad-boxes中任意抽取M2个目标框，将所抽取的M2个目标框对应的图像块的标记为负样本图像块；分别对各负样本图形块进行HOG特征提取，得到每个负样本图像块对应的D个特征值，并记为负样本特征值；M2为大于1的整数；构造集合fern-data，用于存储各样本图像块对应的特征值，样本图像块包括正样本图像块和负样本图像块；其中，集合fern-data包括M个子集，每个子集对应一个样本图像块，且每个子集包括D个元素，每个元素为对应样本图像块的一个特征值。

其中，M＝M1+M2，M1＝f×t；

步骤2.3，构造随机森林检测器，随机森林检测器包括D个子集，每个子集又包括2^{d /2}个元素，各元素的初值为0；构造与随机森林检测器结构相同的两个集合，分别记为第一集合pcounter和第二集合ncounter，第一集合pcounter和第二集合ncounter中各子集中元素的初值均为0。

步骤2.4，对子集序号i和元素序号j进行初始化，令i＝1。

步骤2.5，判断集合fern-data中的第i个子集fern-data[i]对应的样本图像块是否为正样本图像块：若是，则利用第i个子集fern-data[i]的D个元素，对第一集合pcounter赋值；若否，则利用第i个子集fern-data[i]的D个元素，对第二集合ncounter赋值。

具体的，步骤2.5中，利用第i个子集fern-data[i]的D个元素，对第一集合pcounter赋值，可以包括：

令第一集合pcounter的第m个子集的第fern-data[i][m]+1个元素的值加1，m依次取1、2、……D，fern-data[i][m]表示集合fern-data中的第i个子集的第m个元素。

类似的，步骤2.5中，利用第i个子集fern-data[i]的D个元素，对第二集合ncounter赋值，具体可以包括：

令第二集合ncounter的第n个子集的第fern-data[i][n]+1个元素的值加1，n依次取1、2、……、D，fern-data[i][n]表示集合fern-data中的第i个子集的第n个元素。

步骤2.6，令i加1，判断i是否大于M：若i小于或等于M，则转至步骤2.5；若i大于M，则转至步骤步骤2.7。

步骤2.7，利用第一集合pcounter和第二集合ncounter，对随机森林检测器中各子集的元素进行赋值。

其中，随机森林检测器的第p个子集的第k个元素的值为： pcounter[p][k]表示第一集合pcounter的第p个子集的第k个元素的值；ncounter[p][k]表示第二集合ncounter的第p个子集的第k个元素的值。

步骤3，利用预设尺度的目标框扫描第s帧图像，得到对应的多个图像块；分别对每个图像块进行HOG特征提取，得到每个图像块对应的D个特征值；对于任一图像块，利用该图像块对应的D个特征值以及随机森林检测器，得到该图像块对应的判决值，进而确定判决值是否大于预设的判决门限；若判决值大于预设的判决门限，则确定该图形块中存在目标，并将该图像块标记为正样本图像块；若判决值小于或等于预设的判决门限，则确定该图形块中不存在目标，并将该图像块标记为负样本图像块；根据全部正样本图像块，得到第s帧图像中的目标区域，在第s帧图像中标示目标区域。

具体来说，步骤3中，对于任一图像块，利用该图像块对应的D个特征值以及随机森林检测器，得到该图像块对应的判决值，可以包括：

将该图像块对应的D个特征值代入随机森林检测器，得到对应的D个概率值p₁，p₂，…，p_j，…，p_D，对D个概率值p₁，p₂，…，p_j，…，p_D求和，即得到该图像块对应的判决值

其中，p_j表示随机森林检测器的第j个子集中的第T_j+1个元素的值，即p_j＝posteriors[j][T_j+1]，T_j表示该图像块的第j个特征值，j＝1、2、3…D。

步骤4，判断s是否小于S：若s小于S，则利用正样本图像块和负样本图像块更新随机森林检测器，并令s加1，重复执行步骤4，直至s等于S，即完成对待检测视频的检测。

其中，步骤4中，利用正样本图像块和负样本图像块更新随机森林检测器，具体可以包括：

步骤4.1，将第一集合pcounter、第二集合ncounter及随机森林检测器中各子集的每个元素置0。

步骤4.2，利用正样本图像块对应的D个特征值对第一集合pcounter赋值，以及利用负样本图像块对应的D个特征值对第二集合ncounter赋值。

其中，需要说明的是，对第一集合和第二集合的具体赋值方法与步骤2.5中的赋值方法相同。简单来说，即是分别为集合的每个子集分配图像块D个特征值中的一个特征值，根据特征值的取值对对应子集中的元素进行赋值，例如，当某一子集对应的特征值的取值为T时，则将该子集下的第T+1个元素的值加1。

步骤4.3，利用第一集合pcounter和第二集合ncounter，对随机森林检测器中各子集的元素进行赋值。

其中，随机森林检测器的第p个子集的第k个元素的值为： pcounter[p][k]表示第一集合pcounter的第p个子集的第k个元素的值；ncounter[p][k]表示第二集合ncounter的第p个子集的第k个元素的值。

基于本发明上述方案，由于本发明方法在目标检测过程中引入了HOG特征算子及随机森林检测器，能够弱化检测过程中光照强度的变化对检测准确性的影响，增强目标检测的准确性，在目标检测过程中光照强度发生变化时依然可以准确的检测到目标。

以下通过仿真实验进一步说明本发明实施例上述方法的效果：

1、仿真实验内容

分别利用本发明实施例方法和现有的背景差分法及帧差法对两个视频序列进行目标检测，并在视频序列的各帧图像中标示所检测到的目标。

2、仿真实验结果及说明

图4(a)所示为第一个待检测视频序列的第一帧图像，图中实线方框所选定的区域即为标定的目标区域；图4(b)所示为利用本发明实施例方法进行目标检测得到的检测结果，图中实线方框圈定的区域即检测到的目标区域；图4(c)所示为利用现有的背景差分方法进行目标检测得到的检测结果，图中虚线方框圈定的区域即检测到的目标区域；

从图4(c)可以看出，在图像序列中，随着目标的不断地移动，当这个目标在灯光下的时候，现有的背景差法检测到的目标区域中并未包括起初选定的目标，检测失效；而从图4(b)可以看出，在目标光照发生变化的时候，利用本发明实施例方法依然可以准确检测到目标。

图5(a)所示为第一个待检测视频序列的第一帧图像，图中实线方框所选定的区域即为标定的目标区域；图5(b)所示为利用本发明实施例方法进行目标检测得到的检测结果，图中实线方框圈定的区域即检测到的目标区域；图5(c)所示为利用现有的侦差法进行目标检测得到的检测结果，图中虚线方框圈定的区域即检测到的目标区域；

从图5(c)可以看出，在图像序列中，随着目标(歌手的头部)的不断地移动，目标周围的光强在不断变化，现有的帧差法检测到的目标区域中并未包括标定目标，检测失效；而从图5(b)可以看出，在目标光照发生变化的时候，利用本发明实施例方法依然可以准确检测到目标。

综上可见，本发明实施例方法在目标检测过程中光照强度发生变化时依然可以准确的检测到目标。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种基于HOG特征算子的视频目标检测方法，其特征在于，包括以下步骤：

步骤1，获取待检测视频，所述待检测视频包括S帧图像，在其中的第一帧图像中标定目标区域；

步骤2，利用所述第一帧图像，对随机森林检测器进行初始化；同时，对帧序号s进行初始化，令s＝2；

步骤3，利用预设尺度的目标框扫描第s帧图像，得到对应的多个图像块；分别对每个所述图像块进行HOG特征提取，得到每个所述图像块对应的D个特征值；其中，D表示预设的特征值个数；

对于任一所述图像块，利用该图像块对应的D个特征值以及所述随机森林检测器，得到该图像块对应的判决值，进而确定所述判决值是否大于预设的判决门限；若所述判决值大于所述预设的判决门限，则确定该图形块中存在目标，并将该图像块标记为正样本图像块；若所述判决值小于或等于所述预设的判决门限，则确定该图形块中不存在目标，并将该图像块标记为负样本图像块；

根据全部正样本图像块，得到所述第s帧图像中的目标区域，在所述第s帧图像中标示目标区域；

步骤4，判断s是否小于S：若s小于S，则利用所述正样本图像块和所述负样本图像块更新所述随机森林检测器，并令s加1，重复执行步骤4，直至s等于S，即完成对所述待检测视频的检测。

2.根据权利要求1所述的方法，其特征在于，步骤2中，所述利用所述第一帧图像，对随机森林检测器进行初始化，具体包括以下子步骤：

步骤2.1，确定所述目标区域的尺寸，以所述目标区域的尺寸为基准，设定至少N个尺度不同于所述基准的目标框，N为大于1的整数；对于其中任一尺度的目标框，以该尺度的目标框为单位、以一个像素点为步长，扫描所述第一帧图像，并在扫描过程中记录该尺度的目标框在每个位置时与所述目标区域的重合度，存储至集合grid中；

将所述集合grid中重合度大于第一重合度阈值的目标框对应的信息记录在集合good-boxes中，将所述集合grid中重合度小于第二重合度阈值的目标框对应的信息记录在集合good-boxes中；其中，所述目标框对应的信息包括：所述目标框的尺度，所述目标框的位置以及所述目标框与所述目标区域的重合度；

确定所述集合good-boxes中重合度较大的t个目标框，对于其中任一目标框，对该目标框对应的图像块进行f次仿射变换，得到f×t个图像块；将所述f×t个图像块中各图像块标记为正样本图像块；分别对各正样本图像块进行HOG特征提取，得到每个正样本图像块对应的D个特征值，并记为正样本特征值；

步骤2.2，从所述集合bad-boxes中任意抽取M2个目标框，将所抽取的M2个目标框对应的图像块的标记为负样本图像块；分别对各负样本图形块进行HOG特征提取，得到每个负样本图像块对应的D个特征值，并记为负样本特征值；M2为大于1的整数；

构造集合fern-data，用于存储各样本图像块对应的特征值，所述样本图像块包括正样本图像块和负样本图像块；其中，所述集合fern-data包括M个子集，每个子集对应一个样本图像块，且每个子集包括D个元素，每个元素为对应样本图像块的一个特征值；M＝M1+M2，M1＝f×t；

步骤2.3，构造随机森林检测器，所述随机森林检测器包括D个子集，每个子集又包括2^{d /2}个元素，各元素的初值为0；d为正整数；

构造与所述随机森林检测器结构相同的两个集合，分别记为第一集合pcounter和第二集合ncounter，所述第一集合pcounter和所述第二集合ncounter中各子集中元素的初值均为0；

步骤2.4，对子集序号i和元素序号j进行初始化，令i＝1；

步骤2.5，判断集合fern-data中的第i个子集fern-data[i]对应的样本图像块是否为正样本图像块：若是，则利用所述第i个子集fern-data[i]的D个元素，对所述第一集合pcounter赋值；若否，则利用所述第i个子集fern-data[i]的D个元素，对所述第二集合ncounter赋值；

其中，所述利用所述第i个子集fern-data[i]的D个元素，对所述第一集合pcounter赋值，包括：令所述第一集合pcounter的第m个子集的第fern-data[i][m]+1个元素的值加1，m依次取1、2、……D，fern-data[i][m]表示集合fern-data中的第i个子集的第m个元素；

所述利用所述第i个子集fern-data[i]的D个元素，对所述第二集合ncounter赋值，包括：令所述第二集合ncounter的第n个子集的第fern-data[i][n]+1个元素的值加1，n依次取1、2、……、D，fern-data[i][n]表示集合fern-data中的第i个子集的第n个元素；

步骤2.6，令i加1，判断i是否大于M：若i小于或等于M，则转至步骤2.5；若i大于M，则转至步骤步骤2.7；

步骤2.7，利用所述第一集合pcounter和所述第二集合ncounter，对所述随机森林检测器中各子集的元素进行赋值；

其中，所述随机森林检测器的第p个子集的第k个元素的值为： pcounter[p][k]表示第一集合pcounter的第p个子集的第k个元素的值；ncounter[p][k]表示第二集合ncounter的第p个子集的第k个元素的值。

3.根据权利要求2所述的方法，其特征在于，步骤3中，对于任一所述图像块，利用该图像块对应的D个特征值以及所述随机森林检测器，得到该图像块对应的判决值，具体包括：

将该图像块对应的D个特征值代入所述随机森林检测器，得到对应的D个概率值p₁，p₂，…，p_j，…，p_D，对所述D个概率值p₁，p₂，…，p_j，…，p_D求和，即得到该图像块对应的判决值

其中，p_j表示所述随机森林检测器的第j个子集中的第T_j+1个元素的值，即p_j＝posteriors[j][T_j+1]，T_j表示该图像块的第j个特征值，j＝1、2、3…D。

4.根据权利要求2所述的方法，其特征在于，步骤4中，所述利用所述正样本图像块和所述负样本图像块更新所述随机森林检测器，具体包括：

步骤4.1，将所述第一集合pcounter、所述第二集合ncounter及所述随机森林检测器中各子集的每个元素置0；

步骤4.2利用所述正样本图像块对应的D个特征值对所述第一集合pcounter赋值，以及利用所述负样本图像块对应的D个特征值对所述第二集合ncounter赋值；

步骤4.3，利用所述第一集合pcounter和所述第二集合ncounter，对所述随机森林检测器中各子集的元素进行赋值；

其中，所述随机森林检测器的第p个子集的第k个元素的值为： pcounter[p][k]表示第一集合pcounter的第p个子集的第k个元素的值；ncounter[p][k]表示第二集合ncounter的第p个子集的第k个元素的值。