CN103336951B - 视频监控目标检测方法和装置 - Google Patents

Abstract

本发明公开了一种视频监控目标检测方法和装置，所述方法包括：利用滑动窗口检测方法对输入的前N帧图像进行检测，确定图像中每一像素点的目标尺度范围，并确定所述目标尺度对应的图像缩放参数，N大于1，为整数；根据每一像素点的目标尺度范围，将图像划分为多个扫描区域；由各所述扫描区域中像素点的目标尺度范围确定各所述扫描区域的区域目标尺度范围，并确定所述扫描区域对应的图像缩放参数；对后续输入的图像中的各扫描区域，依据所对应的图像缩放参数，采用滑动窗口检测方法检测图像中的目标。应用本发明技术方案，能够提高目标检测的效率。

Description

视频监控目标检测方法和装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种视频监控目标检测方法和装置。

背景技术

在智能视频监控技术领域，常常需要对特定的目标，如人、人脸、车等，进行检测。目前采用的方法是通过分类器检测，常见的分类器有级联Adaboost分类器和SVM（SVM，Support Vector Machine，支持向量机）分类器。

现有技术中，通过分类器进行检测目标时，采用了滑动窗口检测方法，利用一个固定大小的分类器模板检测窗口从左至右，从上向下，按照一定的步长对整个图像进项检测，判断窗口内的图像是否含有目标。为了检测出图像中各种不同大小的目标，需要对图像进行反复缩小，每次缩小为上次图像大小的1/m，其中m为大于1的浮点数。缩小之后再利用分类器模板检测窗口进行检测。由此，现有技术中，如果需要检测分类器模板窗口所能识别的目标尺度M倍大小的目标，需要对图像进行log_mM次缩放，这个值一般为40次左右。因此，现有技术，需要对图像全部范围进行多次缩放再进行扫描，检测效率比较低。

发明内容

基于此，有必要针对上述技术问题，提供一种视频监控目标检测方法和装置，能够提高目标检测的效率。

一种视频监控目标检测方法，包括：

利用滑动窗口检测方法对输入的前N帧图像进行检测，确定图像中每一像素点的目标尺度范围，并确定所述目标尺度对应的图像缩放参数，N大于1，为整数；

根据每一像素点的目标尺度范围，将图像划分为多个扫描区域；

由各所述扫描区域中像素点的目标尺度范围确定各所述扫描区域的区域目标尺度范围，并确定所述扫描区域对应的图像缩放参数；

对后续输入的图像中的各扫描区域，依据所对应的图像缩放参数，采用滑动窗口检测方法检测图像中的目标。

在一个实施例中，所述利用滑动窗口检测方法对输入的前N帧图像进行检测，确定图像中每一像素点的目标尺度范围的步骤包括：

对前N帧图像进行检测，得到所有检测到的目标的位置(x,y)和对应的尺度S，所述尺度为目标的像素高度或像素宽度，所述位置为图像中包络目标的矩形区域的左上角像素点；

由下列公式确定每一像素点(x_o,y_o)的目标尺度范围，所述像素点(x_o,y_o)处检测到的T个目标的目标尺度为{S_o,i}_i=1,...,T：

目标尺度均值 $S_{\mathrm{mean}}=\frac{\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{S}_{o,i}}{T},$

目标尺度的标准差 $S_{\mathrm{std}}=\sqrt{\frac{\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{(S_{o,i}-S_{\mathrm{mean}})}^2}{T}},$

目标尺度范围[S_lower,S_upper]=[S_mean-k·S_std,S_mean+k·S_std]，其中k为预设的常数，[]为闭区间范围。

在一个实施例中，所述根据每一像素点的目标尺度范围，将图像划分为多个扫描区域包括：

由下列公式判断图像中任意两相邻像素点(x₁,y₁)和(x₂,y₂)是否连通：

其中Q为预设的阀值，s_lower,x1,y1和s_lower,x2,y2分别为像素点(x₁,y₁)和(x₂,y₂)所对应的最小目标尺度，s_upper,x1,y1和s_upper,x2,y2分别为像素点(x₁,y₁)和(x₂,y₂)所对应的最大目标尺度，连通系数C为1表示(x₁,y₁)和(x₂,y₂)连通，否则不连通；

将连通的像素点划为同一扫描区域，采用区域生成算法，得到图像中不相交的L个扫描区域{R_i}_i=1,...,L。

在一个实施例中，所述由各所述扫描区域中像素点的目标尺度范围确定各所述扫描区域的区域目标尺度范围的步骤，包括：

按照下列公式确定任一所述扫描区域R的区域目标尺度范围：

扫描区域R的区域目标尺度下限S_R,min=min(S_lower,xi,yi)|_(xi,yi)∈R，

扫描区域R的区域目标尺度上限S_R,max=max(S_upper,xi,yi)|_(xi,yi)∈R，

扫描区域R的区域目标尺度范围为[S_R,min,S_R,max]，

其中，像素点(x_i,y_i)位于扫描区域中，S_lower,xi,yi为像素点(x_i,y_i)处的最小目标尺度，S_upper,xi,yi为像素点(x_i,y_i)处的最大目标尺度，min为最小值函数，max为最大值函数。

在一个实施例中，所述图像缩放参数为缩放倍数；

所述对后续输入的图像中的各扫描区域，依据所对应的图像缩放参数，采用滑动窗口检测方法检测图像中的目标包括：

根据任一扫描区域R的区域目标尺度范围[S_R,min,S_R,max]，由最小目标尺度S_R,min确定第一缩放倍数t₁，由最大目标尺度S_R,max确定第二缩放倍数t₂；

将图像缩小t₁至t₂倍，采用滑动窗口检测方法检测扫描区域R中的目标；

合并所有扫描区域检测到的目标。

一种视频监控目标检测装置，包括：

学习帧检测模块，用于利用滑动窗口检测方法对输入的前N帧图像进行检测，确定图像中每一像素点的目标尺度范围，并确定所述目标尺度对应的图像缩放参数，N大于1，为整数；

区域划分模块，用于根据每一像素点的目标尺度范围，将图像划分为多个扫描区域；

区域参数确定模块，用于由各所述扫描区域中像素点的目标尺度范围确定各所述扫描区域的区域目标尺度范围，并确定所述扫描区域对应的图像缩放参数；

区域检测模块，用于对后续输入的图像中的各扫描区域，依据所对应的图像缩放参数，采用滑动窗口检测方法检测图像中的目标。

在一个实施例中，所述学习帧检测模块用于对前N帧图像进行检测，得到所有检测到的目标的位置(x,y)和对应的尺度S，所述尺度为目标的像素高度或像素宽度，所述位置为图像中包络目标的矩形区域的左上角像素点；

所述学习帧检测模块还用于由下列公式确定每一像素点(x_o,y_o)的目标尺度范围，所述像素点(x_o,y_o)处检测到的T个目标的目标尺度为{S_o,i}_i=1,...,T：

目标尺度均值 $S_{\mathrm{mean}}=\frac{\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{S}_{o,i}}{T},$

目标尺度的标准差

目标尺度范围[S_lower,S_upper]=[S_mean-k·S_std,S_mean+k·S_std]，其中k为预设的常数，[]为闭区间范围。

在一个实施例中，所述区域划分模块用于由下列公式判断图像中任意两相邻像素点(x₁,y₁)和(x₂,y₂)是否连通：

其中Q为预设的阀值，s_lower,x1,y1和s_lower,x2,y2分别为像素点(x₁,y₁)和(x₂,y₂)所对应的最小目标尺度，s_upper,x1,y1和s_upper,x2,y2分别为像素点(x₁,y₁)和(x₂,y₂)所对应的最大目标尺度，连通系数C为1表示(x₁,y₁)和(x₂,y₂)连通，否则不连通；

所述区域划分模块还用于将连通的像素点划为同一扫描区域，采用区域生成算法，得到图像中不相交的L个扫描区域{R_i}_i=1,...,L。

在一个实施例中，所述区域参数确定模块用于按照下列公式确定任一所述扫描区域R的区域目标尺度范围：

扫描区域R的区域目标尺度下限S_R,min=min(S_lower,xi,yi)|_(xi,yi)∈R，

扫描区域R的区域目标尺度上限S_R,max=max(S_upper,xi,yi)|_(xi,yi)∈R，

扫描区域R的区域目标尺度范围为[S_R,min,S_R,max]，

其中，像素点(x_i,y_i)位于扫描区域中，S_lower,xi,yi为像素点(x_i,y_i)处的最小目标尺度，S_upper,xi,yi为像素点(x_i,y_i)处的最大目标尺度，min为最小值函数，max为最大值函数。

在一个实施例中，所述图像缩放参数为缩放倍数；

所述区域检测模块用于根据任一扫描区域R的区域目标尺度范围[S_R,min,S_R,max]，由最小目标尺度S_R,min确定第一缩放倍数t₁，由最大目标尺度S_R,max确定第二缩放倍数t₂；以及将图像缩小t₁至t₂倍，采用滑动窗口检测方法检测扫描区域R中的目标；以及合并所有扫描区域检测到的目标。

上述视频监控目标检测方法和装置，利用滑动窗口检测方法对前N帧图像中像素点的目标尺度分布进行学习，确定每一像素点的目标尺度范围和图像缩放参数，并依据像素点的目标尺度范围将图像划分为多个扫描区域，以及确定各扫描区域对应的图像缩放参数，最后按照不同的图像缩放参数对不同扫描区域进行目标检测，相比于现有技术，由于对图像进行的扫描区域划分，减少了缩放次数，提高了目标检测效率。

附图说明

图1为一个实施例中视频监控目标检测方法的流程示意图；

图2为一个实施例中视频监控目标检测装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，在一个实施例中，提供了一种视频监控目标检测方法，其流程包括：

步骤102，利用滑动窗口检测方法对输入的前N帧图像进行检测，确定图像中每一像素点的目标尺度范围，并确定目标尺度对应的图像缩放参数。

输入的前N帧图像作为学习帧，N大于1，为整数。采用滑动窗口检测方法对输入的图像进行检测时，图像大小为a×b像素，其中a为高度，b为宽度，分类器模板检测窗口大小为a_c×b_c，其中a/a_c=b/b_c。缩放系数为m，每次将图像缩放为上一次图像大小的1/m，m为大于1的浮点数。缩放次数相应为

在本实施例中，对前N帧图像进行检测，得到所有检测到的目标的位置(x,y)和对应的尺度S，其中，尺度为目标的像素高度或像素宽度，位置为图像中包络目标的矩形区域的左上角像素点。

由下列公式确定每一像素点(x_o,y_o)的目标尺度范围，像素点(x_o,y_o)处检测到的T个目标的目标尺度为{S_o,i}_i=1,...,T：

计算目标尺度均值

计算目标尺度的标准差 $S_{\mathrm{std}}=\sqrt{\frac{\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{(S_{o,i}-S_{\mathrm{mean}})}^2}{T}},$

所得到的目标尺度范围[S_lower,S_upper]=[S_mean-k·S_std,S_mean+k·S_std]，其中k为预设的常数，一般取值为3。[]为闭区间范围。

步骤104，根据每一像素点的目标尺度范围，将图像划分为多个扫描区域。

在步骤104中，可以根据学习帧中相邻像素点的目标尺度范围的接近程度，将图像划分为多个扫描区域。

在本实施例中，定义了相邻像素点之间的连通性。由下列公式判断图像中任意两相邻像素点(x₁,y₁)和(x₂,y₂)是否连通：

其中Q为预设的阀值，s_lower,x1,y1和s_lower,x2,y2分别为像素点(x₁,y₁)和(x₂,y₂)所对应的最小目标尺度，s_upper,x1,y1和s_upper,x2,y2分别为像素点(x₁,y₁)和(x₂,y₂)所对应的最大目标尺度，连通系数C为1表示(x₁,y₁)和(x₂,y₂)连通，为0则不连通。

本实施例采用区域生成算法，将连通的像素点划为同一扫描区域，得到图像中不相交的L个扫描区域{R_i}_i=1,...,L。

步骤106，由各扫描区域中像素点的目标尺度范围确定各扫描区域的区域目标尺度范围，并确定扫描区域对应的图像缩放参数。

本实施例中，步骤106按照下列公式确定任一扫描区域R的区域目标尺度范围：

扫描区域R的区域目标尺度下限S_R,min=min(S_lower,xi,yi)|_(xi,yi)∈R，

扫描区域R的区域目标尺度上限S_R,max=max(S_upper,xi,yi)|_(xi,yi)∈R，

扫描区域R的区域目标尺度范围为[S_R,min,S_R,max]，

其中，像素点(x_i,y_i)位于扫描区域中，S_lower,xi,yi为像素点(x_i,y_i)处的最小目标尺度，S_upper,xi,yi为像素点(x_i,y_i)处的最大目标尺度，min为最小值函数，max为最大值函数。

步骤108，对后续输入的图像中的各扫描区域，依据所对应的图像缩放参数，采用滑动窗口检测方法检测图像中的目标。

图像缩放参数可以但不限于是缩放倍数、缩放次数等。在本实施例中，图像缩放参数为缩放倍数。通过对学习帧的学习后，将图像划分为多个扫描区域后，在后续的检测中，根据任一扫描区域R的区域目标尺度范围[S_R,min,S_R,max]，由最小目标尺度S_R,min确定第一缩放倍数t₁，由最大目标尺度S_R,max确定第二缩放倍数t₂，再将图像缩小t₁至t₂倍，缩放系数为m，每次缩放后，采用滑动窗口检测方法检测扫描区域R中的目标，最后合并所有扫描区域检测到的目标。

上述视频监控目标检测方法，利用滑动窗口检测方法对前N帧图像中像素点的目标尺度分布进行学习，确定每一像素点的目标尺度范围和图像缩放参数，并依据像素点的目标尺度范围将图像划分为多个扫描区域，以及确定各扫描区域对应的图像缩放参数，最后按照不同的图像缩放参数对不同扫描区域进行目标检测，相比于现有技术，由于对图像进行的扫描区域划分，减少了缩放次数，提高了目标检测效率。

参见图2，一种视频监控目标检测装置，包括：

学习帧检测模202，用于利用滑动窗口检测方法对输入的前N帧图像进行检测，确定图像中每一像素点的目标尺度范围，并确定目标尺度对应的图像缩放参数，N大于1，为整数；

区域划分模块204，用于根据每一像素点的目标尺度范围，将图像划分为多个扫描区域；

区域参数确定模块206，用于由各扫描区域中像素点的目标尺度范围确定各扫描区域的区域目标尺度范围，并确定扫描区域对应的图像缩放参数；

区域检测模块208，用于对后续输入的图像中的各扫描区域，依据所对应的图像缩放参数，采用滑动窗口检测方法检测图像中的目标。

在一个实施例中，学习帧检测模块202用于对前N帧图像进行检测，得到所有检测到的目标的位置(x,y)和对应的尺度S，尺度为目标的像素高度或像素宽度，位置为图像中包络目标的矩形区域的左上角像素点；

学习帧检测模块202还用于由下列公式确定每一像素点(x_o,y_o)的目标尺度范围，像素点(x_o,y_o)处检测到的T个目标的目标尺度为{S_o,i}_i=1,...,T：

目标尺度均值 $S_{\mathrm{mean}}=\frac{\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{S}_{o,i}}{T},$

目标尺度的标准差 $S_{\mathrm{std}}=\sqrt{\frac{\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{(S_{o,i}-S_{\mathrm{mean}})}^2}{T}},$

目标尺度范围[S_lower,S_upper]=[S_mean-k·S_std,S_mean+k·S_std]，其中k为预设的常数，[]为闭区间范围。

在一个实施例中，区域划分模块204用于由下列公式判断图像中任意两相邻像素点(x₁,y₁)和(x₂,y₂)是否连通：

其中Q为预设的阀值，s_lower,x1,y1和s_lower,x2,y2分别为像素点(x₁,y₁)和(x₂,y₂)所对应的最小目标尺度，s_upper,x1,y1和s_upper,x2,y2分别为像素点(x₁,y₁)和(x₂,y₂)所对应的最大目标尺度，连通系数C为1表示(x₁,y₁)和(x₂,y₂)连通，否则不连通；

区域划分模块204还用于将连通的像素点划为同一扫描区域，采用区域生成算法，得到图像中不相交的L个扫描区域{R_i}_i=1,...,L。

在一个实施例中，区域参数确定模块206用于按照下列公式确定任一扫描区域R的区域目标尺度范围：

扫描区域R的区域目标尺度下限S_R,min=min(S_lower,xi,yi)|_(xi,yi)∈R，

扫描区域R的区域目标尺度上限S_R,max=max(S_upper,xi,yi)|_(xi,yi)∈R，

扫描区域R的区域目标尺度范围为[S_R,min,S_R,max]，

其中，像素点(x_i,y_i)位于扫描区域中，S_lower,xi,yi为像素点(x_i,y_i)处的最小目标尺度，S_upper,xi,yi为像素点(x_i,y_i)处的最大目标尺度，min为最小值函数，max为最大值函数。

在一个实施例中，图像缩放参数为缩放倍数；区域检测模块208用于根据任一扫描区域R的区域目标尺度范围[S_R,min,S_R,max]，由最小目标尺度S_R,min确定第一缩放倍数t₁，由最大目标尺度S_R,max确定第二缩放倍数t₂；以及将图像缩小t₁至t₂倍，采用滑动窗口检测方法检测扫描区域R中的目标；以及合并所有扫描区域检测到的目标。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频监控目标检测方法，所述方法包括：

利用滑动窗口检测方法对输入的前N帧图像进行检测，确定图像中每一像素点的目标尺度范围，并确定所述目标尺度对应的图像缩放参数，N大于1，为整数；

根据每一像素点的目标尺度范围，将图像划分为多个扫描区域；

由各所述扫描区域中像素点的目标尺度范围确定各所述扫描区域的区域目标尺度范围，并确定所述扫描区域对应的图像缩放参数；

对后续输入的图像中的各扫描区域，依据所对应的图像缩放参数，采用滑动窗口检测方法检测图像中的目标。

2.根据权利要求1所述的视频监控目标检测方法，其特征在于，所述利用滑动窗口检测方法对输入的前N帧图像进行检测，确定图像中每一像素点的目标尺度范围的步骤包括：

对前N帧图像进行检测，得到所有检测到的目标的位置(x,y)和对应的尺度S，所述尺度为目标的像素高度或像素宽度，所述位置为图像中包络目标的矩形区域的左上角像素点；

由下列公式确定每一像素点(x_o,y_o)的目标尺度范围，所述像素点(x_o,y_o)处检测到的T个目标的目标尺度为{S_o,i}_i＝1,...,T：

目标尺度均值

目标尺度的标准差

目标尺度范围[S_lower,S_upper]＝[S_mean-k·S_std,S_mean+k·S_std]，其中k为预设的常数，[ ]为闭区间范围。

3.根据权利要求2所述的视频监控目标检测方法，其特征在于，所述根据每一像素点的目标尺度范围，将图像划分为多个扫描区域包括：

由下列公式判断图像中任意两相邻像素点(x₁,y₁)和(x₂,y₂)是否连通：

其中Q为预设的阀值，和分别为像素点(x₁,y₁)和(x₂,y₂)所对应的最小目标尺度，和分别为像素点(x₁,y₁)和(x₂,y₂)所对应的最大目标尺度，连通系数C为1表示(x₁,y₁)和(x₂,y₂)连通，否则不连通；

将连通的像素点划为同一扫描区域，采用区域生成算法，得到图像中不相交的L个扫描区域{R_i}_i＝1,...,L。

4.根据权利要求3所述的视频监控目标检测方法，其特征在于，所述由各所述扫描区域中像素点的目标尺度范围确定各所述扫描区域的区域目标尺度范围的步骤，包括：

按照下列公式确定任一所述扫描区域R的区域目标尺度范围：

扫描区域R的区域目标尺度下限

扫描区域R的区域目标尺度上限

扫描区域R的区域目标尺度范围为[S_R,min,S_R,max]，

其中，像素点(x_i,y_i)位于扫描区域中，为像素点(x_i,y_i)处的最小目标尺度，为像素点(x_i,y_i)处的最大目标尺度，min为最小值函数，max为最大值函数。

5.根据权利要求4所述的视频监控目标检测方法，其特征在于，所述图像缩放参数为缩放倍数；

所述对后续输入的图像中的各扫描区域，依据所对应的图像缩放参数，采用滑动窗口检测方法检测图像中的目标包括：

根据任一扫描区域R的区域目标尺度范围[S_R,min,S_R,max]，由最小目标尺度S_R,min确定第一缩放倍数t₁，由最大目标尺度S_R,max确定第二缩放倍数t₂；

将图像缩小t₁至t₂倍，采用滑动窗口检测方法检测扫描区域R中的目标；

合并所有扫描区域检测到的目标。

6.一种视频监控目标检测装置，其特征在于，所述装置包括：

学习帧检测模块，用于利用滑动窗口检测方法对输入的前N帧图像进行检测，确定图像中每一像素点的目标尺度范围，并确定所述目标尺度对应的图像缩放参数，N大于1，为整数；

区域划分模块，用于根据每一像素点的目标尺度范围，将图像划分为多个扫描区域；

区域参数确定模块，用于由各所述扫描区域中像素点的目标尺度范围确定各所述扫描区域的区域目标尺度范围，并确定所述扫描区域对应的图像缩放参数；

区域检测模块，用于对后续输入的图像中的各扫描区域，依据所对应的图像缩放参数，采用滑动窗口检测方法检测图像中的目标。

7.根据权利要求6所述的视频监控目标检测装置，其特征在于，所述学习帧检测模块用于对前N帧图像进行检测，得到所有检测到的目标的位置(x,y)和对应的尺度S，所述尺度为目标的像素高度或像素宽度，所述位置为图像中包络目标的矩形区域的左上角像素点；

所述学习帧检测模块还用于由下列公式确定每一像素点(x_o,y_o)的目标尺度范围，所述像素点(x_o,y_o)处检测到的T个目标的目标尺度为{S_o,i}_i＝1,...,T：

目标尺度均值

目标尺度的标准差

目标尺度范围其中k为预设的常数，[ ]为闭区间范围。

8.根据权利要求7所述的视频监控目标检测装置，其特征在于，所述区域划分模块用于由下列公式判断图像中任意两相邻像素点(x₁,y₁)和(x₂,y₂)是否连通：

其中Q为预设的阀值，和分别为像素点(x₁,y₁)和(x₂,y₂)所对应的最小目标尺度，和分别为像素点(x₁,y₁)和(x₂,y₂)所对应的最大目标尺度，连通系数C为1表示(x₁,y₁)和(x₂,y₂)连通，否则不连通；

所述区域划分模块还用于将连通的像素点划为同一扫描区域，采用区域生成算法，得到图像中不相交的L个扫描区域{R_i}_i＝1,...,L。

9.根据权利要求8所述的视频监控目标检测装置，其特征在于，所述区域参数确定模块用于按照下列公式确定任一所述扫描区域R的区域目标尺度范围：

扫描区域R的区域目标尺度下限

扫描区域R的区域目标尺度上限

扫描区域R的区域目标尺度范围为[S_R,min,S_R,max]，

其中，像素点(x_i,y_i)位于扫描区域中，为像素点(x_i,y_i)处的最小目标尺度，为像素点(x_i,y_i)处的最大目标尺度，min为最小值函数，max为最大值函数。

10.根据权利要求9所述的视频监控目标检测装置，其特征在于，所述图像缩放参数为缩放倍数；

所述区域检测模块用于根据任一扫描区域R的区域目标尺度范围[S_R,min,S_R,max]，由最小目标尺度S_R,min确定第一缩放倍数t₁，由最大目标尺度S_R,max确定第二缩放倍数t₂；以及将图像缩小t₁至t₂倍，采用滑动窗口检测方法检测扫描区域R中的目标；以及合并所有扫描区域检测到的目标。