CN103559482A

CN103559482A - 基于边缘对称性的行人检测方法

Info

Publication number: CN103559482A
Application number: CN201310537558.9A
Authority: CN
Inventors: 吕楠; 杨京雨; 瞿研
Original assignee: WUXI EYE TECHNOLOGY Co Ltd
Current assignee: WUXI EYE TECHNOLOGY Co Ltd
Priority date: 2013-11-05
Filing date: 2013-11-05
Publication date: 2014-02-05

Abstract

本发明提供了一种基于边缘对称性的行人检测方法，其通过对称差分法对待检测图像进行边缘检测及二值化处理以得到运动区域边缘二值图R_k(x，y)，最后使用具设置至少两条中心线的对称中心的窗口扫描所述运动区域边缘二值图，以获取同一条中心线与运动区域边缘二值图相重合的一组边缘像素点，并判断该组边缘像素点是否相互对称于所述对称中心，若存在至少两组相互对称于对称中心的边缘像素点，则将所述运动区域边缘二值图定义为包含行人的候选行人区域。在本发明中，基于人体对称性的特征，利用边缘对称性快速地检测出候选行人区域，避免使用固定大小的窗口进行多尺度下的密集扫描，降低了运算量，提高了对监控区域中对包含行人的行人区域的检测速度。

Description

基于边缘对称性的行人检测方法

技术领域

本发明属于计算机视频监控技术领域，尤其涉及一种基于边缘对称性的行人检测方法。

背景技术

目前，行人检测在计算机视觉技术领域中已成为技术热点，它在辅助驾驶、视频监控、远距离身份识别等领域都有广泛的应用前景。在现有技术中，对行人进行检测主要通过视觉传感器以实现对行人的检测。

在现有的行人检测技术中，主要通过基于视觉传感器来实现；其中，基于统计分类方法是目前效果比较理想的一种行人检测方法，其主要通过HOG特征和SVM分类器以实现对通过视觉传感器所采集的图形进行检测，具体包括：使用64×64(像素点)大小的窗口对整幅图像进行多尺度下的密集扫描；再对每个子窗口计算HOG特征；最后使用SVM分类器进行分类，以提取出整幅图像中所包含的所有行人区域。

相关技术内容可参考文献(Dalal N，Triggs B.Histograms of orientedgradient for human detection.In：IEEE Conference on Computer Vision andPattem Recognition，Dalal N，Triggs B.基于梯度方向直方图的人体检测，电气电子工程师学会，计算机视觉与模式识别国际会议)。虽然该方法取得了很好的检测效果，但是该方法的计算量相当巨大，因此存在检测速度较慢的技术缺陷。

有鉴于此，有必要对现有技术中的行人检测技术，尤其是对基于统计分类以实现对监控区域进行行人检测的技术予以改进，以解决上述技术瑕疵。

发明内容

本发明的目的在于提供一种基于边缘对称性的行人检测方法，用以降低计算量，提高对公共区域中通过视觉传感器所采集的图像中所包含的行人区域进行检测的效率与精度。

为实现上述发明目的，本发明提供了一种基于边缘对称性的行人检测方法，包括以下步骤：

S1、视觉传感器采集监控区域的视频流图像作为待检测图像；

S2、通过对称差分法对待检测图像进行边缘检测以得到运动区域边缘灰度图G_k(x，y)；

S3、对所述运动区域边缘灰度图进行二值化处理以得到运动区域边缘二值图R_k(x，y)；

S4、使用具对称中心的窗口扫描所述运动区域边缘二值图，并在窗口的对称中心设置至少两条中心线，获取同一条中心线与运动区域边缘二值图相重合的一组边缘像素点，并判断该组边缘像素点是否相互对称于所述对称中心，若存在至少两组相互对于对称中心的边缘像素点，则将所述运动区域边缘二值图定义为包含行人的候选行人区域。

作为本发明的进一步改进，所述步骤S1之前还包括：利用HOG特征和线性SVM分类器对训练样本集进行训练以得到HOG行人分类器。

作为本发明的进一步改进，所述步骤S1中的训练样本集包括：正样本集和负样本集，所述正样本集包括若干包含行人区域且大小为64×64的边缘二值图，所述负样本集包括若干不包含行人区域且大小为64×64的边缘二值图。

作为本发明的进一步改进，所述步骤S4之后还包括使用HOG行人分类器对所述步骤S4中的候选行人区域进行重合度匹配的步骤，以提取出行人区域。

作为本发明的进一步改进，所述步骤S2具体为：根据步骤S1获取的待检测图像，并计算相邻两帧待检测图像的绝对差灰度图像g_k(x，y)、g_k+1(x，y)，所述相邻两帧待检测图像的绝对差灰度图像的计算公式如下所示：

g_k(x，y)=|f_k(x，y)-f_k-1(x，y)|，g_k+1(x，y)=|f_k+1(x，y)-f_k(x，y)|；

其中，f_k-1(x，y)、f_k(x，y)、f_k+1(x，y)分别为从步骤S1中所获取的视频流图像中提取的连续三帧的待检测图像；

然后通过与运算得到运动区域边缘灰度图G_k(x，y)。

作为本发明的进一步改进，所述步骤S3具体为：计算分割阀值Tv后，根据所述分割阀值Tv对运动区域边缘灰度图进行二值化处理，从而得到运动区域边缘二值图R_k(x，y)；

所述分割阈值Tv的计算公式如下所示：

T_{v} = \frac{1}{M \times N} sum (G_{k} (x, y));

其中，M、N分别代表运动区域边缘灰度图的宽度和高度，sum(G_k(x，y))代表运动区域边缘灰度图中所有像素点之和。

作为本发明的进一步改进，所述步骤S3中“二值化处理”的运算公式如下所示：

R_{k} (x, y) = \{\begin{matrix} 0, G_{k} (x, y) < Tv \\ 1, G_{k} (x, y) &GreaterEqual; Tv \end{matrix};

其中，G_k(x，y)为运动区域边缘灰度图，R_k(x，y)为二值化处理后所得到的运动区域边二值图；

当R_k(x，y)为0时，该点为背景点；当R_k(x，y)为1时，该点为前景点。

作为本发明的进一步改进，在所述步骤S4中的对称中心设置偶数条中心线，所有中心线之间的夹角相等。

作为本发明的进一步改进，在所述步骤S4中的对称中心设置两条相互垂直的中心线。

作为本发明的进一步改进，所述步骤S4中的窗口包括长方形、正方形、六边形或者菱形。

与现有技术相比，本发明的有益效果是：在本发明中，基于人体对称性的特征，利用边缘对称性快速地检测出候选行人区域，避免使用固定大小的窗口进行多尺度下的密集扫描，降低了运算量，提高了对监控区域中对包含行人的行人区域的检测速度。

附图说明

图1为本发明基于边缘对称性的行人检测方法的流程示意图；

图2为在监控区域中由视觉传感器所采集的行人头肩部位示意图；

图3为在监控区域中由视觉传感器所采集的行人上半身部位示意图；

图4为视觉传感器采集监控区域的视频流图像的工作示意图；

图5为本发明步骤S4中使用具对称中心的窗口扫描所述运动区域边缘二值图的示意图；

图6为本发明所示的行人边缘图像示意图；

图7为通过设置两条垂直的中心线的正方形窗口对运动区域边缘二值图进行边缘像素点采集的示意图；

图8为通过设置四条夹角为45度中心线的菱形窗口对运动区域边缘二值图进行边缘像素点采集的示意图；

图9为通过设置两条垂直的中心线的矩形窗口对运动区域边缘二值图进行边缘像素点采集的示意图；

图10为未包含行人的运动区域边缘二值图所对应的对称性测度值分布示意图；

图11为包含行人的运动区域边缘二值图所对应的对称性测度值分布示意图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

在详细阐述本发明各实施例前，先对本专利所涉及的技术名词作解释。

HOG特征：(Histograms ofOriented Gradients，HOG)方向梯度直方图特征，其主要是针对行人整体轮廓形状进行描述的一种特征。HOG特征是类似于SIFT特征的一种局部描述符，其描述了图像局部区域的梯度强度和梯度方向上的分布情况。该分布情况可较好地表征局部区域目标的外观和形状，因而可将HOG特征应用于行人检测等相关技术中。

SVM分类器：(Support Vector Machine，SVM)支持向量机分类器，它是一种建立在统计学理论的VC维理论和结构风险最小化原理之间寻求最佳折中，以得到较好的推广能力。支持向量机分类器是针对识别模式中的两类线性可分问题而研究的。

测度：数字和符号分配给现实世界实体的属性，通常用于评价建立的工程化产品或系统质量，并可通过清晰定义规则的系统方法来评价软件的质量。

实施例一：

请参图1至图7以及图10、图11所述的本发明基于边缘对称性的行人检测方法的第一种实施例。

请参图1所示，图1为本发明基于边缘对称性的行人检测方法的流程示意图。在本实施例中，一种基于边缘对称性的行人检测方法，包括以下步骤：

S1、视觉传感器采集监控区域的视频流图像作为待检测图像。

结合参照图4所示，在本实施例中，该视觉传感器20为CCD摄像机。通过将视觉传感器20设置在需要对行人进行监控的场所，例如商场的出入口或者超市的出入口的垂直上方。

结合到本实施例中，视觉采集传感器20可设置在超市的出入通道30的上方，行人可沿着箭头301的方向在该出入通道30中来回走动，并通过该视觉传感器20获取监控区域10的视频流图像作为待检测图像。优选的，该监控区域10为长方形，视觉传感器20位于该监控区域10的中心点101的正上方。

当然，该监控区域10也可为正方形、圆形或者其他形状，以保证该视觉传感器20在出入通道30上的所捕获的视频流图像能覆盖至少一个行人的区域。

参图2与图3所示，如果在该监控区域10中出现了行人，则会出现如图2或者图3中所示的行人区域的轮廓。其中，图2中的行人轮廓21为在如图4所示出的监控区域10中由视觉传感器20所采集的行人头肩部位示意图；图3中的行人轮廓31为在如图4所示出的监控区域10中由视觉传感器20所采集的行人上半身部位示意图。

在本实施例中，该步骤S1之前还包括：利用HOG特征和线性SVM分类器对训练样本集进行训练以得到HOG行人分类器。进一步的，该步骤S1中的训练样本集包括：正样本集和负样本集，所述正样本集包括若干包含行人区域且大小为64×64的边缘二值图，所述负样本集包括若干不包含行人区域且大小为64×64的边缘二值图。

对上述正样本集和负样本集进行训练以得到HOG行人分类器的目的在于，当在该监控区域10中初步检测到行人区域之后，可以通过该HOG行人分类器使得提取出的行人区域更加准确。

重新结合图1所示，在执行完毕步骤S1之后，接着执行步骤S2：通过对称差分法对待检测图像进行边缘检测以得到运动区域边缘灰度图G_k(x，y)。

在本实施例中，所述步骤S2具体为：根据步骤S1获取的待检测图像，并计算相邻两帧待检测图像的绝对差灰度图像g_k(x，y)、g_k+1(x，y)，所述相邻两帧待检测图像的绝对差灰度图像的计算公式如下所示：

其中，f_k-1(x，y)、f_k(x，y)、f_k+1(x，y)分别为从步骤S1中所获取的视频流图像中提取的连续三帧的待检测图像；然后通过与运算得到运动区域边缘灰度图G_k(x，y)。

参图6所示，行人图像所对应的运动区域边缘的像素点相对于对称轴601具有边缘对称性；针对这种对称性，可在运动区域边缘二值图确定并判断出候选行人区域，而不必需要像现有技术中通过使用64×64(像素点)大小的窗口对整幅图像进行多尺度下的密集扫描，从而减低了对视频流图像中所包含的行人区域检测时的运算量，提到了对监控区域10中的行人(未示出)的检测效率、检测速度，提高了对行人区域检测的精度和效果。

重新结合图1所示，在执行完毕步骤S2之后，接着执行步骤S3：对所述运动区域边缘灰度图进行二值化处理以得到运动区域边缘二值图R_k(x，y)。

在本实施例中，所述步骤S3具体为：计算分割阀值Tv后，根据所述分割阀值Tv对运动区域边缘灰度图进行二值化处理，从而得到运动区域边缘二值图R_k(x，y)；

所述分割阈值Tv的计算公式如下所示：

T_{v} = \frac{1}{M \times N} sum (G_{k} (x, y));

所述步骤S3中“二值化处理”的运算公式如下所示：

R_{k} (x, y) = \{\begin{matrix} 0, G_{k} (x, y) < Tv \\ 1, G_{k} (x, y) &GreaterEqual; Tv \end{matrix};

具体的，该分割阈值Tv为运动区域边缘灰度图的灰度均值。

最后，执行步骤S4：使用具对称中心的窗口扫描所述运动区域边缘二值图，并在窗口的对称中心设置至少两条中心线，获取同一条中心线与运动区域边缘二值图相重合的一组边缘像素点，并判断该组边缘像素点是否相互对称于所述对称中心，若存在至少两组相互对称于对称中心的边缘像素点，则将所述运动区域边缘二值图定义为包含行人的候选行人区域。

具体的，参图5所示，在本步骤S4中，通过具对称中心的窗口50对运动区域边缘二值图进行扫描，其中像素点501为括在该窗口50中的某一像素点。

参图7所示，在本实施例中，在步骤S4中，窗口70的对称中心71设置偶数条中心线，所有中心线之间的夹角相等。作为优选的实施方式，在步骤S4中的对称中心71设置两条相互垂直的中心线701和702，同时，在本实施例中，步骤S4中的用于扫描该运动区域边缘二值图的窗口70为正方形，当然也可以为其它形状，例如菱形、长方形、椭圆形或者其他具有对称中心的窗口(未示出)。

具体的，参图7所示，在本实施例中，在窗口70的对称中心71设置两条中心线701和702。该中心线701与图2中所示的运动区域边缘二值图有四个相重合的一组边缘像素点7011、7012、7013和7014；该中心线702与图2中所示的运动区域边缘二值图有四个相重合的一组边缘像素点7021、7022、7023和7024。若该运动区域边缘二值图为候选行人区域，则位于同一条中心线701或702上的两组像素点必然相对于该窗口70的对称中心71相对称设置。

具体的，边缘像素点7011与边缘像素点7014、边缘像素点7012与边缘像素点7013分别对称在该窗口70的对称中心71的两侧；同理所述，边缘像素点7021与边缘像素点7024、边缘像素点7022与边缘像素点7023分别对称在该窗口70的对称中心71的两侧。

更具体的，该边缘像素点7011、7014与该对称中心71的距离均相等；同时该边缘像素点7012、7013与该对称中心71的距离相等。同理所示，该边缘像素点7021、7024与该对称中心71的距离均相等，该边缘像素点7022、7023与该对称中心71的距离也彼此相等。

若该运动区域边缘二值图不是候选行人区域，亦出现在图2中监控区域10中的物体不是行人，则运动区域边缘二值图与窗口70的对称中心71设置两条中心线701和702上相重合的边缘像素点必然不会全部对称于该对称中心71。因此，通过这种对边缘像素点的检测，就可以实现对运动区域边缘二值图中是否含有行人区域进行快速判断。

具体的，参图5、图10及图11所示，在本实施例中，一般包含行人的运动区域边缘二值图的对称性测度值会很大，且行人边缘对称的对称轴(参图6中的对称轴601)与对称性测度的峰值相对应；因此通过对对称性测度的峰值进行判断，当其值大于分类阀值th时，则将落在窗口50内的运动区域判断为候选行人区域；否则，将落在窗口50内的运动区域判断为非候选行人区域。其数学描述如下所示：

其中，max(S_v(k))为对称性测度的峰值；

表示落在窗口50内的运动区域被判断为候选行人区域；表示落在窗口50内的运动区域被判断为非候选行人区域；具体的，th=70。

如果落在窗口50中的运动区域是非行人区域，则会出现如图10所示的对称性测度值分布示意图；反之，若在窗口50中的运动区域是行人区域，则会出现如图11所示的对称性测度值分布示意图，此时出现在该窗口50中的行人区域就可以被认定为一个行人。

作为优选的实施方式，在步骤S4之后还包括使用HOG行人分类器对所述步骤S4中的候选行人区域进行重合度匹配的步骤，以提取出行人区域。具体的，当存在至少两组相对于对称中心的边缘像素点后，统计出所有符合条件的对称边缘像素点，进行累加，然后除以窗口内所有边缘像素点的总和，就可以得到这个窗口中的对称边缘像素点的重合度Co，以这个重合度Co来进一步判别是否是行人区域，并提取出行人区域，其计算公式如下所示：

Co = \frac{MatchNum}{TotalNum} \times 100 %;

一般行人出现的位置其对称边缘像素点的重合度Co会很大，因此通过对对称边缘像素点重合度Co进行判断。当其值大于分类阀值th时，则将落在窗口70内的候选行人区域提取并作为行人区域；否则，将落在窗口70内的运动区域判断为非候选行人区域，从而不提取该候选行人区域作为行人区域，其计算公式如下所示：

其中，Co为对称边缘像素点的重合度；People=1表示落在窗口70内的运动区域被判断为候选行人区域；People=0表示落在窗口70内的运动区域被判断为非候选行人区域。具体的，在本实施例中，该分类阀值th=70。

实施例二：

参图8所示的本发明基于边缘对称性的行人检测方法的第二种实施例。

本实施例与第一种实施例的区别在于，步骤S4中对所述运动区域边缘二值图进行扫描的窗口80为菱形，且在该窗口80的对称中心81设置四条中心线801、802、803和804，同时这四条中心线801、802、803和804之间的夹角相同，均为45度。若该运动区域边缘二值图为候选行人区域，则位于同一条中心线801、802、803或者804上的四组像素点(未示出)必然彼此相对于该窗口80的对称中心81对称的设置。

实施例三：

参图9所示的本发明基于边缘对称性的行人检测方法的第三种实施例。

本实施例与前两种实施例的区别在于，该步骤S4中对所述运动区域边缘二值图进行扫描的窗口90为长方形，并通过该窗口90的对称中性91设置两条相互垂直的中心线901和902。本实施例中对运动区域边缘二值图进行扫描从而判断是否为候选行人区域的过程与前两种实施例相同，在此不再赘述。

需要说明的是，该步骤S4中对所述运动区域边缘二值图进行扫描的窗口也可为六边形，或者其他具有对称中心的扫描窗口(未示出)。

在本发明的各实施例中，基于行人轮廓的对称性的特征，利用边缘像素点与窗口的对称中心的对称性，快速得检测出候选行人区域，而不需要对整幅图像进行多尺度下的密集扫描，从而减低了对视频流图像中所包含的行人区域检测时的运算量，提到了对监控区域10中的行人(未示出)的检测效率和检测速度。同时，在本发明中，还可利用HOG行人分类器对该候选行人区域进行二次检测，得到行人区域，从而提高了对行人区域检测的精度和效果。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims

1.基于边缘对称性的行人检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的行人检测方法，其特征在于，所述步骤S1之前还包括：利用HOG特征和线性SVM分类器对训练样本集进行训练以得到HOG行人分类器。

3.根据权利要求2所述的行人检测方法，其特征在于，所述步骤S1中的训练样本集包括：正样本集和负样本集，所述正样本集包括若干包含行人区域且大小为64×64的边缘二值图，所述负样本集包括若干不包含行人区域且大小为64×64的边缘二值图。

4.根据权利要求2所述的行人检测方法，其特征在于，所述步骤S4之后还包括使用HOG行人分类器对所述步骤S4中的候选行人区域进行重合度匹配的步骤，以提取出行人区域。

5.根据权利要求1所述的行人检测方法，其特征在于，所述步骤S2具体为：根据步骤S1获取的待检测图像，并计算相邻两帧待检测图像的绝对差灰度图像g_k(x，y)、g_k+1(x，y)，所述相邻两帧待检测图像的绝对差灰度图像的计算公式如下所示：

然后通过与运算得到运动区域边缘灰度图G_k(x，y)。

6.根据权利要求1所述的行人检测方法，其特征在于，所述步骤S3具体为：计算分割阀值Tv后，根据所述分割阀值Tv对运动区域边缘灰度图进行二值化处理，从而得到运动区域边缘二值图R_k(x，y)；

所述分割阈值Tv的计算公式如下所示：

T_{v} = \frac{1}{M \times N} sum (G_{k} (x, y));

7.根据权利要求1或6所述的行人检测方法，其特征在于，所述步骤S3中“二值化处理”的运算公式如下所示：

R_{k} (x, y) = \{\begin{matrix} 0, G_{k} (x, y) < Tv \\ 1, G_{k} (x, y) &GreaterEqual; Tv \end{matrix};

8.根据权利要求1所述的行人检测方法，其特征在于，在所述步骤S4中的对称中心设置偶数条中心线，所有中心线之间的夹角相等。

9.根据权利要求8所述的行人检测方法，其特征在于，在所述步骤S4中的对称中心设置两条相互垂直的中心线。

10.根据权利要求1所述的行人检测方法，其特征在于，所述步骤S4中的窗口包括长方形、正方形、六边形或者菱形。