CN103065332B - 雾天行人快速运动行为的检测方法及装置 - Google Patents

Abstract

本发明提供了一种雾天行人快速运动行为的检测方法及装置。在上述方法中，对于预定时间内的视频序列中每帧原始图像，分别执行去雾处理，获取与该帧原始图像对应的去雾后图像；对所述该帧原始图像和所述对应的去雾后图像分别执行行人检测，获取含有行人的窗口；对于所述该帧原始图像和所述对应的去雾后图像，将含有行人的窗口进行综合得到行人检测结果；根据获取到的各个所述行人检测结果获取行人在所述视频序列中的运动特征，并根据该运动特征判断所述行人是否存在快速运动行为。通过该技术方案，有效提高了雾天行人检测精度以使得行人奔跑检测更加可靠。

Description

雾天行人快速运动行为的检测方法及装置

技术领域

本发明涉及计算机图像处理技术领域，特别涉及一种雾天行人快速运动行为的检测方法及装置。

背景技术

事件检测是指计算机主动对视频信息进行智能分析，对危险、异常等行为能进行智能报警，在智能视频分析中起着举足轻重的作用，有着重要的应用价值和广阔的应用前景。异常奔跑的含义是检测是否有人员快速运动，及时发现偷盗或抢劫行为。典型应用如车站、公共场所等。

然而在雾天情况下，由于场景的能见度降低，图像中行人的对比度和边缘等特征被衰减，影响了检测系统性能，甚至会导致奔跑检测算法失效或出现误报，因此需要在视频图像中消除雾霾对场景图像的影响。

发明内容

本发明提出了一种雾天行人快速运动行为的检测方法及装置，以至少解决相关技术中雾天情况下，检测系统性能受到影响，导致奔跑检测算法失效或出现误报的问题。

为了达到上述目的，本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种雾天行人快速运动行为的检测方法。

根据本发明的雾天行人快速运动行为的检测方法包括：对于预定时间内的视频序列中每帧原始图像，分别执行去雾处理，获取与该帧原始图像对应的去雾后图像；对所述该帧原始图像和所述对应的去雾后图像分别执行行人检测，获取含有行人的窗口；对于所述该帧原始图像和所述对应的去雾后图像，将含有行人的窗口进行综合得到行人检测结果；根据获取到的各个所述行人检测结果获取行人在所述视频序列中的运动特征，并根据该运动特征判断所述行人是否存在快速运动行为。

根据本发明的另一方面，提供了一种雾天行人快速运动行为的检测装置。

根据本发明的雾天行人快速运动行为的检测装置包括：去雾模块，用于对于预定时间内的视频序列中每帧原始图像，分别执行去雾处理，获取与该帧原始图像对应的去雾后图像；检测模块，用于对所述该帧原始图像和所述对应的去雾后图像分别执行行人检测，获取含有行人的窗口；综合模块，对于所述该帧原始图像和所述对应的去雾后图像，将含有行人的窗口进行综合得到行人检测结果；确定模块，根据获取到的各个所述行人检测结果获取行人在所述视频序列中的运动特征，并根据该运动特征确定所述行人是否存在快速运动行为。

通过本发明，对预定时间内的视频序列中每帧原始图像进行去雾之后，对该帧原始图像和所述对应的去雾后图像分别进行行人检测，将两者的结果综合得到最终行人检测结果，再在这个行人检测结果基础上根据运动特征确定所述行人是否存在快速运动行为。解决了相关技术中雾天情况下，奔跑检测算法失效或出现误报的问题，有效提高了雾天行人检测精度以使得行人奔跑检测更加可靠。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的雾天行人快速运动行为的检测方法的流程图；

图2为大气散射模型示意图；

图3为根据本发明实施例的去雾处理的流程图；

图4为根据本发明实施例的行人检测处理的流程图；

图5为根据本发明实施例的检测行人快速运动行为的流程图；

图6为根据本发明优选实施例的雾天行人快速运动行为的检测方法的流程图；

图7为根据本发明实施例的雾天行人快速运动行为的检测装置的结构框图；以及

图8为根据本发明优选实施例的雾天行人快速运动行为的检测装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为根据本发明实施例的雾天行人快速运动行为的检测方法的流程图。如图1所示，该雾天行人快速运动行为的检测方法包括以下步骤：

步骤S101：对于预定时间内的视频序列中每帧原始图像，分别执行去雾处理，获取与该帧原始图像对应的去雾后图像；

步骤S103：对该帧原始图像和上述对应的去雾后图像分别执行行人检测，获取含有行人的窗口；

步骤S105：对于该帧原始图像和上述对应的去雾后图像，将含有行人的窗口进行综合得到行人检测结果；

步骤S107：根据获取到的各个行人检测结果获取行人在上述视频序列中的运动特征，并根据该运动特征判断上述行人是否存在快速运动行为。

相关技术中，雾天情况下检测系统性能受到影响，会导致奔跑检测算法失效或出现误报，而在图1所示的方法中，对预定时间内的视频序列中每帧原始图像进行去雾之后，对该帧原始图像和上述对应的去雾后图像分别进行行人检测，将两者的结果综合得到最终行人检测结果，再在这个行人检测结果基础上根据运动特征确定上述行人是否存在快速运动行为，解决了相关技术中雾天情况下，奔跑检测算法失效或出现误报的问题，有效提高了雾天行人检测精度以使得行人奔跑检测更加可靠。

在优选实施过程中，可以基于如下方式对上述每帧原始图像执行去雾处理：暗通道。以下结合图2对原始图像(此处以彩色图像为例)的去雾处理进行描述。

由图2可知，简化的雾天成像模型为：I(x,y)＝J(x,y)t(x,y)+A(1-t(x,y))；其中，I(x,y)为彩色图像表达式，J(x,y)为去雾后图像的表达式，A(1-t(x,y))为大气光表达式，t(x,y)为透射率。去雾的目标就是从I中复原J,A,t。

以下结合图3对采用暗通道对原始图像执行去雾处理的过程进行描述。

图3为根据本发明实施例的去雾处理的流程图。如图3所示，该去雾处理主要包括以下步骤：

步骤S301：对I(x,y)进行最小滤波得到暗原色图像。

对输入彩色监控图像I(x,y)的RGB(红绿蓝)三个颜色通道进行最小值滤波，模版尺寸为N×N(N∈{3,5,7..}),接着，在三个颜色通道中使用最小操作运算，则I(x,y)的暗原色I^drak(x,y)通过下式得到：

$I^{drak}(x,y)=\underset{c\∈\{r,g,b\}}{\min }\left(\underset{(x^{\′},g,b)}{\min }\right(I^c\left(x^{\′},y^{\′}\right)\left)\right)$

步骤S303：根据得到的暗原色计算天空亮度(即大气光)A和估算透射率。

选取暗原色中亮度最大的0.1％的像素，在以上像素当中，输入图像I中强度最大的像素点被选定为大气光A；

根据求出的暗原色估计透射率t(x,y)，其计算公式如下:

$t(x,y)=\frac{A\left(1\right)+A\left(2\right)+A\left(3\right)}{3}-{\mathrm{\ωI}}^{dark}(x,y)$

其中，ω∈(0,1)为调节参数，用来调节去雾程度。ω越大，去雾越彻底。

步骤S305：采用高斯滤波细化透射率

采用高斯滤波细化透射率得到高斯核为：

$G(x,y)=\frac{1}{\mathrm{\θ}}\exp \[-(x^2+y^2)/{\mathrm{\σ}}^2\]$

其中，σ是高斯核的方差，σ越小，图像平滑效果越好，但也丢失了部分边缘信息。θ是归一化系数，可以通过下式计算获取θ：

$\mathrm{\θ}=\underset{X}{\Σ}\underset{Y}{\Σ}\exp \[-(x^2+y^2)/{\mathrm{\σ}}^2\]$

步骤S307：根据天空亮度和透射率从原图像中恢复无雾图像J。

其中，根据透射率和天空亮度A可以确定去雾后的复原图像，公式为：

$J^c(x,y)=\frac{I^c(x,y)-A^c}{\max (\frac{\tilde{t}(x,y)}{A^c},t_0)}+A^c,c\∈\{r,g,b\}$

需要注意的是，上述描述针对RGB三通道分别进行复原，将得到的RGB三个通道图像合成复原后的图像J(x,y)。为了避免不确定型出现，式中给t(x)设定了一个下限值t₀，t₀的一个典型值为0.1。

在优选实施过程中，步骤S103中，对该帧原始图像和上述对应的去雾后图像分别执行行人检测，获取含有行人的窗口主要包括以下处理：

(1)计算该帧原始图像和对应的去雾后图像中全部预定大小的窗口的梯度方向直方图(HOG)；

(2)采用离线训练好的向量响应机(SVM)分类器判断上述预定大小的窗口中各个窗口的HOG特征的类别；

(3)根据判断结果获取上述含有行人的窗口。

以下结合图4对上述行人检测的优先实施方式进行描述。对于行人检测涉及的算法具体可以参见相关技术中的描述，此处不再赘述。

图4为根据本发明实施例的行人检测处理的流程图。如图4所示，该行人检测处理主要包括以下步骤：

步骤S401：HOG+SVM分类器加载。

步骤S403：加载待检测图像。

步骤S405：计算每个窗口的HOG特征。

步骤S407：判断每个窗口HOG特征的类别。

在优选实施过程中，步骤S103中，将检测后的含有行人的窗口进行综合可以包括以下处理：将上述含有行人的窗口包含在同一图像中，其中，上述含有行人的窗口中位置相同的窗口仅包含一次。在综合之后，可以将行人检测结果在该图像中标示出来。

优选地，可以通过下式计算获取运动特征H(x，y)：

$H(x,y)=\underset{i=1}{\overset{N}{\Σ}}{w}^{N-i}{H}_i(x,y);$

其中，H(x，y)为上述运动特征，w为权重且w∈(0,1)，i为帧序号且i为小于等于N的正整数，N为上述视频序列的帧总数，H_i(x，y)为与上述每帧原始图像大小相等的灰度图像且

优选地，步骤S107中，根据该运动特征确定上述行人是否存在快速运动行为可以包括以下处理：

(1)通过以下方式对上述运动特征H(x，y)进行阈值分割获取与上述每帧原始图像大小相等的二值图像B(x，y)：

(2)统计B(x,y)中灰度值为1的像素总数S，当S大于阈值δ时确定行人存在快速运动行为。

下面进一步对上述优选实施方式进行描述。

(1)对t_s时间内输入的视频序列，对每帧图像采用步骤A、B上述方法检测人体，帧序号为i＝1,2,3...,N的图像的人体检测结果的形式为一副与原始图像等大小的灰度图像其中，含有人体的窗口中像素灰度设为1，其它像素则标记为0。

(2)通过下式计算运动特征H(x,y)：

H⁽¹⁾(x,y)＝H₁(x,y)

H⁽²⁾(x,y)＝H₂(x,y)+ωH⁽¹⁾(x,y)

H⁽³⁾(x,y)＝H₃(x,y)+ωH⁽²⁾(x,y)

H(x,y)＝H_N(x,y)+ωH^(N-1)(x,y)

其中,ω∈(0,1)为权重。

需要说明的是，将上面各式进行简单变形后可以得出下式：

$H(x,y)=\underset{i=1}{\overset{N}{\Σ}}{w}^{N-i}{H}_i(x,y)$

(3)判断是否存在行人快速运动行为(即行人奔跑行为)。

具体地，对H(x,y)进行阈值分割：

其中，B(x,y)为与原始图像等大的二值图像。

统计B(x,y)中灰度值为1的像素总数，记为S，当S大于某个阈值δ时认为存在行人奔跑行为。

需要说明的是，在优选实施过程中，δ可按如下方式获取：收集行人奔跑样本集，分别按照上述流程计算S，得到{S₁,S₂,S_3,...S_N}，δ取其中的最小值。

以下结合图5对上述检测行人快速运动行为的优先实施方式进行描述。

图5为根据本发明实施例的检测行人快速运动行为的流程图。如图5所示，该检测行人快速运动行为包括：

步骤S501：接收获取到的人体检测结果H_i(x,y)。

步骤S503：计算运动特征H(x,y)。

步骤S505：统计H(x,y)中像素值小于阈值的像素总数，得到S。

步骤S507：根据S的大小确定是否存在行人快速运动行为。

以下结合图6对上述优选实施方式进行描述。

图6为根据本发明优选实施例的雾天行人快速运动行为的检测方法的流程图。如图6所示，该雾天行人快速运动行为的检测方法包括以下处理：

步骤S601：接收输入的有雾图像I(x，y)。

步骤S603：基于改进的暗通道方法对有雾图像I(x，y)进行去雾处理。

步骤S605：基于HOG+SVM对去雾后的图像进行行人检测，基于HOG+SVM直接对有雾图像I(x，y)进行行人检测，综合检测结果并在图像中标示出来。

步骤S607：根据获取到的全部行人检测结果获取行人在上述视频序列中的运动特征，并根据该运动特征判断上述行人是否存在快速运动行为。

图7为根据本发明实施例的雾天行人快速运动行为的检测装置的结构框图。如图7所示，该检测装置包括：去雾模块70，用于对于预定时间内的视频序列中每帧原始图像，分别执行去雾处理，获取与该帧原始图像对应的去雾后图像；检测模块72，与去雾模块70相连接，用于对该帧原始图像和上述对应的去雾后图像分别执行行人检测，获取含有行人的窗口；综合模块74，与检测模块72相连接，对于该帧原始图像和上述对应的去雾后图像，将含有行人的窗口进行综合得到行人检测结果；确定模块76，根据获取到的各个上述行人检测结果获取行人在上述视频序列中的运动特征，并根据该运动特征确定上述行人是否存在快速运动行为。

在图7所示的装置中，去雾模块70对预定时间内的视频序列中每帧原始图像进行去雾之后，检测模块72对该帧原始图像和上述对应的去雾后图像分别进行行人检测，综合模块74将两者的结果综合得到最终行人检测结果，确定模块76再在这个行人检测结果基础上根据运动特征确定上述行人是否存在快速运动行为，解决了相关技术中雾天情况下，奔跑检测算法失效或出现误报的问题，有效提高了雾天行人检测精度以使得行人奔跑检测更加可靠。

优选地，去雾模块70可以用于基于暗通道对输入的原始图像执行去雾处理，获取去雾后图像。

优选地，如图8所示，检测模块72可以包括：第一计算单元720，用于计算该帧原始图像和上述对应的去雾后图像中全部预定大小的窗口的梯度方向直方图(HOG)；判断单元724，与第一计算单元720相连接，用于采用离线训练好的向量响应机(SVM)分类器判断上述预定大小的窗口中各个窗口的HOG特征的类别；第一获取单元726，与判断单元724相连接，用于根据判断结果获取上述含有行人的窗口。

优选地，如图8所示，综合模块74可以进一步包括：处理单元740，用于将上述含有行人的窗口包含在同一图像中，其中，上述含有行人的窗口中位置相同的窗口仅包含一次。

优选地，如图8所示，确定模块76可以进一步包括：第二计算单元760，用于通过以下方式计算获取上述运动特征：其中，H(x，y)为上述运动特征，w为权重且w∈(0,1)，i为帧序号且i为小于等于N的正整数，N为上述视频序列的帧总数，H_i(x，y)为与上述每帧原始图像大小相等的灰度图像且第二获取单元762，与第二计算单元760相连接，用于通过以下方式对上述运动特征H(x，y)进行阈值分割获取与上述每帧原始图像大小相等的二值图像B(x，y)：以及确定单元764，与第二获取单元762相连接，用于统计B(x,y)中灰度值为1的像素总数S，当S大于阈值δ时确定行人存在快速运动行为。

需要说明的是，上述检测装置中各模块，各单元相互结合的优选实施方式具体可以参见图1至图6中的描述，此处不再赘述。

借助本发明提供的上述实施例，针对特定的场景，即雾天监控环境下，分别对原始图像和去雾处理后的图像进行行人检测，将两者的检测结果融合形成最终的检测结果，可以有效增强图像中行人的信息，而且也能在一定程度上克服去雾处理所带来的噪声干扰，进而有效提高雾天行人检测精度。在此基础上，再采用运动特征判断行人是否存在快速运动行为，使得行人奔跑检测更加可靠，大大提高了行人奔跑检测的准确性。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种雾天行人快速运动行为的检测方法，其特征在于，包括：

对于预定时间内的视频序列中每帧原始图像，分别执行去雾处理，获取与该帧原始图像对应的去雾后图像；

对所述该帧原始图像和所述对应的去雾后图像分别执行行人检测，获取含有行人的窗口；

对于所述该帧原始图像和所述对应的去雾后图像，将含有行人的窗口进行综合得到行人检测结果；

根据获取到的各个所述行人检测结果获取行人在所述视频序列中的运动特征，并根据该运动特征判断所述行人是否存在快速运动行为；

通过以下方式计算获取所述运动特征：

$H(x,y)=\underset{i=1}{\overset{N}{\Σ}}{w}^{N-i}{H}_i(x,y);$

其中，H(x，y)为所述运动特征，w为权重且w∈(0,1)，i为帧序号且i为小于等于N的正整数，N为所述视频序列的帧总数，H_i(x，y)为与所述每帧原始图像大小相等的灰度图像且

2.根据权利要求1所述的方法，其特征在于，基于如下方式对所述每帧原始图像执行去雾处理：暗通道。

3.根据权利要求1所述的方法，其特征在于，对所述该帧原始图像和所述对应的去雾后图像分别执行行人检测，获取含有行人的窗口包括：

计算所述该帧原始图像和所述对应的去雾后图像中全部预定大小的窗口的梯度方向直方图HOG；

采用离线训练好的向量响应机SVM分类器判断所述预定大小的窗口中各个窗口的HOG特征的类别；

根据判断结果获取所述含有行人的窗口。

4.根据权利要求1所述的方法，其特征在于，将所述含有行人的窗口进行综合包括：

将所述含有行人的窗口包含在同一图像中，其中，所述含有行人的窗口中位置相同的窗口仅包含一次。

5.根据权利要求4所述的方法，其特征在于，根据该运动特征确定所述行人是否存在快速运动行为包括：

通过以下方式对所述运动特征H(x，y)进行阈值分割获取与所述每帧原始图像大小相等的二值图像B(x，y)：

统计B(x,y)中灰度值为1的像素总数S，当S大于阈值δ时确定行人存在快速运动行为。

6.一种雾天行人快速运动行为的检测装置，其特征在于，包括：

去雾模块，用于对于预定时间内的视频序列中每帧原始图像，分别执行去雾处理，获取与该帧原始图像对应的去雾后图像；

检测模块，用于对所述该帧原始图像和所述对应的去雾后图像分别执行行人检测，获取含有行人的窗口；

综合模块，对于所述该帧原始图像和所述对应的去雾后图像，将含有行人的窗口进行综合得到行人检测结果；

确定模块，根据获取到的各个所述行人检测结果获取行人在所述视频序列中的运动特征，并根据该运动特征确定所述行人是否存在快速运动行为；

所述确定模块具体通过以下方式计算获取所述运动特征：

$H(x,y)=\underset{i=1}{\overset{N}{\Σ}}{w}^{N-i}{H}_i(x,y);$

其中，H(x，y)为所述运动特征，w为权重且w∈(0,1)，i为帧序号且i为小于等于N的正整数，N为所述视频序列的帧总数，H_i(x，y)为与所述每帧原始图像大小相等的灰度图像且

7.根据权利要求6所述的装置，其特征在于，所述检测模块包括：

第一计算单元，用于计算所述该帧原始图像和所述对应的去雾后图像中全部预定大小的窗口的梯度方向直方图HOG；

判断单元，用于采用离线训练好的向量响应机SVM分类器判断所述预定大小的窗口中各个窗口的HOG特征的类别；

第一获取单元，用于根据判断结果获取所述含有行人的窗口。

8.根据权利要求6所述的装置，其特征在于，所述综合模块包括：

处理单元，用于将所述含有行人的窗口包含在同一图像中，其中，所述含有行人的窗口中位置相同的窗口仅包含一次。

9.根据权利要求6所述的装置，其特征在于，所述确定模块包括：

第二计算单元，用于通过以下方式计算获取所述运动特征：

$H(x,y)=\underset{i=1}{\overset{N}{\Σ}}{w}^{N-i}{H}_i(x,y);$

其中，H(x，y)为所述运动特征，w为权重且w∈(0,1)，i为帧序号且i为小于等于N的正整数，N为所述视频序列的帧总数，H_i(x，y)为与所述每帧原始图像大小相等的灰度图像且

第二获取单元，用于通过以下方式对所述运动特征H(x，y)进行阈值分割获取与所述每帧原始图像大小相等的二值图像B(x，y)：

以及

确定单元，用于统计B(x,y)中灰度值为1的像素总数S，当S大于阈值δ时确定行人存在快速运动行为。