CN103337076B - 视频监控目标出现范围确定方法和装置 - Google Patents

Abstract

本发明公开了一种视频监控目标出现范围确定方法和装置，所述方法包括：根据输入的双目图像，确定双目图像中地平面的位置；根据所确定的双目图像中地平面的位置，以及由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，来确定所述直立目标在地平面上的深度值；根据所述直立目标在地平面上的深度值，确定所述直立目标在双目图像中每一列的最佳高度值，由图像中地平面和地平面上每一列最佳高度值确定目标出现范围。应用本发明技术方案，能够利用视频图像中的场景信息，有效地缩小目标检测分类器扫描的区域，提高检测精度，排除部分目标检测分类器虚警。

Description

视频监控目标出现范围确定方法和装置

技术领域

本发明涉及视频监控技术邻域，特别是涉及一种视频监控目标出现范围确定方法和装置。

背景技术

在当前智能视频监控技术，检测视频场景中感兴趣的目标是监控的一个核心任务。为了检测这些目标，现有技术采用滑动窗口技术，使用目标检测分类器窗口扫描整个图像，从而检测出图像中所有的目标。

发明人在研究中发现现有技术至少含有如下技术问题：现有技术需要对整个图像进行扫描，效率比较低，尤其是含有地面信息的室外或室内场景，没有有效的利用图像中的场景信息，此外由于现有技术中目标检测分类器窗口扫描的区域比较大，容易出现分类器检测虚警。

发明内容

基于此，有必要针对上述技术问题，提供一种视频监控目标出现范围确定方法和装置，能够利用视频图像中的场景信息，有效地缩小目标检测分类器扫描的区域，提高检测精度，排除部分目标检测分类器虚警。

一种视频监控目标出现范围确定方法，包括：

根据输入的双目图像，确定双目图像中地平面的位置；

根据所确定的双目图像中地平面的位置，以及由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，来确定所述直立目标在地平面上的深度值；

根据所述直立目标在地平面上的深度值，确定所述直立目标在双目图像中的最佳高度值。

在其中一个实施例中，所述根据输入的双目图像，确定双目图像中地平面的位置包括：

循环处理所述输入的双目图像中右图像素点和左图中的对应像素点，获取三维匹配矩阵：其中右图像素点(u,v)，像素值为(r₁,g₁,b₁)，左图中对应像素点(u+d,v)，其像素值为(r₂,g₂,b₂)，u为右图水平方向坐标，v为右图竖直方向坐标，d为差距，三维匹配矩阵中对应元素c_m(u,v,d)=(r₁-r₂)²+(g₁-g₂)²+(b₁-b₂)²；

对所述三维匹配矩阵中元素的元素值，按照水平方向进行累加，获得v-差距图像；

对所述v-差距图像进行哈夫变换，获得地平面参数。

在其中一个实施例中，所述根据所确定的双目图像中地平面的位置，以及由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，

来确定所述直立目标在地平面上的深度值的步骤，包括：

由下列公式获取地平面上直立目标出现的可能性参数c_s(u,d)：

$c_o(u,d)=\underset{v=v({\tilde{h}}_o,d)}{\overset{v\left(d\right)}{\mathrm{\Σ}}}{c}_m(u,v,d),$

$c_g(u,d)=\underset{v=v\left(d\right)}{\overset{\left|V\right|}{\mathrm{\Σ}}}{c}_m(u,v,f_{\mathrm{ground}}\left(v\right)),$

c_s(u,d)=c_o(u,d)+c_g(u,d)，

其中f_ground为右图像素点(u,v)到差距d的映射函数，为由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，为左图与右图图像像素点的行数；

按照下列公式计算所述直立目标出现的可能性参数的平滑项s_s(d_a,d_b)：

$s_s(d_a,d_b)=\left\{\begin{array}{cc}\&infin;& \mathrm{if}{d}_a<d_b-1\\ c_o(u_a,d_a)& \mathrm{if}{d}_a=d_b-1\\ 0& \mathrm{if}{d}_a>d_b-1\end{array}\right.,$

其中 $|u_a-u_b|=1,$ d_a=d(u_a)，d_b=d(u_b)， $d\left(u_a\right)=f_{\mathrm{ground}}^{-1}\left(u_a\right),$ $d\left(u_b\right)=f_{\mathrm{ground}}^{-1}\left(u_b\right);$

用二维动态规划确定使可能性参数c_s(u,d)与平滑项s_s(d_a,d_b)的和 $\underset{u}{\mathrm{\&Sigma;}}{c}_s(u,d\left(u\right))+\underset{u_a,u_b}{\mathrm{\&Sigma;}}{s}_s(d\left(u_a\right),d\left(u_b\right))$ 最小的d(u)，作为直立目标在地平面上的深度值 $d_s^{*}\left(u\right):$

$d_s^{*}\left(u\right)=\arg {\min }_{d\left(u\right)}\underset{u}{\mathrm{\&Sigma;}}{c}_s(u,d\left(u\right))+\underset{u_a{u}_b}{\mathrm{\&Sigma;}}{s}_s(d\left(u_a\right),d\left(u_b\right)).$

在其中一个实施例中，所述根据所述直立目标在地平面上的深度值，确定所述直立目标在双目图像中的最佳高度值的步骤，包括：

按下列公式获取高度代价函数c_h(u,v)：

m(u,v)=2.(max(0,m₁(u,v))-0.5)，

$m_1(u,v)=\underset{d\&Element;N\left(d_s^{*}\left(u\right)\right)}{\mathrm{\&Sigma;}}\frac{m_2({\tilde{c}}_m(u,v,d),{\tilde{c}}_m(u,v,d_s^{*}\left(u\right)))}{\left|N\left(d_s^{*}\left(u\right)\right)\right|},$

$m_2(c,c^{*})=\left\{\begin{array}{cc}+\max \left(\right|c-c^{*}|,{\mathrm{\&Delta;}}_{\max })/{\mathrm{\&Delta;}}_{\max }& \mathrm{ifc}>c^{*}\\ -\max \left(\right|c-c^{*}|,{\mathrm{\&Delta;}}_{\max })/{\mathrm{\&Delta;}}_{\max }& \mathrm{otherwise}\end{array}\right.,$

其中，N(d_a)为d_a的邻域，为N(d_a)中元素的个数，Δ_max为常数，为对所述三维匹配矩阵c_m进行中值滤波后的矩阵，

$c_h(u,v)=\underset{w=v_{\mathrm{bottom}}^{*}\left(u\right)}{\overset{v}{\mathrm{\&Sigma;}}}|m(u,w)-1|+\underset{w=v}{\overset{v({\hat{h}}_o,d_s^{*}\left(u\right))}{\mathrm{\&Sigma;}}}|m(u,w)+1|,$

其中为所述直立目标的高度估计值中最大高度所在的行号，为通过和f_ground确定的(u,v)的下边界；

按下列公式确定高度代价函数c_h(u,v)的平滑项s_h(u_a,v_a,u_b,v_b)：

$s_h(u_a,v_a,u_b,v_b)=k_1\&CenterDot;|v_a-v_b|\&CenterDot;\max (\mathrm{0,1}-\frac{z\left(d_s^{*}\left(u_a\right)\right)-z\left(d_s^{*}\left(u_b\right)\right)}{{\mathrm{\&Delta;z}}_2}),$

其中，，k₁为常数因子，Δz₂为常数；

使用二维动态规划对c_h(u,v)与s_h(u_a,v_a,u_b,v_b)的和求解，得到直立目标在图像中每一列的最佳高度值。

一种视频监控目标出现范围确定装置，包括：

地平面参数确定模块，用于根据输入的双目图像，确定双目图像中地平面的位置；

深度值确定模块，用于根据所确定的双目图像中地平面的位置，以及由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，来确定所述直立目标在地平面上的深度值；

目标出现范围确定模块，用于根据所述直立目标在地平面上的深度值，确定所述直立目标在双目图像中每一列的最佳高度值，由图像中地平面和地平面上每一列最佳高度值确定目标出现范围。

在一个实施例中，所述地平面参数确定模块，用于循环处理所述输入的双目图像中右图像素点和左图中的对应像素点，获取三维匹配矩阵：其中右图像素点(u,v)，像素值为(r₁,g₁,b₁)，左图中对应像素点(u+d,v)，其像素值为(r₂,g₂,b₂)，u为右图水平方向坐标，v为右图竖直方向坐标，d为差距，三维匹配矩阵中对应元素c_m(u,v,d)=(r₁-r₂)²+(g₁-g₂)²+(b₁-b₂)²；以及用于对所述三维匹配矩阵中元素的元素值，按照水平方向进行累加，获得v-差距图像；以及用于对所述v-差距图像进行哈夫变换，获得地平面参数。

在一个实施例中，所述深度值确定模块用于由下列公式获取地平面上直立目标出现的可能性参数c_s(u,d)：

$c_o(u,d)=\underset{v=v({\tilde{h}}_o,d)}{\overset{v\left(d\right)}{\mathrm{\&Sigma;}}}{c}_m(u,v,d),$

$c_g(u,d)=\underset{v=v\left(d\right)}{\overset{\left|V\right|}{\mathrm{\&Sigma;}}}{c}_m(u,v,f_{\mathrm{ground}}\left(v\right)),$

c_s(u,d)=c_o(u,d)+c_g(u,d)，

其中f_ground为右图像素点(u,v)到差距d的映射函数， 为由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，V为左图与右图图像像素点的行数；

所述深度值确定模块以及用于按照下列公式计算所述直立目标出现的可能性参数的平滑项s_s(d_a,d_b)：

$s_s(d_a,d_b)=\left\{\begin{array}{cc}\&infin;& \mathrm{if}{d}_a<d_b-1\\ c_o(u_a,d_a)& \mathrm{if}{d}_a=d_b-1\\ 0& \mathrm{if}{d}_a>d_b-1\end{array}\right.,$

其中 $|u_a-u_b|=1,$ d_a=d(u_a)，d_b=d(u_b)， $d\left(u_a\right)=f_{\mathrm{ground}}^{-1}\left(u_a\right),$ $d\left(u_b\right)=f_{\mathrm{ground}}^{-1}\left(u_b\right);$

所述深度值确定模块还用于用二维动态规划确定使可能性参数c_s(u,d)与平滑项s_s(d_a,d_b)的和 $\underset{u}{\mathrm{\&Sigma;}}{c}_s(u,d\left(u\right))+\underset{u_a,u_b}{\mathrm{\&Sigma;}}{s}_s(d\left(u_a\right),d\left(u_b\right))$ 最小的d(u)，作为直立目标在地平面上的深度值

在一个实施例中，所述目标出现范围确定模块用于按下列公式获取高度代价函数c_h(u,v)：

m(u,v)=2.(max(0,m₁(u,v))-0.5)，

$m_1(u,v)=\underset{d\&Element;N\left(d_s^{*}\left(u\right)\right)}{\mathrm{\&Sigma;}}\frac{m_2({\tilde{c}}_m(u,v,d),{\tilde{c}}_m(u,v,d_s^{*}\left(u\right)))}{\left|N\left(d_s^{*}\left(u\right)\right)\right|},$

$m_2(c,c^{*})=\left\{\begin{array}{cc}+\max \left(\right|c-c^{*}|,{\mathrm{\&Delta;}}_{\max })/{\mathrm{\&Delta;}}_{\max }& \mathrm{ifc}>c^{*}\\ -\max \left(\right|c-c^{*}|,{\mathrm{\&Delta;}}_{\max })/{\mathrm{\&Delta;}}_{\max }& \mathrm{otherwise}\end{array}\right.,$

其中，N(d_a)为d_a的邻域，为N(d_a)中元素的个数，Δ_max为常数，为对所述三维匹配矩阵c_m进行中值滤波后的矩阵，

$c_h(u,v)=\underset{w=v_{\mathrm{bottom}}^{*}\left(u\right)}{\overset{v}{\mathrm{\&Sigma;}}}|m(u,w)-1|+\underset{w=v}{\overset{v({\hat{h}}_o,d_s^{*}\left(u\right))}{\mathrm{\&Sigma;}}}|m(u,w)+1|,$

其中为所述直立目标的高度估计值中最大高度所在的行号，为通过和f_ground确定的(u,v)的下边界；

目标出现范围确定模块还用于按下列公式确定高度代价函数c_h(u,v)的平滑项s_h(u_a,v_a,u_b,v_b)：

$s_h(u_a,v_a,u_b,v_b)=k_1.|v_a-v_b|\&CenterDot;\max (\mathrm{0,1}-\frac{z\left(d_s^{*}\left(u_a\right)\right)-z\left(d_s^{*}\left(u_b\right)\right)}{{\mathrm{\&Delta;z}}_2}),$

其中，，k₁为常数因子，Δz₂为常数；

目标出现范围确定模块还用于使用二维动态规划对c_h(u,v)与s_h(u_a,v_a,u_b,v_b)的和求解，得到直立目标在图像中每一列的最佳高度值。

上述视频监控目标出现范围确定方法和装置，根据输入的双目图像，确定双目图像中地平面的位置再由地平面和摄像机标定和直立目标武力高度进行估计获取的直立目标的高度估计值，确定直立目标在地平面上的深度值，最后再确定智力目标在双目图像中每一列的最佳高度值，由图像中地平面和地平面上每一列最佳高度值确定目标出现范围，将此范围作为分类检测器扫描的范围，相比于现有技术需要扫描整个图像，有效地利用了室外或室内场景中地面信息，减少了扫描区域的大小，提高了扫描效率，排除了部分分类器检测虚警。

附图说明

图1为一个实施例中视频监控目标出现范围确定方法的流程示意图；

图2为一个实施例中视频监控目标出现范围确定装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，提供了一种视频监控目标出现范围确定方法，本方法适用于室外或室内视频监控，且图像中包含了地平面信息，其流程包括：

步骤102，根据输入的双目图像，确定双目图像中地平面的位置。

在实际视频监控的应用中，对于室外和绝大部分室内场景，目标尤其是直立目标，如人、车等，只可能出现在地平面上。确定图像中地平面的位置，再 确定地平面上目标的高度，将有效地缩小检测分类器扫描的范围。

在一个实施例中，可以按下列方式确定双目图像中的地平面参数：

循环处理所述输入的双目图像中右图像素点和左图中的对应像素点，获取三维匹配矩阵：其中右图像素点(u,v)，像素值为(r₁,g₁,b₁)，左图中对应像素点(u+d,v)，其像素值为(r₂,g₂,b₂)，u为右图水平方向坐标，v为右图竖直方向坐标，d为差距，三维匹配矩阵中对应元素c_m(u,v,d)=(r₁-r₂)²+(g₁-g₂)²+(b₁-b₂)²。

对三维匹配矩阵中元素的元素值，按照水平方向进行累加，获得v-差距图像。即在水平方向进行投影，在三维矩阵中，对于v值和d值相同而u值不同的元素，将其元素值进行求和，得到二维矩阵，该二维矩阵就是v-差距图像。

对v-差距图像进行哈夫变换，获得地平面参数。哈夫变换是图像处理中识别几何形状的基本方法。用哈夫变换检测v-差距图像中的直线段，哈夫变换可以在极坐标系下进行。若摄像机离地面的高度为h，摄像机与地面的倾角为θ，根据双目立体几何，哈夫变换检测的直线段参数相应为(h,θ)，其中，h是直线到原点的距离，θ是倾角。由此就得到了地平面的参数。

步骤104，根据所确定的双目图像中地平面的位置，以及由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，来确定直立目标在地平面上的深度值。

在一个实施例中，确定直立目标在地平面上的深度值，可以按下列步骤获得：

由下列公式获取地平面上直立目标出现的可能性参数c_s(u,d)：

$c_o(u,d)=\underset{v=v({\tilde{h}}_o,d)}{\overset{v\left(d\right)}{\mathrm{\&Sigma;}}}{c}_m(u,v,d),$

$c_g(u,d)=\underset{v=v\left(d\right)}{\overset{\left|V\right|}{\mathrm{\&Sigma;}}}{c}_m(u,v,f_{\mathrm{ground}}\left(v\right)),$

c_s(u,d)=c_o(u,d)+c_g(u,d)，

其中f_ground为右图像素点(u,v)到差距d的映射函数， 为由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，为左图与右图图像像素点的行数；直立目标出现的可能性参数c_s(u,d)表示直立 目标出现在(u,d)处的可能性大小，当c_s(u,d)值越小，表示目标出现的可能性越大。

按照下列公式计算所述直立目标出现的可能性参数的平滑项s_s(d_a,d_b)：

$s_s(d_a,d_b)=\left\{\begin{array}{cc}\&infin;& \mathrm{if}{d}_a<d_b-1\\ c_o(u_a,d_a)& \mathrm{if}{d}_a=d_b-1\\ 0& \mathrm{if}{d}_a>d_b-1\end{array}\right.,$

其中 $|u_a-u_b|=1,$ d_a=d(u_a)，d_b=d(u_b)， $d\left(u_a\right)=f_{\mathrm{ground}}^{-1}\left(u_a\right),$ $d\left(u_b\right)=f_{\mathrm{ground}}^{-1}\left(u_b\right);$

用二维动态规划确定使可能性参数c_s(u,d)与平滑项s_s(d_a,d_b)的和 $\underset{u}{\mathrm{\&Sigma;}}{c}_s(u,d\left(u\right))+\underset{u_a,u_b}{\mathrm{\&Sigma;}}{s}_s(d\left(u_a\right),d\left(u_b\right))$ 最小的d(u)，作为直立目标在地平面上的深度值 $d_s^{*}\left(u\right):$

即 $d_s^{*}\left(u\right)=\arg {\min }_{d\left(u\right)}\underset{u}{\mathrm{\&Sigma;}}{c}_s(u,d\left(u\right))+\underset{u_a{u}_b}{\mathrm{\&Sigma;}}{s}_s(d\left(u_a\right),d\left(u_b\right)).$

步骤106，根据直立目标在地平面上的深度值，确定直立目标在双目图像中每一列的最佳高度值，由图像中地平面和地平面上每一列最佳高度值确定目标出现范围。

在一个实施例中，步骤106可以包括以下步骤：

按下列公式获取高度代价函数c_h(u,v)：

m(u,v)=2.(max(0,m₁(u,v))-0.5)，

$m_1(u,v)=\underset{d\&Element;N\left(d_s^{*}\left(u\right)\right)}{\mathrm{\&Sigma;}}\frac{m_2({\tilde{c}}_m(u,v,d),{\tilde{c}}_m(u,v,d_s^{*}\left(u\right)))}{\left|N\left(d_s^{*}\left(u\right)\right)\right|},$

$m_2(c,c^{*})=\left\{\begin{array}{cc}+\max \left(\right|c-c^{*}|,{\mathrm{\&Delta;}}_{\max })/{\mathrm{\&Delta;}}_{\max }& \mathrm{ifc}>c^{*}\\ -\max \left(\right|c-c^{*}|,{\mathrm{\&Delta;}}_{\max })/{\mathrm{\&Delta;}}_{\max }& \mathrm{otherwise}\end{array}\right.,$

其中，N(d_a)为d_a的邻域，为N(d_a)中元素的个数，Δ_max为常数，为对所述三维匹配矩阵c_m进行中值滤波后的矩阵，

$c_h(u,v)=\underset{,w=v_{\mathrm{bottom}}^{*}}{\overset{v}{\mathrm{\&Sigma;}}}|m(u,w)-1|+\underset{w=v}{\overset{v\left({\hat{h}}_o{d}_s^{*}\left(u\right)\right)}{\mathrm{\&Sigma;}}}|m(u,w)+1|,$

其中为所述直立目标的高度估计值中最大高度所在的行号，为通过和f_ground确定的(u,v)的下边界；

按下列公式确定高度代价函数c_h(u,v)的平滑项s_h(u_a,v_a,u_b,v_b)：

$s_h(u_a,v_a,u_b,v_b)=k_1\&CenterDot;|v_a-v_b|\&CenterDot;\max (\mathrm{0,1}-\frac{z\left(d_s^{*}\left(u_a\right)\right)-z\left(d_s^{*}\left(u_b\right)\right)}{{\mathrm{\&Delta;z}}_2}),$

其中，k₁为常数因子，Δz₂为常数；

使用二维动态规划对c_h(u,v)与s_h(u_a,v_a,u_b,v_b)的和求解，得到直立目标在图像中每一列的最佳高度值。

在步骤106中，确定图像中直立目标在每一列的最佳高度值后，将图像中地平面和地平面上每一列最佳高度值所确定的范围作为目标出现范围，以供检测分类器进行扫描，从而进一步精确地识别其中的目标。

上述视频监控目标出现范围确定方法，根据输入的双目图像，确定双目图像中地平面的位置再由地平面和摄像机标定和直立目标武力高度进行估计获取的直立目标的高度估计值，确定直立目标在地平面上的深度值，最后再确定智力目标在双目图像中每一列的最佳高度值，由图像中地平面和地平面上每一列最佳高度值确定目标出现范围，将此范围作为分类检测器扫描的范围，相比于现有技术需要扫描整个图像，有效地利用了室外或室内场景中地面信息，减少了扫描区域的大小，提高了扫描效率，排除了部分分类器检测虚警。

参见图2，一种视频监控目标出现范围确定装置，包括：

地平面参数确定模块202，用于根据输入的双目图像，确定双目图像中地平面的位置；

深度值确定模块204，用于根据所确定的双目图像中地平面的位置，以及由 摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，来确定所述直立目标在地平面上的深度值；

目标出现范围确定模块206，用于根据所述直立目标在地平面上的深度值，确定所述直立目标在双目图像中每一列的最佳高度值，由图像中地平面和地平面上每一列最佳高度值确定目标出现范围。

在一个实施例中，地平面参数确定模块202，用于循环处理所述输入的双目图像中右图像素点和左图中的对应像素点，获取三维匹配矩阵：其中右图像素点(u,v)，像素值为(r₁,g₁,b₁)，左图中对应像素点(u+d,v)，其像素值为(r₂,g₂,b₂)，u为右图水平方向坐标，v为右图竖直方向坐标，d为差距，三维匹配矩阵中对应元素c_m(u,v,d)=(r₁-r₂)²+(g₁-g₂)²+(b₁-b₂)²；以及用于对所述三维匹配矩阵中元素的元素值，按照水平方向进行累加，获得v-差距图像；以及用于对所述v-差距图像进行哈夫变换，获得地平面参数。

在一个实施例中，深度值确定模块204，用于由下列公式获取地平面上直立目标出现的可能性参数c_s(u,d)：

$c_o(u,d)=\underset{v=v({\tilde{h}}_o,d)}{\overset{v\left(d\right)}{\mathrm{\&Sigma;}}}{c}_m(u,v,d),$

$c_g(u,d)=\underset{v=v\left(d\right)}{\overset{\left|V\right|}{\mathrm{\&Sigma;}}}{c}_m(u,v,f_{\mathrm{ground}}\left(v\right)),$

c_s(u,d)=c_o(u,d)+c_g(u,d)，

其中f_ground为右图像素点(u,v)到差距d的映射函数， 为由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，为左图与右图图像像素点的行数；

深度值确定模块204，还用于按照下列公式计算所述直立目标出现的可能性参数的平滑项s_s(d_a,d_b)：

$s_s(d_a,d_b)=\left\{\begin{array}{cc}\&infin;& \mathrm{if}{d}_a<d_b-1\\ c_o(u_a,d_a)& \mathrm{if}{d}_a=d_b-1\\ 0& \mathrm{if}{d}_a>d_b-1\end{array}\right.,$

其中 $|u_a-u_b|=1,$ d_a=d(u_a)，d_b=d(u_b)， $d\left(u_a\right)=f_{\mathrm{ground}}^{-1}\left(u_a\right),$ $d\left(u_b\right)=f_{\mathrm{ground}}^{-1}\left(u_b\right);$

深度值确定模块204，还用于用二维动态规划确定使可能性参数c_s(u,d)与平滑项s_s(d_a,d_b)的和 $\underset{u}{\mathrm{\&Sigma;}}{c}_s(u,d\left(u\right))+\underset{u_a,u_b}{\mathrm{\&Sigma;}}{s}_s(d\left(u_a\right),d\left(u_b\right))$ 最小的d(u)，作为直立目标在地平面上的深度值

在一个实施例中，目标出现范围确定模块206，用于按下列公式获取高度代价函数c_h(u,v)：

m(u,v)=2.(max(0,m₁(u,v))-0.5)，

$m_1(u,v)=\underset{d\&Element;N\left(d_s^{*}\left(u\right)\right)}{\mathrm{\&Sigma;}}\frac{m_2({\tilde{c}}_m(u,v,d),{\tilde{c}}_m(u,v,d_s^{*}\left(u\right)))}{\left|N\left(d_s^{*}\left(u\right)\right)\right|},$

$m_2(c,c^{*})=\left\{\begin{array}{cc}+\max \left(\right|c-c^{*}|,{\mathrm{\&Delta;}}_{\max })/{\mathrm{\&Delta;}}_{\max }& \mathrm{ifc}>c^{*}\\ -\max \left(\right|c-c^{*}|,{\mathrm{\&Delta;}}_{\max })/{\mathrm{\&Delta;}}_{\max }& \mathrm{otherwise}\end{array}\right.,$

其中，N(d_a)为d_a的邻域，为N(d_a)中元素的个数，Δ_max为常数，为对所述三维匹配矩阵c_m进行中值滤波后的矩阵，

$c_h(u,v)=\underset{w=v_{\mathrm{bottom}}^{*}\left(u\right)}{\overset{v}{\mathrm{\&Sigma;}}}|m(u,w)-1|+\underset{w=v}{\overset{v({\hat{h}}_o,d_s^{*}\left(u\right))}{\mathrm{\&Sigma;}}}|m(u,w)+1|,$

其中为所述直立目标的高度估计值中最大高度所在的行号，为通过和f_ground确定的(u,v)的下边界；

目标出现范围确定模206，还用于按下列公式确定高度代价函数c_h(u,v)的平滑项s_h(u_a,v_a,u_b,v_b)：

$s_h(u_a,v_a,u_b,v_b)=k_1\&CenterDot;|v_a-v_b|\&CenterDot;\max (\mathrm{0,1}-\frac{z\left(d_s^{*}\left(u_a\right)\right)-z\left(d_s^{*}\left(u_b\right)\right)}{{\mathrm{\&Delta;z}}_2}),$

其中，k₁为常数因子，Δz₂为常数；

目标出现范围确定模块206，还用于使用二维动态规划对c_h(u,v)与s_h(u_a,v_a,u_b,v_b)的和求解，得到直立目标在图像中每一列的最佳高度值。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本邻域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种视频监控目标出现范围确定方法，包括：

根据输入的双目图像，确定双目图像中地平面的位置，具体的，循环处理所述输入的双目图像中右图像素点和左图中的对应像素点，获取三维匹配矩阵中对应元素；对所述三维匹配矩阵中元素的元素值，按照水平方向进行累加，获得v-差距图像，所述v-差距图像为二维矩阵；对所述v-差距图像进行哈夫变换，获得地平面参数；

根据所确定的双目图像中地平面的位置，以及由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，来确定所述直立目标在地平面上的深度值；

根据所述直立目标在地平面上的深度值，确定所述直立目标在双目图像中每一列的最佳高度值，由图像中地平面和地平面上每一列最佳高度值确定目标出现范围。

2.根据权利要求1所述的方法，其特征在于，所述循环处理所述输入的双目图像中右图像素点和左图中的对应像素点，获取三维匹配矩阵中对应元素包括：其中右图像素点(u,v)，像素值为(r₁,g₁,b₁)，左图中对应像素点(u+d,v)，其像素值为(r₂,g₂,b₂)，u为右图水平方向坐标，v为右图竖直方向坐标，d为差距，三维匹配矩阵中对应元素c_m(u,v,d)＝(r₁-r₂)²+(g₁-g₂)²+(b₁-b₂)²。

3.根据权利要求2所述的方法，其特征在于，所述根据所确定的双目图像中地平面的位置，以及由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，来确定所述直立目标在地平面上的深度值的步骤，包括：

由下列公式获取地平面上直立目标出现的可能性参数c_s(u,d)：

$c_o(u,d)=\underset{v=v({\tilde{h}}_o,d)}{\overset{v\left(d\right)}{\&Sigma;}}{c}_m(u,v,d),$

$c_g(u,d)=\underset{v=v\left(d\right)}{\overset{\left|V\right|}{\&Sigma;}}{c}_m(u,v,f_{ground}(v\left)\right),$

c_s(u,d)＝c_o(u,d)+c_g(u,d)，

其中f_ground为右图像素点(u,v)到差距d的映射函数， 为由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，|V|为左图与右图图像像素点的行数；

按照下列公式计算所述直立目标出现的可能性参数的平滑项s_s(d_a,d_b)：

$s_s(d_a,d_b)=\left\{\begin{array}{cc}\mathrm{\&infin;}& if{d}_a<d_b-1\\ c_o(u_a,d_a)& if{d}_a=d_b-1\\ 0& if{d}_a>d_b-1\end{array}\right.,$

其中|u_a-u_b|＝1，d_a＝d(u_a)，d_b＝d(u_b)，

用二维动态规划确定使可能性参数c_s(u,d)与平滑项s_s(d_a,d_b)的和最小的d(u)，作为直立目标在地平面上的深度值

4.根据权利要求3所述的方法，其特征在于，所述根据所述直立目标在地平面上的深度值，确定所述直立目标在双目图像中每一列的最佳高度值的步骤，包括：

按下列公式获取高度代价函数c_h(u,v)：

m(u,v)＝2·(max(0,m₁(u,v))-0.5)，

$m_1(u,v)=\underset{d\&Element;N\left(d_s^{*}\right(u\left)\right)}{\&Sigma;}\frac{m_2\left({\tilde{c}}_m\right(u,v,d),{\tilde{c}}_m(u,v,d_s^{*}\left(u\right)\left)\right)}{\left|N\left(d_s^{*}\right(u\left)\right)\right|},$

$m_2(c,c^{*})=\left\{\begin{array}{cc}+max\left(\right|c-c^{*}|,{\mathrm{\&Delta;}}_{max})/{\mathrm{\&Delta;}}_{max}& ifc>c^{*}\\ -max\left(\right|c-c^{*}|,{\mathrm{\&Delta;}}_{max})/{\mathrm{\&Delta;}}_{max}& otherwise\end{array}\right.,$

其中，N(d_a)为d_a的邻域，|N(d_a)|为N(d_a)中元素的个数，Δ_max为常数，为对所述三维匹配矩阵c_m进行中值滤波后的矩阵，

$c_h(u,v)=\underset{w=v_{bottom}^{*}\left(u\right)}{\overset{v}{\&Sigma;}}|m(u,w)-1|+\underset{w=v}{\overset{v({\hat{h}}_o,d_s^{*}(u\left)\right)}{\&Sigma;}}|m(u,w)+1|,$

其中为所述直立目标的高度估计值中最大高度所在的行号，为通过和f_ground确定的(u,v)的下边界；

按下列公式确定高度代价函数c_h(u,v)的平滑项s_h(u_a,v_a,u_b,v_b)：

$s_h(u_a,v_a,u_b,v_b)=k_1\&CenterDot;|v_a-v_b|\&CenterDot;max(0,1-\frac{z\left(d_s^{*}\right(u_a\left)\right)-z\left(d_s^{*}\right(u_b\left)\right)}{{\mathrm{\&Delta;z}}_2}),$

其中，|u_a-u_b|＝1，k₁为常数因子，△z₂为常数；

使用二维动态规划对c_h(u,v)与s_h(u_a,v_a,u_b,v_b)的和求解，得到直立目标在图像中每一列的最佳高度值。

5.一种视频监控目标出现范围确定装置，其特征在于，所述装置包括：

地平面参数确定模块，用于根据输入的双目图像，确定双目图像中地平面的位置，具体的，所述地平面参数确定模块，用于循环处理所述输入的双目图像中右图像素点和左图中的对应像素点，获取三维匹配矩阵中对应元素；对所述三维匹配矩阵中元素的元素值，按照水平方向进行累加，获得v-差距图像，所述v-差距图像为二维矩阵；对所述v-差距图像进行哈夫变换，获得地平面参数；

深度值确定模块，用于根据所确定的双目图像中地平面的位置，以及由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，来确定所述直立目标在地平面上的深度值；

目标出现范围确定模块，用于根据所述直立目标在地平面上的深度值，确定所述直立目标在双目图像中每一列的最佳高度值，由图像中地平面和地平面上每一列最佳高度值确定目标出现范围。

6.根据权利要求5所述的装置，其特征在于，所述地平面参数确定模块，用于获取三维匹配矩阵具体为：右图像素点(u,v)，像素值为(r₁,g₁,b₁)，左图中对应像素点(u+d,v)，其像素值为(r₂,g₂,b₂)，u为右图水平方向坐标，v为右图竖直方向坐标，d为差距，三维匹配矩阵中对应元素c_m(u,v,d)＝(r₁-r₂)²+(g₁-g₂)²+(b₁-b₂)²。

7.根据权利要求6所述的装置，其特征在于，所述深度值确定模块用于由下列公式获取地平面上直立目标出现的可能性参数c_s(u,d)：

$c_o(u,d)=\underset{v=v({\tilde{h}}_o,d)}{\overset{v\left(d\right)}{\&Sigma;}}{c}_m(u,v,d),$

$c_g(u,d)=\underset{v=v\left(d\right)}{\overset{\left|V\right|}{\&Sigma;}}{c}_m(u,v,f_{ground}(v\left)\right),$

c_s(u,d)＝c_o(u,d)+c_g(u,d)，

其中f_ground为右图像素点(u,v)到差距d的映射函数， 为由摄像机标定和直立目标物理高度进行估计所获取的直立目标的高度估计值，|V|为左图与右图图像像素点的行数；

所述深度值确定模块以及用于按照下列公式计算所述直立目标出现的可能性参数的平滑项s_s(d_a,d_b)：

$s_s(d_a,d_b)=\left\{\begin{array}{cc}\mathrm{\&infin;}& if{d}_a<d_b-1\\ c_o(u_a,d_a)& if{d}_a=d_b-1\\ 0& if{d}_a>d_b-1\end{array}\right.,$

其中|u_a-u_b|＝1，d_a＝d(u_a)，d_b＝d(u_b)，

所述深度值确定模块还用于用二维动态规划确定使可能性参数c_s(u,d)与平滑项s_s(d_a,d_b)的和最小的d(u)，作为直立目标在地平面上的深度值

8.根据权利要求7所述的装置，其特征在于，所述目标出现范围确定模块用于按下列公式获取高度代价函数c_h(u,v)：

m(u,v)＝2·(max(0,m₁(u,v))-0.5)，

$m_1(u,v)=\underset{d\&Element;N\left(d_s^{*}\right(u\left)\right)}{\&Sigma;}\frac{m_2\left({\tilde{c}}_m\right(u,v,d),{\tilde{c}}_m(u,v,d_s^{*}\left(u\right)\left)\right)}{\left|N\left(d_s^{*}\right(u\left)\right)\right|},$

$m_2(c,c^{*})=\left\{\begin{array}{cc}+max\left(\right|c-c^{*}|,{\mathrm{\&Delta;}}_{max})/{\mathrm{\&Delta;}}_{max}& ifc>c^{*}\\ -max\left(\right|c-c^{*}|,{\mathrm{\&Delta;}}_{max})/{\mathrm{\&Delta;}}_{max}& otherwise\end{array}\right.,$

其中，N(d_a)为d_a的邻域，|N(d_a)|为N(d_a)中元素的个数，Δ_max为常数，为对所述三维匹配矩阵c_m进行中值滤波后的矩阵，

$c_h(u,v)=\underset{w=v_{bottom}^{*}\left(u\right)}{\overset{v}{\&Sigma;}}|m(u,w)-1|+\underset{w=v}{\overset{v({\hat{h}}_o,d_s^{*}(u\left)\right)}{\&Sigma;}}|m(u,w)+1|,$

其中为所述直立目标的高度估计值中最大高度所在的行号，为通过和f_ground确定的(u,v)的下边界；

目标出现范围确定模块还用于按下列公式确定高度代价函数c_h(u,v)的平滑项s_h(u_a,v_a,u_b,v_b)：

$s_h(u_a,v_a,u_b,v_b)=k_1\&CenterDot;|v_a-v_b|\&CenterDot;max(0,1-\frac{z\left(d_s^{*}\right(u_a\left)\right)-z\left(d_s^{*}\right(u_b\left)\right)}{{\mathrm{\&Delta;z}}_2}),$

其中，|u_a-u_b|＝1，k₁为常数因子，△z₂为常数；

目标出现范围确定模块还用于使用二维动态规划对c_h(u,v)与s_h(u_a,v_a,u_b,v_b)的和求解，得到直立目标在图像中每一列的最佳高度值。