CN101763646A - 一种阴影检测的方法、装置及视频图像处理系统 - Google Patents

Abstract

本发明适用于视频图像处理领域，提供了一种阴影检测的方法、装置及视频图像处理系统，所述方法包括：提取预先设置的参照物的阴影特征，所述阴影特征包括参照物的阴影强度统计参数和阴影方向；根据所述参照物的阴影特征检测运动目标的阴影。本发明，通过在场景中设置参照物，自适应地提取参照物阴影强度统计参数及阴影方向，再根据该参照物阴影区的阴影方向和阴影强度统计参数对运动目标进行备选阴影区域提取和投影阴影区域的最终判定，实现了运动目标自投影阴影的检测，在户外环境中阴影方向不断变化、阴影光照强度变化剧烈的情况下，有效地消除了运动目标的自投影阴影，较好地解决了运动目标阴影对运动目标提取的干扰。

Description

一种阴影检测的方法、装置及视频图像处理系统

技术领域

本发明属于视频图像处理领域，尤其涉及一种阴影检测的方法、装置及视频图像处理系统。

背景技术

阴影检测是检测由于目标遮挡光线使其不能直接照射背景而导致背景中形成的阴暗区域。由于阴影和运动目标同样具有运动性，检测出的运动区域通常包括运动目标区域和运动阴影区域。阴影使运动目标产生变形，从而影响分立运动目标的提取、跟踪及目标的行为分析。如何检测并消除目标投影阴影是智能视频监控中一个关键且困难的问题之一。

在已有的阴影检测方法中，有些文献提出基于颜色模型的阴影检测方法，Cucchiara等认为在HSV空间中，阴影像素点与背景像素点相比，具有亮度较低、饱和度和色调相对稳定等特点；Salvador等认为在RGB空间中，阴影像素任意一个颜色分量与背景像素的另外两个分量的最大值相除，其值的反正切角度不会超过某一阈值，并通过该特性来区分阴影区域和目标区域。以上两种方法主要都是基于阴影像素点和背景像素点在色调上的差异很小的思想。

也有文献提出基于几何特性的阴影检测消除方法，根据目标的运动特性和摄像机的拍摄位置，建立运动目标的3D模型，从而达到消除阴影区域的目的。但是这种方法需要事先估计许多参数，而且建模难度也较大。

近年来，也有学者提出了统计学习的方法，Fatih Porikli等提出对阴影像素点进行粗分类，并在分类的结果上建立关于阴影的多高斯模型，从而确定阴影的分布特性，但该方法建立阴影多高斯模型时需要统计较多的样本。此外还有学者使用阴影的纹理特性和梯度特性进行阴影检测。

综上所述，现有的阴影检测方法建立的阴影模型大多基于运动目标，而运动目标存在投影阴影、自阴影两种情况，阴影模型参数往往不够准确，同时模型中估计参数过多，不能满足实时性的需求。目前还没有一种方法可以在户外光强度变化剧烈的条件下实时且准确的检测出阴影。

发明内容

本发明的目的在于提供一种阴影检测的方法，旨在解决现有技术提供的阴影检测方法不能在户外光强度变化剧烈的条件下实时且准确的检测出阴影的问题。

本发明是这样实现的，一种阴影检测的方法，所述方法包括下述步骤：

提取预先设置的参照物的阴影特征，所述阴影特征包括参照物的阴影强度统计参数和阴影方向；

根据所述参照物的阴影特征检测运动目标的阴影。

本发明的另一目的在于提供一种阴影检测装置，所述装置包括：

阴影特征提取单元，用于提取预先设置的参照物的阴影特征，所述阴影特征包括参照物的阴影强度统计参数和阴影方向；

运动目标阴影检测单元，用于根据所述阴影特征提取单元提取的参照物的阴影特征检测运动目标的阴影。

本发明的另一目的在于提供一种视频图像处理系统，所述系统包括如上所述的阴影检测装置。

在本发明中，通过在场景中设置参照物，自适应地提取参照物阴影强度统计参数及阴影方向，再根据该参照物阴影区的阴影方向和阴影强度比率统计参数对运动目标进行备选阴影区域提取和投影阴影区域的最终判定，实现了运动目标自投影阴影的检测，在户外环境中阴影方向不断变化、阴影光照强度变化剧烈的情况下，有效地消除了运动目标的自投影阴影，较好地解决了运动目标阴影对运动目标提取的干扰，实现了运动目标投影阴影的自动检测。

附图说明

图1是本发明实施例提供的阴影检测的方法的流程框图；

图2是本发明实施例提供的参照物、定标点信息的接收以及H矩阵的计算示意图；

图3是根据本发明实施例的用于提取参照物阴影区域及计算阴影与非阴影强度比率分布的流程图；

图4是根据本发明实施例的用于计算参照物阴影方向的流程图；

图5是根据本发明实施例的用于求取运动目标的备选阴影区域的流程图；

图6(a)是根据本发明实施例的用于计算运动目标脚底点横坐标位置的流程图；

图6(b)是根据本发明实施例的用于计算运动目标脚底点纵坐标位置的流程图；

图6(c)是根据本发明实施例的用于计算运动目标脚底区域世界坐标的流程图；

图7是根据本发明实施例的用于根据脚底点位置和阴影所在方向最终确定运动目标投影阴影的流程图；

图8是根据本发明实施例的阴影检测装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，通过在场景中设置参照物，提取参照物阴影区的阴影方向和阴影强度比率统计参数，再根据该参照物阴影区的阴影方向和阴影强度比率统计参数对运动目标进行备选阴影区域提取和投影阴影区域的最终判定，实现了运动目标自投影阴影的检测，可以在户外光强变化剧烈的条件下实时、准确且自适应的检测出运动目标自投影阴影。

图1是本发明实施例提供的用于运动目标阴影检测的方法的流程，详述如下：

在步骤S101中，接收用户输入的参照物及定标点的信息。

如图2所示，首先用户输入参照物所在位置和参照物的投影阴影区域的位置，其中，输入的位置坐标为图像坐标系下的坐标，参照物的投影阴影区域是指参照物阴影可能出现的区域，在任何时刻参照物阴影均出现在此区域内。其次，输入定标点的信息，根据该定标点信息计算转换矩阵H，其中，该定标点信息包括：图像上的四个定标点的图像坐标以及该四个图像定标点的世界坐标。

在本发明实施例中，为了获取准确的投影阴影方向，消除图像中由于拍摄角度引起的同一时刻不同运动目标的阴影方向的差异，进行图像顶视图转换，将参照物的像素点在摄像机坐标系中的坐标(图像坐标)转换为绝对坐标系中的坐标(世界坐标)，具体的转换方法是，根据摄像机摄影的图像上的四个定标点的图像坐标以及用户输入的该四个图像定标点的世界坐标(如图2所示)即可求出转换矩阵H。

由于本发明实施例的目的是消除投影阴影，而投影阴影均落在地面上，故对运动目标进行顶视图转换时只考虑平面信息不需考虑高度信息。H的计算方法如下：

h₁₁X_w+h₁₂Y_w+h₁₃+0+0+0-h₃₁X_wu-h₃₂Y_wu＝u

                                                       (1)

0+0+0+h₂₁X_w+h₂₂Y_w+h₂₃-h₃₁X_wv-h₃₂Y_wv＝v其中(u，v)为定标点的图像坐标，(X_w，Y_w)为对应定标点的世界坐标。上式中共有8个未知数，故选取4组图像坐标和对应点的世界坐标即可求出转换矩阵H。

对于图像上的任意一点(u，v)，利用已经求出的矩阵H，即可求出该像素点对应的世界坐标系下的坐标X，如图2所示。计算方法如下，将式(1)化简得：

MX＝U

X＝M^-1U                                                          (2)

其中 $M=\left[\begin{array}{cc}{h}_{21}u-h_{11}& h_{32}u-h_{12}\\ h_{31}v-h_{21}& h_{32}u-h_{22}\end{array}\right],$ $U=\left[\begin{array}{c}{h}_{13}-u\\ h_{23}-v\end{array}\right],$ $\stackrel{\‾}{X}=\left[\begin{array}{c}{X}_w\\ Y_w\end{array}\right].$

在步骤S102中，确定参照物的阴影区域的光照强度的范围。

对参照物的阴影所在区域做光照强度统计直方图S，查找阴影区域的光照强度对应的光照强度V。

根据阴影区域比非阴影区域光照强度低和同一介质背景下若存在阴影区域与非阴影区域则其光照强度统计直方图有且仅有两个分别近似成高斯峰的特点，可知两个峰中光照强度较小的峰对应的光照强度范围为参照物阴影的光照强度范围，即光照强度低于峰谷对应强度值V的范围。

V＝min{i |S(i-5：i-1)＞S(i)&S(i+1：i+5)＞S(i)，i＝6，7，…，250} (3)

在步骤S103中，计算参照物的阴影强度统计参数。

任何区域被阴影覆盖前后的强度比率呈高斯分布。参照物阴影区域强度平均值与非阴影区域强度平均值的比值作为此刻阴影强度的比率均值μ，即高斯分布的均值，如公式(4)所示。由于强光源产生深阴影，弱光源产生的浅阴影。当光照强烈时，亮度变化比率直方图中亮度比率相对较低，波峰较窄；当光照弱时，亮度比率相对较高，波峰相对较宽。为了能够适应不同的光照强度，采用线性映射，如公式(4)，计算高斯分布的均值μ以及方差σ。

${\mathrm{\&mu;}}_1=\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}\{S\left(i\right)*i|S\left(i\right)<V\}/\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}\{S\left(i\right)|S\left(i\right)<V\}$

${\mathrm{\&mu;}}_2=\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}\{S\left(i\right)*i|S\left(i\right)\&GreaterEqual;V\}/\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}\{S\left(i\right)|S\left(i\right)\&GreaterEqual;V\}---\left(4\right)$

μ＝μ₁/μ₂

σ＝k*μ+c

其中，k为映射直线的斜率，c为常数。根据经验k＝0.2，c＝0.05时确定的映射直线，检测效果最为理想。

其中，S102和S103的流程图如图3所示。

在步骤S104中，计算参照物的阴影方向。

参见图4，在户外平行光线的条件下，不同位置的运动目标阴影方向相同。由于在拍摄图像中不同位置的运动目标阴影方向不同，这就需要对阴影区域进行顶视图转换，使其方向达到一致。因此在计算参照物阴影方向时，首先对属于参照物阴影的像素点根据转换矩阵H求出对应的世界坐标点，根据主成分分析法求出阴影主轴方向K，计算方法见公式(5)。

$m=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{x}_k$

$S=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}(x_k-m){(x_k-m)}^t$

Se＝λe                                                 (5)

λ_m＝max(λ)

K＝e^λ _y/e^λ _x

其中，样本点x₁，x₂，…，x_n为参照物阴影点的二维世界坐标，e表示通过样本均值直线的单位向量。式(5)中最大的本征值λ_m对应的本征向量e^λ即为投影阴影的方向，可求出阴影主轴方向K。

在本发明实施例中，步骤S102、步骤S103、步骤S104均是提取预先设置的参照物的阴影特征的步骤，提取的阴影特征包括参照物的阴影强度统计参数、阴影方向。

在步骤S105中，提取运动目标的备选阴影区域。

对监控视频首先利用混合高斯背景减除算法求出运动目标，由于阴影和运动目标同样具有运动性，故同时被检测出来。

以检测出来的运动目标作为输入，利用公式(4)计算出来的μ和σ为参数的高斯分布检测运动目标上的阴影。凡运动目标上的像素点与对应的背景像素点强度比率在高斯分布的3σ内的像素点均标记为备选阴影点。此过程检测出的阴影比较粗略，包括投影阴影、部分的自阴影，甚至包括运动目标上的部分区域。

在步骤S106中，计算运动目标脚底区域的位置。

计算运动目标脚底区域由以下三部分组成：计算运动目标脚底点横坐标位置、计算运动目标脚底点纵坐标位置、计算运动目标脚底区域的世界坐标。计算方法详述如下：

运动目标脚底点横坐标位置的计算，如图6(a)所示。利用S105求出的运动目标备选阴影区域，以运动目标的非备选阴影区作为输入，向横坐标作投影，做统计直方图，对图像中运动目标非阴影区域每列的像素点个数进行累加。对于运动目标而言，脚底点的横坐标对应运动目标的最高点，即累加的像素点个数最多坐标对应脚底点坐标STS(j)。为了避免噪声干扰，选取连续2*flagX+1列像素点个数平均值最大的横坐标作为脚底点所在的横坐标rootX，公式如下：

$\mathrm{ST}\left(j\right)=\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}B(i,j)$

$\mathrm{STS}\left(j\right)=\left\{\begin{array}{cc}\underset{k=j-\mathrm{flagX}}{\overset{j+\mathrm{flagX}}{\mathrm{\&Sigma;}}}\mathrm{ST}\left(j\right)/(2\mathrm{flagX}+1)& j=\mathrm{flagX}+\mathrm{1,4},...,n-\mathrm{flagX}\\ 0& \mathrm{or}\end{array}\right.---\left(6\right)$

rootX＝arg max(STS(j))

其中，若图像中(i，j)位置像素点是运动目标而不是阴影区域时B(i，j)＝1，否则B(i，j)＝0。公式和流程图中的flagX是用于消除计算误差而取的常量。

运动目标脚底点纵坐标位置的计算，如图6(b)所示。利用S105求出的运动目标备选阴影区域，以运动目标的非备选阴影区作为输入，向纵坐标作投影，做统计直方图SR，对图像中运动目标非备选阴影区域中每行的像素点个数进行累加，选取连续t行像素点个数均大于某个阈值TY的第一个行坐标作为脚底点所在的纵坐标rootY，公式如下：

$\mathrm{SR}\left(i\right)=\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}B(i,j)$

YK＝{k| SR(k-t：k)＞TY i＝1，2，…，m-t+1}             (7)

rootY＝max(YK)

其中，若图像中(i，j)位置像素点是运动目标而不是阴影区域时B(i，j)＝1，否则B(i，j)＝0；YK为连续t行像素点均大于阈值TY的行坐标集合。

运动目标脚底区域的世界坐标计算，如图6(c)所示。由于人体姿势的不确定性，导致人体脚底点的计算存在误差。为了消除误差的影响，选取以计算出的脚底点为中心的一块区域作为运动目标脚底点所在的范围S0。W为区域的边长，计算如下：

$W=\underset{j}{\arg \max }(\mathrm{STS}\left(j\right)>\frac{\mathrm{STS}\left(\mathrm{rootX}\right)}{r})-\underset{j}{\arg \min }(\mathrm{STS}\left(j\right)>\frac{\mathrm{STS}\left(\mathrm{rootX}\right)}{r})---\left(8\right)$

其中，rootX为脚底点的横坐标，r为阈值。实验可知，r＝4效果较好。S0的取值为：

S0＝{(x，y)|x＝rootX-W：W/2：rootX+W；

                                                        (9)

y＝rootY-W：W/2：rootY+W}

利用转换矩阵H将S0里的坐标点转换成世界坐标系下的坐标点，集合为S。

在步骤S107中，提取运动目标投影阴影。

如图7所示，首先对备选阴影区域内的每个像素点I(i，j)求世界坐标X，接着求X与脚底区域S的所在直线的斜率Ks。

$\mathrm{Ks}=\frac{Y_w-S_{\mathrm{yw}}}{X_w-S_{\mathrm{xw}}}---\left(10\right)$

其中，X＝(X_w，Y_w)，(S_xw，S_yw)∈S。若所求阴影方向在参照物阴影方向范围内，一般取0.9K＜Ks＜1.1K，则认为此像素点所在的连通区域是运动目标的投影阴影区域。

在本发明实施例中，步骤S105、步骤S106、步骤S107均是根据参照物的阴影特征检测运动目标的阴影的步骤。

图8是本发明实施例提供的阴影检测装置的结构，为了便于说明，仅示出了本发明实施例相关的部分。其中，该阴影检测装置可以是内置于视频图像处理系统的软件单元，硬件单元或者软硬结合的单元。在本实施例中，该阴影检测装置包括：参照物信息接收单元81、定标点信息输入及转换矩阵H计算单元82、阴影特征提取单元83和运动目标阴影检测单元84。

参照物信息接收单元81接收输入的参照物的信息，该信息包括参照物所在的位置，参照物投影阴影区域的位置。具体情况如上所述，在此不再赘述。

定标点信息输入及转换矩阵H计算单元82接收输入的定标点的信息，所述信息包括图像上的四个定标点的图像坐标以及所述四个图像定标点的世界坐标，并根据所述定标点信息求取转换矩阵H。

阴影特征提取单元83提取预先设置的参照物的阴影特征，该阴影特征包括参照物的阴影强度统计参数、阴影方向。其中，阴影特征提取单元83包括：光照强度范围统计子单元、阴影强度统计参数计算子单元和阴影方向计算子单元。

光照强度范围统计子单元，确定参照物的阴影区域的光照强度的范围，具体情况如上所述，在此不再赘述。

阴影强度统计参数计算子单元根据光照强度范围统计子单元确定的光照强度范围，计算参照物的阴影强度统计参数，所述参数包括高斯分布的均值和高斯分布的方差，具体情况如上所述，在此不再赘述。

阴影方向计算子单元计算参照物的阴影方向，具体情况如上所述，在此不再赘述。

运动目标阴影检测单元84根据阴影特征提取单元83提取的参照物的阴影特征检测运动目标的阴影。其中，运动目标阴影检测单元84包括：备选阴影区域提取子单元、脚底区域确定子单元、投影阴影区域确定子单元。

备选阴影区域提取子单元，根据参照物的阴影强度统计参数提取运动目标的备选阴影区域，具体情况如上所述，在此不再赘述。

脚底区域确定子单元，确定运动目标的脚底区域，具体情况如上所述，在此不再赘述。

投影阴影区域确定子单元，在备选的阴影区域中，将和脚底区域所成方向与阴影方向一致的阴影区域确定为运动目标的投影阴影区域，具体情况如上所述，在此不再赘述。

在本发明实施例中，通过在场景中设置参照物，自适应地提取参照物阴影强度统计参数及阴影方向，利用这些阴影区的统计参数，可以较精确地提取出运动目标的备选阴影区域，有效地减少阴影区域的漏检和误检情况。提取出参照物阴影强度统计参数及阴影方向后，再根据该参照物阴影区的阴影方向和阴影强度比率统计参数对运动目标进行备选阴影区域提取和投影阴影区域的最终判定，实现了运动目标自投影阴影的检测，在户外环境中阴影方向不断变化、阴影光照强度变化剧烈的情况下，有效地消除了运动目标的自投影阴影，较好地解决了运动目标阴影对运动目标提取的干扰，实现运动目标投影阴影的自动检测，保证了同一时刻不同运动目标阴影方向的一致性。另外，在本实施例中，事先选择图像中四个点的图像坐标并确定其对应的世界坐标系坐标，通过将图像坐标转换为绝对坐标，解决了由于摄像机成像角度有限造成的目标阴影方向不一致的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种阴影检测的方法，其特征在于，所述方法包括下述步骤：

提取预先设置的参照物的阴影特征，所述阴影特征包括参照物的阴影强度统计参数和阴影方向；

根据所述参照物的阴影特征检测运动目标的阴影。

2.如权利要求1所述的方法，其特征在于，在所述提取预先设置的参照物的阴影特征的步骤之前，所述方法还包括下述步骤：

接收输入的参照物的信息，所述信息包括参照物所在的位置和参照物投影阴影区域的位置。

3.如权利要求1所述的方法，其特征在于，在所述提取预先设置的参照物的阴影特征的步骤之前，所述方法还包括下述步骤：

接收输入的定标点的信息，所述信息包括图像上的四个定标点的图像坐标以及所述四个图像定标点的世界坐标，并根据所述定标点信息求取转换矩阵H。

4.如权利要求1所述的方法，其特征在于，所述提取预先设置的参照物的阴影特征的步骤具体为：

确定参照物的阴影区域的光照强度的范围；

根据所述范围，计算参照物的阴影强度统计参数，所述参数包括高斯分布的均值和高斯分布的方差；

计算参照物的阴影方向。

5.如权利要求1所述的方法，其特征在于，所述根据所述参照物的阴影特征检测运动目标的阴影的步骤具体为：

根据参照物的阴影强度统计参数提取运动目标的备选阴影区域；

确定运动目标的脚底区域；

在备选的阴影区域中，将和脚底区域所成方向与阴影方向一致的阴影区域确定为运动目标的投影阴影区域。

6.一种阴影检测装置，其特征在于，所述装置包括：

阴影特征提取单元，用于提取预先设置的参照物的阴影特征，所述阴影特征包括参照物的阴影强度统计参数和阴影方向；

运动目标阴影检测单元，用于根据所述阴影特征提取单元提取的参照物的阴影特征检测运动目标的阴影。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

参照物信息接收单元，用于接收输入的参照物的信息，所述信息包括参照物所在的位置和参照物投影阴影区域的位置；

定标点信息输入及转换矩阵H计算单元，用于接收输入的定标点的信息，所述信息包括图像上的四个定标点的图像坐标以及所述四个图像定标点的世界坐标，并根据所述定标点信息求取转换矩阵H。

8.如权利要求6所述的装置，其特征在于，所述阴影特征提取单元包括：

光照强度范围统计子单元，确定参照物的阴影区域的光照强度的范围；

阴影强度统计参数计算子单元，用于根据所述光照强度范围统计子单元确定的光照强度范围，计算参照物的阴影强度统计参数，所述参数包括高斯分布的均值和高斯分布的方差；

阴影方向计算子单元，用于计算参照物的阴影方向。

9.如权利要求6所述的装置，其特征在于，所述运动目标阴影检测单元包括：

备选阴影区域提取子单元，用于根据参照物的阴影强度统计参数提取运动目标的备选阴影区域；

脚底区域确定子单元，用于确定运动目标的脚底区域；

投影阴影区域确定子单元，用于在备选的阴影区域中，将和脚底区域所成方向与阴影方向一致的阴影区域确定为运动目标的投影阴影区域。

10.一种视频图像处理系统，其特征在于，所述系统包括如权利要求6至9任一项所述的阴影检测装置。

Images