CN1988653A - 基于视觉特性的夜间目标检测和跟踪方法 - Google Patents

Abstract

一种基于视觉特性的夜间目标检测和跟踪方法，包括步骤：捕捉夜间视频；采用自适应算法决定帧间差；根据对比度确定目标区域；根据速度信息预测目标的当前位置和下一时刻的位置。本发明能准确地判断帧间的相似度，有助于后续过程的处理。引入了对比度这一人类的最基本的视觉特性来表达图像，使得算法不仅在晚上而且在恶劣的天气如雾天情况也能有效。一些轨迹分析的方法用于反馈到检测阶段，对噪声以及光线的变化能够较好的滤除，进一步提高了检测的准确度。

Description

基于视觉特性的夜间目标检测和跟踪方法

技术领域

本发明涉及模式识别，特别涉及基于视觉的夜间目标的检测和跟踪方法。

背景技术

随着现代科技的飞速发展，利用摄像机来监控动态场景早已被广泛应用于现代社会的方方面面，特别是那些对安全要求敏感的场合，如国防、社区、银行、停车场、军事基地等。动态场景的视觉监控是近年来备受关注的前沿研究方向，它从摄像机捕捉的图像序列中检测、识别、跟踪目标并对其行为进行理解。尽管目前作为人类视觉延伸的监控摄像机在商业应用中已经普遍存在，但并没有充分发挥其实时主动的监督媒介的作用。因此，开发出具有实际意义的自动性、智能性的视觉监控系统日益变得迫切和必要。这就要求不仅能用摄像机代替人眼，而且能用计算机协助人、代替人，以完成监视或控制任务。

目前，大部分的研究者都将注意力集中在解决白天场景监控中的关键技术。然而，夜间和不良天气占全年时间的比例相当大，基本上要占到全年的一半时间以上。同时，由于不良天气的影响，尤其是夜间低照度的影响，普通监控器材(CCD摄像机)在这样的一个时间段内拍摄的效果很不好，很不利于社区、大厦等场合保安的监控，更不利于案件发生后的分析和取证。而夜间视觉监控的目的就是要提高夜间监控图像的可视性，赋予计算机在夜间(晚上)正确理解周围场景信息的视觉能力，这对于提高那些安全性敏感场合(例如，停车场，住宅小区)在夜间的安全性，具有极大的研究意义。夜间视觉监控首先利用摄像机等设备对被监控场景进行原始图像数据的采集，因此，夜间视觉监控包括利用图像处理技术对采集到的图像进行增强或预处理，夜间背景建模、进而进行运动目标的检测、跟踪，最后，对所得到的运动目标的运动数据进行语义分析，判断并理解运动物体的行为，其中夜间目标的检测和跟踪是至关重要的。

早期的夜间监控利用普通摄像头加高强度探照灯的组合，在夜晚通过探照灯对被监控区域进行光照增强，然后再由普通摄像头对被监控区域进行图像采集。这主要是补偿捕获图像照度不足的影响。对应的后期处理就是直接提高亮度、对比度等增强算法来处理夜间图像以获取质量更好的图像。影响普通CCD摄像头拍摄的图像质量的因素较多，主要包括低对比度、低照度、低颜色饱和度及噪声的影响。国外一些公司设计了相应的专用设备。比如美国的Enpiction Image Technologies公司的实时低照度视频增强模块IPM-1000TM[2]和DynaPel Systems Inc公司的产品NightView[3]等等都是从视频增强考虑出发，但这些产品主要从改善视觉角度出发，而且这种增强处理增强了噪声，不有利于后续的目标检测和跟踪处理。利用红外成像技术捕获夜间目标，然后红外视频进行目标检测与跟踪算法研究。由于红外技术日见成熟促使其在监控领域中的应用不断加强，但仍然受到价格的制约。红外成像主要分主动红外和被动红外两种。目前，被动红外的成像质量要优于主动红外。红外成像设备具有许多优点：它不依赖于光照条件，在白天或者晚上均可以应用，它延伸了日间摄像头的视野范围；与普通摄像头相比，它受阴影的影响较少[4]。只要运动物体的热辐射特性与背景的热辐射特性存在差异，则运动物体一般均可从热红外图像中检测出来。但价格昂贵仍然使它不能普及。从可见光角度出发，对普通CCD摄像头捕获的视频自动检测目标目前的研究还不多。

发明内容

本发明的目的是提供一种基于视觉特性来自动检测和跟踪夜间目标。

为实现上述目的，一种基于视觉特性的夜间目标检测和跟踪方法，包括步骤：

a.捕捉夜间视频；

b.采用自适应算法决定帧间差；

c.根据对比度确定目标区域；

d.根据速度信息预测目标的当前位置和下一时刻的位置。

本发明能准确地判断帧间的相似度，有助于后续过程的处理。引入了对比度这一人类的最基本的视觉特性来表达图像，使得算法不仅在晚上而且在恶劣的天气如雾天情况也能有效。一些轨迹分析的方法用于反馈到检测阶段，对噪声以及光线的变化能够较好的滤除，这进一步提高了检测的准确度。

附图说明

图1是夜间目标检测跟踪框图，包括目标检测和跟踪两个部分；

图2是夜间目标对比度计算；

图3是可视对比度计算结果；

图4是对比度变化计算实例图；

图5是目标跟踪预测模型图；

图6是视觉监控平台；

图7是交通场景夜间车辆检测和跟踪示例图；

图8是夜间人的目标检测与跟踪示例图；

图9是微弱光照下目标检测与跟踪示例图；

图10是大雾条件下目标检测示例图；

图11是夜间目标检测和跟踪评估图。

具体实施方式

本发明主要涉及到人的视觉特性的提取、夜间目标特征的提取、夜间目标的检测和跟踪等问题。由于人的视觉特性已经在图像处理、计算机视觉领域已被验证是个强有力的工具；另外，直观上在夜间人很容易分辨出移动的目标，故我们可引入人的视觉特性，然后在检测和跟踪过程中引入这些特性随着时间的变化信息。综上考虑，本发明实现了一种基于人的视觉特性的夜间目标检测和跟踪算法，整个发明的技术方案流程图见附图1所示。

本发明的整个方案主要包含目标检测和跟踪两个过程。和常规的监控不同，智能监控需要用计算机代替人自动的检测和跟踪目标，它能够在夜间自动地检测到移动的目标并进一步分析目标的异常与否，比如是否进入银行、机场等重要部门并报警处理。就目标检测过程而言，我们的目的是要实时准确的检测目标。首先利用监控摄像机捕捉夜间视频，并通过视频采集卡进入我们的执行软件。利用上述的帧间隔选取技术、基于对比度的局部特征处理技术、对比度比变化等技术进行目标检测处理。总之，目标检测后的结果当包括多个人轮廓的几何位置信息。

就目标跟踪过程而言，经过以上目标检测后，通过预测模型来确定上一帧目标和当前帧目标的位置关系，从而确定其对应性。除此之外，我们还利用了目标的尺寸信息，多帧匹配信息来进一步过滤由于噪声和光强变化造成的误检操作。若目标能够被准确的检测并跟踪到，并且进入到我们规定的禁区，则发生报警。并且一直跟踪该目标，同时显示并记录此轨迹，以利于后续分析。

下面详细给出该发明技术方案中所涉及的各个细节问题的说明：

1.自适应帧差选取

从背景中提取夜间目标的运动对于后续分析而言是个关键性的一步。目前变化检测方法主要有背景减除、时间差分、光流三种，由于夜间场景背景的复杂性，我们采用时间差分算法，但和通常的固定帧间数的算法不同，我们采用自适应算法决定帧间差。直观上认为两帧图像相差不大就表示没有太多的运动发生，因此我们用相似度来刻画帧差。

MAD(Mean Absolute Difference)和SAD(Sum of AbsoluteDifference)方法被用于描述相似度，但该方法对于噪声、光照等比较敏感，而NCC(Normal Correlation Coefficient)相对而言将更加鲁棒。令I代表一个大小为NXM的帧图像的序列，则相似度NCC能被表达为

$\mathrm{NCC}=\frac{\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}(I_{i_{\mathrm{mn}}}-{\stackrel{\‾}{I}}_i)(I_{j_{\mathrm{mn}}}-{\stackrel{\‾}{I}}_j)}{\sqrt{\left(\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}\right({I_{i_{\mathrm{mn}}}-{\stackrel{\‾}{I}}_i)}^2)\left(\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}{(I_{j_{\mathrm{mn}}}-{\stackrel{\‾}{I}}_j)}^2\right)}}---\left(1\right)$

其中，

为均值。

通过如下操作可计算出帧间隔

NCC(I_i，I_j)≥T_R then j＝j+1 else i＝j    (2)

如果两帧的相似度小于T_R，那么第二帧继续往后选取，直到大于T_R，此时从当前帧开始计算下一次的帧间隔操作。

2.基于对比度的夜间目标特征表达

在夜间人类能够轻易的发现目标即使有时候目标不动，人的这种分辨物体的能力主要根据目标和背景的差别，包括灰度值的差别、颜色的差别等等。根据心理生理学的研究，人的这种视觉特性可以用对比度来描述。常见的对比度有韦伯对比度和迈克耳逊对比度，我们这里采用了局部统计特征来定义对比度。计算结果参见附图2。可以看出有目标的区域和没有目标的区域的对比度大部分是不相同的，对于纹理丰富的静止区域，对比度也足够大，但是这部分我们将采用人的另一个特性一对运动敏感来去除。

有了如附图2对比度计算结果，我们根据对比度较大的区域认为是我们感兴趣的区域，因此可以通过阈值处理得到。

$I_{C_m}(x,y)=\mathrm{lif}{C}^{(p,q)}(x,y)\≥\mathrm{Tlotherwise}{C}^{(p,q)}(x,y)=0---\left(3\right)$

其中，Tl是阈值。一个应用对比度来检测目标的示例如附图3所示。

3.基于对比度变化信息运动检测技术

对比度信息只是给出了对比度大于某个阈值的目标。感兴趣目标也包括在内，但是还存在大量的不感兴趣的目标，如许多纹理信息和边缘信息，但在夜间监控中移动的目标是我们更感兴趣的。我们认为目标的移动带有一定的规律性。具体到对比度特征就是目标的移动必然带来周围对比度的改变，这种改变被表示为

$I_{C_{\mathrm{ji}}}=T\left(\right|I_{C_{\mathrm{mi}}}-I_{C_{\mathrm{mj}}}\left|\right)---\left(4\right)$

这里I_Cmi、I_Cmj分别是i和j帧的对比度图像，T是阈值用于去除噪声干扰。通过这一步我们可以得到移动目标的准确位置信息。

利用对比度变化来准确监测运动目标的示例如附图4所示。

4.基于预测的目标跟踪技术

目标跟踪是在目标检测的基础上判断不同时段目标是否对应的问题，由于夜间场景的特殊性，本发明仅仅利用速度信息来预测目标的当前位置和下一时刻位置，达到目标跟踪的目的，同时，跟踪获得的轨迹信息也被反馈用于目标的检测，使得目标检测更为准确。

在进行跟踪时，首先对以前检测出的目标进行运动预测。由于视频的帧率为30FPS，因此可以近似认为每一个运动目标在前后几帧之内为匀速，目标的预测位置只是根据目标在上一帧中的位置和其运动速度得出而没有考虑加速度的问题。当然，这只是最基本的想法。由于每一帧中检测到的同一个目标的尺寸也不尽相同，中心点位置会经常抖动，目标的移动路径并不是光滑曲线，若直接采用上一帧中目标的位置作为预测参考可能会产生较大的误差，因此需要用时域平均的方法获取预测参考点。其计算公式如下。

$\mathrm{RefP}{t}_{k,t}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{ObjP}{t}_{k,t-i}}{N}---\left(5\right)$

其中，RefPtk，t为第k个目标在t时刻的预测参考点，{ObjPtk}为该目标的轨迹点序列，N是时域平均时采用的窗口大小。

在计算目标的运动速度时，同样涉及到抗抖动的问题。我们并不是简单的从前后两帧中目标的位置计算其移动速度，参考点的选取需要有一定的时间间隔(在这里默识选取间隔11帧)，参考点也是通过连续N帧中目标位置的均值计算得到的。计算目标速度的公式如下所示。

$V_{k,t}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{ObjP}{t}_{k,t-i}-\underset{i=M+1}{\overset{M+N}{\mathrm{\Σ}}}\mathrm{ObjP}{t}_{k,t-i}}{M\·N}---\left(6\right)$

其中，M为间隔帧数，N为时域平均时采用的窗口大小。按照匀速运动的假设，目标的预测位置如下式所示。

${\mathrm{PredPt}}_{k,t}={\mathrm{RefPt}}_{k,t}+V_{k,t}\·\left(\right[\frac{N}{2}]+1)---\left(7\right)$

由于上述计算过程中需要目标在当前帧之前数帧内的轨迹信息，这就要求目标轨迹中至少已经具有(M+N)个点。当目标的轨迹点不足该数目时，系统直接使用目标在上一帧中的轨迹点作为其预测位置。

上述预测运算结束后，逐一计算当前帧中每个前景对象与各目标的预测位置之间的距离。假设当前帧中检测到的前景对象为S个，目标数为K，则可构成K*S距离矩阵|Dks，t|，其中Dks，t为t时刻第k个目标象与第s个前景对象间的欧式距离，即：

D_ks，t＝|PredPt_k，t-ForePt_s，t|    (8)

仅当Dks，t同时为第k行和第s列最小值且Dks，t不大于预测误差限时，认为第s个前景对象是第k个目标在当前帧中的延续。即必须同时满足第k个目标是离第s个前景对象最近的目标且第s个前景对象也是离第k个目标最近的前景对象时才认为两者是同一个目标。本系统的预测误差限默认取10.0，当使用上一帧中目标位置作为当前帧中预测位置时则取20.0。判断结束后未被归入任何目标的前景对象被认为是新出现的目标，并存入目标队列。对于在当前帧未能找到匹配前景对象的目标，将其预测位置作为该目标在当前帧中的出现位置存入目标的轨迹点序列，只有当目标连续丢失F1帧后才认为目标已丢失。这样的设置是为了防止前景检测时的漏检(当两个目标相互重叠时往往会被检测为一个前景对象从而造成其中一个或两个目标发生漏检)造成的轨迹不连续。本系统中阈值F1默认取值为30。对于新出现的目标，只有当其连续出现F2帧时才被认为是有效目标，根据图像噪声的白噪声特性，由噪声造成的误判前景对象一般不会在同一位置或其临近位置连续几帧出现，因此采用这种策略可以进一步抑止噪声影响。本系统中F2的默认取值为6。

介绍了实施方案中的一些技术细节之后，下面详细说明本发明的试验效果：

为了验证本方法的有效性，我们选择了如附图6所示的实时监控平台。该实验平台包括19个摄像头。场景包括室内走廊、大厅，室外交通场景等典型的情况。所有视频以30帧每秒的速度采集，且原始尺寸为320x240。我们对夜间不同时段的数据进行了测试。

附图7和附图8展示了夜间目标检测和跟踪的结果，在能见度足够的情况下，夜间灯光的影响是使检测失败的主要原应。在夜间交通场景，不仅需要准确的检测到车辆，而且应该避免由于车灯在路面反射的灯光造成的误检。在附图8，窗户灯光的反射同样会产生错误的检测如附图(a)所示。(b)是我们的检测结果，可以看到能够准确的检测到目标而不被其他因素干扰。

附图9是极弱光照条件下目标的检测与跟踪示例。附图10是将我们的发明应用到大雾条件下的检测结果。同时我们利用评估方法对我们的发明与技术文献中的方法做出比较，比较结果如附图11。可以看出：1)效果好，检测准确率高。对光线尚好的情况下，我们的发明的检测准确率(大于95％)普遍高于现有技术(小于80％)，同时对于微弱光照、大雾等情况下其他的方法不能工作而我们的发明可以有效地检测运动目标。2)适应性：不仅对晚上及恶劣天气有效，对于正常天气条件下，尤其是阳光下的目标检测同样有效，而且因为考虑到了局部统计特性，能有效地去除目标阴影。3)计算代价：最低的计算代价是该发明的优点之一，这主要得益于更加简单的特征选择。我们使用的原始特征是基于块状的统计对比度信息，对于原始尺寸为320×240的图像，如果我们选择4×4的窗口来计算，则最后需要计算的图像尺寸仅为80×60，和中提到的逐点建模相比，考虑到其他计算，速度至少快4-6倍。我们的算法在特征选择、计算代价、检测准确度和适应性方面都有着一定的优越性。

总之，基于人的视觉特性，本发明提出了一种简单有效的夜间目标检测和跟踪算法。改进的帧间间隔选取技术被用来选取信差别足够大的两帧；然后，通过对比度信息来实现夜间目标特征的提取，同时考虑到时间信息，用对比度变化信息进一步确定运动目标；最后，跟踪过程采用速度预测模型，跟踪目标的多帧匹配被用于最终判决目标的检测。在真实的监控实验数据库上的试验结果验证了我们算法的有效性。

Claims (10)

1.一种基于视觉特性的夜间目标检测和跟踪方法，包括步骤：

a.捕捉夜间视频；

b.采用自适应算法决定帧间差；

c.根据对比度确定目标区域；

d.根据速度信息预测目标的当前位置和下一时刻的位置。

2.根据权利要求1所述的方法，其特征在于采用摄像机捕捉夜间视频。

3.根据权利要求2所述的方法，其特征在于所述摄像机至少为一个。

4.根据权利要求1所述的方法，其特征在于采用下式计算帧间差：

$\mathrm{NCC}=\frac{\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}(I_{i_{\mathrm{mm}}}-{\stackrel{\‾}{I}}_i)(I_{j_{\mathrm{mm}}}-{\stackrel{\‾}{I}}_j)}{\sqrt{\left(\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}{(I_{i_{\mathrm{mm}}}-{\stackrel{\‾}{I}}_i)}^2\right)\left(\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}{(I_{j_{\mathrm{mm}}}-{\stackrel{\_}{I}}_j)}^2\right)}}.$

5.根据权利要求1所述的方法，其特征在于所述对比度由局部统计特征定义。

6.根据权利要求5所述的方法，其特征在于所述对比度按下式变化：

$I_{C_{\mathrm{ji}}}=T\left(\right|I_{C_{\mathrm{mi}}}-I_{C_{\mathrm{mj}}}\left|\right)---\left(4\right)$

这里I_cmi、I_cmj分别是i和j帧的对比度图像，T是阈值用于去除噪声干扰。

7.根据权利要求1所述的方法，其特征在于用时域平均方法获取预测参考点。

8.根据权利要求7所述的方法，其特征在于目标的预测位置如下式所示：

$\mathrm{PredP}{t}_{k,t}=\mathrm{RefP}{t}_{k,t}+V_{k,t}\·\left(\right[\frac{N}{2}]+1).$

9.根据权利要求1所述的方法，其特征在于系统的预测误差限默认取10或20。

10.根据权利要求1所述的方法，其特征在于系统中阈值默认取值为30或6。

Images