CN102316307B - 一种道路交通视频检测方法及装置 - Google Patents

一种道路交通视频检测方法及装置 Download PDF

Info

Publication number
CN102316307B
CN102316307B CN 201110241682 CN201110241682A CN102316307B CN 102316307 B CN102316307 B CN 102316307B CN 201110241682 CN201110241682 CN 201110241682 CN 201110241682 A CN201110241682 A CN 201110241682A CN 102316307 B CN102316307 B CN 102316307B
Authority
CN
China
Prior art keywords
target area
video image
depth information
pixel
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201110241682
Other languages
English (en)
Other versions
CN102316307A (zh
Inventor
吴金勇
王军
王一科
龚灼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI CHENGFENG DIGITAL HI-TECH Co Ltd
China Security and Surveillance Technology PRC Inc
Original Assignee
SHANGHAI CHENGFENG DIGITAL HI-TECH Co Ltd
China Security and Surveillance Technology PRC Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI CHENGFENG DIGITAL HI-TECH Co Ltd, China Security and Surveillance Technology PRC Inc filed Critical SHANGHAI CHENGFENG DIGITAL HI-TECH Co Ltd
Priority to CN 201110241682 priority Critical patent/CN102316307B/zh
Publication of CN102316307A publication Critical patent/CN102316307A/zh
Application granted granted Critical
Publication of CN102316307B publication Critical patent/CN102316307B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于安全监控领域,提供了一种道路交通视频检测方法及装置。所述方法包括下述步骤:通过两个摄像机采集两路视频图像,并分别在采集的两路视频图像中指定检测区域;根据任一路采集到的视频图像中的指定检测区域内的视频图像检测出模糊运动目标区域;根据采集的两路视频图像检测出场景的深度信息;根据模糊运动目标区域以及场景的深度信息检测出清晰目标区域。本发明实施例根据采集的两路视频图像获取模糊运动目标区域和场景的深度信息,再根据获取的模糊运动目标区域和场景的深度信息确定清晰目标区域。由于深度信息在受到光照变化干扰或者阴影干扰或者密集的车辆、行人干扰时变化不大,因此本发明能够有效提高运动目标检测的准确性。

Description

一种道路交通视频检测方法及装置
技术领域
本发明属于安全监控领域,尤其涉及一种道路交通视频检测方法及装置。
背景技术
智能交通监控系统是基于现代电子信息技术面向交通运输的服务系统,该智能交通监控系统利用计算机视觉技术,通过分析、处理视频画面来检测视频的道路车辆。随着计算机技术,图像处理技术和模式识别技术的发展,基于视频的道路交通检测技术也越来越受到产学界的关注和普及。
目前,道路交通的视频检测方法都是基于单个摄像机的,该方法首先在需要监控的道路上安装一个摄像机,再分析该摄像机拍摄的道路车辆内容、行人来达到交通监控的目的。但基于单个摄像机的视频交通检测方法在受到光照变化干扰或者阴影干扰或者密集的车辆、行人干扰时,容易导致误检测。
发明内容
本发明实施例提供了一种道路交通视频检测方法,旨在解决现有的检测方法在受到光照变化干扰或者阴影干扰或者密集的车辆和行人干扰时,容易导致检测结果错误的问题。
本发明实施例是这样实现的,一种道路交通视频检测方法,所述方法包括下述步骤:
通过两个摄像机采集两路视频图像,并分别在采集的两路视频图像中指定检测区域;
根据任一路采集到的视频图像中的指定检测区域内的视频图像检测出模糊运动目标区域;
根据采集的两路视频图像检测出包括运动目标场景的深度信息;
根据模糊运动目标区域以及包括运动目标场景的深度信息检测出清晰目标区域;
所述根据模糊运动目标区域以及包括运动目标场景的深度信息检测出清晰目标区域的步骤具体为:
逐个分析模糊运动目标区域的像素点的深度信息,判断像素点的深度信息是否大于预设的深度阈值;
在像素点的深度信息大于预设的深度阈值时,判定所述像素点为目标区域点,获得的多个目标区域点组成了清晰的目标区域。
本发明实施例的另一目的在于提供一种道路交通视频检测装置,所述装置包括:
视频采集单元,用于通过两个摄像机采集两路视频图像,并分别在采集的两路视频图像中指定检测区域;
模糊运动目标区域检测单元,用于根据任一路采集到的视频图像中的指定检测区域内的视频图像检测出模糊运动目标区域;
深度信息检测单元,用于根据采集的两路视频图像检测出包括运动目标场景的深度信息;
清晰目标区域检测单元,用于根据模糊运动目标区域以及包括运动目标场景的深度信息检测出清晰目标区域;
所述清晰目标区域检测单元包括:
深度判断模块,用于逐个分析模糊运动目标区域的像素点的深度信息,判断像素点的深度信息是否大于预设的深度阈值;
目标区域判断模块,用于在像素点的深度信息大于预设的深度阈值时,判定所述像素点为目标区域点,获得的多个目标区域点组成了清晰的目标区域。本发明实施例通过双摄像机采集道路交通的两路视频图像,并根据采集的两路视频图像获取模糊运动目标区域和场景的深度信息,最后根据获取的模糊运动目标区域和场景的深度信息确定清晰目标区域。由于深度信息在受到光照变化干扰或者阴影干扰或者密集的车辆、行人干扰时变化不大,因此本发明能够有效提高运动目标检测的准确性。
附图说明
图1是本发明第一实施例提供的道路交通视频检测方法的流程图;
图2是本发明第一实施例提供的两个摄像机结构示意图;
图3是本发明第一实施例提供的双CCD摄像机的技术原理示意图;
图4是本发明第二实施例提供的道路交通视频检测装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例通过双摄像机采集道路交通的两路视频图像,并根据采集的两路视频图像获取模糊运动目标区域和场景的深度信息,最后根据获取的模糊运动目标区域和场景的深度信息确定清晰目标区域。
本发明实施例提供了一种:道路交通视频检测方法及装置。
所述方法包括:通过两个摄像机采集两路视频图像,并分别在采集的两路视频图像中指定检测区域;
根据任一路采集到的视频图像中的指定检测区域内的视频图像检测出模糊运动目标区域;
根据采集的两路视频图像检测出场景的深度信息;
根据模糊运动目标区域以及场景的深度信息检测出清晰目标区域。
所述装置包括:视频采集单元,用于通过两个摄像机采集两路视频图像,并分别在采集的两路视频图像中指定检测区域;
模糊运动目标区域检测单元,用于根据任一路采集到的视频图像中的指定检测区域内的视频图像检测出模糊运动目标区域;
深度信息检测单元,用于根据采集的两路视频图像检测出场景的深度信息;
清晰目标区域检测单元,用于根据模糊运动目标区域以及场景的深度信息检测出清晰目标区域。
本发明实施例通过双摄像机采集道路交通的两路视频图像,并根据采集的两路视频图像获取模糊运动目标区域和场景的深度信息,最后根据获取的模糊运动目标区域和场景的深度信息确定清晰目标区域。由于深度信息在受到光照变化干扰或者阴影干扰或者密集的车辆、行人干扰时变化不大,因此本发明能够有效提高运动目标检测的准确性。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一:
图1示出了本发明第一实施例提供的道路交通视频检测方法的流程图,在本实施例中,在需要检测车辆的区域安装两个摄像机,并根据拍摄的任一路视频图像检测出模糊运动目标区域,再根据拍摄的两路视频图像检测出场景深度信息,最后结合模糊运动目标区域以及场景的深度信息检测出清晰的目标区域。
在步骤S11中,通过两个摄像机采集两路视频图像,并分别在采集的两路视频图像中指定检测区域。
在本实施例中,选取两个焦距相等、各内部参数也相等的摄像机,并用这两个摄像机采集两路视频图像。其中,选取的两个摄像机的图像传感器可以为电荷耦合元件(Charge-coupled Device,CCD)图像传感器,在安装这两个具有CCD图像传感器的摄像机时,首先保证这两个摄像机的光轴相互平行,再根据实际情况确定两个摄像机的光心距离。通常,将两个摄像机的光心距离取值为6.5cm。例如,如图2所示,在摄像机外壳21内分别安装第一摄像机211和第二摄像机212,使第一摄像机211和第二摄像机212的光轴相互平行,且第一摄像机211和第二摄像机212的光心距离为6.5cm。
在确定了摄像机之后,根据实际情况的需要指定检测区域,比如,若安装的摄像机主要用于检测车辆运行情况的,则根据车辆主要是在车道内行走的情况,可以选择车道区域作为检测区域,并根据预设的规则,在采集的两路视频图像中勾画出检测区域。若安装的摄像机主要用于检测行人情况的,则选择人行道区域作为检测区域。
在步骤S12中,根据任一路采集到的视频图像中的指定检测区域内的视频图像检测出模糊运动目标区域。
进一步地,根据任一路采集到的视频图像中的指定检测区域内的视频图像检测出模糊运动目标区域的步骤之前,进一步包括下述步骤:获取两个摄像机的内参数和外参数,并将获取的两个摄像机的内参数和外参数统一到同一个世界坐标系下。在本实施例中,采用TSAI两步标定法获取两个摄像机的内参数和外参数,再根据两个摄像机的位置,将获取的两个摄像机的内参数和外参数统一到同一个世界坐标系下。其中,获取的摄像机的内参数包括摄像机的焦距、拍摄的实际图像中心坐标;获取的摄像机外参数包括旋转矩阵、平移向量。
图像可以分为背景区域和前景区域,在本实施例中,前景区域为运动区域。分析任一路采集到的视频图像的检测区域,并根据该路视频图像的检测区域检测出模糊运动目标区域,其中,根据任一路采集到的视频图像中的指定检测区域内的视频图像检测出模糊运动目标区域的步骤具体为:对任一路采集到的视频图像中的指定检测区域内的视频图像中的每个像素建立背景模型,并根据该背景模型确定对应背景区域的背景模型部分以及模糊运动目标区域。在本实施例中,对视频图像的指定检测区域内的视频图像中的每个像素建立背景模型,根据建立的背景模型判定视频图像的背景区域,进而获取视频图像的模糊运动目标区域。
其中,对任一路采集到的视频图像中的指定检测区域内的视频图像中的每个像素建立背景模型,并根据该背景模型确定对应背景区域的背景模型部分以及模糊运动目标区域的步骤具体为:对图像中的每个像素点用多个高斯分布构成的混合高斯模型建立背景模型,选用的高斯分布越多,越能描述复杂的场景,通常选用3到5个高斯分布构成的混合高斯模型对图像的像素点建模。在建立的高斯模型中,按照各高斯分布本身的权值与对应标准差的比值从大到小排列各高斯分布,并根据预设的权值阈值确定对应背景区域的背景模型部分;将当前帧与该当前帧对应背景区域的背景模型部分相减以获取该当前帧的运动区域,并对获取的运动区域进行二值化和形态学处理,获取模糊运动目标区域。其中,当前帧的背景模型由描述该当前帧所有像素的背景区域的高斯分布组成,当前帧的运动区域由描述该当前帧所有像素的运动区域的高斯分布所对应的区域组成。
在本实施例中,采用多模态高斯背景模型对已固定安装的摄像机拍摄的视频图像进行背景建模,比如对每个像素点定义3~5个区域,每个区域用一个高斯分布表示。其中,对每个像素点建立高斯模型的步骤具体为:假设输入的第t帧图像的像素点为It,μi,t-1为第(t-1)帧图像的第i个高斯分布的像素值的均值,像素值的均值等于各个像素值相加的和除以像素点的个数,σi,t-1为第(t-1)帧图像的第i个高斯分布的像素值的标准差,D为满足公式|Iti,t-1|≤D.σi,t-1的固定参数,该参数可通过实际经验获取,其中,μi,t=(1-α)μi,t-1+ρIt
Figure GDA00003345441900062
ρ=α/ωi,t,α是学习率,0≤α≤1,ρ是参数学习率,ωi,t是第t帧图像的第i个高斯分布的权值。归一化计算得到的所有权值,并把各个高斯分布函数按ωi,ti,t从大到小排列,如果i1,i2…ik表示各个高斯分布,将i1,i2…ik按照ωi,ti,t从大到小的次序排列,若前M个高斯分布满足公式:
Figure GDA00003345441900061
则这M个高斯分布被认为是背景分布,其中,τ是权值阈值,可根据实际情况获取,通常τ取值0.7。在确定了背景分布之后,将当前帧与该当前帧的背景分布对应的背景模型相减,得到该当前帧的运动区域,对获取的运动区域进行二值化和形态学处理,使得分割得到的模糊运动目标区域更为完整、独立。在得到模糊运动目标区域之后,可以提取该模糊运动目标区域的静态特征,包括外接矩形的大小、面积、长宽比、中心、颜色投影直方图等,提取的静态特征都可以作为检测目标区域的特征。
在步骤S13中,根据采集的两路视频图像检测出场景的深度信息。
在本实施例中,在获取模糊运动目标区域之后,还需要立体匹配目标区域的特征才能检测出目标区域的精确定位。
其中,根据采集的两路视频图像检测出场景的深度信息的步骤具体为:获取并匹配两路视频图像的目标区域特征点,根据匹配成功的目标区域特征点的信息检测出场景的深度信息。在本实施例中,分别获取两路视频图像的目标区域特征点,并对两路视频图像的目标区域特征点进行立体匹配,匹配成功后,根据匹配成功的目标区域特征点的信息,如目标区域特征点的坐标信息检测出场景的深度信息。
其中,获取并匹配两路视频图像的目标区域特征点,根据匹配成功的目标区域特征点的信息检测出场景的深度信息的步骤具体为:根据采集的两路视频图像的像素值变化分别确定两路视频图像的目标区域特征点;对两路视频图像的目标区域特征点进行立体匹配,获得对应同一场景点的两个目标区域特征点的空间坐标;根据对应同一场景点的两个目标区域特征点的空间坐标确定该同一场景点在两路视频图像的视差;根据两个摄像机的光心距离、摄像机的焦距以及同一场景点在两路视频图像的视差确定该同一场景点的深度信息。
在本实施例中,选用Harris算子确定两路视频图像的场景特征点,以选用Harris算子确定其中一路视频图像的车辆特征点为例,由于视频图像的像素值变化与图像的方向导数有关,因此在根据Harris算子确定车辆特征点时,使用高斯函数计算图像的方向导数,并将得到的图像的方向导数分别保存为Ix和Iy两个数组,再根据保存的两组图像的方向导数确定Harris角点,该Harris角点即为车辆特征点。其中,根据保存的两组图像的方向导数确定Harris角点的步骤具体为:根据公式u(x,y)=[Ix(x,y)^2*WIy(x,y)Ix(x,y)*W;Ix(x,y)Iy(x,y)*WIy(x,y)^2*W]确定像素点的局部自相关矩阵,其中,u(x,y)表示像素点(x,y)的局部自相关矩阵,Ix(x,y)和Iy(x,y)分别表示点(x,y)的横坐标的方向导数和点(x,y)的纵坐标的方向导数,*W表示以像素点(x,y)为中心与选取的高斯模板W做卷积;比较像素点的局部自相关矩阵的两个特征值与预设阈值的大小,预设的阈值大小关系到角点数目的多少,若提高阈值则减少角点数目,若降低阈值则增加角点数目。若像素点的局部自相关矩阵的两个特征值都小于该预设阈值时,说明像素点对应的区域是个平坦区域,若像素点的局部自相关矩阵的两个特征值有一个大于该预设阈值,有一个小于该预设阈值,说明像素点对应的区域是个线,若像素点的局部自相关矩阵的两个特征值都大于预设阈值,则该说明像素点是个角点,即车辆特征点。Harris是一种有效的点特征算子,使用harris算子获取特征点的计算简单,对图像旋转、灰度变化、噪声影响以及视点变换不敏感,且提前的特征点均匀合理。当然,也可以通过公式corness=det(u)-k*trace(u)^2判定一个像素点是否为角点,其中,corness为角点值,k是预设的固定变量,k的取值范围为[0.04,0.06],det(u)是矩阵u的值,trace(u)是矩阵u的迹,在计算出每个像素点的角点值之后,再对计算的角点值进行极大值抑制,以保留角点特征最明显的角点。其中,被极大值抑制的角点值满足以下两个条件:条件1,角点值大于设定的阈值;条件2,角点值是某邻域内的局部极大值,局部极大值的邻域大小会影响角点的数目和容忍度。
在本实施例中,对两路视频图像的目标区域特征点进行立体匹配,获得对应同一场景点的两个目标区域特征点的空间坐标的步骤具体为:
获取同一场景点在两路视频图像的极线范围以及视差范围;根据该极线范围以及视差范围对两路视频图像的目标区域特征点进行立体匹配,获得对应同一场景点的两个目标区域特征点在两路视频图像的坐标;根据两个目标区域特征点在两路视频图像的坐标确定该两个目标区域特征点的空间坐标。
在本实施例中,根据立体成像的几何特性可知,同一场景点在左视频图像中的透视投影将相对于右视频图像水平方向移动距离d。因此在立体匹配左(右)视频图像中各特征点在右(左)视频图像中的对应点时,只需匹配右(左)视频图像中对应的外极线上的一定范围内搜索到的特征点。除了根据极线范围快速匹配左右视频图像的特征点之外,还可以根据视差范围匹配左右视频图像的特征点。该视差范围是在检测模糊运动目标区域之前获得,具体是在标定摄像机各个标定点时,根据各个标定点在左右视频图像形成的视差确定的。其中,根据该极线范围以及视差范围对两路视频图像的目标区域特征点进行立体匹配的步骤具体为:在两路视频图像中分别确定两个视频图像区域函数;选取以任一个视频图像区域函数的特征点为中心的领域作为模板;在另一个视频图像区域函数的极线范围和视差范围内移动该模板以得到该模板覆盖的区域;在模板与模板覆盖的区域差最小时,计算该模板与模板覆盖的区域的相关值;根据该相关值判断选取的特征点与该选取的特征点在模板覆盖的区域对应的点是否匹配。进一步地,利用距离公式,根据对应同一场景点的两个车辆特征点的空间坐标确定该同一场景点在两路视频图像的视差,再根据两个摄像机的光心距离、摄像机的焦距以及同一场景点在两路视频图像的视差确定该同一场景点的深度信息,比如根据公式z=fB/d计算景物深度z,其中,f为摄像机的焦距,B为两个摄像机的光心距离,d为视差。例如,设fL(x,y)和fR(x,y)分别为双目立体视觉的左右视频图像区域函数。选取以fL(x,y)中的一个特征点W(xL,yL)为中心的某一邻域作为模板T,大小为m×n。在fR(x,y)中特定范围移动模板T,并假设T在水平方向移动,在垂直方向移动Δy,它所覆盖下的fR(x,y)第k个子图为Sk,若T和Sk相同,则他们的差为零。
定义T与Sk之间差别的测度为:
D ( T , S k ) = Σ i = 1 m Σ j = 1 n [ S k ( i , j ) - T ( i , j ) ] 2
当D(T,Sk)最小时,T与Sk达到最佳匹配。
利用归一化相关函数
C ( Δ x , Δ y ) = Σ i = 1 m Σ j = 1 n [ S k ( i , j ) T ( i , j ) ] / { Σ i = 1 m Σ j = 1 n [ S k ( i , j ) ] 2 } 1 / 2 . { Σ i = 1 m Σ j = 1 n [ S k ( i , j ) T ( i , j ) ] 2 } 1 / 2
来度量T和「之间的差别,则当C(Δxy)达到最大时,认为左视频图像中的特征点W(xL,yL)与右图像中的点(xLL,yLy)相匹配,判断点W(xL,yL)和点(xLL,yLy)是对应同一场景点的同名点。得到一对同名点在左右两幅视频图像中的坐标后,可求出相应特征点在空间坐标系中的坐标,获得场景的深度信息Dr(x,y)。其中,双CCD摄像机的技术原理具体如图3所示,P1和P2分别是场景点P在C1、C2上的成像点,O1、O2分别为两个摄像机的光心,B为两个摄像机的光心距离。
在步骤S14中,根据模糊运动目标区域以及场景的深度信息检测出清晰目标区域。
其中,根据模糊运动目标区域以及场景的深度信息检测出清晰目标区域的步骤具体为:
逐个分析模糊运动目标区域的像素点的深度信息,判断像素点的深度信息是否大于预设的深度阈值,若像素点的深度信息大于预设的深度阈值,则判定该像素点为目标区域点,获得的多个目标区域点组成了一个清晰的目标区域;若像素点的深度信息小于或等于预设的深度阈值,则判定该像素点为干扰点,并删除该干扰点。其中预设的深度阈值根据实际情况的需要进行设定,比如,根据车辆高度通常大于0.8米的性质,通过经验将该深度阈值设置为0.8米。当然,该深度阈值也可以为其他数值,此处不作限定。
为了更清楚地说明使用本发明检测目标区域的优势,下面以检测受到光照变化干扰或者阴影干扰或者密集的车辆、行人干扰的道路交通为例进行说明。
在检测受到光照变化干扰的道路交通时,光照突变会使所有像素点的亮度值增大或减小,但光照只会引起深度信息较小的同方向变化,因此光照变化对利用双摄像机获取的运动目标的深度信息影响不大,从而本发明在受到光照变化时也能够保证确定的运动目标区域的准确性,降低光照变化干扰的误检率。
在检测受到阴影干扰的道路交通时,由于阴影不具有深度信息,因此根据运动目标的深度信息能够判定一个区域是阴影还是黑色的运动目标,因此本发明能够有效降低因为阴影干扰的误检率。
在检测受到密集的车辆、行人干扰的道路交通时,本发明利用两个摄像机获取运动目标的视差图,再根据获取的运动目标的视差图获取运动目标的深度信息,再根据该运动目标的深度信息将密集的车辆、行人一一完整分割,从而有效降低因为密集的车辆、行人干扰的误检率。
在本发明第一实施例中,通过双摄像机采集道路交通的两路视频图像,并根据采集的两路视频图像获取模糊运动目标区域和场景的深度信息,最后根据获取的模糊运动目标区域和场景的深度信息确定清晰目标区域。由于深度信息在受到光照变化干扰或者阴影干扰或者密集的车辆、行人干扰时变化不大,因此本发明能够有效提高运动目标检测的准确性。
实施例二:
图4示出了本发明第二实施例提供的道路交通视频检测装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
该道路交通视频检测装置可以用于通过有线或者无线网络连接服务器的各种信息处理终端,计算机、笔记本电脑等,可以是运行于这些终端内的软件单元、硬件单元或者软硬件相结合的单元,也可以作为独立的挂件集成到这些终端中或者运行于这些终端的应用系统中,其中:
视频采集单元41,用于通过两个摄像机采集两路视频图像,并分别在采集的两路视频图像中指定检测区域。
在本实施例子中,选取两个焦距相等、各内部参数也相等的摄像机,并将选取的两个摄像机安装在需要检测的位置上,以便采集该位置上的两路视频图像,最后根据实际情况的需要对采集的两路视频图像指定检测区域。
进一步地,该道路交通视频检测装置还包括参数获取单元45。
该参数获取单元45用于获取两个摄像机的内参数和外参数,并将获取的两个摄像机的内参数和外参数统一到同一个世界坐标系下。
在本实施例中,获取两个摄像机的内参数和外参数,并将获取的内参数和外参数统一到同一个世界坐标系下,以便后续的计算。其中,摄像机的内参数包括摄像机的焦距、拍摄的实际图像中心坐标,摄像机的外参数包括摄像机外参数包括旋转矩阵、平移向量。
模糊运动目标区域检测单元42,用于根据任一路采集到的视频图像中的指定检测区域内的视频图像检测出模糊运动目标区域。
在本实施例中,对任一路采集到的视频图像中的指定检测区域内的视频图像中的每个像素建立背景模型,并根据该背景模型确定对应背景区域的背景模型部分以及模糊运动目标区域。
进一步地,该模糊运动目标区域检测单元42包括:背景模型建立模块421和模糊区域确定模块422。
该背景模型建立模块421用于对任一路采集到的视频图像中的指定检测区域内的视频图像中的每个像素点用多个高斯分布构成的混合高斯模型建立背景模型。
该模糊区域确定模块422用于按照各高斯分布本身的权值与对应标准差的比值从大到小排列各高斯分布,以根据预设的权值阈值确定对应背景区域的背景模型部分,再将当前帧与该当前帧对应背景区域的背景模型部分相减以获取该当前帧的运动区域,并对获取的运动区域进行二值化和形态学处理,获取模糊运动目标区域。
在本实施例中,当前帧的背景模型由描述该当前帧所有像素的背景区域的高斯分布组成,当前帧的运动区域由描述该当前帧所有像素的运动区域的高斯分布所对应的区域组成。
其中,对每个像素点建立高斯模型的步骤具体为:假设输入的第t帧图像的像素点为It,μi,t-1为第(t-1)帧图像的第i个高斯分布的像素值的均值,像素值的均值等于各个像素值相加的和除以像素点的个数,σi,t-1为第(t-1)帧图像的第i个高斯分布的像素值的标准差,D为满足公式|Iti,t-1|≤D.σi,t-1的固定参数,该参数可通过实际经验获取,其中,μi,t=(1-α)μi,t-1+ρIt
Figure GDA00003345441900132
ρ=α/ωi,t,α是学习率,0≤α≤1,ρ是参数学习率,ωi,t是第t帧图像的第i个高斯分布的权值。归一化计算得到的所有权值,并把各个高斯分布函数按ωi,ti,t从大到小排列,如果i1,i2…ik表示各个高斯分布,将i1,i2…ik按照ωi,ti,t从大到小的次序排列,若前M个高斯分布满足公式:
则这M个高斯分布被认为是背景分布,其中,τ是权值阈值,可根据实际情况获取,通常τ取值0.7。在确定了背景分布之后,将当前帧与该当前帧的背景分布对应的背景模型相减,得到该当前帧的运动区域,对获取的运动区域进行二值化和形态学处理,使得分割得到的模糊运动目标区域更为完整、独立。在得到模糊运动目标区域之后,可以提取该模糊运动目标区域的静态特征,包括外接矩形的大小、面积、长宽比、中心、颜色投影直方图等,提取的静态特征都可以作为检测目标区域的特征。
深度信息检测单元43,用于根据采集的两路视频图像检测出场景的深度信息。
在本实施例中,获取并匹配两路视频图像的目标区域特征点,根据匹配成功的目标区域特征点的信息检测出场景的深度信息。
进一步地,该深度信息检测单元43包括:特征点信息获取模块431和深度信息获取模块432。
该特征点信息获取模块431用于根据采集的两路视频图像的像素值变化分别确定两路视频图像的目标区域特征点,并对该两路视频图像的目标区域特征点进行立体匹配,获得对应同一场景点的两个目标区域特征点的空间坐标。
该深度信息获取模块432用于根据该对应同一场景点的两个目标区域特征点的空间坐标确定该同一场景点在两路视频图像的视差,并根据两个摄像机的光心距离、摄像机的焦距以及同一场景点在两路视频图像的视差确定该同一场景点的深度信息。
在本实施例中,选用Harris算子确定两路视频图像的场景特征点,以选用Harris算子确定其中一路视频图像的车辆特征点为例,由于视频图像的像素值变化与图像的方向导数有关,因此在根据Harris算子确定车辆特征点时,使用高斯函数计算图像的方向导数,并将得到的图像的方向导数分别保存为Ix和Iy两个数组,再根据保存的两组图像的方向导数确定Harris角点,该Harris角点即为车辆特征点。其中,根据保存的两组图像的方向导数确定Harris角点的步骤具体为:根据公式u(x,y)=[Ix(x,y)^2*WIy(x,y)Ix(x,y)*W;Ix(x,y)Iy(x,y)*WIy(x,y)^2*W]确定像素点的局部自相关矩阵,其中,u(x,y)表示像素点(x,y)的局部自相关矩阵,Ix(x,y)和Iy(x,y)分别表示点(x,y)的横坐标的方向导数和点(x,y)的纵坐标的方向导数,*W表示以像素点(x,y)为中心与选取的高斯模板W做卷积;比较像素点的局部自相关矩阵的两个特征值与预设阈值的大小,预设的阈值大小关系到角点数目的多少,若提高阈值则减少角点数目,若降低阈值则增加角点数目。若像素点的局部自相关矩阵的两个特征值都小于该预设阈值时,说明像素点对应的区域是个平坦区域,若像素点的局部自相关矩阵的两个特征值有一个大于该预设阈值,有一个小于该预设阈值,说明像素点对应的区域是个线,若像素点的局部自相关矩阵的两个特征值都大于预设阈值,则该说明像素点是个角点,即车辆特征点。
在本实施例中,在获取两路视频图像的目标区域特征点后,对两路视频图像的目标区域特征点进行立体匹配,以获取对应同一场景点的两个目标区域特征点的空间坐标。
清晰目标区域检测单元44,用于根据模糊运动目标区域以及场景的深度信息检测出清晰目标区域。
进一步地,该清晰目标区域检测单元44包括:深度判断模块441和目标区域判断模块442。
该深度判断模块441用于逐个分析模糊运动目标区域的像素点的深度信息,判断像素点的深度信息是否大于预设的深度阈值。
该目标区域判断模块442用于在像素点的深度信息大于预设的深度阈值时,判定该像素点为目标区域点,获得的多个目标区域点组成了清晰的目标区域。
在本实施例中,若像素点的深度信息小于或等于预设的深度阈值,则判定该像素点为干扰点,并删除该干扰点。
在本发明第二实施例中,模糊运动目标区域检测单元42根据视频采集单元41采集的任一路视频图像检测出模糊运动目标区域,深度信息检测单元43根据视频采集单元41采集的两路视频图像检测出场景的深度信息,清晰目标区域检测单元44再根据模糊运动目标区域检测单元42检测的模糊运动目标区域以及深度信息检测单元43检测的深度信息检测出清晰目标区域。由于深度信息在受到光照变化干扰或者阴影干扰或者密集的车辆、行人干扰时变化不大,因此本发明能够有效提高运动目标检测的准确性。
在本发明实施例中,通过双摄像机采集道路交通的两路视频图像,并根据采集的任一路视频图像获取模糊运动目标区域,以及根据两路视频图像获取场景的深度信息,最后根据获取的模糊运动目标区域和场景的深度信息确定清晰目标区域。由于深度信息在受到光照变化干扰或者阴影干扰或者密集的车辆、行人干扰时变化不大,因此本发明能够有效提高运动目标检测的准确性。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种道路交通视频检测方法,其特征在于,所述方法包括下述步骤:
通过两个摄像机采集两路视频图像,并分别在采集的两路视频图像中指定检测区域;
根据任一路采集到的视频图像中的指定检测区域内的视频图像检测出模糊运动目标区域;
根据采集的两路视频图像检测出包括运动目标场景的深度信息;
根据模糊运动目标区域以及包括运动目标场景的深度信息检测出清晰目标区域;
所述根据模糊运动目标区域以及包括运动目标场景的深度信息检测出清晰目标区域的步骤具体为:
逐个分析模糊运动目标区域的像素点的深度信息,判断像素点的深度信息是否大于预设的深度阈值;
在像素点的深度信息大于预设的深度阈值时,判定所述像素点为目标区域点,获得的多个目标区域点组成了清晰的目标区域。
2.如权利要求1所述的方法,其特征在于,所述根据任一路采集到的视频图像中的指定检测区域内的视频图像检测出模糊运动目标区域的步骤具体为:
对任一路采集到的视频图像中的指定检测区域内的视频图像中的每个像素建立背景模型,并根据所述背景模型确定对应背景区域的背景模型部分以及模糊运动目标区域。
3.如权利要求2所述的方法,其特征在于,
所述对任一路采集到的视频图像中的指定检测区域内的视频图像中的每个像素建立背景模型的步骤具体为:
对任一路采集到的视频图像中的指定检测区域内的视频图像中的每个像素点用多个高斯分布构成的混合高斯模型建立背景模型;
所述根据所述背景模型确定对应背景区域的背景模型部分以及模糊运动目标区域的步骤具体为:
按照各高斯分布本身的权值与对应标准差的比值从大到小排列各高斯分布,以根据预设的权值阈值确定对应背景区域的背景模型部分,再将当前帧与所述当前帧对应背景区域的背景模型部分相减以获取所述当前帧的运动区域,并对获取的运动区域进行二值化和形态学处理,获取模糊运动目标区域。
4.如权利要求1所述的方法,其特征在于,所述根据采集的两路视频图像检测出包括运动目标场景的深度信息的步骤具体为:
获取并匹配两路视频图像的目标区域特征点,根据匹配成功的目标区域特征点的信息检测出包括运动目标场景的深度信息。
5.如权利要求4所述的方法,其特征在于,
所述获取并匹配两路视频图像的目标区域特征点的步骤具体为:
根据采集的两路视频图像的像素值变化分别确定两路视频图像的目标区域特征点,并对所述两路视频图像的目标区域特征点进行立体匹配,获得对应同一场景点的两个目标区域特征点的空间坐标;
所述根据匹配成功的目标区域特征点的信息检测出包括运动目标场景的深度信息的步骤具体为:
根据所述对应同一场景点的两个目标区域特征点的空间坐标确定所述同一场景点在两路视频图像的视差,并根据两个摄像机的光心距离、摄像机的焦距以及同一场景点在两路视频图像的视差确定所述同一场景点的深度信息。
6.一种道路交通视频检测装置,其特征在于,所述装置包括:
视频采集单元,用于通过两个摄像机采集两路视频图像,并分别在采集的两路视频图像中指定检测区域;
模糊运动目标区域检测单元,用于根据任一路采集到的视频图像中的指定检测区域内的视频图像检测出模糊运动目标区域;
深度信息检测单元,用于根据采集的两路视频图像检测出包括运动目标场景的深度信息;
清晰目标区域检测单元,用于根据模糊运动目标区域以及包括运动目标场景的深度信息检测出清晰目标区域;
所述清晰目标区域检测单元包括:
深度判断模块,用于逐个分析模糊运动目标区域的像素点的深度信息,判断像素点的深度信息是否大于预设的深度阈值;
目标区域判断模块,用于在像素点的深度信息大于预设的深度阈值时,判定所述像素点为目标区域点,获得的多个目标区域点组成了清晰的目标区域。
7.如权利要求6所述的装置,其特征在于,所述模糊运动目标区域检测单元包括:
背景区域确定模块,用于对任一路采集到的视频图像中的指定检测区域内的视频图像中的每个像素点用多个高斯分布构成的混合高斯模型建立背景模型;
模糊区域确定模块,用于按照各高斯分布本身的权值与对应标准差的比值从大到小排列各高斯分布,以根据预设的权值阈值确定对应背景区域的背景模型部分,再将当前帧与所述当前帧对应背景区域的背景模型部分相减以获取所述当前帧的运动区域,并对获取的运动区域进行二值化和形态学处理,获取模糊运动目标区域。
8.如权利要求6所述的装置,其特征在于,所述深度信息检测单元包括:
特征点信息获取模块,用于根据采集的两路视频图像的像素值变化分别确定两路视频图像的目标区域特征点,并对所述两路视频图像的目标区域特征点进行立体匹配,获得对应同一场景点的两个目标区域特征点的空间坐标;
深度信息获取模块,用于根据所述对应同一场景点的两个目标区域特征点的空间坐标确定所述同一场景点在两路视频图像的视差,并根据两个摄像机的光心距离、摄像机的焦距以及同一场景点在两路视频图像的视差确定所述同一场景点的深度信息。
CN 201110241682 2011-08-22 2011-08-22 一种道路交通视频检测方法及装置 Expired - Fee Related CN102316307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110241682 CN102316307B (zh) 2011-08-22 2011-08-22 一种道路交通视频检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110241682 CN102316307B (zh) 2011-08-22 2011-08-22 一种道路交通视频检测方法及装置

Publications (2)

Publication Number Publication Date
CN102316307A CN102316307A (zh) 2012-01-11
CN102316307B true CN102316307B (zh) 2013-09-25

Family

ID=45429081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110241682 Expired - Fee Related CN102316307B (zh) 2011-08-22 2011-08-22 一种道路交通视频检测方法及装置

Country Status (1)

Country Link
CN (1) CN102316307B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103388746B (zh) * 2012-05-08 2015-11-25 上海化学工业区公共管廊有限公司 视频监控系统
CN102819736B (zh) * 2012-09-05 2014-12-24 天津光电高斯通信工程技术股份有限公司 双ccd摄像机自动监控目标侵入的识别方法及系统
KR101551026B1 (ko) * 2013-12-24 2015-09-07 현대자동차주식회사 차량 검출 방법
CN103795933B (zh) * 2014-03-03 2018-02-23 联想(北京)有限公司 一种图像处理方法及电子设备
CN104599263B (zh) * 2014-12-23 2017-08-15 安科智慧城市技术(中国)有限公司 一种图像检测的方法及装置
CN104700414B (zh) * 2015-03-23 2017-10-03 华中科技大学 一种基于车载双目相机的前方道路行人快速测距方法
CN106096512B (zh) * 2016-05-31 2020-08-25 上海美迪索科电子科技有限公司 利用深度摄像头对车辆或行人进行识别的检测装置及方法
CN106022309B (zh) * 2016-06-13 2019-07-26 杭州意能电力技术有限公司 一种基于视频的自动检测lvdt拉杆状态的监视方法及系统
CN107767407B (zh) * 2016-08-16 2020-09-22 北京万集科技股份有限公司 一种基于tof相机的道路车辆目标提取系统及方法
CN106373218B (zh) * 2016-10-28 2019-02-05 中山大学 一种具有压线报警功能的手机行车记录仪
CN106952274B (zh) * 2017-03-14 2019-06-21 西安电子科技大学 基于立体视觉的行人检测与测距方法
CN108108697B (zh) * 2017-12-25 2020-05-19 中国电子科技集团公司第五十四研究所 一种实时无人机视频目标检测与跟踪方法
CN108876835A (zh) * 2018-03-28 2018-11-23 北京旷视科技有限公司 深度信息检测方法、装置和系统及存储介质
CN109345580B (zh) * 2018-10-23 2020-03-24 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN110516014B (zh) * 2019-01-18 2023-05-26 南京泛在地理信息产业研究院有限公司 一种面向城市道路监控视频映射到二维地图的方法
CN110569840B (zh) * 2019-08-13 2023-05-16 浙江大华技术股份有限公司 目标检测方法及相关装置
CN112818748A (zh) * 2020-12-31 2021-05-18 北京字节跳动网络技术有限公司 确定视频中的平面的方法和装置、存储介质和电子设备
CN113487660A (zh) * 2021-06-16 2021-10-08 普联国际有限公司 融合深度信息的运动目标检测方法、装置、介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5937079A (en) * 1996-09-05 1999-08-10 Daimler-Benz Ag Method for stereo image object detection
CN101261681A (zh) * 2008-03-31 2008-09-10 北京中星微电子有限公司 智能视频监控中的路面图像提取方法及装置
CN101527046A (zh) * 2009-04-28 2009-09-09 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
CN101877131A (zh) * 2009-04-28 2010-11-03 青岛海信数字多媒体技术国家重点实验室有限公司 一种目标识别方法、装置及目标识别系统
CN102006461A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 摄像机联合跟踪检测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5937079A (en) * 1996-09-05 1999-08-10 Daimler-Benz Ag Method for stereo image object detection
CN101261681A (zh) * 2008-03-31 2008-09-10 北京中星微电子有限公司 智能视频监控中的路面图像提取方法及装置
CN101527046A (zh) * 2009-04-28 2009-09-09 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
CN101877131A (zh) * 2009-04-28 2010-11-03 青岛海信数字多媒体技术国家重点实验室有限公司 一种目标识别方法、装置及目标识别系统
CN102006461A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 摄像机联合跟踪检测系统

Also Published As

Publication number Publication date
CN102316307A (zh) 2012-01-11

Similar Documents

Publication Publication Date Title
CN102316307B (zh) 一种道路交通视频检测方法及装置
CN105711597B (zh) 前方局部行驶环境感知系统及方法
CN104700414B (zh) 一种基于车载双目相机的前方道路行人快速测距方法
US7587081B2 (en) Method for processing stereo vision data using image density
US6813370B1 (en) Lane marker recognizing apparatus
CN105225482A (zh) 基于双目立体视觉的车辆检测系统和方法
CN103077521B (zh) 一种用于视频监控的感兴趣区域提取方法
KR101364727B1 (ko) 촬영된 영상의 처리를 이용한 안개 감지 방법 및 장치
CN107315095B (zh) 基于视频处理的具有光照适应性的多车辆自动测速方法
KR101104625B1 (ko) 지능형 교통 시스템의 교통정보를 산출하기 위한 장치 및 그 방법
CN108596129A (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN105346706A (zh) 飞行装置、飞行控制系统及方法
CN111369541A (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN109829365B (zh) 基于机器视觉的多场景适应驾驶偏离及转弯预警方法
CN102567713A (zh) 图像处理装置以及图像处理方法
CN105574488A (zh) 一种基于低空航拍红外图像的行人检测方法
KR101735557B1 (ko) 실시간 목표 탐지에 의한 교통 정보 수집 시스템 및 방법
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN103473554A (zh) 人流统计系统及方法
JP3729025B2 (ja) 歩行者検知装置
CN102915433A (zh) 基于字符组合的车牌定位和识别方法
CN110674672B (zh) 一种基于tof相机的多场景人数统计方法
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN103366155A (zh) 通畅路径检测中的时间相干性
CN103021179A (zh) 基于实时监控视频中的安全带检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: 518000 Guangdong province Shenzhen city Futian District District Shennan Road Press Plaza room 1306

Applicant after: Anke Smart Cities Technolongy (PRC) Co., Ltd.

Co-applicant after: Shanghai Chengfeng Digital Hi-Tech Co., Ltd.

Address before: 518000 Guangdong province Shenzhen city Futian District District Shennan Road Press Plaza room 1306

Applicant before: Security & Surveillance Technology (China), Inc.

Co-applicant before: Shanghai Chengfeng Digital Hi-Tech Co., Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: CHINA SECURITY + SURVEILLANCE TECHNOLOGY (PRC), INC. TO: CSST E-CITY TECHNOLOGY (CHINA) CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130925

Termination date: 20170822

CF01 Termination of patent right due to non-payment of annual fee