CN102938057A - 一种车辆阴影消除方法及装置 - Google Patents

一种车辆阴影消除方法及装置 Download PDF

Info

Publication number
CN102938057A
CN102938057A CN2012104025808A CN201210402580A CN102938057A CN 102938057 A CN102938057 A CN 102938057A CN 2012104025808 A CN2012104025808 A CN 2012104025808A CN 201210402580 A CN201210402580 A CN 201210402580A CN 102938057 A CN102938057 A CN 102938057A
Authority
CN
China
Prior art keywords
agglomerate
shade
vehicle
mask
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012104025808A
Other languages
English (en)
Other versions
CN102938057B (zh
Inventor
苏志敏
舒小华
肖习雨
龙永红
李勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuzhou CRRC Times Electric Co Ltd
Hunan CRRC Times Signal and Communication Co Ltd
Original Assignee
Zhuzhou CSR Times Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuzhou CSR Times Electric Co Ltd filed Critical Zhuzhou CSR Times Electric Co Ltd
Priority to CN201210402580.8A priority Critical patent/CN102938057B/zh
Publication of CN102938057A publication Critical patent/CN102938057A/zh
Application granted granted Critical
Publication of CN102938057B publication Critical patent/CN102938057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆阴影消除方法,包括:采集交通路口处固定区域的实时视频;如果当前帧图像中存在运动前景,则获取当前帧图像中车辆的前景掩码团块,并利用预先设定的光照模型从前景掩码团块中分离车辆的第一阴影掩码团块;确定第一阴影掩码团块与光照模型的阴影重合度;如果阴影重合度大于第一设定阈值,则在RGB颜色空间内确定车辆的阴影区域;根据所述阴影区域纠正预先设定的光照模型,并利用纠正后的光照模型从前景掩码团块中分离出车辆的第二阴影掩码团块;确定第二阴影掩码团块与纠正后的光照模型的阴影重合度,直到阴影重合度不大于第一设定阈值后输出阴影分离后的车辆掩码团块。本发明还公开了一种车辆阴影消除装置。

Description

一种车辆阴影消除方法及装置
技术领域
本发明涉及车辆检测技术领域,尤其涉及一种车辆阴影消除方法及装置。
背景技术
随着科技的不断发展,智能监控和智能交通等技术领域得到了蓬勃发展,视频检测在智能交通系统中应用广泛,特别是交通路口车辆检测、车辆跟踪和车辆驾驶行为识别,视频检测的基础是车辆检测,而阴影的投影部分将改变检测到的车辆目标的形状和大小,影响车辆分类、跟踪和行为识别,消除阴影是视频检测中的关键问题。
目前,阴影的检测方法主要分为基于模型和基于特征的两种检测方法。基于模型的方法主要利用场景信息、光照方向和车辆目标的几何特征构建模型,当目标车辆的形状、获取车辆图像的视角、以及光照方向已知的情况下,根据构建出的模型来判别每个像素点是否属于阴影区域,从而获取精确的阴影信息;基于特征的方法,主要是利用阴影和背景的光谱特征进行阴影检测,如阴影的几何特点、亮度、颜色以及饱和度等信息标识阴影区域,其根本是利用颜色恒常性和阴影只降低被遮挡物体的亮度信息这两个特征。
但上述基于模型和基于特征的两种阴影检测方法,存在算法复杂度高,计算速度慢等缺点,导致处理标清视频都难以达到实时性。
发明内容
有鉴于此,本发明的主要目的在于提供一种车辆阴影消除方法及装置,以实现克服现有技术中算法复杂度高、实时性差的目的。
为实现上述目的,本发明提供了一种车辆阴影消除方法,包括:
采集交通路口处固定区域的实时视频;
如果所述视频当前帧图像中存在运动前景,则获取当前帧图像中车辆的前景掩码团块,并利用预先设定的光照模型从所述前景掩码团块中分离出车辆的第一阴影掩码团块,所述光照模型与当前光照方向相匹配;
确定所述第一阴影掩码团块与所述光照模型的阴影重合度;
如果所述阴影重合度大于第一设定阈值,则在RGB颜色空间内确定所述车辆的阴影区域;
根据所述阴影区域纠正所述预先设定的光照模型,并利用纠正后的光照模型从所述前景掩码团块中分离出车辆的第二阴影掩码团块;
确定所述第二阴影掩码团块与纠正后的光照模型的阴影重合度,直到所述阴影重合度不大于所述第一设定阈值后输出阴影分离后的车辆掩码团块。
优选的,在上述方法中,在所述采集交通路口处固定区域的实时视频图像之后还包括判断所述当前帧图像中是否存在运动前景,具体包括:
获取所述视频当前帧的背景图像和当前图像;
将所述背景图像中的每个像素值与所述当前图像中对应位置的像素值相减,用以获取每个像素的绝对差值;
如果存在绝对差值大于第二设定阈值的像素区域,则确定所述当前帧图像中存在运动前景;
如果不存在绝对差值大于所述第二设定阈值的像素区域,则确定所述当前帧图像中不存在运动前景。
优选的,在上述方法中,所述获取当前帧图像中车辆的前景掩码团块包括:
提取所述绝对差值大于所述第二设定阈值的像素点;
利用提取的所有像素点生成所述车辆的初始前景掩码团块;
对所述初始前景掩码团块进行边缘检测,并利用检测后的结果与当前车辆的颜色信息确定所述车辆的最终前景掩码团块。
优选的,在上述方法中,所述第二设定阈值具体按下述方法实现:
获取所述当前帧图像中设定数目的像素点的绝对差值;
计算所述设定数目的绝对差值的均值μ和方差σ;
根据公式T0=ασ+μ计算所述第二设定阈值T0,其中,α为常数。
优选的,在上述方法中,所述确定所述第一阴影掩码团块与所述光照模型的阴影重合度包括:
将所述第一阴影掩码团块与所述光照模型进行重叠;
以当前光照方向为轴线分割重叠后的阴影掩码团块,用以获取第一阴影掩码团块和第二阴影掩码团块;
利用公式
Figure BDA00002280224000031
计算分割系数λ,其中,a1为所述第一阴影掩码团块中未重叠区域的面积,a2为所述第二阴影掩码团块中未重叠区域的面积,b为全部重叠区域的面积,所述分割系数λ为所述阴影重合度。
优选的,在上述方法中,所述在RGB颜色空间内确定所述车辆的阴影区域包括:
分别获取所述背景图像和所述当前图像上同一点的RGB空间坐标;
利用所述RGB空间坐标计算亮度差异值和色度差异值;
确定所述亮度差异值小于第三设定阈值且所述色度差异值在设定数值范围内的所有像素点组成的区域为阴影区域。
优选的,在上述方法中,所述光照方向包括:
将所述固定区域的二维坐标平面平均分割成八等份,以获取上、下、左、右、左上、左下、右上、右下与正中九种光照方向,所述正中表示无阴影或光照方向处于车辆正上方的光照情况。
本发明还提供了一种车辆阴影检测装置,包括:
视频采集模块,用于采集交通路口处固定区域的实时视频;
团块获取模块,用于在所述视频当前帧图像中存在运动前景时,获取当前帧图像中车辆的前景掩码团块;
阴影分离模块,用于利用预先设定的光照模型从所述前景掩码团块中分离出车辆的第一阴影掩码团块,所述光照模型与当前光照方向相匹配;
重合度确定模块,用于确定所述第一阴影掩码团块与所述光照模型的阴影重合度;
第一判断模块,用于判断所述阴影重合度是否大于第一设定阈值;
阴影重确定模块,用于在所述第一判断模块判断得到的所述阴影重合度大于第一设定阈值时,在RGB颜色空间内确定所述车辆的阴影区域;
模型纠正模块,用于根据所述阴影区域纠正所述预先设定的光照模型;
所述阴影分离模块,还用于利用纠正后的光照模型从所述前景掩码团块中分离出车辆的第二阴影掩码团块;
所述重合度确定模块,还用于确定所述第二阴影掩码团块与纠正后的光照模型的阴影重合度,直到所述阴影重合度小于所述第一设定阈值为止;
车辆区域输出模块,用于在所述阴影重合度不大于所述第一阈值时,输出阴影分离后的车辆掩码团块。
优选的,上述装置还包括第二判断模块,用于判断所述当前帧图像中是否存在运动前景,具体包括:
第一获取单元,用于获取所述视频当前帧的背景图像和当前图像;
第二获取单元,用于将所述背景图像中的每个像素值与所述当前图像中对应位置的像素值相减,用以获取每个像素的绝对差值;
判断单元,用于判断是否存在绝对差值大于第二设定阈值的像素区域;
第一确定单元,用于在所述判断单元判断得到的存在绝对差值大于第二设定阈值的像素区域时,确定所述当前帧图像中存在运动前景;
第二确定单元,用于在所述判断单元判断得到的不存在绝对差值大于所述第二设定阈值的像素区域时,确定所述当前帧图像中不存在运动前景。
优选的,在上述装置中,所述团块获取模块包括:
提取单元,用于提取所述绝对差值大于所述第二设定阈值的像素点;
生成单元,用于利用提取的所有像素点生成所述车辆的初始前景掩码团块;
第三确定单元,用于对所述初始前景掩码团块进行边缘检测,并利用检测后的结果与当前车辆的颜色信息确定所述车辆的最终前景掩码团块。
优选的,在上述装置中,所述重合度确定模块包括:
重叠单元,用于将所述第一阴影掩码团块与所述光照模型进行重叠;
第三获取单元,用于以当前光照方向为轴线分割重叠后的阴影掩码团块,用以获取第一阴影掩码团块和第二阴影掩码团块;
分割系数计算单元,用于利用公式
Figure BDA00002280224000051
计算分割系数λ,其中,a1为所述第一阴影掩码团块中未重叠区域的面积,a2为所述第二阴影掩码团块中未重叠区域的面积,b为全部重叠区域的面积,所述分割系数λ为所述阴影重合度。
优选的,在上述装置中,所述阴影区域确定模块包括:
第四获取单元,用于分别获取所述背景图像和所述当前图像上同一点的RGB空间坐标;
差异值计算单元,用于利用所述RGB空间坐标计算亮度差异值和色度差异值;
第四确定单元,用于确定所述亮度差异值小于第三设定阈值且所述色度差异值在设定数值范围内的所有像素点组成的区域为阴影区域。
可见,本发明车辆阴影消除方法及装置,通过获取视频当前帧图像中车辆的前景掩码团块,利用对应的光照模型直接覆盖粗略定位的车辆区域即车辆的前景掩码团块,从而获取车辆的阴影掩码团块,通过判断阴影重合度是否大于第一设定阈值来确定阴影分离效果,如果分离效果不好,则重新在RGB颜色空间内确定所述车辆的阴影区域,用以纠正当前的光照模型,再继续利用纠正后的光照模型消除车辆阴影,通过不断纠正光照模型直到满足阴影分离效果为止;由于光照方向变化缓慢,大部分情况都能直接从光照模型覆盖车辆区域获得车辆阴影掩码团块;该方法算法复杂度低且容易实现,因此阴影消除速度快,处理高清视频的实时性强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明车辆阴影消除方法的实施例1的流程示意图;
图2为本发明车辆阴影消除方法的实施例2的流程示意图;
图3为本发明车辆与阴影区域分离示意图;
图4为本发明背景图与前景图中同一像素点的空间坐标示意图;
图5为本发明车辆阴影消除装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1所示,图1为本发明提供的一种车辆阴影消除方法的实施例1的流程示意图,实现所述方法的步骤如下:
步骤101:采集交通路口处固定区域的实时视频。
利用固定在交通路口的成像设备(摄像头)采集交通路口处固定区域的实时视频图像,所述视频图像中每帧显示的内容包括但不限于以下三种情况:有单个车辆经过,或是有多个车辆同时经过,或是无车辆经过。
步骤102:如果所述视频当前帧图像中存在运动前景,则获取当前帧图像中车辆的前景掩码团块,并利用预先设定的光照模型从所述前景掩码团块中分离出车辆的第一阴影掩码团块,所述光照模型与当前光照方向相匹配。
在本实施例中,所述视频当前帧图像上的像素分为前景像素和背景像素,其中,运动的物体(例如:汽车及其阴影)被认为是前景,而视频中不动的物体(例如:路面或是路面上的斑马线)被认为是背景。如果当前帧图像中存在运动前景即有车辆经过,则需获取当前帧图像的前景掩码,并对获取的前景掩码做形态学操作,得到车辆的前景掩码团块,并从所述前景掩码团块中提取车辆的阴影区域,即所述第一阴影掩码团块。
此外,本实施例已经根据路口光照情况预先设定了若干种光照模型,所以可根据当前时刻光照方向从中选取匹配的光照模型。下面为本发明提供的9种光照模型:把交通路口处固定区域的二维坐标平面平均分为8等份,以获取上、下、左、右、左上、左下、右上、右下以及正中八种光照方向,另外正中表示无阴影或光照处于车辆正上方的光照情况,当然,本发明包括但不仅限于上述9种光照模型,其它衍生类的光照模型同样适用本发明。
步骤103:确定所述第一阴影掩码团块与所述光照模型的阴影重合度。
首先,将所述第一阴影掩码团块与当前光照方向对应的光照模型进行重叠;然后,以当前光照方向为轴线分割重叠后的阴影掩码团块,用以获取第一阴影掩码团块和第二阴影掩码团块;最后,利用公式
Figure BDA00002280224000071
计算分割系数λ,其中,a1为所述第一阴影掩码团块中未重叠区域的面积,a2为所述第二阴影掩码团块中未重叠区域的面积,b为全部重叠区域的面积,所述分割系数λ为所述阴影重合度。
以当前光照方向为轴线进行分割所获取的光照模型的两部分阴影掩码团块为对称区域,分割后的两阴影区域是相等的,通过确定所述第一阴影掩码团块与所述光照模型的阴影重合度便可确定阴影分离效果的好坏。
步骤104:如果所述阴影重合度大于第一设定阈值,则在RGB颜色空间内确定所述车辆的阴影区域。
本实施例中,可设置所述第一设定阈值为0.15,当分割系数λ>0.15时,认为阴影分割效果不理想,而当λ≤0.15时认为阴影分割效果理想。如果分离效果不理想(λ>0.15),则对当前图像的前景区域进行RGB颜色空间内的阴影检测,重新确定当前帧图像的阴影区域,用于纠正当前选取的光照模型。
步骤105:根据所述阴影区域纠正所述预先设定的光照模型,并利用纠正后的光照模型从所述前景掩码团块中分离出车辆的第二阴影掩码团块;
步骤106:确定所述第二阴影掩码团块与纠正后的光照模型的阴影重合度,直到所述阴影重合度不大于所述第一设定阈值后输出阴影分离后的车辆掩码团块。
所述阴影重合度不大于所述第一设定阈值,则认为阴影分离效果理想,直接输出阴影分离后的掩码团块,即车辆区域;如果所述阴影重合度大于所述第一设定阈值,则在RGB空间内重新确定阴影区域,用以对系统中预先存储的光照模型中的阴影区域进行纠正,然后,继续确定车辆的阴影掩码团块与纠正后的光照模型的阴影重合度,直到所述阴影重合度不大于所述第一设定阈值为止。
本发明车辆阴影消除方法,通过获取视频当前帧图像中车辆的前景掩码团块,利用对应的光照模型直接覆盖粗略定位的车辆区域即车辆的前景掩码团块,从而获取车辆的阴影掩码团块,通过判断阴影重合度是否大于第一设定阈值来确定阴影分离效果,如果分离效果不好,则重新在RGB颜色空间内确定所述车辆的阴影区域,用以纠正当前的光照模型,再继续利用纠正后的光照模型消除车辆阴影,通过不断纠正光照模型直到满足阴影分离效果为止;;该方法算法复杂度低且容易实现,因此阴影消除速度快,处理高清视频的实时性强。
参见图2所示,图2为本发明提供的一种车辆阴影消除方法的实施例2的流程示意图,实现所述方法的步骤如下:
步骤201:采集交通路口处固定区域的实时视频。
步骤202:获取所述视频当前帧的背景图像和当前图像。
所述背景图像是指没有车辆经过时固定不变的物体图像(例如道路、斑马线等);所述当前图像是指当前有车辆经过时的图像,既包括不变的物体图像,又包括运动的物体图像(例如:汽车)。
步骤203:将所述背景图像中的每个像素值与所述当前图像中对应位置的像素值相减,用以获取每个像素的绝对差值D。
将背景图像的像素值与当前图像中对应位置的像素值做减法,其中,每个像素值为RGB颜色空间内的三维矢量,例如,取其中的一个像素点i,在背景图像中该点的像素值为(R1,G1,B1),在当前图像中该点的像素值为(R2,G2,B2),计算该点的绝对差值D的公式如下:
D(i)=|ΔRi|+|ΔGi|+|ΔBi|                                 (1)
其中,ΔRi=R1-R2,ΔGi=G1-G2,ΔBi=B1-B2
步骤204:如果存在绝对差值大于第二设定阈值的像素区域,则提取所述绝对差值大于所述第二设定阈值的像素点。
如果当前帧图像中的某个区域有车辆,则像素差值D必然大于零,且基于车辆颜色等因素,每个像素点的差值将不同;如果当前帧图像中的某个区域没有车辆,则在理想情况下,像素值(R1,G1,B1)与像素值(R2,G2,B2)是相等的,像素差值D应为0,但是基于环境的影响,也会出现微小的差异,即像素差值D为一个较小的值。所以可设置第二设定阈值,并判断是否存在绝对差值大于第二设定阈值的像素区域,如果存在绝对差值大于第二设定阈值的像素区域,则确定所述当前帧图像中存在运动前景;如果不存在绝对差值大于所述第二设定阈值的像素区域,则确定所述当前帧图像中不存在运动前景。
如果当前帧的像素点被判断为运动前景,则令前景掩码中相应位置点的掩码值B(x,y)为1,否则,相应的掩码值B(x,y)为0,即判断条件如公式(2)所示:
Figure BDA00002280224000101
其中,T0为第二设定阈值。
由于路口光照环境变化无常,光照强度变化直接导致当前帧和背景差异的变化,同时还存在各种干扰,且不同前景车辆的颜色与背景差异也不同,因此,本发明采用一种自适应阀值分割方法,使所述第二设定阈值能随当前帧的车辆特征和光照情况进行实时调节。
所述第二设定阈值具体按下述方法实现:获取当前帧图像中设定数目的像素点的绝对差值D(i);计算所述设定数目的绝对差值的均值μ和方差σ;根据公式T0=ασ+μ计算所述第二设定阈值T0,其中,α为常数。
阈值设定方法如下:比如可在当前帧图像中选取一定数量的像素点(例如:1000个),并按照公式(1)计算每个像素点的像素绝对差值D(i),其中,i=1,2,3...1000,从而利用当前帧所有的像素差值D(i)绘制差值图B,若视频中无车辆时,视频中每帧图像的差值图B的均值μ集中在较低的像素差值区间,对应的直方图呈现明显的单峰值特征,绝大部分的像素点落入0到T0范围内;若视频存在车辆时,视频中每帧图像的差值图B的均值μ便根据车辆颜色与背景的差异程度偏离上述较低的像素差值区间,对应的直方图呈现明显双峰值特征。由于阈值T0会随着当前帧图像的像素变化不断进行自我调整,所以,本实施例利用动态变化的阈值T0能较好切割出车辆区域,该阈值计算方法能明显改进前景分割效果,根据当前时刻环境变化和车辆颜色进行及时的响应。
步骤205:利用提取的所有像素点生成所述车辆的初始前景掩码团块;
将提取的所有像素点均设置为1即令掩码B(x,y)=1,同时,将其它像素点均设置为0即令掩码B(x,y)=0,将值为1的掩码做形态学变化,得到初始前景掩码团块。
步骤206:对所述初始前景掩码团块进行边缘检测,并利用检测后的结果与当前车辆的颜色信息确定所述车辆的最终前景掩码团块。
本实施例通过设定第二设定阈值来确定运动前景区域,但是基于车辆的某些部位与背景图像的颜色差异不大,将导致获取的初始前景掩码团块不是一个完整的团块,团块内部或是边缘会出现明显的空缺,但是基于车辆及其阴影组成的运动前景是一个完整的区域,所以需要对上述获取的初始前景掩码团块进行边缘检测,再辅以车辆本身的颜色信息,将初始前景掩码团块填充为一个完成的团块,可见,对所述初始前景掩码做边缘检测,以边缘检测结果为主,车辆颜色特征为辅,便可粗略定位车辆,得到单个车辆的最终前景掩码团块。
步骤207:利用预先设定的光照模型从所述最终前景掩码团块中分离出车辆的第一阴影掩码团块,所述光照模型与当前光照方向相匹配。
系统默认了9种光照模型,根据路口当前时刻的光照情况,确定当前路口处于何种光照模型,利用所述光照模型从所述最终前景掩码团块(粗略定位的车辆及阴影)中分离车辆与阴影区域;参见图3所示的车辆与阴影区域分离示意图,图中A为车辆的最终前景掩码团块,B为当前光照模型,C为阴影快速定位的结果,深色区域为车辆实际区域,浅色区域表示阴影区域,即所述第一阴影掩码团块。
步骤208:确定所述第一阴影掩码团块与所述光照模型的阴影重合度;
步骤209:判断所述阴影重合度是否大于第一设定阈值,如果是,则执行步骤210,如果否,则执行步骤213;
步骤210:分别获取所述背景图像和所述当前图像上同一点的RGB空间坐标,并利用所述RGB空间坐标计算亮度差异值和色度差异值;
步骤211:确定所述亮度差异值小于第三设定阈值且所述色度差异值在设定数值范围内的所有像素点组成的区域为阴影区域。
下面具体介绍在RGB空间内确定阴影区域的实现方法:
在室外的交通路口,通常情况下太阳光是唯一造成车辆阴影的光源,且光线强度在一段时间内恒定,因此,本实施例利用颜色恒常法中的颜色不变性和光强比值恒等性等特性,在RGB颜色空间内检测阴影,用于重新确定所述车辆的阴影区域。
在RGB颜色空间内,像素可以表示为一个三维矢量,假设路口区域内的同一点在背景图和前景图上的RGB空间坐标分别为OB(R1,G1,B1)和OF(R2,G2,B2),OB(R1,G1,B1)表示无车辆通过时某一点在RGB空间上的坐标,而OF(R2,G2,B2)表示有车辆通过时与OB(R1,G1,B1)同一位置的像素点在RGB空间上的坐标。本实施例通过确定亮度差异值和色度差异值两个分量进行RGB颜色空间上的阴影检测。
首先,OB(R1,G1,B1)和OF(R2,G2,B2)这两点的亮度差异可以用式(3)表示的灰度值差异比值a0表示:
a 0 = 0.229 R 1 + 0.587 G 1 + 0.114 B 1 0.229 R 2 + 0.587 G 2 + 0.114 B 2 - - - ( 3 )
此外,参见图4所示的背景图与前景图中同一像素点的空间坐标示意图,色度差异可以用空间坐标OB(R1,G1,B1)和OF(R2,G2,B2)这两矢量的空间距离|CD|表示,如公式(4)所示:
CD = OF · sin θ = | OF | · ( 1 - cos 2 θ ) - - - ( 4 )
其中,θ表示两向量的空间夹角,因此
Figure BDA00002280224000123
由于颜色恒常法中的颜色不变性和光强比值恒等性,认为色度差异小于特定阈值Tc且亮度差异处于阈值T1和T2范围间的前景像素点Pix(x,y),判断为阴影像素,如公式(5)所示:
步骤212:根据所述阴影区域纠正所述预先设定的光照模型,并将纠正后的光照模型作为当前预先设定的光照模型,再次执行步骤207;
在不满足分离效果的情况下,不断对得到的光照模型进行调整纠正,然后利用得到的光照模型分离车辆阴影,不断循环上述过程,直到满足要求的分离效果(阴影重合度不大于第一设定阈值)为止。
步骤213:说明分离效果理想,则输出阴影分离后的车辆前景区域后,送由系统作后续处理,此时车辆阴影检测完毕。
本发明车辆阴影消除方法,通过计算当前帧图像中每个像素的绝对差值,可有效定位运动前景,粗略确定车辆所在位置,再对粗略定位的车辆进行边缘检测,并辅以车辆颜色等信息,可获取完整的车辆前景区域。另外,在利用当前光照模型进行阴影分离且分离效果不好时,通过确定亮度差异值和色度差异值在RGB空间内重新确定阴影区域,并利用获取的阴影区域不断纠正当前的光照模型,使得采用纠正后的光照模型可达到较好的阴影分离效果。
参见图5所示,图5为本发明提供的一种车辆阴影消除装置的结构示意图,所述装置包括:
视频采集模块1,用于采集交通路口处固定区域的实时视频;团块获取模块2,用于在所述视频当前帧图像中存在运动前景时,获取当前帧图像中车辆的前景掩码团块;阴影分离模块3,用于利用预先设定的光照模型从所述前景掩码团块中分离出车辆的第一阴影掩码团块,所述光照模型与当前光照方向相匹配;重合度确定模块4,用于确定所述第一阴影掩码团块与所述光照模型的阴影重合度;第一判断模块5,用于判断所述阴影重合度是否大于第一设定阈值;阴影重确定模块6,用于在所述第一判断模块判断得到的所述阴影重合度大于第一设定阈值时,在RGB颜色空间内确定所述车辆的阴影区域;模型纠正模块7,用于根据所述阴影区域纠正所述预先设定的光照模型;所述阴影分离模块3,还用于利用纠正后的光照模型从所述前景掩码团块中分离出车辆的第二阴影掩码团块;所述重合度确定模块4,还用于确定所述第二阴影掩码团块与纠正后的光照模型的阴影重合度,直到所述阴影重合度小于所述第一设定阈值为止;车辆区域输出模块8,用于在所述阴影重合度不大于所述第一阈值时,输出阴影分离后的车辆掩码团块。
上述装置还包括第二判断模块9,用于判断所述当前帧图像中是否存在运动前景,具体包括:第一获取单元91,用于获取所述视频当前帧的背景图像和当前图像;第二获取单元92,用于将所述背景图像中的每个像素值与所述当前图像中对应位置的像素值相减,用以获取每个像素的绝对差值;判断单元93,用于判断是否存在绝对差值大于第二设定阈值的像素区域;第一确定单元94,用于在所述判断单元判断得到的存在绝对差值大于第二设定阈值的像素区域时,确定所述当前帧图像中存在运动前景;第二确定单元95,用于在所述判断单元判断得到的不存在绝对差值大于所述第二设定阈值的像素区域时,确定所述当前帧图像中不存在运动前景。
上述团块获取模块2包括:提取单元21,用于提取所述绝对差值大于所述第二设定阈值的像素点;生成单元22,用于利用提取的所有像素点生成所述车辆的初始前景掩码团块;第三确定单元23,用于对所述初始前景掩码团块进行边缘检测,并利用检测后的结果与当前车辆的颜色信息确定所述车辆的最终前景掩码团块。
上述重合度确定模块4包括:重叠单元41,用于将所述第一阴影掩码团块与所述光照模型进行重叠;第三获取单元42,用于以当前光照方向为轴线分割重叠后的阴影掩码团块,用以获取第一阴影掩码团块和第二阴影掩码团块;分割系数计算单元43,用于利用公式计算分割系数λ,其中,a1为所述第一阴影掩码团块中未重叠区域的面积,a2为所述第二阴影掩码团块中未重叠区域的面积,b为全部重叠区域的面积,所述分割系数λ为所述阴影重合度。
上述阴影重确定模块6包括:第四获取单元61,用于分别获取所述背景图像和所述当前图像上同一点的RGB空间坐标;差异值计算单元62,用于利用所述RGB空间坐标计算亮度差异值和色度差异值;第四确定单元63,用于确定所述亮度差异值小于第三设定阈值且所述色度差异值在设定数值范围内的所有像素点组成的区域为阴影区域。
本发明车辆阴影消除装置,通过获取视频当前帧图像中车辆的前景掩码团块,利用对应的光照模型直接覆盖粗略定位的车辆区域即车辆的前景掩码团块,从而获取车辆的阴影掩码团块,通过判断阴影重合度是否大于第一设定阈值来确定阴影分离效果,如果分离效果不好,则重新在RGB颜色空间内确定所述车辆的阴影区域,用以纠正当前的光照模型,再继续利用纠正后的光照模型消除车辆阴影,通过不断纠正光照模型直到满足阴影分离效果为止;由于光照方向变化缓慢,大部分情况都能直接从光照模型覆盖车辆区域获得车辆阴影掩码团块;该方法算法复杂度低且容易实现,因此阴影消除速度快,处理高清视频的实时性强。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种车辆阴影消除方法,其特征在于,包括:
采集交通路口处固定区域的实时视频;
如果所述视频当前帧图像中存在运动前景,则获取当前帧图像中车辆的前景掩码团块,并利用预先设定的光照模型从所述前景掩码团块中分离出车辆的第一阴影掩码团块,所述光照模型与当前光照方向相匹配;
确定所述第一阴影掩码团块与所述光照模型的阴影重合度;
如果所述阴影重合度大于第一设定阈值,则在RGB颜色空间内确定所述车辆的阴影区域;
根据所述阴影区域纠正所述预先设定的光照模型,并利用纠正后的光照模型从所述前景掩码团块中分离出车辆的第二阴影掩码团块;
确定所述第二阴影掩码团块与纠正后的光照模型的阴影重合度,直到所述阴影重合度不大于所述第一设定阈值后输出阴影分离后的车辆掩码团块。
2.根据权利要求1所述的方法,其特征在于,在所述采集交通路口处固定区域的实时视频图像之后还包括判断所述当前帧图像中是否存在运动前景,具体包括:
获取所述视频当前帧的背景图像和当前图像;
将所述背景图像中的每个像素值与所述当前图像中对应位置的像素值相减,用以获取每个像素的绝对差值;
如果存在绝对差值大于第二设定阈值的像素区域,则确定所述当前帧图像中存在运动前景;
如果不存在绝对差值大于所述第二设定阈值的像素区域,则确定所述当前帧图像中不存在运动前景。
3.根据权利要求2所述的方法,其特征在于,所述获取当前帧图像中车辆的前景掩码团块包括:
提取所述绝对差值大于所述第二设定阈值的像素点;
利用提取的所有像素点生成所述车辆的初始前景掩码团块;
对所述初始前景掩码团块进行边缘检测,并利用检测后的结果与当前车辆的颜色信息确定所述车辆的最终前景掩码团块。
4.根据权利要求2至3任一项所述的方法,其特征在于,所述第二设定阈值具体按下述方法实现:
获取所述当前帧图像中设定数目的像素点的绝对差值;
计算所述设定数目的绝对差值的均值μ和方差σ;
根据公式T0=ασ+μ计算所述第二设定阈值T0,其中,α为常数。
5.根据权利要求1所述的方法,其特征在于,所述确定所述第一阴影掩码团块与所述光照模型的阴影重合度包括:
将所述第一阴影掩码团块与所述光照模型进行重叠;
以当前光照方向为轴线分割重叠后的阴影掩码团块,用以获取第一阴影掩码团块和第二阴影掩码团块;
利用公式
Figure FDA00002280223900021
计算分割系数λ,其中,a1为所述第一阴影掩码团块中未重叠区域的面积,a2为所述第二阴影掩码团块中未重叠区域的面积,b为全部重叠区域的面积,所述分割系数λ为所述阴影重合度。
6.根据权利要求1所述的方法,其特征在于,所述在RGB颜色空间内确定所述车辆的阴影区域包括:
分别获取所述背景图像和所述当前图像上同一点的RGB空间坐标;
利用所述RGB空间坐标计算亮度差异值和色度差异值;
确定所述亮度差异值小于第三设定阈值且所述色度差异值在设定数值范围内的所有像素点组成的区域为阴影区域。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述光照方向包括:
将所述固定区域的二维坐标平面平均分割成八等份,以获取上、下、左、右、左上、左下、右上、右下与正中九种光照方向,所述正中表示无阴影或光照方向处于车辆正上方的光照情况。
8.一种车辆阴影检测装置,其特征在于,包括:
视频采集模块,用于采集交通路口处固定区域的实时视频;
团块获取模块,用于在所述视频当前帧图像中存在运动前景时,获取当前帧图像中车辆的前景掩码团块;
阴影分离模块,用于利用预先设定的光照模型从所述前景掩码团块中分离出车辆的第一阴影掩码团块,所述光照模型与当前光照方向相匹配;
重合度确定模块,用于确定所述第一阴影掩码团块与所述光照模型的阴影重合度;
第一判断模块,用于判断所述阴影重合度是否大于第一设定阈值;
阴影重确定模块,用于在所述第一判断模块判断得到的所述阴影重合度大于第一设定阈值时,在RGB颜色空间内确定所述车辆的阴影区域;
模型纠正模块,用于根据所述阴影区域纠正所述预先设定的光照模型;
所述阴影分离模块,还用于利用纠正后的光照模型从所述前景掩码团块中分离出车辆的第二阴影掩码团块;
所述重合度确定模块,还用于确定所述第二阴影掩码团块与纠正后的光照模型的阴影重合度,直到所述阴影重合度小于所述第一设定阈值为止;
车辆区域输出模块,用于在所述阴影重合度不大于所述第一阈值时,输出阴影分离后的车辆掩码团块。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括第二判断模块,用于判断所述当前帧图像中是否存在运动前景,具体包括:
第一获取单元,用于获取所述视频当前帧的背景图像和当前图像;
第二获取单元,用于将所述背景图像中的每个像素值与所述当前图像中对应位置的像素值相减,用以获取每个像素的绝对差值;
判断单元,用于判断是否存在绝对差值大于第二设定阈值的像素区域;
第一确定单元,用于在所述判断单元判断得到的存在绝对差值大于第二设定阈值的像素区域时,确定所述当前帧图像中存在运动前景;
第二确定单元,用于在所述判断单元判断得到的不存在绝对差值大于所述第二设定阈值的像素区域时,确定所述当前帧图像中不存在运动前景。
10.根据权利要求8所述的装置,其特征在于,所述团块获取模块包括:
提取单元,用于提取所述绝对差值大于所述第二设定阈值的像素点;
生成单元,用于利用提取的所有像素点生成所述车辆的初始前景掩码团块;
第三确定单元,用于对所述初始前景掩码团块进行边缘检测,并利用检测后的结果与当前车辆的颜色信息确定所述车辆的最终前景掩码团块。
11.根据权利要求8所述的装置,其特征在于,所述重合度确定模块包括:
重叠单元,用于将所述第一阴影掩码团块与所述光照模型进行重叠;
第三获取单元,用于以当前光照方向为轴线分割重叠后的阴影掩码团块,用以获取第一阴影掩码团块和第二阴影掩码团块;
分割系数计算单元,用于利用公式
Figure FDA00002280223900041
计算分割系数λ,其中,a1为所述第一阴影掩码团块中未重叠区域的面积,a2为所述第二阴影掩码团块中未重叠区域的面积,b为全部重叠区域的面积,所述分割系数λ为所述阴影重合度。
12.根据权利要求8所述的装置,其特征在于,所述阴影区域确定模块包括:
第四获取单元,用于分别获取所述背景图像和所述当前图像上同一点的RGB空间坐标;
差异值计算单元,用于利用所述RGB空间坐标计算亮度差异值和色度差异值;
第四确定单元,用于确定所述亮度差异值小于第三设定阈值且所述色度差异值在设定数值范围内的所有像素点组成的区域为阴影区域。
CN201210402580.8A 2012-10-19 2012-10-19 一种车辆阴影消除方法及装置 Active CN102938057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210402580.8A CN102938057B (zh) 2012-10-19 2012-10-19 一种车辆阴影消除方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210402580.8A CN102938057B (zh) 2012-10-19 2012-10-19 一种车辆阴影消除方法及装置

Publications (2)

Publication Number Publication Date
CN102938057A true CN102938057A (zh) 2013-02-20
CN102938057B CN102938057B (zh) 2015-09-23

Family

ID=47696952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210402580.8A Active CN102938057B (zh) 2012-10-19 2012-10-19 一种车辆阴影消除方法及装置

Country Status (1)

Country Link
CN (1) CN102938057B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198447A (zh) * 2013-04-09 2013-07-10 哈尔滨工业大学 一种基于卫星云图的风矢场实时度量方法
CN105389556A (zh) * 2015-11-10 2016-03-09 中南大学 一种顾及阴影区域的高分辨率遥感影像车辆检测方法
CN105654467A (zh) * 2015-12-22 2016-06-08 河海大学 基于颜色恒常性特征和视觉注意机制的阴影检测方法
CN106373096A (zh) * 2016-08-30 2017-02-01 电子科技大学 一种多特征权值自适应的阴影消除方法
CN108491810A (zh) * 2018-03-28 2018-09-04 武汉大学 基于背景建模和双目视觉的车辆限高方法及系统
CN110033521A (zh) * 2019-04-01 2019-07-19 重庆固成未来教育科技有限公司 一种基于vr与ar技术的三维可视化系统
CN110111355A (zh) * 2018-11-22 2019-08-09 辽宁师范大学 抵抗强阴影干扰的运动车辆跟踪方法
CN110140149A (zh) * 2017-01-18 2019-08-16 华为技术有限公司 颜色填充方法及终端
CN111382600A (zh) * 2018-12-28 2020-07-07 山东华软金盾软件股份有限公司 一种安防视频单色遮挡物检测装置及方法
CN113744312A (zh) * 2020-12-03 2021-12-03 黑芝麻智能科技有限公司 运动控制和纹理显示的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070110309A1 (en) * 2005-11-17 2007-05-17 Honeywell International Inc. Shadow detection in images
CN101149794A (zh) * 2007-10-16 2008-03-26 王海燕 基于视频的车辆检测跟踪及系统
CN101231756A (zh) * 2008-01-30 2008-07-30 安防科技(中国)有限公司 运动目标阴影检测方法及装置
CN101447028A (zh) * 2008-12-10 2009-06-03 青岛海信电子产业控股股份有限公司 车辆阴影去除方法和装置
CN102194109A (zh) * 2011-05-25 2011-09-21 浙江工业大学 交通监控场景中车辆分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070110309A1 (en) * 2005-11-17 2007-05-17 Honeywell International Inc. Shadow detection in images
CN101149794A (zh) * 2007-10-16 2008-03-26 王海燕 基于视频的车辆检测跟踪及系统
CN101231756A (zh) * 2008-01-30 2008-07-30 安防科技(中国)有限公司 运动目标阴影检测方法及装置
CN101447028A (zh) * 2008-12-10 2009-06-03 青岛海信电子产业控股股份有限公司 车辆阴影去除方法和装置
CN102194109A (zh) * 2011-05-25 2011-09-21 浙江工业大学 交通监控场景中车辆分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AKIO YONEYAMA,CHIA-HUNG YEH,C.-C.JAY KUO: "《Robust Vehicle and Traffic Information Extraction for Highway Surveillance》", 《EURASIP JOURNAL ON APPLIED SIGNAL PROCESSING》, vol. 14, 14 November 2005 (2005-11-14), pages 2305 - 2321 *
陈文杰,王命延: "《车辆阴影消除算法》", 《计算机与现代化》, no. 9, 30 September 2011 (2011-09-30), pages 30 - 32 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198447B (zh) * 2013-04-09 2015-09-09 哈尔滨工业大学 一种基于卫星云图的风矢场实时度量方法
CN103198447A (zh) * 2013-04-09 2013-07-10 哈尔滨工业大学 一种基于卫星云图的风矢场实时度量方法
CN105389556B (zh) * 2015-11-10 2018-07-17 中南大学 一种顾及阴影区域的高分辨率遥感影像车辆检测方法
CN105389556A (zh) * 2015-11-10 2016-03-09 中南大学 一种顾及阴影区域的高分辨率遥感影像车辆检测方法
CN105654467A (zh) * 2015-12-22 2016-06-08 河海大学 基于颜色恒常性特征和视觉注意机制的阴影检测方法
CN105654467B (zh) * 2015-12-22 2018-04-03 河海大学 基于颜色恒常性特征和视觉注意机制的阴影检测方法
CN106373096B (zh) * 2016-08-30 2019-03-05 电子科技大学 一种多特征权值自适应的阴影消除方法
CN106373096A (zh) * 2016-08-30 2017-02-01 电子科技大学 一种多特征权值自适应的阴影消除方法
CN110140149A (zh) * 2017-01-18 2019-08-16 华为技术有限公司 颜色填充方法及终端
CN110140149B (zh) * 2017-01-18 2022-04-05 华为技术有限公司 颜色填充方法及终端
CN108491810A (zh) * 2018-03-28 2018-09-04 武汉大学 基于背景建模和双目视觉的车辆限高方法及系统
CN110111355A (zh) * 2018-11-22 2019-08-09 辽宁师范大学 抵抗强阴影干扰的运动车辆跟踪方法
CN110111355B (zh) * 2018-11-22 2023-04-14 辽宁师范大学 抵抗强阴影干扰的运动车辆跟踪方法
CN111382600A (zh) * 2018-12-28 2020-07-07 山东华软金盾软件股份有限公司 一种安防视频单色遮挡物检测装置及方法
CN110033521A (zh) * 2019-04-01 2019-07-19 重庆固成未来教育科技有限公司 一种基于vr与ar技术的三维可视化系统
CN113744312A (zh) * 2020-12-03 2021-12-03 黑芝麻智能科技有限公司 运动控制和纹理显示的方法

Also Published As

Publication number Publication date
CN102938057B (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
CN102938057B (zh) 一种车辆阴影消除方法及装置
CN106651872B (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN109657632B (zh) 一种车道线检测识别方法
US8294794B2 (en) Shadow removal in an image captured by a vehicle-based camera for clear path detection
CN103077521B (zh) 一种用于视频监控的感兴趣区域提取方法
CN108038416B (zh) 车道线检测方法及系统
CN104134209B (zh) 一种视觉导航中的特征提取与匹配方法及系统
CN102509098B (zh) 一种鱼眼图像车辆识别方法
US8345100B2 (en) Shadow removal in an image captured by a vehicle-based camera using an optimized oriented linear axis
Li et al. Nighttime lane markings recognition based on Canny detection and Hough transform
CN109086687A (zh) 基于pca降维的hog-mblbp融合特征的交通标志识别方法
CN105809138A (zh) 一种基于分块识别的道路警告标志检测与识别方法
US10496891B2 (en) Driver assistance system and method for object detection and notification
CN106686280A (zh) 影像修补系统及其方法
CN103034843B (zh) 一种基于单目视觉的夜间车辆检测方法
CN106887004A (zh) 一种基于块匹配的车道线检测方法
CN102999753A (zh) 车牌定位方法
CN105205489A (zh) 基于颜色纹理分析器与机器学习的车牌检测方法
CN202134079U (zh) 一种无人驾驶车辆车道标志线识别与报警装置
CN101556739A (zh) 基于本征图像分解的车辆检测算法
CN106802144A (zh) 一种基于单目视觉和车牌的车距测量方法
CN108256521A (zh) 用于车身颜色识别的有效区域定位方法
CN103413311A (zh) 一种基于边缘的模糊检测方法
CN102393902A (zh) 基于h_s二维直方图和区域颜色匹配的车辆颜色检测方法
CN105893960A (zh) 基于相位对称性的道路交通标志检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: The age of 412001 in Hunan Province, Zhuzhou Shifeng District Road No. 169

Patentee after: ZHUZHOU CRRC TIMES ELECTRIC Co.,Ltd.

Address before: The age of 412001 in Hunan Province, Zhuzhou Shifeng District Road No. 169

Patentee before: ZHUZHOU CSR TIMES ELECTRIC Co.,Ltd.

CP03 Change of name, title or address
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170621

Address after: 21, building 7, building 189, No. 410600 East Renmin Road, Changsha economic and Technological Development Zone, Hunan

Patentee after: HUNAN CRRC TIMES SIGNAL & COMMUNICATION Co.,Ltd.

Address before: The age of 412001 in Hunan Province, Zhuzhou Shifeng District Road No. 169

Patentee before: ZHUZHOU CRRC TIMES ELECTRIC Co.,Ltd.