CN106339995A - 一种基于时空多特征的车辆阴影消除方法 - Google Patents

一种基于时空多特征的车辆阴影消除方法 Download PDF

Info

Publication number
CN106339995A
CN106339995A CN201610764066.7A CN201610764066A CN106339995A CN 106339995 A CN106339995 A CN 106339995A CN 201610764066 A CN201610764066 A CN 201610764066A CN 106339995 A CN106339995 A CN 106339995A
Authority
CN
China
Prior art keywords
foreground
pixel
edge
calculate
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610764066.7A
Other languages
English (en)
Inventor
王正宁
柏祁林
韩明燕
周阳
马姗姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201610764066.7A priority Critical patent/CN106339995A/zh
Publication of CN106339995A publication Critical patent/CN106339995A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时空多特征的车辆阴影消除方法。本发明首先获取待处理视频帧图像的背景图像及初始前景区域，然后基于其获取色度、光谱方向和纹理特征的前景掩膜，并进行加权求和得到空域多特征前景概率谱图像，接着对空域多特征前景概率谱图像进行时间滑动窗的时域滤波，得到对应的时域前景概率谱，对时域前景概率谱进行加权处理后得到最终的前景掩膜，完成对视频帧图像的车辆阴影消除处理，本发明相较于传统基于单一特征和多特征级联的阴影去除方法，阴影去除更干净，前景轮廓更完整。在保障了较高的阴影辨识率的同时也维持较高的阴影检测率。

Description

一种基于时空多特征的车辆阴影消除方法
技术领域
本发明属于智能交通和计算机视觉技术领域，具体涉及一种基于时空多特征融合的视频车辆阴影去除方法。
背景技术
车辆消除方法是智能交通和计算机视觉等邻域的关键技术，是该邻域的一个重要的研究方向。车辆前景检测作为智能交通系统中的前期处理环节，对整个系统有着至关重要的作用。在目标运动的过程中，由于阴影形成的车辆粘连和不精细的轮廓都严重影响车辆的检测，为后续的处理也带来了极大的困难。因此研究阴影检测和消除方法具有重要的意义。
针对交通监控视频序列，现在的车辆阴影消除方法通常是基于视频图像中的单一特征或多个特征图像级联的方法。典型的方法有Cucchiara方法、Huang方法和Sanin方法。Cucchiara方法提出一种假设：阴影的亮度分量是背景亮度分量的线性衰减，而两者拥有相近的色度分量。基于该假设，通过将图像转换到HSV空间下进行图像亮度与色度的分离，将满足假设的像素判定为阴影。此类方法的计算复杂度低且能最大化地筛选出目标阴影的候选集合，但基于像素级的图像颜色比较，对于色度与背景相近的前景目标会造成大量误检。Huang方法基于双光源双色反射模型对阴影像素进行大量实验，统计发现阴影像素与背景像素在光谱方向上一致性显著。分别提取阴影和背景的光谱方向特征并利用GMM(高斯混合模型)进行特征聚类得到阴影模型，通过计算前景像素与阴影模型匹配度判别阴影。在颜色特征的基础上增加了GMM的聚类，使得方法拥有更加优秀的阴影辨识率，但是本质上是基于颜色的方法，因此同样存在车辆颜色与背景相近时造成前景的空洞。Sanin方法基于阴影与背景具有相同或者相近的纹理特征。在利用颜色特征计算候选阴影区域后，分别提取前景和背景中的候选阴影区域的梯度纹理特征并进行对比，相似度较小的判定为阴影。该方法对参考背景图像的纹理还原度要求较高，在背景重建过程中造成纹理损失的情况下，该方法容易形成大范围的漏检。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种基于时空多特征的车辆阴影消除方法，对交通监控视频的车辆阴影去除的效果相较于传统基于单一特征和多特征级联的阴影去除方法，阴影去除更干净，前景轮廓更完整。在保障了较高的阴影辨识率的同时也维持较高的阴影检测率。
本发明的基于时空多特征融合的车辆阴影消除方法，包括以下步骤：
步骤1：输入待处理视频帧I；
步骤2：对当前视频帧I的背景进行建模，得到背景图像B并计算对应的初始前景区域F0；
步骤3：分别计算色度、光谱方向、纹理三种特征的前景掩膜Fchr，Fphy，Ftex；
步骤301：计算色度的特征的前景掩膜Fchr。
将视频帧I和背景图像B转换到色彩空间W，色彩空间W包括图像的亮度、色度信息，在色彩空间W的选择上，只要能够较好分离图像色度和亮度的色彩空间皆可，比如HSV色彩空间；
对初始前景区域F0中的任意像素(x,y)计算视频帧I和背景图像B中的亮度比其中IV(x,y)、BV(x,y)表示视频帧I和背景图像B中像素(x,y)的亮度分量；
以及计算视频帧I和背景图像B中以任意像素(x,y)为中心、k1(预设经验值)为半径的邻域的色度分量差分均值其中表示视频帧I和背景图像B中像素(x,y)的邻域内所有像素的色度分量累加和；
根据亮度比Vratio、Cavg计算色度特征的的阴影掩膜Schr以及对应的前景Fchr：
对任意像素(x,y)，若α≤Vratio≤β，且Cavg≤τC，则阴影掩膜Schr中对应像素值Schr(x,y)＝1；否则Schr(x,y)＝0，其中α、β分别表示亮度阈值的下限、上限，τC表示色度阈值，α、β、τC为预设经验值；
对任意像素(x,y)，若Schr(x,y)＝0且F0(x,y)＝1，则前景掩膜Fchr中对应像素值Fchr(x,y)＝1；否则Fchr(x,y)＝0，其中F0(x,y)表示初始前景区域F0中像素(x,y)的像素值；
步骤302：计算光谱方向特征的前景掩膜Fphy：
对于初始前景区域F0中的任意前景像素(x,y)，计算(x,y)在视频帧I和背景图像B中RGB三个色彩通道的差分向量v(x,y)、以及v(x,y)与B(x,y)的模之比α(x,y)、v(x,y)的G分量vG(x,y)与R分量vR(x,y)的夹角θ(x,y)、以及B分量与v(x,y)模的夹角形成光谱方向特征其中
对初始前景区域F0中任意前景像素的光谱方向特征f(x,y)聚类得到阴影模型Ms(μ,σ2)，并计算基于光谱方向的阴影掩膜Sphy以及前景掩膜Fphy：
对任意像素(x,y)，若||f(x,y)-μ||＜σ2，则阴影掩膜Sphy中对应像素值Sphy(x,y)＝1；否则Sphy(x,y)＝0，其中，μ,σ2分别表示Ms(μ,σ2)的均值和方差；
对任意像素(x,y)，若Sphy(x,y)＝0且F0(x,y)＝1，则前景掩膜Fphy中对应像素值Fphy(x,y)＝1；否则Fphy(x,y)＝0；
步骤303：计算纹理特征的前景掩膜Ftex。
将初始前景区域F0转换到色彩空间W；
根据视频帧I和背景图像B中像素(x,y)的亮度分量IV(x,y)、BV(x,y)，以及色度分量IC(x,y)、BC(x,y)计算初选阴影掩膜SW：
若IV(x,y)＜BV(x,y)且|IC(x,y)-BC(x,y)|＜TC，则初选阴影掩膜SW中对应像素值SW(x,y)＝1；否则SW(x,y)＝0，其中TC表示色度差阈值(预设经验值)；
计算频帧I和背景图像B的边缘图像Iedge和Bedge，并差分得到前景边缘像素集合Fedge；根据Fedge优化初选阴影SW得到边缘阴影掩膜Sedge：
对任意像素(x,y)，若Shsv(x,y)＝1且则边缘阴影掩膜Sedge中对应像素值Sedge(x,y)＝1；若Shsv(x,y)∈Ωk2(u,v)，则Sedge(x,y)＝0，其中Ωk2(u,v)表示以Fedge(u,v)为中心、k2(预设经验值)为半径的邻域，Fedge(u,v)表示前景边缘像素集合Fedge中的任意像素(u,v)；
计算边缘阴影掩膜Sedge中每个连通域的前景与背景的梯度纹理特征夹角其中分别表示水平和竖直方向的梯度，上标F和B分别用于区分前景与背景；
统计Sedge中每个连通域中纹理特征与背景相近的像素及其所占比例其中n表示连通域像素总数，τα表示相似像素的数量阈值(预设经验值)，H(·)表示阶跃函数；
计算纹理特征的阴影掩膜Stex对应的前景掩膜Ftex：
对任意像素(x,y)，若d＞Ttex，则阴影掩膜Stex中对应像素值Stex(x,y)＝1；否则Stex(x,y)＝0，其中Ttex表示相似度阈值(预设经验值)；
对任意像素(x,y)，若Stex(x,y)＝1且F0(x,y)＝1，则前景掩膜Ftex中对应像素值Ftes(x,y)＝1；否则Ftes(x,y)＝0；
步骤4：基于色度、光谱方向、纹理三种特征的前景掩膜Fchr，Fphy，Ftex的加权求和得到空域前景概率谱图像Mprob＝∑c∈{chr,phy,tex}ωc×Fc，其中ωc表示加权权值；
步骤5：基于空域前景概率谱图像Mprob计算时域前景概率普Mprob(t)：
基于大小为w的时间滑动窗口，对窗口内的空域前景概率谱进行时域滤波，计算出当前时刻t的空域前景概率谱图像，即时域前景概率普其中ωi表示(t-i)时刻空域前景概率谱对应的权值：若i＜w-1，则ωi＝1/2i+1；否则ωi＝1/2w；
步骤6：计算最终前景掩膜Ffinal，完成对车辆阴影的消除处理：
比较时域前景概率普Mprob(t)与前景置信度阈值Tc(预设经验值)，计算出当前时刻t的空域前景概率谱图像的最终前景掩膜Ffinal(t)：若Mprob(t)＞Tc，则Ffinal(t)＝1；否则Ffinal(t)＝0。
由于采用了上述技术方案，本发明的有益效果是：
在计算色度特征的前景掩膜时，本发明以区域(半径为k1的邻域)为差分均值作为判别依据相比现有的以像素差值作为依据的方法，能大幅度增加了抗噪声的能力；
在计算边缘阴影掩膜Sedge时，利用前景和背景的边缘图像差分得到只包含前景边缘的图像Fedge，相比于已有方法，本发明利用Fedge进一步缩小了候选阴影区域的范围，降低了阴影错检的可能性；
同时，本发明通过将色度、光谱方向、纹理三种特征的前景掩膜进行加权融合得到空域多特征前景概率谱图像的方式，与现有的使用单一特征或者多种特征级联的方法相比，能克服现有方式因无法充分保留每种特征自身优势，特征之间无法互相弥补各自的不足，而导致最终的阴影消除效果本质上仍然只受其中某一种特征的影响的不足，本发明利用色度特征得到绝大部分的阴影候选区域，引入光谱方向以及纹理信息用于减少色度特征产生的大量误检。在维持较高的阴影检测率的同时提高了阴影的辨识率，最大化地保留了前景区域的完整性。
在基于空域前景概率谱图像计算时域前景概率普时，时域滤波能够对相邻帧的阴影消除结果进行平滑处理，使得整个时间轴上大部分视频帧的阴影消除效果维持在可观的范围内。
综上，本发明相较于传统基于单一特征和多特征级联的阴影去除方法，阴影去除更干净，前景轮廓更完整。在保障了较高的阴影辨识率的同时也维持较高的阴影检测率。
附图说明
图1是本发明的具体实施流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
参见图1，本发明的基于时空多特征的车辆阴影消除方法，包括下列步骤：
步骤1：输入待处理的视频帧I；
步骤2：对当前视频帧I(以下简称图像I)的背景进行建模，得到背景图像B并计算对应的初始前景区域F0。
步骤3：分别计算色度、光谱方向、纹理三种特征的前景掩膜Fchr，Fphy，Ftex。
步骤301：计算色的特征的前景掩膜Fchr。
在计算色度特征的前景掩膜时，本实施例以HSV色彩空间为例，即将图像I和图像B转换到HSV色彩空间，并对初始前景区域F0中的任意像素p(x,y)，计算图像I和B中的亮度比其中上标“V”表示HSV色彩空间的亮度分量，IV(x,y)、BV(x,y)表示图像I、B中像素(x,y)的亮度分量；
以及计算图像I与B中以像素p(x,y)为中心，k1为半径的邻域的色调分量的差分均值饱和度分量的差分均值其中上标“H”、“S”分别表示HSV色彩空间的色调和饱和度。与NB H(x,y)分别代表图像I和B中p(x,y)邻域内所有像素的色调分量累加和，与NB S(x,y)分别代表图像I和B中p(x,y)邻域内所有像素的饱和度分量累加和。邻域半径k1为经验预设值，通常取3～5。
根据得到的亮度比Vratio、色调分量的差分均值Havg和饱和度分量的差分均值Savg计算基于色度特征的阴影掩膜Schr以及对应的前景Fchr：
对任意像素(x,y)，若α≤Vratio≤β，且Havg≤τH和∧Savg≤τS同时满足，则阴影掩膜Schr中对应像素值Schr(x,y)＝1；否则Schr(x,y)＝0；
对任意像素(x,y)，若Schr(x,y)＝0且F0(x,y)＝1，则前景掩膜Fchr中对应像素值Fchr(x,y)＝1；否则Fchr(x,y)＝0，其中F0(x,y)表示初始前景区域F0中像素(x,y)的像素值。
其中，α、β分别代表亮度阈值的下限、上限，通常取值范围可设置为α∈[0.1,0.4]、β∈[0.5,1]。τH、τS为色调阈值和饱和度阈值，通常取值范围可设置为τH∈[45,65]、τS∈[35,50]。
步骤302：计算光谱方向特征的前景掩膜Fphy。
对于初始前景区域F0中的任意前景像素p(x,y)，计算p(x,y)在图像I与B中RGB三个色彩通道的差分向量v(x,y)、以及v(x,y)与B(x,y)的模之比α(x,y)、v(x,y)的G分量vG(x,y)与R分量vR(x,y)的夹角θ(x,y)、以及B分量与v(x,y)模的夹角形成光谱方向特征其中
对F0中任意前景像素的光谱方向特征f(x,y)聚类得到阴影模型Ms(μ,σ2)，并计算基于光谱方向的阴影掩膜Sphy以及前景掩膜Fphy：
对任意像素(x,y)，若||f(x,y)-μ||＜σ2，则阴影掩膜Sphy中对应像素值Sphy(x,y)＝1；否则Sphy(x,y)＝0，其中，μ,σ2分别代表Ms(μ,σ2)的均值和方差；
对任意像素(x,y)，若Sphy(x,y)＝0且F0(x,y)＝1，则前景掩膜Fphy中对应像素值Fphy(x,y)＝1；否则Fphy(x,y)＝0。
步骤303：计算纹理特征的前景掩膜Ftex。
在计算色度特征的前景掩膜时，可将初始前景区域F0也转换到HSV色彩空间再进行具体计算处理。首先根据F0中任意前景像素p(x,y)的亮度分量和色调分量计算初选阴影掩膜Shsv：
对任意像素(x,y)，若IV(x,y)＜BV(x,y)且IH(x,y)-BH(x,y)|＜Th，则初选阴影掩膜Shsv中对应像素值Shsv(x,y)＝1；否则Shsv(x,y)＝0。
其中，IV(x,y)和BV(x,y)，IH(x,y)和BH(x,y)分别是图像I和B中像素(x,y)的亮度分量和色调分量。Th为色调差值上限，取值范围可设置为Th∈[45,65]。
接着计算图像I与B的边缘图像Iedge和Bedge，并差分得到前景边缘像素集合Fedge。根据Fedge优化初选阴影Shsv得到边缘阴影掩膜Sedge：
对任意像素(x,y)，若Shsv(x,y)＝1且则边缘阴影掩膜Sedge中对应像素值Sedge(x,y)＝1；若Shsv(x,y)∈Ωk2(u,v)，则Sedge(x,y)＝0。其中，Ωk2(u,v)表示以Fedge(u,v)为中心，k2(取值范围可设置为3～5)为半径的邻域，Fedge(u,v)表示前景边缘像素集合Fedge中的任意像素(u,v)。
计算Sedge中每个连通域的前景与背景的梯度纹理特征夹角其中分别表示水平和竖直方向的梯度，上标F和B分别英语区分前景与背景。统计连通域中纹理特征与背景相近的像素及其所占比例其中n表示连通域像素总数，τα是相似像素的数量阈值，取值范围可设置为τα∈[0.2,0.5]，H(·)代表阶跃函数。
最后，基于得到的连通域中纹理特征与背景相近的像素及其所占比例d计算纹理特征的阴影掩膜Stex对应的前景掩膜Ftex：
对任意像素(x,y)，若d＞Ttex，则阴影掩膜Stex中对应像素值Stex(x,y)＝1；否则Stex(x,y)＝0，其中Ttex表示相似度阈值，取值范围可设置为Ttex∈[0.1,0.5]；
对任意像素(x,y)，若Stex(x,y)＝1且F0(x,y)＝1，则前景掩膜Ftex中对应像素值Ftes(x,y)＝1；否则Ftes(x,y)＝0。
步骤4：基于色度、光谱方向、纹理三种特征的前景掩膜Fchr，Fphy，Ftex的加权求和得到空域前景概率谱图像Mprob＝∑c∈{chr,phy,tex}ωc×Fc，其中加权权值ωc的取值范围可设置为ωc∈[0.1,0.8]。
步骤5：基于空域前景概率谱图像Mprob计算时域前景概率普Mprob(t)。
设定大小为w(取值范围可设置为3～5)的时间滑动窗口，对窗口内的空域前景概率谱进行时域滤波，计算出当前时刻t的空域前景概率谱图像，即时域前景概率普其中ωi表示(t-i)时刻空域前景概率谱对应的权值：若i＜w-1，则ωi＝1/2i+1；否则ωi＝1/2w。
步骤6：计算最终前景掩膜Ffinal，即实现对车辆阴影的消除处理。
比较Mprob(t)与预设的前景置信度阈值Tc(取值范围可设置70～170)，计算出当前时刻t空域前景概率谱图像的最终前景掩膜Ffinal(t)，即若Mprob(t)＞Tc，则Ffinal(t)＝1；否则Ffinal(t)＝0。
步骤7：判断待处理视频是否结束，若否，则继续读入下一视频帧继续执行上述步骤；否则，对待处理视频的处理结束。
针对阴影面积大、强度高、分辨率低的三个测试视频序列Highway1，Highway2，Highway3，本发明与现有的八种方法(SP、SNP、DNM1、DNM2、Wang方法、Qiu方法、Ling方法、Choi方法)对车辆阴影消除的性能对比如表1所示。其中SP、SNP、DNM1、DNM2四种方法具体可参考文献“Prati A,Mikic I,Trivedi M M,et al.Detecting moving shadows:algorithms and evaluation[J].Pattern Analysis and Machine Intelligence,IEEETransactions on,2003,25(7):918-923.”；Wang方法可参考文献“王彬,冯远静,郭海峰等.交通场景中车辆的运动检测与阴影消除[J].中国图象图形学报,2012,17(11):1391-1399.”；Qiu方法可参考文献“邱一川,张亚英,刘春梅.多特征融合的车辆阴影消除[J].中国图象图形学报，2015,20(3):0311-0319.”；Ling方法可参考文献“Ling Z G,Lu X,Wang YN,et al.Adaptive moving cast shadow detection by integrating multiple cues[J].Chinese Journal of Electronics,2013,22(4):757-762.”；Choi方法可参考文献“Choi J,Yoo Y J.Adaptive shadow estimator for removing shadow of movingobject[J].Computer Vision and Image Understanding,2010,114(9):1017-1029.”。
表1
表1中，η表示阴影检测率、ξ表示阴影辨识率、F1表示阴影消除的综合指标，“*”表示没有可用于对比的实验数据。由表1可知，本发明在保障了较高的阴影辨识率的同时也维持了较高的阴影检测率，在综合性能上具有较大优势。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (2)

1.一种基于时空多特征的车辆阴影消除方法，其特征在于包括下列步骤：
步骤1：输入待处理视频帧I；
步骤2：对当前视频帧I的背景进行建模，得到背景图像B并计算对应的初始前景区域F0；
步骤3：分别计算色度、光谱方向、纹理三种特征的前景掩膜Fchr，Fphy，Ftex；
步骤301：计算色的特征的前景掩膜Fchr。
将视频帧I和背景图像B转换到色彩空间W，色彩空间W包括图像的亮度、色度信息；
对初始前景区域F0中的任意像素(x,y)计算视频帧I和背景图像B中的亮度比其中IV(x,y)、BV(x,y)表示视频帧I和背景图像B中像素(x,y)的亮度分量；
以及计算视频帧I和背景图像B中以任意像素(x,y)为中心、k1为半径的邻域的色度分量差分均值其中表示视频帧I和背景图像B中像素(x,y)的邻域内所有像素的色度分量累加和；
根据亮度比Vratio、Cavg计算色度特征的的阴影掩膜Schr以及对应的前景Fchr：
对任意像素(x,y)，若α≤Vratio≤β，且Cavg≤τC，则阴影掩膜Schr中对应像素值Schr(x,y)＝1；否则Schr(x,y)＝0，其中α、β分别表示亮度阈值的下限、上限，τC表示色度阈值；
对任意像素(x,y)，若Schr(x,y)＝0且F0(x,y)＝1，则前景掩膜Fchr中对应像素值Fchr(x,y)＝1；否则Fchr(x,y)＝0，其中F0(x,y)表示初始前景区域F0中像素(x,y)的像素值；
步骤302：计算光谱方向特征的前景掩膜Fphy：
对于初始前景区域F0中的任意前景像素(x,y)，计算(x,y)在视频帧I和背景图像B中RGB三个色彩通道的差分向量v(x,y)、以及v(x,y)与B(x,y)的模之比α(x,y)、v(x,y)的G分量vG(x,y)与R分量vR(x,y)的夹角θ(x,y)、以及B分量与v(x,y)模的夹角形成光谱方向特征其中
对初始前景区域F0中任意前景像素的光谱方向特征f(x,y)聚类得到阴影模型Ms(μ,σ2)，并计算基于光谱方向的阴影掩膜Sphy以及前景掩膜Fphy：
对任意像素(x,y)，若||f(x,y)-μ||＜σ2，则阴影掩膜Sphy中对应像素值Sphy(x,y)＝1；否则Sphy(x,y)＝0，其中，μ,σ2分别表示Ms(μ,σ2)的均值和方差；
对任意像素(x,y)，若Sphy(x,y)＝0且F0(x,y)＝1，则前景掩膜Fphy中对应像素值Fphy(x,y)＝1；否则Fphy(x,y)＝0；
步骤303：计算纹理特征的前景掩膜Ftex。
将初始前景区域F0转换到色彩空间W；
根据视频帧I和背景图像B中像素(x,y)的亮度分量IV(x,y)、BV(x,y)，以及色度分量IC(x,y)、BC(x,y)计算初选阴影掩膜SW：
若IV(x,y)＜BV(x,y)且|IC(x,y)-BC(x,y)|＜TC，则初选阴影掩膜SW中对应像素值SW(x,y)＝1；否则SW(x,y)＝0，其中TC表示色度差阈值；
计算频帧I和背景图像B的边缘图像Iedge和Bedge，并差分得到前景边缘像素集合Fedge；根据Fedge优化初选阴影SW得到边缘阴影掩膜Sedge：
对任意像素(x,y)，若Shsv(x,y)＝1且则边缘阴影掩膜Sedge中对应像素值Sedge(x,y)＝1；若Shsv(x,y)∈Ωk2(u,v)，则Sedge(x,y)＝0，其中Ωk2(u,v)表示以Fedge(u,v)为中心、k2为半径的邻域，Fedge(u,v)表示前景边缘像素集合Fedge中的任意像素(u,v)；
计算边缘阴影掩膜Sedge中每个连通域的前景与背景的梯度纹理特征夹角其中分别表示水平和竖直方向的梯度，上标F和B分别用于区分前景与背景；
统计Sedge中每个连通域中纹理特征与背景相近的像素及其所占比例其中n表示连通域像素总数，τα表示相似像素的数量阈值，H(·)表示阶跃函数；
计算纹理特征的阴影掩膜Stex对应的前景掩膜Ftex：
对任意像素(x,y)，若d＞Ttex，则阴影掩膜Stex中对应像素值Stex(x,y)＝1；否则Stex(x,y)＝0，其中Ttex表示相似度阈值；
对任意像素(x,y)，若Stex(x,y)＝1且F0(x,y)＝1，则前景掩膜Ftex中对应像素值Ftes(x,y)＝1；否则Ftes(x,y)＝0；
步骤4：基于色度、光谱方向、纹理三种特征的前景掩膜Fchr，Fphy，Ftex的加权求和得到空域前景概率谱图像其中ωc表示加权权值；
步骤5：基于空域前景概率谱图像Mprob计算时域前景概率普Mprob(t)：
基于大小为w的时间滑动窗口，对窗口内的空域前景概率谱进行时域滤波，计算出当前时刻t的空域前景概率谱图像，即时域前景概率普其中ωi表示(t-i)时刻空域前景概率谱对应的权值：若i＜w-1，则ωi＝1/2i+1；否则ωi＝1/2w；
步骤6：计算最终前景掩膜Ffinal，完成对车辆阴影的消除处理：
比较时域前景概率普Mprob(t)与前景置信度阈值Tc，计算出当前时刻t的空域前景概率谱图像的最终前景掩膜Ffinal(t)：若Mprob(t)＞Tc，则Ffinal(t)＝1；否则Ffinal(t)＝0。
2.如权利要求1所述的方法，其特征在于，步骤4中加权权值ωc的取值为0.1～0.8。
CN201610764066.7A 2016-08-30 2016-08-30 一种基于时空多特征的车辆阴影消除方法 Pending CN106339995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610764066.7A CN106339995A (zh) 2016-08-30 2016-08-30 一种基于时空多特征的车辆阴影消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610764066.7A CN106339995A (zh) 2016-08-30 2016-08-30 一种基于时空多特征的车辆阴影消除方法

Publications (1)

Publication Number Publication Date
CN106339995A true CN106339995A (zh) 2017-01-18

Family

ID=57822813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610764066.7A Pending CN106339995A (zh) 2016-08-30 2016-08-30 一种基于时空多特征的车辆阴影消除方法

Country Status (1)

Country Link
CN (1) CN106339995A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564017A (zh) * 2017-08-29 2018-01-09 南京信息工程大学 一种城市高分遥感影像阴影检测及分割方法
CN109166080A (zh) * 2018-08-16 2019-01-08 北京汽车股份有限公司 阴影的消除方法、装置和存储介质
CN110349099A (zh) * 2019-06-17 2019-10-18 武汉大学 一种复杂场景视频阴影检测与消除方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090003726A1 (en) * 2007-06-27 2009-01-01 Sungkyunkwan University Foundation For Corporate Collaboration Illumination normalizing method and apparatus
CN103035013A (zh) * 2013-01-08 2013-04-10 东北师范大学 一种基于多特征融合的精确运动阴影检测方法
CN105261021A (zh) * 2015-10-19 2016-01-20 浙江宇视科技有限公司 去除前景检测结果阴影的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090003726A1 (en) * 2007-06-27 2009-01-01 Sungkyunkwan University Foundation For Corporate Collaboration Illumination normalizing method and apparatus
CN103035013A (zh) * 2013-01-08 2013-04-10 东北师范大学 一种基于多特征融合的精确运动阴影检测方法
CN105261021A (zh) * 2015-10-19 2016-01-20 浙江宇视科技有限公司 去除前景检测结果阴影的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
柏祁林 等: "基于时空域多特征的车辆阴影检测与去除方法研究", 《中国科技论文在线》 *
邱一川 等: "多特征融合的车辆阴影消除", 《中国图象图形学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564017A (zh) * 2017-08-29 2018-01-09 南京信息工程大学 一种城市高分遥感影像阴影检测及分割方法
CN107564017B (zh) * 2017-08-29 2020-01-10 南京信息工程大学 一种城市高分遥感影像阴影检测及分割方法
CN109166080A (zh) * 2018-08-16 2019-01-08 北京汽车股份有限公司 阴影的消除方法、装置和存储介质
CN110349099A (zh) * 2019-06-17 2019-10-18 武汉大学 一种复杂场景视频阴影检测与消除方法

Similar Documents

Publication Publication Date Title
WO2022027931A1 (zh) 基于视频图像的运动车辆前景检测方法
CN106373096B (zh) 一种多特征权值自适应的阴影消除方法
CN111666834A (zh) 一种基于图像识别技术的森林火灾自动监测识别系统及方法
CN103258332B (zh) 一种抗光照变化的运动目标的检测方法
CN103971128A (zh) 一种面向无人驾驶车的交通标志识别方法
CN105160691A (zh) 基于颜色直方图的车身颜色识别方法
CN101783076A (zh) 一种视频监控模式下的快速车型识别方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN109670515A (zh) 一种用于无人机影像中建筑物变化的检测方法及系统
CN110598560A (zh) 基于神经网络增强的夜间监控识别方法和系统
CN105005766A (zh) 一种车身颜色识别方法
Yang et al. A vehicle license plate recognition system based on fixed color collocation
CN106127812A (zh) 一种基于视频监控的客运站非出入口区域的客流统计方法
CN105046653A (zh) 一种视频雨滴去除方法及系统
CN110782409B (zh) 一种去除多运动物体阴影的方法
CN105046218A (zh) 一种基于串并行处理的多特征交通视频烟雾检测方法
CN104933728A (zh) 一种混合运动目标检测方法
CN105335949A (zh) 一种视频图像去雨方法及系统
CN108335294A (zh) 复杂条件下的配电房异常状态图像识别方法
CN106339995A (zh) 一种基于时空多特征的车辆阴影消除方法
CN113989299A (zh) 一种基于k均值聚类的露天矿岩层图像分割方法
TW201032180A (en) Method and device for keeping image background by multiple gauss models
CN114881869A (zh) 一种巡检视频图像预处理方法
CN103680145B (zh) 一种基于局部图像特征的人车自动识别方法
CN101739678B (zh) 物体阴影的检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170118