CN107038690A - 一种基于多特征融合的运动阴影去除方法 - Google Patents
一种基于多特征融合的运动阴影去除方法 Download PDFInfo
- Publication number
- CN107038690A CN107038690A CN201710188213.5A CN201710188213A CN107038690A CN 107038690 A CN107038690 A CN 107038690A CN 201710188213 A CN201710188213 A CN 201710188213A CN 107038690 A CN107038690 A CN 107038690A
- Authority
- CN
- China
- Prior art keywords
- shade
- represent
- pixel
- lbp
- above formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000005286 illumination Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102000000584 Calmodulin Human genes 0.000 description 1
- 108010041952 Calmodulin Proteins 0.000 description 1
- 240000007509 Phytolacca dioica Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于多特征融合的运动阴影去除方法，首先根据颜色一致性原理初步去除运动区域中的阴影像素，在此基础上根据纹理不变性特征，利用局部二值模式进一步去除阴影；最后，根据光照特性基于统计学原理去除残存的阴影,并还原误判的前景像素。仿真结果表明：该方法可以在多种场景中有效地去阴影，准确地分割运动目标，适应性强，鲁棒性好。
Description
技术领域
本发明涉及图像处理技术领域，其涉及一种基于多特征融合的运动阴影去除方法。
背景技术
基于视频序列的运动目标检测是视频监控系统中的重要环节。通常采用背景差分法进行运动区域分离，由于运动阴影通常与运动目标具有相同的运动特征，在运动目标检测过程中常常将阴影误判为运动目标的组成部分，因此分离的运动区域通常伴有运动目标形状变化，甚至运动目标丢失等情况，影响后续视频处理环节的准确性。因此，阴影的检测与去除具有非常重要的现实意义。
常用的阴影去除方法大致可以分为两类：基于模型的阴影去除方法与基于特征的阴影去除方法。基于模型的阴影去除方法通常用来针对特定环境下的某一类目标物体(如高速公路上的车辆，室内的人体)，需要依赖目标与环境的先验信息，如：目标物体的形状，背景环境的光照情况等，总体而言，基于模型的阴影去除方法仅仅针对特定环境下的特定目标，因而存在很大的局限性。
与基于模型的阴影去除方法相比，基于特征的阴影去除方法不受应用环境的制约，是当前阴影去除方法的主流。基于特征的阴影去除方法根据阴影区域、背景图像、运动目标在亮度、颜色、纹理等特征上的差异实现运动目标与阴影的分离。亮度法根据阴影覆盖区域亮度会明显降低这一特性来检测阴影；基于亮度的阴影去除方法算法简单，计算量小，适用于光照条件良好，目标物体与阴影亮度差异较大的场景；在阴天，树荫等环境下效果下降明显。颜色法根据阴影覆盖区域R、G、B分量的值减少，但三者的比值不变这一特点来去除阴影。基于颜色的阴影去除方法可以直接在RGB颜色空间下去除阴影，过程简单，计算量小，但该方法要求目标物体颜色相对明亮，当目标颜色与黑色接近时如：黑色的车辆，穿黑衣的行人等，很容易被误判为阴影，因此鲁棒性较差。纹理法根据阴影覆盖前后区域的纹理特性不变这一假设来检测阴影，基于纹理的阴影去除方法能够适应各种光照环境，因此可以应用于多种场景，但对噪声比较敏感，且对于天空等灰度变化不明显的平坦区域效果较差。
基于单特征的阴影去除方法都具有一定的局限性，鲁棒性较差，仅仅依靠某一特征难以完整的去除阴影。为了克服单特征阴影去除方法的局限性，现有技术结合多种特征，提出了在各种场景下均能有效去除阴影的新方法；曹健，陈红倩，张凯，牛长峰.结合区域颜色和纹理的运动阴影检测方法[J].机器人，2011，9，33(5)：638-633提出了先根据纹理特征检测前景区域中的阴影，之后根据HSV空间下基于亮度特征的阴影检测方法再一次检测前景区域中的阴影，结合纹理与亮度特征弥补LBP纹理方法对平坦区域阴影检测的限制；但HSV空间下亮度特征的阴影检测方法存在阀值难以选取，计算量大的缺陷。Miao Qi，Jiangyan Dai，Qi Zhang，Jun Kong.Cascaded cast shadow detection method insurveillance scenes[J].Optik，2014，2，125(3)：1396-1400.提出了先根据纹理特征检测阴影，再根据亮度特征还原前一步中被误判为阴影的前景像素，该方法虽然还原了误判的前景像素，但是只根据纹理特征来检测阴影，因此依然存在根据纹理特征去除阴影像素的不足。文献Chu Tang，M.Omair Ahmad，Chunyan Wang.An efficient method of castshadow removal using multiple features[J].Signal，Image and Video Processing，2013，4(7)：695-703.提出了平行多特征的阴影去除方法，在多个特征下分别去除阴影得到各特征下的前景目标，然后合并所得的前景目标，得到最终的前景目标；该方法具有非常好的阴影去除效果，鲁棒性强，但计算量巨大，另外由于单特征检测的局限性根据各个特征所得的前景目标分量常常带有残余的阴影像素，因而需要进行形态学操作等后续处理步骤。
发明内容
本发明的目的在于解决上述现有技术存在的缺陷，提供一种多特征融合的阴影去除算法。
一种基于多特征融合的运动阴影去除方法，包括以下步骤：
步骤一：通过混合高斯法建立背景模型，利用背景差分法提取运动区域；
步骤二：根据颜色一致性原理初步去除运动区域中的阴影像素；
步骤三：在步骤二基础上根据纹理不变性特征，利用局部二值模式进一步去除阴影；
步骤四：根据光照特性基于统计学原理去除残存的阴影,并还原误判的前景像素。
进一步地，如上所述的基于多特征融合的运动阴影去除方法，步骤一中所示利用背景差分法提取运动区域包括：
将当前帧与对应的背景模型进行差分运算，得到对应的运动区域：
Fk(x,y)＝|Ik(x,y)-Bk(x,y)|
上式中Fk(x,y)表示前景图像，Ik(x,y)为视频帧图像，Bk(x,y)为对应的背景图像。
进一步地，如上所述的基于多特征融合的运动阴影去除方法，对下式中所得到的前景图像进行二值化操作：
上式中Zk(x,x)为最终的二值化图像，Totsu为根据otsu法得到的分割阀值。
进一步地，如上所述的基于多特征融合的运动阴影去除方法，步骤一中所述通过混合高斯法建立背景模型包括：
视频帧I由背景BG与前景FG两部分表示，设x(i)表示第i帧图像的RGB颜色空间的三通道值，选择某一合适的时间长度T，假设当前视频帧所处时间为t，则在t时刻像素x的训练集为Xt＝{x(t),x(t-1),......,x(t-T)}；
图像中像素x的分布用可用M(一般M≤5,本文中为3)个相互独立的高斯分布来表示：
上式中表示各个高斯分量的平均值，为对应高斯分量的协方差矩阵，表示各个高斯分量的混合权值，所有的混合权值都是非负的，并且和为1；
背景模型的更新公式如下：
上式中常数α表示更新系数，即旧数据对背景更新的影响，一般的取α≈1/T，为x(t)中第m个高斯分量的隶属度，当为所有混合权值中的最大值时，否则 表示样本与第m个高斯分布的平方距离，当样本与某个高斯分量的马氏距离小于3倍标准差时，认为该高斯分量符合匹配条件，此时删除混合权值最小的高斯分量，B为最终得到的背景模型，cf表示前景目标所占的比重。
进一步地，如上所述的基于多特征融合的运动阴影去除方法，步骤二包括：
基于颜色特征的阴影像素判据为：
上式中p(x,y)表示前景区域中(x,y)处的像素；
其中，判定运动区域(x,y)处像素为阴影的表达式为：
上式中RF,GF,BF为运动区域的R、G、B值；T1为设定的阀值；RB(x,y),GB(x,y),BB(x,y)分别代表背景图像在(x,y)处的R、G、B值。
进一步地，如上所述的基于多特征融合的运动阴影去除方法，步骤三包括：
根据LBP纹理特征的阴影判定方法如下：
上式中S2(x)为根据纹理特征的得到的阴影二值化图像，LBPF(x)为经过基于颜色特征处理方法处理后的运动区域中像素的LBP值，LBPB(x)为背景图像中像素的LBP值。
上述基于多特征融合的运动阴影去除方法中所述LBP为经过改良后的算子，其改进方法为：
设gc为(x0,y0)处像素的灰度值，划定以(x0,y0)为中心，半径为R的像素邻域，则(x0,y0)处的LBP算子定义如下：
上式中P表示以(x0,y0)为中心，半径为R的邻域中像素的个数，gp表示像素点的灰度值；
对LBP算子加以改良：
上式中TLBP为减少噪声干扰设置的幅值判定条件，可根据噪声的幅值相应的调整TLBP的大小。
进一步地，如上所述的基于多特征融合的运动阴影去除方法，步骤四中根据统计学原理基于亮度特征的判定条件如下所示：
上式中S3(x,y)表示运动区域中符合判定条件的阴影像素，O3(x,y)表示所得阴影中还原的前景像素，IO(x,y)、IB(x,y)、IS(x,y)分别表示运动区域、背景图像、阴影在(x,y)处的亮度，μ1为IO/IB的算数平均值，μ2表示IS/IB的算术平均值，σ1表示IO/IB的标准差，σ2表示IS/IB的标准差，D1，D2为置信度系数，IO代表前景目标的亮度，IB代表背景亮度，IS代表阴影亮度；
根据亮度特征可得最终的前景目标与阴影区域可以表示为：
OF＝O+O3-S3
SF＝S+S3-O3
上式中，OF表示最终的前景目标，SF表示最终的阴影区域，O基于LBP的纹理特征分析后得到的前景区域，S表示所得到的的阴影区域。
有益效果：
本发明针对视频监控系统中运动目标检测存在的移动阴影问题，从颜色、纹理和亮度三个方面进行分析，可以在多种场景中有效地去阴影，准确地分割运动目标，适应性强，鲁棒性好。
附图说明
图1为本发明基于多特征融合的运动阴影去除方法流程图；
图2为基于颜色特征的阴影去除示意图；
其中，(a)为highway场景第372帧视频图像；(b)为背景图像；(c)为二值化背景差分图像；(d)为阴影区S1；(e)为根据颜色特征去除阴影后的二值图像；
图3为LBP纹理描述图；
图4为基于纹理特征的阴影去除示意图；
其中，(f)为对2.1中所得前景图像根据LBP纹理特征去除阴影后的结果；(g)为阴影区S2；
图5为根据本发明方法得到的最终结果图；
其中，(h)为最终的前景目标OF；(i)为阴影SF；
图6为highway场景第778帧图像处理结果；
其中，(a)为第778帧图像；(b)为背景图像；(c)为背景差分图像；(d)为对比文件1中结果；(e)为对比文件2中结果；(f)为对比文件3中结果；(g)为本发明方法结果；
图7backdoor场景第1445帧图像处理结果；
其中，(a)第1445帧图像；(b)背景图像；(c)背景差分图像；(d)对比文件1中结果；(e)对比文件2中结果；(f)对比文件3中结果；(g)本发明方法结果；
图8bungalows场景第141帧图像处理结果；
其中，(a)第141帧图像；(b)背景图像；(c)背景差分图像；(d)对比文件1中结果；(e)对比文件2中结果；(f)对比文件3中结果；(g)本发明方法结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种多特征融合的阴影去除算法。首先利用背景差分法分离运动区域，然后根据颜色特征粗略去除阴影，再通过分析纹理特征进一步检测阴影像素，最后基于亮度特征，根据统计学的方法剔除所得前景区域中残存的阴影像素，还原阴影区域中误判的前景像素。
1提取运动区域
在视频监控系统中，运动区域的提取是视频处理的第一步。常用的运动区域提取方法有：背景差分法、帧间差分法、光流法。背景差分法由于其原理简单，易于实现，实时性好被广泛应用于视频监控系统中，本发明采用背景差分方法提取运动区域。
1.1建立背景模型
背景模型的建立是背景差分法的关键，本发明提出一种自适应的混合高斯算法有效能够地克服传统的混合高斯法存在的“鬼影”问题，较好的建立背景模型，本发明采用该方法建立背景模型。
视频帧I可由背景BG与前景FG两部分表示，设x(i)表示第i帧图像的RGB颜色空间的三通道值，选择某一合适的时间长度T，假设当前视频帧所处时间为t，则在t时刻像素x的训练集为Xt＝{x(t),x(t-1),......,x(t-T)}。
图像中像素x的分布用可用M(一般M≤5,本文中为3)个相互独立的高斯分布来表示：
式(1)中表示各个高斯分量的平均值，为对应高斯分量的协方差矩阵，表示各个高斯分量的混合权值，所有的混合权值都是非负的，并且和为1。
背景模型的更新公式如下：
上式中常数α表示更新系数，即旧数据对背景更新的影响，一般的取α≈1/T，为x(t)中第m个高斯分量的隶属度，当为所有混合权值中的最大值时，否则 表示样本与第m个高斯分布的平方距离，当样本与某个高斯分量的马氏距离小于3倍标准差时，认为该高斯分量符合匹配条件，此时删除混合权值最小的高斯分量，B为最终得到的背景模型，cf表示前景目标所占的比重。
1.2背景差分
建立好背景模型之后，将当前帧与对应的背景模型进行差分运算，得到对应的运动区域：
Fk(x,y)＝|Ik(x,y)-Bk(x,y)|(8)
上式中Fk(x,y)表示前景图像，Ik(x,y)为视频帧图像，Bk(x,y)为对应的背景图像。
得到差分图像后为了更清晰的表示运动区域，对(8)中所得到的前景图像进行二值化操作：
上式中Zk(x,x)为最终的二值化图像，T otsu为根据otsu法得到的分割阀值。
2多特征融合的阴影去除方法
本文的阴影去除算法流程图如图1所示。首先根据背景差分方法得到包含阴影的运动区域，然后根据颜色特征，对所得的运动区域在RGB颜色空间下初步去除阴影，之后根据纹理特征利用LBP算子，进一步去除阴影，最后针对前景区域中残存的阴影像素(如：阴影边缘)以及上述阴影去除步骤中存在的阴影误判现象，根据亮度特征基于统计学原理，检测残存的阴影像素，还原误判的前景像素。
2.1基于RGB的颜色特征分析
在正常的光照条件下，阴影主体部分的颜色与对应背景区域的颜色是一致的，即R、G、B分量各自所占的比例与背景区域是相同的，但阴影主体中R、G、B值小于对应背景区域的R、G、B的值，这种特征被称为阴影与背景区域颜色的一致性，上述颜色的一致性特征可以表示为：
上式中RB(x,y),GB(x,y),BB(x,y)分别代表背景图像在(x,y)处的R、G、B值。RS,BS,GS代表阴影区域在(x,y)处的R、G、B值。由(10)可知阴影区域的R、G、B值均小于对应背景区域的R、G、B值，则判定运动区域(x,y)处像素为阴影的表达式为：
(11)中RF,GF,BF为运动区域的R、G、B值。T1为设定的阀值。事实上阴影区域与背景区域对应像素的R、G、B的差值各不相同，因而仅仅设置一个阀值并不准确，但是多个阀值不仅增加了算法的复杂程度，阀值的选取也很困难；针对这一问题，本发明采用递进式结构从三个特征方面依次对阴影像素进行剔除，某些特征并不明显的阴影像素在另一个特征中可能十分典型，因此可以采用简单阀值的方法去除颜色特征非常明显的阴影像素。本发明中基于颜色特征的阴影像素判据为：
上式中p(x,y)表示前景区域中(x,y)处的像素。
图2为对开源图库change detection中的highway场景中第372帧图像采用本文中基于颜色特征的阴影去除方法处理所得到的结果，其中T1取值为60。从仿真结果中可以看出，根据颜色特征仅仅能去除部分阴影，因此需要根据纹理特征和亮度特征筛除剩余的阴影像素。
2.2基于LBP的纹理特征分析
阴影区域与对应的背景区域具有相似的纹理特征，而背景与运动目标在纹理上却存在明显的差异，因此可以利用该特点来检测运动区域中的阴影像素，上述特征简称为背景与阴影的纹理不变性。LBP(Local Binary Pattern)是基于像素及其周围邻域灰度关系的纹理描述算子。设gc为(x0,y0)处像素的灰度值，划定以(x0,y0)为中心，半径为R的像素邻域，则(x0,y0)处的LBP算子定义如下：
上式中P表示以(x0,y0)为中心，半径为R的邻域中像素的个数，gp表示像素点的灰度值。由(13)可知某个区域的纹理可以由P位的二进制编码表示，P值越大描述越准确，但同时也会增加计算量，本文中取P＝4,R＝1，LBP纹理描述图如图3所示：
由于LBP算子对噪声敏感，较小的噪声波动就会对检测结果造成较大的干扰，导致错误的判定；因此必须对LBP算子加以改良，以增强其抗干扰能力：
上式中TLBP为减少噪声干扰设置的幅值判定条件，可根据噪声的幅值相应的调整TLBP的大小，一般情况下TLBP在[1,10]中取值。
需要注意的是：若背景的某部分本身就处于环境阴影中，像素及其邻域的灰度相同，运动阴影覆盖此处并不会改变其LBP值，因而其LBP值为0。因此根据LBP纹理特征的阴影判定方法如下：
上式中S2(x)为根据纹理特征的得到的阴影二值化图像，LBPF(x)为经过2.1中方法处理后的运动区域中像素的LBP值，LBPB(x)为背景图像中像素的LBP值。
对2.1中根据颜色特征去除部分阴影之后的前景图像使用LBP方法进一步去除阴影，得到仿真结果如图4所示，其中TLBP＝4。由仿真可见：被车头遮盖的阴影部分其颜色特征并不明显纹理特征却十分显著；然而挡风玻璃以及车头等灰度相近本应属于运动目标的组成部分，均被误判为阴影，而阴影边缘依然存在。因此，须进一步对残存的阴影像素根据亮度特征进行检测、消除，并还原误判的前景像素。
2.3基于统计学原理的亮度特征分析
图像中(x,y)处像素的亮度定义如下：
I(x,y)＝∫λE(λ,x,y)R(λ,x,y)Q(λ,x,y)dλ (16)
上式中λ为光的波长，I(x,y)表示(x,y)处像素的亮度，E(λ,x,y)为光照强度函数，Q(λ,x,y)表示摄像机传感器的灵敏度，R(λ,x,y)表示物体表面的反射系数，与物体的材料构成有关。因为处于非阴影区域的像素其光照强度由环境光照与光源光照共同产生，而对于阴影区域处像素其光强仅仅由环境光照产生；所以图像中由波长为λk的光所产生的亮度可以表示为：
上式中代表前景目标的亮度，代表背景亮度，代表阴影亮度，代表环境光强，代表光源光强，RO代表前景目标的反射系数，RB代表背景的反射系数。由(17)可得：
由(18)可知前景目标的亮度与背景亮度的比值IO/IB仅仅与二者的反射系数有关；阴影处亮度与背景亮度的比值IS/IB则由环境光照与光源光照决定；因此前景目标与背景的亮度比值跟阴影与背景的亮度比值不同，且二者均为常数。由于外界噪声的存在，IO/IB与IS/IB的值应该大致符合高斯分布，且相互独立，因此可以利用统计学的方法对2.2中残存的阴影边缘与误判的前景像素进行处理。
根据统计学原理基于亮度特征的判定条件如下所示：
上式中S3(x,y)表示运动区域中符合判定条件的阴影像素，O3(x,y)表示从前文所得阴影中还原的前景像素，IO(x,y)、IB(x,y)、IS(x,y)分别表示运动区域、背景图像、阴影在(x,y)处的亮度，μ1为IO/IB的算数平均值，μ2表示IS/IB的算术平均值，σ1表示IO/IB的标准差，σ2表示IS/IB的标准差，D1，D2为置信度系数，从图4中可以看出，运动区域中仅仅残存的极少量阴影像素，因此取D1＝1.96；而阴影区域中包含相对较多的前景像素，取D2＝1。
根据亮度特征可得最终的前景目标与阴影区域可以表示为：
上式中，OF表示最终的前景目标，SF表示最终的阴影区域，O表示2.2中得到的前景区域，S表示前述步骤中所得到的的阴影区域。图5为最终的仿真结果，由图5可以看出该分析方法可以有效的去除残余的阴影像素，还原被误判的前景像素。
3仿真分析
为了验证算法在不同场景中的性能，分别选取开源图库change detection中的highway，backdoor，bungalows等三个场景进行实验。Highway场景为高速公路实景拍摄，光照情况良好，阴影较为明显；backdoor场景为处于树荫环境下的街道，光照变化较为频繁，包含较多的噪声；bungalows场景处于太阳直射的公路，光照强烈，摄像头近距离拍摄公路，图像中含有大面积的阴影；本发明中的实验算法采用MTLAB2015a编写，平台环境为IntelPentium 2.4GHz处理器，2G RAM。
选取现有技术中基于亮度特征的方法作为对比文件1，现有技术中基于RGB颜色空间的方法作为对比文件2，现有技术中平行多特征的方法作为对比文件3与本发明所提出的基于多特征融合的方法进行对比试验。图6、图7、图8为分别为对highway场景第778帧，backdoor场景第1445帧，bungalows场景第141帧图像的处理结果，其中(a)为原始图像，(b)为对应的背景图像，(c)为背景差分的二值图像，(d)为根据对比文件1中方法的处理结果，(e)为根据对比文件2中的处理结果，(f)为根据对比文件3中方法的处理结果，(g)为根据本发明中的方法所得到的结果。表1为上述算法在各个场景中的平均处理速度。
表一三个场景下每帧图片的平均处理时间(S)
其中，对比文件6来自ChunTing Chen，ChungYen Su，WenChung Kao.An enhancedsegmentation on vision-based shadow removal for vehicle detection.In：Proceedings of the International Conference Green Circuits and Systems，2010，679-682.对比文件7来自Elena Salvador，Andrea Cavallaro，Toutadj Ebrahimi.Castshadow segmentation using invariant color features[J].Computer Vision andImage Understanding，2004，95(2)，238-259.对比文件11来自Chu Tang，M.Omair Ahmad，Chunyan Wang.An efficient method of cast shadow removal using multiplefeatures[J].Signal，Image and Video Processing，2013，4(7)：695-703。
由图6-8以及表1可以看出，在光照情况良好情况下(如图6中的highway)，虽然对比文件1与对比文件2中方法存在无法消除阴影边缘与部分前景像素误判的情况，但并不影响阴影去除的总体效果，上述4种方法均能有效地去除阴影。对于图7中光照变化频繁，运动目标颜色与阴影相近的场景，对比文件2中基于RGB颜色特征的方法几乎没有任何效果；对于图8中阴影中包含大面积本影的情况，对比文件1中基于亮度特征的方法很容易将前景像素误判为阴影，造成大面积的空洞现象，因此上述两种方法均只适用于光照，颜色条件等比较明显的环境，鲁棒性较差。对比文件3中平行多特征的阴影去除方法在三种场景中均能有效的去除阴影，鲁棒性强；但是该算法中涉及多处阀值的选取，难以调节，另外该方法中对阴影边缘等部分采用形态学方法进行处理，在不同场景下需要更换不同的模板，加大了处理过程的繁琐程度，也不利于将该算法应用于工程实际中，相对而言本发明中的阴影去除方法根据阴影特征分析阴影像素，不需要借助其它方法，可以直接应用于多种环境场景中，另外与对比文件3中方法相比本发明方法在实时性上更具有优越性。综上所述本发明所提出的多特征融合的方法阴影去除效果明显，鲁棒性强，能应用于各种场景中。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于多特征融合的运动阴影去除方法，其特征包括以下步骤：
步骤一：通过混合高斯法建立背景模型，利用背景差分法提取运动区域；
步骤二：根据颜色一致性原理初步去除运动区域中的阴影像素；
步骤三：在步骤二基础上根据纹理不变性特征，利用局部二值模式进一步去除阴影；
步骤四：根据光照特性基于统计学原理去除残存的阴影,并还原误判的前景像素。
2.根据权利要求1所述的基于多特征融合的运动阴影去除方法，步骤一中利用背景差分法提取运动区域包括：
将当前帧与对应的背景模型进行差分运算，得到对应的运动区域：
Fk(x,y)＝|Ik(x,y)-Bk(x,y)|
上式中Fk(x,y)表示前景图像，Ik(x,y)为视频帧图像，Bk(x,y)为对应的背景图像。
3.根据权利要求2所述的方法，对上式中所得到的前景图像进行二值化操作：
上式中Zk(x,x)为最终的二值化图像，Totsu为根据otsu法得到的分割阀值。
4.根据权利要求1-3任一所述的方法，步骤一中所述通过混合高斯法建立背景模型包括：
视频帧I由背景BG与前景FG两部分表示，设x(i)表示第i帧图像的RGB颜色空间的三通道值，选择某一合适的时间长度T，假设当前视频帧所处时间为t，则在t时刻像素x的训练集为Xt＝{x(t),x(t-1),......,x(t-T)}；
图像中像素x的分布用可用M(一般M≤5,本文中为3)个相互独立的高斯分布来表示：
上式中表示各个高斯分量的平均值，为对应高斯分量的协方差矩阵，表示各个高斯分量的混合权值，所有的混合权值都是非负的，并且和为1；
背景模型的更新公式如下：
上式中常数α表示更新系数，即旧数据对背景更新的影响，一般的取α≈1/T，为x(t)中第m个高斯分量的隶属度，当为所有混合权值中的最大值时，否则表示样本与第m个高斯分布的平方距离，当样本与某个高斯分量的马氏距离小于3倍标准差时，认为该高斯分量符合匹配条件，此时删除混合权值最小的高斯分量，B为最终得到的背景模型，cf表示前景目标所占的比重。
5.根据权利要求1所述的方法，步骤二包括：
基于颜色特征的阴影像素判据为：
上式中p(x,y)表示前景区域中(x,y)处的像素；
判定运动区域(x,y)处像素为阴影的表达式为：
上式中RF,GF,BF为运动区域的R、G、B值；T1为设定的阀值；RB(x,y),GB(x,y),BB(x,y)分别代表背景图像在(x,y)处的R、G、B值。
6.根据权利要求1所述的方法，步骤三包括：
根据LBP纹理特征的阴影判定方法如下：
上式中S2(x)为根据纹理特征的得到的阴影二值化图像，LBPF(x)为经过基于颜色特征处理方法处理后的运动区域中像素的LBP值，LBPB(x)为背景图像中像素的LBP值。
7.权利要求6所述LBP为经过改良后的算子，其改进方法为：
设gc为(x0,y0)处像素的灰度值，划定以(x0,y0)为中心，半径为R的像素邻域，则(x0,y0)处的LBP算子定义如下：
上式中P表示以(x0,y0)为中心，半径为R的邻域中像素的个数，gp表示像素点的灰度值；
对LBP算子加以改良：
上式中TLBP为减少噪声干扰设置的幅值判定条件，可根据噪声的幅值相应的调整TLBP的大小。
8.根据权利要求1所述的方法，步骤四中根据统计学原理基于亮度特征的判定条件如下所示：
上式中S3(x,y)表示运动区域中符合判定条件的阴影像素，O3(x,y)表示所得阴影中还原的前景像素，IO(x,y)、IB(x,y)、IS(x,y)分别表示运动区域、背景图像、阴影在(x,y)处的亮度，μ1为IO/IB的算数平均值，μ2表示IS/IB的算术平均值，σ1表示IO/IB的标准差，σ2表示IS/IB的标准差，D1，D2为置信度系数，IO代表前景目标的亮度，IB代表背景亮度，IS代表阴影亮度；
根据亮度特征可得最终的前景目标与阴影区域可以表示为：
OF＝O+O3-S3
SF＝S+S3-O3
上式中，OF表示最终的前景目标，SF表示最终的阴影区域，O基于LBP的纹理特征分析后得到的前景区域，S表示所得到的的阴影区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710188213.5A CN107038690B (zh) | 2017-03-27 | 2017-03-27 | 一种基于多特征融合的运动阴影去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710188213.5A CN107038690B (zh) | 2017-03-27 | 2017-03-27 | 一种基于多特征融合的运动阴影去除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107038690A true CN107038690A (zh) | 2017-08-11 |
| CN107038690B CN107038690B (zh) | 2020-04-28 |
Family
ID=59534543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710188213.5A Active CN107038690B (zh) | 2017-03-27 | 2017-03-27 | 一种基于多特征融合的运动阴影去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107038690B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349099A (zh) * | 2019-06-17 | 2019-10-18 | 武汉大学 | 一种复杂场景视频阴影检测与消除方法 |
| CN110428440A (zh) * | 2019-07-23 | 2019-11-08 | 浙江树人学院（浙江树人大学） | 一种基于灰度方差的阴影检测方法 |
| DE102022206328B3 (de) | 2022-04-19 | 2023-02-09 | Continental Autonomous Mobility Germany GmbH | Verfahren für ein Kamerasystem sowie Kamerasystem |
| WO2023202844A1 (de) | 2022-04-19 | 2023-10-26 | Continental Autonomous Mobility Germany GmbH | Verfahren für ein kamerasystem sowie kamerasystem |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103035013A (zh) * | 2013-01-08 | 2013-04-10 | 东北师范大学 | 一种基于多特征融合的精确运动阴影检测方法 |
-
2017
- 2017-03-27 CN CN201710188213.5A patent/CN107038690B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103035013A (zh) * | 2013-01-08 | 2013-04-10 | 东北师范大学 | 一种基于多特征融合的精确运动阴影检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZORAN ZIVKOVIC: ""Improved Adaptive Gaussian Mixture Model for Background Subtraction"", 《百度文库》 * |
| 潘兆华: ""智能视频监控中的运动目标检测相关技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 黄敏: ""基于视频的运动目标检测研究"", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349099A (zh) * | 2019-06-17 | 2019-10-18 | 武汉大学 | 一种复杂场景视频阴影检测与消除方法 |
| CN110428440A (zh) * | 2019-07-23 | 2019-11-08 | 浙江树人学院（浙江树人大学） | 一种基于灰度方差的阴影检测方法 |
| DE102022206328B3 (de) | 2022-04-19 | 2023-02-09 | Continental Autonomous Mobility Germany GmbH | Verfahren für ein Kamerasystem sowie Kamerasystem |
| WO2023202844A1 (de) | 2022-04-19 | 2023-10-26 | Continental Autonomous Mobility Germany GmbH | Verfahren für ein kamerasystem sowie kamerasystem |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107038690B (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Silva et al. | Near real-time shadow detection and removal in aerial motion imagery application | |
| CN109165577B (zh) | 一种基于视频图像的早期森林火灾检测方法 | |
| Salvador et al. | Shadow identification and classification using invariant color models | |
| Sanin et al. | Shadow detection: A survey and comparative evaluation of recent methods | |
| Salvador et al. | Cast shadow segmentation using invariant color features | |
| Yao et al. | Multi-layer background subtraction based on color and texture | |
| CN103035013B (zh) | 一种基于多特征融合的精确运动阴影检测方法 | |
| Ajmal et al. | A comparison of RGB and HSV colour spaces for visual attention models | |
| Singh et al. | Local contrast and mean based thresholding technique in image binarization | |
| CN107038690A (zh) | 一种基于多特征融合的运动阴影去除方法 | |
| Russell et al. | An evaluation of moving shadow detection techniques | |
| Huerta et al. | Chromatic shadow detection and tracking for moving foreground segmentation | |
| CN108921857A (zh) | 一种面向监视场景的视频图像焦点区域分割方法 | |
| Murali et al. | A survey on shadow detection techniques in a single image | |
| CN110188693B (zh) | 改进的复杂环境车辆特征提取和停车判别方法 | |
| Dhingra et al. | Clustering-based shadow detection from images with texture and color analysis | |
| McFeely et al. | Shadow identification for digital imagery using colour and texture cues | |
| Maheen et al. | Machine learning algorithm for fire detection using color correlogram | |
| Madsen et al. | Shadow detection in dynamic scenes using dense stereo information and an outdoor illumination model | |
| Panchal et al. | A comprehensive survey on shadow detection techniques | |
| Sun et al. | Retinex theory‐based shadow detection and removal in single outdoor image | |
| Das et al. | A survey on shadow detection and removal in images | |
| Das et al. | A novel shadow detection method using fuzzy rule based model | |
| KR101617182B1 (ko) | 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 방법 및 장치 | |
| Musleh et al. | A comparative study on shadow detection methods based on features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210127 Address after: 313310 Room 502, building 1, Wufu Road, tianzihu Town, Anji County, Huzhou City, Zhejiang Province Patentee after: Zhejiang Robby Technology Co.,Ltd. Address before: 411105 College of information engineering, Xiangtan University, Yuhu District, Xiangtan City, Hunan Province Patentee before: XIANGTAN University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230424 Address after: Room 517, Building 5 (Building 4), No. 33 Xinwen Road, Gongshu District, Hangzhou City, Zhejiang Province, 310000 Patentee after: Hangzhou Guangying Writing Technology Co.,Ltd. Address before: 313310 Room 502, building 1, Wufu Road, tianzihu Town, Anji County, Huzhou City, Zhejiang Province Patentee before: Zhejiang Robby Technology Co.,Ltd. |