CN109544605B - 基于时空关系建模的移动阴影检测方法 - Google Patents
基于时空关系建模的移动阴影检测方法 Download PDFInfo
- Publication number
- CN109544605B CN109544605B CN201810497909.0A CN201810497909A CN109544605B CN 109544605 B CN109544605 B CN 109544605B CN 201810497909 A CN201810497909 A CN 201810497909A CN 109544605 B CN109544605 B CN 109544605B
- Authority
- CN
- China
- Prior art keywords
- shadow
- region
- area
- frame
- regions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 239000004576 sand Substances 0.000 claims description 4
- 238000005457 optimization Methods 0.000 abstract description 18
- 230000000694 effects Effects 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
目前的移动阴影检测算法检测结果不够理想的问题，本发明提供基于时空关系建模的移动阴影检测方法，该方法利用HSV颜色空间和LBP纹理特征相结合的阴影特征，在阴影区域两步预检测的基础上，通过计算区域阴影程度的似然概率和其在帧内相邻域基于阴影特征两步特征分项比较和帧间相邻区域基于区域面积加权相结合得到的先验概率，实现基于马尔可夫随机场的迭代优化式阴影区域分割求解。实验结果表明，对于视频中移动阴影的检测，该方法有很好的效果。
Description
技术领域
本发明属于图像处理技术领域，具体涉及基于时空关系建模的移动阴影检测方法。
背景技术
阴影在视频中常伴着运动目标一起出现，可以反映出前景目前的运动特征；作为一种和前景目标一起运动的伴随物，阴影也常因难以与前景区分而影响视频目标检测、跟踪和识别等的效果。因此，有效的检测识别视频中的前景目标阴影是非常重要和有意义的。根据所在位置，阴影可分为两类：一种是因物体本身部分未受光照而形成的自阴影(self-shadow)；另外一种是光被物体遮挡后在背景区域产生的投射阴影(cast shadow)。本发明主要是针对后者——投射阴影，特别的，本发明研究视频中伴着移动物体产生时的投射阴影即移动阴影的检测问题。
移动阴影检测在国内外学者已经研究多年。从刚开始采用单一的颜色信息，到几何、纹理与颜色等多种信息组合，再到物理模型、深度学习，阴影检测的研究愈发深入，但要得到一个鲁棒的解决方案并非易事。相较针对图像的阴影检测，视频特有的时间信息常常被忽略。即使考虑时间关系，也多采用直接阈值类直观的方法或者将阴影检测和前景检测都要考虑的三分割方法，存在适应性差和前景阴影相互影响的现象，因此，还缺少有效根据时空特征实现专门针对阴影区域的检测方法。
发明内容
本发明从能量优化的角度，引入时空约束，提出了一种基于时空关系建模的移动阴影检测方法。该方法运用HSV颜色空间和LBP相结合纹理特征，在新的两步阴影区域预检测的基础上，将无亮度的阴影特征用于似然概率计算，并与相邻区域的同一帧内基于阴影特征分项比较的先验概率和相邻帧间基于区域面积加权的先验概率计算相结合，运用马尔可夫随机场(Markov random field，MRF)进行优化求解，实现移动阴影的优化检测。本发明具体如下：
基于时空关系建模的移动阴影检测方法，按如下步骤进行：
步骤1：初始化背景；
步骤2：读取当前帧；
步骤3：采用HSV法和LBP法的两步预处理；该步骤的具体方法为：使用mean-shift将当前处理图像进行区域分割，获得多个视频区域，然后分两步分别对颜色和纹理进行阴影区域与否的判断，从而得到初始阴影种子：
通过HSV颜色空间分离出当前处理图像的色度和强度，即获取当前处理图像的明暗信息；
通过LBP法获得当前处理图像的纹理信息；
设当前处理图像包含个i区域，i的取值由mean-shift算法确定，每个区域均由明暗信息和纹理信息描述，则区域i的HSV和LBP联合的阴影特征Qi＝(Hi,Si,Vi,Li)，
其中：Hi、Si、Vi表示区域i的三通道均值，Li表示区域LBP特征向量；
若用C代表当前处理图像，用B代表背景，则：C中阴影区域可表示为
和其对应的背景区域可表示为
满足如下条件的
即可选作侯选的阴影区域：
随后，对每一个区域作LBP直方图，得出特征向量；然后计算当前帧的区域LBP特征向量与对应的背景区域LBP特征向量的欧式距离，通过阈值τl判断，确定阴影区域：
步骤4：进行基于无强度阴影特征的似然概率计算；不考虑阴影特征的强度部分，这样就得到无强度的阴影特征，即对于第i个区域Ri，其无强度特征Q′i＝{Hi,Si,Li}；Ri是指每个区域；
步骤5：进行帧内基于阴影特证分项比较的先验概率计算；该步骤具体为：以区域Rj的标签Aj作为参考,Rj同于Ri的定义；则
相对于Rj的标签
是：
其中：‖·‖表示2-范式；θ(·)和η(·)是单改进的赫维赛德阶跃函数阶梯函数：
θ(·)表示为如果区域i和j的特征距离小于或等于εl，则返回值为1；若θ(·)大于εl，则为0；
η(·)表示为果区域Ri和Rj的亮度值的差小于或等于εv，则返回值为1；若η(·)大于εv，则为-1；
通过对当前区域Ri周围的多个相邻区域进行比较，得到相邻区域的判断标签；这些判断标签被赋值为-1、0或1；其中，1为阴影；-1为非阴影；0为不能确定；针对这些判断标签，统计阴影和非阴影标签的个数，可计算出
作为阴影或非阴影的先验概率：
其中，函数Z(·)为kronecker delta函数，表示如下：
先验概率ψi(Ai)即为帧内基于阴影特征分项比较的先验概率值；
步骤6：进行帧间基于区域面积加权的先验概率计算；该步骤具体为：假设：
表示第t帧
的特征值Qi，得到
与其对应范围内最接近的k个阴影区域距离之和
其中：d∈{1,-1}表示含有阴景和非阴影两个标签类信合；w(i,j)表示为
和
的阴影特征距离加权系数；
以ui表示
的面积，以uj表示
的面积，则w(i,j)可按如下公式计算：
得到如下
的阴影和非阴景先验概率
ξi(Ai)即为帧间基于区域面积加权统计的先验概率值；
步骤7：利用MRF模型计算阴影分割结果；该步骤具体为：
设全图像的区域集合为M，总个数为N，当前标签集合为
其中(A′i∈{-1,1},i＝1,2,…,N)；
目标是在已知观测数据A′的条件下，去求解最优的状态场
也就是最大化
有：
如果单一区域似然统计量
表示，则可以推导出
假设帧内区域和帧间区域匹配得到的阴影与非阴影概率分别用ψi(Ai)和ξi(Ai)表示，那么可用两者加权之和βψi(Ai)+γξi(Ai)表示相邻区域关系并作为势函数，有：
这样可以得到视频帧的标签
为：
公式(15)可以简化为：
其中，α和δ是参数，表示似然能量和与先验能量的权重系数；花写的
表示由A1,A2,…,AN构成的集合；
步骤8：判断是否获得最佳分割；
如是，进入步骤9；
如不是，返回步骤4；
步骤9：输出当前帧的阴影检测结果；如处理完全部帧的处理，则退出操作；反之，读取下一帧并返回步骤3。
进一步说，本发明具体步骤为：
步骤1：初始化背景：通过预设无移动前景或者背景建模的方式得到背景帧；在本发明中，预设无移动前景或者背景建模采用常规方法即可，即采用任意可以有效实现背景建模的方法都可以。图片中人物不算背景，即背景是不含动态的前景人物的。
步骤2：读取当前帧；
步骤3：采用HSV法和LBP法的两步预处理：联合HSV颜色空间和LBP表示的纹理特征对图像区域进行预处理，获得初始标签/初始阴影区域；本步骤是对当前帧的处理，因为是视频序列中的一帧图像。在本发明中，初始标签与初始阴影区域的含义相同，每个区域都被赋于一个标签：阴影或者非阴影，初始化时得到一些标签为阴影的区域，所以两者一个意思。
步骤4：进行基于无强度阴影特征的似然概率计算：使用亮度去除的阴影特征计算单个区域的似然概率；
步骤5：进行帧内基于阴影特征分项比较的先验概率计算：采用对每个区域在帧内的阴影特征分项比较和帧间的加权统计方法分别得到时间和空间上的区域先验概率；
步骤6：进行帧间基于区域面积加权的先验概率计算：采用对相邻区域在帧内的阴影特征分项比较和帧间的加权统计方法分别得到时间和空间上的区域先验概率；
步骤7：利用MRF模型计算获得阴影分割结果：运用MRF能量模型进行阴影区域分割；
步骤8：判断是否获得最佳分割：根据结果最优与否，或是否达到最大迭代次数为标准，比较/判断分割结果决定继续/重新迭代进行分割优化计算；
如不需要继续/重新迭代，则进入步骤9；
如需要继续/重新迭代，则返回步骤4；
步骤9：将当前帧的阴影检测结果输出，并读开始下一帧的阴影且进行检测，并读取下一帧图像且进行阴影检测。
进一步说，将在步骤2中获取的帧称之为当前帧或当前处理图像；步骤3的具体步骤为：
使用mean-shift将当前处理图像进行区域分割，获得多个视频区域，然后分两步分别对颜色和纹理进行阴影区域与否的判断，从而得到初始阴影种子：
通过HSV(Hue,Saturation,Value)颜色空间分离出当前处理图像的色度和强度，即获取当前处理图像的明暗信息；
通过LBP法获得当前处理图像的纹理信息；
设当前处理图像包含个i区域，i的取值由mean-shift算法确定，每个区域均由明暗信息和纹理信息描述，则区域i的HSV和LBP联合的阴影特征Qi＝(Hi,Si,Vi,Li)，
其中：Hi、Si、Vi表示区域i的三通道均值，Li表示区域LBP特征向量。
进一步说，步骤3的详细方法是：
首先，计算出每个区域HSV通道上的均值；进一步，根据Cucchiara,R.,etal.Detecting objects,shadows and ghosts in video streams by exploiting colorand motion information.in Image Analysis and Processing,2001.Proceedings.11thInternational Conference on.2001.IEEE.提出的理论，即：阴影像素比具有相似色度的背景参考图像相比更暗，找出图像的候选阴影区域。若用C代表当前处理图像，用B代表背景，则：C中阴影区域可表示为
和其对应的背景区域可表示为
满足如下条件的
即可选作侯选的阴影区域：
上式(1)中，上标表示相应的颜色分量所属的帧，如
表示
的V均值，而
则表示
的V均值；τva、τvb、τs和τh是经验优化的阈值；；
表示
的S均值，
表示
的S均值；
表示
的H均值，
表示
的H均值；优选的，τva取0.10-0.80，τvb取0.50-1.00，τs取0.03-0.30，和τh取0.10-1.00；背景的区域均值由当前区域的对应位置计算得出；
参见说明书附图2中所给出的采用HSV均值判断后的给果，可以看到大部分的阴影区域能够检测出来，但是仍然有部分区域漏检错检：一方面是因为阈值的选择使得与阴影颜色相近的脸部区域产生错检，另一方面是在与大部分阴影区域颜色有微小差异的阴影区域产生漏检。这一现象说明在获得候选阴影区域之后，需要再次进行判别。考虑到LBP特征具有灰度不变性的显著特点，对于照明不均匀和灰度单调变换的情况不发生改变——Ojala,T.,M.Pietikainen,and T.Maenpaa,Multiresolution gray-scale and rotationinvariant texture classification with local binary patterns.IEEE Transactionson pattern analysis and machine intelligence,2002.24(7):p.971-987，因此在本发明中采用LBP纹理特征实施进一步的筛选。
随后，对每一个区域作LBP直方图，得出特征向量；然后计算当前帧的区域LBP特征向量与对应的背景区域LBP特征向量的欧式距离，通过阈值τl判断，确定阴影区域：
由式(2)所确定的阴影区域即为初始阴影区域；其中：
表示
的LBP特征，
表示
对应的背景区域的LBP特征，‖‖表示欧氏距离。
参见说明书附图2中所给出的经过LBP特征判断后的结果，可以看出在HSV颜色判断基础上再经过LBP特征的判断可以得到更加准确的初始标签/初始阴影区域。
在本步骤中初始阴影区域的目标是通过设置阈值的方式确定种子阴影区域。但是，如图2所示，初始阴影区域还不能包括所有的阴影区域，并且种子区域也仍然可能有误检存在。因此，需要进一步利用这些种子阴影对阴影区域实现更加精细的求解。在随后的步骤中，提将区域自身阴影程度概率和其与周围区域间的时空阴影概率关系相结合，实施基于MRF的阴影优化求解。
进一步说，步骤4的具体步骤为：本发明采用颜色和纹理相结合的阴影区域似然概率计算方法。根据纹理和色度的不变特性，当前帧相较背景帧，前景区域改变较大。由于阴影区域的强度和其周围的背影区域差别不大，因此在似然概率计算过程，我们不考虑阴影特征的强度部分，这样就得到无强度的阴影特征，即对于第i个区域Ri(Ri就是指每个区域)，其无强度特征Q′i＝{Hi,Si,Li}；
由于，阴影区域对应的阴影特征欧氏距离集中的一个范围之内，非阴影区域则较为分散；并且，每个区域在当前帧以及对应背景上的欧氏距离放在一起形成的集合的中值较小的区域对应的是当前帧的背景部分，而值较大的区域对应的是当前帧的实物部分。因此，当区域是非阴影区域时，减去阴影区域的距离均值，结果较大，而当区域是阴影区域时，减去阴影区域的距离均值，结果较小，这样就可以实现阴影与非阴影分离。用Ei表示
与
间无强度阴影特征的距离，即：
用
表示当前已知所有的阴影区域与对应背景区域的无强度阴影特征距离的均值；用Ki表示Ei和
间的差值，
和
分别表示
与
在去除强度值后的阴影特征，‖‖表示欧氏距离；
当Ki为负时，随着Ki的正向增大，
是阴影的可能性越来越小，当Ki为正时，随着Ki的正向增大，
不是阴影的可能性越来越大。由于多个区域大小不在同一尺度下，为了能够方便计算，将Ki的取值范围经线性变换和缩放到[-1，1]，其中：阴影区域的Ki取值范围为[-1，0]，而非阴影区域的Ki取值范围为[0，1]；假设
的标签为Ai，满足Ai∈{-1,1}，其中，阴影为-1，非阴影为1；那么，根据其到取值范围两端的距离比例，可以得到表示区域i的似然能量
似然能量
即为基于无强度阴影特征的似然概率值。
其中，
的值越小，表示
是阴影的可能性越大；
的值越小，表示
是非阴影的可能性越大。可以看出，这一似然概率计算方法鼓励区域的标记与初始检测结果保持一致。
在步骤3至4中，通过控制阈值，在初始阴影检测中，可以保证阴影的判别率。本步骤所说的阈值，是指在公式1，2以及mean-shift等所需的各个参数。但是，与此同时，阴影的检测率会降低，从而会出现阴影区域的漏检。如参见说明书附图2中所给出的利用HSV颜色生成候选阴影的效果图中，包含了较完整的阴影和被误判的脸部区域。为了使非阴影不被错误的判断成阴影区域，在纹理判断这一步，消去了面部区域，但同时阴影区域也消去了一部分，产生了漏检。
当阴影落在物体的表面上，明显发生改变的是该区域的亮度值，纹理与色度虽然会有所改变，但改变量很小。根据这一现象，在某一区域的周围分布大大小小的多个区域，其中纹理和色度都与该区域接近的区域，有着和计算区域相同的表面，此时，亮度的不同，正好体现在阴影和非阴影的差别上。因而，通过与周围区域对比，可以对计算区域有一个判断。如图3所示，区域1和其相邻区域2同为路面，其表面材质相同，区域2为非阴影区域，而区域1的亮度比2要低，那么可以简单判断区域2为阴影区域。
为此，本发明提出了基于阴影特征分项比较的帧内相邻区域匹配方法。首先判断相邻的两区域材质是否相同:若相同，则比较其亮度，根据亮度的差值大小，判断两区域标签是否相同或相异，从而根据初始标签来判断当前区域的标签，并统计。若不同，即可采用现有技术方法进行处理，非本发明的创新点所涉及的内容。进一步说，步骤5的具体步骤为：
以区域Rj的标签Aj作为参考,Rj,同于Ri的定义。则
相对于Rj的标签
是：
其中：‖·‖表示2-范式；θ(·)和η(·)是单改进的赫维赛德阶跃函数阶梯函数(Heaviside step function)：
θ(·)表示为如果区域i和j的特征距离小于或等于εl，则返回值为1；若θ(·)大于εl，则为0；
η(·)表示为果区域Ri和Rj的亮度值的差小于或等于εv，则返回值为1；若η(·)大于εv，则为-1；
εl、εv分别为阈值，取值范围均是0.1-0.5；
通过上述的这种阶梯函数保证了在一定范围内的Ri和Rj是相似的，而超出这个范围，两者是有差异的。
通过对当前区域Ri周围的多个相邻区域进行参考/比较(Rj只是Ri周围众多区域的一个示例，Ri周围存在多个相邻区域)，得到相邻区域的判断标签；这些判断标签被赋值为-1、0或1；其中，1为阴影1；-1为非阴影；0为不能确定，即0专指无法确定标签的，即公式6的θ项(两区域材质不同)产生的，也是为方便公式7的计算；针对这些判断标签，统计阴影和非阴影标签的个数，可计算出
作为阴影或非阴影的先验概率：
其中，函数
为kronecker delta函数，表示如下：
先验概率ψi(Ai)即为帧内基于阴影特征分项比较的先验概率值。
可以发现：当ψi(Ai＝-1)的值越小，
作为阴影的可能性越大；其值越大，
作为阴影的可能性越小。类似的可以得到ψi(Ai＝1)的性质。此外，当当前区域周围的区域都与该区域纹理和颜色不相似时，统计到的阴影和非阴影标签的和都为0，
不能得到合理的先验概率。此时，该区域很大可能性为非阴影区域，因为它的周围不存在投影表面。
通过步骤5所述的帧内先验利用当前计算帧的区域相邻关系，能够帮助将漏检区域找回，但在过程中，固定的参数容易使得本不相同但纹理与色度差异不大的两个区域归为一类，最终导致错检产生。同时，还存在设定的参数在个别情况下仍然漏检的情况。考虑到了视频帧前后图像运动的连续性，对于相同的运动物体，前后帧所处的位置变化不大，如果能够找到误判区域(包括错检和漏检区域)对应前一帧的区域，通过该区域的标签，也就可以在一定程度上判断误判区域的标签，如图6所示，第81帧中的区域1、2和3所在被误检为非阴影区域，但实际上其在与之对应的前一帧却是为非阴影区域。因此，图6中的3处区域是非阴影的可能性更大。
由于前后帧区域所在位置变化不大，那么对应区域质心之间的距离会在很小的一个范围之内。因此，在这个范围之内，可以将与误判区域纹理和颜色都相近的区域作为对应区域。但这存在一个问题，就是要求结果非常准确，一旦对应区域不正确，势必影响区域标签的判断。因此本发明提出基于帧间相邻区域面积加权统计的时间先验概率计算方法，利用多个相邻区域的阴影程度作为参考，实现阴影区域的概率修正。
以当前计算区域的质心位置为中心，一定距离为半径，在其前一帧找到范围内的所有区域。这些区域中含有其对应的区域，不同特征的区域和相近特征的区域。这些相近特征的区域中，一般会含有与误判区域一致的标签和不一致的标签，其中不一致的标签对误判区域有消极影响。那么可以考虑以多个区域的特征值作为参考值，减弱单一区域的影响力，从而避免错误区域对结果的影响。另外，当两个区域的面积接近时，其更有可能为对应区域。为了凸显这种可能性，本发明使用区域的面积信息对距离进行加权。
进一步说，步骤6的具体步骤为：假设：
表示第t帧
的特征值Qi，得到
与其对应范围内最接近的k个阴影区域距离之和
非阴影区域距离之和
其中：d∈{1,-1}表示含有阴景和非阴影两个标签类信合；w(i,j)表示为
和
的阴影特征距离加权系数；
以ui表示
的面积，则w(i,j)可按如下公式计算：
当计算区域为阴影时，它与前一帧的阴影区域距离较近，非阴影区域距离较远，即
越小，
越大。当计算区域为非阴影时，
越大，
越小。如果希望
越接近非阴影，其作为非阴影的能量越小，反之亦然。因此，得到如下
的阴影和非阴景先验概率
ξi(Ai)即为帧间基于区域面积加权统计的先验概率值。
进一步说，图像的阴影检测问题，可以简单地看作为图像的二进制标签问题。对于视频帧图像，其阴影检测结果就是给分割出的区域赋予二进制值。如果我们简单的认为，区域的标签只受到前一帧图像和周围区域的影响，而与其他部分的关系不大。这就符合了时间和空间上的马尔可夫性(Markov property)。那么，阴影检测中的图像区域标签集合，就是一个MRF，而其求解过程，就是一个马尔可夫随机过程。步骤7的具体步骤为：
设全图像的区域集合为M，总个数为N，当前标签集合为
其中(A′i∈{-1,1},i＝1,2,…,N)；
目标是在已知观测数据A′的条件下，去求解最优的状态场
也就是最大化
即最大后验概率(maximum a posteriori，MAP)；因此，这种MRF模型也被称为MAP-MRF——Geman,S.and D.Geman,Stochastic relaxation,Gibbsdistributions,and the Bayesian restoration of images.IEEE Transactions onpattern analysis and machine intelligence,1984(6):p.721-741.；根据MAP-MRF理论，有：
如果单一区域似然统计量
表示，则可以推导出
假设帧内区域和帧间区域匹配得到的阴影与非阴影概率分别用ψi(Ai)和ξi(Ai)表示，那么可用两者加权之和βψi(Ai)+γξi(Ai)表示相邻区域关系——β和γ表示帧间区域匹配概率与帧内区域匹配概率的加权系数，并作为势函数，这样经过推导后有：
这样可以得到视频帧的标签
为：
公式(15)可以简化为：
其中，α和δ是参数，表示似然能量和与先验能量的权重系数；这样就可以采用MRF方法实现阴影区域的优化标注求解。花写的
表示由A1,A2,…,AN构成的集合；花写的
也是类似的对{A′1,A′2,…,A′N}的定义。
进一步说，在步骤8中，“结果最优”是MRF收敛到公式(16)在前后两次迭代的差值小于3，“最大迭代次数”也是根据这个差值动态决定的。
有益的技术效果
针对目前移动阴影检测技术不稳定，时空关系没有得到高效应用的不足，本发明运用MRF能量优化技术，提出了一种基于区域移动阴影检测算法，实现时空关系约束下的阴影区域优化求解。该算法使用HSV和LBP相结合描述阴影特征，实现两步法预处理得到初始阴影区域。再此基础上，利用计算亮度去除的阴影特征的似然概率，并根据相邻区域的阴影特征在帧内基于分项比较和帧间基于区域面积加权统计的方法得到时空的阴影度先验概率。上述概率计算方法代入MRF模型中进行迭代优化，从而得到每一帧的阴影检测结果。实验结果表明这一算法可以很好处理视频序列中移动阴影检测的问题。
换言之，本发明提供基于时空关系建模的移动阴影检测方法，该方法利用HSV颜色空间和LBP纹理特征相结合的阴影特征，在阴影区域两步预检测的基础上，通过计算区域阴影程度的似然概率和其在帧内相邻域基于阴影特征两步特征分项比较和帧间相邻区域基于区域面积加权相结合得到的先验概率，实现基于马尔可夫随机场的迭代优化式阴影区域分割求解。实验结果表明，对于视频中移动阴影的检测，该方法有很好的效果。
本发明方法采用时空关系模型对区域重新概率计算，因此可以有效的抑制错误——漏检和错检的产生。
本发明不但适用于单人运动前景的场合，在多个移动前景需要同时处理多个不同纹理和姿态的前景目标，本发明方法仍然取得了较好的效果。本发明能够经过后续似然计算、相邻区域匹配及MRF优化求解之后，能够将错误修正，获得结果的准确性。
附图说明
图1是本发明的算法流程图。
图2是阴影区域两步预检测在女生行走视频中计算过程展示，箭头所指的区域为所示阴影。
图3是帧内相邻区域概率计算的必要性展示图。继续以和图2同样的女生行走视频为例，箭头所指区域所示阴影。
图4是帧间相邻区域概率计算的必要性展示图(以和图2同样的女生行走视频为例)，箭头区域所示阴影。图4中小图(a)是第80帧的阴影区域检测结果；图4中小图(b)是第81帧的阴影区域(图中数字1、2和3所表示文中关注的3个错检区域，其中的圆点点为区域质心。)；图4中小图(c)是使用帧间加权统计修正的的阴影区域检测结果。
图5是单个运动前景的移动阴影检验效果图，阴影区域标记为蓝色。其中，第一列为帧号，第二列为原视频帧图像，第三列是初始检测结果，第四列为经算法修正之后的结果。
图6是多个运动前景的实验效果图，阴影区域标记为蓝色。其中，第一列为帧号，第二列为原视频帧图像，第三列是初始检测结果，第四列为经算法修正之后的结果。
具体实施方式
现结合附图详细说明本发明的结构特点与细节。
一、关于本发明的技术路线与流程：
本发明所提出检测算法是基于区域展开的，即对每一帧图像，以聚类的方法得到具有相似阴影特征的区域，然后以区域为基础进行阴影与否的判断。具体算法流程如图1所示。
对于每一个待测视频，首先通过预设无移动前景或者某种背景建模方式等等得到背景帧，然后对每一帧不断重复如下的过程，实现每一帧阴影的检测：首先联合HSV颜色空间和LBP表示的纹理特征对图像区域进行预处理，获得初始标签；然后使用亮度去除的阴影特征计算单个区域的似然概率，并通过对每个区域和相邻区域在帧内的阴影特征分项比较和帧间的加权统计方法分别得到时间和空间上的区域先验概率，接着运用MRF能量模型进行阴影区域分割，并比较分割结果；根据结果最优与否或者达到最大迭代次数与否决定继续要不重新迭代进行分割优化计算；最后，如果当前帧已达到最优分割，则输出结果，并读取下一帧图像且进行阴影检测。
二、关于本发明所述的阴影区域两步预检测：
初始的阴影检测不必要求结果十分准确，但要保证简单高效。Javed和Shah[8]的研究指出：阴影区域和背景相比，颜色更暗，而纹理保持相同。为了能更好的处理图像的明暗问题本算法使用可以很好分离出色度和强度的HSV(Hue,Saturation,Value)颜色空间。对于纹理，本算法则采用简单且区分度较好的LBP[3]作为其特征的描述。这样就得到区域i的HSV和LBP联合的阴影特征Qi＝(Hi,Si,Vi,Li)，其中：Hi、Si、Vi表示区域i的三通道均值，Li表示区域LBP特征向量。相应的，本算法提出两步走的阴影预检测方法，如图2所示意。该方法使用mean-shift将视频帧进行区域分割，获得多个视频区域，然后分两步分别在对颜色和纹理进行阴影区域与否的判断，从而得到最终准确的初始阴影种子。
首先，计算出每个区域HSV通道上的均值。进一步，根据Cucchiara,R.提出的理论(Cucchiara,R.,et al.Detecting objects,shadows and ghosts in video streams byexploiting color and motion information.in Image Analysis and Processing,2001.Proceedings.11th International Conference on.2001.IEEE.)，即：阴影像素比具有相似色度的背景参考图像相比更暗，找出图像的候选阴影区域。具体的，若用C代表当前帧和B代表背景，则：C中阴影区域可表示为
和其对应的背景区域可表示为
这样，满足如下条件的
即可选作侯选的阴影区域：
上式中，上标表示相应的颜色分量所属的帧，如
表示
的V均值，而
则表示
的V均值；τva、τvb、τs和τh是经验优化的阈值。背景的区域均值由当前区域的对应位置计算得出。
参见说明书附图2中所给出的采用HSV均值判断后的给果，可以看到大部分的阴影区域能够检测出来，但是仍然有部分区域漏检错检：一方面是因为阈值的选择使得与阴影颜色相近的脸部区域产生错检，另一方面是在与大部分阴影区域颜色有微小差异的阴影区域产生漏检。这一现象说明在获得候选阴影区域之后，需要再次进行判别。考虑到LBP特征具有灰度不变性的显著特点，对于照明不均匀和灰度单调变换的情况不发生改变(Ojala,T.,M.Pietikainen,and T.Maenpaa,Multiresolution gray-scale and rotationinvariant texture classification with local binary patterns.IEEE Transactionson pattern analysis and machine intelligence,2002.24(7):p.971-987)，因此本发明采用LBP纹理特征实施进一步的筛选。
首先，对每一个区域作LBP直方图，得出特征向量。然后计算当前帧的区域LBP特征向量与对应的背景区域LBP特征向量的欧式距离，通过阈值τl判断，确定阴影区域：
参见说明书附图2中所给出的经过LBP特征判断后的结果，可以看出在HSV颜色判断基础上再经过LBP特征的判断可以得到更加准确的初始阴影区域。
初始阴影区域的目标是通过设置阈值的方式确定种子阴影区域。但是，如图2所示，初始阴影区域还不能包括所有的阴影区域，并且种子区域也仍然可能有误检存在。因此，需要进一步利用这些种子阴影对阴影区域实现更加精细的求解。我们提将区域自身阴影程度概率和其与周围区域间的时空阴影概率关系相结合，实施基于MRF的阴影优化求解。
三、关于阴影检测优先求解：
1.基于无强度阴影特征的似然概率
本发明采用颜色和纹理相结合的阴影区域似然概率计算方法。根据纹理和色度的不变特性，当前帧相较背景帧，前景区域改变较大。由于阴影区域的强度和其周围的背影区域差别不大，因此在似然概率计算过程，我们不考虑阴影特征的强度部分，这样就得到无强度的阴影特征，即：对于第i个区域Ri，其无强度特征Q′i＝{Hi,Si,Li}。
研究发现，阴影区域对应的阴影特征欧氏距离集中的一个范围之内，非阴影区域则较为分散；并且其中值较小的区域对应的是当前帧的背景部分，而值较大的区域对应的是当前帧的实物部分。因此，当区域是非阴影区域时，减去阴影区域的距离均值，结果较大，而当区域是阴影区域时，减去阴影区域的距离均值，结果较小，这样就可以实现阴影与非阴影分离。用Ei表示
与
间无强度阴影特征的距离，即：
并
表示当前已知所有的阴影区域与对应背景区域的无强度阴影特征距离的均值。定义Ki表示Ei和
间的差值，
当Ki为负时，随着Ki的增加，
是阴影的可能性越来越小，当Ki为正时，随着Ki的增加，
不是阴影的可能性越来越大。
由于多个区域大小不在同一尺度下，为了能够方便计算，将Ki的取值范围经线性变换和缩放到[-1，1]，其中：阴影区域的取值范围为[-1，0]，而非阴影区域的取值范围为[0，1]。假设
的分类标号为Ai，满足Ai∈{-1,1}(阴影为-1，非阴影为1)，那么，根据其到取值范围两端的距离比例，可以得到表示区域i的似然能量
其中，
的值越小，表示
是阴影的可能性越大；
的值越小，表示
是非阴影的可能性越大。可以看出，这一似然概率计算方法鼓励区域的标记与初始检测结果保持一致。
2.帧内基于阴影特征分项比较的先验概率
如前所述，通过控制阈值，在初始阴影检测中，可以保证阴影的判别率。但是，与此同时，阴影的检测率会降低，从而会出现阴影区域的漏检。如参见说明书附图2中所给出的利用HSV颜色生成候选阴影的效果图中，包含了较完整的阴影和被误判的脸部区域。为了使非阴影不被错误的判断成阴影区域，在纹理判断这一步，消去了面部区域，但同时阴影区域也消去了一部分，产生了漏检。
观察发现，当阴影落在物体的表面上，明显发生改变的是该区域的亮度值，纹理与色度虽然会有所改变，但改变量很小。根据这一规律，在某一区域的周围分布大大小小的多个区域，其中纹理和色度都与该区域接近的区域，有着和计算区域相同的表面，此时，亮度的不同，正好体现在阴影和非阴影的差别上。因而，通过与周围区域对比，可以对计算区域有一个判断。如图3所示，区域1和其相邻区域2同为路面，其表面材质相同，区域2为非阴影区域，而区域1的亮度比2要低，那么可以简单判断区域2为阴影区域。
基于这一原理，本发明提出了基于阴影特征分项比较的帧内相邻区域匹配方法。首先判断相邻的两区域材质是否相同，若相同，再比较其亮度，根据亮度的差值大小，判断两区域标签是否相同或相异，从而根据初始标签来判断当前区域的标签，并统计。如果以区域j作为参考的
的标签用
表示，则：
其中：‖·‖表示2-范式；θ(·)和η(·)是单改进的赫维赛德阶跃函数阶梯函数(Heaviside step function)：θ(·)表示为如果区域i和j的特征距离小于或等于εl，则返回值为1，否则为0；η(·)表示为果区域i和j的亮度值的差小于或等于εv，则返回值为1，否则为-1。这种阶梯函数保证了在一定范围内的两者是相似的，而超出这个范围，两者是有差异的。
通过当前区域周围的多个区域作为参考，会得到多个当前区域的判断标签，这些标签或为阴影1，或为非阴影-1，或为不能确定0。针对这些标签，统计阴影和非阴影标签的个数，可计算出
作为阴影或非阴影的先验概率：
其中，函数
为kronecker delta函数，表示如下：
可以发现：当ψi(Ai＝-1)的值越小，
作为阴影的可能性越大；其值越大，
作为阴影的可能性越小。类似的可以得到ψi(Ai＝1)的性质。此外，当当前区域周围的区域都与该区域纹理和颜色不相似时，统计到的阴影和非阴影标签的和都为0，
不能得到合理的先验概率。此时，该区域很大可能性为非阴影区域，因为它的周围不存在投影表面。
3.帧间基于区域面积加权统计的先验概率
上述帧内先验利用当前计算帧的区域相邻关系，能够帮助将漏检区域找回，但在过程中，固定的参数容易使得本不相同但纹理与色度差异不大的两个区域归为一类，最终导致错检产生。同时，还存在设定的参数在个别情况下仍然漏检的情况。考虑到了视频帧前后图像运动的连续性，对于相同的运动物体，前后帧所处的位置变化不大，如果能够找到误判区域(包括错检和漏检区域)对应前一帧的区域，通过该区域的标签，也就可以在一定程度上判断误判区域的标签，如图4所示，第81帧中的区域1、2和3所在被误检为非阴影区域，但实际上其在与之对应的前一帧却是为非阴影区域。因此，图4中的3处区域是非阴影的可能性更大。
由于前后帧区域所在位置变化不大，那么对应区域质心之间的距离会在很小的一个范围之内。因此，在这个范围之内，可以将与误判区域纹理和颜色都相近的区域作为对应区域。但这存在一个问题，就是要求结果非常准确，一旦对应区域不正确，势必影响区域标签的判断。因此本发明提出基于帧间相邻区域面积加权统计的时间先验概率计算方法，利用多个相邻区域的阴影程度作为参考，实现阴影区域的概率修正。
在该方法中，以当前计算区域的质心位置为中心，一定距离为半径，在其前一帧找到范围内的所有区域。这些区域中含有其对应的区域，不同特征的区域和相近特征的区域。这些相近特征的区域中，一般会含有与误判区域一致的标签和不一致的标签，其中不一致的标签对误判区域有消极影响。那么可以考虑以多个区域的特征值作为参考值，减弱单一区域的影响力，从而避免错误区域对结果的影响。另外，当两个区域的面积接近时，其更有可能为对应区域。为了凸显这种可能性，本发明使用区域的面积信息对距离进行加权。假设：
表示第t帧
的特征值Qi，那么，可以得到
与其对应范围内最接近的k个阴影区域距离之和
和非阴影区域距离之和
其中：d∈{1,-1}表示含有阴影和非阴影两个标签类信合；w(i,j)表示为
和
的阴影特征距离加权系数。以ui表示
的面积，则w(i,j)可按如下公式计算：
可以发现，当计算区域为阴影时，它与前一帧的阴影区域距离较近，非阴影区域距离较远，即
越小，
越大。当计算区域为非阴影时，
越大，
越小。如果希望
越接近非阴影，其作为非阴影的能量越小，反之亦然。因此，可以得到如下
的阴影和非阴影先验概率
四、关于基于MRF的移动阴影求解
图像的阴影检测问题，可以简单地看作为图像的二进制标签问题。对于视频帧图像，其阴影检测结果就是给分割出的区域赋予二进制值。如果我们简单的认为，区域的标签只受到前一帧图像和周围区域的影响，而与其他部分的关系不大。这就符合了时间和空间上的马尔可夫性(Markov property)。那么，阴影检测中的图像区域标签集合，就是一个MRF，而其求解过程，就是一个马尔可夫随机过程。
设全图像的区域集合为M，总个数为N，当前标签集合为
其中
目标是在已知观测数据
的条件下，去求解最优的状态场
也就是最大化
即最大后验概率(maximum a posteriori，MAP)。因此，这种MRF模型也被称为MAP-MRF(Geman,S.and D.Geman,Stochasticrelaxation,Gibbs distributions,and the Bayesian restoration of images.IEEETransactions on pattern analysis and machine intelligence,1984(6):p.721-741.)。根据MAP-MRF理论，有：
如果单一区域似然统计量
表示，则可以推导出
假设帧内区域和帧间区域匹配得到的阴影与非阴影概率分别用ψi(Ai)和ξi(Ai)表示，那么可用两者加权之和βψi(Ai)+γξi(Ai)表示相邻区域关系(β和γ表示帧间区域匹配概率与帧内区域匹配概率的加权系数)，并作为势函数，这样经过推导后有：
这样可以得到视频帧的标签为：
公式(15)可以简化为：
其中，α和δ是参数，表示似然能量和与先验能量的权重系数。这样就可以采用MRF方法实现阴影区域的优化标注求解。
五、实验结果
本发明实验中所采用的视频是由SONY DSC-RX100M2摄像机拍摄的，拍摄角度模拟监控摄像头的角度，视频分辨率为全高清1920×1080像素，帧率为25fps。对于能量式(16)的求解，本发明采用了ICM迭代算法[12]，这是因为该算法能够很快到达一个收敛的结果。这里显示的结果都是经算法得到的原始结果，没有任何后续的处理。
图5给出只有单个移动前景目标的阴影检测实验结果。在图5中，观察第3列可以发现，初始检测后在腿部阴影和面部等位置出现了区域的漏检和错检，特别是在第104帧，本发明方法采用时空关系模型对区域重新概率计算，因此可以有效的抑制错误的产生。
图6给出有多个移动前景目标的阴景检测实验结果。相对于单人，多个移动前景需要同时处理多个不同纹理和姿态的前景目标，挑战更大。但是本发明方法仍然取得了较好的效果。观察第3列可以发现与图6类似，在腿部阴影和面部、背景等位置有漏检和错检产生，特别是19帧，完整的行人阴影产生漏检，这是因为处理多个移动前景对参数的选择更加严格。在经过后续似然计算、相邻区域匹配及MRF优化求解之后，能够将错误修正，获得准确结果。
综上所述，本发明是针对目前移动阴影检测技术不稳定、时空关系没有得到高效应用的不足问题，运用MRF能量优化技术，所提出的一种基于区域移动阴影检测算法，实现时空关系约束下的阴影区域优化求解。本发明将HSV和LBP相结合，对阴影特征进行描述，实现两步法预处理得到初始阴影区域。再此基础上，利用计算亮度去除的阴影特征的似然概率，并根据相邻区域的阴影特征在帧内基于分项比较和帧间基于区域面积加权统计的方法得到时空的阴影度先验概率。上述概率计算方法代入MRF模型中进行迭代优化，从而得到每一帧的阴影检测结果。经实验验证，本发明可以很好处理视频序列中移动阴影检测的问题。
Claims (3)
1.基于时空关系建模的移动阴影检测方法，其特征在于：按如下步骤进行：
步骤1：初始化背景；
步骤2：读取当前帧；
步骤3：采用HSV法和LBP法的两步预处理；该步骤的具体方法为：使用mean-shift将当前处理图像进行区域分割，获得多个视频区域，然后分两步分别对颜色和纹理进行阴影区域与否的判断，从而得到初始阴影种子：
通过HSV颜色空间分离出当前处理图像的色度和强度，即获取当前处理图像的明暗信息；
通过LBP法获得当前处理图像的纹理信息；
设当前处理图像包含个i区域，i的取值由mean-shift算法确定，每个区域均由明暗信息和纹理信息描述，则区域i的HSV和LBP联合的阴影特征Qi＝(Hi,Si,Vi,Li)，
其中：Hi、Si、Vi表示区域i的三通道均值，Li表示区域LBP特征向量；
若用C代表当前处理图像，用B代表背景，则：C中阴影区域可表示为
和其对应的背景区域可表示为
满足如下条件的
即可选作侯选的阴影区域：
Vi C表示
的V均值，Vi B则表示
的V均值；τva、τvb、τs和τh是经验优化的阈值；
表示
的S均值，
表示
的S均值；
表示
的H均值，
表示
的H均值；
随后，对每一个区域作LBP直方图，得出特征向量；然后计算当前帧的区域LBP特征向量与对应的背景区域LBP特征向量的欧式距离，通过阈值τl判断，确定阴影区域：
步骤4：进行基于无强度阴影特征的似然概率计算；不考虑阴影特征的强度部分，这样就得到无强度的阴影特征，即对于第i个区域Ri，其无强度特征Q′i＝{Hi,Si,Li}；Ri是指每个区域；
步骤5：进行帧内基于阴影特征 分项比较的先验概率计算；该步骤具体为：以区域Rj的标签Aj作为参考,Rj同于Ri的定义；则
相对于Rj的标签
是：
其中：‖·‖表示2-范式；θ(.)和η(.)是单改进的赫维赛德阶跃函数阶梯函数：
θ(.)表示为如果区域i和j的特征距离小于或等于εl，则返回值为1；若θ(.)大于εl，则为0；
η(.)表示为果区域Ri和Rj的亮度值的差小于或等于εv，则返回值为1；若η(.)大于εv，则为-1；
通过对当前区域Ri周围的多个相邻区域进行比较，得到相邻区域的判断标签；这些判断标签被赋值为-1、0或1；其中，1为阴影；-1为非阴影；0为不能确定；针对这些判断标签，统计阴影和非阴影标签的个数，可计算出
作为阴影或非阴影的先验概率：
其中，函数
为kronecker delta函数，表示如下：
先验概率ψi(Ai)即为帧内基于阴影特征分项比较的先验概率值；
步骤6：进行帧间基于区域面积加权的先验概率计算；该步骤具体为：假设：
表示第t帧
的特征值Qi，得到
与其对应范围内最接近的k个阴影区域距离之和
其中：d∈{1,-1}表示含有阴景和非阴影两个标签类集 合；w(i,j)表示为
和
的阴影特征距离加权系数；
以ui表示
的面积，以uj表示
的面积，则w(i,j)可按如下公式计算：
得到如下
的阴影和非阴景先验概率
ξi(Ai)即为帧间基于区域面积加权统计的先验概率值；
步骤7：利用MRF模型计算阴影分割结果；该步骤具体为：
设全图像的区域集合为M，总个数为N，当前标签集合为
其中(A′i∈{-1,1},i＝1,2,…,N)；
目标是在已知观测数据A′的条件下，去求解最优的状态场
也就是最大化
有：
如果单一区域似然统计量用 
表示，则可以推导出
假设帧内区域和帧间区域匹配得到的阴影与非阴影概率分别用ψi(Ai)和ξi(Ai)表示，那么可用两者加权之和βψi(Ai)+γξi(Ai)表示相邻区域关系并作为势函数，有：
这样可以得到视频帧的标签
为：
公式(15)可以简化为：
其中，α和δ是参数，表示似然能量和与先验能量的权重系数；花写的
表示由A1,A2,…,AN构成的集合；
步骤8：判断是否获得最佳分割；
如是，进入步骤9；
如不是，返回步骤4；
步骤9：输出当前帧的阴影检测结果；如处理完全部帧的处理，则退出操作；反之，读取下一帧并返回步骤3。
2.根据权利要求1所述的基于时空关系建模的移动阴影检测方法，其特征在于：在步骤3中，其中，τva取0.10-0.80，τvb取0.50-1.00，τs取0.03-0.30，和τh取0.10-1.00。
3.根据权利要求1或2所述的基于时空关系建模的移动阴影检测方法，其特征在于：将在步骤2中获取的帧称之为当前帧或当前处理图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810497909.0A CN109544605B (zh) | 2018-05-23 | 2018-05-23 | 基于时空关系建模的移动阴影检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810497909.0A CN109544605B (zh) | 2018-05-23 | 2018-05-23 | 基于时空关系建模的移动阴影检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109544605A CN109544605A (zh) | 2019-03-29 |
| CN109544605B true CN109544605B (zh) | 2022-01-21 |
Family
ID=65830823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810497909.0A Active CN109544605B (zh) | 2018-05-23 | 2018-05-23 | 基于时空关系建模的移动阴影检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109544605B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628153A (zh) * | 2020-04-22 | 2021-11-09 | 北京京东乾石科技有限公司 | 阴影区域检测的方法和装置 |
| CN112532879B (zh) * | 2020-11-26 | 2022-04-12 | 维沃移动通信有限公司 | 图像处理方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101098462A (zh) * | 2007-07-12 | 2008-01-02 | 上海交通大学 | 结合色度偏差和亮度偏差的视频运动目标检测方法 |
| CN101324927A (zh) * | 2008-07-18 | 2008-12-17 | 北京中星微电子有限公司 | 一种阴影检测方法及装置 |
| CN105160648A (zh) * | 2014-11-26 | 2015-12-16 | 中国人民解放军第二炮兵工程大学 | 基于小波和恒虚警率的雷达目标及阴影分割方法 |
| US9430715B1 (en) * | 2015-05-01 | 2016-08-30 | Adobe Systems Incorporated | Identifying and modifying cast shadows in an image |
| KR101729536B1 (ko) * | 2016-01-19 | 2017-05-02 | 연세대학교 산학협력단 | 이동 물체 검출 장치 및 그 방법 |
| CN107220949A (zh) * | 2017-05-27 | 2017-09-29 | 安徽大学 | 公路监控视频中运动车辆阴影的自适应消除方法 |
-
2018
- 2018-05-23 CN CN201810497909.0A patent/CN109544605B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101098462A (zh) * | 2007-07-12 | 2008-01-02 | 上海交通大学 | 结合色度偏差和亮度偏差的视频运动目标检测方法 |
| CN101324927A (zh) * | 2008-07-18 | 2008-12-17 | 北京中星微电子有限公司 | 一种阴影检测方法及装置 |
| CN105160648A (zh) * | 2014-11-26 | 2015-12-16 | 中国人民解放军第二炮兵工程大学 | 基于小波和恒虚警率的雷达目标及阴影分割方法 |
| US9430715B1 (en) * | 2015-05-01 | 2016-08-30 | Adobe Systems Incorporated | Identifying and modifying cast shadows in an image |
| KR101729536B1 (ko) * | 2016-01-19 | 2017-05-02 | 연세대학교 산학협력단 | 이동 물체 검출 장치 및 그 방법 |
| CN107220949A (zh) * | 2017-05-27 | 2017-09-29 | 安徽大学 | 公路监控视频中运动车辆阴影的自适应消除方法 |
Non-Patent Citations (2)
| Title |
|---|
| An evaluation of moving shadow detection techniques;Mosin Russell 等;《Computational Visual Media》;20160930;全文 * |
| 基于阴影概率模型的遥感影像阴影检测方法;李鹏伟 等;《计算机应用》;20150210;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109544605A (zh) | 2019-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shi et al. | Revisiting perspective information for efficient crowd counting | |
| Han et al. | Density-based multifeature background subtraction with support vector machine | |
| CN104598883B (zh) | 一种多摄像机监控网络中目标再识别的方法 | |
| Ghosh et al. | Object detection from videos captured by moving camera by fuzzy edge incorporated Markov random field and local histogram matching | |
| CN107609571B (zh) | 一种基于lark特征的自适应目标跟踪方法 | |
| Yao et al. | Fast human detection from joint appearance and foreground feature subset covariances | |
| Langmann et al. | Multi-modal background subtraction using gaussian mixture models | |
| CN109544605B (zh) | 基于时空关系建模的移动阴影检测方法 | |
| CN107103301B (zh) | 视频目标时空最大稳定性判别性颜色区域匹配方法和系统 | |
| Ding et al. | Modeling complex scenes for accurate moving objects segmentation | |
| Vasamsetti et al. | 3D local spatio-temporal ternary patterns for moving object detection in complex scenes | |
| Hou et al. | Human detection and tracking over camera networks: A review | |
| Waykole et al. | Detecting and tracking of moving objects from video | |
| Duffner et al. | Fast pixelwise adaptive visual tracking of non-rigid objects | |
| Balcılar et al. | Performance analysis of Lab2000HL color space for background subtraction | |
| Yang et al. | Vehicle detection and tracking with low-angle cameras | |
| Jia et al. | A novel moving cast shadow detection of vehicles in traffic scene | |
| Kumar et al. | Key frame extraction algorithm for video abstraction applications in underwater videos | |
| Lahraichi et al. | Automatic foreground detection based on KDE and binary classification | |
| Kwon et al. | Visual tracking based on edge field with object proposal association | |
| Bartoli et al. | Unsupervised scene adaptation for faster multi-scale pedestrian detection | |
| Liu et al. | Cross-Scene crowd counting via FCN and Gaussian model | |
| Kushwaha et al. | Performance evaluation of various moving object segmentation techniques for intelligent video surveillance system | |
| Kim et al. | Background modeling using adaptive properties of hybrid features | |
| Zhang et al. | Visual pedestrian tracking from a UAV platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |