CN110781977A - 基于空间相关性和极限学习机的运动阴影检测方法及系统 - Google Patents

基于空间相关性和极限学习机的运动阴影检测方法及系统 Download PDF

Info

Publication number
CN110781977A
CN110781977A CN201911065077.6A CN201911065077A CN110781977A CN 110781977 A CN110781977 A CN 110781977A CN 201911065077 A CN201911065077 A CN 201911065077A CN 110781977 A CN110781977 A CN 110781977A
Authority
CN
China
Prior art keywords
pixel
feature
training sample
background image
foreground frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911065077.6A
Other languages
English (en)
Inventor
代江艳
侯金奎
张辉辉
陈春雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weifang University
Original Assignee
Weifang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weifang University filed Critical Weifang University
Priority to CN201911065077.6A priority Critical patent/CN110781977A/zh
Publication of CN110781977A publication Critical patent/CN110781977A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空间相关性和极限学习机的运动阴影检测方法及系统。所述方法在阴影属性的基础上，同时考虑像素的特性和相邻像素的空间相关性，提取一组由像素级特征和区域级特征组成的特征向量对MCSD‑ELM分类器模型进行训练，构造了一种基于极限学习机的通用分类模型，并利用训练得到的输出连接权值矩阵来确定最终的判别标签，根据所述判别标签标记出候选阴影像素和候选目标像素；进一步对所述候选阴影像素和候选目标像素进行后处理操作，检测出完整的运动目标和运动阴影，有效提高了运动阴影检测的精度和分类器模型的通用性。

Description

基于空间相关性和极限学习机的运动阴影检测方法及系统
技术领域
本发明涉及运动阴影检测技术领域，特别是涉及一种基于空间相关性和极限学习机的运动阴影检测方法及系统。
背景技术
运动阴影检测作为许多高级计算机视觉和图像处理应用的基础步骤，近年来受到了越来越多的关注。这是因为投射阴影与其对应的运动物体具有相似的属性，这可能会导致对目标检测的错误分类，进一步降低目标分类、目标跟踪、行为分析、场景解释的性能。因此，迫切需要开发一种有效的运动阴影检测方法将阴影从前景中分离出来。
局部纹理描述符对噪声和光照变化都具有较强的鲁棒性，被广泛应用于阴影检测方法中，如Gabor函数、尺度不变局部三元模式(Scale Invariant Local TernaryPattern，SILTP)、离散小波变换(Discrete Wavelet Transform，DWT)、梯度信息、非线性色调映射(NonlinearTone Mapping，NTM)或它们的组合。然而，当背景和前景的纹理属性相似时，这种方法就会失败，无法实现运动阴影检测。
将色度和梯度信息与图像的超图分割相结合，对阴影区域采用随机多数投票方案进行判别。不失一般性，上述方法在提取特征后，在分类阶段根据参数假设和阈值调整来检测阴影。然而，对于室内和室外环境中各种不同的场景，很难获得合适的参数阈值，因此对运动阴影的检测效果不佳。
可见，目前主流的运动阴影检测方法在背景和前景的纹理属性相似时，或者在室内和室外各种不同的场景中，对运动阴影的检测效果会出现较大误差，导致检测精度较低。
发明内容
本发明的目的是提供一种基于空间相关性和极限学习机的运动阴影检测方法及系统，以解决现有的运动阴影检测方法通用性差且检测精度低的问题。
为实现上述目的，本发明提供了如下方案：
一种基于空间相关性和极限学习机的运动阴影检测方法，所述运动阴影检测方法包括：
获取训练样本的背景图像和前景帧；
根据所述背景图像和所述前景帧提取所述训练样本的像素级特征；所述像素级特征包括RGB颜色空间的颜色比特征、LRGB颜色空间的亮度比特征以及HSV颜色空间的色彩一致性特征；
根据所述背景图像和所述前景帧提取所述训练样本的区域级特征；所述区域级特征包括LRGB颜色空间的归一化互相关特征、光照不变的Gabor特征以及改进的局部二值模式特征；
根据所述像素级特征和所述区域级特征构建所述训练样本的特征向量；
采用所述特征向量训练MCSD-ELM分类器模型，得到输出连接权值矩阵；
根据所述特征向量和所述输出连接权值矩阵对所述训练样本的前景帧进行分类，确定所述前景帧中各个像素的判别标签；
根据所述判别标签在所述前景帧中标记出候选阴影像素和候选目标像素；
对所述候选阴影像素和所述候选目标像素进行后处理操作，生成完整的运动目标和运动阴影。
可选的，所述根据所述背景图像和所述前景帧提取所述训练样本的RGB颜色空间的颜色比特征，具体包括：
根据所述训练样本的所述背景图像和所述前景帧，采用公式
Figure BDA0002259048150000021
提取所述训练样本的RGB颜色空间的颜色比特征；其中Bc(x,y)为所述背景图像B的c分量中(x,y)处的强度值；Fc(x,y)是所述前景帧F的c分量中(x,y)处的强度值；Kc(x,y)表示c分量中(x,y)处的颜色比；c∈{R,G,B}；R,G,B分别表示所述训练样本的R,G,B分量。
可选的，所述根据所述背景图像和所述前景帧提取所述训练样本的LRGB颜色空间的亮度比特征，具体包括：
采用公式
Figure BDA0002259048150000022
将所述训练样本的RGB分量转换为LRGB分量(L,T1,T2,T3)T；其中(A1,A2,A3)T＝(R,G,B)T；
根据所述LRGB分量(L,T1,T2,T3)T中的L分量，采用公式
Figure BDA0002259048150000031
提取所述训练样本的亮度比特征LLRGB(x，y)；其中FL(x,y)和BL(x,y)分别表示前景帧F和背景图像B在LRGB颜色空间中对应L分量(x,y)处的亮度值。
可选的，所述根据所述背景图像和所述前景帧提取所述训练样本的HSV颜色空间的色彩一致性特征，具体包括：
采用公式H(x，y)＝|Fh(x，y)-Bh(x，y)|确定前景帧F和背景图像B之间的色度差异H(x,y)；
采用公式S(x，y)＝|Fs(x，y)-Bs(x，y)确定前景帧F和背景图像B之间的饱和度差异S(x,y)；
采用公式确定阴影区域在HSV颜色空间中的高色度值R(x,y)；其中Fh，Fs，Fv分别表示前景帧F在HSV颜色空间中的色度，饱和度，亮度值；Bh和Bs分别表示背景图像B在HSV颜色空间中的色度和饱和度。
可选的，所述根据所述背景图像和所述前景帧提取所述训练样本的LRGB颜色空间的归一化互相关特征，具体包括：
采用公式
Figure BDA0002259048150000033
提取所述训练样本的LRGB颜色空间的归一化互相关特征NCC(x，y)；其中
Figure BDA0002259048150000035
FL(i,j)和BL(i,j)分别表示前景帧F和背景图像B在LRGB颜色空间中的邻域像素q(i,j)的亮度分量在(i,j)处的亮度值；q(i,j)为像素p(x,y)的相邻像素；相邻像素的集合记为(i,j)∈Ωp。
可选的，所述根据所述背景图像和所述前景帧提取所述训练样本的光照不变的Gabor特征，具体包括：
采用公式
Figure BDA0002259048150000041
提取所述训练样本的光照不变的Gabor特征；其中
Figure BDA0002259048150000042
是c分量中(x,y)处的Gabor系数，c∈{R,G,B}，p取0，q＝θ∈{0°,45°,90°,135°}；I和J表示Gabor核gpq的维数，D(x,y)是像素p(x,y)邻域，，D(x-i,y-j)是与gpq进行卷积时的变量，gpq(i，j)是Gabor核。
可选的，所述根据所述背景图像和所述前景帧提取所述训练样本的改进的局部二值模式特征，具体包括：
采用公式
Figure BDA0002259048150000043
确定像素p(x,y)的MLBP描述符MLBPN，r(x，y)；其中，N和r分别表示以像素p(x,y)为中心的邻域内的像素数和圆的半径；Ω(x，y)是(x,y)相邻像素的集合；Vn是位置(i,j)处相邻像素的强度值，Vm是位置(x,y)处相邻像素的强度值，Δ是提高平滑区域鲁棒性的阈值；n为整数；
获取背景图像和前景帧提取的所述MLBP描述符MLBPN，r(x，y)对应的直方图
Figure BDA0002259048150000044
和
Figure BDA0002259048150000045
其中和
Figure BDA0002259048150000047
分别为前景帧F和背景帧B的c分量中(x,y)处的像素的改进的局部二值模式直方图；c∈{R,G,B}；
根据所述改进的局部二值模式直方图
Figure BDA0002259048150000048
和
Figure BDA0002259048150000049
采用公式提取所述训练样本的改进的局部二值模式特征Simc(x,y)；其中Nh表示直方图中柱图的个数。
可选的，所述根据所述像素级特征和所述区域级特征构建所述训练样本的特征向量，具体包括：
根据所述像素级特征和所述区域级特征构建特征描述符
Figure BDA00022590481500000411
其中d＝23为特征描述符的维数；
Figure BDA00022590481500000412
表示d维空间；xi表示第i个训练样本的特征向量，i＝1,…,N；N为训练样本的数量；xid为特征向量xi中的第d个元素；Fea1＝KR，Fea2＝KG，Fea3＝KB；Fea4＝LLRGB；Fea5＝H(x，y)，Fea6＝S(x，y)，Fea7＝R(x，y)；Fea8＝NCC(x，y)；
Figure BDA0002259048150000051
可选的，所述采用所述特征向量训练MCSD-ELM分类器模型，得到输出连接权值矩阵，具体包括：
根据所述特征向量构建模型训练集
Figure BDA0002259048150000052
其中yi表示第i个训练样本的标签，i＝1,…,N；
采用所述模型训练集
Figure BDA0002259048150000053
训练MCSD-ELM分类器模型，得到输出连接权值矩阵
Figure BDA0002259048150000054
其中
Figure BDA0002259048150000055
hj(xi)表示所述MCSD-ELM分类器模型的输入为xi时，第j个隐层节点的输出函数；i＝1,…,N；j＝1,…,L；
Figure BDA0002259048150000056
yic为标签yi的第c个元素，c＝1,…,C；C为标签的维数。
一种基于空间相关性和极限学习机的运动阴影检测系统，所述运动阴影检测系统包括：
训练样本获取模块，用于获取训练样本的背景图像和前景帧；
像素级特征提取模块，用于根据所述背景图像和所述前景帧提取所述训练样本的像素级特征；所述像素级特征包括RGB颜色空间的颜色比特征、LRGB颜色空间的亮度比特征以及HSV颜色空间的色彩一致性特征；
区域级特征提取模块，用于根据所述背景图像和所述前景帧提取所述训练样本的区域级特征；所述区域级特征包括LRGB颜色空间的归一化互相关特征、光照不变的Gabor特征以及改进的局部二值模式特征；
特征向量构建模块，用于根据所述像素级特征和所述区域级特征构建所述训练样本的特征向量；
分类器模型训练模块，用于采用所述特征向量训练MCSD-ELM分类器模型，得到输出连接权值矩阵；
分类模块，用于根据所述特征向量和所述输出连接权值矩阵对所述训练样本的前景帧进行分类，确定所述前景帧中各个像素的判别标签；
像素标记模块，用于根据所述判别标签在所述前景帧中标记出候选阴影像素和候选目标像素；
后处理模块，用于对所述候选阴影像素和所述候选目标像素进行后处理操作，生成完整的运动目标和运动阴影。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种基于空间相关性和极限学习机的运动阴影检测方法及系统，所述方法在阴影属性的基础上，同时考虑像素的特性和相邻像素的空间相关性，提取一组由像素级特征和区域级特征组成的特征向量对MCSD-ELM分类器模型进行训练，构造了一种基于极限学习机的通用分类模型，并利用训练得到的输出连接权值矩阵来确定最终的判别标签，根据所述判别标签标记出候选阴影像素和候选目标像素；进一步对所述候选阴影像素和候选目标像素进行后处理操作，检测出完整的运动目标和运动阴影，有效提高了运动阴影检测的精度和分类器模型的通用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于空间相关性和极限学习机的运动阴影检测方法的流程图；
图2为本发明实施例提供的groundtruth数据和训练样本示意图；其中图2(a)为标准数据集中的groundtruth数据示意图，图2(b)为标记的目标像素示意图，图2(c)为标记的阴影像素示意图；
图3为本发明实施例提供的不同场景中部分帧的阴影检测结果示意图；其中图3(a)为原始视频帧示意图；图3(b)为groundtruths数据示意图；图3(c)为分类结果示意图，其中灰色表示阴影，白色表示目标；图3(d)为经过后处理的最终目标示意图；
图4为本发明提供的基于空间相关性和极限学习机的运动阴影检测系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于空间相关性和极限学习机的运动阴影检测方法及系统，以解决现有的运动阴影检测方法通用性差且检测精度低的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明提供的基于空间相关性和极限学习机的运动阴影检测方法的流程图。参见图1，本发明提供的基于空间相关性和极限学习机的运动阴影检测方法具体包括：
步骤101：获取训练样本的背景图像和前景帧。
本发明是从groundtruth数据中获取标记的目标像素和阴影像素，如图2所示。其中图2(a)是标准数据集中的groundtruth数据，图2(b)是标记的目标像素，图2(c)是标记的阴影像素。分别从标记的目标像素和阴影像素中随机选取N/2个像素，组成训练样本集合，集合中共N个样本。
利用背景减除法生成每个训练样本图像的背景图像B(不包含运动目标)和当前前景帧F(包含运动目标和运动阴影)。所述目标像素和阴影像素都是从前景帧中随机选择出来的(这里的groundtruth也是前景帧)，作为训练样本集合。
步骤102：根据所述背景图像和所述前景帧提取所述训练样本的像素级特征。
所述步骤102和步骤103是特征提取步骤，在这两个步骤中，分别对训练样本集合中的N个样本分别提取基于像素的特征和基于区域的特征，形成一个用于训练的输入数据集特征向量。本发明设Bc(x,y)为背景B的c分量中(x,y)处的强度值。同理，设Fc(x,y)是当前前景帧F的c分量中(x,y)处的强度值。提取的特征记为
Figure BDA0002259048150000081
Figure BDA0002259048150000082
表示23维的空间。
其中，所述像素级特征包括RGB颜色空间的颜色比特征、LRGB颜色空间的亮度比特征以及HSV颜色空间的色彩一致性特征，具体如下：
(1)RGB颜色空间的色彩比率
由于阴影的强度在每个分量上都低于非阴影，因此，本发明用颜色比率来表示RGB颜色空间中阴影与非阴影的比例。为避免被零除，颜色比率定义为：
Figure BDA0002259048150000083
其中，Kc(x,y)表示分量c中(x,y)处的颜色比，c∈{R,G,B}。即，特征Fea1＝KR，Fea2＝KG，Fea3＝KB。其中特征Kc为Kc(x，y)省略(x，y)后的简写，例如KR为KR(x,y)的简写，本发明中其他参数的表示方法也是如此，为了表述方便，文中多处使用了参数的简写形式。
(2)LRGB颜色空间的亮度比
光红绿蓝(light-red-green–blue，LRGB)颜色模型中亮度和颜色分量可以分离开来，而且分别成比例表示。因此，在LRGB颜色空间中计算的明度比可以更好地描述阴影的暗属性。
LRGB分量(L,T1,T2,T3)T可以通过转换RGB分量(A1,A2,A3)T生成，具体如下：
其中A1，A2，A3这三个分量对应RGB颜色空间中R，G，B这三个分量。L，T1，T2，T3这四个分量就对应LRGB颜色空间的L，R，G，B这四个分量。
那么，亮度比LLRGB计算如下：
Figure BDA0002259048150000091
其中，FL(x,y)和BL(x,y)分别表示前景帧F和背景图像B在LRGB颜色空间中对应L分量(x,y)处的亮度值。则，Fea4＝LLRGB。
(3)HSV颜色空间的色彩一致性
与投射的非阴影区域相比，阴影保持了颜色的稳定性。HSV颜色空间中的色相和饱和度分量常用来描述这一性质。同时，假设阴影在HSV颜色空间中具有较高的色调。因此，色彩一致性可以通过以下三个特征得到充分的描述：
Figure BDA0002259048150000092
其中Fh，Fs，Fv分别表示前景帧F在HSV颜色空间中的色度、饱和度和亮度值。Fh，Fs，Fv分别为Fh(x，y)，Fs(x，y)，Fv(x，y)的简写。Bh和Bs分别表示背景图像B在HSV颜色空间中的色度和饱和度。H(x,y)和S(x,y)分别表示F和B之间的色度和饱和度差异。R(x,y)在前景帧F中计算得出，反映了阴影区域在HSV颜色空间中的高色度值。另外，Fh,Fs,Fv,Bh,Bs∈[0,1]。
步骤103：根据所述背景图像和所述前景帧提取所述训练样本的区域级特征。
阴影的另一个特性是阴影的纹理与它被投射的表面(称为背景)一致，但是与前景不同。另外，像素级的特征对噪声很敏感。为了克服在阴影检测方面的不足，本发明利用相邻像素的空间相关性提出了区域级特征来描述阴影纹理的一致性，如采用归一化互相关、Gabor特征和改进的局部二值模式来刻画纹理的一致性。
本发明提取的所述区域级特征包括LRGB颜色空间的归一化互相关特征、光照不变的Gabor特征以及改进的局部二值模式特征，具体如下：
(1)LRGB颜色空间的归一化互相关(Normalized cross-correlation，NCC)
归一化互相关算法能够较好地反映阴影与背景之间的相似性，该算法在邻域中计算得到，对噪声具有较强的鲁棒性。由于在LRGB颜色空间中，亮度可以很好地线性表示出来。给定一个像素p(x,y)，其相邻像素为q(i,j)，相邻像素的集合记为(i,j)∈Ωp。因此，NCC计算如下：
Figure BDA0002259048150000101
其中，
其中FL(i,j)和BL(i,j)分别表示前景帧和背景图像在LRGB颜色空间中的邻域像素的亮度分量在(i,j)处的亮度值。
(2)光照不变的Gabor特征
二维Gabor滤波器描述了相邻像素的强度随尺度和方向的变化，生成的Gabor纹理描述符具有光照不变的特点，能够很好地描述阴影和非阴影区域的纹理信息。给定位置(x,y)上的一个像素，其邻域D(x,y)以(x,y)为中心，那么在尺度P和方向Q的上Gabor变换通过卷积计算如下：
Figure BDA0002259048150000103
其中，I和J表示Gabor核gpq的维数，是分量c中(x,y)处的Gabor系数，c∈{R,G,B}。D(x,y)是邻域，D(x-i,y-j)是与gpq进行卷积时的变量，gpq是Gabor核，Gabor核gpq定义如下：
Figure BDA0002259048150000105
其中，
Figure BDA0002259048150000111
公式(8)中的gpq(x，y，f，0)是公式(7)中gpq(i，j)的具体定义。p是尺度因子(p＝0,1,…,P-1fora>1)，a是一个常数系数。σx和σy分别表示Gaussian(高斯)包络在x和y方向上的大小。f是正弦曲线的基础频率。q是方向因子(q＝0,1,…,Q-1)。因此，滤波方向P是尺度因子数量，Q是方向因子数量。
在本发明方法中，提取的是P＝0和Q＝4时的Gabor特征。也就是说，前景帧F的纹理信息是在RGB空间的三个分量中四个不同的方向(θ∈{0°,45°,90°,135°})上进行描述。即，
Figure BDA0002259048150000113
以上特征值Fea9-Fea20都是采用式(7)计算得到，例如
Figure BDA0002259048150000114
就是公式(7)中p取0，q取45°，分量c＝R时计算得到的特征值，
Figure BDA0002259048150000115
就是公式(7)中p取0，q取90°，分量c＝G时计算得到的特征值，其余特征值的计算方法以此类推。
(3)改进的局部二值模式(Modified local binary patterns，MLBP)
改进的局部二值模式(MLBP)对表示阴影的纹理信息，具有重要意义，这是因为MLBP不仅具有光照不变性，而且对平滑区域具有较好的鲁棒性。此外，它的计算速度很快。给定位置(x,y)上的一个像素，其强度值记为Vm，该像素(x,y)的MLBP描述符计算如下：
Figure BDA0002259048150000116
其中，N和r分别表示(x,y)为中心的邻域内的像素数和圆的半径。Ω(x,y)是指(x,y)相邻像素(i,j)的集合。Vn是位置(i,j)处相邻像素的强度值，Vm是位置(x,y)处相邻像素的强度值，Δ是提高平滑区域鲁棒性的阈值。因此，可以根据公式(10)得到该像素的n位二进制模式，然后，生成一个2n位的直方图来表示该像素邻域内的纹理信息。n为整数。
MLBPN，r(x，y)得到的结果是(x,y)位置像素的局部二值模式，背景图像和前景帧中对应MLBPN，r(x，y)的直方图分别为和
Figure BDA0002259048150000122
对直方图和
Figure BDA0002259048150000124
进行求交运算，可以得到相似度值。
为了计算阴影和非阴影区域之间的纹理相似性，本发明采用简单的直方图求交运算，计算速度快。因此，纹理相似度计算如下：
Figure BDA0002259048150000125
其中，
Figure BDA0002259048150000126
和
Figure BDA0002259048150000127
分别为前景帧F和背景帧B的分量c(c∈{R,G,B})中(x,y)处的像素的改进的局部二值模式直方图。Nh表示直方图中柱图的个数。Simc(x,y)表示该像素在分量c中位置(x,y)处的两个直方图的公共部分。则，Fea21＝SimR,Fea22＝SimG,Fea23＝SimB。Simc为Simc(x,y)的简写。
步骤104：根据所述像素级特征和所述区域级特征构建所述训练样本的特征向量。
由于上述提取的像素级特征和区域级特征具有不同的动态范围，因此，需要对特征进行归一化。然后，将所有特征组合在一起，形成前景帧像素具有维数为d＝23的最终特征Fea描述符，记为：
Figure BDA0002259048150000128
Figure BDA0002259048150000129
中xi表示第i个训练样本的特征向量，i＝1,…,N。xid为xi的第d个元素。表示d维空间，本发明中d＝23。
对N个样本分别提取其23维的特征Fea，生成N个特征向量xi。
步骤105：采用所述特征向量训练MCSD-ELM分类器模型，得到输出连接权值矩阵。
步骤105是MCSD-ELM(Moving cast shadow detection-Extreme learningmachine)模型学习，对提出的MCSD-ELM分类器进行训练，得到相应的输出连接权值矩阵W。
首先，根据给定的训练输入数据集X＝{x1,...,xN}，给出相应的标签矩阵Y＝{y1,...,yN}，其中，
Figure BDA0002259048150000131
是特征向量xi的C维标签向量。在本发明中，C＝2。yN表示第N个训练样本的标签向量，yiC表示第i个样本的类别为C，
Figure BDA0002259048150000132
表示C维空间。在所述步骤101中随机选取目标像素和阴影像素的时候相应的就得到了标签矩阵Y。
根据特征向量xi和标签向量yi构建模型训练集，该训练集
Figure BDA0002259048150000133
用于训练SLFNs(single hidden layer feedforward neural networks)，该网络中包含d个输入，L个隐藏层神经元和K个输出。
ELM(Extreme learning machine，极限学习机)的输出函数表示为：
Figure BDA0002259048150000134
其中w＝[w1,w2,…,wL]T为连接隐层节点与输出节点的输出权向量。wi为w中的第i个元素。h(x)＝[h1(x),h2(x),…,hL(x)]为输入x的隐层的输出向量，L为隐藏层神经元个数。hi(x)表示第i个隐层节点的输出函数，定义如下：
Figure BDA0002259048150000135
其中，Φ(·)为网络隐层的激活函数。ai和bi分别表示每个隐层节点的网络输入权值和对应隐层的偏差值，它们可以根据任意连续分布随机设置。
Figure BDA0002259048150000136
Figure BDA0002259048150000137
分别表示d维空间、1维空间、L*C维空间。
为了得到连接隐层结点和输出层结点的权值
Figure BDA0002259048150000138
可以通过最小化预测误差的损失的平方和得到：
Figure BDA0002259048150000139
其中，||·||表示Frobenius范数，H表示隐层的输出矩阵，形式如下：
Figure BDA00022590481500001310
公式(12)和公式(13)表示的是ELM算法的原理，这里的x都是一维的，也就是说公式(12)中的h(x)与公式(15)中的任意一行都是等价的。而公式(15)中x是N维的，hL(xN)与hi(x)关系为：hi(x)中的i的取值范围是1….L。
Y是训练集的目标矩阵(例如：训练样本的标签)，定义如下：
Figure BDA0002259048150000141
那么，输出权值W可以重写如下：
其中，
Figure BDA0002259048150000143
H是矩阵H的Moore-Penrose广义逆。
其中公式(12)和公式(13)是ELM算法的原理，公式(14)是提出方法的目标函数，公式(17)是对公式(14)变形之后得到的。在求解权值矩阵W时，矩阵H和Y都是已知的。矩阵H可以通过公式(12)、(13)计算得到。
步骤106：根据所述特征向量和所述输出连接权值矩阵对所述训练样本的前景帧进行分类，确定所述前景帧中各个像素的判别标签。
步骤106的目的是分类，对于给定的候选前景图像(待检测的前景图像)中的任意一个像素，首先通过步骤102和步骤103提取其特征向量，记为
Figure BDA0002259048150000144
然后，用权值W计算相应的网络输出值，记为
Figure BDA0002259048150000145
其中，
Figure BDA0002259048150000146
是该样本特征向量xN+1的隐层输出。最后，利用基于权值W的最大网络输出值来确定最终的类标签。分类规则如下：
Figure BDA0002259048150000147
其中，
Figure BDA0002259048150000148
是该像素的判别标签，xN+1属于1或2。
本发明方法中
Figure BDA0002259048150000149
计算得到的值是实数，目的是得到类别是1或者2，所以根据公式(18)计算
Figure BDA00022590481500001410
的最大值对应的下标，即
Figure BDA00022590481500001411
作为待检测像素的类别。
判别标签
Figure BDA00022590481500001412
的值是1或者2，根据公式(18)计算得到。然后根据得到的类别1或者2将对应像素分别标记为阴影像素和非阴影像素(目标像素)。
步骤107：根据所述判别标签在所述前景帧中标记出候选阴影像素和候选目标像素。
通过步骤106对候选前景图像中的像素进行判断，得到相应的判别标签，并在前景图像中标记出候选阴影像素和候选目标像素，标记后的分类结果如图3(c)所示。多个候选阴影像素组成候选运动阴影区域，多个候选目标像素组成候选运动目标区域。
步骤108：对所述候选阴影像素和所述候选目标像素进行后处理操作，生成完整的运动目标和运动阴影。
所述步骤108是后处理操作，用来获得完整的目标和阴影，用于更高级的计算机视觉应用。
从图3(c)中可以看出，在分类过程中，经常会出现分类错误。具体地说，与图3(b)中的groundtruth数据相比可见，图3(c)中的阴影可能会被错误地检测为目标，而且目标也可能会被错误地分类为阴影。为了解决这一问题，对得到的候选阴影像素和候选目标像素进行后处理，保证运动目标和运动阴影检测的完整性，更为计算机视觉中的进一步应用提供辅助依据。
后处理是根据阴影和目标的空间相关性和几何特性设计的。在后处理中有两种操作：候选运动目标的尺寸判别和候选运动阴影的边界判别。
1.候选运动阴影和运动目标的尺寸判别
一般来说，候选运动阴影包括正确分类的阴影区域和错误分类的小目标块，如图3(c)所示。为了去除分类错误的小目标块，本发明首先利用连通分量标记算法分别标记候选的运动阴影和运动目标，生成不同的标记子区域。然后，利用尺寸滤波器纠正小的错误分类的小目标块。以候选运动阴影为例，详细阐述了该操作的执行过程。
对于候选运动阴影掩模MS，执行连通分量标记算法后生成一系列连通子区域：
MS＝{R1,R2,…,Rn},i＝1,2,...,n (19)
其中，Ri表示第i个连通子区域，n表示子区域的个数。候选运动阴影掩模MS表示对候选前景图像进行阴影检测之后得到的候选阴影二值图像，对它使用连通分量标记算法得到一系列连通子区域，这些连通子区域构成集合MS。
接下来，将集合MS中的子区域按照大小进行排序，将尺寸较小的子区域过滤并判别为目标区域。
Figure BDA0002259048150000161
其中，Num(Ri)是子区域Ri内的像素个数，num是最大子区域内的像素个数，α是经验阈值，α∈[0,0.2]。类似地，在候选的运动目标MO中执行同样的操作。
2.候选运动阴影的边界判别
如果将运动目标的一部分被误分类为阴影，那么该区域的大部分边界将位于候选运动目标内部，如图3(c)所示。同样，如果候选阴影是真实的阴影，那么超过一半的边界应该与运动目标的边界相邻。因此，可以利用候选阴影区域的边界信息来判断该区域是否为阴影。首先，利用sobel边缘算法对候选运动目标和运动阴影进行分割。然后，采用连通分量标记算法对每个区域进行标记，并对子区域的边缘进行计算。对于每一个候选的阴影区域，分别计算出该候选运动目标区域的所有边界阴影像素个数Ns和连接于该候选运动目标区域边界的边界阴影像素个数No。因此，可以根据以下规则确定候选阴影区域的类别：
Figure BDA0002259048150000162
后处理后的结果如图3(d)所示。显然，后处理可以对阴影检测结果进行细化，对分类错误的结果校正起着非常重要的作用。
本发明对所述候选阴影像素和所述候选目标像素进行后处理操作，检测出完整的运动目标和运动阴影。
本发明提出的一种新的基于空间相关性和极限学习机的有效运动阴影检测方法，在阴影属性的基础上，同时考虑像素的特性和相邻像素的空间相关性，提取出一组由像素级特征和区域级特征组成的特征向量，并根据所述特征向量构造了一种基于极限学习机的通用分类模型，该模型简单有效，无需调整阈值或参数也可以自动地确定一个像素是否为阴影，降低了计算复杂度，提高了检测效率。
与传统方法相比，本发明方法不仅融合了像素级特征，而且根据相邻像素之间的相关性，挖掘区域级特征，形成输入数据，用于构建MCSD-ELM模型。一方面，该模型只需要调整一个参数(隐层单元个数L)，操作简单、计算复杂度低；另一方面该参数值对分类准确率影响并不大，即使不调整该参数也可以自动地确定一个像素是否为阴影，从而进一步降低了计算复杂度，提高了检测效率。进一步的，本发明采用的后处理操作可以进一步提高分类性能，保证运动阴影和运动目标检测的完整性和准确性，提高了运动阴影检测的精度。
此外，本发明进一步在两个公开可用的数据集上验证了本发明方法的性能。实验结果表明，本发明方法对噪声具有较强的鲁棒性。
基于本发明提供的一种基于空间相关性和极限学习机的运动阴影检测方法，本发明还提供一种基于空间相关性和极限学习机的运动阴影检测系统，参见图4，所述运动阴影检测系统包括：
训练样本获取模块401，用于获取训练样本的背景图像和前景帧；
像素级特征提取模块402，用于根据所述背景图像和所述前景帧提取所述训练样本的像素级特征；所述像素级特征包括RGB颜色空间的颜色比特征、LRGB颜色空间的亮度比特征以及HSV颜色空间的色彩一致性特征；
区域级特征提取模块403，用于根据所述背景图像和所述前景帧提取所述训练样本的区域级特征；所述区域级特征包括LRGB颜色空间的归一化互相关特征、光照不变的Gabor特征以及改进的局部二值模式特征；
特征向量构建模块404，用于根据所述像素级特征和所述区域级特征构建所述训练样本的特征向量；
分类器模型训练模块405，用于采用所述特征向量训练MCSD-ELM分类器模型，得到输出连接权值矩阵；
分类模块406，用于根据所述特征向量和所述输出连接权值矩阵对所述训练样本的前景帧进行分类，确定所述前景帧中各个像素的判别标签；
像素标记模块407，用于根据所述判别标签在所述前景帧中标记出候选阴影像素和候选目标像素；
后处理模块408，用于对所述候选阴影像素和所述候选目标像素进行后处理操作，生成完整的运动目标和运动阴影。
其中，所述像素级特征提取模块402，具体包括：
颜色比特征提取单元，用于根据所述训练样本的所述背景图像和所述前景帧，采用公式
Figure BDA0002259048150000181
提取所述训练样本的RGB颜色空间的颜色比特征；其中Bc(x,y)为所述背景图像B的c分量中(x,y)处的强度值；Fc(x,y)是所述前景帧F的c分量中(x,y)处的强度值；Kc(x,y)表示c分量中(x,y)处的颜色比；c∈{R,G,B}；R,G,B分别表示所述训练样本的R,G,B分量。
LRGB分量转换单元，用于采用公式
Figure BDA0002259048150000182
将所述训练样本的RGB分量转换为LRGB分量(L,T1,T2,T3)T；其中(A1,A2,A3)T＝(R,G,B)T；
亮度比特征提取单元，用于根据所述LRGB分量(L,T1,T2,T3)T中的L分量，采用公式
Figure BDA0002259048150000183
提取所述训练样本的亮度比特征LLRGB(x，y)；其中FL(x,y)和BL(x,y)分别表示前景帧F和背景图像B在LRGB颜色空间中对应L分量(x,y)处的亮度值。
色度差异提取单元，用于采用公式H(x，y)＝|Fh(x，y)-Bh(x，y)|确定前景帧F和背景图像B之间的色度差异H(x,y)；
饱和度差异提取单元，用于采用公式S(x，y)＝|Fs(x，y)-Bs(x，y)|确定前景帧F和背景图像B之间的饱和度差异S(x,y)；
高色度值提取单元，用于采用公式
Figure BDA0002259048150000184
确定阴影区域在HSV颜色空间中的高色度值R(x,y)；其中Fh，Fs，Fv分别表示前景帧F在HSV颜色空间中的色度，饱和度，亮度值；Bh和Bs分别表示背景图像B在HSV颜色空间中的色度和饱和度。
所述区域级特征提取模块403具体包括：
归一化互相关特征提取单元，用于采用公式
Figure BDA0002259048150000191
提取所述训练样本的LRGB颜色空间的归一化互相关特征NCC(x，y)；其中
Figure BDA0002259048150000192
FL(i,j)和BL(i,j)分别表示前景帧F和背景图像B在LRGB颜色空间中的邻域像素q(i,j)的亮度分量在(i,j)处的亮度值；q(i,j)为像素p(x,y)的相邻像素；相邻像素的集合记为(i,j)∈Ωp。
Gabor特征提取单元，用于采用公式
Figure BDA0002259048150000193
提取所述训练样本的光照不变的Gabor特征；其中是c分量中(x,y)处的Gabor系数，c∈{R,G,B}，p取0，q＝θ∈{0°,45°,90°,135°}；I和J表示Gabor核gpq的维数，D(x,y)是像素p(x,y)邻域，，D(x-i,y-j)是与gpq进行卷积时的变量，gpq(i，j)是Gabor核。
MLBP描述符确定单元，用于采用公式
Figure BDA0002259048150000199
的MLBP描述符MLBPN，r(x，y)；其中，N和r分别表示以像素p(x,y)为中心的邻域内的像素数和圆的半径；Ω(x，y)是(x,y)相邻像素的集合；Vn是位置(i,j)处相邻像素的强度值，Vm是位置(x,y)处相邻像素的强度值，Δ是提高平滑区域鲁棒性的阈值；n为整数；
局部二值模式直方图求解单元，用于获取背景图像和前景帧提取的所述MLBP描述符MLBPN，r(x，y)对应的直方图
Figure BDA0002259048150000195
和
Figure BDA0002259048150000196
其中
Figure BDA0002259048150000197
和
Figure BDA0002259048150000198
分别为前景帧F和背景帧B的c分量中(x,y)处的像素的改进的局部二值模式直方图；c∈{R,G,B}；
局部二值模式特征提取单元，用于根据所述改进的局部二值模式直方图
Figure BDA0002259048150000201
和
Figure BDA0002259048150000202
采用公式
Figure BDA0002259048150000203
提取所述训练样本的改进的局部二值模式特征Simc(x,y)；其中Nh表示直方图中柱图的个数。
所述特征向量构建模块404具体包括：
特征向量构建单元，用于根据所述像素级特征和所述区域级特征构建特征描述符
Figure BDA0002259048150000204
其中d＝23为特征描述符的维数；
Figure BDA0002259048150000205
表示d维空间；xi表示第i个训练样本的特征向量，i＝1,…,N；N为训练样本的数量；xid为特征向量xi中的第d个元素；Fea1＝KR，Fea2＝KG，Fea3＝KB；Fea4＝LLRGB；Fea5＝H(x，y)，Fea6＝S(x，y)，Fea7＝R(x，y)；Fea7＝R(x，y)；
Figure BDA0002259048150000206
所述分类器模型训练模块405具体包括：
模型训练集构建单元，用于根据所述特征向量构建模型训练集
Figure BDA0002259048150000207
其中yi表示第i个训练样本的标签，i＝1,…,N；
分类器模型训练单元，用于采用所述模型训练集
Figure BDA0002259048150000208
训练MCSD-ELM分类器模型，得到输出连接权值矩阵
Figure BDA0002259048150000209
其中
Figure BDA00022590481500002010
hj(xi)表示所述MCSD-ELM分类器模型的输入为xi时，第j个隐层节点的输出函数；i＝1,…,N；j＝1,…,L；
Figure BDA00022590481500002011
yic为标签yi的第c个元素，c＝1,…,C；C为标签的维数。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于空间相关性和极限学习机的运动阴影检测方法，其特征在于，所述运动阴影检测方法包括：
获取训练样本的背景图像和前景帧；
根据所述背景图像和所述前景帧提取所述训练样本的像素级特征；所述像素级特征包括RGB颜色空间的颜色比特征、LRGB颜色空间的亮度比特征以及HSV颜色空间的色彩一致性特征；
根据所述背景图像和所述前景帧提取所述训练样本的区域级特征；所述区域级特征包括LRGB颜色空间的归一化互相关特征、光照不变的Gabor特征以及改进的局部二值模式特征；
根据所述像素级特征和所述区域级特征构建所述训练样本的特征向量；
采用所述特征向量训练MCSD-ELM分类器模型，得到输出连接权值矩阵；
根据所述特征向量和所述输出连接权值矩阵对所述训练样本的前景帧进行分类，确定所述前景帧中各个像素的判别标签；
根据所述判别标签在所述前景帧中标记出候选阴影像素和候选目标像素；
对所述候选阴影像素和所述候选目标像素进行后处理操作，生成完整的运动目标和运动阴影。
2.根据权利要求1所述的运动阴影检测方法，其特征在于，所述根据所述背景图像和所述前景帧提取所述训练样本的RGB颜色空间的颜色比特征，具体包括：
根据所述训练样本的所述背景图像和所述前景帧，采用公式
Figure FDA0002259048140000011
提取所述训练样本的RGB颜色空间的颜色比特征；其中Bc(x,y)为所述背景图像B的c分量中(x,y)处的强度值；Fc(x,y)是所述前景帧F的c分量中(x,y)处的强度值；Kc(x,y)表示c分量中(x,y)处的颜色比；c∈{R,G,B}；R,G,B分别表示所述训练样本的R,G,B分量。
3.根据权利要求2所述的运动阴影检测方法，其特征在于，所述根据所述背景图像和所述前景帧提取所述训练样本的LRGB颜色空间的亮度比特征，具体包括：
采用公式
Figure FDA0002259048140000021
将所述训练样本的RGB分量转换为LRGB分量(L,T1,T2,T3)T；其中(A1,A2,A3)T＝(R,G,B)T；
根据所述LRGB分量(L,T1,T2,T3)T中的L分量，采用公式
Figure FDA0002259048140000022
提取所述训练样本的亮度比特征LLRGB(x，y)；其中FL(x,y)和BL(x,y)分别表示前景帧F和背景图像B在LRGB颜色空间中对应L分量(x,y)处的亮度值。
4.根据权利要求3所述的运动阴影检测方法，其特征在于，所述根据所述背景图像和所述前景帧提取所述训练样本的HSV颜色空间的色彩一致性特征，具体包括：
采用公式H(x，y)＝|Fh(x，y)-Bh(x，y)|确定前景帧F和背景图像B之间的色度差异H(x,y)；
采用公式S(x，y)＝|Fs(x，y)-Bs(x，y)|确定前景帧F和背景图像B之间的饱和度差异S(x,y)；
采用公式
Figure FDA0002259048140000023
确定阴影区域在HSV颜色空间中的高色度值R(x,y)；其中Fh，Fs，Fv分别表示前景帧F在HSV颜色空间中的色度，饱和度，亮度值；Bh和Bs分别表示背景图像B在HSV颜色空间中的色度和饱和度。
5.根据权利要求4所述的运动阴影检测方法，其特征在于，所述根据所述背景图像和所述前景帧提取所述训练样本的LRGB颜色空间的归一化互相关特征，具体包括：
采用公式
Figure FDA0002259048140000024
提取所述训练样本的LRGB颜色空间的归一化互相关特征NCC(x，y)；其中
Figure FDA0002259048140000031
FL(i,j)和BL(i,j)分别表示前景帧F和背景图像B在LRGB颜色空间中的邻域像素q(i,j)的亮度分量在(i,j)处的亮度值；q(i,j)为像素p(x,y)的相邻像素；相邻像素的集合记为(i,j)∈Ωp。
6.根据权利要求5所述的运动阴影检测方法，其特征在于，所述根据所述背景图像和所述前景帧提取所述训练样本的光照不变的Gabor特征，具体包括：
采用公式
Figure FDA0002259048140000032
提取所述训练样本的光照不变的Gabor特征；其中
Figure FDA0002259048140000033
是c分量中(x,y)处的Gabor系数，c∈{R,G,B}，p取0，q＝θ∈{0°,45°,90°,135°}；I和J表示Gabor核gpq的维数，D(x,y)是像素p(x,y)邻域，，D(x-i,y-j)是与gpq进行卷积时的变量，gpq(i，j)是Gabor核。
7.根据权利要求6所述的运动阴影检测方法，其特征在于，所述根据所述背景图像和所述前景帧提取所述训练样本的改进的局部二值模式特征，具体包括：
采用公式确定像素p(x,y)的MLBP描述符MLBPN，r(x，y)；其中，N和r分别表示以像素p(x,y)为中心的邻域内的像素数和圆的半径；Ω(x，y)是(x,y)相邻像素的集合；Vn是位置(i,j)处相邻像素的强度值，Vm是位置(x,y)处相邻像素的强度值，Δ是提高平滑区域鲁棒性的阈值；n为整数；
获取背景图像和前景帧提取的所述MLBP描述符MLBPN，r(x，y)对应的直方图
Figure FDA0002259048140000035
和
Figure FDA0002259048140000036
其中
Figure FDA0002259048140000037
和分别为前景帧F和背景帧B的c分量中(x,y)处的像素的改进的局部二值模式直方图；c∈{R,G,B}；
根据所述改进的局部二值模式直方图
Figure FDA0002259048140000039
和
Figure FDA00022590481400000310
采用公式
Figure FDA0002259048140000041
提取所述训练样本的改进的局部二值模式特征Simc(x,y)；其中Nh表示直方图中柱图的个数。
8.根据权利要求7所述的运动阴影检测方法，其特征在于，所述根据所述像素级特征和所述区域级特征构建所述训练样本的特征向量，具体包括：
根据所述像素级特征和所述区域级特征构建特征描述符
Figure FDA0002259048140000042
其中d＝23为特征描述符的维数；
Figure FDA0002259048140000043
表示d维空间；xi表示第i个训练样本的特征向量，i＝1,…,N；N为训练样本的数量；xid为特征向量xi中的第d个元素；Fea1＝KR，Fea2＝KG，Fea3＝KB；Fea4＝LLRGB；Fea5＝H(x，y)，Fea6＝S(x，y)，Fea7＝R(x，y)；Fea8＝NCC(x，y)；
Figure FDA0002259048140000044
Fea21＝SimR,Fea22＝SimG,Fea23＝SimB。
9.根据权利要求8所述的运动阴影检测方法，其特征在于，所述采用所述特征向量训练MCSD-ELM分类器模型，得到输出连接权值矩阵，具体包括：
根据所述特征向量构建模型训练集
Figure FDA0002259048140000045
其中yi表示第i个训练样本的标签，i＝1,…,N；
采用所述模型训练集
Figure FDA0002259048140000046
训练MCSD-ELM分类器模型，得到输出连接权值矩阵
Figure FDA0002259048140000047
其中
Figure FDA0002259048140000048
hj(xi)表示所述MCSD-ELM分类器模型的输入为xi时，第j个隐层节点的输出函数；i＝1,…,N；j＝1,…,L；
Figure FDA0002259048140000051
yic为标签yi的第c个元素，c＝1,…,C；C为标签的维数。
10.一种基于空间相关性和极限学习机的运动阴影检测系统，其特征在于，所述运动阴影检测系统包括：
训练样本获取模块，用于获取训练样本的背景图像和前景帧；
像素级特征提取模块，用于根据所述背景图像和所述前景帧提取所述训练样本的像素级特征；所述像素级特征包括RGB颜色空间的颜色比特征、LRGB颜色空间的亮度比特征以及HSV颜色空间的色彩一致性特征；
区域级特征提取模块，用于根据所述背景图像和所述前景帧提取所述训练样本的区域级特征；所述区域级特征包括LRGB颜色空间的归一化互相关特征、光照不变的Gabor特征以及改进的局部二值模式特征；
特征向量构建模块，用于根据所述像素级特征和所述区域级特征构建所述训练样本的特征向量；
分类器模型训练模块，用于采用所述特征向量训练MCSD-ELM分类器模型，得到输出连接权值矩阵；
分类模块，用于根据所述特征向量和所述输出连接权值矩阵对所述训练样本的前景帧进行分类，确定所述前景帧中各个像素的判别标签；
像素标记模块，用于根据所述判别标签在所述前景帧中标记出候选阴影像素和候选目标像素；
后处理模块，用于对所述候选阴影像素和所述候选目标像素进行后处理操作，生成完整的运动目标和运动阴影。
CN201911065077.6A 2019-11-04 2019-11-04 基于空间相关性和极限学习机的运动阴影检测方法及系统 Withdrawn CN110781977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911065077.6A CN110781977A (zh) 2019-11-04 2019-11-04 基于空间相关性和极限学习机的运动阴影检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911065077.6A CN110781977A (zh) 2019-11-04 2019-11-04 基于空间相关性和极限学习机的运动阴影检测方法及系统

Publications (1)

Publication Number Publication Date
CN110781977A true CN110781977A (zh) 2020-02-11

Family

ID=69388779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911065077.6A Withdrawn CN110781977A (zh) 2019-11-04 2019-11-04 基于空间相关性和极限学习机的运动阴影检测方法及系统

Country Status (1)

Country Link
CN (1) CN110781977A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967362A (zh) * 2020-08-09 2020-11-20 电子科技大学 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967362A (zh) * 2020-08-09 2020-11-20 电子科技大学 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法
CN111967362B (zh) * 2020-08-09 2022-03-15 电子科技大学 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法

Similar Documents

Publication Publication Date Title
Tong et al. Salient object detection via bootstrap learning
CN104751142B (zh) 一种基于笔划特征的自然场景文本检测方法
CN103035013B (zh) 一种基于多特征融合的精确运动阴影检测方法
CN111553837B (zh) 一种基于神经风格迁移的艺术文本图像生成方法
CN110569782A (zh) 一种基于深度学习目标检测方法
CN110555464A (zh) 一种基于深度学习模型的车辆颜色识别方法
Phimoltares et al. Face detection and facial feature localization without considering the appearance of image context
CN113592911B (zh) 表观增强深度目标跟踪方法
CN112906550B (zh) 一种基于分水岭变换的静态手势识别方法
CN104123554A (zh) 基于mmtd的sift图像特征提取方法
KR101753360B1 (ko) 시점 변화에 강인한 특징점 정합 방법
CN108319961B (zh) 一种基于局部特征点的图像roi快速检测方法
CN115661777A (zh) 一种联合语义的雾天道路目标检测算法
Lecca et al. Comprehensive evaluation of image enhancement for unsupervised image description and matching
CN108491883B (zh) 一种基于条件随机场的显著性检测优化方法
Zhu et al. Foreground object sensing for saliency detection
CN110910497B (zh) 实现增强现实地图的方法和系统
Dhingra et al. Clustering-based shadow detection from images with texture and color analysis
CN110781977A (zh) 基于空间相关性和极限学习机的运动阴影检测方法及系统
CN112101283A (zh) 一种交通标志智能识别方法及系统
CN110210561B (zh) 神经网络的训练方法、目标检测方法及装置、存储介质
CN110188693B (zh) 改进的复杂环境车辆特征提取和停车判别方法
Chen et al. Illumination-invariant video cut-out using octagon sensitive optimization
CN113139946A (zh) 一种基于视觉的衬衫污渍定位设备
Fatemi et al. Fully unsupervised salient object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200211