CN107481257A - 融合颜色与局部三进制相似模式特征的图像背景去除方法 - Google Patents
融合颜色与局部三进制相似模式特征的图像背景去除方法 Download PDFInfo
- Publication number
- CN107481257A CN107481257A CN201710552141.8A CN201710552141A CN107481257A CN 107481257 A CN107481257 A CN 107481257A CN 201710552141 A CN201710552141 A CN 201710552141A CN 107481257 A CN107481257 A CN 107481257A
- Authority
- CN
- China
- Prior art keywords
- pixel
- background
- mrow
- ltsp
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种融合颜色与局部三进制相似模式特征的图像背景去除方法，步骤包括：S1.获取指定帧目标图像，分别计算获取的图像中每个像素的颜色特征，以及基于LTSP特征将当前图像内每个像素与邻域像素进行三进制划分后，计算得到对应各像素的intra‑LTSP特征，基于颜色特征、intra‑LTSP特征为目标图像进行背景建模，建立得到背景模型；S2.使用建立的背景模型对目标图像进行前景分割以去除背景图像，并根据各个像素的颜色特征、intra‑LTSP特征对背景模型进行模型更新。本发明具有实现方法简单、所需成本低、对背景中光照变化的适应性强，同时背景去除效率高、效果好且漏检及误检率低等优点。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种融合颜色与局部三进制相似模式特征的图像背景去除方法。
背景技术
图像背景去除的基本思想是建立一个背景模型，通过比较当前帧和背景模型的差异来检测运动目标，并不断更新背景模型。背景减除的关键就在于背景模型的建立和更新，其中要求背景模型应该尽可能地反映真实背景，同时能适应背景场景的变化。
针对图像背景去除目前有多种建模方式、实现算法，如采用混合高斯背景模型(GMM)、非参数化的背景模型以及采用基于样本一致性(SACON)算法、视觉背景提取(ViBe)算法等，但是各背景模型以及实现算法均存在一定的缺陷：GMM仅用几个高斯核函数不能准确地对复杂动态背景进行建模，而且学习率的大小面临着两难的取舍，即过快的学习率会把移动较慢的目标融入到背景，而太慢的学习率对光照和场景的突变过于敏感；非参数化的背景模型可以避开参数化建模的问题，但是对高低频变化同时出现的情况不能进行很好的处理；基于样本一致性(SACON)算法，通过直接取N帧视频序列进行背景建模，采用先进先出的更新策略，但是该算法必须加入团块级的处理来消除前景目标的“空洞”；在背景去除中，ViBe是将背景去除看作是一种分类方法，在颜色空间上进行选择的时候，通过比较当前位置像素点的值与其邻域像素点的值的相关性来判断该像素点是前景像素点还是背景像素点，可以避免极端像素值的干扰，ViBe算法只用一帧图像就能建立背景模型，同时没有时域概念而使用全局阈值，模型简单、实时性强，但存在鬼影消除时间长、静止目标、阴影前景和运动目标检测不完整，以及动态场景下误检多等缺点，鬼影是指背景中的静止目标离开后，会在原先的位置产生错误的前景，初始帧产生鬼影的情况较多。
针对ViBe算法存在的上述问题，有从业者提出多种改进方案，主要包括：
(1)使用像素闪烁等级描述背景动态，但是在抑制动态背景时引入了团块级和帧级的处理，而且当运动目标出现在高动态背景区域时会产生较大的漏检；
(2)根据生物视觉特性，在ViBe算法的基础上用均值漂移滤波器模糊局部细节，对光照变化和小幅度的背景扰动有一定的效果，但是计算量大，实时性差；
(3)在ViBe算法框架上引入了时域信息，用连续N帧图像建模，通过计算模型样本统计信息得到自适应阈值，对类周期性动态背景有较好的适应性，但是对间断性的扰动背景的响应时间较慢，其还放弃了ViBe算法的单帧建模的优势，增加了计算复杂度和内存开销；
(4)基于三值模式特征的背景减除算法，该模型对光照变化具有较好的适应性，但是检测目标通常会有因大量漏检而造成的空洞。
中国专利申请CN106127151A公开一种基于改进局部二值模型的指静脉识别方法及装置，通过构建改进局部二值模型，实现指静脉识别，能够克服噪声的影响，提高识别的准确度且易于并行化实现，但是当外在因素造成图像模糊和图像形变等时，基于局部二值模型无法进行良好处理。
因此，亟需提供一种图像背景去除方法，以能够减少去除复杂度、提高去除效率，同时还能够提高对光照变化的适应性，以及减小漏检、误检率。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种具有实现方法简单、所需成本低、对背景中光照变化的适应性强，同时背景去除效率高、效果好且漏检及误检率低的融合颜色与局部三进制相似模式特征的图像背景去除方法。
为解决上述技术问题，本发明提出的技术方案为：
一种融合颜色与局部三进制相似模式特征的图像背景去除方法，步骤包括：
S1.获取指定帧目标图像，分别计算获取的图像中每个像素的颜色特征，以及基于LTSP特征将当前图像内每个像素与邻域像素进行三进制划分后，计算得到对应各像素的intra-LTSP特征，基于计算的所述颜色特征、intra-LTSP特征为目标图像进行背景建模，建立得到背景模型；
S2.使用建立的所述背景模型对目标图像进行前景分割以去除背景图像，并根据各个像素的所述颜色特征、intra-LTSP特征对所述背景模型进行模型更新。
作为本发明的进一步改进，所述步骤S2中进行前景分割的具体步骤为：
S21.计算目标图像中各像素的颜色特征，根据计算得到的所述颜色特征使用所述背景模型对目标图像进行前景分割，得到初始背景图像；
S22.基于LTSP特征将所述初始背景图像中每个像素与从所述背景模型中获取的邻域像素进行三进制划分后，计算得到所述初始背景图像中各像素与所述背景模型之间的inter-LTSP特征，并根据各像素的所述inter-LTSP特征对所述初始背景图像再次进行前景分割，得到最终的背景图像。
作为本发明的进一步改进，所述步骤S22中对所述初始背景图像再次进行前景分割的具体步骤为：分别计算所述初始背景图像中各像素的所述inter-LTSP特征与所述intra-LTSP特征之间的距离，如果计算得到的距离值小于预设阈值TH，则判定对应的像素为背景像素，否则判定为前景像素。
作为本发明的进一步改进，所述LTSP特征中具体按照下式计算得到像素的LTSP特征；
其中，LTSPR(xC,yC)为以所需计算像素为中心位置的区域R内所需计算像素的LTSP特征，xC、yC分别为所述区域R的中心像素的坐标，vc为所需计算像素的像素值，vp为以所需计算像素为中心位置的区域R内邻域像素中第P个有效像素的像素值，TD为预设相似度阈值；d1、d2、d3分别为三进制划分值，X为中心像素、所述中心像素的第P个邻域像素之间的像素差；
所述步骤S1中计算intra-LTSP特征的具体步骤为：从同一帧图像中获取待计算像素的像素值vc、以及邻域像素的像素值vp，并计算所述LSTR特征，得到对应的所述intra-LTSP特征；
所述步骤S22中计算inter-LTSP特征的具体步骤为：从当前帧图像、所述背景模型中分别获取待计算像素的像素值vc、以及邻域像素的像素值vp，并计算所述LSTR特征，得到对应的所述inter-LTSP特征。
作为本发明的进一步改进：所述步骤S2中具体采用二次空间传播进行模型更新，具体包括：当产生了一次成功的空间传播后，计算当前位置像素x的像素值v(x)与一个邻域像素y的像素值v(y)之间所述颜色特征的距离，若小于预设阈值，则向邻域像素y的背景模型M(y)进行一次概率为100％的邻域扩散。
作为本发明的进一步改进，所述采用二次空间传播进行模型更新的具体步骤为：
S21.对于被判为背景的像素，按照1/Φ的概率对目标位置x的背景模型样本中的一个样本进行更新，即使用当前位置像素x的像素值v(x)和所述intra-LTSP特征分别对当前位置像素x的颜色模型样本和LTSP模型样本进行更新，其中Φ为当前位置像素x对应的颜色模型样本的个数；
S22.按照1/Φ的概率对当前位置像素x的一个邻域像素y进行第一次空间传播，并使用当前位置像素x的像素值v(x)和所述intra-LTSP特征，对邻域像素y的背景模型样本进行更新，如果更新成功，则转入执行步骤S23，否则模型更新结束；
S23.计算当前位置像素x的像素值v(x)和邻域像素y的像素值v(y)之间所述颜色特征的距离，如果计算得到的所述距离小于当前位置x处用于颜色特征判决的预设阈值的指定倍数，则使用当前位置像素x的像素值v(x)和所述intra-LTSP特征对邻域像素y的背景模型样本中的一个样本进行更新，模型更新结束。
作为本发明的进一步改进，所述步骤S2中进行前景分割时还包括判决阈值自适应调整步骤，具体步骤为：在高动态背景区域增大用于进行前景分割的判决阈值，以及在低动态背景区域减小所述判决阈值。
作为本发明的进一步改进：所述判决阈值自适应调整步骤中，具体使用当前像素点与空间邻域像素的标准差计算得到背景动态值，基于所述背景动态值增大或减小所述判决阈值。
作为本发明的进一步改进：所述判决阈值具体按照下式进行自适应调整；
RL≤R(x)≤RU；
其中，R(x)为像素点x处进行自适应调整后的判决阈值，为像素点x与邻域像素之间的标准差，α为常数系数，RG为全局常量，RL和RU分别为所述判决阈值的下限、上限。
与现有技术相比，本发明的优点在于：
1)本发明图像背景去除方法，通过融合颜色特征以及局部三进制相似模型LSTP特征进行背景建模，利用LSTP对光照不敏感的特性提高了对背景光照变化适应性，同时结合颜色特征建模能够解决单纯使用LTSP特征引起的漏检问题，相比于使用ViBe算法，光照变化的适应性强，且不会对分割结果产生大量的误检，且相比于单独使用LBP算法，能够减少目标误检等问题；
2)本发明图像背景去除方法，通过融合颜色特征以及局部三进制相似模型LSTP特征进行背景建模，能够充分表征中间像素与周围像素之间的关系，从而解决目标由静变动、动变静的情况下所造成的鬼影处理问题，同时有效改善动态背景、目标颜色与背景颜色相似等无法检测目标的情况，减少漏检、误检的发生；
3)本发明图像背景去除方法，通过在模型更新阶段引入二次空间传播机制，能够加快消除鬼影的速度，同时对动态背景具有较好的抑制能力，保证静止目标不会快速加入背景；
4)本发明图像背景去除方法，进一步根据场景变化对背景模型颜色阈值、LTSP阈值进行自适应调整，能够提高动态场景的判决精度，解决目标颜色与背景颜色相近时目标融于背景问题，相比于ViBe算法是采用全局固定判决阈值，能够很好地适应于高动态场景；
5)本发明图像背景去除方法，进一步使用当前像素点与空间邻域像素的标准差表征背景动态，基于背景动态值增大或减小判决阈值，能够提高对动态背景的时间响应速度，且对于类周期的扰动背景处的像素，每帧的标准差都保持一个稳定的范围，当间断性的扰动出现时，通过标准差能够及时调整判决阈值，从而快速实现类周期扰动背景区域的目标检测。
附图说明
图1是本实施例融合颜色与局部三进制相似模式特征的图像背景去除方法的实现流程示意图。
图2是本实施例实现图像背景去除的实现原理示意图。
图3是本实施例实现背景建模的实现原理示意图。
图4是本实施例LSTP特征的计算模板的原理示意图。
图5是采用LBP模型与采用本实施例LTSP模型进行背景去除时的结果对比示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1所示，本实施例融合颜色与局部三进制相似模式特征的图像背景去除方法，步骤包括：
S1.获取指定帧目标图像，分别计算获取的图像中每个像素的颜色特征，以及基于LTSP(Local Ternary Similar Pattern，局部三进制相似模型)算法将当前图像内每个像素与邻域像素进行三进制划分后，计算得到对应各像素的intra-LTSP特征，基于计算的颜色特征、intra-LTSP特征为目标图像进行背景建模，建立得到背景模型；
S2.使用建立的背景模型对目标图像进行前景分割以去除背景图像，并根据各个像素的颜色特征、intra-LTSP特征对背景模型进行模型更新。
局部二进制模型(Local Binary Pattern，LBP)是基于特征空间对背景进行建模，具体步骤是：为每一个像素建立一个3*3的窗口，在窗口的周边8个像素点与中心像素进行对比，将该8个像素转换成二进制，再将这个二进制转换成十进制，并且用这个十进制作为中心像素的新的像素，采用局部二进制模型能反映局部纹理信息，但是由于窗口太小，选取的像素点不能满足精确描述纹理信息的需求，且具有较大的计算量，不适合进行大规模计算；ViBe算法将背景去除看作是一种分类方法，在颜色空间上进行选择的时候，通过比较当前位置像素点的值与其邻域像素点的值的相关性，来判断该像素点是前景像素点还是背景像素点，可以避免极端像素值的干扰，但是存在鬼影，以及、静止目标、阴影前景和运动目标检测不完整的问题。局部三进制相似模型LTSP为基于局部二值模式的建模思想，使用相似阈值来获取三进制编码，如三进制的取值可以为0、1、2，且由取值将中间像素与周围临近像素进行三进制的划分，无需做插值或使用直方图，且对光照不敏感。
本实施例基于局部二进制模型、ViBe算法的上述特性，对ViBe算法进行改进，同时结合LBP中单个处理每一个像素的背景模型方式，通过融合颜色特征以及局部三进制相似模型LSTP特征为每个像素建立一个背景模型，利用LSTP对光照不敏感的特性提高了对动态场景、光照变化适应性，提高了背景对动态场景、光照变化的鲁棒性，能在由于背景光照变化明显的情况下保持良好的背景去除效果；同时结合颜色特征建模能够解决单纯使用LTSP特征引起的漏检问题。采用本实施例上述方法，相比于使用ViBe算法，光照变化的适应性强，且不会对分割结果产生大量的误检，相比于单独使用LBP算法，则能够减少目标误检等问题。
本实施例通过融合颜色特征以及局部三进制相似模型LSTP特征进行背景建模，能够充分表征中间像素与周围像素之间的关系，从而解决目标由静变动、动变静的情况下所造成的鬼影处理问题，以及以下误检的产生：①对于缓慢运动的目标不被误检成背景；②对于周期性变换的背景不被误检成目标，例如，随风摇曳的树叶，喷泉等；③与背景颜色相近的目标不被误检成背景；④由于光照引起的背景变亮不被误检成目标，从而能够有效改善动态背景、目标颜色与背景颜色相似等无法检测目标的情况，减少漏检、误检的发生。
如图2、3所示，本实施例将输入图像经过预处理后，首先利用前几帧基于颜色特征、LSTP特征对每个像素进行背景建模，背景模型为每个背景点存储一个背景模板；再使用背景模型对图像进行前景分割，将每一个新的像素值和背景模型中背景模板进行比较，判断是否属于背景点，最终得到前景图像、去除背景图像。
本实施例中，步骤S2中进行前景分割的具体步骤为：
S211.计算目标图像中各像素的颜色特征，根据计算得到的颜色特征使用背景模型对目标图像进行前景分割，得到初始背景图像；
S212.基于LTSP特征将初始背景图像中每个像素与从背景模型中获取的邻域像素进行三进制划分后，计算得到初始背景图像中各像素与背景模型之间的inter-LTSP特征，并根据各像素的inter-LTSP特征对初始背景图像再次进行前景分割，得到最终的背景图像。
本实施例中，LTSP特征中具体按照下式(1)、(2)计算得到像素的LTSP特征；
其中，LTSPR(xC,yC)为以所需计算像素为中心位置的区域R内所需计算像素的LTSP特征，(xC，yC)分别为所述区域R的中心像素的坐标，vc为所需计算像素的像素值，vp为以所需计算像素为中心位置的区域R内邻域像素中第P个有效像素的像素值，TD为预设相似度阈值；d1、d2、d3分别为三进制划分值，X为中心像素、所述中心像素的第P个邻域像素之间的像素差。
在具体实施例中，d1、d2、d3分别取值为0、1、2，即为：
如图4所示，在区域R中，“x”表示中心位置像素、“○”表示有效像素，中心位置像素x的LTSP特征按照上述式(1)、(3)计算得到，即(xC,yC)为中间像素点，LTSPR(xC,yC)中间像素点的LSTR特征值，vc为中间像素点的像素值，vp为中间像素点的空间邻域中第P个有效像素的像素值。
本实施例中LTSP特征分为两种计算模式：①intra-LTSP特征，即vc、vp属于同一帧图像，用来产生背景模型；②inter-LTSP特征，即vp来自于另一帧图像，而vc来自于背景模型，用以进行前景分割。步骤S1中计算intra-LTSP特征的具体步骤为：从同一帧图像中获取待计算像素的像素值vc、以及邻域像素的像素值vp，并按上述公式(1)、(3)计算LSTR特征，得到对应的intra-LTSP特征，以用于建立背景模型；步骤S22中计算inter-LTSP特征的具体步骤为：从当前帧图像、背景模型中分别获取待计算像素的像素值vc、以及邻域像素的像素值vp，并按上述公式(1)、(3)计算LSTR特征，得到对应的inter-LTSP特征，以用于进行前景分割。
本实施例中，步骤S22中对初始背景图像再次进行前景分割的具体步骤为：分别计算初始背景图像中各像素的inter-LTSP特征与intra-LTSP特征之间的距离，如果计算得到的距离值小于预设阈值TH，则判定对应的像素为背景像素，否则判定为前景像素。本实施例inter-LTSP特征与intra-LTSP特征之间的距离具体采用汉明距离，分割原具体可表示为：
其中，H(inter-LBTP,intra-LBTP)是inter-LTSP和intra-LTSP三进制编码之间的汉明距离，即两者按位异或后得到的三进制字符串中“1”的个数；若汉明距离越小，对应表明两者越相似，则如果H(inter-LBTP,intra-LBTP)小于预设阈值TH，则判定对应的像素为背景像素BG，否则判定为前景像素FG。
如图5所示，分别采用LBP模型以及本实施上述背景模型对同一图像目标进行背景去除，其中，图(a)对应LBP模型，图(b)对应本实施例上述背景模型，从图中可以看出，由LBP模型会造成模板空洞，而采用本实施上述背景建模，可以解决模板空洞问题。假设视频中某帧中A点的像素值为60，其所有邻域像素为10，计算两像素L1距离为50，计算该两像素的intra-LTSP的编码是0000000000000000，以及intra-LTSP编码为0000000000000000；当目标出现时，假设该点像素值与邻域像素值均为110，计算两个像素点的L1距离仍然为50，计算该两像素的inter-LTSP编码为0000000000000000，inter-LTSP编码为1111111111111111，则inter-LTSP和intra-LTSP三进制编码的汉明距离是0，即能够很好的处理空洞，而使用LBP特征建模得到的inter-LTSP和intra-LTSP的汉明距离是16，无法正确分割目标与背景。相比于通过提高判决阈值来减小光照引起的误检时，本实施例采用LTSP建模，能够避免颜色特征和背景模型相差较小时会被误检为背景，且由于LTSP是比较相邻像素的大小关系，而可以消除使用LBP时会导致目标内部出现的空洞的问题。
本实施例LTSP特征具体为16位的三进制字符串，对于三通道图像，每个像素需要用48位的三进制字符串来描述；对于单通道图像，在模型初始化阶段，则随机抽取邻域像素作为模型样本，每个模型样本由一个8位的颜色特征和一个16位的intra-LTSP特征组成。
本实施例进行前景分割的详细步骤为：首先根据颜色特征进行分割，用L1(一阶范数)距离表征颜色特征的差异，判决阈值可设置为相比于单纯基于颜色特征进行判决时的阈值较大，以提高对光照变化的容忍能力，同时也能避免目标的部分区域被误检为背景；再对在颜色特征上与背景模型匹配的像素，即判为背景的像素点，进一步计算inter-LTSP特征，按照上述式(4)做进一步分割，而对于在颜色分割阶段就判为前景的像素，不计算inter-LTSP特征，因而计算量相比于单纯使用LBP特征建模要小。
由于产生鬼影的原因主要有：1)背景模型的初始帧存在着运动目标；2)运动目标的状态转变，从静止到运动，背景模型的更新速率无法与背景变率相同步，出现虚假目标，即鬼影，因而静止目标问题的根源分为运动目标从运动到静止，以及运动目标运动缓慢两类。使用Vibe背景模型且更新速度过快时，会将静止或缓慢运动目标吸收为背景的一部分，则上述两种运动目标就不能检测出来，造成漏检。
本实施例中，步骤S2中具体采用二次空间传播进行模型更新，具体包括：当产生了一次成功的空间传播后，计算当前位置像素x的像素值v(x)与一个邻域像素y的像素值v(y)之间颜色特征的距离，若小于预设阈值，则向邻域像素y的背景模型M(y)进行一次概率为100％的邻域扩散。具体计算颜色特征之间的L1距离如果距离足够小，则向y的模型进行一次概率为100％的邻域扩散。为了尽可能减少错误的空间传播，本实施例将二次判决的阈值设置为比第一次阈值小一定倍数，具体可设置二次判决的阈值尽可能小。
真实前景的外轮廓像素值与周围背景相差较大，当运动目标静止后目标周围像素通过空间传播机制扩散到目标边界的模型样本中，但是这些扩散进来的样本与目标边界像素相差较大，通常不会匹配成功，因此周围的背景像素很难越过边界而扩散至目标内部；而鬼影区域像素通常与周围背景像素相差较小，很容易与扩散进来的模型样本匹配，鬼影的消除速度要比静止目标融入背景的速度快很多。本实施例通过在模型更新阶段，引入了二次空间传播机制，能够加快消除鬼影的速度，同时对动态背景具有较好的抑制能力，保证静止目标不会快速加入背景。
本实施例中，设图像中x位置的像素值为v(x)，y是x的某个邻域，像素值为v(y)，y的背景模型为M(y)，采用二次空间传播进行模型更新的具体步骤为：
S221.对于被判为背景的像素，按照1/Φ的概率对目标位置x的N个背景模型样本中的某一样本进行更新，即使用当前位置像素x的像素值v(x)和intra-LTSP特征分别对当前位置像素x的颜色模型样本和LTSP模型样本进行更新，其中Φ为当前位置像素x对应的颜色模型样本的个数；
S222.按照1/Φ的概率对当前位置像素x的一个邻域像素y进行第一次空间传播，并使用当前位置像素x的像素值v(x)和intra-LTSP特征，对邻域像素y的N个背景模型样本进行更新，如果更新成功，则转入执行步骤S223，否则模型更新结束；
S223.计算当前位置像素x的像素值v(x)和邻域像素y的像素值v(y)之间颜色特征的L1距离，如果计算得到的距离小于当前位置x处用于颜色特征判决的预设阈值的指定倍数1/β，其中β为预设倍数值且与距离成正比，β取值具体可通过实验调节确定；则使用当前位置像素x的像素值v(x)和intra-LTSP特征对邻域像素y的N个背景模型样本中的一个样本进行更新，模型更新结束。
本实施例中，步骤S2中进行前景分割时还包括判决阈值自适应调整步骤，具体步骤为：在高动态背景区域增大用于进行前景分割的判决阈值，以及在低动态背景区域减小判决阈值。通过高动态背景区域提高判决阈值，可以使高频变化背景不被检测为前景，通过在低动态背景区域减低判决阈值，则使得可以检测到细微的变化。
当目标颜色与背景颜色相近时，固定的判定阈值会使得最终目标融于背景，本实施例通过根据场景变化对背景模型进行颜色阈值、LTSP阈值进行自适应调整，能够提高动态场景的判决精度，解决目标颜色与背景颜色相近时目标融于背景问题，相比于ViBe算法是采用全局固定判决阈值，能够很好地适应于高动态场景。
获取自适应阈值的关键在于如何准确描述背景动态变化，传统的基于像素级的自适应分割(Pixel–Based Adaptive Segmenter，PBAS)算法需要使用前景分割阶段所得到的最小距离差的样本集描述背景动态，无法快速自适应调整阈值，且对于非周期的扰动背景和突然出现在高动态背景区域的目标会产生较大的误检。本实施例判决阈值自适应调整步骤中，具体使用当前像素点与空间邻域像素的标准差计算得到背景动态值，基于背景动态值增大或减小判决阈值，使用当前像素点与空间邻域像素的标准差来表征背景动态，能够提高对动态背景的时间响应速度。由于对于类周期的扰动背景处的像素，每帧的标准差都保持一个稳定的范围，而当间断性的扰动出现时标准差能及时改变，因此仅由当前帧图像就可以得到时间响应速度较快的自适应阈值，且还可以快速检测到类周期扰动背景区域中的目标。
本实施例中，判决阈值具体按照下式(5)、(6)进行自适应调整；
RL≤R(x)≤RU (6)
其中，R(x)为像素点x处进行自适应调整后的判决阈值，为像素点x与邻域像素之间的标准差，α为常数系数，RG为全局常量，RL和RU分别为判决阈值的下限、上限。当像素点x与邻域像素之间的标准差大于或等于判决阈值R(x)时，增加判决阈值的大小，使用作为调整后判决阈值；当像素点x与邻域像素之间的标准差小于判决阈值R(x)时，减小判决阈值的大小，使用作为调整后阈值，以基于标准差对判决阈值进行自适应调整，适应背景动态变化。
为验证本发明上述图像背景去除方法的有效性，分别对相同图像采用LBP模型、ViBe算法以及PBAS算法进行背景去除，得到的各结果如下：使用LBP模型时，不能检测出颜色与背景接近的目标；ViBe算法对慢速度运动或静止的目标有较完整的检测，但是对光照变化的适应性较差，分割的结果会产生大量的误检，在很长时间内不能对鬼影进行消除，且不能适应高动态场景，对于高速公路上晃动的树叶和护栏上的光照变化均会引起虚警，对水流视频中水面的波纹也都被误检为背景；PBAS算法能适应高速上视频的动态背景和光照变化，尤其是对水流视频中类周期的高动态背景的抑制效果较好，但是当目标出现后阈值不能迅速下降，导致船和人的一部分没有被检测出来；而采用本发明上述图像背景去除方法，执行效率高，对动态场景、光照变化的适应性好，且能够快速消除鬼影，漏检、误检率最低，去除效果最好。
采用本发明上述图像背景去除方法，结合颜色特征和LTSP特征改进vibe算法，以利用LTSP的光照不敏感性提高光照变化适应性，结合颜色特征建模解决了单纯使用LBP特征引起的漏检等问题，进一步由二次空间传播机制可以大大提高鬼影的消除速度，同时保证了静止目标不会快速加入背景；进一步采用当前像素和其空间邻域像素的标准差表征背景动态，自适应阈值取决于当前帧，对间断性的扰动背景有较好的适应性，能够抑制对类周期的扰动背景，同时快速检测到通过类周期扰动背景区域的目标。
本发明上述图像背景去除方法可以适用于图像处理、机器视觉、目标跟踪与识别等中，在可见光谱以外的其他光谱上，如红外视频等，以去除图像背景，视频处理速度可高达30fps，能够满足实时的视频处理要求。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。
Claims (9)
1.一种融合颜色与局部三进制相似模式特征的图像背景去除方法，其特征在于，步骤包括：
S1.获取指定帧目标图像，分别计算获取的图像中每个像素的颜色特征，以及基于LTSP特征将当前图像内每个像素与邻域像素进行三进制划分后，计算得到对应各像素的intra-LTSP特征，基于计算的所述颜色特征、intra-LTSP特征为目标图像进行背景建模，建立得到背景模型；
S2.使用建立的所述背景模型对目标图像进行前景分割以去除背景图像，并根据各个像素的所述颜色特征、intra-LTSP特征对所述背景模型进行模型更新。
2.根据权利要求1所述的融合颜色与局部三进制相似模式特征的图像背景去除方法，其特征在于，所述步骤S2中进行前景分割的具体步骤为：
S211.计算目标图像中各像素的颜色特征，根据计算得到的所述颜色特征使用所述背景模型对目标图像进行前景分割，得到初始背景图像；
S212.基于LTSP特征将所述初始背景图像中每个像素与从所述背景模型中获取的邻域像素进行三进制划分后，计算得到所述初始背景图像中各像素与所述背景模型之间的inter-LTSP特征，并根据各像素的所述inter-LTSP特征对所述初始背景图像再次进行前景分割，得到最终的背景图像。
3.根据权利要求2所述的融合颜色与局部三进制相似模式特征的图像背景去除方法，其特征在于，所述步骤S22中对所述初始背景图像再次进行前景分割的具体步骤为：分别计算所述初始背景图像中各像素的所述inter-LTSP特征与所述intra-LTSP特征之间的距离，如果计算得到的距离值小于预设阈值TH，则判定对应的像素为背景像素，否则判定为前景像素。
4.根据权利要求3所述的融合颜色与局部三进制相似模式特征的图像背景去除方法，其特征在于，所述LTSP特征中具体按照下式计算得到；
<mrow>
<msub>
<mi>LTSP</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>C</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>C</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>p</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<mi>d</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>v</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<msub>
<mi>v</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<msup>
<mn>2</mn>
<mi>p</mi>
</msup>
<mo>;</mo>
</mrow>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>p</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>d</mi>
<mn>1</mn>
<mo>,</mo>
<mo>|</mo>
<mi>X</mi>
<mo>|</mo>
<mo>&le;</mo>
<msub>
<mi>T</mi>
<mi>D</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>d</mi>
<mn>2</mn>
<mo>,</mo>
<mi>X</mi>
<mo>&le;</mo>
<mo>-</mo>
<msub>
<mi>T</mi>
<mi>D</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>d</mi>
<mn>3</mn>
<mo>,</mo>
<mi>X</mi>
<mo>&GreaterEqual;</mo>
<msub>
<mi>T</mi>
<mi>D</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
其中，LTSPR(xC,yC)为以所需计算像素为中心位置的区域R内所需计算像素的LTSP特征，xC、yC分别为所述区域R的中心像素的坐标，vc为所需计算像素的像素值，vp为以所需计算像素为中心位置的区域R内邻域像素中第P个有效像素的像素值，TD为预设相似度阈值；d1、d2、d3分别为三进制划分值，X为中心像素、所述中心像素的第P个邻域像素之间的像素差。
所述步骤S1中计算intra-LTSP特征的具体步骤为：从同一帧图像中获取待计算像素的像素值vc、以及邻域像素的像素值vp，并计算所述LSTR特征，得到对应的所述intra-LTSP特征；
所述步骤S22中计算inter-LTSP特征的具体步骤为：从当前帧图像、所述背景模型中分别获取待计算像素的像素值vc、以及邻域像素的像素值vp，并计算所述LSTR特征，得到对应的所述inter-LTSP特征。
5.根据权利要求1～4中任意一项所述的融合颜色与局部三进制相似模式特征的图像背景去除方法，其特征在于，所述步骤S2中具体采用二次空间传播进行模型更新，具体包括：当产生了一次成功的空间传播后，计算当前位置像素x的像素值v(x)与一个邻域像素y的像素值v(y)之间所述颜色特征的距离，若小于预设阈值，则向邻域像素y的背景模型M(y)进行一次概率为100％的邻域扩散。
6.根据权利要求5所述的融合颜色与局部三进制相似模式特征的图像背景去除方法，其特征在于，所述采用二次空间传播进行模型更新的具体步骤为：
S221.对于被判为背景的像素，按照1/Φ的概率对目标位置x的背景模型样本中的一个样本进行更新，即使用当前位置像素x的像素值v(x)和所述intra-LTSP特征分别对当前位置像素x的颜色模型样本和LTSP模型样本进行更新，其中Φ为当前位置像素x对应的颜色模型样本的个数；
S222.按照1/Φ的概率对当前位置像素x的一个邻域像素y进行第一次空间传播，并使用当前位置像素x的像素值v(x)和所述intra-LTSP特征，对邻域像素y的背景模型样本进行更新，如果更新成功，则转入执行步骤S223，否则模型更新结束；
S223.计算当前位置像素x的像素值v(x)和邻域像素y的像素值v(y)之间所述颜色特征的距离，如果计算得到的所述距离小于当前位置x处用于颜色特征判决的预设阈值的指定倍数，则使用当前位置像素x的像素值v(x)和所述intra-LTSP特征对邻域像素y的背景模型样本中的一个样本进行更新，模型更新结束。
7.根据权利要求1～4中任意一项所述的融合颜色与局部三进制相似模式特征的图像背景去除方法，其特征在于，所述步骤S2中进行前景分割时还包括判决阈值自适应调整步骤，具体步骤为：在高动态背景区域增大用于进行前景分割的判决阈值，以及在低动态背景区域减小所述判决阈值。
8.根据权利要求7所述的融合颜色与局部三进制相似模式特征的图像背景去除方法，其特征在于，所述判决阈值自适应调整步骤中，具体使用当前像素点与空间邻域像素的标准差计算得到背景动态值，基于所述背景动态值增大或减小所述判决阈值。
9.根据权利要求8所述的融合颜色与局部三进制相似模式特征的图像背景去除方法，其特征在于，所述判决阈值具体按照下式进行自适应调整；
<mrow>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>R</mi>
<mi>G</mi>
</msub>
<mo>+</mo>
<mi>&alpha;</mi>
<mo>&CenterDot;</mo>
<mo>&part;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>&part;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<msub>
<mi>R</mi>
<mi>G</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>{</mo>
<msub>
<mi>R</mi>
<mi>G</mi>
</msub>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>&CenterDot;</mo>
<mo>&part;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>&part;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo><</mo>
<msub>
<mi>R</mi>
<mi>G</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
RL≤R(x)≤RU；
其中，R(x)为像素点x处进行自适应调整后的判决阈值，为像素点x与邻域像素之间的标准差，α为常数系数，RG为全局常量，RL和RU分别为所述判决阈值的下限、上限。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710552141.8A CN107481257A (zh) | 2017-07-07 | 2017-07-07 | 融合颜色与局部三进制相似模式特征的图像背景去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710552141.8A CN107481257A (zh) | 2017-07-07 | 2017-07-07 | 融合颜色与局部三进制相似模式特征的图像背景去除方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107481257A true CN107481257A (zh) | 2017-12-15 |
Family
ID=60596506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710552141.8A Pending CN107481257A (zh) | 2017-07-07 | 2017-07-07 | 融合颜色与局部三进制相似模式特征的图像背景去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107481257A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564591A (zh) * | 2018-05-18 | 2018-09-21 | 电子科技大学 | 一种保留局部边缘方向的图像边缘提取方法 |
| CN110211157A (zh) * | 2019-06-04 | 2019-09-06 | 重庆邮电大学 | 一种基于相关滤波的目标长时跟踪方法 |
| CN111985314A (zh) * | 2020-07-09 | 2020-11-24 | 东南大学 | 一种基于ViBe与改进LBP的烟雾检测方法 |
| CN117935148A (zh) * | 2024-01-04 | 2024-04-26 | 青岛宇慧绿色工贸有限公司 | 一种混合肥的生产监测图像处理方法 |
-
2017
- 2017-07-07 CN CN201710552141.8A patent/CN107481257A/zh active Pending
Non-Patent Citations (7)
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564591A (zh) * | 2018-05-18 | 2018-09-21 | 电子科技大学 | 一种保留局部边缘方向的图像边缘提取方法 |
| CN108564591B (zh) * | 2018-05-18 | 2021-07-27 | 电子科技大学 | 一种保留局部边缘方向的图像边缘提取方法 |
| CN110211157A (zh) * | 2019-06-04 | 2019-09-06 | 重庆邮电大学 | 一种基于相关滤波的目标长时跟踪方法 |
| CN111985314A (zh) * | 2020-07-09 | 2020-11-24 | 东南大学 | 一种基于ViBe与改进LBP的烟雾检测方法 |
| CN111985314B (zh) * | 2020-07-09 | 2024-04-30 | 东南大学 | 一种基于ViBe与改进LBP的烟雾检测方法 |
| CN117935148A (zh) * | 2024-01-04 | 2024-04-26 | 青岛宇慧绿色工贸有限公司 | 一种混合肥的生产监测图像处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105608456B (zh) | 一种基于全卷积网络的多方向文本检测方法 | |
| CN104050471B (zh) | 一种自然场景文字检测方法及系统 | |
| US11887362B2 (en) | Sky filter method for panoramic images and portable terminal | |
| CN101142584B (zh) | 面部特征检测的方法 | |
| CN102214291B (zh) | 一种快速准确的基于视频序列的人脸检测跟踪方法 | |
| CN102999901B (zh) | 基于深度传感器的在线视频分割后的处理方法及系统 | |
| CN104881662B (zh) | 一种单幅图像行人检测方法 | |
| CN107103317A (zh) | 基于图像融合和盲反卷积的模糊车牌图像识别算法 | |
| CN107273896A (zh) | 一种基于图像识别的车牌检测识别方法 | |
| CN107871125A (zh) | 违章建筑识别方法、装置及电子设备 | |
| CN107481257A (zh) | 融合颜色与局部三进制相似模式特征的图像背景去除方法 | |
| CN106096610A (zh) | 一种基于支持向量机的文档图像二值化方法 | |
| CN103810703B (zh) | 一种基于图像处理的隧道视频运动目标检测方法 | |
| CN106529532A (zh) | 一种基于积分特征通道与灰度投影的车牌识别系统 | |
| CN107967695A (zh) | 一种基于深度光流和形态学方法的运动目标检测方法 | |
| CN104866843B (zh) | 一种面向监控视频的蒙面人脸检测方法 | |
| CN101673338A (zh) | 基于多角度投影的模糊车牌识别方法 | |
| CN107301378A (zh) | 图像中多分类器集成的行人检测方法和系统 | |
| CN110288538A (zh) | 一种多特征融合的运动目标阴影检测及消除方法 | |
| CN101470809A (zh) | 一种基于扩展混合高斯模型的运动目标检测方法 | |
| CN105354558A (zh) | 人脸图像匹配方法 | |
| CN107944437B (zh) | 一种基于神经网络和积分图像的人脸定位方法 | |
| CN105893962A (zh) | 一种机场安检卡口人流统计方法 | |
| CN111709300A (zh) | 基于视频图像的人群计数方法 | |
| CN112613579A (zh) | 一种人脸或人头图像质量的模型训练方法、评估方法及高质量图像的选取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171215 |