CN106127214A - 一种基于线性投影的监控视频鲁棒背景建模方法及装置 - Google Patents

一种基于线性投影的监控视频鲁棒背景建模方法及装置 Download PDF

Info

Publication number
CN106127214A
CN106127214A CN201610507567.7A CN201610507567A CN106127214A CN 106127214 A CN106127214 A CN 106127214A CN 201610507567 A CN201610507567 A CN 201610507567A CN 106127214 A CN106127214 A CN 106127214A
Authority
CN
China
Prior art keywords
pixel
sigma
frame image
intensity level
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610507567.7A
Other languages
English (en)
Other versions
CN106127214B (zh
Inventor
刘凯
田懿
郑舟恒
杨晓梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201610507567.7A priority Critical patent/CN106127214B/zh
Publication of CN106127214A publication Critical patent/CN106127214A/zh
Application granted granted Critical
Publication of CN106127214B publication Critical patent/CN106127214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种基于线性投影的监控视频鲁棒背景建模方法及装置,属于监控视频图像处理技术领域。该方法包括获取监控视频中每一帧图像的各个像素点的中心像素强度值,并转化成一个向量;分别提取每个像素点在三个颜色通道上的强度值,并组合形成一预处理矩阵;根据预设的线性投影矩阵与所述预处理矩阵计算得到背景特征矩阵;分别计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数,并根据所述相关系数得到当前帧图像的每个像素点与下一帧图像的每个像素点之间的相似度;进而判断出每个像素点是否为背景像素点。本发明能够对视频中快速变化的亮度及背景运动进行自适应背景建模,以及快速准确地对运动目标进行检测。

Description

一种基于线性投影的监控视频鲁棒背景建模方法及装置
技术领域
本发明涉及监控视频图像处理技术领域,具体而言,涉及一种基于线性投影的监控视频鲁棒背景建模方法及装置。
背景技术
在安全监控视频分析中,往往需要对运动目标进行检测,并从视频中提取出感兴趣的运动目标。这些运动目标是后续视频图像分类、识别和行为分析的基础。而如何从视频中快速准确地检测运动目标对于安全监控视频分析的应用至关重要。
常用的视频目标检测方法有帧差法、光流法和背景建模法。其中,背景建模法由于其高效性得到了广泛应用。在背景建模法中,场景中较为固定的部分被认为是背景,由于前景目标的存在,直接获取背景往往不可行,只有通过背景建模的方法来重建背景,因此背景建模是安全监控视频分析的一项关键技术。目前已经提出了大量的背景建模方法,当在复杂环境下,例如前景目标较多,背景有扰动以及光线发生突变等,以上背景建模方法得出的前景目标图像不太理想,进而直接导致前景目标的误检和漏检。现有的背景建模方法同时面临着光线变化和背景变化等问题,可以应对缓慢变化的背景数据,但是无法有效处理背景数据变化显著的情况。
发明内容
本发明提供了一种基于线性投影的监控视频鲁棒背景建模方法及装置,旨在有效对视频中快速变化的亮度及背景运动进行自适应背景建模,以及快速准确地对运动目标进行检测。
第一方面,本发明实施例提供的一种基于线性投影的监控视频鲁棒背景建模方法包括:
获取监控视频中每一帧图像的各个像素点的中心像素强度值,并将所述中心像素强度值转化成一个向量;
根据所述向量分别提取每个像素点在三个颜色通道上的强度值,并将获得的三个颜色通道上的强度值组合形成一预处理矩阵,其中,所述三个颜色通道包括红色通道、绿色通道和蓝色通道;
根据预设的线性投影矩阵与所述预处理矩阵计算得到背景特征矩阵,所述背景特征矩阵用于获取每一帧图像像素点的周围环境的特征信息,所述特征信息包括纹理信息和色彩信息;
根据所述特征信息分别计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数,并根据所述相关系数得到当前帧图像的每个像素点与下一帧图像的每个像素点之间的相似度;
根据所述相似度和预设的分类函数判断所述下一帧图像的每个像素点是否为背景像素点。
优选地,所述中心像素强度值通过以下公式获取:
μ=αμ+(1-α)x
其中,x=(xr,xg,xb)T是每一帧图像的任意一个像素点的颜色通道的强度值;常数α为更新平滑因子;μ为所述中心像素强度值。
优选地,所述背景特征矩阵为:
其中,中的元素只包含1,-1,0,所述中的元素的值随机分配,但满足每一列总和为零的条件,其次,对于一个中心像素强度值为μ的M×M区域,将其转化成一个向量,并提取三个颜色通道的强度值,形成一个3×M2的矩阵,代表该3×M2的矩阵,用于表示μ的背景周围区域。
优选地,所述计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数的步骤包括:
根据下式定义两个距离测量算子λ和γ:
γ = cov ( v ‾ μ ‾ , v ‾ x ‾ ) var ( v ‾ μ ‾ ) var ( v ‾ x ‾ )
其中,函数cov(.)用于计算协方差,var(.)用于计算方差,v μ v x 分别是所有列总和的向量;
针对λ和γ,引入下式:
其中,c是一个与亮度变化相关的因子,是估计误差且假定作方差为σ2的零均值高斯分布,则有:
λ ≈ 1 - Σ i = 1 3 Σ j = 1 M 2 ( Δp i j ) 2 Σ i = 1 3 Σ j = 1 M 2 ( Δp i j ) 2 + Σ i = 1 3 Σ j = 1 M 2 ( cp i j ) 2
γ ≈ 1 - Σ i = 1 3 ( Σ j = 1 M 2 Δp i j ) 2 Σ i = 1 3 ( Σ j = 1 M 2 Δp i j ) 2 + Σ i = 1 3 ( Σ j = 1 M 2 cp i j ) 2
其中,Δpij和pij分别是中的元素。若一个像素点的像素强度值x是背景像素,那么由于上式中λ和γ的值都近似于1;λ对于的结构变化很敏感,而γ对于颜色通道差异敏感。
优选地,所述分类函数为:
当所述分类函数的值为0时,判断所述下一帧图像的像素点为背景像素点,当所述分类函数的值为1时,判断所述下一帧图像的像素点为前景像素点;
其中:
第二方面,本发明实施例提供的一种基于线性投影的监控视频鲁棒背景建模装置,包括:
获取单元,用于获取监控视频中每一帧图像的各个像素点的中心像素强度值,并将所述中心像素强度值转化成一个向量;
提取单元,用于根据所述向量分别提取每个像素点在三个颜色通道上的强度值,并将获得的三个颜色通道上的强度值组合形成一预处理矩阵,其中,所述三个颜色通道包括红色通道、绿色通道和蓝色通道;
计算单元,用于根据预设的线性投影矩阵与所述预处理矩阵计算得到背景特征矩阵,所述背景特征矩阵用于获取每一帧图像像素点的周围环境的特征信息,所述特征信息包括纹理信息和色彩信息;以及根据所述特征信息分别计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数,并根据所述相关系数得到当前帧图像的每个像素点与下一帧图像的每个像素点之间的相似度;
判断单元,用于根据所述相似度和预设的分类函数判断所述下一帧图像的每个像素点是否为背景像素点。
优选地,所述中心像素强度值通过以下公式获取:
μ=αμ+(1-α)x
其中,x=(xr,xg,xb)T是每一帧图像的任意一个像素点的颜色通道的强度值;常数α为更新平滑因子;μ为所述中心像素强度值。
优选地,所述背景特征矩阵为:
其中,中的元素只包含1,-1,0,所述中的元素的值随机分配,但满足每一列总和为零的条件,其次,对于一个中心像素强度值为μ的M×M区域,将其转化成一个向量,并提取三个颜色通道的强度值,形成一个3×M2的矩阵,代表该3×M2的矩阵,用于表示μ的背景周围区域。
优选地,所述计算单元计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数的方式为:
根据下式定义两个距离测量算子λ和γ:
γ = cov ( v ‾ μ ‾ , v ‾ x ‾ ) var ( v ‾ μ ‾ ) var ( v ‾ x ‾ )
其中,函数cov(.)用于计算协方差,var(.)用于计算方差,v μ v x 分别是所有列总和的向量;
针对λ和γ,引入下式:
其中,c是一个与亮度变化相关的因子,是估计误差且假定作方差为σ2的零均值高斯分布,则有:
λ ≈ 1 - Σ i = 1 3 Σ j = 1 M 2 ( Δp i j ) 2 Σ i = 1 3 Σ j = 1 M 2 ( Δp i j ) 2 + Σ i = 1 3 Σ j = 1 M 2 ( cp i j ) 2
γ ≈ 1 - Σ i = 1 3 ( Σ j = 1 M 2 Δp i j ) 2 Σ i = 1 3 ( Σ j = 1 M 2 Δp i j ) 2 + Σ i = 1 3 ( Σ j = 1 M 2 cp i j ) 2
其中,Δpij和pij分别是中的元素。若一个像素点的像素强度值x是背景像素,那么由于上式中λ和γ的值都近似于1;λ对于的结构变化很敏感,而γ对于颜色通道差异敏感。
优选地,所述分类函数为:
当所述分类函数的值为0时,判断所述下一帧图像的像素点为背景像素点,当所述分类函数的值为1时,判断所述下一帧图像的像素点为前景像素点;
其中:
其中:R0是一个小增量,0.98是一个经验值。
本发明实施例提供的一种基于线性投影的监控视频鲁棒背景建模方法及装置,通过将获取的各个像素点的中心像素强度值转化成一个向量,并根据该向量获得每个像素点在三个颜色通道上的强度值,以及根据预设的线性投影矩阵得到背景特征矩阵,进而计算出当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数和相似度,最终结合预设的分类函数判断出下一帧图像的每个像素点是否为背景像素点。本发明能够有效对视频中快速变化的亮度及背景运动进行自适应背景建模,以及快速准确地对运动目标进行检测。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应该看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模装置的结构框图。
图2是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模装置的流程图。
图3是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模方法的计算结果对比图。
图4是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模方法的测试结果对比图。
图5是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模方法的另一种测试结果对比图。
图6是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模方法的另一种测试结果对比图。
图中标记分别为:
监控视频鲁棒背景建模装置100,获取单元101,提取单元102,计算单元103,判断单元104。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
如图1所示,是本发明实施例提供的一种基于线性投影的监控视频鲁棒背景建模装置100,所述监控视频鲁棒背景建模装置100可以应用于具有图像处理能力的计算终端,例如:个人电脑(personal computer,PC)和服务器等。其中,所述监控视频鲁棒背景建模装置100可以包括获取单元101、提取单元102、计算单元103和判断单元104等。所述获取单元101、提取单元102、计算单元103和判断单元104分别用于执行基于线性投影的监控视频鲁棒背景建模方法中不同的步骤,以完成对监控视频中快速变化的亮度及背景运动进行自适应背景建模,以及快速准确地对运动目标进行检测。
下面结合图2对上述各功能单元进行详细描述。如图2所示,是本发明实施方式提供的一种基于线性投影的监控视频鲁棒背景建模方法的流程图。该方法包括以下步骤。
所述步骤S101:获取监控视频中每一帧图像的各个像素点的中心像素强度值,并将所述中心像素强度值转化成一个向量。本实施例中,该步骤S101可由所述获取单元101执行。
具体地,所述监控视频中包括多帧图像。所述获取单元101用于实时获取所述监控视频中输入的每一帧图像的各个像素点的中心像素强度值,以及根据获取到的所述中心像素强度值对所述向量进行实时更新。
所述中心像素强度值可表示为以下公式:
μ=αμ+(1-α)x
其中,x=(xr,xg,xb)T是输入的每一帧图像的任意一个像素点的颜色通道的强度值。所述常数α为更新平滑因子,用于使得图像数据实现平滑更新,所述常数α的值可以为0.005。而μ为所述中心像素强度值。
步骤S102:根据所述向量分别提取每个像素点在三个颜色通道上的强度值,并将获得的三个颜色通道上的强度值组合形成一预处理矩阵。本实施例中,所述步骤S102可以由所述提取单元102执行。
具体地,根据所述向量提取每个像素点在三个颜色通道上的强度值。所述三个颜色的通道可以包括红色通道、绿色通道和蓝色通道。并将获得的三个颜色通道上的强度值组合形成一预处理矩阵。可选地,对于一个中心像素强度值为μ的M×M区域,将其转化成一向量,并提取三个颜色通道的强度值,形成一个3×M2的预处理矩阵。所述3×M2的预处理矩阵用表示,所述代表了μ的背景周围区域。
所述步骤S103:根据预设的线性投影矩阵与所述预处理矩阵计算得到背景特征矩阵,所述背景特征矩阵用于获取每一帧图像像素点的周围环境的特征信息,所述特征信息包括纹理信息和色彩信息。本实施例中,所述步骤S103可以由所述计算单元103执行。
其中,所述线性投影矩阵为一个N×3的矩阵。所述中的元素只包含1,-1,0,所述线性投影矩阵中的元素的值随机分配,但满足每一列总和为零的条件。可选地,所述背景特征矩阵可以由所述线性投影矩阵右乘矩阵而得到,即所述背景特征矩阵是一个N×M2的矩阵。根据所述背景特征矩阵可以获取每一帧图像像素点的周围环境的特征信息,所述特征信息包括纹理信息和色彩信息。
步骤S104:根据所述特征信息分别计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数,并根据所述相关系数得到当前帧图像的每个像素点与下一帧图像的每个像素点之间的相似度。本实施例中,所述步骤S104也可由所述计算单元103执行。
其中,所述计算单元103可根据下式定义两个距离测量算子λ和γ:
γ = cov ( v ‾ μ ‾ , v ‾ x ‾ ) var ( v ‾ μ ‾ ) var ( v ‾ x ‾ )
其中,函数cov(.)用于计算协方差;var(.)用于计算方差;v μ v x 分别是所有列总和的向量。
根据以上定义的λ和γ,可以引入下式:
其中,所述c是一个与亮度变化相关的因子。是估计误差。所述可以假设为满足方差为σ2的零均值高斯分布的随机变量。则有以下计算公式:
λ ≈ 1 - Σ i = 1 3 Σ j = 1 M 2 ( Δp i j ) 2 Σ i = 1 3 Σ j = 1 M 2 ( Δp i j ) 2 + Σ i = 1 3 Σ j = 1 M 2 ( cp i j ) 2
γ ≈ 1 - Σ i = 1 3 ( Σ j = 1 M 2 Δp i j ) 2 Σ i = 1 3 ( Σ j = 1 M 2 Δp i j ) 2 + Σ i = 1 3 ( Σ j = 1 M 2 cp i j ) 2
其中,Δpij和pij分别是中的元素。若一个像素点的像素强度值x是背景像素,那么由于上式中λ和γ的值都近似于1。λ对于的结构变化很敏感,而γ对于颜色通道差异敏感。
步骤S105:根据所述相似度和预设的分类函数判断所述下一帧图像的每个像素点是否为背景像素点。本实施例中,所述步骤S105可由所述判断单元104执行。
其中,所述分类函数为:
当所述分类函数的值为0时,判断所述下一帧图像的像素点为背景像素点。当所述分类函数的值为1时,判断所述下一帧图像的像素点为前景像素点。
其中:
其中,R0是一个小增量,所述R0的取值可以为0.0005。而0.98是一个据实际情况所取经验值。
进一步地,根据以上公式计算出的结果如图3所示。可以理解的是,图3所示的测试结果为更新平滑因子α,R0中的N和中的M在不同设置值下所对应的质量指标F值。可见,F值对于α,N以及R0的变化不敏感。另一方面,提高M值会降低结果的准确性。因此,参数设置最佳值为:α=0.005,N=32,M=7,R0=0.0005。
进一步地,通过使用感知测试图像序列对本发明所提出的方法进行评估。并将本发明实施例所提供的方法与目前最新的方法和经典算法在不同应用场景中的表现效果进行比较。其中,所述最新的方法和经典算法主要包括GMM法、Vibe法、CB法和PBPA法等。所述应用场景主要包括Shopping Mall,Bootstrapping,Camouflage,Foreground Aperture和Waving Trees and Time of Day等。其比较结果如图4所示。可见,本发明实施例所提供的方法表现出更好的检测结果。由于场景变化迅速,很难建立清晰的背景模型,而本发明实施例所提供的方法能够稳定地工作在干扰严重的背景中。对于所述Waving Trees应用场景,图4所示的结果显示了本发明实施例所提供的方法在动态背景下可以显著地抑制噪声。对于所述Time of Day应用场景,图4所示的结果显示了本发明实施例所提供的方法对于亮度变化有较好的鲁棒性。而在极端条件下,例如在灯亮及灯灭的瞬间,显示结果如图5所示,可见,本发明实施例提出的方法效果最佳。
进一步地,通过使用变化检测的测试中基线,动态背景和阴影变化检测的数据设置,各方法间的对比结果如图6所示。可以看出,在F值,查全率和准确率测量中本发明实施例所提出的方法都优于最新水平的方法。
本发明实施例提供的一种基于线性投影的监控视频鲁棒背景建模方法及装置,通过将获取的各个像素点的中心像素强度值转化成一个向量,并根据该向量获得每个像素点在三个颜色通道上的强度值,以及根据预设的线性投影矩阵得到背景特征矩阵,进而计算出当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数和相似度,最终结合预设的分类函数判断出下一帧图像的每个像素点是否为背景像素点。本发明能够有效对视频中快速变化的亮度及背景运动进行自适应背景建模,以及快速准确地对运动目标进行检测。
需要说明的是,在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于线性投影的监控视频鲁棒背景建模方法,其特征在于,所述监控视频鲁棒背景建模方法包括:
获取监控视频中每一帧图像的各个像素点的中心像素强度值,并将所述中心像素强度值转化成一个向量;
根据所述向量分别提取每个像素点在三个颜色通道上的强度值,并将获得的三个颜色通道上的强度值组合形成一预处理矩阵,其中,所述三个颜色通道包括红色通道、绿色通道和蓝色通道;
根据预设的线性投影矩阵与所述预处理矩阵计算得到背景特征矩阵,所述背景特征矩阵用于获取每一帧图像像素点的周围环境的特征信息,所述特征信息包括纹理信息和色彩信息;
根据所述特征信息分别计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数,并根据所述相关系数得到当前帧图像的每个像素点与下一帧图像的每个像素点之间的相似度;
根据所述相似度和预设的分类函数判断所述下一帧图像的每个像素点是否为背景像素点。
2.根据权利要求1所述的基于线性投影的监控视频鲁棒背景建模方法,其特征在于,所述中心像素强度值通过以下公式获取:
μ=αμ+(1-α)x
其中,x=(xr,xg,xb)T是每一帧图像的任意一个像素点的颜色通道的强度值;常数α为更新平滑因子;μ为所述中心像素强度值。
3.根据权利要求2所述的基于线性投影的监控视频鲁棒背景建模方法,其特征在于,所述背景特征矩阵为:
其中,中的元素只包含1,-1,0,所述中的元素的值随机分配,但满足每一列总和为零的条件,其次,对于一个中心像素强度值为μ的M×M区域,将其转化成一个向量,并提取三个颜色通道的强度值,形成一个3×M2的矩阵,代表该3×M2的矩阵,用于表示μ的背景周围区域。
4.根据权利要求3所述的基于线性投影的监控视频鲁棒背景建模方法,其特征在于,所述计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数的步骤包括:
根据下式定义两个距离测量算子λ和γ:
γ = cov ( v ‾ μ ‾ , v ‾ x ‾ ) var ( v ‾ μ ‾ ) var ( v ‾ x ‾ )
其中,函数cov(.)用于计算协方差,var(.)用于计算方差,v μ v x 分别是所有列总和的向量;
针对λ和γ,引入下式:
其中,c是一个与亮度变化相关的因子,是估计误差且假定作方差为σ2的零均值高斯分布,则有:
λ ≈ 1 - Σ i = 1 3 Σ j = 1 M 2 ( Δp i j ) 2 Σ i = 1 3 Σ j = 1 M 2 ( Δp i j ) 2 + Σ i = 1 3 Σ j = 1 M 2 ( cp i j ) 2
γ ≈ 1 - Σ i = 1 3 ( Σ j = 1 M 2 Δp i j ) 2 Σ i = 1 3 ( Σ j = 1 M 2 Δp i j ) 2 + Σ i = 1 3 ( Σ j = 1 M 2 cp i j ) 2
其中,Δpij和pij分别是中的元素。若一个像素点的像素强度值x是背景像素,那么由于上式中λ和γ的值都近似于1;λ对于的结构变化很敏感,而γ对于颜色通道差异敏感。
5.根据权利要求4所述的基于线性投影的监控视频鲁棒背景建模方法,其特征在于,
所述分类函数为:
当所述分类函数的值为0时,判断所述下一帧图像的像素点为背景像素点,当所述分类函数的值为1时,判断所述下一帧图像的像素点为前景像素点;
其中:
其中:R0是一个小增量,0.98是一个经验值。
6.一种基于线性投影的监控视频鲁棒背景建模装置,应用于计算终端,其特征在于,所述装置包括:
获取单元,用于获取监控视频中每一帧图像的各个像素点的中心像素强度值,并将所述中心像素强度值转化成一个向量;
提取单元,用于根据所述向量分别提取每个像素点在三个颜色通道上的强度值,并将获得的三个颜色通道上的强度值组合形成一预处理矩阵,其中,所述三个颜色通道包括红色通道、绿色通道和蓝色通道;
计算单元,用于根据预设的线性投影矩阵与所述预处理矩阵计算得到背景特征矩阵,所述背景特征矩阵用于获取每一帧图像像素点的周围环境的特征信息,所述特征信息包括纹理信息和色彩信息;以及根据所述特征信息分别计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数,并根据所述相关系数得到当前帧图像的每个像素点与下一帧图像的每个像素点之间的相似度;
判断单元,用于根据所述相似度和预设的分类函数判断所述下一帧图像的每个像素点是否为背景像素点。
7.根据权利要求6所述的基于线性投影的监控视频鲁棒背景建模装置,其特征在于,所述中心像素强度值通过以下公式获取:
μ=αμ+(1-α)x
其中,x=(xr,xg,xb)T是每一帧图像的任意一个像素点的颜色通道的强度值;常数α为更新平滑因子;μ为所述中心像素强度值。
8.根据权利要求7所述的基于线性投影的监控视频鲁棒背景建模装置,其特征在于,所述背景特征矩阵为:
其中,中的元素只包含1,-1,0,所述中的元素的值随机分配,但满足每一列总和为零的条件,其次,对于一个中心像素强度值为μ的M×M区域,将其转化成一个向量,并提取三个颜色通道的强度值,形成一个3×M2的矩阵,代表该3×M2的矩阵,用于表示μ的背景周围区域。
9.根据权利要求8所述的基于线性投影的监控视频鲁棒背景建模装置,其特征在于,所述计算单元计算当前帧图像的每个像素点与下一帧图像的每个像素点之间的相关系数的方式为:
根据下式定义两个距离测量算子λ和γ:
γ = cov ( v ‾ μ ‾ , v ‾ x ‾ ) var ( v ‾ μ ‾ ) var ( v ‾ x ‾ )
其中,函数cov(.)用于计算协方差,var(.)用于计算方差,v μ v x 分别是所有列总和的向量;
针对λ和γ,引入下式:
其中,c是一个与亮度变化相关的因子,是估计误差且假定作方差为σ2的零均值高斯分布,则有:
λ ≈ 1 - Σ i = 1 3 Σ j = 1 M 2 ( Δp i j ) 2 Σ i = 1 3 Σ j = 1 M 2 ( Δp i j ) 2 + Σ i = 1 3 Σ j = 1 M 2 ( cp i j ) 2
γ ≈ 1 - Σ i = 1 3 ( Σ j = 1 M 2 Δp i j ) 2 Σ i = 1 3 ( Σ j = 1 M 2 Δp i j ) 2 + Σ i = 1 3 ( Σ j = 1 M 2 cp i j ) 2
其中,Δpij和pij分别是中的元素。若一个像素点的像素强度值x是背景像素,那么由于上式中λ和γ的值都近似于1;λ对于的结构变化很敏感,而γ对于颜色通道差异敏感。
10.根据权利要求9所述的基于线性投影的监控视频鲁棒背景建模装置,其特征在于,
所述分类函数为:
当所述分类函数的值为0时,判断所述下一帧图像的像素点为背景像素点,当所述分类函数的值为1时,判断所述下一帧图像的像素点为前景像素点;
其中:
其中:R0是一个小增量,0.98是一个经验值。
CN201610507567.7A 2016-06-30 2016-06-30 一种基于线性投影的监控视频鲁棒背景建模方法及装置 Active CN106127214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610507567.7A CN106127214B (zh) 2016-06-30 2016-06-30 一种基于线性投影的监控视频鲁棒背景建模方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610507567.7A CN106127214B (zh) 2016-06-30 2016-06-30 一种基于线性投影的监控视频鲁棒背景建模方法及装置

Publications (2)

Publication Number Publication Date
CN106127214A true CN106127214A (zh) 2016-11-16
CN106127214B CN106127214B (zh) 2018-07-17

Family

ID=57467660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610507567.7A Active CN106127214B (zh) 2016-06-30 2016-06-30 一种基于线性投影的监控视频鲁棒背景建模方法及装置

Country Status (1)

Country Link
CN (1) CN106127214B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050089194A1 (en) * 2003-10-24 2005-04-28 Matthew Bell Method and system for processing captured image information in an interactive video display system
CN101098462A (zh) * 2007-07-12 2008-01-02 上海交通大学 结合色度偏差和亮度偏差的视频运动目标检测方法
US20080181507A1 (en) * 2007-01-29 2008-07-31 Intellivision Technologies Corp. Image manipulation for videos and still images
CN102324025A (zh) * 2011-09-06 2012-01-18 北京航空航天大学 基于高斯肤色模型和特征分析的人脸检测与跟踪方法
CN102510437A (zh) * 2011-10-25 2012-06-20 重庆大学 基于rgb分量分布的视频图像背景检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050089194A1 (en) * 2003-10-24 2005-04-28 Matthew Bell Method and system for processing captured image information in an interactive video display system
US20080181507A1 (en) * 2007-01-29 2008-07-31 Intellivision Technologies Corp. Image manipulation for videos and still images
CN101098462A (zh) * 2007-07-12 2008-01-02 上海交通大学 结合色度偏差和亮度偏差的视频运动目标检测方法
CN102324025A (zh) * 2011-09-06 2012-01-18 北京航空航天大学 基于高斯肤色模型和特征分析的人脸检测与跟踪方法
CN102510437A (zh) * 2011-10-25 2012-06-20 重庆大学 基于rgb分量分布的视频图像背景检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YU-CHEN WANG等: "Vehicle color classification using manifold learning methods from urban surveillance videos", 《EURASIP JOURNAL ON IMAGE AND VIDEO PROCESSING》 *
陈星明: "基于背景建模的运动目标监控视频检测算法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
霍东海等: "一种基于主成分分析的Codebook 背景建模算法", 《自动化学报》 *

Also Published As

Publication number Publication date
CN106127214B (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
US20190279402A1 (en) Methods and Systems for Human Imperceptible Computerized Color Transfer
US20190147283A1 (en) Deep convolutional neural networks for crack detection from image data
US20020154833A1 (en) Computation of intrinsic perceptual saliency in visual environments, and applications
CN108647625A (zh) 一种表情识别方法及装置
CN101828201A (zh) 图像处理装置及方法、学习装置及方法以及程序
US8483480B2 (en) Method and system for factoring an illumination image
US9396411B2 (en) Method and system for generating intrinsic images using a single reflectance technique
CN104732200A (zh) 一种皮肤类型和皮肤问题的识别方法
US8559714B2 (en) Post processing for improved generation of intrinsic images
US11576478B2 (en) Method for simulating the rendering of a make-up product on a body area
CN104182983B (zh) 基于角点特征的高速公路监控视频清晰度的检测方法
Nazarkevych et al. Editing raster images and digital rating with software
CN114066857A (zh) 红外图像质量评价方法、装置、电子设备及可读存储介质
CN109741285A (zh) 一种水下图像数据集的构建方法及系统
US8913829B2 (en) Automatic processing scale estimation for use in an image process
US20160180148A1 (en) Method and system for generating intrinsic images using a single reflectance technique
CN110251076B (zh) 融合视觉注意力基于对比度的显著性检测方法及装置
US8428352B1 (en) Post processing for improved generation of intrinsic images
EP2776979B1 (en) Post processing for improved generation of intrinsic images
CN106127214A (zh) 一种基于线性投影的监控视频鲁棒背景建模方法及装置
CN115526891A (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
Simon-Liedtke et al. Multiscale daltonization in the gradient domain
Smeaton et al. Tracking skin colour and wrinkle changes during cosmetic product trials using smartphone images
CN103020995A (zh) 一种适用于在视频中搜索目标的物件特征对比方法
Lecca et al. T-Rex: a Milano Retinex implementation based on intensity thresholding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Kai

Inventor after: Tian Yi

Inventor after: Zheng Zhouheng

Inventor after: Yang Xiaomei

Inventor after: Xu Bin

Inventor before: Liu Kai

Inventor before: Tian Yi

Inventor before: Zheng Zhouheng

Inventor before: Yang Xiaomei

GR01 Patent grant
GR01 Patent grant