CN110136164A - 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法 - Google Patents

基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法 Download PDF

Info

Publication number
CN110136164A
CN110136164A CN201910427684.6A CN201910427684A CN110136164A CN 110136164 A CN110136164 A CN 110136164A CN 201910427684 A CN201910427684 A CN 201910427684A CN 110136164 A CN110136164 A CN 110136164A
Authority
CN
China
Prior art keywords
sequence
image
background
foreground
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910427684.6A
Other languages
English (en)
Other versions
CN110136164B (zh
Inventor
冉啟锐
张靖
张希仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910427684.6A priority Critical patent/CN110136164B/zh
Publication of CN110136164A publication Critical patent/CN110136164A/zh
Application granted granted Critical
Publication of CN110136164B publication Critical patent/CN110136164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法，属于视频图像背景去除领域，解决现有技术无法将运动视频图像序列中的前景与背景进行有效的分离的问题。本发明对视频序列进行灰度化预处理；再基于Surf匹配算法将相邻两帧图像进行特征点匹配；匹配后，计算相邻两帧图像特征匹配点的欧式距离，再根据聚类方法确定前景速度与背景速度，同时确定投影算子并根据投影算子进行透射变换模拟相机的运动过程，得到处理后的视频图像序列；基于速度和视频图像序列进行在线的低秩稀疏矩阵分解，分解各图后对前景部分进行修正；修正后，根据透射逆变换重构原视频序列，得到前景图像序列与背景图像序列。本发明用于动态背景去除。

Description

基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法
技术领域
一种基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法，用于动态背景去除，属于视频图像背景去除领域。
背景技术
低秩稀疏矩阵分解(Low rank and sparse matrix decomposition)属于统计建模的技术，也就是子空间学习算法。低秩稀疏矩阵分解是当前视频背景建模的主要技术之一，它是将运动目标从背景中分割出来的一种方法，通过一定的优化过程，精确获取由一组观测帧构成的观测矩阵的低秩稀疏表示。其中，低秩表示视频中的相关部分，即背景信息，而稀疏表示包含与背景相关的离群值，即运动目标。低秩子空间学习模型对视频结构的考虑较好，是目前在一般监控视频上进行此任务的先进的模型之一。低秩矩阵分解方法在视频中隐式地假设了稳定的背景，这些背景具有低秩结构。
现有用于视频背景模型的子空间学习技术有主成分分析(PCA)，独立成分分析(ICA)，矩阵分解(MF)等。在1999年，Oliver最早提出了是最早采用主成分分析法PCA对背景进行建模，之后该类方法不断涌现，其中具有代表性的有：主成分追踪(PCP)，GODEC和DECOLOR。但是这些模型在包含不规则的准周期运动背景和移动阴影的场景中表现不佳，处理时间也比较长。
综上所述，由于动态视频的特殊性，即背景与前景都在运动，现有方法无法将动态的视频图像序列(运动视频图像序列)的前景与背景进行分离，或分离过后背景的残影现象严重。究其原因为：对相机的全局运动模型没有很好的建立无法模拟相机的运动过程，并且由于背景为运动的，在矩阵分解过程中，背景的低秩性被破坏，即会被矩阵分解算法归为前景。
发明内容
针对上述研究的问题，本发明的目的在于提供一种基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法，解决现有技术中的低秩稀疏矩阵分解，无法将运动视频图像序列中的前景与背景进行有效的分离的问题。
为了达到上述目的，本发明采用如下技术方案：
一种基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法，包括如下步骤：
步骤1：输入视频序列，并对视频序列中的各图像进行灰度化预处理，其中，视频序列即指运动视频图像序列；
步骤2：基于Surf匹配算法，将灰度化预处理后的视频序列中的相邻两帧图像进行特征点匹配，得到特征匹配点；
步骤3：基于特征匹配点，计算相邻两帧图像特征匹配点的欧式距离，再根据聚类方法确定前景速度与背景速度；同时基于特征匹配点，确定投影算子并根据投影算子进行透射变换模拟相机的运动过程，得到处理后的视频图像序列；
步骤4：基于确定的前景速度与背景速度，将处理后的视频图像序列中的各图像进行在线的低秩稀疏矩阵分解，分解后运用背景减法得到前景部分与背景部分，再对前景部分进行修正，最终得到背景图像序列和修正过后的前景图像序列；
步骤5：基于背景图像序列和修正后的前景图像序列，根据透射逆变换重构原视频序列，得到与视频序列中的图像大小相同的前景图像序列与背景图像序列。
进一步，所述步骤1的具体步骤为：
步骤1.1：获取原始视频序列中的各图像S∈Rm×n×l，其中m为各图像矩阵的行数，n为各图像的列数，l为视频序列的帧数；
步骤1.2：将各图像的RGB空间进行灰度化处理，得到灰度图像序列I，即灰度化预处理后的视频序列。
进一步，所述步骤2的具体步骤为：
运用Surf匹配算法将灰度化预处理后的视频序列中的相邻两帧进行关联，找到对应匹配点，即得到特征匹配点。
进一步，所述步骤3的具体步骤为：
步骤3.1：利用相邻两帧的特征匹配点，计算对应特征匹配点的欧式距离；
步骤3.2：利用特征匹配点的欧式距离进行聚类分析，将特征匹配点多的类的聚类中心作为背景速度，将匹配点少的类的聚类中心作为前景速度；
步骤3.3：计算前景速度和背景速度的同时，利用相邻两帧的特征匹配点，计算投影算子T，即单应性矩阵；
步骤3.4：利用单应性矩阵模拟出相机运动的运动模型，利用运动模型将灰度化预处理后的视频序列中的各图像进行透射变换，将不同方向的视图联系起来，得到透射变换修正的全景图像序列中的各图像以及观测矩阵W，其中m1为各全景图像矩阵的行数，n1为各全景图像矩阵的列数。
进一步，所述步骤4的具体步骤为：
步骤4.1：对处理后的视频图像序列中各图像进行在线的低秩稀疏矩阵分解，分解后运用背景减法得到前景部分与背景部分；
步骤4.2：对前景部分进行TV范数修正，最终得到背景图像序列和修正过后的前景图像序列；
进一步，所述步骤4.1的具体步骤为：
步骤4.1.1：基于处理后的视频图像序列，建立低秩稀疏矩阵分解的目标函数：
其中，W为观测矩阵，其中矩阵元素wij为0时，表示数据丢失，为1时，表示数据被观测到，X为数据矩阵，即表示处理后的视频图像序列中的各图像，U为基矩阵，V为系数矩阵，其中U，V均为子空间学习参数，||g||F表示矩阵Frobenius范数，e表示矩阵元素对应相乘；
步骤4.1.2：运用最大似然估计框架对低秩稀疏矩阵分解的目标函数进行表示，再通过EM算法进行求解，得到前景图像F，F＝X-UV，其中，处理后的视频图像序列中的各图像在执行EM算法时，若分解的是处理后的视频图像序列中的第一帧图像，初始化U和V，否则，需先通过E步和M步进行迭代更新参数U和V，其中更新策略为：
E步更新的公式为：
其中，表示EM算法的估计潜在变量的后验概率期望，i为第几行，k为矩阵噪声的参数，上标t表示处理后的视频图像序列中的第t帧图像的参数；
M步更新U，V的闭式表达式为：
V＝(UTdiag(wt)2U)-1UTdiag(wt)2xt
其中，为更新过程中处理后的视频图像序列中的第t-1帧图像的半正定矩阵，为U的第i行，xt为处理后的视频图像序列中的第t帧图像；ρ为子空间更新参数，根据背景速度与前景速度以及处理后的视频图像序列的大小对子空间更新参数进行修正；
运用背景差法将处理后的视频图像序列中的各图像与对应的前景图像进行相减，得到对应的背景图像B：
B＝X-F。
进一步，所述步骤4.2中，对前景部分进行TV范数修正的具体步骤为：
步骤4.2.1：对前景部分进行TV范数修正，其中，TV范数的修正模型：
其中，||g||2为矩阵二范数，F为前景图像，为修正后的前景图像，||g||TV为TV范数，λ为正则化参数；
步骤4.2.2：求解TV范数的修正模型，得到修正过后的前景图像序列。
本发明同现有技术相比，其有益效果表现在：
1.本发明运用Surf匹配算法获取运动视频图像序列的透视投影模型对灰度化后的运动视频图像序列进行处理，对相机运动进行建模，模拟了全局的运动模型，还原了相机运动的全景图像，保证了视频图像的空间与时间的连续性，能更高效将前景与背景进行分离，并且能够提取背景与前景目标的运动速度。
2.本发明基于低秩稀疏矩阵分解对运动视频图像序列中的图像进行处理，对矩阵分解进行建模，其中设置了自适应的参数取值算法，增强了算法的鲁棒性。
3.本发明运用EM算法对低秩稀疏矩阵分解的目标函数进行求解，在更新策略上能够实现在线处理，并且在算法迭代过程中，保存的参数较少，保证了方法的运行速度，提升算法的效率。
4.本发明使用TV范数进行优化，将运动视频图像序列的空间与时间连续性联系起来，提取的前景图像更加平滑，处理了背景噪声，加强了前景对象的清晰度。
附图说明
图1为本发明的流程图；
图2为本发明的视频序列中的其中连续的三帧的灰度化图像；
图3为由图1计算的相邻两帧图像的匹配点的情况；
图4为本发明由图3计算出的全景框下的图像；
图5为本发明由图1和图4计算出的前景图像序列，即前景部分序列；
图6为本发明由图1和图4计算出的背景图像序列，即背景部分序列；
图7为本发明由图1和图4计算出的整个视频序列的背景图像；
图8为本发明由图1和图5计算出的前景图像序列；
图9为本发明由图1和图6计算出的背景图像序列。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
由于动态视频的特殊性，即背景与前景都在运动，现有方法无法将动态的视频图像序列的前景与背景进行分离，或分离过后背景的残影现象严重。究其原因为：对相机的全局运动模型没有很好的建立无法模拟相机的运动过程，并且由于背景为运动的，在矩阵分解过程中，背景的低秩性被破坏，即会被矩阵分解算法归为前景。本发明采用如下方案：
一种基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法，包括如下步骤：
步骤1：输入视频序列，并对视频序列中的各图像进行灰度化预处理，其中，视频序列即指运动视频图像序列；
具体步骤为：
步骤1.1：获取原始视频序列中的各图像S∈Rm×n×l，其中m为各图像矩阵的行数，n为各图像的列数，l为视频序列的帧数；
步骤1.2：将各图像的RGB空间进行灰度化处理，得到灰度图像序列I，即灰度化预处理后的视频序列。
步骤2：基于Surf匹配算法，将灰度化预处理后的视频序列中的相邻两帧图像进行特征点匹配，得到特征匹配点；
具体步骤为：
运用Surf匹配算法将灰度化预处理后的视频序列中的相邻两帧进行关联，找到对应匹配点，即得到特征匹配点。
步骤3：基于特征匹配点，计算相邻两帧图像特征匹配点的欧式距离，再根据聚类方法确定前景速度与背景速度；同时基于特征匹配点，确定投影算子并根据投影算子进行透射变换模拟相机的运动过程，得到处理后的视频图像序列；
具体步骤为：
步骤3.1：利用相邻两帧的特征匹配点，计算对应特征匹配点的欧式距离；
步骤3.2：利用特征匹配点的欧式距离进行聚类分析，将特征匹配点多的类的聚类中心作为背景速度，将匹配点少的类的聚类中心作为前景速度；
步骤3.3：计算前景速度和背景速度的同时，利用相邻两帧的特征匹配点，计算投影算子T，即单应性矩阵；
步骤3.4：利用单应性矩阵模拟出相机运动的运动模型，利用运动模型将灰度化预处理后的视频序列中的各图像进行透射变换，将不同方向的视图联系起来，得到透射变换修正的全景图像序列中的各图像以及观测矩阵W，其中m1为各全景图像矩阵的行数，n1为各全景图像矩阵的列数。
步骤4：基于确定的前景速度与背景速度，将处理后的视频图像序列中的各图像进行在线的低秩稀疏矩阵分解，分解后运用背景减法得到前景部分与背景部分，再对前景部分进行修正，最终得到背景图像序列和修正过后的前景图像序列；
具体步骤为：
步骤4.1：对处理后的视频图像序列中各图像进行在线的低秩稀疏矩阵分解，分解后运用背景减法得到前景部分与背景部分；
具体步骤为：
步骤4.1.1：基于处理后的视频图像序列，建立低秩稀疏矩阵分解的目标函数：
其中，W为观测矩阵，其中矩阵元素wij为0时，表示数据丢失，为1时，表示数据被观测到，X为数据矩阵，即表示处理后的视频图像序列中的各图像，U为基矩阵，V为系数矩阵，其中U，V均为子空间学习参数，||g||F表示矩阵Frobenius范数，e表示矩阵元素对应相乘；
步骤4.1.2：运用最大似然估计框架对低秩稀疏矩阵分解的目标函数进行表示，再通过EM算法进行求解，得到前景图像F，F＝X-UV，其中，EM算法为标准的传统EM算法，处理后的视频图像序列中的各图像在执行EM算法时，若分解的是处理后的视频图像序列中的第一帧图像，初始化U和V，否则，需先通过E步和M步进行迭代更新参数、U和V，其中更新策略为：
E步更新的公式为：
其中，表示EM算法的估计潜在变量的后验概率期望，i为第几行，k为矩阵噪声的参数，上标t表示处理后的视频图像序列中的第t帧图像的参数；
M步更新U，V的闭式表达式为：
V＝(UTdiag(wt)2U)-1UTdiag(wt)2xt
其中，为更新过程中处理后的视频图像序列中的第t-1帧图像的半正定矩阵，为U的第i行，xt为处理后的视频图像序列中的第t帧图像；ρ为子空间更新参数，一般视频图像为30帧的情况下取0.3，其他情况根据背景速度与前景速度以及处理后的视频图像序列的大小对子空间更新参数进行修正；
运用背景差法将处理后的视频图像序列中的各图像与对应的前景图像进行相减，得到对应的背景图像B：
B＝X-F。
步骤4.2：对前景部分进行TV范数修正，最终得到背景图像序列和修正过后的前景图像序列。
对前景部分进行TV范数修正的具体步骤为：
步骤4.2.1：对前景部分进行TV范数修正，其中，TV范数的修正模型：
其中，||g||2为矩阵二范数，F为前景图像，为修正后的前景图像，||g||TV为TV范数，λ为正则化参数；
步骤4.2.2：求解TV范数的修正模型，得到修正过后的前景图像序列。
步骤5：基于背景图像序列和修正后的前景图像序列，根据透射逆变换重构原视频序列，得到与视频序列中的图像大小相同的前景图像序列与背景图像序列。
实施例
输入三帧视频序列，并对视频序列中的各图像进行灰度化预处理，得到三帧灰度化预处理后的视频序列，如图2所示，其中，视频序列即指运动视频图像序列；
基于Surf匹配算法，将灰度化预处理后的视频序列中的相邻两帧图像进行特征点匹配，得到特征匹配点，如图3所示为三帧图像的特征匹配点的效果图；
基于特征匹配点，计算相邻两帧图像特征匹配点的欧式距离，再根据聚类方法确定前景速度与背景速度；同时基于特征匹配点，确定投影算子并根据投影算子进行透射变换模拟相机的运动过程，得到处理后的视频图像序列，如图4所示；
基于确定的前景速度与背景速度，将处理后的视频图像序列中的各图像进行在线的低秩稀疏矩阵分解，分解后运用背景减法得到前景部分与背景部分，前景部分的序列如图5所示，背景部分如图6所示，再对前景部分进行修正，最终得到背景图像序列和修正过后的前景图像序列；
基于背景图像序列和修正后的前景图像序列，根据透射逆变换重构原视频序列，得到与视频序列中的图像大小相同的前景图像序列与背景图像序列，分别如图7，图8以及图9所示。
以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (7)

1.一种基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法，其特征在于，包括如下步骤：
步骤1：输入视频序列，并对视频序列中的各图像进行灰度化预处理，其中，视频序列即指运动视频图像序列；
步骤2：基于Surf匹配算法，将灰度化预处理后的视频序列中的相邻两帧图像进行特征点匹配，得到特征匹配点；
步骤3：基于特征匹配点，计算相邻两帧图像特征匹配点的欧式距离，再根据聚类方法确定前景速度与背景速度；同时基于特征匹配点，确定投影算子并根据投影算子进行透射变换模拟相机的运动过程，得到处理后的视频图像序列；
步骤4：基于确定的前景速度与背景速度，将处理后的视频图像序列中的各图像进行在线的低秩稀疏矩阵分解，分解后运用背景减法得到前景部分与背景部分，再对前景部分进行修正，最终得到背景图像序列和修正过后的前景图像序列；
步骤5：基于背景图像序列和修正后的前景图像序列，根据透射逆变换重构原视频序列，得到与视频序列中的图像大小相同的前景图像序列与背景图像序列。
2.根据权利要求1所述的一种基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法，其特征在于，所述步骤1的具体步骤为：
步骤1.1：获取原始视频序列中的各图像S∈Rm×n×l，其中m为各图像矩阵的行数，n为各图像的列数，l为视频序列的帧数；
步骤1.2：将各图像的RGB空间进行灰度化处理，得到灰度图像序列I，即灰度化预处理后的视频序列。
3.根据权利要求1或2所述的一种基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法，其特征在于，所述步骤2的具体步骤为：
运用Surf匹配算法将灰度化预处理后的视频序列中的相邻两帧进行关联，找到对应匹配点，即得到特征匹配点。
4.根据权利要求3所述的一种基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法，其特征在于，所述步骤3的具体步骤为：
步骤3.1：利用相邻两帧的特征匹配点，计算对应特征匹配点的欧式距离；
步骤3.2：利用特征匹配点的欧式距离进行聚类分析，将特征匹配点多的类的聚类中心作为背景速度，将匹配点少的类的聚类中心作为前景速度；
步骤3.3：计算前景速度和背景速度的同时，利用相邻两帧的特征匹配点，计算投影算子T，即单应性矩阵；
步骤3.4：利用单应性矩阵模拟出相机运动的运动模型，利用运动模型将灰度化预处理后的视频序列中的各图像进行透射变换，将不同方向的视图联系起来，得到透射变换修正的全景图像序列中的各图像以及观测矩阵W，其中m1为各全景图像矩阵的行数，n1为各全景图像矩阵的列数。
5.根据权利要求4所述的一种基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法，其特征在于，所述步骤4的具体步骤为：
步骤4.1：对处理后的视频图像序列中各图像进行在线的低秩稀疏矩阵分解，分解后运用背景减法得到前景部分与背景部分；
步骤4.2：对前景部分进行TV范数修正，最终得到背景图像序列和修正过后的前景图像序列。
6.根据权利要求5所述的一种基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法，其特征在于，所述步骤4.1的具体步骤为：
步骤4.1.1：基于处理后的视频图像序列，建立低秩稀疏矩阵分解的目标函数：
其中，W为观测矩阵，其中矩阵元素wij为0时，表示数据丢失，为1时，表示数据被观测到，X为数据矩阵，即表示处理后的视频图像序列中的各图像，U为基矩阵，V为系数矩阵，其中U，V均为子空间学习参数，||g||F表示矩阵Frobenius范数，e表示矩阵元素对应相乘；
步骤4.1.2：运用最大似然估计框架对低秩稀疏矩阵分解的目标函数进行表示，再通过EM算法进行求解，得到前景图像F，F＝X-UV，其中，处理后的视频图像序列中的各图像在执行EM算法时，若分解的是处理后的视频图像序列中的第一帧图像，初始化U和V，否则，需先通过E步和M步进行迭代更新参数U和V，其中更新策略为：
E步更新的公式为：
其中，表示EM算法的估计潜在变量的后验概率期望，i为第几行，k为矩阵噪声的参数，上标t表示处理后的视频图像序列中的第t帧图像的参数；
M步更新U，V的闭式表达式为：
V＝(UTdiag(wt)2U)-1UTdiag(wt)2xt
其中，为更新过程中处理后的视频图像序列中的第t-1帧图像的半正定矩阵，为U的第i行，xt为处理后的视频图像序列中的第t帧图像；ρ为子空间更新参数，根据背景速度与前景速度以及处理后的视频图像序列的大小对子空间更新参数进行修正；
运用背景差法将处理后的视频图像序列中的各图像与对应的前景图像进行相减，得到对应的背景图像B：
B＝X-F。
7.根据权利要求6所述的一种基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法，其特征在于，所述步骤4.2中，对前景部分进行TV范数修正的具体步骤为：
步骤4.2.1：对前景部分进行TV范数修正，其中，TV范数的修正模型：
其中，||g||2为矩阵二范数，F为前景图像，为修正后的前景图像，||g||TV为TV范数，λ为正则化参数；
步骤4.2.2：求解TV范数的修正模型，得到修正过后的前景图像序列。
CN201910427684.6A 2019-05-21 2019-05-21 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法 Active CN110136164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910427684.6A CN110136164B (zh) 2019-05-21 2019-05-21 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910427684.6A CN110136164B (zh) 2019-05-21 2019-05-21 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法

Publications (2)

Publication Number Publication Date
CN110136164A true CN110136164A (zh) 2019-08-16
CN110136164B CN110136164B (zh) 2022-10-25

Family

ID=67572118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910427684.6A Active CN110136164B (zh) 2019-05-21 2019-05-21 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法

Country Status (1)

Country Link
CN (1) CN110136164B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516639A (zh) * 2019-08-30 2019-11-29 成都索贝数码科技股份有限公司 一种基于视频流自然场景的人物三维位置实时计算方法
CN110610508A (zh) * 2019-08-20 2019-12-24 全球能源互联网研究院有限公司 一种静态视频分析方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3448930B2 (ja) * 1993-12-27 2003-09-22 松下電器産業株式会社 画像表示装置
US6674430B1 (en) * 1998-07-16 2004-01-06 The Research Foundation Of State University Of New York Apparatus and method for real-time volume processing and universal 3D rendering
US20150035975A1 (en) * 2012-08-29 2015-02-05 Xerox Corporation Methods and systems for goods received gesture recognition
CN105205781A (zh) * 2015-08-24 2015-12-30 电子科技大学 输电线路航拍图像拼接方法
CN105245841A (zh) * 2015-10-08 2016-01-13 北京工业大学 一种基于cuda的全景视频监控系统
CN105761251A (zh) * 2016-02-02 2016-07-13 天津大学 一种基于低秩和结构稀疏的视频前景背景分离方法
CN106384356A (zh) * 2016-09-22 2017-02-08 北京小米移动软件有限公司 分离视频序列的前景与背景的方法及装置
CN106651953A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于交通指示牌的车辆位姿估计方法
CN107301369A (zh) * 2017-09-04 2017-10-27 南京航空航天大学 基于航拍图像的道路交通拥堵分析方法
CN107680116A (zh) * 2017-08-18 2018-02-09 河南理工大学 一种监测视频图像中运动目标的方法
CN108399620A (zh) * 2018-03-19 2018-08-14 嘉兴学院 一种基于低秩稀疏矩阵分解的图像质量评价方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3448930B2 (ja) * 1993-12-27 2003-09-22 松下電器産業株式会社 画像表示装置
US6674430B1 (en) * 1998-07-16 2004-01-06 The Research Foundation Of State University Of New York Apparatus and method for real-time volume processing and universal 3D rendering
US20150035975A1 (en) * 2012-08-29 2015-02-05 Xerox Corporation Methods and systems for goods received gesture recognition
CN105205781A (zh) * 2015-08-24 2015-12-30 电子科技大学 输电线路航拍图像拼接方法
CN105245841A (zh) * 2015-10-08 2016-01-13 北京工业大学 一种基于cuda的全景视频监控系统
CN105761251A (zh) * 2016-02-02 2016-07-13 天津大学 一种基于低秩和结构稀疏的视频前景背景分离方法
CN106384356A (zh) * 2016-09-22 2017-02-08 北京小米移动软件有限公司 分离视频序列的前景与背景的方法及装置
CN106651953A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于交通指示牌的车辆位姿估计方法
CN107680116A (zh) * 2017-08-18 2018-02-09 河南理工大学 一种监测视频图像中运动目标的方法
CN107301369A (zh) * 2017-09-04 2017-10-27 南京航空航天大学 基于航拍图像的道路交通拥堵分析方法
CN108399620A (zh) * 2018-03-19 2018-08-14 嘉兴学院 一种基于低秩稀疏矩阵分解的图像质量评价方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
RAFFAY HAMID等: "Fast Approximate Matching of Videos from Hand-Held Cameras for Robust Background Subtraction", 《2015 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 *
THIERRYBOUWMANS等: "Decomposition into low-rank plus additive matrices for background/foreground separation: A review for a comparative evaluation with a large-scale dataset", 《COMPUTER SCIENCE REVIEW》 *
丛润民等: "视频显著性检测研究进展", 《软件学报》 *
冉啟锐: "基于矩阵分解的在线动态背景减除算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
孟凡清: "基于背景差分法与ORB算法的运动目标检测与跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610508A (zh) * 2019-08-20 2019-12-24 全球能源互联网研究院有限公司 一种静态视频分析方法及系统
CN110610508B (zh) * 2019-08-20 2021-11-09 全球能源互联网研究院有限公司 一种静态视频分析方法及系统
CN110516639A (zh) * 2019-08-30 2019-11-29 成都索贝数码科技股份有限公司 一种基于视频流自然场景的人物三维位置实时计算方法
CN110516639B (zh) * 2019-08-30 2022-04-12 成都索贝数码科技股份有限公司 一种基于视频流自然场景的人物三维位置实时计算方法

Also Published As

Publication number Publication date
CN110136164B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
Kong et al. Recurrent scene parsing with perspective understanding in the loop
Cheng et al. Cspn++: Learning context and resource aware convolutional spatial propagation networks for depth completion
CN109271933B (zh) 基于视频流进行三维人体姿态估计的方法
CN107481279B (zh) 一种单目视频深度图计算方法
KR20200018283A (ko) 컨볼루션 순환 신경망을 훈련시키는 방법 및 훈련된 컨볼루션 순환 신경망을 사용하는 입력된 비디오의 의미적 세그먼트화 방법
CN110334589B (zh) 一种基于空洞卷积的高时序3d神经网络的动作识别方法
CN112767468A (zh) 基于协同分割与数据增强的自监督三维重建方法及系统
CN111539290B (zh) 视频动作识别方法、装置、电子设备及存储介质
CN111861925A (zh) 一种基于注意力机制与门控循环单元的图像去雨方法
CN111062410B (zh) 基于深度学习的星型信息桥气象预测方法
CN111028166B (zh) 一种基于迭代神经网络的视频去模糊方法
Mukherjee et al. Predicting video-frames using encoder-convlstm combination
CN110136164A (zh) 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法
CN110610467A (zh) 一种基于深度学习的多帧视频去压缩噪声方法
CN113065506B (zh) 一种人体姿态识别方法及系统
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN106023256A (zh) 面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观测方法
CN111814884A (zh) 一种基于可变形卷积的目标检测网络模型的升级方法
CN111310772A (zh) 用于双目视觉slam的点线特征选取方法及系统
CN109002802A (zh) 基于自适应鲁棒主成分分析的视频前景分离方法和系统
CN112529815B (zh) 一种雨后真实图像中雨滴去除方法及系统
CN109657589B (zh) 一种基于人体交互动作的体验者动作生成方法
Kar et al. Progressive update guided interdependent networks for single image dehazing
CN105791980A (zh) 基于分辨率提升的影视作品翻新方法
Wolf et al. Instance separation emerges from inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant