CN111667511A - 一种在动态视频中提取背景的方法、装置和系统 - Google Patents
一种在动态视频中提取背景的方法、装置和系统 Download PDFInfo
- Publication number
- CN111667511A CN111667511A CN202010563011.6A CN202010563011A CN111667511A CN 111667511 A CN111667511 A CN 111667511A CN 202010563011 A CN202010563011 A CN 202010563011A CN 111667511 A CN111667511 A CN 111667511A
- Authority
- CN
- China
- Prior art keywords
- video
- pixel
- picture
- value
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000003287 optical effect Effects 0.000 claims abstract description 64
- 238000009826 distribution Methods 0.000 claims abstract description 62
- 239000000203 mixture Substances 0.000 claims abstract description 28
- 230000003068 static effect Effects 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 description 3
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 241000135164 Timea Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种在动态视频中提取背景的方法,包括:采用光流法获得视频包含的每帧图片的光流运动水平,建立反映整个视频光流运动水平的直方图,利用阈值法对直方图进行截取,去除视频包含的每帧图片中运动速度快的物体所在的像素;对处理后的每帧图片,采用高斯混合模型,计算每个像素的最可能的高斯分布,将每个像素最有可能的高斯分布的中心值,作为输出,其中,针对视频中每个位置,处理后的图片所包含的有效像素总数均满足预设要求。本发明能够从一系列运动视频中,自动区分背景(包括有静态背景和动态背景)、前景,然后从中提取出一张没有运动物体的纯背景图片。
Description
技术领域
本发明涉及图像处理技术领域,具体而言涉及一种在动态视频中提取背景的方法、装置 和系统。
背景技术
在很多电影、纪念、风景区中,往往需要拍摄一张纯背景的图片,或者是想拍摄一张只 有自己和背景的照片,但是在这样的游人众多的地方,几乎是不可能拍摄出一张能够没有别 人的照片。
如果有一种算法,在相机固定的前提下,能够在视频中,一是自动把背景(包括静态背 景和动态背景,动态背景例如随风摇曳的竹林、喷泉)与运动的物体区分开来,拼凑成纯背 景的照片,二是自动提醒提取的完成度,那么就可以很好的让拍摄者在人员密集处拍摄出背 景的照片,特别是当拍摄者自己保持不动的情况下,可以被理解成背景,成为一张在人员密 集处拍摄出来只有自己和背景的照片。
查阅现有的专利、论文,最为相关的是申请号为201510844031.X的《一种用于视频分析 中背景建模方法》的专利,该专利利用了PBAS算法和高斯混合模型,分析了前景和背景, 并用提取了背景。但是该算法明显只是适合于没有移动人员运动的情况,不适合在人员密集 处拍摄出只有自己和背景的照片的目标。因此,亟需针对包含移动人员或物体(如车辆等) 的情况,提出一种可以从动态视频中提取背景(包含处于静态的自己)的方法。
发明内容
本发明针对现有技术中的不足,提供一种在动态视频中提取背景的方法、装置和系统, 能够从一系列运动视频中,自动区分背景(包括有静态背景和动态背景)、前景,然后从中提 取出一张没有运动物体的纯背景图片。
为实现上述目的,本发明采用以下技术方案:
一种在动态视频中提取背景的方法,所述方法包括:
S1,采用光流法获得视频包含的每帧图片的光流运动水平,建立反映整个视频光流运动 水平的直方图,利用阈值法对直方图进行截取,去除视频包含的每帧图片中运动速度快的物 体所在的像素;
S2,对处理后的每帧图片,采用高斯混合模型,计算每个像素的最可能的高斯分布,将 每个像素最有可能的高斯分布的中心值,作为输出,其中,针对视频中每个位置,处理后的 图片所包含的有效像素总数均满足预设要求。
为优化上述技术方案,采取的具体措施还包括:
进一步地,步骤S1中,所述去除视频包含的每帧图片中运动速度快的物体所在的像素的 过程包括以下步骤:
S11,用光流法计算并获得视频中每帧图片的光流值;
S12,以光流值大小为横坐标,以整个视频中相同光流值的像素数量为纵坐标,建立反映 整个视频光流运动水平的直方图;
S13,采用阈值法对直方图进行截取,将大于T1的光流运动的视频中位置的像素全部删 除。
进一步地,步骤S13中,阈值法的阈值采用大津法计算获得。
进一步地,所述方法还包括:
S14,统计视频中每个位置的像素剩下的没有被删除的个数,如果同一个位置的像素在不 同帧里少于T2个有效值,那么认定为1个不合格像素,无法进一步使用高斯模型判断;
S15,实时统计不合格像素的个数N2,根据下述公式计算拍摄进度C:
C=(N3-N2)/N3
式中,N3为相机的拍摄图片的总像素个数;
S15,将计算得到的拍摄进度展示给用户。
进一步地,所述方法还包括:
若视频所包含的图片全部处理结束后,拍摄进度未满足预设进度要求,则继续拍摄图片, 直至进度满足预设进度要求。
进一步地,步骤S2中,对处理后的每帧图片,采用高斯混合模型,计算每个像素的最可 能的高斯分布,将每个像素最有可能的高斯分布的中心值,作为输出的过程包括以下步骤:
S21,假定图像像素点红R、绿G、蓝B三色通道相互独立并具有相同的方差;对于随机 变量X的观测数据集{x1,x2,...,xN},xt=(Rt,Gt,Bt)为t时刻像素的样本,其中t=1~N,则单 个采样点xt其服从的混合高斯分布概率密度函数:
其中,K为高斯分布的数量,其中i=1~K,η(xt,μ(i,t),τ(i,t))是第t时刻的第i个高斯分布的 参数,μ(i,t)是其均值,τ(i,t)是其协方差矩阵,是其方差,I是三维单位矩阵,w(i,t)是第t 时刻的第i个高斯分布的权重;
S22,每个新像素值Xt同当前K个模型按下式进行比较,直到找到匹配新像素值的分布 模型,即同该模型的均值偏差在2.5个σ以内:
|Xt-μ(i,t-1)|≤2.5σ
式中,σ为标准差;
S23,各个模式权值按如下公式更新,其中α是学习速率,对于匹配的模式M(k,t)=1,否 则M(k,t)=0,对各个模式的权重进行归一化处理:
w(k,t)=(1-α)*w(k,t-1)+α*Mk,t;
S24,未匹配模式的均值μ与标准差σ不变,匹配模式的参数按照如下公式进行更新:
ρ=α*η(Xt(μk,σk))
μt=(1-ρ)*μt-1+ρ*Xt
S25,如果步骤S21中没有匹配到任何模式,那么权重最小的模式被替换,即该模式的均 值为当前像素值,标准差为初始较大值,权重为较小值;
S26,各个模式以w/α2为标准,降序排列,即权重大且标准差小的模式排列靠前;
S27,提取每个像素排序第一的模式作为对应像素的高斯分布;
S28,用每个模式的中心值μ替代对应的像素,取整后,形成一幅图像,作为输出。
本发明还提及一种在动态视频中提取背景的装置,所述装置包括快速运动物体去除模块 和动静态背景中心值计算模块;
所述快速运动物体去除模块用于采用光流法获得视频包含的每帧图片的光流运动水平, 建立反映整个视频光流运动水平的直方图,利用阈值法对直方图进行截取,去除视频包含的 每帧图片中运动速度快的物体所在的像素;
所述动静态背景中心值计算模块用于对处理后的每帧图片,采用高斯混合模型,计算每 个像素的最可能的高斯分布,将每个像素最有可能的高斯分布的中心值,作为输出,其中, 针对视频中每个位置,处理后的图片所包含的有效像素总数均满足预设要求。
进一步地,所述装置还包括进度统计模块;
所述进度统计模块针对视频中每个位置,实时统计处理后的图片所包含的有效像素的个 数,如果同一个位置的像素在不同帧里少于T2个有效值,那么认定为1个不合格像素;
根据不合格像素总数和相机拍摄图片的总像素个数计算得到当前进度值:
C=(N3-N2)/N3
式中,N3为相机的拍摄图片的总像素个数,N2为不合格像素的个数。
本发明还提及一种在动态视频中提取背景的系统,所述系统包括:
(1)相机,用于采集拍摄视频;
(2)视频处理模块,用于将拍摄视频分解呈一定量的图片帧;
(3)如前所述的在动态视频中提取背景的装置,用于对视频处理模块分解得到的图片帧 进行处理,输出提取背景后的图像。
本发明的有益效果是:
(1)在相机固定的前提下,能够在视频中,自动将背景(包括静态背景和动态背景)与 运动的物体区分开来,拼凑成纯背景的照片。
(2)自动提醒提取的完成度,使用户掌握处理进程,让拍摄者在人员密集处顺利拍摄出 背景照片。
(3)当拍摄者自己保持不动的情况下,可以被理解成背景,成为一张在人员密集处拍摄 出来只有自己和背景的照片,充分满足用户的拍摄需求。
附图说明
图1是本发明的在动态视频中提取背景的方法流程图。
图2是本发明的具体实施例二中原始图片和光流图片的关系示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是,发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
具体实施例一
结合图1,本发明提及一种在动态视频中提取背景的方法,所述方法包括:
S1,采用光流法获得视频包含的每帧图片的光流运动水平,建立反映整个视频光流运动 水平的直方图,利用阈值法对直方图进行截取,去除视频包含的每帧图片中运动速度快的物 体所在的像素。
S2,对处理后的每帧图片,采用高斯混合模型,计算每个像素的最可能的高斯分布,将 每个像素最有可能的高斯分布的中心值,作为输出,其中,针对视频中每个位置,处理后的 图片所包含的有效像素总数均满足预设要求。
在相机固定的前提下,本发明所提及的在动态视频中提取背景的方法,基于光流法和高 斯混合模型,先采用光流法获得每张图片的光流运动水平,然后用统计整个视频中的光流运 动水平的直方图,然后用阈值法进行截取,从而去掉整个视频中运动速度快的物体,即人来 人往的图片部分。然后再对剩下的视频中,采用高斯混合模型,计算每个像素的最可能的高 斯分布。最后把每个像素最有可能的高斯分布的中心值,作为输出。
其整体过程包括有:基于光流法去除视频中快速运动物体;基于高斯混合模型的动静态 背景中心值计算。
步骤一、基于光流法去除视频中快速运动物体,其作用在于去掉视频中运动速度快的物 体,即在视频中,去除每张图片中人来人往的像素。其步骤包括有:
步骤1-1,用光流法计算并获得视频中每帧图片的光流值;
步骤1-2,以光流值大小为横坐标,以整个视频中相同光流值的像素数量为纵坐标,建立 一个整个视频中光流运动水平的直方图;
步骤1-3,采用阈值法进行截取,把大于T1的光流运动的视频中的位置的像素全部删除。 阈值法的阈值可以采用人工设置,也可以采用大津法进行计算获得。这样就获得一个基本上 每帧图片中删除掉快速运动物体的视频。
步骤1-4,统计视频中每个位置的像素剩下的没有被删除的个数,如果一个像素在不同帧 里少于T2个有效值,那么认定为1个不合格像素,无法进一步使用高斯模型判断,假设不合 格像素共计为N2。假设相机的拍摄图片的像素为N3,其拍摄进度就为(N3-N2)/N3,从而提 示使用者等待进度。等待完成后,进入基于高斯混合模型的动静态背景中心值计算的模块。
步骤二、基于高斯混合模型的动静态背景中心值计算,其作用是对于前述步骤获得的视 频中,即扣掉每张图片中人来人往的像素的视频中,对于每帧每个位置的像素,均采用高斯 混合模型,计算每个像素的最可能的高斯分布,然后获得其高斯分布的中心值,作为每个像 素最有可能的值,作为输出。从而达到本发明的目的。需要强调的是,在基于光流法去除视 频中快速运动物体的模块中,其每帧中删除掉的内容不参与本步骤计算。
混合高斯模型判断前后景的原理是,基于像素样本统计信息的背景表示方法,利用像素 在较长时间内大量样本值的概率密度等统计信息(如模式数量、每个模式的均值和标准差) 表示背景,然后使用统计差分(如3σ原则)进行目标像素判断,可以对复杂动态背景进行建 模,计算量较大。
在混合高斯背景模型中,认为像素之间的颜色信息互不相关,对各像素点的处理都是相 互独立的。对于视频图像中的每一个像素点,其值在序列图像中的变化可看作是不断产生像 素值的随机过程,即用高斯分布来描述每个像素点的颜色呈现规律(单模态(单峰),多模态 (多峰))。
对于多峰高斯分布模型,图像的每一个像素点按不同权值的多个高斯分布的叠加来建模, 每种高斯分布对应一个可能产生像素点所呈现颜色的状态,各个高斯分布的权值和分布参数 随时间更新。当处理彩色图像时,假定图像像素点红R、绿G、蓝B三色通道相互独立并具 有相同的方差。对于随机变量X的观测数据集{x1,x2,...,xN},xt=(Rt,Gt,Bt)为t时刻像素的 样本,其中t=1~N,则单个采样点xt其服从的混合高斯分布概率密度函数:
其中,K为高斯分布的数量,其中i=1~K,η(xt,μ(i,t),τ(i,t))是第t时刻的第i个高斯分布的 参数,μ(i,t)是其均值,τ(i,t)是其协方差矩阵,是其方差,I是三维单位矩阵,w(i,t)是第t 时刻的第i个高斯分布的权重。
因此,步骤二的详细的算法流程为:
步骤2-1,每个新像素值Xt同当前K个模型按下式进行比较,直到找到匹配新像素值的 分布模型,即同该模型的均值偏差在2.5个σ以内。
|Xt-μ(i,t-1)|≤2.5σ。
步骤2-2,各个模式权值按如下公式更新,其中α是学习速率,对于匹配的模式M(k,t)=1, 否则M(k,t)=0,然后各个模式的权重进行归一化。
w(k,t)=(1-α)*w(k,t-1)+α*Mk,t。
步骤2-3,未匹配模式的均值μ与标准差σ不变,匹配模式的参数按照如下公式进行更新:
ρ=α*η(Xt|(μk,σk))
μt=(1-ρ)*μt-1+ρ*Xt
步骤2-4,如果步骤2-1中没有匹配到任何模式,那么权重最小的模式被替换,即该模式 的均值为当前像素值,标准差为初始较大值,权重为较小值。
步骤2-5,各个模式根据w/α2为标准,降序排列,即权重大且标准差小的模式排列靠前。
经典的混合高斯模型剩下的步骤还包括有选择背景等内容,在本发明中,由于已经通过 基于光流法去除视频中快速运动物体的模块,实现了去除快速运动的内容,所以不需要这些 步骤。本发明只提取每个像素的最优可能值,改为选择为只选择在步骤2-5排序为第1的高 斯模式作为每个像素的模式,然后用该模式的中心值(平均值)μ作为输出。
步骤2-6,提取每个像素排序第1的模式作为该像素的高斯分布。
步骤2-7,用该模式的中心值(平均值)μ替代该像素,取整后,形成一幅图像,作为输 出。
具体实施例二
下面结合附图1、2,进一步介绍本发明内容。
本发明基于现有的人工智能、机器视觉技术,提出了一款能够在一段人来人往的视频中, 提取出背景(包括静态背景和动态背景)的算法,在拍摄者保持不动的情况下,可以在人员 密集处拍摄出只有自己和背景的照片。
在相机固定的前提下,该算法基于光流法和高斯混合模型,先采用光流法获得每张图片 的光流运动运动水平,然后用统计整个视频中的光流运动水平的直方图,然后用阈值法进行 截取,从而去掉整个视频中运动速度快的物体,即人来人往的图片。然后再对剩下的视频中, 采用高斯混合模型,计算每个像素的最可能的高斯分布。最后把每个像素最有可能的高斯分 布的中心值,作为输出。
本发明还提及一种在动态视频中提取背景的装置,所述装置包括快速运动物体去除模块 和动静态背景中心值计算模块。
所述快速运动物体去除模块用于采用光流法获得视频包含的每帧图片的光流运动水平, 建立反映整个视频光流运动水平的直方图,利用阈值法对直方图进行截取,去除视频包含的 每帧图片中运动速度快的物体所在的像素。
所述动静态背景中心值计算模块用于对处理后的每帧图片,采用高斯混合模型,计算每 个像素的最可能的高斯分布,将每个像素最有可能的高斯分布的中心值,作为输出,其中, 针对视频中每个位置,处理后的图片所包含的有效像素总数均满足预设要求。
一、快速运动物体去除模块的作用是在于去掉视频中运动速度快的物体,即在视频中, 去除每张图片中人来人往的像素。其步骤包括有:
步骤1-1,用光流法计算并获得视频中每帧图片的光流值。
如图2所示,本实施例中,采用的是800*600(图2中的每个大平行四边形中的格子代 表像素)的像素值的固定摄像头,每秒30帧,共计拍摄60秒,即1800帧(图2中上面的、 每个大的平行四边形代表原始的每帧图片)。采用的光流法为Lucas-Kanade光流法,那么就可以得到除了第1帧外,1799帧使用光流法计算得到光流值的图片(图2中下面的、每个大的平行四边形代表的光流法得到的光流值的每帧图片)。
步骤1-2,以光流值大小为横坐标,以整个视频中相同光流值的像素数量为纵坐标,建立 一个整个视频中光流运动水平的直方图;
本实施例中,把步骤1-1的全部光流值归一化到1~10个等级,作为横坐标,然后计算 1799*800*600个像素中每个等级的个数,作为每个等级的纵坐标。从而得到一个整个视频中 光流运动水平的直方图。
步骤1-3,采用阈值法进行截取,把大于T1的光流运动的视频中的位置的像素全部删除。 阈值法的阈值可以采用人工设置,也可以采用大津法进行计算获得。这样就获得一个基本上 每帧图片中删除掉快速运动物体的视频。
本实施例中,既可以采用大津法进行自动阈值判断,也可以采用大于T1的阈值法截取,T1值也可以由使用者自主设定,本实施例中,采用的T1为3,即在1799张图片中删除所有 4~10等级光流速度的像素值,这样在每帧图像中可能形成一个个的空洞。
步骤1-4,统计视频中每个位置的像素剩下的没有被删除的个数,如果一个像素在不同帧 里少于T2个有效值,那么认定为1个不合格像素,无法进一步使用高斯模型判断,假设不合 格像素共计为N2。假设相机的拍摄图片的像素为N3,其拍摄进度就为(N3-N2)/N3,从而提 示使用者等待进度。等待完成后,进入基于高斯混合模型的动静态背景中心值计算的模块。
本实施例中,即为1799帧图片中,N3=800*600的个像素,计算每个像素原有的每帧值, 即1799个值,通过步骤1-3保留下来的值的个数,设置T2为20,如果1799个值中,被删除后,剩下的值低于20,那么判定为不合格像素。假设N3=800*600个像素中,在1799帧里面,有100个像素保留的像素值低于20,那么此刻进度即为:
(N3-N2)/N3=(800*600-100)/(800*600)。
如果进度不满足要求,那么就继续拍摄图片,直至满足进度要求100%。应当理解,此处 T1和T2的取值仅为其中的一个例子,用户可以根据自身需求任意设置。
二、动静态背景中心值计算模块的作用是对于步骤1-3获得的视频中,即扣掉每张图片 中人来人往的像素的视频中,对于每帧每个位置的像素,均采用高斯混合模型,计算每个像 素的最可能的高斯分布,然后获得其高斯分布的中心值,作为每个像素最有可能的值,作为 输出。从而达到本算法的目的。需要强调的是,在基于光流法去除视频中快速运动物体的模 块中,其每帧中删除掉的内容不参与本模块计算。
本实施例中,在本模块输入的图像是步骤1-4处理后,假设800*600个像素全部合格的 视频,该视频为1799帧,其内容为原始拍摄的图片,不是光流图片,这1799帧图片,为删 除掉光流值等级大于等于4的的像素值的含有很多空洞的图片,这些被删除掉的空洞不参与 进一步的基于高斯混合模型的动静态背景中心值计算的模块的计算。
对于多峰高斯分布模型,图像的每一个像素点按不同权值的多个高斯分布的叠加来建模, 每种高斯分布对应一个可能产生像素点所呈现颜色的状态,各个高斯分布的权值和分布参数 随时间更新。当处理彩色图像时,假定图像像素点红R、绿G、蓝B三色通道相互独立并具 有相同的方差。对于随机变量X的观测数据集{x1,x2,...,xN},xt=(Rt,Gt,Bt)为t时刻像素的 样本,其中t=1~N,则单个采样点xt其服从的混合高斯分布概率密度函数:
其中,K为高斯分布的数量,其中i=1~K,η(xt,μ(i,t),τ(i,t))是第t时刻的第i个高斯分布的 参数,μ(i,t)是其均值,τ(i,t)是其协方差矩阵,是其方差,I是三维单位矩阵,w(i,t)是第t 时刻的第i个高斯分布的权重。
本实施例中,K被设置为5。一开始5组高斯分布的参数η(xt,μ(i,t),τ(i,t))都是由第一张图 片设定的,在施行的过程中,再不断改变的。它们的一开始的平均值μ(i,t)均是第一张图片的 像素值,它们的方差默认第一次时设置为36个像素值,因此它们的其协方差矩阵τ(i,t)即 为:
动静态背景中心值计算模块的详细的算法流程为:
步骤2-1,每个新像素值Xt同当前K个模型按下式进行比较,直到找到匹配新像素值的 分布模型,即同该模型的均值偏差在2.5个σ以内:
|Xt-μ(i,t-1)|≤2.5σ。
本实施例中,K被设置为4,即共计有5个模型。
步骤2-2,各个模式权值按如下公式更新,其中α是学习速率,对于匹配的模式M(k,t)=1, 否则M(k,t)=0,然后各个模式的权重进行归一化。
w(k,t)=(1-α)*w(k,t-1)+α*Mk,t
本实施例中,学习速率α被设置为0.01。
步骤2-3,未匹配模式的均值μ与标准差σ不变,匹配模式的参数按照如下公式进行更新:
ρ=α*η(Xt|(μk,σk))
μt=(1-ρ)*μt-1+ρ*Xt
步骤2-4,如果步骤2-1中没有匹配到任何模式,那么权重最小的模式被替换,即该模式 的均值为当前像素值,标准差为初始较大值,权重为较小值。
步骤2-5,各个模式根据w/α2为标准,降序排列,即权重大且标准差小的模式排列靠前。
经典的混合高斯模型剩下的步骤还包括有选择背景等内容,在本发明中,由于已经通过 基于光流法去除视频中快速运动物体的模块,实现了去除快速运动的内容,所以不需要这些 步骤。本发明只提取每个像素的最优可能值,改为选择为只选择在步骤2-5排序为第1的高 斯模式作为每个像素的模式,然后用该模式的中心值(平均值)μ作为输出。
步骤2-6,提取每个像素排序第1的模式作为该像素的高斯分布。
步骤2-7,用该模式的中心值(平均值)μ替代该像素,取整后,形成一幅图像,作为输 出。
通过实现本发明,我们可以在相机固定的前提下,能够在视频中,一是自动把背景(包 括静态背景和动态背景)与运动的物体区分开来,拼凑成纯背景的照片,二是自动提醒提取 的完成度,那么就可以很好的让拍摄者在人员密集处拍摄出背景的照片,而当拍摄者自己保 持不动的情况下,可以被理解成背景,成为一张在人员密集处拍摄出来只有自己和背景的照 片。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于 本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术 人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (9)
1.一种在动态视频中提取背景的方法,其特征在于,所述方法包括:
S1,采用光流法获得视频包含的每帧图片的光流运动水平,建立反映整个视频光流运动水平的直方图,利用阈值法对直方图进行截取,去除视频包含的每帧图片中运动速度快的物体所在的像素;
S2,对处理后的每帧图片,采用高斯混合模型,计算每个像素的最可能的高斯分布,将每个像素最有可能的高斯分布的中心值,作为输出,其中,针对视频中每个位置,处理后的图片所包含的有效像素总数均满足预设要求。
2.根据权利要求1所述的在动态视频中提取背景的方法,其特征在于,步骤S1中,所述去除视频包含的每帧图片中运动速度快的物体所在的像素的过程包括以下步骤:
S11,用光流法计算并获得视频中每帧图片的光流值;
S12,以光流值大小为横坐标,以整个视频中相同光流值的像素数量为纵坐标,建立反映整个视频光流运动水平的直方图;
S13,采用阈值法对直方图进行截取,将大于T1的光流运动的视频中位置的像素全部删除。
3.根据权利要求2所述的在动态视频中提取背景的方法,其特征在于,步骤S13中,阈值法的阈值采用大津法计算获得。
4.根据权利要求1-3任意一项中所述的在动态视频中提取背景的方法,其特征在于,所述方法还包括:
S14,统计视频中每个位置的像素剩下的没有被删除的个数,如果同一个位置的像素在不同帧里少于T2个有效值,那么认定为1个不合格像素,无法进一步使用高斯模型判断;
S15,实时统计不合格像素的个数N2,根据下述公式计算拍摄进度C:
C=(N3-N2)/N3
式中,N3为相机的拍摄图片的总像素个数;
S15,将计算得到的拍摄进度展示给用户。
5.根据权利要求4所述的在动态视频中提取背景的方法,其特征在于,所述方法还包括:
若视频所包含的图片全部处理结束后,拍摄进度未满足预设进度要求,则继续拍摄图片,直至进度满足预设进度要求。
6.根据权利要求1-3任意一项中所述的在动态视频中提取背景的方法,其特征在于,步骤S2中,对处理后的每帧图片,采用高斯混合模型,计算每个像素的最可能的高斯分布,将每个像素最有可能的高斯分布的中心值,作为输出的过程包括以下步骤:
S21,假定图像像素点红R、绿G、蓝B三色通道相互独立并具有相同的方差;对于随机变量X的观测数据集{x1,x2,...,xN},xt=(Rt,Gt,Bt)为t时刻像素的样本,其中t=1~N,则单个采样点xt其服从的混合高斯分布概率密度函数:
其中,K为高斯分布的数量,其中i=1~K,η(xt,μ(i,t),τ(i,t))是第t时刻的第i个高斯分布的参数,μ(i,t)是其均值,τ(i,t)是其协方差矩阵,是其方差,I是三维单位矩阵,w(i,t)是第t时刻的第i个高斯分布的权重;
S22,每个新像素值Xt同当前K个模型按下式进行比较,直到找到匹配新像素值的分布模型,即同该模型的均值偏差在2.5个σ以内:
|Xt-μ(i,t-1)|≤2.5σ
式中,σ为标准差;
S23,各个模式权值按如下公式更新,其中α是学习速率,对于匹配的模式M(k,t)=1,否则M(k,t)=0,对各个模式的权重进行归一化处理:
w(k,t)=(1-α)*w(k,t-1)+α*Mk,t;
S24,未匹配模式的均值μ与标准差σ不变,匹配模式的参数按照如下公式进行更新:
ρ=α*η(Xt|(μk,σk))
μt=(1-ρ)*μt-1+ρ*Xt
S25,如果步骤S21中没有匹配到任何模式,那么权重最小的模式被替换,即该模式的均值为当前像素值,标准差为初始较大值,权重为较小值;
S26,各个模式以w/α2为标准,降序排列,即权重大且标准差小的模式排列靠前;
S27,提取每个像素排序第一的模式作为对应像素的高斯分布;
S28,用每个模式的中心值μ替代对应的像素,取整后,形成一幅图像,作为输出。
7.一种在动态视频中提取背景的装置,其特征在于,所述装置包括快速运动物体去除模块和动静态背景中心值计算模块;
所述快速运动物体去除模块用于采用光流法获得视频包含的每帧图片的光流运动水平,建立反映整个视频光流运动水平的直方图,利用阈值法对直方图进行截取,去除视频包含的每帧图片中运动速度快的物体所在的像素;
所述动静态背景中心值计算模块用于对处理后的每帧图片,采用高斯混合模型,计算每个像素的最可能的高斯分布,将每个像素最有可能的高斯分布的中心值,作为输出,其中,针对视频中每个位置,处理后的图片所包含的有效像素总数均满足预设要求。
8.根据权利要求7所述的在动态视频中提取背景的装置,其特征在于,所述装置还包括进度统计模块;
所述进度统计模块针对视频中每个位置,实时统计处理后的图片所包含的有效像素的个数,如果同一个位置的像素在不同帧里少于T2个有效值,那么认定为1个不合格像素;
根据不合格像素总数和相机拍摄图片的总像素个数计算得到当前进度值:
C=(N3-N2)/N3
式中,N3为相机的拍摄图片的总像素个数,N2为不合格像素的个数。
9.一种在动态视频中提取背景的系统,其特征在于,所述系统包括:
相机,用于采集拍摄视频;
视频处理模块,用于将拍摄视频分解呈一定量的图片帧;
如权利要求7所述的在动态视频中提取背景的装置,用于对视频处理模块分解得到的图片帧进行处理,输出提取背景后的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010563011.6A CN111667511B (zh) | 2020-06-19 | 2020-06-19 | 一种在动态视频中提取背景的方法、装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010563011.6A CN111667511B (zh) | 2020-06-19 | 2020-06-19 | 一种在动态视频中提取背景的方法、装置和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111667511A true CN111667511A (zh) | 2020-09-15 |
CN111667511B CN111667511B (zh) | 2024-02-02 |
Family
ID=72388799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010563011.6A Active CN111667511B (zh) | 2020-06-19 | 2020-06-19 | 一种在动态视频中提取背景的方法、装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111667511B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822879A (zh) * | 2021-11-18 | 2021-12-21 | 南京智谱科技有限公司 | 一种图像分割的方法及装置 |
CN114924715A (zh) * | 2022-06-15 | 2022-08-19 | 泰州亚东广告传媒有限公司 | 计步应用程序api函数访问系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070206865A1 (en) * | 2006-03-02 | 2007-09-06 | Honeywell International Inc. | Block-based Gaussian Mixture Model video motion detection |
CN106709472A (zh) * | 2017-01-17 | 2017-05-24 | 湖南优象科技有限公司 | 一种基于光流特征的视频目标检测与跟踪方法 |
CN107659754A (zh) * | 2017-07-18 | 2018-02-02 | 孙战里 | 一种树叶扰动情况下监控视频的有效浓缩方法 |
CN108520496A (zh) * | 2018-04-12 | 2018-09-11 | 电子科技大学 | 一种基于光流法的海空背景监控视频图像拼接方法 |
CN108564597A (zh) * | 2018-03-05 | 2018-09-21 | 华南理工大学 | 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 |
-
2020
- 2020-06-19 CN CN202010563011.6A patent/CN111667511B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070206865A1 (en) * | 2006-03-02 | 2007-09-06 | Honeywell International Inc. | Block-based Gaussian Mixture Model video motion detection |
CN106709472A (zh) * | 2017-01-17 | 2017-05-24 | 湖南优象科技有限公司 | 一种基于光流特征的视频目标检测与跟踪方法 |
CN107659754A (zh) * | 2017-07-18 | 2018-02-02 | 孙战里 | 一种树叶扰动情况下监控视频的有效浓缩方法 |
CN108564597A (zh) * | 2018-03-05 | 2018-09-21 | 华南理工大学 | 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 |
CN108520496A (zh) * | 2018-04-12 | 2018-09-11 | 电子科技大学 | 一种基于光流法的海空背景监控视频图像拼接方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113822879A (zh) * | 2021-11-18 | 2021-12-21 | 南京智谱科技有限公司 | 一种图像分割的方法及装置 |
CN113822879B (zh) * | 2021-11-18 | 2022-06-21 | 南京智谱科技有限公司 | 一种图像分割的方法及装置 |
CN114924715A (zh) * | 2022-06-15 | 2022-08-19 | 泰州亚东广告传媒有限公司 | 计步应用程序api函数访问系统及方法 |
CN114924715B (zh) * | 2022-06-15 | 2023-08-22 | 泰州亚东广告传媒有限公司 | 计步应用程序api函数访问系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111667511B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tran et al. | Two-stream flow-guided convolutional attention networks for action recognition | |
CN111582199B (zh) | 一种人脸识别模型训练方法和人脸识别方法 | |
CN108288027A (zh) | 一种图像质量的检测方法、装置及设备 | |
CN108198177A (zh) | 图像获取方法、装置、终端及存储介质 | |
CN110807759B (zh) | 照片质量的评价方法及装置、电子设备、可读存储介质 | |
CN108615226A (zh) | 一种基于生成式对抗网络的图像去雾方法 | |
CN105046219A (zh) | 一种人脸识别系统 | |
CN110738160A (zh) | 一种结合人脸检测的人脸质量评估方法 | |
CN111667511B (zh) | 一种在动态视频中提取背景的方法、装置和系统 | |
CN111667420B (zh) | 图像处理方法及装置 | |
CN106650638A (zh) | 一种遗留物检测方法 | |
CN110348505A (zh) | 车辆颜色分类模型训练方法、装置和车辆颜色识别方法 | |
CN110175553A (zh) | 基于步态识别与人脸识别建立特征库的方法及装置 | |
CN110909617B (zh) | 基于双目视觉的活体人脸检测方法及装置 | |
CN110543813B (zh) | 一种基于场景的人脸画像、目光计数方法及系统 | |
CN106529441A (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
CN109671044B (zh) | 一种基于可变图像分解的多曝光图像融合方法 | |
CN114155551A (zh) | 基于YOLOv3改进的复杂环境下的行人检测方法及装置 | |
CN113065506A (zh) | 一种人体姿态识别方法及系统 | |
CN113536849A (zh) | 一种基于图像识别的人群聚集识别方法及装置 | |
CN116095363A (zh) | 基于关键行为识别的移动端短视频高光时刻剪辑方法 | |
CN110059617A (zh) | 一种目标物体的识别方法及装置 | |
CN110602411A (zh) | 一种逆光环境下的人脸图像质量提升方法 | |
CN111247790A (zh) | 一种图像处理方法、装置、图像拍摄和处理系统及载体 | |
CN111640082B (zh) | 一种基于高斯混合模型与暗通道理论的水下图像恢复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |