CN106991684B - 前景提取方法及装置 - Google Patents

前景提取方法及装置 Download PDF

Info

Publication number
CN106991684B
CN106991684B CN201710154462.2A CN201710154462A CN106991684B CN 106991684 B CN106991684 B CN 106991684B CN 201710154462 A CN201710154462 A CN 201710154462A CN 106991684 B CN106991684 B CN 106991684B
Authority
CN
China
Prior art keywords
agglomerate
prospect
overlapping
segmentation
prospect agglomerate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710154462.2A
Other languages
English (en)
Other versions
CN106991684A (zh
Inventor
李高健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinhao Information Technology Co Ltd
Original Assignee
Shanghai Xinhao Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinhao Information Technology Co Ltd filed Critical Shanghai Xinhao Information Technology Co Ltd
Priority to CN201710154462.2A priority Critical patent/CN106991684B/zh
Publication of CN106991684A publication Critical patent/CN106991684A/zh
Application granted granted Critical
Publication of CN106991684B publication Critical patent/CN106991684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种前景提取方法及装置,属于计算机视觉领域。该方法包括对图像序列进行前景提取,得到初始的前景团块序列;利用前景团块包含的像素点的数量区分初始的前景团块序列中的交叠前景团块和非交叠前景团块;对交叠前景团块进行第一次预分割得到候选分割结果;利用非交叠前景团块对交叠前景团块进行第二次预分割得到预测分割结果;计算候选分割结果与预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果;输出最终的前景团块序列;解决了现有技术中当不同的前景出现相互交叠和背景干扰时,前景难以分离、前景提取误差大的问题;达到了有效分割出现相互交叠的前景,精确提取图像序列中前景的效果。

Description

前景提取方法及装置
技术领域
本发明实施例涉及计算机视觉领域,特别涉及一种前景提取方法及装置。
背景技术
视频也被称作图像序列,视频中静止不动的物体为背景,比如:房屋、道路,视频中运动的物体为前景,比如:行人。在提取前景时利用光流提取、图像分割等方法,通过对图像序列空间时间运动模式的分析,将运动的物体轮廓提取出来,来获得前景信息。
相关技术中,在提取前景之前,利用图像序列的前若干帧训练高斯模型,对每帧中的背景都用混合高斯模型进行模拟,每个背景对应的混合高斯模型的数量自适应。在前景提取阶段,利用高斯混合模型区分出背景和前景,具体地,对新输入的图像的像素与混合高斯模型进行匹配,当一个像素点的像素值与某一个混合高斯模型的均值的差小于或等于混合高斯模型方差的两倍时,说明该像素点有匹配的混合高斯模型,也即该像素点为背景像素点,否则,像素点为前景像素点。
然而,在提取前景时,只能够提取出精确的前景轮廓,当不同的前景出现相互交叠和背景干扰等情况时,难以将不同的前景分离,导致前景提取出现严重误差。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种前景提取方法及装置。该技术方案如下:
第一方面,提供了一种前景提取方法,该方法包括:
获取待处理的图像序列;
对所述图像序列进行前景提取,得到初始的前景团块序列,所述前景团块序列包括按时间顺序排列的每帧图像中的前景团块;
利用前景团块包含的像素点的数量区分所述初始的前景团块序列中的交叠前景团块和非交叠前景团块;
对所述交叠前景团块进行第一次预分割,得到候选分割结果;
利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果;
计算所述候选分割结果与所述预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果;
输出最终的前景团块序列,所述最终的前景团块序列包括最终分割结果和非交叠前景团块。
可选的,所述利用前景团块包含的像素点的数量区分所述初始的前景团块序列中的交叠前景团块和非交叠前景团块,包括:
检测所述前景团块的面积是否满足
若所述前景团块的面积满足则确认所述前景团块为交叠前景团块;
若所述前景团块的面积不满足则确认所述前景团块为非交叠前景团块;
其中,R表示一个前景团块序列,Bt表示前景团块,S(Bt)表示前景团块包含的像素点的数量,表示前景团块序列包含的像素点数量的中值,w为比例系数。
可选的,所述利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果,包括:
利用前景团块相似性对所述初始的前景团块序列中的所述非交叠前景团块进行关联;
利用关联后的所述非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果。
可选的,所述利用前景团块相似性对所述初始的前景团块序列中的所述非交叠前景团块进行关联,包括:
检测所述图像序列中第t帧图像中的第i个前景团块和第t-1帧图像中的第j个前景团块是否满足
若所述第i个前景团块和所述第j个前景团块是否满足则将所述第i个前景团块与所述第j个前景团块关联;
其中,表示所述第t帧图像中第i个前景团块包含的像素点的数量,表示所述第j个前景团块包含的像素点的数量,表示所述第t帧图像中第i个前景团块的方向梯度直方图HOG特征,表示所述第j个前景团块的HOG特征,表示所述第i个前景团块与所述第j个前景团块之间的相似度。
可选的,所述利用关联后的所述非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果,包括:
利用关联后的所述非交叠前景团块预测各个非交叠前景团块对应的物体在交叠前景团块中的位置及区域,生成预测分割结果。
可选的,所述对所述交叠前景团块进行第一次预分割,得到候选分割结果,包括:
利用光流聚类方法将所述交叠前景团块分为若干个子团块;
根据所述子团块的光流特性,以所述子团块的交界线作为分界线分割所述子团块,得到候选分割结果。
可选的,所述计算所述候选分割结果与所述预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果,包括:
计算所述候选分割结果与所述预测分割结果之间的距离;
按如下公式确定最终分割结果:
其中,D(Ψ,Ki)=1/(Ψ∩Ki),Ψ*表示最终分割结果,Ψ表示一种候选分割结果,Ki表示第i个预测分割结果,D(Ψ,Ki)表示第i个预测分割结果与所述候选分割结果之间的距离,(Ψ∩Ki)表示所述候选分割结果和所述第i个预测分割结果的各自对应的前景团块的交叠区域的大小。
第二方面,提供了一种前景提取装置,该装置包括:
获取模块,用于获取待处理的图像序列;
初始前景提取模块,用于对所述图像序列进行前景提取,得到初始的前景团块序列,所述前景团块序列包括按时间顺序排列的每帧图像中的前景团块;
区分模块,用于利用前景团块包含的像素点的数量区分所述初始的前景团块序列中的交叠前景团块和非交叠前景团块;
第一分割模块,用于对所述交叠前景团块进行第一次预分割,得到候选分割结果;
第二分割模块,用于利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果;
确定模块,用于计算所述候选分割结果与所述预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果;
输出模块,用于输出最终的前景团块序列,所述最终的前景团块序列包括最终分割结果和非交叠前景团块。
可选的,所述区分模块,用于:
检测所述前景团块的面积是否满足
若所述前景团块的面积满足则确认所述前景团块为交叠前景团块;
若所述前景团块的面积不满足则确认所述前景团块为非交叠前景团块;
其中,R表示一个前景团块序列,Bt表示前景团块,S(Bt)表示前景团块包含的像素点的数量,表示前景团块序列包含的像素点数量的中值,w为比例系数。
所述第二分割模块,用于:
利用前景团块相似性对所述初始的前景团块序列中的所述非交叠前景团块进行关联;
利用关联后的所述非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果。
可选的,所述第二分割模块,还用于:
检测所述图像序列中第t帧图像中的第i个前景团块和第t-1帧图像中的第j个前景团块是否满足
若所述第i个前景团块和所述第j个前景团块是否满足则将所述第i个前景团块与所述第j个前景团块关联;
其中,表示所述第t帧图像中第i个前景团块包含的像素点的数量,表示所述第j个前景团块包含的像素点的数量,表示所述第t帧图像中第i个前景团块的方向梯度直方图HOG特征,表示所述第j个前景团块的HOG特征,表示所述第i个前景团块与所述第j个前景团块之间的相似度。
可选的,所述第二分割模块,还用于:
利用关联后的所述非交叠前景团块预测各个非交叠前景团块对应的物体在交叠前景团块中的位置及区域,生成预测分割结果。
可选的,所述第一分割模块,用于:
利用光流聚类方法将所述交叠前景团块分为若干个子团块;
根据所述子团块的光流特性,以所述子团块的交界线作为分界线分割所述子团块,得到候选分割结果。
可选的,所述确定模块,用于:
计算所述候选分割结果与所述预测分割结果之间的距离;
按如下公式确定最终分割结果:
其中,D(Ψ,Ki)=1/(Ψ∩Ki),Ψ*表示最终分割结果,Ψ表示一种候选分割结果,Ki表示第i个预测分割结果,D(Ψ,Ki)表示第i个预测分割结果与所述候选分割结果之间的距离,(Ψ∩Ki)表示所述候选分割结果和所述第i个预测分割结果的各自对应的前景团块的交叠区域的大小。
本发明实施例提供的技术方案带来的有益效果是:
通过获取待处理的图像序列,对所述图像序列进行前景提取,得到初始的前景团块序列,利用前景团块包含的像素点的数量区分所述前景团块序列中的交叠前景团块和非交叠前景团块,对所述交叠前景团块进行第一次预分割,得到候选分割结果,利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果,计算所述候选分割结果与所述预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果,输出最终的前景团块序列;解决了现有技术中当不同的前景出现相互交叠和背景干扰时,前景难以分离、前景提取误差大的问题;达到了有效分割出现相互交叠的前景,精确提取图像序列中前景的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种前景提取方法的流程图;
图2是根据一示例性实施例示出的一种交叠前景团块和非交叠前景团块的的示意图;
图3是根据另一示例性实施例示出的一种前景提取方法的流程图;
图4是根据一示例性实施例示出的一种前景提取装置的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1,其示出了本发明一个实施例提供的前景提取方法的流程图。如图1所示,该前景提取方法可以包括以下步骤:
步骤101,获取待处理的图像序列。
步骤102,对图像序列进行前景提取,得到初始的前景团块序列。
前景团块序列包括按时间顺序排列的每帧图像中的前景团块。
可选的,利用GMM(Gaussian Mixture Model,高斯混合模型)算法提取图像序列中的前景,并利用形态学操作中的膨胀和腐蚀消除不连通的小噪声点,得到初始的前景团块序列。
步骤103,利用前景团块包含的像素点的数量区分初始的前景团块序列中的交叠前景团块和非交叠前景团块。
交叠前景团块是指至少两个不同的物体的前景团块产生重叠后得到的前景团块。
非交叠前景团块是指一个物体的前景团块。
由于交叠前景团块的面积大于非交叠前景团块的面积,前景团块的面积可以用前景团块包含的像素点的数量表示,因此可以利用前景团块包含的像素点区分前景团块序列中的交叠前景团块和非交叠前景团块。
如图2所示,第t-2帧、第t-1帧、第t+2帧、第t+3帧中的椭圆形前景团块和长方形前景团块为非交叠前景团块,第t帧和第t+1帧中黑色区域为交叠前景团块。
初始的前景团块序列在区分后包括交叠前景团块序列和非交叠前景团块序列,交叠前景团块序列包括若干个交叠前景团块,非交叠前景团块序列包括若干个非交叠前景团块。
步骤104,对交叠前景团块进行第一次预分割,得到候选分割结果。
可选的,候选分割结果有多个。
步骤105,利用非交叠前景团块对交叠前景团块进行第二次预分割,得到预测分割结果。
由于交叠前景团块序列中物体之间的遮挡关系不确认,利用非交叠前景团块对交叠前景团块进行第二次与分割,得到的预测分割结果不唯一。
步骤106,计算候选分割结果与预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果。
计算每个候选分割结果与各个预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果。
步骤107,输出最终的前景团块序列。
最终的前景团块序列包括最终分割结果和非交叠前景团块。
综上所述,本发明实施例提供的前景提取方法,通过获取待处理的图像序列,对所述图像序列进行前景提取,得到初始的前景团块序列,利用前景团块包含的像素点的数量区分所述前景团块序列中的交叠前景团块和非交叠前景团块,对所述交叠前景团块进行第一次预分割,得到候选分割结果,利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果,计算所述候选分割结果与所述预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果,输出最终的前景团块序列;解决了现有技术中当不同的前景出现相互交叠和背景干扰时,前景难以分离、前景提取误差大的问题;达到了有效分割出现相互交叠的前景,精确提取图像序列中前景的效果。
需要说明的是,本发明实施例中所指的物体为运动的物体,而不是静止的物体。
请参考图3,其示出了本发明另一个实施例提供的前景提取方法的流程图。如图3所示,该前景提取方法可以包括以下步骤:
步骤301,获取待处理的图像序列。
步骤302,对图像序列进行前景提取,得到初始的前景团块序列。
前景团块序列包括按时间顺序排列的每帧图像中的前景团块。
步骤303,利用前景团块包含的像素点的数量区分初始的前景团块序列中的交叠前景团块和非交叠前景团块。
具体地,该步骤可由如下几个步骤实现:
检测前景团块的面积是否满足
其中,R表示一个前景团块序列,Bt表示前景团块,S(Bt)表示前景团块包含的像素点的数量,表示前景团块序列包含的像素点数量的中值,w为比例系数。
可选的,w通过实验进行测定。
若前景团块的面积满足则确认前景团块为交叠前景团块。
若前景团块的面积不满足则确认前景团块为非交叠前景团块。
步骤304,对交叠前景团块进行第一次预分割,得到候选分割结果。
具体地,该步骤可由如下步骤实现:
一、利用光流聚类方法将交叠前景团块分为若干个子团块。
二、根据子团块的光流特性,以子团块的交界线作为分界线分割子团块,得到候选分割结果。
以交叠前景团块中有两个物体为例进行说明,先将交叠前景团块通过光流、聚类方法分为若干个子团块,再根据子团块的光流特性,在每次分割时都将某连个子团块的交界线作为分割线,将所有的子团块分割为两个部分,每个部分表示一个物体,对子团块的分割结果即为候选分割结果。
可选的,候选分割结果的数量大于等于一。
步骤305,利用前景团块相似性对初始的前景团块序列中的非交叠前景团块进行关联。
在前景提取时,有可能会将属于同一个物体的前景团块作为不同物体对应的非交叠前景团块,因此还需要对非交叠前景团块进行关联。
针对相邻的帧中的同一个物体,该物体的前景团块具有两个特点:1、如果将该物体在相邻的帧中的两个前景团块放在同一帧中,两个前景团块会有很大一部分重叠;2、两个前景团块的轮廓比较相似。
当相邻的帧中的两个前景团块满足上述两个特点时,可以认为这两个前景团块表示的是同一个物体,从而将这两个前景团块关联。
具体地,该步骤可通过如下几个步骤实现:
检测图像序列中第t帧图像中的第i个前景团块和第t-1帧图像中的第j个前景团块是否满足
若第i个前景团块和第j个前景团块是否满足则将第i个前景团块与第j个前景团块关联。
其中,表示第t帧图像中第i个前景团块包含的像素点的数量,表示第j个前景团块包含的像素点的数量,表示第t帧图像中第i个前景团块的HOG(Histogram of Oriented Gradient,方向梯度直方图)特征,表示第j个前景团块的HOG特征,表示第i个前景团块与第j个前景团块之间的相似度。
HOG特征用于描述图像中物体的轮廓特征。
需要说明的是,步骤305中的前景团块都为非交叠前景团块。
需要说明的是,步骤304和步骤305可以同时执行,或者步骤305在步骤304之前执行。
步骤306,利用关联后的非交叠前景团块对交叠前景团块进行第二次预分割,得到预测分割结果。
具体地,利用关联后的非交叠前景团块预测各个非交叠前景团块对应的物体在交叠前景团块中的位置及区域,也即利用已知的非交叠前景团块分割交叠前景团块,生成预测分割结果。预测分割结果中的前景团块只对应一个物体。
可选的,预测分割结果不唯一。
步骤307,计算候选分割结果与预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果。
具体地,该步骤可由如下几个步骤实现:
一、计算候选分割结果与预测分割结果之间的距离。
计算每个候选分割结果与各个预测分割结果之间的距离。
二、按如下公式确定最终分割结果:
其中,D(Ψ,Ki)=1/(Ψ∩Ki),Ψ*表示最终分割结果,Ψ表示一种候选分割结果,Ki表示第i个预测分割结果,D(Ψ,Ki)表示第i个预测分割结果与候选分割结果之间的距离,(Ψ∩Ki)表示候选分割结果和第i个预测分割结果的各自对应的前景团块的交叠区域的大小。
最终分割结果中的前景团块都只对应一个物体。
步骤308,输出最终的前景团块序列。
最终的前景团块序列包括最终分割结果和非交叠前景团块。
综上所述,本发明实施例提供的前景提取方法,通过获取待处理的图像序列,对所述图像序列进行前景提取,得到初始的前景团块序列,利用前景团块包含的像素点的数量区分所述前景团块序列中的交叠前景团块和非交叠前景团块,对所述交叠前景团块进行第一次预分割,得到候选分割结果,利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果,计算所述候选分割结果与所述预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果,输出最终的前景团块序列;解决了现有技术中当不同的前景出现相互交叠和背景干扰时,前景难以分离、前景提取误差大的问题;达到了有效分割出现相互交叠的前景,精确提取图像序列中前景的效果。
在一个示例性的例子中,利用如图1或图3所示的前景提取方法对不同的图像序列进行前景提取。
该例子中包括两个评价指标,分别是检测成功率和中心位置误差,检测成功率是指提取正确的物体检测框的个数与检测框总数之比,中心位置误差是指提取出的前景框中心点与其对应的真值中心点之间的像素距离;由于中心位置误差与分辨率有关,本例子中将图像序列的每帧的分辨率归化为800*600。
本例子还采用TLD(training-learning-detection)算法、CT(compressivetracking)算法、KCF(Kernelized Correlation Filter tracking)算法、BA(直接根据相邻的帧之间的前景团块的交叠面积进行前景关联,生成前景序列)算法与本发明实施例提供的前景提取方法进行对比,结果如表一所示:
表一
由表一可知,本发明实施例提供的前景提取方法,在提取前景时中心位置误差低于其他几种算法,检测成功率高于其他几种算法,本发明实施例提供的前景提取算法能够更精确地提取图像序列中前景。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
请参照图4,其示出了本发明一个实施例提供的前景提取装置的结构方框图。该前景提取装置可以通过软件、硬件或者两者的结合实现成为上述可提供前景提取方法的终端的全部或者一部分。该装置包括:
获取模块410,用于获取待处理的图像序列;
初始前景提取模块420,用于对图像序列进行前景提取,得到初始的前景团块序列,前景团块序列包括按时间顺序排列的每帧图像中的前景团块;
区分模块430,用于利用前景团块包含的像素点的数量区分初始的前景团块序列中的交叠前景团块和非交叠前景团块;
第一分割模块440,用于对交叠前景团块进行第一次预分割,得到候选分割结果;
第二分割模块450,用于利用非交叠前景团块对交叠前景团块进行第二次预分割,得到预测分割结果;
确定模块460,用于计算候选分割结果与预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果;
输出模块470,用于输出最终的前景团块序列,最终的前景团块序列包括最终分割结果和非交叠前景团块。
综上所述,本发明实施例提供的前景提取装置,通过获取待处理的图像序列,对所述图像序列进行前景提取,得到初始的前景团块序列,利用前景团块包含的像素点的数量区分所述前景团块序列中的交叠前景团块和非交叠前景团块,对所述交叠前景团块进行第一次预分割,得到候选分割结果,利用所述非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果,计算所述候选分割结果与所述预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果,输出最终的前景团块序列;解决了现有技术中当不同的前景出现相互交叠和背景干扰时,前景难以分离、前景提取误差大的问题;达到了有效分割出现相互交叠的前景,精确提取图像序列中前景的效果。
需要说明的是:上述实施例提供的前景提取装置在执行前景提取方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的前景提取装置与前景提取方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种前景提取方法,其特征在于,所述方法包括:
获取待处理的图像序列;
对所述图像序列进行前景提取,得到初始的前景团块序列,前景团块序列包括按时间顺序排列的每帧图像中的前景团块;
利用前景团块包含的像素点的数量区分所述初始的前景团块序列中的交叠前景团块和非交叠前景团块;
对所述交叠前景团块进行第一次预分割,得到候选分割结果;
利用前景团块相似性对所述初始的前景团块序列中的非交叠前景团块进行关联;利用关联后的非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果;
计算所述候选分割结果与所述预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果;
输出最终的前景团块序列,所述最终的前景团块序列包括最终分割结果和非交叠前景团块。
2.根据权利要求1所述的方法,其特征在于,所述利用前景团块包含的像素点的数量区分所述初始的前景团块序列中的交叠前景团块和非交叠前景团块,包括:
检测所述前景团块的面积是否满足
若所述前景团块的面积满足则确认所述前景团块为交叠前景团块;
若所述前景团块的面积不满足则确认所述前景团块为非交叠前景团块;
其中,R表示一个前景团块序列,Bt表示前景团块,S(Bt)表示前景团块包含的像素点的数量,表示前景团块序列包含的像素点数量的中值,w为比例系数。
3.根据权利要求1所述的方法,其特征在于,所述利用前景团块相似性对所述初始的前景团块序列中的非交叠前景团块进行关联,包括:
检测所述图像序列中第t帧图像中的第i个前景团块和第t-1帧图像中的第j个前景团块是否满足
若所述第i个前景团块和所述第j个前景团块满足则将所述第i个前景团块与所述第j个前景团块关联;
其中,表示所述第t帧图像中第i个前景团块包含的像素点的数量,表示所述第j个前景团块包含的像素点的数量,表示所述第t帧图像中第i个前景团块的方向梯度直方图HOG特征,表示所述第j个前景团块的HOG特征,表示所述第i个前景团块与所述第j个前景团块之间的相似度。
4.根据权利要求1所述的方法,其特征在于,所述利用关联后的非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果,包括:
利用关联后的所述非交叠前景团块预测各个非交叠前景团块对应的物体在交叠前景团块中的位置及区域,生成预测分割结果。
5.根据权利要求1所述的方法,其特征在于,所述对所述交叠前景团块进行第一次预分割,得到候选分割结果,包括:
利用光流聚类方法将所述交叠前景团块分为若干个子团块;
根据所述子团块的光流特性,以所述子团块的交界线作为分界线分割所述子团块,得到候选分割结果。
6.根据权利要求1所述的方法,其特征在于,所述计算所述候选分割结果与所述预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果,包括:
计算所述候选分割结果与所述预测分割结果之间的距离;
按如下公式确定最终分割结果:
其中,D(Ψ,Ki)=1/(Ψ∩Ki),Ψ*表示最终分割结果,Ψ表示一种候选分割结果,Ki表示第i个预测分割结果,D(Ψ,Ki)表示第i个预测分割结果与所述候选分割结果之间的距离,(Ψ∩Ki)表示所述候选分割结果和所述第i个预测分割结果的各自对应的前景团块的交叠区域的大小。
7.一种前景提取装置,其特征在于,所述装置包括:
获取模块,用于获取待处理的图像序列;
初始前景提取模块,用于对所述图像序列进行前景提取,得到初始的前景团块序列,前景团块序列包括按时间顺序排列的每帧图像中的前景团块;
区分模块,用于利用前景团块包含的像素点的数量区分所述初始的前景团块序列中的交叠前景团块和非交叠前景团块;
第一分割模块,用于对所述交叠前景团块进行第一次预分割,得到候选分割结果;
第二分割模块,用于利用前景团块相似性对所述初始的前景团块序列中的非交叠前景团块进行关联;利用关联后的非交叠前景团块对所述交叠前景团块进行第二次预分割,得到预测分割结果;
确定模块,用于计算所述候选分割结果与所述预测分割结果之间的距离,将最小的距离对应的候选分割结果作为最终分割结果;
输出模块,用于输出最终的前景团块序列,所述最终的前景团块序列包括最终分割结果和非交叠前景团块。
CN201710154462.2A 2017-03-15 2017-03-15 前景提取方法及装置 Active CN106991684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710154462.2A CN106991684B (zh) 2017-03-15 2017-03-15 前景提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710154462.2A CN106991684B (zh) 2017-03-15 2017-03-15 前景提取方法及装置

Publications (2)

Publication Number Publication Date
CN106991684A CN106991684A (zh) 2017-07-28
CN106991684B true CN106991684B (zh) 2019-09-17

Family

ID=59412058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710154462.2A Active CN106991684B (zh) 2017-03-15 2017-03-15 前景提取方法及装置

Country Status (1)

Country Link
CN (1) CN106991684B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965743A (zh) * 2018-08-21 2018-12-07 百度在线网络技术(北京)有限公司 基于前后景分割的视频合成方法、装置及可读存储介质
TWI780409B (zh) * 2020-02-19 2022-10-11 中華電信股份有限公司 訓練物件偵測模型的方法及系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101142593A (zh) * 2005-03-17 2008-03-12 英国电讯有限公司 跟踪视频序列中的目标的方法
CN101833771A (zh) * 2010-06-03 2010-09-15 北京智安邦科技有限公司 解决多目标交汇遮挡的跟踪装置及方法
CN102169583A (zh) * 2011-05-13 2011-08-31 北方工业大学 基于车窗定位的车辆遮挡检测与分割方法
CN103632376A (zh) * 2013-12-12 2014-03-12 江苏大学 一种两级框架的车辆部分遮挡消除方法
CN103985142A (zh) * 2014-05-30 2014-08-13 上海交通大学 联合数据关联的Mean Shift多目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101142593A (zh) * 2005-03-17 2008-03-12 英国电讯有限公司 跟踪视频序列中的目标的方法
CN101833771A (zh) * 2010-06-03 2010-09-15 北京智安邦科技有限公司 解决多目标交汇遮挡的跟踪装置及方法
CN102169583A (zh) * 2011-05-13 2011-08-31 北方工业大学 基于车窗定位的车辆遮挡检测与分割方法
CN103632376A (zh) * 2013-12-12 2014-03-12 江苏大学 一种两级框架的车辆部分遮挡消除方法
CN103985142A (zh) * 2014-05-30 2014-08-13 上海交通大学 联合数据关联的Mean Shift多目标跟踪方法

Also Published As

Publication number Publication date
CN106991684A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN107424171B (zh) 一种基于分块的抗遮挡目标跟踪方法
CN109242884B (zh) 基于JCFNet网络的遥感视频目标跟踪方法
CN108647649B (zh) 一种视频中异常行为的检测方法
Yuan et al. Robust lane detection for complicated road environment based on normal map
CN105940430B (zh) 人员计数方法及其装置
Chougule et al. Reliable multilane detection and classification by utilizing cnn as a regression network
CN111027481B (zh) 基于人体关键点检测的行为分析方法及装置
CN111178161B (zh) 一种基于fcos的车辆追踪方法及系统
JP2017531883A (ja) 画像の主要被写体を抽出する方法とシステム
CN107610151B (zh) 行人轨迹线处理方法/系统、计算机可读存储介质及设备
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN110298297A (zh) 火焰识别方法和装置
CN106447701A (zh) 用于图像相似性确定、对象检测和跟踪的方法和装置
CN102799646B (zh) 一种面向多视点视频的语义对象分割方法
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN109117746A (zh) 手部检测方法及机器可读存储介质
CN111353385B (zh) 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN112862845A (zh) 一种基于置信度评估的车道线重构方法及装置
Ram et al. Vehicle detection in aerial images using multiscale structure enhancement and symmetry
WO2023246921A1 (zh) 目标属性识别方法、模型训练方法和装置
CN106991684B (zh) 前景提取方法及装置
CN116129328A (zh) 遗留物检测方法、装置、设备以及存储介质
CN112164093A (zh) 一种基于边缘特征和相关滤波的人物自动跟踪方法
CN110378929A (zh) 一种商业场所跨摄像头行人轨迹跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant