CN106407978A - 一种结合似物度的无约束视频中显著物体检测方法 - Google Patents
一种结合似物度的无约束视频中显著物体检测方法 Download PDFInfo
- Publication number
- CN106407978A CN106407978A CN201610849174.4A CN201610849174A CN106407978A CN 106407978 A CN106407978 A CN 106407978A CN 201610849174 A CN201610849174 A CN 201610849174A CN 106407978 A CN106407978 A CN 106407978A
- Authority
- CN
- China
- Prior art keywords
- video
- salient
- frame
- representing
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000013507 mapping Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000007670 refining Methods 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种结合似物度的无约束视频中显著物体检测方法,具体步骤如下:(1)输入原始视频序列,对其中的第帧记为;(2)对于视频帧,利用视频显著性模型、似物性的对象检测算法,得到初始的显著对象检测的矩形区域;(3)对于视频帧,通过迭代更新似物度概率图和对象概率图,不断调整显著对象检测的矩形区域大小,得到单帧的显著对象检测结果;(4)利用稠密光流法算法,得到视频帧的像素点的运动矢量场,计算相邻帧显著对象检测的矩形区域的重叠度,得到最终的显著对象检测结果。本发明通过迭代更新似物度概率图和对象概率图,增强空域显著对象检测结果的准确性;利用序列级的细化,增强了时间的一致性,能够更准确、完整地检测视频中的显著对象。
Description
技术领域
本发明涉及计算机视觉,视频处理技术领域,具体地说是涉及一种结合似物度的无约束视频中显著物体检测方法。
背景技术
人类的视觉系统能够从复杂的环境中快速准确地定位人眼感兴趣的区域,并做出相应的反应,并且根据心理学以及感知科学的研究,在大多数情况下,人眼在观察一幅图像时,不会在整个图像上平均分配注意力,而是会将注意力集中在图像中的某个区域上,该区域称之为显著对象。显著对象检测方法利用与图像关注度相对应的显著性图像将图像中的显著对象准确快速的检测出来。检测的结果表现为在图像中标记出一块矩形区域,该矩形区域尽可能多的包含显著对象而尽可能少的包含背景。显著性检测广泛用于基于内容的显著对象识别、图像/视频自适应、图像/视频压缩、图像/视频检索等诸多应用。近年来,已经提出了多种基于图像显著性的对象检测算法,如Shi等人在2012年4月出版的IEEE SIGNALPROCESSING LETTERS期刊上发表的“基于区域间差异最大化的显著对象检测”方法,通过迭代地压缩ESS(Efficient Subwindow Search)的搜索空间,能够快速地找到显著性差异最大的区域,方法的具体步骤如下:
(1)、输入原始图像,利用已有的图像显著性模型得到原始图像的显著性图;
(2)、计算显著性图上每个像素点到显著性图的重心的欧式距离,得到修改后的显著性图;
(3)、通过迭代更新显著性图,找到与外部区域差异最大的目标矩形,该目标矩形内部区域的图像内容为检测出的显著对象。
Li等人在2015年12月出版的计算机应用期刊上发表的“基于视觉显著性图与似物性的对象检测”方法,通过利用显著性图、似物性的对象检测算法和边缘概率密度等信息检测出显著对象区域,方法的具体步骤如下:
(1)、在图像上提取大量具有较高似物性度量的矩形窗口,并估算出对象可能出现的位置,将窗口级的似物性度量转换到像素级的似物性度量;
(2)、把原始显著性图与像素级的似物性图进行融合,生成加权显著性图,分别二值化得到原始显著性图和加权显著性图,利用凸包检测得到最大查找窗口区域与种子窗口区域;
(3)、结合边缘概率密度搜索出最优的物体窗口。
Luo等人在2016年2月出版的Journal of Visual Communication and ImageRepresentation期刊上发表的“寻找时空显著性路径的视频显著对象检测”方法,通过利用动态规划算法来寻找最优的显著性路径,得到显著对象检测结果,方法的具体步骤如下:
(1)、输入原始视频序列,利用已有的图像显著性模型生成空域显著性图,再利用稠密光流法算法,通过运动矢量场来移除全局运动,得到时域显著性图;
(2)、根据时域显著性图和空域显著性图的相互一致性特征,自适合地将两者进行线性融合,得到最终的时空显著性图。
(3)、定义矩形框的显著性密度,利用已有图像的显著对象检测方法,得到单帧的显著对象检测结果;
(4)、视频序列的时间一致性,利用动态规划算法来寻找最优的显著性路径,得到最终的显著对象检测结果。
但是上述方法存在的不足是,三种方法模型对运动复杂的视频序列不具有鲁棒性,依赖于显著性图的质量。综上所述,现有的显著对象检测方法不能准确、完整地提取无约束视频序列中的显著对象,这影响了显著对象检测的广泛应用。
发明内容
本发明的目的在于针对已有技术中存在的缺陷,提出一种结合似物度的无约束视频中显著物体检测方法,该方法能够较为准确、完整地检测出无约束视频序列中的显著对象。
为了达到上述目的,本发明采用的技术方案如下:
一种结合似物度的无约束视频中显著物体检测方法,具体步骤如下:
(1)、输入原始视频序列F={F1,F2,...,FM},M是视频的帧数,对其中的第t帧记为Ft;
(2)、对于视频帧Ft,利用视频显著性模型、似物性的对象检测算法,得到初始的显著对象检测的矩形区域;
(3)、对于视频帧Ft,通过迭代更新似物度概率图和对象概率图,不断调整显著对象检测的矩形区域大小,得到单帧的显著对象检测结果;
(4)、利用稠密光流法算法,得到视频帧Ft的像素点的运动矢量场,计算相邻帧显著对象检测的矩形区域的重叠度,得到最终的显著对象检测结果。
上述步骤(2)中对于视频帧Ft,利用视频显著性模型、似物性的对象检测算法,得到初始的显著对象检测的矩形区域,具体步骤如下:
(2-1)、对于视频帧Ft,利用已有视频显著性模型,得到时空显著性图St(p),p表示图像中每个像素;
(2-2)、对于视频帧Ft,利用似物性的对象检测算法生成N个候选矩形窗口相应地,每一窗口包含对象的概率表示为设定N=1000,计算似物性概率图,其计算式为:
其中,Ot(p)表示第t帧图像中每个像素p的似物性分数;
(2-3)、对于视频帧Ft,计算对象概率图,其计算式为:
OPt(p)=St(p)·Ot(p) (2)
其中,OPt(p)表示第t帧图像中每个像素p的对象概率值;
(2-4)、对于视频帧Ft,利用自适应的最大类间方差法(OSTU),分别对时空显著性图St(p)、似物性概率图Ot(p)和对象概率图OPt(p)进行二值化,分别得到最小外接矩形计算初始的显著对象检测的矩形区域,其计算式为:
其中,表示第t帧初始的显著对象检测的矩形区域。
上述步骤(3)中对于视频帧Ft,通过迭代更新似物度概率图和对象概率图,不断调整显著对象检测的矩形区域大小,得到单帧的显著对象检测结果,具体步骤如下:
(3-1)、设置迭代的初始值,其具体步骤如下:
(3-1-1)、设i表示迭代次数,其中,i为0,1,2,3,……;
(3-1-2)、设表示N个候选矩形窗口Wt与的重叠度大于等于0.5的候选矩形窗口的集合,初始状态其中Wt表示步骤(2-2)中初始的显著对象检测的矩形区域;
(3-1-3)、设表示在第i次迭代中更新的似物性概率图,初始状态其中Ot表示步骤(2-2)中得到的似物性概率图;
(3-1-4)、设表示在第i次迭代中更新的对象概率图,初始状态其中OPt表示步骤(2-3)中得到的对象概率图;
(3-1-5)、设表示第i次迭代中更新的似物性概率图二值化得到的最小外接矩形区域,初始状态其中表示步骤(2-4)中得到的似物性概率图二值化得到的最小外接矩形区域;
(3-1-6)、设表示第i次迭代中更新的对象概率图二值化得到的最小外接矩形区域,初始状态其中表示步骤(2-4)中得到的对象概率图二值化得到的最小外接矩形区域;
(3-1-7)、设表示在第i次迭代中获得的显著对象检测的矩形区域,初始状态时其中表示步骤(2-4)中得到得初始的显著对象检测的矩形区域;
(3-2)、通过迭代更新似物度概率图和对象概率图,获得单帧的显著对象检测结果,其具体步骤如下:
(3-2-1)、第i次迭代中,计算更新后的似物度概率图,其计算式为:
其中,表示第i次迭代中似物性的对象检测算法生成N个候选矩形窗口Wt与的重叠度大于等于0.5的候选矩形窗口的集合,其计算式为:
其中,rt j表示第t帧第j个候选矩形窗口与的重叠度,其计算式为:
其中,|wj|表示矩形区域内像素的数目;
(3-2-2)、第i次迭代中,计算更新后的对象概率图,其计算式为:
(3-2-3)、利用自适应的最大类间方差法(OSTU),分别对似物性概率图和对象概率图进行二值化,分别得到最小外接矩形计算更新后的显著对象检测的矩形区域,其计算式为:
(3-3)、如果在第i次迭代中获得的矩形区域与第i-1次迭代中获得的矩形区域完全重合,则为获得的目标矩形Wt *;否则继续步骤(3-2)通过迭代更新似物度概率图和对象概率图,获得目标矩形,该目标矩形内部区域的图像内容为检测出的显著对象。
上述步骤(4)中利用稠密光流法算法,得到视频帧Ft的像素点的运动矢量场,计算相邻帧显著对象的矩形区域的重叠度,得到最终的显著对象检测结果,具体步骤如下:
(4-1)、对于视频帧Ft,计算(3-3)中得到的矩形区域Wt *的对象比例,其计算式为:
ORt=|Wt *|/(w·h) (9)
其中,ORt表示第t帧的对象比例大小,w和h分别表示视频序列的宽和高,计算平均对象比例,其计算式为:
其中,MOR表示该视频序列的平均对象比例大小,先排除对象比例过大的视频帧,其计算式为:
FOS={Ft|Ft∈F,ORt>=1.2*MOR} (11)
其中,FOS表示对象比例过大的视频序列集合,补集在CFFOS里重新计算平均对象比例为MOR',再排除对象比例过小的视频帧,其计算式为:
FUS={Ft|Ft∈CFFOS,ORt<=0.8*MOR'} (12)
其中,FUS表示对象比例过小的视频序列集合;
(4-2)、利用稠密光流法算法,计算相邻帧显著对象的矩形区域的重叠度,其计算式为:
其中,表示第t+1帧显著对象的矩形区域与第t帧显著对象的矩形区域的重叠度,表示第t+1帧的显著对象的矩形区域映射到第t帧的最小外接矩形区域,由(4-2)和(4-3)得到对象比例适中的视频序列为设定相邻帧的映射跨度为两帧,在F'里计算第t帧的显著对象的矩形区域与相邻帧的平均重叠度,其计算式为:
排除重叠度过小的视频帧,其计算式为:
FSO={Ft|Ft∈F',kmeanOverlap(Wt *)<=0.3} (15)
其中,FSO表示重叠度过小的视频序列集合,得到重叠度适中的视频序列集合
(4-3)、通过视频序列集合F”来恢复视频序列集合FOS,FUS,FSO,利用稠密光流法算法映射得到所有要恢复的视频帧,设置相邻帧的映射跨度为两帧,取所有映射到该帧的最小矩形区域的交集区域作为该帧的显著对象检测结果。
本发明结合似物度的无约束视频中显著物体检测方法与现有的技术相比,具有如下优点:
本发明方法通过迭代更新似物度概率图和对象概率图,增强空域显著对象检测结果的准确性;利用序列级的细化,增强了时间的一致性,能够更准确、完整地检测视频中的显著对象。
附图说明
图1是本发明的结合似物度的无约束视频中显著物体检测方法的流程图。
图2是本发明步骤(2)利用视频显著性模型、似物性的对象检测算法,得到初始的显著对象检测的矩形区域。
图3是本发明步骤(3)通过迭代更新似物度概率图和对象概率图,不断调整显著对象检测矩形区域的大小,得到单帧的显著对象检测结果。
图4是本发明步骤(4)利用稠密光流法算法,得到视频帧Ft的像素点的运动矢量场,计算相邻帧显著对象检测矩形区域的重叠度,得到最终的显著对象检测结果。
具体实施方式
下面结合说明书附图对本发明的实施例作进一步详细说明。
本发明进行的仿真实验是在CPU为3.4GHz、内存为8G的PC测试平台上编程实现。
如图1所示,本发明结合似物度的无约束视频中显著对象检测方法,其具体步骤如下:
(1)、输入原始视频序列F={F1,F2,...,FM},M是视频的帧数,对其中的第t帧记为Ft;
(2)、对于视频帧Ft,利用视频显著性模型、似物性的对象检测算法,得到初始的显著对象检测的矩形区域;
(3)、对于视频帧Ft,通过迭代更新似物度概率图和对象概率图,不断调整显著对象检测的矩形区域大小,得到单帧的显著对象检测结果;
(4)、利用稠密光流法算法,得到视频帧Ft的像素点的运动矢量场,计算相邻帧显著对象检测的矩形区域的重叠度,得到最终的显著对象检测结果。
上述步骤(2)中对于视频帧Ft,利用视频显著性模型、似物性的对象检测算法,得到初始的显著对象检测矩形区域,具体步骤如下:
(2-1)、对于视频帧Ft,利用已有视频显著性模型,得到时空显著性图St(p),p表示图像中每个像素,如图2(b)所示;
(2-2)、对于视频帧Ft,利用似物性的对象检测算法生成N个候选矩形窗口相应地,每一窗口包含对象的概率表示为设定N=1000,计算似物性概率图,其计算式为:
其中,Ot(p)表示第t帧图像中每个像素p的似物性分数,如图2(c)所示;
(2-3)、对于视频帧Ft,计算对象概率图,其计算式为:
OPt(p)=St(p)·Ot(p) (18)
其中,OPt(p)表示第t帧图像中每个像素p的概率值,如图2(d)所示;
(2-4)、对于视频帧Ft,利用自适应的最大类间方差法(OSTU),分别对时空显著性图St(p)、似物性概率图Ot(p)和对象概率图OPt(p)进行二值化,分别得到最小外接矩形分别对应图2(e)、2(f)、2(g)所示,计算初始的显著对象检测的矩形区域,其计算式为:
其中,表示第t帧初始的显著对象检测的矩形区域,如图2(h)所示。
上述步骤(3)中对于视频帧Ft,通过迭代更新似物度概率图和对象概率图,不断调整显著对象检测矩形区域的大小,得到空域的对象检测结果,具体步骤如下:
(3-1)、设置迭代的初始值,其具体步骤如下:
(3-1-1)、设i表示迭代次数,其中,i为0,1,2,3,……;
(3-1-2)、设表示N个候选矩形窗口Wt与的重叠度大于等于0.5的候选矩形窗口的集合,初始状态其中Wt表示步骤(2-2)中初始的显著对象检测的矩形区域;
(3-1-3)、设表示在第i次迭代中更新的似物性概率图,初始状态其中Ot表示步骤(2-2)中得到的似物性概率图;
(3-1-4)、设OPt i表示在第i次迭代中更新的对象概率图,初始状态OPt 0=OPt,其中OPt表示步骤(2-3)中得到的对象概率图;
(3-1-5)、设表示在第i次迭代中更新的似物性概率图二值化得到的最小外接矩形区域,初始状态其中表示步骤(2-4)中得到的似物性概率图二值化得到的最小外接矩形区域;
(3-1-6)、设表示在第i次迭代中更新的对象概率图二值化得到的最小外接矩形区域,初始状态其中表示步骤(2-4)中得到的对象概率图二值化得到的最小外接矩形区域;
(3-1-7)、设表示在第i次迭代中获得的显著对象检测的矩形区域,初始状态时其中表示步骤(2-4)中得到得初始的显著对象检测的矩形区域;
(3-2)、通过迭代更新似物度概率图和对象概率图,获得矩形区域,其具体步骤如下:
(3-2-1)、第i次迭代中,计算更新后的似物度概率图,其计算式为:
其中,表示第i次迭代中似物性的对象检测算法生成N个候选矩形窗口Wt与的重叠度大于等于0.5的候选矩形窗口的集合,其计算式为:
其中,rt j表示第t帧第j个候选矩形窗口与的重叠度,其计算式为:
其中,|wj|表示矩形区域内像素的数目;
(3-2-2)、第i次迭代中,计算更新后的对象概率图,其计算式为:
(3-2-3)、利用自适应的最大类间方差法(OSTU),分别对似物性概率图和对象概率图进行二值化,分别得到最小外接矩形计算更新后的显著对象检测的矩形区域,其计算式为:
(3-3)、如果在第i次迭代中获得的矩形区域与第i-1次迭代中获得的矩形区域完全重合,则为获得的目标矩形Wt *;否则继续步骤(3-2)通过迭代更新似物度概率图和对象概率图,获得目标矩形,该目标矩形内部区域的图像内容为检测出的显著对象。如图3所示,三次迭代后终止,每一行依次表示更新的似物度概率图,对象概率图和得到的显著对象检测矩形区域。
上述步骤(4)中利用稠密光流法算法,得到视频帧Ft的像素点的运动矢量场,计算相邻帧显著对象的矩形区域的重叠度,得到最终的显著对象检测结果,具体步骤如下:
(4-1)、对于视频帧Ft,计算(3-5)中得到的矩形区域Wt *的对象比例,其计算式为:
ORt=|Wt *|/(w·h) (25)
其中,ORt表示第t帧的对象比例大小,w和h分别表示视频序列的宽和高,计算平均对象比例,其计算式为:
其中,MOR表示该视频序列的平均对象比例大小,先排除对象比例过大的视频帧,其计算式为:
FOS={Ft|Ft∈F,ORt>=1.2*MOR} (27)
其中,FOS表示对象比例过大的视频序列集合,补集在CFFOS里重新计算平均对象比例为MOR',再排除对象比例过小的视频帧,其计算式为:
FUS={Ft|Ft∈CFFOS,ORt<=0.8*MOR'} (28)
其中,FUS表示对象比例过小的视频序列集合;
(4-2)、利用稠密光流法算法,计算相邻帧显著对象的矩形区域的重叠度,其计算式为:
其中,表示第t+1帧显著对象的矩形区域与第t帧显著对象的矩形区域的重叠度,表示第t+1帧的显著对象的矩形区域映射到第t帧的最小外接矩形区域,由(4-2)和(4-3)得到对象比例适中的视频序列为设定相邻帧的映射跨度为两帧,在F'里计算第t帧的显著对象的矩形区域与相邻帧的平均重叠度,其计算式为:
排除重叠度过小的视频帧,其计算式为:
FSO={Ft|Ft∈F',kmeanOverlap(Wt *)<=0.3} (31)
其中,FSO表示重叠度过小的视频序列集合,得到重叠度适中的视频序列集合
(4-3)、通过视频序列集合F”来恢复视频序列集合FOS,FUS,FSO,利用稠密光流法算法映射得到所有要恢复的视频帧,设置相邻帧的映射跨度为两帧,取所有映射到该帧的最小矩形区域的交集区域作为该帧的显著对象检测结果。如图4所示,图4(a)-4(e)依次是视频序列的第2、3、4、5、6帧,图4(f)是利用时间的一致性来改善图4(c)的显著对象的检测结果。
Claims (4)
1.一种结合似物度的无约束视频中显著物体检测方法,其特征在于,具体步骤如下:
(1)、输入原始视频序列F={F1,F2,...,FM},M是视频的帧数,对其中的第t帧记为Ft;
(2)、对于视频帧Ft,利用视频显著性模型、似物性的对象检测算法,得到初始的显著对象检测的矩形区域;
(3)、对于视频帧Ft,通过迭代更新似物度概率图和对象概率图,不断调整显著对象检测的矩形区域大小,得到单帧的显著对象检测结果;
(4)、利用稠密光流法算法,得到视频帧Ft的像素点的运动矢量场,计算相邻帧显著对象检测的矩形区域的重叠度,得到最终的显著对象检测结果。
2.根据权利要求1所述的结合似物度的无约束视频中显著物体检测方法,其特征在于,上述步骤(2)中对于视频帧Ft,利用视频显著性模型、似物性的对象检测算法,得到初始的显著对象检测的矩形区域,具体步骤如下:
(2-1)、对于视频帧Ft,利用已有视频显著性模型,得到时空显著性图St(p),p表示图像中每个像素;
(2-2)、对于视频帧Ft,利用似物性的对象检测算法生成N个候选矩形窗口相应地,每一窗口包含对象的概率表示为设定N=1000,计算似物性概率图,其计算式为:
其中,Ot(p)表示第t帧图像中每个像素p的似物性分数;
(2-3)、对于视频帧Ft,计算对象概率图,其计算式为:
OPt(p)=St(p)·Ot(p) (2)
其中,OPt(p)表示第t帧图像中每个像素p的对象概率值;
(2-4)、对于视频帧Ft,利用自适应的最大类间方差法(OSTU),分别对时空显著性图St(p)、似物性概率图Ot(p)和对象概率图OPt(p)进行二值化,分别得到最小外接矩形计算初始的显著对象检测的矩形区域,其计算式为:
其中,表示第t帧初始的显著对象检测的矩形区域。
3.根据权利要求1所述的结合似物度的无约束视频中显著物体检测方法,其特征在于,上述步骤(3)中对于视频帧Ft,通过迭代更新似物度概率图和对象概率图,不断调整显著对象检测的矩形区域大小,得到单帧的显著对象检测结果,具体步骤如下:
(3-1)、设置迭代的初始值,其具体步骤如下:
(3-1-1)、设i表示迭代次数,其中,i为0,1,2,3,……;
(3-1-2)、设表示N个候选矩形窗口Wt与的重叠度大于等于0.5的候选矩形窗口的集合,初始状态其中Wt表示步骤(2-2)中初始的显著对象检测的矩形区域;
(3-1-3)、设表示在第i次迭代中更新的似物性概率图,初始状态其中Ot表示步骤(2-2)中得到的似物性概率图;
(3-1-4)、设表示在第i次迭代中更新的对象概率图,初始状态其中OPt表示步骤(2-3)中得到的对象概率图;
(3-1-5)、设表示第i次迭代中更新的似物性概率图二值化得到的最小外接矩形区域,初始状态其中表示步骤(2-4)中得到的似物性概率图二值化得到的最小外接矩形区域;
(3-1-6)、设表示第i次迭代中更新的对象概率图二值化得到的最小外接矩形区域,初始状态其中表示步骤(2-4)中得到的对象概率图二值化得到的最小外接矩形区域;
(3-1-7)、设表示在第i次迭代中获得的显著对象检测的矩形区域,初始状态时其中表示步骤(2-4)中得到得初始的显著对象检测的矩形区域;
(3-2)、通过迭代更新似物度概率图和对象概率图,获得单帧的显著对象检测结果,其具体步骤如下:
(3-2-1)、第i次迭代中,计算更新后的似物度概率图,其计算式为:
其中,表示第i次迭代中似物性的对象检测算法生成N个候选矩形窗口Wt与的重叠度大于等于0.5的候选矩形窗口的集合,其计算式为:
其中,rt j表示第t帧第j个候选矩形窗口与的重叠度,其计算式为:
其中,|wj|表示矩形区域内像素的数目;
(3-2-2)、第i次迭代中,计算更新后的对象概率图,其计算式为:
(3-2-3)、利用自适应的最大类间方差法(OSTU),分别对似物性概率图和对象概率图进行二值化,分别得到最小外接矩形计算更新后的显著对象检测的矩形区域,其计算式为:
(3-3)、如果在第i次迭代中获得的矩形区域与第i-1次迭代中获得的矩形区域完全重合,则为获得的目标矩形Wt *;否则继续步骤(3-2)通过迭代更新似物度概率图和对象概率图,获得目标矩形,该目标矩形内部区域的图像内容为检测出的显著对象。
4.根据权利要求1所述的结合似物度的无约束视频中显著物体检测方法,其特征在于,上述步骤(4)中利用稠密光流法算法,得到视频帧Ft的像素点的运动矢量场,计算相邻帧显著对象的矩形区域的重叠度,得到最终的显著对象检测结果,具体步骤如下:
(4-1)、对于视频帧Ft,计算(3-3)中得到的矩形区域Wt *的对象比例,其计算式为:
ORt=|Wt *|/(w·h) (9)
其中,ORt表示第t帧的对象比例大小,W和H分别表示视频序列的宽和高,计算平均对象比例,其计算式为:
其中,MOR表示该视频序列的平均对象比例大小,先排除对象比例过大的视频帧,其计算式为:
FOS={Ft|Ft∈F,ORt>=1.2*MOR} (11)
其中,FOS表示对象比例过大的视频序列集合,补集在CFFOS里重新计算平均对象比例为MOR',再排除对象比例过小的视频帧,其计算式为:
FUS={Ft|Ft∈CFFOS,ORt<=0.8*MOR'} (12)
其中,FUS表示对象比例过小的视频序列集合;
(4-2)、利用稠密光流法算法,计算相邻帧显著对象的矩形区域的重叠度,其计算式为:
其中,表示第t+1帧显著对象的矩形区域与第t帧显著对象的矩形区域的重叠度,表示第t+1帧的显著对象的矩形区域映射到第t帧的最小外接矩形区域,由(4-2)和(4-3)得到对象比例适中的视频序列为设定相邻帧的映射跨度为两帧,在F'里计算第t帧的显著对象的矩形区域与相邻帧的平均重叠度,其计算式为:
排除重叠度过小的视频帧,其计算式为:
FSO={Ft|Ft∈F',kmeanOverlap(Wt *)<=0.3} (15)
其中,FSO表示重叠度过小的视频序列集合,得到重叠度适中的视频序列集合
(4-3)、通过视频序列集合F″来恢复视频序列集合FOS,FUS,FSO,利用稠密光流法算法映射得到所有要恢复的视频帧,设置相邻帧的映射跨度为两帧,取所有映射到该帧的最小矩形区域的交集区域作为该帧的显著对象检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610849174.4A CN106407978B (zh) | 2016-09-24 | 2016-09-24 | 一种结合似物度的无约束视频中显著物体检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610849174.4A CN106407978B (zh) | 2016-09-24 | 2016-09-24 | 一种结合似物度的无约束视频中显著物体检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106407978A true CN106407978A (zh) | 2017-02-15 |
CN106407978B CN106407978B (zh) | 2020-10-30 |
Family
ID=57997498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610849174.4A Active CN106407978B (zh) | 2016-09-24 | 2016-09-24 | 一种结合似物度的无约束视频中显著物体检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106407978B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107240138A (zh) * | 2017-05-25 | 2017-10-10 | 西安电子科技大学 | 基于样本二叉树字典学习的全色遥感图像压缩方法 |
CN109101646A (zh) * | 2018-08-21 | 2018-12-28 | 北京深瞐科技有限公司 | 数据处理方法、装置、系统及计算机可读介质 |
CN109784290A (zh) * | 2019-01-23 | 2019-05-21 | 科大讯飞股份有限公司 | 一种目标检测方法、装置、设备及可读存储介质 |
CN107330465B (zh) * | 2017-06-30 | 2019-07-30 | 清华大学深圳研究生院 | 一种图像目标识别方法及装置 |
CN110689007A (zh) * | 2019-09-16 | 2020-01-14 | Oppo广东移动通信有限公司 | 主体识别方法和装置、电子设备、计算机可读存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008154314A1 (en) * | 2007-06-06 | 2008-12-18 | Microsoft Corporation | Salient object detection |
CN102509072A (zh) * | 2011-10-17 | 2012-06-20 | 上海大学 | 基于区域间差异的图像中显著对象的检测方法 |
CN102542267A (zh) * | 2011-12-26 | 2012-07-04 | 哈尔滨工业大学 | 结合空间分布和全局对比的显著区域检测方法 |
US20120294476A1 (en) * | 2011-05-16 | 2012-11-22 | Microsoft Corporation | Salient Object Detection by Composition |
CN104463917A (zh) * | 2014-11-06 | 2015-03-25 | 云南大学 | 基于除法归一化的图像视觉显著性检测方法 |
CN104504692A (zh) * | 2014-12-17 | 2015-04-08 | 上海大学 | 基于区域对比度的图像中显著对象的提取方法 |
CN104680546A (zh) * | 2015-03-12 | 2015-06-03 | 安徽大学 | 一种图像显著目标检测方法 |
CN104966085A (zh) * | 2015-06-16 | 2015-10-07 | 北京师范大学 | 一种基于多显著特征融合的遥感图像感兴趣区域检测方法 |
US20150324995A1 (en) * | 2014-05-09 | 2015-11-12 | Canon Kabushiki Kaisha | Object detecting apparatus, object detecting method, and program |
CN105303571A (zh) * | 2015-10-23 | 2016-02-03 | 苏州大学 | 用于视频处理的时空显著性检测方法 |
-
2016
- 2016-09-24 CN CN201610849174.4A patent/CN106407978B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008154314A1 (en) * | 2007-06-06 | 2008-12-18 | Microsoft Corporation | Salient object detection |
US20120294476A1 (en) * | 2011-05-16 | 2012-11-22 | Microsoft Corporation | Salient Object Detection by Composition |
CN102509072A (zh) * | 2011-10-17 | 2012-06-20 | 上海大学 | 基于区域间差异的图像中显著对象的检测方法 |
CN102542267A (zh) * | 2011-12-26 | 2012-07-04 | 哈尔滨工业大学 | 结合空间分布和全局对比的显著区域检测方法 |
US20150324995A1 (en) * | 2014-05-09 | 2015-11-12 | Canon Kabushiki Kaisha | Object detecting apparatus, object detecting method, and program |
CN104463917A (zh) * | 2014-11-06 | 2015-03-25 | 云南大学 | 基于除法归一化的图像视觉显著性检测方法 |
CN104504692A (zh) * | 2014-12-17 | 2015-04-08 | 上海大学 | 基于区域对比度的图像中显著对象的提取方法 |
CN104680546A (zh) * | 2015-03-12 | 2015-06-03 | 安徽大学 | 一种图像显著目标检测方法 |
CN104966085A (zh) * | 2015-06-16 | 2015-10-07 | 北京师范大学 | 一种基于多显著特征融合的遥感图像感兴趣区域检测方法 |
CN105303571A (zh) * | 2015-10-23 | 2016-02-03 | 苏州大学 | 用于视频处理的时空显著性检测方法 |
Non-Patent Citations (2)
Title |
---|
YE L.等: "Finding spatio-temporal salient paths for video objects discovery", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 * |
李君浩 等: "基于视觉显著性图与似物性的对象检测", 《计算机应用》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107240138A (zh) * | 2017-05-25 | 2017-10-10 | 西安电子科技大学 | 基于样本二叉树字典学习的全色遥感图像压缩方法 |
CN107240138B (zh) * | 2017-05-25 | 2019-07-23 | 西安电子科技大学 | 基于样本二叉树字典学习的全色遥感图像压缩方法 |
CN107330465B (zh) * | 2017-06-30 | 2019-07-30 | 清华大学深圳研究生院 | 一种图像目标识别方法及装置 |
CN109101646A (zh) * | 2018-08-21 | 2018-12-28 | 北京深瞐科技有限公司 | 数据处理方法、装置、系统及计算机可读介质 |
CN109784290A (zh) * | 2019-01-23 | 2019-05-21 | 科大讯飞股份有限公司 | 一种目标检测方法、装置、设备及可读存储介质 |
CN109784290B (zh) * | 2019-01-23 | 2021-03-05 | 科大讯飞股份有限公司 | 一种目标检测方法、装置、设备及可读存储介质 |
CN110689007A (zh) * | 2019-09-16 | 2020-01-14 | Oppo广东移动通信有限公司 | 主体识别方法和装置、电子设备、计算机可读存储介质 |
CN110689007B (zh) * | 2019-09-16 | 2022-04-15 | Oppo广东移动通信有限公司 | 主体识别方法和装置、电子设备、计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106407978B (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111209810B (zh) | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 | |
CN111931684B (zh) | 一种基于视频卫星数据鉴别特征的弱小目标检测方法 | |
US11144786B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
US9042648B2 (en) | Salient object segmentation | |
Jia et al. | Visual tracking via adaptive structural local sparse appearance model | |
CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
CN106407978B (zh) | 一种结合似物度的无约束视频中显著物体检测方法 | |
Li et al. | A three-step approach for TLS point cloud classification | |
CN112784810B (zh) | 手势识别方法、装置、计算机设备和存储介质 | |
US10554957B2 (en) | Learning-based matching for active stereo systems | |
CN109785298A (zh) | 一种多角度物体检测方法和系统 | |
CN106373146A (zh) | 一种基于模糊学习的目标跟踪方法 | |
CN107609571A (zh) | 一种基于lark特征的自适应目标跟踪方法 | |
CN112949440A (zh) | 一种提取行人的步态特征的方法、步态识别方法及系统 | |
Peng et al. | Unsupervised change detection method based on saliency analysis and convolutional neural network | |
EP3553700A2 (en) | Remote determination of containers in geographical region | |
CN111723660A (zh) | 一种用于长形地面目标检测网络的检测方法 | |
KR20190080388A (ko) | Cnn을 이용한 영상 수평 보정 방법 및 레지듀얼 네트워크 구조 | |
CN116091946A (zh) | 一种基于YOLOv5的无人机航拍图像目标检测方法 | |
CN111709317A (zh) | 一种基于显著性模型下多尺度特征的行人重识别方法 | |
CN112287906A (zh) | 一种基于深度特征融合的模板匹配跟踪方法及系统 | |
CN111797704B (zh) | 一种基于相关物体感知的动作识别方法 | |
Yuan et al. | Graph neural network based multi-feature fusion for building change detection | |
CN104408712B (zh) | 基于信息融合的隐马尔可夫显著区域检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |