CN106407978B - 一种结合似物度的无约束视频中显著物体检测方法 - Google Patents

一种结合似物度的无约束视频中显著物体检测方法 Download PDF

Info

Publication number
CN106407978B
CN106407978B CN201610849174.4A CN201610849174A CN106407978B CN 106407978 B CN106407978 B CN 106407978B CN 201610849174 A CN201610849174 A CN 201610849174A CN 106407978 B CN106407978 B CN 106407978B
Authority
CN
China
Prior art keywords
salient
video
frame
representing
rectangular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610849174.4A
Other languages
English (en)
Other versions
CN106407978A (zh
Inventor
刘志
吴同保
周晓飞
张彤
庄新卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201610849174.4A priority Critical patent/CN106407978B/zh
Publication of CN106407978A publication Critical patent/CN106407978A/zh
Application granted granted Critical
Publication of CN106407978B publication Critical patent/CN106407978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合似物度的无约束视频中显著物体检测方法，具体步骤如下：(1)输入原始视频序列
Figure DEST_PATH_IMAGE002
，对其中的第帧记为
Figure DEST_PATH_IMAGE004
；(2)对于视频帧
Figure 544872DEST_PATH_IMAGE004
，利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测的矩形区域；(3)对于视频帧，通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测的矩形区域大小，得到单帧的显著对象检测结果；(4)利用稠密光流法算法，得到视频帧的像素点的运动矢量场，计算相邻帧显著对象检测的矩形区域的重叠度，得到最终的显著对象检测结果。本发明通过迭代更新似物度概率图和对象概率图，增强空域显著对象检测结果的准确性；利用序列级的细化，增强了时间的一致性，能够更准确、完整地检测视频中的显著对象。

Description

一种结合似物度的无约束视频中显著物体检测方法
技术领域
本发明涉及计算机视觉，视频处理技术领域，具体地说是涉及一种结合似物度的无约束视频中显著物体检测方法。
背景技术
人类的视觉系统能够从复杂的环境中快速准确地定位人眼感兴趣的区域，并做出相应的反应，并且根据心理学以及感知科学的研究，在大多数情况下，人眼在观察一幅图像时，不会在整个图像上平均分配注意力，而是会将注意力集中在图像中的某个区域上，该区域称之为显著对象。显著对象检测方法利用与图像关注度相对应的显著性图像将图像中的显著对象准确快速的检测出来。检测的结果表现为在图像中标记出一块矩形区域，该矩形区域尽可能多的包含显著对象而尽可能少的包含背景。显著性检测广泛用于基于内容的显著对象识别、图像/视频自适应、图像/视频压缩、图像/视频检索等诸多应用。近年来，已经提出了多种基于图像显著性的对象检测算法，如Shi等人在2012年4月出版的IEEE SIGNALPROCESSING LETTERS期刊上发表的“基于区域间差异最大化的显著对象检测”方法，通过迭代地压缩ESS(Efficient Subwindow Search)的搜索空间，能够快速地找到显著性差异最大的区域，方法的具体步骤如下：
(1)、输入原始图像，利用已有的图像显著性模型得到原始图像的显著性图；
(2)、计算显著性图上每个像素点到显著性图的重心的欧式距离，得到修改后的显著性图；
(3)、通过迭代更新显著性图，找到与外部区域差异最大的目标矩形，该目标矩形内部区域的图像内容为检测出的显著对象。
Li等人在2015年12月出版的计算机应用期刊上发表的“基于视觉显著性图与似物性的对象检测”方法，通过利用显著性图、似物性的对象检测算法和边缘概率密度等信息检测出显著对象区域，方法的具体步骤如下：
(1)、在图像上提取大量具有较高似物性度量的矩形窗口，并估算出对象可能出现的位置，将窗口级的似物性度量转换到像素级的似物性度量；
(2)、把原始显著性图与像素级的似物性图进行融合，生成加权显著性图，分别二值化得到原始显著性图和加权显著性图，利用凸包检测得到最大查找窗口区域与种子窗口区域；
(3)、结合边缘概率密度搜索出最优的物体窗口。
Luo等人在2016年2月出版的Journal of Visual Communication and ImageRepresentation期刊上发表的“寻找时空显著性路径的视频显著对象检测”方法，通过利用动态规划算法来寻找最优的显著性路径，得到显著对象检测结果，方法的具体步骤如下：
(1)、输入原始视频序列，利用已有的图像显著性模型生成空域显著性图，再利用稠密光流法算法，通过运动矢量场来移除全局运动，得到时域显著性图；
(2)、根据时域显著性图和空域显著性图的相互一致性特征，自适合地将两者进行线性融合，得到最终的时空显著性图。
(3)、定义矩形框的显著性密度，利用已有图像的显著对象检测方法，得到单帧的显著对象检测结果；
(4)、视频序列的时间一致性，利用动态规划算法来寻找最优的显著性路径，得到最终的显著对象检测结果。
但是上述方法存在的不足是，三种方法模型对运动复杂的视频序列不具有鲁棒性，依赖于显著性图的质量。综上所述，现有的显著对象检测方法不能准确、完整地提取无约束视频序列中的显著对象，这影响了显著对象检测的广泛应用。
发明内容
本发明的目的在于针对已有技术中存在的缺陷，提出一种结合似物度的无约束视频中显著物体检测方法，该方法能够较为准确、完整地检测出无约束视频序列中的显著对象。
为了达到上述目的，本发明采用的技术方案如下：
一种结合似物度的无约束视频中显著物体检测方法，具体步骤如下：
(1)、输入原始视频序列F＝{F1,F2,...,FM}，M是视频的帧数，对其中的第t帧记为Ft；
(2)、对于视频帧Ft，利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测的矩形区域；
(3)、对于视频帧Ft，通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测的矩形区域大小，得到单帧的显著对象检测结果；
(4)、利用稠密光流法算法，得到视频帧Ft的像素点的运动矢量场，计算相邻帧显著对象检测的矩形区域的重叠度，得到最终的显著对象检测结果。
上述步骤(2)中对于视频帧Ft，利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测的矩形区域，具体步骤如下：
(2-1)、对于视频帧Ft，利用已有视频显著性模型，得到时空显著性图St(p)，p表示图像中每个像素；
(2-2)、对于视频帧Ft，利用似物性的对象检测算法生成N个候选矩形窗口
Figure BDA0001120114740000031
相应地，每一窗口包含对象的概率表示为
Figure BDA0001120114740000032
设定N＝1000，计算似物性概率图，其计算式为：
Figure BDA0001120114740000033
其中，Ot(p)表示第t帧图像中每个像素p的似物性分数；
(2-3)、对于视频帧Ft，计算对象概率图，其计算式为：
OPt(p)＝St(p)·Ot(p) (2)
其中，OPt(p)表示第t帧图像中每个像素p的对象概率值；
(2-4)、对于视频帧Ft，利用自适应的最大类间方差法(OSTU)，分别对时空显著性图St(p)、似物性概率图Ot(p)和对象概率图OPt(p)进行二值化，分别得到最小外接矩形
Figure BDA0001120114740000034
计算初始的显著对象检测的矩形区域，其计算式为：
Figure BDA0001120114740000035
其中，
Figure BDA0001120114740000036
表示第t帧初始的显著对象检测的矩形区域。
上述步骤(3)中对于视频帧Ft，通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测的矩形区域大小，得到单帧的显著对象检测结果，具体步骤如下：
(3-1)、设置迭代的初始值，其具体步骤如下：
(3-1-1)、设i表示迭代次数，其中，i为0,1,2,3，……；
(3-1-2)、设
Figure BDA0001120114740000037
表示N个候选矩形窗口Wt与
Figure BDA0001120114740000038
的重叠度大于等于0.5的候选矩形窗口的集合，初始状态
Figure BDA0001120114740000039
其中Wt表示步骤(2-2)中初始的显著对象检测的矩形区域；
(3-1-3)、设
Figure BDA00011201147400000310
表示在第i次迭代中更新的似物性概率图，初始状态
Figure BDA00011201147400000311
其中Ot表示步骤(2-2)中得到的似物性概率图；
(3-1-4)、设
Figure BDA00011201147400000312
表示在第i次迭代中更新的对象概率图，初始状态
Figure BDA00011201147400000313
其中OPt表示步骤(2-3)中得到的对象概率图；
(3-1-5)、设
Figure BDA0001120114740000041
表示第i次迭代中更新的似物性概率图二值化得到的最小外接矩形区域，初始状态
Figure BDA0001120114740000042
其中
Figure BDA0001120114740000043
表示步骤(2-4)中得到的似物性概率图二值化得到的最小外接矩形区域；
(3-1-6)、设
Figure BDA0001120114740000044
表示第i次迭代中更新的对象概率图二值化得到的最小外接矩形区域，初始状态
Figure BDA0001120114740000045
其中
Figure BDA0001120114740000046
表示步骤(2-4)中得到的对象概率图二值化得到的最小外接矩形区域；
(3-1-7)、设
Figure BDA0001120114740000047
表示在第i次迭代中获得的显著对象检测的矩形区域，初始状态时
Figure BDA0001120114740000048
其中
Figure BDA0001120114740000049
表示步骤(2-4)中得到得初始的显著对象检测的矩形区域；
(3-2)、通过迭代更新似物度概率图和对象概率图，获得单帧的显著对象检测结果，其具体步骤如下：
(3-2-1)、第i次迭代中，计算更新后的似物度概率图，其计算式为：
Figure BDA00011201147400000410
其中，
Figure BDA00011201147400000411
表示第i次迭代中似物性的对象检测算法生成N个候选矩形窗口Wt与
Figure BDA00011201147400000412
的重叠度大于等于0.5的候选矩形窗口的集合，其计算式为：
Figure BDA00011201147400000413
其中，rt j表示第t帧第j个候选矩形窗口与
Figure BDA00011201147400000414
的重叠度，其计算式为：
Figure BDA00011201147400000415
其中，|wj|表示矩形区域
Figure BDA00011201147400000416
内像素的数目；
(3-2-2)、第i次迭代中，计算更新后的对象概率图，其计算式为：
Figure BDA00011201147400000417
(3-2-3)、利用自适应的最大类间方差法(OSTU)，分别对似物性概率图
Figure BDA00011201147400000418
和对象概率图
Figure BDA00011201147400000421
进行二值化，分别得到最小外接矩形
Figure BDA00011201147400000419
计算更新后的显著对象检测的矩形区域，其计算式为：
Figure BDA00011201147400000420
(3-3)、如果在第i次迭代中获得的矩形区域
Figure BDA0001120114740000051
与第i-1次迭代中获得的矩形区域
Figure BDA0001120114740000052
完全重合，则
Figure BDA0001120114740000053
为获得的目标矩形Wt *；否则继续步骤(3-2)通过迭代更新似物度概率图和对象概率图，获得目标矩形，该目标矩形内部区域的图像内容为检测出的显著对象。
上述步骤(4)中利用稠密光流法算法，得到视频帧Ft的像素点的运动矢量场，计算相邻帧显著对象的矩形区域的重叠度，得到最终的显著对象检测结果，具体步骤如下：
(4-1)、对于视频帧Ft，计算(3-3)中得到的矩形区域Wt *的对象比例，其计算式为：
ORt＝|Wt *|/(w·h) (9)
其中，ORt表示第t帧的对象比例大小，w和h分别表示视频序列的宽和高，计算平均对象比例，其计算式为：
Figure BDA0001120114740000054
其中，MOR表示该视频序列的平均对象比例大小，先排除对象比例过大的视频帧，其计算式为：
FOS＝{Ft|Ft∈F,ORt＞＝1.2*MOR} (11)
其中，FOS表示对象比例过大的视频序列集合，补集
Figure BDA0001120114740000055
在CFFOS里重新计算平均对象比例为MOR'，再排除对象比例过小的视频帧，其计算式为：
FUS＝{Ft|Ft∈CFFOS,ORt＜＝0.8*MOR'} (12)
其中，FUS表示对象比例过小的视频序列集合；
(4-2)、利用稠密光流法算法，计算相邻帧显著对象的矩形区域的重叠度，其计算式为：
Figure BDA0001120114740000056
其中，
Figure BDA0001120114740000057
表示第t+1帧显著对象的矩形区域与第t帧显著对象的矩形区域的重叠度，
Figure BDA0001120114740000058
表示第t+1帧的显著对象的矩形区域映射到第t帧的最小外接矩形区域，由(4-2)和(4-3)得到对象比例适中的视频序列为
Figure BDA0001120114740000059
设定相邻帧的映射跨度为两帧，在F'里计算第t帧的显著对象的矩形区域与相邻帧的平均重叠度，其计算式为：
Figure BDA0001120114740000061
排除重叠度过小的视频帧，其计算式为：
FSO＝{Ft|Ft∈F',kmeanOverlap(Wt *)＜＝0.3} (15)
其中，FSO表示重叠度过小的视频序列集合，得到重叠度适中的视频序列集合
Figure BDA0001120114740000062
(4-3)、通过视频序列集合F”来恢复视频序列集合FOS,FUS,FSO，利用稠密光流法算法映射得到所有要恢复的视频帧，设置相邻帧的映射跨度为两帧，取所有映射到该帧的最小矩形区域的交集区域作为该帧的显著对象检测结果。
本发明结合似物度的无约束视频中显著物体检测方法与现有的技术相比，具有如下优点：
本发明方法通过迭代更新似物度概率图和对象概率图，增强空域显著对象检测结果的准确性；利用序列级的细化，增强了时间的一致性，能够更准确、完整地检测视频中的显著对象。
附图说明
图1是本发明的结合似物度的无约束视频中显著物体检测方法的流程图。
图2是本发明步骤(2)利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测的矩形区域。
图3是本发明步骤(3)通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测矩形区域的大小，得到单帧的显著对象检测结果。
图4是本发明步骤(4)利用稠密光流法算法，得到视频帧Ft的像素点的运动矢量场，计算相邻帧显著对象检测矩形区域的重叠度，得到最终的显著对象检测结果。
具体实施方式
下面结合说明书附图对本发明的实施例作进一步详细说明。
本发明进行的仿真实验是在CPU为3.4GHz、内存为8G的PC测试平台上编程实现。
如图1所示，本发明结合似物度的无约束视频中显著对象检测方法，其具体步骤如下：
(1)、输入原始视频序列F＝{F1,F2,...,FM}，M是视频的帧数，对其中的第t帧记为Ft；
(2)、对于视频帧Ft，利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测的矩形区域；
(3)、对于视频帧Ft，通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测的矩形区域大小，得到单帧的显著对象检测结果；
(4)、利用稠密光流法算法，得到视频帧Ft的像素点的运动矢量场，计算相邻帧显著对象检测的矩形区域的重叠度，得到最终的显著对象检测结果。
上述步骤(2)中对于视频帧Ft，利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测矩形区域，具体步骤如下：
(2-1)、对于视频帧Ft，利用已有视频显著性模型，得到时空显著性图St(p)，p表示图像中每个像素，如图2(b)所示；
(2-2)、对于视频帧Ft，利用似物性的对象检测算法生成N个候选矩形窗口
Figure BDA0001120114740000071
相应地，每一窗口包含对象的概率表示为
Figure BDA0001120114740000072
设定N＝1000，计算似物性概率图，其计算式为：
Figure BDA0001120114740000073
其中，Ot(p)表示第t帧图像中每个像素p的似物性分数，如图2(c)所示；
(2-3)、对于视频帧Ft，计算对象概率图，其计算式为：
OPt(p)＝St(p)·Ot(p) (18)
其中，OPt(p)表示第t帧图像中每个像素p的概率值，如图2(d)所示；
(2-4)、对于视频帧Ft，利用自适应的最大类间方差法(OSTU)，分别对时空显著性图St(p)、似物性概率图Ot(p)和对象概率图OPt(p)进行二值化，分别得到最小外接矩形
Figure BDA0001120114740000074
分别对应图2(e)、2(f)、2(g)所示，计算初始的显著对象检测的矩形区域，其计算式为：
Figure BDA0001120114740000075
其中，
Figure BDA0001120114740000076
表示第t帧初始的显著对象检测的矩形区域，如图2(h)所示。
上述步骤(3)中对于视频帧Ft，通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测矩形区域的大小，得到空域的对象检测结果，具体步骤如下：
(3-1)、设置迭代的初始值，其具体步骤如下：
(3-1-1)、设i表示迭代次数，其中，i为0,1,2,3，……；
(3-1-2)、设
Figure BDA0001120114740000081
表示N个候选矩形窗口Wt与
Figure BDA0001120114740000082
的重叠度大于等于0.5的候选矩形窗口的集合，初始状态
Figure BDA0001120114740000083
其中Wt表示步骤(2-2)中初始的显著对象检测的矩形区域；
(3-1-3)、设
Figure BDA0001120114740000084
表示在第i次迭代中更新的似物性概率图，初始状态
Figure BDA0001120114740000085
其中Ot表示步骤(2-2)中得到的似物性概率图；
(3-1-4)、设OPt i表示在第i次迭代中更新的对象概率图，初始状态OPt 0＝OPt，其中OPt表示步骤(2-3)中得到的对象概率图；
(3-1-5)、设
Figure BDA0001120114740000086
表示在第i次迭代中更新的似物性概率图二值化得到的最小外接矩形区域，初始状态
Figure BDA0001120114740000087
其中
Figure BDA0001120114740000088
表示步骤(2-4)中得到的似物性概率图二值化得到的最小外接矩形区域；
(3-1-6)、设
Figure BDA0001120114740000089
表示在第i次迭代中更新的对象概率图二值化得到的最小外接矩形区域，初始状态
Figure BDA00011201147400000810
其中
Figure BDA00011201147400000811
表示步骤(2-4)中得到的对象概率图二值化得到的最小外接矩形区域；
(3-1-7)、设
Figure BDA00011201147400000812
表示在第i次迭代中获得的显著对象检测的矩形区域，初始状态时
Figure BDA00011201147400000813
其中
Figure BDA00011201147400000814
表示步骤(2-4)中得到得初始的显著对象检测的矩形区域；
(3-2)、通过迭代更新似物度概率图和对象概率图，获得矩形区域，其具体步骤如下：
(3-2-1)、第i次迭代中，计算更新后的似物度概率图，其计算式为：
Figure BDA00011201147400000815
其中，
Figure BDA00011201147400000816
表示第i次迭代中似物性的对象检测算法生成N个候选矩形窗口Wt与
Figure BDA00011201147400000817
的重叠度大于等于0.5的候选矩形窗口的集合，其计算式为：
Figure BDA00011201147400000818
其中，rt j表示第t帧第j个候选矩形窗口与
Figure BDA00011201147400000819
的重叠度，其计算式为：
Figure BDA00011201147400000820
其中，|wj|表示矩形区域
Figure BDA0001120114740000091
内像素的数目；
(3-2-2)、第i次迭代中，计算更新后的对象概率图，其计算式为：
Figure BDA0001120114740000092
(3-2-3)、利用自适应的最大类间方差法(OSTU)，分别对似物性概率图
Figure BDA0001120114740000093
和对象概率图
Figure BDA00011201147400000911
进行二值化，分别得到最小外接矩形
Figure BDA0001120114740000094
计算更新后的显著对象检测的矩形区域，其计算式为：
Figure BDA0001120114740000095
(3-3)、如果在第i次迭代中获得的矩形区域
Figure BDA0001120114740000096
与第i-1次迭代中获得的矩形区域
Figure BDA0001120114740000097
完全重合，则
Figure BDA0001120114740000098
为获得的目标矩形Wt *；否则继续步骤(3-2)通过迭代更新似物度概率图和对象概率图，获得目标矩形，该目标矩形内部区域的图像内容为检测出的显著对象。如图3所示，三次迭代后终止，每一行依次表示更新的似物度概率图，对象概率图和得到的显著对象检测矩形区域。
上述步骤(4)中利用稠密光流法算法，得到视频帧Ft的像素点的运动矢量场，计算相邻帧显著对象的矩形区域的重叠度，得到最终的显著对象检测结果，具体步骤如下：
(4-1)、对于视频帧Ft，计算(3-5)中得到的矩形区域Wt *的对象比例，其计算式为：
ORt＝|Wt *|/(w·h) (25)
其中，ORt表示第t帧的对象比例大小，w和h分别表示视频序列的宽和高，计算平均对象比例，其计算式为：
Figure BDA0001120114740000099
其中，MOR表示该视频序列的平均对象比例大小，先排除对象比例过大的视频帧，其计算式为：
FOS＝{Ft|Ft∈F,ORt＞＝1.2*MOR} (27)
其中，FOS表示对象比例过大的视频序列集合，补集
Figure BDA00011201147400000910
在CFFOS里重新计算平均对象比例为MOR'，再排除对象比例过小的视频帧，其计算式为：
FUS＝{Ft|Ft∈CFFOS,ORt＜＝0.8*MOR'} (28)
其中，FUS表示对象比例过小的视频序列集合；
(4-2)、利用稠密光流法算法，计算相邻帧显著对象的矩形区域的重叠度，其计算式为：
Figure BDA0001120114740000101
其中，
Figure BDA0001120114740000102
表示第t+1帧显著对象的矩形区域与第t帧显著对象的矩形区域的重叠度，
Figure BDA0001120114740000103
表示第t+1帧的显著对象的矩形区域映射到第t帧的最小外接矩形区域，由(4-2)和(4-3)得到对象比例适中的视频序列为
Figure BDA0001120114740000104
设定相邻帧的映射跨度为两帧，在F'里计算第t帧的显著对象的矩形区域与相邻帧的平均重叠度，其计算式为：
Figure BDA0001120114740000105
排除重叠度过小的视频帧，其计算式为：
FSO＝{Ft|Ft∈F',kmeanOverlap(Wt *)＜＝0.3} (31)
其中，FSO表示重叠度过小的视频序列集合，得到重叠度适中的视频序列集合
Figure BDA0001120114740000106
(4-3)、通过视频序列集合F”来恢复视频序列集合FOS,FUS,FSO，利用稠密光流法算法映射得到所有要恢复的视频帧，设置相邻帧的映射跨度为两帧，取所有映射到该帧的最小矩形区域的交集区域作为该帧的显著对象检测结果。如图4所示，图4(a)-4(e)依次是视频序列的第2、3、4、5、6帧，图4(f)是利用时间的一致性来改善图4(c)的显著对象的检测结果。

Claims (4)

1.一种结合似物度的无约束视频中显著物体检测方法，其特征在于，具体步骤如下：
(1)、输入原始视频序列F＝{F1,F2,...,FM}，M是视频的帧数，对其中的第t帧记为Ft；
(2)、对于视频帧Ft，利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测的矩形区域；
(3)、对于视频帧Ft，通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测的矩形区域大小，得到单帧的显著对象检测结果；
(4)为了利用视频的时间信息来获得当前帧与前后帧显著对象检测结果的关联度，通过稠密光流法算法得到视频帧Ft的像素点的运动矢量场，用于计算相邻帧显著对象检测的矩形区域的重叠度，以判断显著对象检测的时域一致性的程度，来进一步提高显著对象检测结果的准确度，得到最终的显著对象检测结果。
2.根据权利要求1所述的结合似物度的无约束视频中显著物体检测方法，其特征在于，上述步骤(2)中对于视频帧Ft，利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测的矩形区域，具体步骤如下：
(2-1)、对于视频帧Ft，利用已有视频显著性模型，得到时空显著性图St(p),p表示图像中每个像素；
(2-2)、对于视频帧Ft，利用似物性的对象检测算法生成N个候选矩形窗口
Figure FDA0002424057620000011
相应地，每一窗口包含对象的概率表示为
Figure FDA0002424057620000012
设定N＝1000，计算似物性概率图，其计算式为：
Figure FDA0002424057620000013
其中，Ot(p)表示第t帧图像中每个像素p的似物性分数；
(2-3)、对于视频帧Ft，计算对象概率图，其计算式为：
OPt(p)＝St(p)·Ot(p) (2)
其中，OPt(p)表示第t帧图像中每个像素p的对象概率值；
(2-4)、对于视频帧Ft，利用自适应的最大类间方差法(OSTU)，分别对时空显著性图St(p)、似物性概率图Ot(p)和对象概率图OPt(p)进行二值化，分别得到最小外接矩形
Figure FDA0002424057620000021
计算初始的显著对象检测的矩形区域，其计算式为：
Figure FDA0002424057620000022
其中，
Figure FDA0002424057620000023
表示第t帧初始的显著对象检测的矩形区域。
3.根据权利要求2所述的结合似物度的无约束视频中显著物体检测方法，其特征在于，上述步骤(3)中对于视频帧Ft，通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测的矩形区域大小，得到单帧的显著对象检测结果，具体步骤如下：
(3-1)、设置迭代的初始值，其具体步骤如下：
(3-1-1)、设i表示迭代次数，其中，i为0,1,2,3，……；
(3-1-2)、设
Figure FDA0002424057620000024
表示N个候选矩形窗口Wt与
Figure FDA0002424057620000025
的重叠度大于等于0.5的候选矩形窗口的集合，初始状态
Figure FDA0002424057620000026
其中Wt表示步骤(2-2)中初始的显著对象检测的矩形区域；
(3-1-3)、设
Figure FDA0002424057620000027
表示在第i次迭代中更新的似物性概率图，初始状态
Figure FDA0002424057620000028
其中Ot表示步骤(2-2)中得到的似物性概率图；
(3-1-4)、设OPt i表示在第i次迭代中更新的对象概率图，初始状态OPt 0＝OPt，其中OPt表示步骤(2-3)中得到的对象概率图；
(3-1-5)、设
Figure FDA0002424057620000029
表示第i次迭代中更新的似物性概率图二值化得到的最小外接矩形区域，初始状态
Figure FDA00024240576200000210
其中
Figure FDA00024240576200000211
表示步骤(2-4)中得到的似物性概率图二值化得到的最小外接矩形区域；
(3-1-6)、设
Figure FDA00024240576200000212
表示第i次迭代中更新的对象概率图二值化得到的最小外接矩形区域，初始状态
Figure FDA00024240576200000213
其中
Figure FDA00024240576200000214
表示步骤(2-4)中得到的对象概率图二值化得到的最小外接矩形区域；
(3-1-7)、设
Figure FDA00024240576200000215
表示在第i次迭代中获得的显著对象检测的矩形区域,初始状态时
Figure FDA00024240576200000216
其中
Figure FDA00024240576200000217
表示步骤(2-4)中得到得初始的显著对象检测的矩形区域；
(3-2)、通过迭代更新似物度概率图和对象概率图，获得单帧的显著对象检测结果，其具体步骤如下：
(3-2-1)、第i次迭代中，计算更新后的似物度概率图，其计算式为：
Figure FDA0002424057620000031
其中，
Figure FDA0002424057620000032
表示第i次迭代中似物性的对象检测算法生成N个候选矩形窗口Wt与
Figure FDA0002424057620000033
的重叠度大于等于0.5的候选矩形窗口的集合，其计算式为：
Figure FDA0002424057620000034
其中，rt j表示第t帧第j个候选矩形窗口与
Figure FDA0002424057620000035
的重叠度，其计算式为：
Figure FDA0002424057620000036
其中，|wj|表示矩形区域
Figure FDA0002424057620000037
内像素的数目；
(3-2-2)、第i次迭代中，计算更新后的对象概率图，其计算式为：
Figure FDA0002424057620000038
(3-2-3)、利用自适应的最大类间方差法(OSTU),分别对似物性概率图
Figure FDA0002424057620000039
和对象概率图OPt i(p)进行二值化，分别得到最小外接矩形
Figure FDA00024240576200000310
计算更新后的显著对象检测的矩形区域，其计算式为：
Figure FDA00024240576200000311
(3-3)、如果在第i次迭代中获得的矩形区域
Figure FDA00024240576200000312
与第i-1次迭代中获得的矩形区域
Figure FDA00024240576200000313
完全重合,则
Figure FDA00024240576200000314
为获得的目标矩形Wt *；否则继续步骤(3-2)通过迭代更新似物度概率图和对象概率图，获得目标矩形，该目标矩形内部区域的图像内容为检测出的显著对象。
4.根据权利要求3所述的结合似物度的无约束视频中显著物体检测方法，其特征在于，上述步骤(4)中为了利用视频的时间信息来获得当前帧与前后帧显著对象检测结果的关联度，通过稠密光流法算法得到视频帧Ft的像素点的运动矢量场，用于计算相邻帧显著对象检测的矩形区域的重叠度，以判断显著对象检测的时域一致性的程度，来进一步提高显著对象检测结果的准确度，得到最终的显著对象检测结果，具体步骤如下：
(4-1)、对于视频帧Ft，计算(3-3)中得到的矩形区域Wt *的对象比例，其计算式为：
ORt＝|Wt *|/(w·h) (9)
其中，ORt表示第t帧的对象比例大小，w和h分别表示视频序列的宽和高，计算平均对象比例，其计算式为：
Figure FDA0002424057620000041
其中，MOR表示该视频序列的平均对象比例大小，先排除对象比例过大的视频帧，其计算式为：
FOS＝{Ft|Ft∈F,ORt＞＝1.2*MOR} (11)
其中，FOS表示对象比例过大的视频序列集合，补集
Figure FDA0002424057620000042
在CFFOS里重新计算平均对象比例为MOR',再排除对象比例过小的视频帧，其计算式为：
FUS＝{Ft|Ft∈CFFOS,ORt＜＝0.8*MOR'} (12)
其中，FUS表示对象比例过小的视频序列集合；
(4-2)、利用稠密光流法算法,计算相邻帧显著对象的矩形区域的重叠度，其计算式为：
Figure FDA0002424057620000043
其中，
Figure FDA0002424057620000044
表示第t+1帧显著对象的矩形区域与第t帧显著对象的矩形区域的重叠度，
Figure FDA0002424057620000045
表示第t+1帧的显著对象的矩形区域映射到第t帧的最小外接矩形区域，由(4-2)和(4-3)得到对象比例适中的视频序列为
Figure FDA0002424057620000046
设定相邻帧的映射跨度为两帧，在F'里计算第t帧的显著对象的矩形区域与相邻帧的平均重叠度，其计算式为：
Figure FDA0002424057620000047
排除重叠度过小的视频帧，其计算式为：
FSO＝{Ft|Ft∈F',kmeanOverlap(Wt *)＜＝0.3} (15)
其中，FSO表示重叠度过小的视频序列集合，得到重叠度适中的视频序列集合
Figure FDA0002424057620000048
(4-3)、通过视频序列集合F”来恢复视频序列集合FOS,FUS,FSO，利用稠密光流法算法映射得到所有要恢复的视频帧，设置相邻帧的映射跨度为两帧，取所有映射到该帧的最小矩形区域的交集区域作为该帧的显著对象检测结果。
CN201610849174.4A 2016-09-24 2016-09-24 一种结合似物度的无约束视频中显著物体检测方法 Active CN106407978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610849174.4A CN106407978B (zh) 2016-09-24 2016-09-24 一种结合似物度的无约束视频中显著物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610849174.4A CN106407978B (zh) 2016-09-24 2016-09-24 一种结合似物度的无约束视频中显著物体检测方法

Publications (2)

Publication Number Publication Date
CN106407978A CN106407978A (zh) 2017-02-15
CN106407978B true CN106407978B (zh) 2020-10-30

Family

ID=57997498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610849174.4A Active CN106407978B (zh) 2016-09-24 2016-09-24 一种结合似物度的无约束视频中显著物体检测方法

Country Status (1)

Country Link
CN (1) CN106407978B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240138B (zh) * 2017-05-25 2019-07-23 西安电子科技大学 基于样本二叉树字典学习的全色遥感图像压缩方法
CN110334706B (zh) * 2017-06-30 2021-06-01 清华大学深圳研究生院 一种图像目标识别方法及装置
CN109101646B (zh) * 2018-08-21 2020-12-18 北京深瞐科技有限公司 数据处理方法、装置、系统及计算机可读介质
CN109784290B (zh) * 2019-01-23 2021-03-05 科大讯飞股份有限公司 一种目标检测方法、装置、设备及可读存储介质
CN110689007B (zh) * 2019-09-16 2022-04-15 Oppo广东移动通信有限公司 主体识别方法和装置、电子设备、计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509072A (zh) * 2011-10-17 2012-06-20 上海大学 基于区域间差异的图像中显著对象的检测方法
CN104463917A (zh) * 2014-11-06 2015-03-25 云南大学 基于除法归一化的图像视觉显著性检测方法
CN104504692A (zh) * 2014-12-17 2015-04-08 上海大学 基于区域对比度的图像中显著对象的提取方法
CN105303571A (zh) * 2015-10-23 2016-02-03 苏州大学 用于视频处理的时空显著性检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7940985B2 (en) * 2007-06-06 2011-05-10 Microsoft Corporation Salient object detection
US8989437B2 (en) * 2011-05-16 2015-03-24 Microsoft Corporation Salient object detection by composition
CN102542267B (zh) * 2011-12-26 2013-07-03 哈尔滨工业大学 结合空间分布和全局对比的显著区域检测方法
JP2015215741A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 被写体検出装置、被写体検出方法及びプログラム
CN104680546A (zh) * 2015-03-12 2015-06-03 安徽大学 一种图像显著目标检测方法
CN104966085B (zh) * 2015-06-16 2018-04-03 北京师范大学 一种基于多显著特征融合的遥感图像感兴趣区域检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509072A (zh) * 2011-10-17 2012-06-20 上海大学 基于区域间差异的图像中显著对象的检测方法
CN104463917A (zh) * 2014-11-06 2015-03-25 云南大学 基于除法归一化的图像视觉显著性检测方法
CN104504692A (zh) * 2014-12-17 2015-04-08 上海大学 基于区域对比度的图像中显著对象的提取方法
CN105303571A (zh) * 2015-10-23 2016-02-03 苏州大学 用于视频处理的时空显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉显著性图与似物性的对象检测;李君浩 等;《计算机应用》;20151210;第35卷(第12期);第3560-3564页 *

Also Published As

Publication number Publication date
CN106407978A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
US9042648B2 (en) Salient object segmentation
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
US9710698B2 (en) Method, apparatus and computer program product for human-face features extraction
CN109960742B (zh) 局部信息的搜索方法及装置
CN110287826B (zh) 一种基于注意力机制的视频目标检测方法
US10554957B2 (en) Learning-based matching for active stereo systems
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
CN111862213A (zh) 定位方法及装置、电子设备、计算机可读存储介质
KR20100014092A (ko) 오브젝트 궤적에 기반한 모션 검출 시스템 및 방법
US20150332117A1 (en) Composition modeling for photo retrieval through geometric image segmentation
CN112784810A (zh) 手势识别方法、装置、计算机设备和存储介质
Lu et al. Superthermal: Matching thermal as visible through thermal feature exploration
CN107194948B (zh) 基于集成式预测与时空域传播的视频显著性检测方法
Peng et al. Unsupervised change detection method based on saliency analysis and convolutional neural network
CN112949440A (zh) 一种提取行人的步态特征的方法、步态识别方法及系统
CN107609571A (zh) 一种基于lark特征的自适应目标跟踪方法
KR20190080388A (ko) Cnn을 이용한 영상 수평 보정 방법 및 레지듀얼 네트워크 구조
CN111709317B (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
Fond et al. Facade proposals for urban augmented reality
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN114743139A (zh) 视频场景检索方法、装置、电子设备及可读存储介质
CN114170558A (zh) 用于视频处理的方法、系统、设备、介质和产品
Park et al. Estimating the camera direction of a geotagged image using reference images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant