CN102637253B - 基于视觉显著性和超像素分割的视频前景目标提取方法 - Google Patents
基于视觉显著性和超像素分割的视频前景目标提取方法 Download PDFInfo
- Publication number
- CN102637253B CN102637253B CN201110458008.9A CN201110458008A CN102637253B CN 102637253 B CN102637253 B CN 102637253B CN 201110458008 A CN201110458008 A CN 201110458008A CN 102637253 B CN102637253 B CN 102637253B
- Authority
- CN
- China
- Prior art keywords
- video
- foreground target
- key frame
- region
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000000007 visual effect Effects 0.000 title abstract description 9
- 230000011218 segmentation Effects 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 8
- 210000000746 body region Anatomy 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Landscapes
- Studio Circuits (AREA)
- Image Analysis (AREA)
Abstract
本发明是一种基于视觉显著性和超像素分割的视频前景目标提取方法，包括步骤：a.对视频进行多层超像素分割：将视频作为三维的视频体进行超像素分割，将视频体元素分组成为体区域；b.对视频进行关键帧的视觉显著性区域检测并对关键帧前景目标进行提取：对视频的关键帧图像，利用视觉显著性检测方法分析图像中的视觉显著性区域，然后利用视觉显著性区域作为初始值，采用图像前景提取方法获取关键帧前景目标；c.将关键帧前景目标与视频超像素分割结果匹配并在帧间传递：对关键帧前景目标所覆盖的视频体区域进行区域扩散，进而将前景目标提取结果在帧间连续传递。本发明效率很高，结果准确，人工干预少，方法鲁棒。
Description
技术领域
本发明属于视频图像处理技术领域，特别涉及一种基于视觉显著性和视频超像素分割的视频前景目标提取方法。
背景技术
随着多媒体技术的迅速发展，视频前景目标提取在视频图像处理技术领域中有着重要应用价值，例如视频合成、基于内容的视频检索等。尽管基于交互的静态图像前景目标提取方法取得重大突破，但在视频中提取运动前景目标仍然是十分棘手的问题。
受到强烈的需求推动，各种通过简单用户交互对视频前景目标进行提取的研究层出不穷。Li、Wang和Armstrong等人分别在2005年和2007年提出了基于三维GraphCut的方法；Blake和Chuang等人分别在1998年和2002年提出基于光流的视频分割传递方法；Yu等人在2007年提出跟踪和移动空间加权颜色模型的方法；Bai等人在2007年提出的基于局部聚类的方法等等。虽然这些方法可以有效地处理大量的例子，但这些方法实际的系统并不可行，具有较大的局限性。
发明内容
(一)要解决的技术问题
本发明需要解决的技术问题是：如何用类似于已有的基于图像分割的前景提取技术将视频目标抠出，同时保持视频的帧间一致性。单纯地对前景逐帧提取会导致视频图像的不连续，本发明提出一种基于视觉显著性和视频超像素分割的视频前景目标提取方法，可以克服传统方法所造成的时间不连续，并且仅需要较少的交互就可完成好的效果。
(二)技术方案
为了解决上述技术问题，本发明提供一种基于视觉显著性和超像素分割的视频前景目标提取方法，包括步骤：
a.对视频进行多层超像素分割：将视频作为三维的视频体进行超像素分割，将视频体元素分组成为体区域；
b.对视频进行关键帧的视觉显著性区域检测并对关键帧前景目标进行提取：对视频的关键帧图像，利用视觉显著性检测方法分析图像中的视觉显著性区域，然后利用视觉显著性区域作为初始值，采用图像前景提取方法获取关键帧前景目标；
c.将关键帧前景目标与视频超像素分割结果匹配并在帧间传递：对关键帧前景目标所覆盖的视频体区域进行区域扩散，进而将前景目标提取结果在帧间连续传递。
优选地，所述步骤c后还包括步骤d.改善提取结果：通过用户交互接口勾选区域或者选择多层超像素分割的粒度来修正和改善步骤c得到的前景目标提取结果。
优选地，所述步骤a具体包括：
用类似图像分割的方法对视频进行超像素分割：先进行粒度较细的分割，然后进行区域合并，直至区域数目小于预设的阈值。
优选地，所述步骤b用GrabCut方法获得关键帧前景目标。
优选地，所述步骤c具体包括：提取超像素分割结果在关键帧上的横截面，统计前景目标落在横截面上相应区域的像素数量，若某个区域中前景像素数目大于一定阈值，则将视频体该区域中的体元素标为前景目标，并将关键帧中的结果传递给整个视频。
优选地，在所述步骤d中，所述用户交互接口，允许用户对错误标注在关键帧通过鼠标进行简单修改，用户在某个区域中按下鼠标左键或右键，分别对应添加和删除相应区域，并传递到整个视频。
优选地，在所述步骤c和步骤d中，用户可以选择多层超像素分割的粒度来进行前景目标匹配和交互修改，底层的分割粒度较细，高层的分割粒度较粗；用户还可以选择前景目标匹配结果和用户修改结果是否向前和向后传递。
(三)有益效果
本发明利用视频的时间和空间信息将视频进行多层超像素分割，并利用分割结果一致地传递关键帧的前景提取结果。本发明效率很高，结果准确，人工干预少，方法鲁棒。
附图说明
图1为本发明方法的流程图；
图2为本发明中视频超像素分割方法的流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不是限制本发明的范围。
参照图1本发明方法的流程图。本发明包括以下步骤：a.对视频进行多层超像素分割：将视频作为三维的视频体进行超像素分割，将视频体元素分组成为体区域；b.对视频进行关键帧的视觉显著性区域检测并对关键帧前景目标进行提取：对视频的关键帧图像，利用视觉显著性检测方法分析图像中的视觉显著性区域，然后利用视觉显著性区域作为初始值，采用图像前景提取方法获取关键帧前景目标；c.将关键帧前景目标与视频超像素分割结果匹配并在帧间传递：对关键帧前景目标所覆盖的视频体区域进行区域扩散，进而将前景目标提取结果在帧间连续传递。
优选地，所述步骤c后还包括步骤d.改善提取结果：通过用户交互接口勾选区域或者选择多层超像素分割的粒度来修正和改善步骤c得到的前景目标提取结果。
对于步骤a，参照图2，对用户输入的视频进行多层的超像素自动分割。首先将较长的视频分成若干较小的视频段，每段视频在10～20帧左右。段与段之间有1/3的重叠区域以保证相邻段间的连续性。对视频进行上述分段预处理之后，对于每段：将视频看做三维视频体，用类似图像分割方法分割视频体，对视频体元素的26邻域按照颜色相似规则进行合并，得到粒度较细的底层超像素分割结果。之后对各段的底层分割结果合并成一个整个结果，进而迭代地将底层结果合并成粒度较粗的高层分割结果，直至整个视频的超像素区域小于固定阈值。
对于步骤b，允许用户指定关键帧作为图像前景目标的模板，利用视觉注意方法分析图像中的视觉显著性区域，然后利用视觉显著性区域作为初始值，采用图像提取方法获取初始的前景。视觉注意方法可以提供一些关于视觉重要性的信息，通过这些信息进行区域增长之后就能得到视觉显著性区域。然后我们可以根据这个视觉注意区域来进行图分割，从而得到关键帧的前景目标。例如，用GrabCut方法获得矩形框内的前景目标。
对于步骤c，用在关键帧中提取的前景目标蒙板(mask)去匹配步骤a中得到的超像素分割得到的区域。具体为：提取超像素分割结果在关键帧上的横截面，统计目标前景落在横截面上相应区域的像素数量，若某个区域中前景像素数目大于一定阈值，则将视频体中整个区域中的体素标为前景，这样可以将关键帧中的结果传递给整个视频。
在步骤d中，由于步骤b的关键帧前景提取结果可能出现与超像素分割结果不匹配的情况造成误标注。本发明提供了用户交互接口，允许用户对错误标注在关键帧通过鼠标进行简单修改，用户在某个区域中按下鼠标左键或右键，分别对应添加和删除相应区域，并传递到整个视频。
在步骤c和步骤d中，用户可以选择多层超像素分割的粒度来进行前景目标匹配和交互修改，底层的分割粒度较细，高层的分割粒度较粗。用户还可以选择前景匹配结果和用户修改结果是否向前和向后传递。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。
Claims (6)
1.一种基于视觉显著性和超像素分割的视频前景目标提取方法，其特征在于，包括步骤：
a.对视频进行多层超像素分割：将视频作为三维的视频体进行超像素分割，将视频体元素分组成为体区域；
b.对视频进行关键帧的视觉显著性区域检测并对关键帧前景目标进行提取：对视频的关键帧图像，利用视觉显著性检测方法分析图像中的视觉显著性区域，然后利用视觉显著性区域作为初始值，采用图像前景提取方法获取关键帧前景目标；
c.将关键帧前景目标与视频超像素分割结果匹配并在帧间传递：对关键帧前景目标所覆盖的视频体区域进行区域扩散，进而将前景目标提取结果在帧间连续传递，具体为提取超像素分割结果在关键帧上的横截面，统计前景目标落在横截面上相应区域的像素数量，若某个区域中前景像素数目大于一定阈值，则将视频体该区域中的体元素标为前景目标，并将关键帧中的结果传递给整个视频。
2.如权利要求1所述的方法，其特征在于，所述步骤c后还包括步骤d.改善提取结果：通过用户交互接口勾选区域或者选择多层超像素分割的粒度来修正和改善步骤c得到的前景目标提取结果。
3.如权利要求1或2所述的方法，其特征在于，所述步骤a具体包括：
用类似图像分割的方法对视频进行超像素分割：先进行粒度较细的分割，然后进行区域合并，直至区域数目小于预设的阈值。
4.如权利要求1或2所述的方法，其特征在于，所述步骤b用GrabCut方法获得关键帧前景目标。
5.如权利要求2所述的方法，其特征在于，在所述步骤d中，所述用户交互接口，允许用户在关键帧对错误标注通过鼠标进行简单修改，用户在某个区域中按下鼠标左键或右键，分别对应添加和删除相应区域，并传递到整个视频。
6.如权利要求2所述的方法，其特征在于，在所述步骤c和步骤d中，用户能够选择多层超像素分割的粒度来进行前景目标匹配和交互修改，底层的分割粒度较细，高层的分割粒度较粗；用户还能够选择前景目标匹配结果和用户修改结果是否向前和向后传递。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110458008.9A CN102637253B (zh) | 2011-12-30 | 2011-12-30 | 基于视觉显著性和超像素分割的视频前景目标提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110458008.9A CN102637253B (zh) | 2011-12-30 | 2011-12-30 | 基于视觉显著性和超像素分割的视频前景目标提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102637253A CN102637253A (zh) | 2012-08-15 |
| CN102637253B true CN102637253B (zh) | 2014-02-19 |
Family
ID=46621642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110458008.9A Active CN102637253B (zh) | 2011-12-30 | 2011-12-30 | 基于视觉显著性和超像素分割的视频前景目标提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102637253B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2013248207A1 (en) * | 2012-11-15 | 2014-05-29 | Thomson Licensing | Method for superpixel life cycle management |
| CN103914710A (zh) * | 2013-01-05 | 2014-07-09 | 北京三星通信技术研究有限公司 | 从图像中检测对象的设备和方法 |
| CN103353987B (zh) * | 2013-06-14 | 2015-10-28 | 山东大学 | 一种基于模糊理论的超像素分割方法 |
| CN103413120B (zh) * | 2013-07-25 | 2016-07-20 | 华南农业大学 | 基于物体整体性和局部性识别的跟踪方法 |
| EP2874119A1 (en) | 2013-11-19 | 2015-05-20 | Thomson Licensing | Method and apparatus for generating superpixels |
| CN103714181B (zh) * | 2014-01-08 | 2016-09-28 | 天津大学 | 一种层级化的特定人物检索方法 |
| GB2523330A (en) | 2014-02-20 | 2015-08-26 | Nokia Technologies Oy | Method, apparatus and computer program product for segmentation of objects in media content |
| JP6445775B2 (ja) * | 2014-04-01 | 2018-12-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| CN104134217B (zh) * | 2014-07-29 | 2017-02-15 | 中国科学院自动化研究所 | 一种基于超体素图割的视频显著物体分割方法 |
| CN104537355B (zh) * | 2015-01-12 | 2017-11-24 | 中南大学 | 一种利用图像边界信息和区域连通性的显著对象检测方法 |
| CN105469088B (zh) * | 2015-11-17 | 2018-10-19 | 西北工业大学 | 一种适用于目标识别的物体预测区域优化方法 |
| CN105608673B (zh) * | 2015-12-16 | 2020-09-25 | 清华大学 | 图像颜色量化与抖动方法和系统 |
| CN105513080B (zh) * | 2015-12-21 | 2019-05-03 | 南京邮电大学 | 一种红外图像目标显著性评估方法 |
| CN106548483B (zh) * | 2016-10-27 | 2019-04-19 | 西北工业大学 | 一种基于三维超像素分割的材料晶粒边缘提取方法 |
| CN107133955B (zh) * | 2017-04-14 | 2019-08-09 | 大连理工大学 | 一种多层次结合的协同显著性检测方法 |
| CN108229290B (zh) | 2017-07-26 | 2021-03-02 | 北京市商汤科技开发有限公司 | 视频物体分割方法和装置、电子设备、存储介质 |
| CN108600865B (zh) * | 2018-05-14 | 2019-07-23 | 西安理工大学 | 一种基于超像素分割的视频摘要生成方法 |
| CN111402284B (zh) * | 2020-03-17 | 2023-07-25 | 中国人民解放军国防科学技术大学 | 一种基于三维连通性的图像阈值测定方法及装置 |
| CN114529589B (zh) * | 2020-11-05 | 2024-05-24 | 北京航空航天大学 | 全景视频浏览交互方法 |
| CN115393585B (zh) * | 2022-08-11 | 2023-05-12 | 江苏信息职业技术学院 | 一种基于超像素融合网络的运动目标检测方法 |
| CN116342629A (zh) * | 2023-06-01 | 2023-06-27 | 深圳思谋信息科技有限公司 | 一种图像交互分割方法、装置、设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7254268B2 (en) * | 2002-04-11 | 2007-08-07 | Arcsoft, Inc. | Object extraction |
| US8009925B2 (en) * | 2006-12-29 | 2011-08-30 | Intel Corporation | Method and apparatus for processing video data |
| CN101299274B (zh) * | 2008-06-18 | 2010-06-09 | 北京中星微电子有限公司 | 一种移动固定目标的检测方法及系统 |
| CN102129693B (zh) * | 2011-03-15 | 2012-07-25 | 清华大学 | 基于色彩直方图和全局对比度的图像视觉显著性计算方法 |
-
2011
- 2011-12-30 CN CN201110458008.9A patent/CN102637253B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN102637253A (zh) | 2012-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102637253B (zh) | 基于视觉显著性和超像素分割的视频前景目标提取方法 | |
| Oneata et al. | Spatio-temporal object detection proposals | |
| Jiang et al. | Automatic salient object segmentation based on context and shape prior. | |
| EP2523165B1 (en) | Image processing method and image processing device | |
| CN103605991A (zh) | 一种视频广告的自动检测方法 | |
| Li et al. | Foveanet: Perspective-aware urban scene parsing | |
| US8385654B2 (en) | Salience estimation for object-based visual attention model | |
| CN103714181B (zh) | 一种层级化的特定人物检索方法 | |
| CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN104134217A (zh) | 一种基于超体素图割的视频显著物体分割方法 | |
| CN103237201A (zh) | 一种基于社会化标注的案件视频研判方法 | |
| CN101951511B (zh) | 一种通过分析深度进行视频场景分层的方法 | |
| CN102098449B (zh) | 一种利用标志检测进行电视节目内部自动分割的方法 | |
| CN101510304B (zh) | 一种分割获取前景图像的方法、装置和摄像头 | |
| CN104166988B (zh) | 一种融入稀疏匹配信息的立体图像同步分割方法 | |
| Peng et al. | Superpixel optimization using higher order energy | |
| Yan et al. | Depth map generation for 2d-to-3d conversion by limited user inputs and depth propagation | |
| CN102523536A (zh) | 视频语义可视化方法 | |
| Déniz et al. | Fast and accurate global motion compensation | |
| Li et al. | Optimized automatic seeded region growing algorithm with application to ROI extraction | |
| CN103914822A (zh) | 基于超像素分割的交互式视频前景对象提取方法 | |
| Ju et al. | Stereosnakes: contour based consistent object extraction for stereo images | |
| Lu et al. | Context-constrained accurate contour extraction for occlusion edge detection | |
| Li et al. | A novel method for 2D-to-3D video conversion using bi-directional motion estimation | |
| Zhou et al. | Modeling perspective effects in photographic composition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |