CN106372636A - 基于hop_top的视频显著性检测方法 - Google Patents

基于hop_top的视频显著性检测方法 Download PDF

Info

Publication number
CN106372636A
CN106372636A CN201610729077.1A CN201610729077A CN106372636A CN 106372636 A CN106372636 A CN 106372636A CN 201610729077 A CN201610729077 A CN 201610729077A CN 106372636 A CN106372636 A CN 106372636A
Authority
CN
China
Prior art keywords
hog
plane
detection method
saliency
significance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610729077.1A
Other languages
English (en)
Inventor
阳兵
高志勇
张小云
陈立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610729077.1A priority Critical patent/CN106372636A/zh
Publication of CN106372636A publication Critical patent/CN106372636A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于HOG_TOP的视频显著性检测方法，其包括以下步骤：步骤一：将原始视频在三个正交的平面XY、XT、YT计算得到HOG_TOP特征；步骤二：在XY平面通过计算中央‑周围原则得到空域显著性图SS；步骤三：分别在XT，YT平面通过中央‑周围原则计算得到时域显著性图SXT和SYT；步骤四：自适应的融合XT和YT方向的显著性图得到最终的时域显著性图ST；步骤五：自适应的融合SS和ST得到最终的显著性值SF。本发明提供的方法通过利用HOG_TOP特征，在XY，XT，YT三个平面分别利用中心—周围原则去计算得到显著性图，能够更好地取得时间轴的预测信息，从而能够得到高质量的显著性图。

Description

基于HOP_TOP的视频显著性检测方法
技术领域
本发明涉及一种计算机视觉技术，特别是涉及一种基于HOP_TOP的视频显著性检测方法。
背景技术
视频当中往往包含复杂的场景，然而，人眼在面对复杂场景的时候，注意力只会集中在有限的区域，这些突出的区域被称为视觉显著性区域。目前国内外提出了一些视频视觉显著性算法，例如，Seo(H.J.Seo and P.Milanfar，“Static and space-time visualsaliency detection by self-resemblance，”J.Vis.，vol.9，no.12，p.15，Nov.2009.)提出了一种利用自相似去计算显著性的方法。该方法首先提出一种包含了当前像素与周围像素关系的局部特征，然后基于这个特征去计算自相似度，取得了一定的效果。Guo(C.Guoand L.Zhang，“A novel multiresolution spatiotemporal saliency detection modeland its applications in image and video compression，”IEEE Trans.ImageProcess.，vol.19，no.1，pp.185–198，Jan.2010.)提出了一种利用四元数傅里叶频谱变换去计算显著性的方法，四维特征空间由亮度，两个色度以及帧之间差异构成。
目前国内专利有：基于视频帧图像中颜色和运动全局对比度的视觉显著性算法(专利申请号201310080831)。该方法主要利用颜色和运动计算对比度的方法来得到显著性图，在对比度明显的情况下能够取得较好的效果，但是在复杂场景的时候性能会有一定程度的下降。
本发明公开的方法不同于上述所有方法，因为本发明目的在于针对复杂场景去得到高质量的显著性图，利用三个正交平面的中央-周围机制去得到不同的显著性图，然后自适应的融合这三幅显著性图去得到最终的显著性图。
发明内容
本发明所要解决的技术问题是提供一种基于HOG_TOP的视频显著性检测方法，使得在复杂场景下面能够得到高质量的显著性图。
本发明是通过下述技术方案来解决上述技术问题的：一种基于HOG_TOP的视频显著性检测方法，其特征在于，其包括以下步骤：
步骤一：将原始视频在三个正交的平面XY、XT、YT计算得到HOG_TOP特征；
其具体过程如下，把原始输入视频看成一个立方体，三个正交的轴分别为X轴，Y轴以及T轴，然后在每个平面计算HOG特征.HOG特征的主要计算步骤如下：一、灰度化(将图像看做一个x，y，z(灰度)的三维图像)；二、计算图像每个像素的梯度(包括方向和大小)；三、将图像划分成小的cells；四、统计每个cell(单元，用来表示每个单元当中包含的像素的个数)的梯度直方图，即可形成每个cell的描述子；五、将每几个cell组成一个block(块，用来表示每个块当中包含多少个cell)，一个block内所有的cell的描述子串联起来便得到该block的HOG特征；
步骤二：在XY平面通过计算中央-周围原则得到空域显著性图SS；
其具体过程如下，对于每一个像素l＝(xc,yc)，我们提取出来一个中央区域rC和一个周围区域rS，其中rC和rS具有共同的中心。接着我们计算rC和rS在XY平面对应的特征分布hc和hs，并且定义hc和hs的差异为像素l的显著性值；
步骤三：分别在XT，YT平面通过中央-周围原则计算得到时域显著性图SXT和SYT；
步骤四：自适应的融合XT和YT方向的显著性图得到最终的时域显著性图ST；
其具体过程如下，分别计算SXT和SYT的平均值，然后自适应的融合SXT和SYT去得到ST；
步骤五：自适应的融合SS和ST得到最终的显著性值SF；
其具体过程如下，分别计算SS和ST的平均值，然后自适应的融合SS和ST去得到SF。
优选地，所述步骤二和步骤三中，在每个平面通过中心—周围原则去得到显著性值。
优选地，所述步骤四和步骤五中，自适应的融合各个平面的显著性图去得到最终的显著性值。
优选地，所述步骤一把原始输入视频看成一个立方体，三个正交的轴分别为X轴，Y轴以及T轴，然后在每个平面计算HOG特征。
所述HOG特征采用如下步骤计算：一、灰度化；二、计算图像每个像素的优选地，梯度；三、将图像划分成小的单元；四、统计每个单元的梯度直方图；五、将每几个单元组成一个块，一个块内所有的单元的描述子串联起来便得到该块的HOG特征。
本发明的积极进步效果在于：本发明提供的方法通过利用HOG_TOP特征，在XY，XT，YT三个平面分别利用中心—周围原则去计算得到显著性图，能够更好地取得时间轴的预测信息，从而能够得到高质量的显著性图。
附图说明
图1为本发明所提出的基于HOG_TOP的视频显著性检测方法的流程图。
具体实施方式
下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。
如图1所示，为本发明基于HOG_TOP的视频显著性检测方法的一个实例的处理流程图，包括以下步骤：
步骤一：将原始视频在三个正交的平面XY、XT、YT计算得到HOG_TOP特征；
其具体过程如下，把原始输入视频看成一个立方体，三个正交的轴分别为X轴，Y轴以及T轴，然后在每个平面计算HOG特征。HOG特征的主要计算步骤如下：一、灰度化(将图像看做一个x，y，z(灰度)的三维图像)；二、计算图像每个像素的梯度(包括方向和大小)；三、将图像划分成小的cells；四、统计每个cell(单元，用来表示每个单元当中包含的像素的个数)的梯度直方图，即可形成每个cell的描述子；五、将每几个cell组成一个block(块，用来表示每个块当中包含多少个cell)，一个block内所有的cell的描述子串联起来便得到该block(块)的HOG特征。
在计算每个平面的HOG特征的时候，每个block中包含2x2个cell，XY平面的每个cell包含8x8个像素，XT和YT平面的每个cell包含3x3个像素。
步骤二：对于每一个像素l＝(xc,yc)，我们提取出来一个中央区域rC和一个周围区域rS，其中rC和rS具有共同的中心。接着我们计算rC和rS在XY平面对应的特征分布hc和hs，并且定义hc和hs的差异为像素l的显著性值。计算公式如下：
S S ( l ) = χ 2 ( h c , h s ) = Σ i = 1 N ( h c ( i ) - h s ( i ) ) 2 ( h c ( i ) + h s ( i ) ) / 2 - - - ( 1 )
上式中hc和hs是对应着rC和rS的直方图分布，N代表量化的bin的数目，χ(·,·)代表两个矢量的卡方距离。
在XY平面按照(1)式计算得到空域显著性图SS，其中N的值为9，rS的大小是rC的4倍大。
步骤三：如XY平面类似的操作，分别在XT，YT平面按照(1)式计算得到时域显著性图SXT和SYT；
步骤四：分别计算SXT和SYT的平均值，然后自适应的融合SXT和SYT去得到ST。计算公式如下：
S T = m e a n ( S Y T ) m e a n ( S X T ) + m e a n ( S Y T ) S Y T + m e a n ( S X T ) m e a n ( S X T ) + m e a n ( S Y T ) S X T - - - ( 2 )
按照(2)式去融合XT和YT对应的显著性图得到最终的时域显著性图ST。
步骤五：分别计算SS和ST的平均值，然后自适应的融合SS和ST去得到SF。计算公式如下：
S F = m e a n ( S S ) m e a n ( S S ) + m e a n ( S S ) S S + m e a n ( S T ) m e a n ( S S ) + m e a n ( S T ) S T - - - ( 3 )
按照(3)式去融合空域和时域显著性图去得到最终的显著性图SF。
综上所述，本发明提供的方法通过利用HOG_TOP特征，在XY，XT，YT三个平面分别利用中心—周围原则去计算得到显著性图，能够更好地取得时间轴的预测信息，从而能够得到高质量的显著性图。
以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于HOG_TOP的视频显著性检测方法，其特征在于，其包括以下步骤：
步骤一：将原始视频在三个正交的平面XY、XT、YT计算得到HOG_TOP特征；
步骤二：在XY平面通过计算中央-周围原则得到空域显著性图SS；
步骤三：分别在XT，YT平面通过中央-周围原则计算得到时域显著性图SXT和SYT；
步骤四：自适应的融合XT和YT方向的显著性图得到最终的时域显著性图ST；
步骤五：自适应的融合SS和ST得到最终的显著性值SF。
2.根据权利要求1所述的基于HOG_TOP的视频显著性检测方法，其特征在于，所述步骤二和步骤三中，在每个平面通过中心—周围原则去得到显著性值。
3.根据权利要求1所述的基于HOG_TOP的视频显著性检测方法，其特征在于，所述步骤四和步骤五中，自适应的融合各个平面的显著性图去得到最终的显著性值。
4.根据权利要求1所述的基于HOG_TOP的视频显著性检测方法，其特征在于，所述步骤一把原始输入视频看成一个立方体，三个正交的轴分别为X轴，Y轴以及T轴，然后在每个平面计算HOG特征。
5.根据权利要求4所述的基于HOG_TOP的视频显著性检测方法，其特征在于，所述HOG特征采用如下步骤计算：一、灰度化；二、计算图像每个像素的梯度；三、将图像划分成小的单元；四、统计每个单元的梯度直方图；五、将每几个单元组成一个块，一个块内所有的单元的描述子串联起来便得到该块的HOG特征。
CN201610729077.1A 2016-08-25 2016-08-25 基于hop_top的视频显著性检测方法 Pending CN106372636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610729077.1A CN106372636A (zh) 2016-08-25 2016-08-25 基于hop_top的视频显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610729077.1A CN106372636A (zh) 2016-08-25 2016-08-25 基于hop_top的视频显著性检测方法

Publications (1)

Publication Number Publication Date
CN106372636A true CN106372636A (zh) 2017-02-01

Family

ID=57879363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610729077.1A Pending CN106372636A (zh) 2016-08-25 2016-08-25 基于hop_top的视频显著性检测方法

Country Status (1)

Country Link
CN (1) CN106372636A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2347493A1 (en) * 2001-05-14 2002-11-14 James H. Elder Attentive panoramic sensing for visual telepresence
CN102034267A (zh) * 2010-11-30 2011-04-27 中国科学院自动化研究所 基于关注度的目标物三维重建方法
CN103065326A (zh) * 2012-12-26 2013-04-24 西安理工大学 基于时-空多尺度运动注意力分析的目标检测方法
CN103095996A (zh) * 2013-01-25 2013-05-08 西安电子科技大学 基于时空显著性检测的多传感器视频融合方法
CN103455817A (zh) * 2013-04-28 2013-12-18 南京理工大学 一种鲁棒的时空域的人体特征提取方法
CN103632372A (zh) * 2013-12-05 2014-03-12 宁波大学 一种视频显著图提取方法
CN104134217A (zh) * 2014-07-29 2014-11-05 中国科学院自动化研究所 一种基于超体素图割的视频显著物体分割方法
CN104537689A (zh) * 2014-12-25 2015-04-22 中国科学院自动化研究所 基于局部对比显著性联合特征的目标跟踪方法
CN105005773A (zh) * 2015-07-24 2015-10-28 成都市高博汇科信息科技有限公司 一种融合时域信息和空域信息的行人检测方法
CN105488812A (zh) * 2015-11-24 2016-04-13 江南大学 一种融合运动特征的时空显著性检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2347493A1 (en) * 2001-05-14 2002-11-14 James H. Elder Attentive panoramic sensing for visual telepresence
CN102034267A (zh) * 2010-11-30 2011-04-27 中国科学院自动化研究所 基于关注度的目标物三维重建方法
CN103065326A (zh) * 2012-12-26 2013-04-24 西安理工大学 基于时-空多尺度运动注意力分析的目标检测方法
CN103095996A (zh) * 2013-01-25 2013-05-08 西安电子科技大学 基于时空显著性检测的多传感器视频融合方法
CN103455817A (zh) * 2013-04-28 2013-12-18 南京理工大学 一种鲁棒的时空域的人体特征提取方法
CN103632372A (zh) * 2013-12-05 2014-03-12 宁波大学 一种视频显著图提取方法
CN104134217A (zh) * 2014-07-29 2014-11-05 中国科学院自动化研究所 一种基于超体素图割的视频显著物体分割方法
CN104537689A (zh) * 2014-12-25 2015-04-22 中国科学院自动化研究所 基于局部对比显著性联合特征的目标跟踪方法
CN105005773A (zh) * 2015-07-24 2015-10-28 成都市高博汇科信息科技有限公司 一种融合时域信息和空域信息的行人检测方法
CN105488812A (zh) * 2015-11-24 2016-04-13 江南大学 一种融合运动特征的时空显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SATYA MUDDAMSETTY,ET AL: "《Spatio-Temporal Saliency Detection in Dynamic Scenes using Local Binary Patterns》", 《ICPR》 *

Similar Documents

Publication Publication Date Title
US20220044375A1 (en) Saliency Map Enhancement-Based Infrared and Visible Light Fusion Method
CN109741256A (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
Ding et al. Efficient dark channel based image dehazing using quadtrees
CN108932725B (zh) 基于卷积神经网络的场景流估计方法
CN102360489B (zh) 实现二维图像到三维图像转换的方法及装置
CN112489050A (zh) 一种基于特征迁移的半监督实例分割算法
Shen et al. Convolutional neural pyramid for image processing
Yang et al. Stereoscopic video quality assessment based on 3D convolutional neural networks
CN106920214A (zh) 空间目标图像超分辨率重建方法
CN104657962A (zh) 基于级联线性回归的图像超分辨重建方法
CN112990077A (zh) 基于联合学习与光流估计的面部动作单元识别方法及装置
CN109064436A (zh) 图像融合方法
Zhu et al. Infrared moving point target detection based on an anisotropic spatial-temporal fourth-order diffusion filter
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法
CN101742088B (zh) 非局部均值空域时变视频滤波方法
WO2024040973A1 (zh) 一种基于堆叠沙漏网络的多尺度融合去雾方法
CN106372636A (zh) 基于hop_top的视频显著性检测方法
Pang et al. Infrared and visible image fusion based on double fluid pyramids and multi-scale gradient residual block
Liu et al. Importance biased traffic scene segmentation in diverse weather conditions
Bai et al. Monocular outdoor semantic mapping with a multi-task network
CN103632357A (zh) 一种基于光照分离的图像超分辨率增强方法
CN103136735A (zh) 一种基于双尺度暗通道的单幅图像去雾方法
CN103870830B (zh) 车道线边缘特征点的提取方法及装置
CN103106642B (zh) 基于非抽取形态小波的图像融合方法及装置
Huang et al. Human typical action recognition using gray scale image of silhouette sequence

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170201

RJ01 Rejection of invention patent application after publication