CN103327359A - 一种应用于视频质量评价的视频显著性区域搜索方法 - Google Patents

一种应用于视频质量评价的视频显著性区域搜索方法 Download PDF

Info

Publication number
CN103327359A
CN103327359A CN2013102361921A CN201310236192A CN103327359A CN 103327359 A CN103327359 A CN 103327359A CN 2013102361921 A CN2013102361921 A CN 2013102361921A CN 201310236192 A CN201310236192 A CN 201310236192A CN 103327359 A CN103327359 A CN 103327359A
Authority
CN
China
Prior art keywords
video
spectrum
phase difference
quality evaluation
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013102361921A
Other languages
English (en)
Other versions
CN103327359B (zh
Inventor
殷海兵
谭晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201310236192.1A priority Critical patent/CN103327359B/zh
Publication of CN103327359A publication Critical patent/CN103327359A/zh
Application granted granted Critical
Publication of CN103327359B publication Critical patent/CN103327359B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种应用于视频质量评价的视频显著性区域搜索方法，包括如下步骤：取出关键帧与其前一帧的三维相关区域；获得三维区域的频率域显示；分别取出频率域的幅值谱和相位谱；获取谱残差和相位差；处理相位差，使其在规定范围内；获取谱残差与相位差的空间域显示；对获得的空间域结果进行高斯滤波；获得视频关键帧的显著性结果图。本发明考虑到视频在时间上和空间上的相关性，并依据人眼视觉特征确定适应于视频关键帧显著性图的时间管道；同时考虑到视频关键帧的幅度谱和相位谱在建立显著性模型时的重要作用；依据谱残差和相位差能够比较准确地去除了背景不动的区域，并保留关键的结构特征。

Description

一种应用于视频质量评价的视频显著性区域搜索方法
技术领域
本发明属于视频处理技术领域，涉及视频质量评价、感知编码、机器视觉等，可用于视频压缩和视频显著性区域提取及其相关的装置和产品，具体涉及一种应用于视频质量评价的视频显著性区域搜索方法。
背景技术
随着网络的快速发展，人们对视频质量的要求越来越高，视频质量评价的研究意义就显得尤为重要。如何能在维持或增强视频质量的情况下，对视频进行压缩并易于传输是近年来研究的重点和热点。视频显著性区域的研究是在视频压缩过程中维持或增强视频质量的重要部分，同时也是解决视频传输等的一个有效的方法。视频显著性区域研究同时也涉及到其他的研究领域，如计算机视觉，心理学等。
视频中场景变换复杂，每个画面信息内容强大，人们已经发现在图像信息内容丰富的情况下，人眼关注的焦点总是集中在图像或视频中的某一些特定区域。这是人眼视觉系统的一个内在属性。充分了解人类视觉的这种内在属性，并能够依据人眼的内在属性处理图像或者视频使其能更好的适应人们对图像或视频质量的要求。
关于显著性研究是从上个世纪80年代中期开始的。显著性区域的提取一般是通过人眼视觉关注特性，模拟视觉的关注过程，通过分析图像的信息和特征提取图像或者视频中能够引起视觉关注的部分。如何根据计算机对图像/视频建立一个合适的显著性研究模型是目前世界科研领域亟待解决的问题。
目前对图像显著性区域研究的方法有很多。视觉注意模型开始是Koch在文章“Shifts in selective visual attention : Towards the underlying neural circuitry”中，并在视觉生理和心理物理实验结果的基础上，根据显著性区域建立了视觉注意模型。由Itti提出算法“A model of saliency-based visual attention for rapid scene analysis, IEEE Trans. Pattern Anal.Mach.Intell.1998,20:1254-1259.”完善了模型。Itti算法中根据亮度，色度以及图像的方向空间三个通道的显著性区域的结果图融合得到最终的图像显著性图。这些方法都是模拟人眼的视觉注意力机制，能够比较好的检测出图像显著性图。但是对于视频的显著性图的分析不能仅从图像考虑，同时需要考虑到视频在时域上的相关性。
与本发明相接近的算法为Xiaodi Hou在文章中“Saliency Detection: A Spectral Residual Appraoch，CVPR，2007：1-8”提出的一种简单的图像显著性算法，该算法中通过分析图像频率域的幅值特性，并根据大量图像幅值特性的研究结果，通过谱残差最终得到图像的显著性区域。
具体步骤如下：
1.      如果测试图像是彩色图像转化为灰度图像；
2.      对测试图像进行FFT变换；
3.      分别取变化后的幅值图                                                
Figure 2013102361921100002DEST_PATH_IMAGE001
和相位图；
4.      根据
Figure 2013102361921100002DEST_PATH_IMAGE003
计算得到谱残差，
Figure 969718DEST_PATH_IMAGE004
为3x3的均值滤波器；
5.      根据
Figure 2013102361921100002DEST_PATH_IMAGE005
和做傅里叶逆变换得到
Figure 662179DEST_PATH_IMAGE006
；
6.      根据公式
Figure 2013102361921100002DEST_PATH_IMAGE007
计算得到显著性图。
但是该方法有如下缺点：
(1)   图像显著性不能很好的适应于视频关键帧显著性的计算；
(2)   没有考虑到相位对于显著性检测的重要性；
（3）背景复杂的情况下不能很好地检测出显著性区域。
发明内容
 为了解决现有技术中存在的上述技术问题，本发明提供了一种应用于视频质量评价的视频显著性区域搜索方法，包括如下步骤：
(1)   取出关键帧与其前一帧的三维相关区域；
(2)   获得三维区域的频率域显示；
(3)   分别取出频率域的幅值谱和相位谱；
(4)   获取谱残差和相位差；
(5)   处理相位差，使其在规定范围内；
(6)   获取谱残差与相位差的空间域显示；
(7)   对获得的空间域结果进行高斯滤波；
(8)   获得视频关键帧的显著性结果图。
进一步的，其中步骤(1)所述的取出关键帧与其前一帧的三维相关区域，按如下步骤进行：
(21) 提取测试序列关键帧的原始图像及其前后各10帧的原始图像，得到三维相关区域
Figure 370241DEST_PATH_IMAGE008
；
(22) 提取测试序列关键帧前一帧的原始图像及其前后各10帧的原始图像，得到三维相关区域
Figure 2013102361921100002DEST_PATH_IMAGE009
。
进一步的，其中步骤(2)所述的获得三维区域的频率域显示，按如下步骤进行：
   (31) 根据步骤(21)得到的三维区域
Figure 557640DEST_PATH_IMAGE008
，对其进行n维傅里叶变换得到频谱图
Figure 542913DEST_PATH_IMAGE010
；
   (32) 根据步骤(22)得到的三维区域
Figure 532298DEST_PATH_IMAGE009
，对其进行n维傅里叶变换得到频谱图。
进一步的，其中步骤(3)所述的分别取出频率域的幅值谱和相位谱，按如下步骤进行：
   (41) 根据频谱图，取其幅度谱和相位谱；
   (42) 根据频谱图
Figure 594112DEST_PATH_IMAGE011
，取其幅度谱和相位谱。
进一步的，其中步骤(4)所述的获取谱残差和相位差，按如下步骤进行：
   (51) 取测试帧与其前一帧的谱残差
Figure 620843DEST_PATH_IMAGE012
；
   (52) 取测试帧与其前一帧的相位差。
进一步的，其中步骤(5)所述的处理相位差，使其在规定范围内，按如下步骤进行：
   (61) 通过加减
Figure 39186DEST_PATH_IMAGE014
处理相位差B，使其小于等于π。
进一步的，其中步骤(6)所述的获取谱残差与相位差的空间域，按如下步骤进行：
   (71) 根据n维傅里叶逆变换规则，处理谱残差和相位差，得到其空间域的显示图
Figure DEST_PATH_IMAGE015
。
进一步的，其中步骤(7)所述的对获得的空间域结果进行高斯滤波，按如下步骤进行：
   (81) 确定高斯滤波搜索窗大小11x11；
   (82) 计算得到三维高斯滤波器；
   (83) 对空间域的显示图
Figure 20042DEST_PATH_IMAGE015
进行高斯滤波得到图像。
进一步的，其中步骤(8)所述的获得视频关键帧的显著性结果图，按如下步骤进行：
(91) 对图像
Figure 571427DEST_PATH_IMAGE016
进行处理，使其映射到0~1。
本发明的应用于视频质量评价的视频显著性区域搜索方法的有益效果如下：
(1)   考虑到视频在时间上和空间上的相关性，并依据人眼视觉特征确定适应于视频关键帧显著性图的时间管道；
(2)   同时考虑到视频关键帧的幅度谱和相位谱在建立显著性模型时的重要作用；
(3)   依据谱残差和相位差能够比较准确地去除了背景不动的区域，并保留关键的结构特征。
附图说明
图1是本发明的应用于视频质量评价的视频显著性区域搜索方法的流程图；
图2是高斯滤波算法图；
图3是测试序列foreman的测试帧图；
图4是测试序列foreman的测试帧前一帧图；
图5是foreman序列关键帧Hou算法与本发明的对比图；
图6是测试序列paris的测试帧图；
图7是测试序列paris的测试帧图前一帧图；
图8是paris序列关键帧Hou的算法与本发明的对比图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1-8所示，本发明的应用于视频质量评价的视频显著性区域搜索方法，具体步骤如下：
步骤一：取出关键帧与其前一帧的三维相关区域：
(1.1) 确定测试序列关键帧（也就是测试帧）；
(1.2) 提取测试序列关键帧的亮度信息；
(1.3) 确定测试序列关键帧的亮度信息及其前后各10帧的亮度信息，得到三维相关区域
Figure 347622DEST_PATH_IMAGE008
；
(1.4) 提取测试序列关键帧前一帧的亮度信息及其前后各10帧的亮度信息，得到三维相关区域；
步骤二：获得三维区域的频率域显示：
   (2.1) 对三维区域
Figure 725830DEST_PATH_IMAGE008
进行n维傅里叶变换得到频谱图
Figure 960109DEST_PATH_IMAGE010
；
   (2.2) 对三维区域
Figure 48151DEST_PATH_IMAGE009
进行n维傅里叶变换得到频谱图
Figure 315184DEST_PATH_IMAGE011
；
步骤三：分别取出频率域的幅值谱和相位谱：
   (3.1) 根据频谱图
Figure 451767DEST_PATH_IMAGE010
和下述表达式，取其幅度谱和相位谱：
       
Figure DEST_PATH_IMAGE017
  
   (3.2) 根据频谱图
Figure 300961DEST_PATH_IMAGE011
和下述表达式，取其幅度谱和相位谱：
       
Figure DEST_PATH_IMAGE019
  
Figure 992973DEST_PATH_IMAGE020
步骤四：获取谱残差和相位差：
   (4.1) 谱残差
Figure 729985DEST_PATH_IMAGE012
的表达式为
Figure DEST_PATH_IMAGE021
；
   (4.2) 相位差的表达式为
Figure 371630DEST_PATH_IMAGE022
；
步骤五：处理相位差B，使其在规定范围内：
   (5.1) 根据正弦函数的周期性处理相位差，使得相位差的范围在[-π，π]；
步骤六：获取谱残差与相位差的空间域：
   (6.1) 根据n维傅里叶逆变换规则，将谱残差作为新图像的幅值，相位差作为新图像的相位，得到新图像的空间域的显示图
Figure 285359DEST_PATH_IMAGE015
；
步骤七：对获得的空间域结果进行高斯滤波：
   (7.1) 确定高斯滤波搜索窗大小11x11，如图2所示为高斯滤波器的算法图；
   (7.2) 计算得到三维高斯滤波器
Figure DEST_PATH_IMAGE023
；
   (7.3) 根据下述表达式对空间域的显示图进行高斯滤波得到图像
Figure 656484DEST_PATH_IMAGE016
：
Figure 991650DEST_PATH_IMAGE024
 
Figure DEST_PATH_IMAGE025
为关键帧坐标；
步骤八：获得视频关键帧的显著性结果图：
(8.1) 对图像
Figure 658255DEST_PATH_IMAGE016
进行处理，使其映射到0~1。
本发明的应用于视频质量评价的视频显著性区域搜索方法采用视频帧的空间相关性和时间相关性计算显著性图，基于关键帧的空时域范围内的幅值谱残差和相位差的关系获得关键帧的显著性图，降低关键帧基本不动的背景区域的显著性。

Claims (9)

1.一种应用于视频质量评价的视频显著性区域搜索方法，包括如下步骤：
取出关键帧与其前一帧的三维相关区域；
获得三维区域的频率域显示；
分别取出频率域的幅值谱和相位谱；
获取谱残差和相位差；
处理相位差，使其在规定范围内；
获取谱残差与相位差的空间域显示；
对获得的空间域结果进行高斯滤波；
获得视频关键帧的显著性结果图。
2.根据权利要求1所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(1)所述的取出关键帧与其前一帧的三维相关区域，按如下步骤进行：
(21) 提取测试序列关键帧的原始图像及其前后各10帧的原始图像，得到三维相关区域                                                
Figure 2013102361921100001DEST_PATH_IMAGE001
；
(22) 提取测试序列关键帧前一帧的原始图像及其前后各10帧的原始图像，得到三维相关区域
Figure 741586DEST_PATH_IMAGE002
。
3.根据权利要求2所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(2)所述的获得三维区域的频率域显示，按如下步骤进行：
   (31) 根据步骤(21)得到的三维区域
Figure 426514DEST_PATH_IMAGE001
，对其进行n维傅里叶变换得到频谱图
Figure 2013102361921100001DEST_PATH_IMAGE003
；
   (32) 根据步骤(22)得到的三维区域，对其进行n维傅里叶变换得到频谱图
Figure 86483DEST_PATH_IMAGE004
。
4.根据权利要求3所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(3)所述的分别取出频率域的幅值谱和相位谱，按如下步骤进行：
   (41) 根据频谱图
Figure 657403DEST_PATH_IMAGE003
，取其幅度谱和相位谱；
   (42) 根据频谱图
Figure 9887DEST_PATH_IMAGE004
，取其幅度谱和相位谱。
5.根据权利要求4所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(4)所述的获取谱残差和相位差，按如下步骤进行：
   (51) 取测试帧与其前一帧的谱残差
Figure DEST_PATH_IMAGE005
；
   (52) 取测试帧与其前一帧的相位差。
6.根据权利要求5所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(5)所述的处理相位差，使其在规定范围内，按如下步骤进行：
   (61) 通过加减
Figure DEST_PATH_IMAGE007
处理相位差B，使其小于等于π。
7.根据权利要求6所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(6)所述的获取谱残差与相位差的空间域，按如下步骤进行：
   (71) 根据n维傅里叶逆变换规则，处理谱残差和相位差，得到其空间域的显示图
Figure 515004DEST_PATH_IMAGE008
。
8.根据权利要求7所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(7)所述的对获得的空间域结果进行高斯滤波，按如下步骤进行：
   (81) 确定高斯滤波搜索窗大小11x11；
   (82) 计算得到三维高斯滤波器；
   (83) 对空间域的显示图
Figure 935621DEST_PATH_IMAGE008
进行高斯滤波得到图像
Figure DEST_PATH_IMAGE009
。
9.根据权利要求8所述的应用于视频质量评价的视频显著性区域搜索方法，其中步骤(8)所述的获得视频关键帧的显著性结果图，按如下步骤进行：
(91) 对图像
Figure 345874DEST_PATH_IMAGE009
进行处理，使其映射到0~1。
CN201310236192.1A 2013-06-14 2013-06-14 一种应用于视频质量评价的视频显著性区域搜索方法 Expired - Fee Related CN103327359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310236192.1A CN103327359B (zh) 2013-06-14 2013-06-14 一种应用于视频质量评价的视频显著性区域搜索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310236192.1A CN103327359B (zh) 2013-06-14 2013-06-14 一种应用于视频质量评价的视频显著性区域搜索方法

Publications (2)

Publication Number Publication Date
CN103327359A true CN103327359A (zh) 2013-09-25
CN103327359B CN103327359B (zh) 2015-02-18

Family

ID=49195849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310236192.1A Expired - Fee Related CN103327359B (zh) 2013-06-14 2013-06-14 一种应用于视频质量评价的视频显著性区域搜索方法

Country Status (1)

Country Link
CN (1) CN103327359B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955689A (zh) * 2014-04-14 2014-07-30 杭州电子科技大学 一种采用频率筛选的图像视觉感兴趣区域提取方法
CN103973976A (zh) * 2014-04-14 2014-08-06 杭州电子科技大学 一种利用光学成像的显著性提取装置及方法
CN104853182A (zh) * 2015-05-21 2015-08-19 天津大学 基于幅度和相位的立体图像质量客观评价方法
CN110300977A (zh) * 2017-02-17 2019-10-01 考吉森公司 用于图像处理和视频压缩的方法
CN112381076A (zh) * 2021-01-18 2021-02-19 西南石油大学 一种视频显著性检测任务中图片预处理的方法
CN114419341A (zh) * 2022-01-20 2022-04-29 大连海事大学 一种基于迁移学习改进的卷积神经网络图像识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043949A (zh) * 2010-12-28 2011-05-04 天津市亚安科技电子有限公司 一种搜索运动前景感兴趣区域的方法
CN103177458A (zh) * 2013-04-17 2013-06-26 北京师范大学 一种基于频域分析的可见光遥感图像感兴趣区域检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043949A (zh) * 2010-12-28 2011-05-04 天津市亚安科技电子有限公司 一种搜索运动前景感兴趣区域的方法
CN103177458A (zh) * 2013-04-17 2013-06-26 北京师范大学 一种基于频域分析的可见光遥感图像感兴趣区域检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DUBRAVKO CULIBRK等: "Salient Motion Features for Video Quality Assessment", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
H.BOUJUT ET AL.: "A Metric for No-reference Video Quaility assessment for HDTV Delivery Based on Saliency Maps", 《IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 *
RADHAKRISHNA ACHANTA ET AL.: "Saliency detection using maximum symmetric surround", 《IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
XIAODU HU ET AL.: "Saliency Detection：A Spectral Residual Apporach", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955689A (zh) * 2014-04-14 2014-07-30 杭州电子科技大学 一种采用频率筛选的图像视觉感兴趣区域提取方法
CN103973976A (zh) * 2014-04-14 2014-08-06 杭州电子科技大学 一种利用光学成像的显著性提取装置及方法
CN103973976B (zh) * 2014-04-14 2017-06-06 杭州电子科技大学 一种利用光学成像的显著性提取装置及方法
CN104853182A (zh) * 2015-05-21 2015-08-19 天津大学 基于幅度和相位的立体图像质量客观评价方法
CN104853182B (zh) * 2015-05-21 2017-03-29 天津大学 基于幅度和相位的立体图像质量客观评价方法
CN110300977A (zh) * 2017-02-17 2019-10-01 考吉森公司 用于图像处理和视频压缩的方法
CN110300977B (zh) * 2017-02-17 2024-04-16 英特尔公司 用于图像处理和视频压缩的方法
CN112381076A (zh) * 2021-01-18 2021-02-19 西南石油大学 一种视频显著性检测任务中图片预处理的方法
CN114419341A (zh) * 2022-01-20 2022-04-29 大连海事大学 一种基于迁移学习改进的卷积神经网络图像识别方法
CN114419341B (zh) * 2022-01-20 2024-04-26 大连海事大学 一种基于迁移学习改进的卷积神经网络图像识别方法

Also Published As

Publication number Publication date
CN103327359B (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
CN103327359B (zh) 一种应用于视频质量评价的视频显著性区域搜索方法
CN108537191B (zh) 一种基于结构光摄像头的三维人脸识别方法
CN108154551B (zh) 实时动态重建三维人体模型的方法及系统
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN102567716B (zh) 一种人脸合成系统及实现方法
CN110136144B (zh) 一种图像分割方法、装置及终端设备
Qiang et al. SqueezeNet and fusion network-based accurate fast fully convolutional network for hand detection and gesture recognition
CN103618918A (zh) 一种智能电视的显示控制方法及装置
CN110458895A (zh) 图像坐标系的转换方法、装置、设备及存储介质
CN111080670B (zh) 图像提取方法、装置、设备及存储介质
CN102421007A (zh) 基于多尺度结构相似度加权综合的图像质量评价方法
CN102194443A (zh) 视频画中画窗口的显示方法、系统及视频处理设备
CN108171734A (zh) 一种orb特征提取与匹配的方法及装置
WO2019127102A1 (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
Zhang et al. Video salient region detection model based on wavelet transform and feature comparison
CN106447695A (zh) 一种多物体追踪中判断同一物体的方法和装置
CN110147163A (zh) 面向移动设备的多模型融合驱动的眼动跟踪方法和系统
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN109271840A (zh) 一种视频手势分类方法
CN104063871A (zh) 可穿戴设备的图像序列场景分割方法
CN114049683A (zh) 基于三维人体骨架模型的愈后康复辅助检测系统、方法、介质
CN106529375A (zh) 移动终端及其图像中物体特征的识别方法
Yan RETRACTED ARTICLE: Researches on hybrid algorithm for moving target detection and tracking in sports video
Arai et al. Gait recognition method based on wavelet transformation and its evaluation with chinese academy of sciences (casia) gait database as a human gait recognition dataset
CN102142154B (zh) 生成脸部虚拟图像的方法与装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150218

Termination date: 20170614

CF01 Termination of patent right due to non-payment of annual fee