CN103327359B - 一种应用于视频质量评价的视频显著性区域搜索方法 - Google Patents
一种应用于视频质量评价的视频显著性区域搜索方法 Download PDFInfo
- Publication number
- CN103327359B CN103327359B CN201310236192.1A CN201310236192A CN103327359B CN 103327359 B CN103327359 B CN 103327359B CN 201310236192 A CN201310236192 A CN 201310236192A CN 103327359 B CN103327359 B CN 103327359B
- Authority
- CN
- China
- Prior art keywords
- spectrum
- phase difference
- video
- quality evaluation
- searching method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种应用于视频质量评价的视频显著性区域搜索方法,包括如下步骤:取出关键帧与其前一帧的三维相关区域;获得三维区域的频率域显示;分别取出频率域的幅值谱和相位谱;获取谱残差和相位差;处理相位差,使其在规定范围内;获取谱残差与相位差的空间域显示;对获得的空间域结果进行高斯滤波;获得视频关键帧的显著性结果图。本发明考虑到视频在时间上和空间上的相关性,并依据人眼视觉特征确定适应于视频关键帧显著性图的时间管道;同时考虑到视频关键帧的幅度谱和相位谱在建立显著性模型时的重要作用;依据谱残差和相位差能够比较准确地去除了背景不动的区域,并保留关键的结构特征。
Description
技术领域
本发明属于视频处理技术领域,涉及视频质量评价、感知编码、机器视觉等,可用于视频压缩和视频显著性区域提取及其相关的装置和产品,具体涉及一种应用于视频质量评价的视频显著性区域搜索方法。
背景技术
随着网络的快速发展,人们对视频质量的要求越来越高,视频质量评价的研究意义就显得尤为重要。如何能在维持或增强视频质量的情况下,对视频进行压缩并易于传输是近年来研究的重点和热点。视频显著性区域的研究是在视频压缩过程中维持或增强视频质量的重要部分,同时也是解决视频传输等的一个有效的方法。视频显著性区域研究同时也涉及到其他的研究领域,如计算机视觉,心理学等。
视频中场景变换复杂,每个画面信息内容强大,人们已经发现在图像信息内容丰富的情况下,人眼关注的焦点总是集中在图像或视频中的某一些特定区域。这是人眼视觉系统的一个内在属性。充分了解人类视觉的这种内在属性,并能够依据人眼的内在属性处理图像或者视频使其能更好的适应人们对图像或视频质量的要求。
关于显著性研究是从上个世纪80年代中期开始的。显著性区域的提取一般是通过人眼视觉关注特性,模拟视觉的关注过程,通过分析图像的信息和特征提取图像或者视频中能够引起视觉关注的部分。如何根据计算机对图像/视频建立一个合适的显著性研究模型是目前世界科研领域亟待解决的问题。
目前对图像显著性区域研究的方法有很多。视觉注意模型开始是Koch在文章“Shifts in selective visual attention : Towards the underlying neural circuitry”中,并在视觉生理和心理物理实验结果的基础上,根据显著性区域建立了视觉注意模型。由Itti提出算法“A model of saliency-based visual attention for rapid scene analysis, IEEE Trans. Pattern Anal.Mach.Intell.1998,20:1254-1259.”完善了模型。Itti算法中根据亮度,色度以及图像的方向空间三个通道的显著性区域的结果图融合得到最终的图像显著性图。这些方法都是模拟人眼的视觉注意力机制,能够比较好的检测出图像显著性图。但是对于视频的显著性图的分析不能仅从图像考虑,同时需要考虑到视频在时域上的相关性。
与本发明相接近的算法为Xiaodi Hou在文章中“Saliency Detection: A Spectral Residual Appraoch,CVPR,2007:1-8”提出的一种简单的图像显著性算法,该算法中通过分析图像频率域的幅值特性,并根据大量图像幅值特性的研究结果,通过谱残差最终得到图像的显著性区域。
具体步骤如下:
1. 如果测试图像是彩色图像转化为灰度图像;
2. 对测试图像进行FFT变换;
3. 分别取变化后的幅值图 和相位图;
4. 根据计算得到谱残差,为3x3的均值滤波器;
5. 根据和做傅里叶逆变换得到;
6. 根据公式计算得到显著性图。
但是该方法有如下缺点:
(1) 图像显著性不能很好的适应于视频关键帧显著性的计算;
(2) 没有考虑到相位对于显著性检测的重要性;
(3)背景复杂的情况下不能很好地检测出显著性区域。
发明内容
为了解决现有技术中存在的上述技术问题,本发明提供了一种应用于视频质量评价的视频显著性区域搜索方法,包括如下步骤:
(1) 取出关键帧与其前一帧的三维相关区域;
(2) 获得三维区域的频率域显示;
(3) 分别取出频率域的幅值谱和相位谱;
(4) 获取谱残差和相位差;
(5) 处理相位差,使其在规定范围内;
(6) 获取谱残差与相位差的空间域显示;
(7) 对获得的空间域结果进行高斯滤波;
(8) 获得视频关键帧的显著性结果图。
进一步的,其中步骤(1)所述的取出关键帧与其前一帧的三维相关区域,按如下步骤进行:
(21) 提取测试序列关键帧的原始图像及其前后各10帧的原始图像,得到三维相关区域;
(22) 提取测试序列关键帧前一帧的原始图像及其前后各10帧的原始图像,得到三维相关区域。
进一步的,其中步骤(2)所述的获得三维区域的频率域显示,按如下步骤进行:
(31) 根据步骤(21)得到的三维区域,对其进行n维傅里叶变换得到频谱图З;
(32) 根据步骤(22)得到的三维区域,对其进行n维傅里叶变换得到频谱图χ。
进一步的,其中步骤(3)所述的分别取出频率域的幅值谱和相位谱,按如下步骤进行:
(41) 根据频谱图З,取其幅度谱和相位谱;
(42) 根据频谱图χ,取其幅度谱和相位谱。
进一步的,其中步骤(4)所述的获取谱残差和相位差,按如下步骤进行:
(51) 取测试帧与其前一帧的谱残差;
(52) 取测试帧与其前一帧的相位差。
进一步的,其中步骤(5)所述的处理相位差,使其在规定范围内,按如下步骤进行:
(61) 通过加减处理相位差B,使其小于等于π。
进一步的,其中步骤(6)所述的获取谱残差与相位差的空间域,按如下步骤进行:
(71) 根据n维傅里叶逆变换规则,处理谱残差和相位差,得到其空间域的显示图。
进一步的,其中步骤(7)所述的对获得的空间域结果进行高斯滤波,按如下步骤进行:
(81) 确定高斯滤波搜索窗大小11x11;
(82) 计算得到三维高斯滤波器;
(83) 对空间域的显示图进行高斯滤波得到图像。
进一步的,其中步骤(8)所述的获得视频关键帧的显著性结果图,按如下步骤进行:
(91) 对图像进行处理,使其映射到0~1。
本发明的应用于视频质量评价的视频显著性区域搜索方法的有益效果如下:
(1) 考虑到视频在时间上和空间上的相关性,并依据人眼视觉特征确定适应于视频关键帧显著性图的时间管道;
(2) 同时考虑到视频关键帧的幅度谱和相位谱在建立显著性模型时的重要作用;
(3) 依据谱残差和相位差能够比较准确地去除了背景不动的区域,并保留关键的结构特征。
附图说明
图1是本发明的应用于视频质量评价的视频显著性区域搜索方法的流程图;
图2是高斯滤波算法图;
图3是测试序列foreman的测试帧图;
图4是测试序列foreman的测试帧前一帧图;
图5是foreman序列关键帧Hou算法与本发明的对比图;
图6是测试序列paris的测试帧图;
图7是测试序列paris的测试帧图前一帧图;
图8是paris序列关键帧Hou的算法与本发明的对比图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1-8所示,本发明的应用于视频质量评价的视频显著性区域搜索方法,具体步骤如下:
步骤一:取出关键帧与其前一帧的三维相关区域:
(1.1) 确定测试序列关键帧(也就是测试帧);
(1.2) 提取测试序列关键帧的亮度信息;
(1.3) 确定测试序列关键帧的亮度信息及其前后各10帧的亮度信息,得到三维相关区域;
(1.4) 提取测试序列关键帧前一帧的亮度信息及其前后各10帧的亮度信息,得到三维相关区域;
步骤二:获得三维区域的频率域显示:
(2.1) 对三维区域进行n维傅里叶变换得到频谱图З;
(2.2) 对三维区域进行n维傅里叶变换得到频谱图χ;
步骤三:分别取出频率域的幅值谱和相位谱:
(3.1) 根据频谱图З和下述表达式,取其幅度谱和相位谱:
(3.2) 根据频谱图χ和下述表达式,取其幅度谱和相位谱:
步骤四:获取谱残差和相位差:
(4.1) 谱残差的表达式为;
(4.2) 相位差的表达式为;
步骤五:处理相位差B,使其在规定范围内:
(5.1) 根据正弦函数的周期性处理相位差,使得相位差的范围在[-π,π];
步骤六:获取谱残差与相位差的空间域:
(6.1) 根据n维傅里叶逆变换规则,将谱残差作为新图像的幅值,相位差作为新图像的相位,得到新图像的空间域的显示图;
步骤七:对获得的空间域结果进行高斯滤波:
(7.1) 确定高斯滤波搜索窗大小11x11,如图2所示为高斯滤波器的算法图;
(7.2) 计算得到三维高斯滤波器;
(7.3) 根据下述表达式对空间域的显示图进行高斯滤波得到图像:
为关键帧坐标;
步骤八:获得视频关键帧的显著性结果图:
(8.1) 对图像进行处理,使其映射到0~1。
本发明的应用于视频质量评价的视频显著性区域搜索方法采用视频帧的空间相关性和时间相关性计算显著性图,基于关键帧的空时域范围内的幅值谱残差和相位差的关系获得关键帧的显著性图,降低关键帧基本不动的背景区域的显著性。
Claims (9)
1.一种应用于视频质量评价的视频显著性区域搜索方法,包括如下步骤:
步骤(1)取出关键帧与其前一帧的三维相关区域;
步骤(2)获得三维区域的频率域显示;
步骤(3)分别取出频率域的幅值谱和相位谱;
步骤(4)获取谱残差和相位差;
步骤(5)处理相位差,使其在规定范围内;
步骤(6)获取谱残差与相位差的空间域显示;
步骤(7)对获得的空间域结果进行高斯滤波;
步骤(8)获得视频关键帧的显著性结果图。
2.根据权利要求1所述的应用于视频质量评价的视频显著性区域搜索方法,其中步骤(1)所述的取出关键帧与其前一帧的三维相关区域,按如下步骤进行:
(21) 提取测试序列关键帧的亮度信息及其前后各10帧的亮度信息,得到三维相关区域 ;
(22) 提取测试序列关键帧前一帧的亮度信息及其前后各10帧的亮度信息,得到三维相关区域。
3.根据权利要求2所述的应用于视频质量评价的视频显著性区域搜索方法,其中步骤(2)所述的获得三维区域的频率域显示,按如下步骤进行:
(31) 根据步骤(21)得到的三维区域,对其进行n维傅里叶变换得到频谱图З;
(32) 根据步骤(22)得到的三维区域,对其进行n维傅里叶变换得到频谱图χ。
4.根据权利要求3所述的应用于视频质量评价的视频显著性区域搜索方法,其中步骤(3)所述的分别取出频率域的幅值谱和相位谱,按如下步骤进行:
(41) 根据频谱图З,取其幅度谱和相位谱;
(42) 根据频谱图χ,取其幅度谱和相位谱。
5.根据权利要求4所述的应用于视频质量评价的视频显著性区域搜索方法,其中步骤(4)所述的获取谱残差和相位差,按如下步骤进行:
(51) 取测试帧与其前一帧的谱残差;
(52) 取测试帧与其前一帧的相位差。
6.根据权利要求5所述的应用于视频质量评价的视频显著性区域搜索方法,其中步骤(5)所述的处理相位差,使其在规定范围内,按如下步骤进行:
(61) 通过加减处理相位差B,使得相位差的范围在[-π,π],N为整数。
7.根据权利要求6所述的应用于视频质量评价的视频显著性区域搜索方法,其中步骤(6)所述的获取谱残差与相位差的空间域,按如下步骤进行:
(71) 根据n维傅里叶逆变换规则,处理谱残差和相位差,得到其空间域的显示图。
8.根据权利要求7所述的应用于视频质量评价的视频显著性区域搜索方法,其中步骤(7)所述的对获得的空间域结果进行高斯滤波,按如下步骤进行:
(81) 确定高斯滤波搜索窗大小11x11;
(82) 计算得到三维高斯滤波器;
(83) 对空间域的显示图进行高斯滤波得到图像。
9.根据权利要求8所述的应用于视频质量评价的视频显著性区域搜索方法,其中步骤(8)所述的获得视频关键帧的显著性结果图,按如下步骤进行:
(91) 对图像进行处理,使其映射到0~1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310236192.1A CN103327359B (zh) | 2013-06-14 | 2013-06-14 | 一种应用于视频质量评价的视频显著性区域搜索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310236192.1A CN103327359B (zh) | 2013-06-14 | 2013-06-14 | 一种应用于视频质量评价的视频显著性区域搜索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103327359A CN103327359A (zh) | 2013-09-25 |
CN103327359B true CN103327359B (zh) | 2015-02-18 |
Family
ID=49195849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310236192.1A Expired - Fee Related CN103327359B (zh) | 2013-06-14 | 2013-06-14 | 一种应用于视频质量评价的视频显著性区域搜索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103327359B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955689A (zh) * | 2014-04-14 | 2014-07-30 | 杭州电子科技大学 | 一种采用频率筛选的图像视觉感兴趣区域提取方法 |
CN103973976B (zh) * | 2014-04-14 | 2017-06-06 | 杭州电子科技大学 | 一种利用光学成像的显著性提取装置及方法 |
CN104853182B (zh) * | 2015-05-21 | 2017-03-29 | 天津大学 | 基于幅度和相位的立体图像质量客观评价方法 |
EP3364342A1 (en) * | 2017-02-17 | 2018-08-22 | Cogisen SRL | Method for image processing and video compression |
US11989650B2 (en) | 2020-12-21 | 2024-05-21 | Disney Enterprises, Inc. | Saliency prioritization for image processing |
CN112381076B (zh) * | 2021-01-18 | 2021-03-23 | 西南石油大学 | 一种视频显著性检测任务中图片预处理的方法 |
CN114419341B (zh) * | 2022-01-20 | 2024-04-26 | 大连海事大学 | 一种基于迁移学习改进的卷积神经网络图像识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102043949A (zh) * | 2010-12-28 | 2011-05-04 | 天津市亚安科技电子有限公司 | 一种搜索运动前景感兴趣区域的方法 |
CN103177458A (zh) * | 2013-04-17 | 2013-06-26 | 北京师范大学 | 一种基于频域分析的可见光遥感图像感兴趣区域检测方法 |
-
2013
- 2013-06-14 CN CN201310236192.1A patent/CN103327359B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102043949A (zh) * | 2010-12-28 | 2011-05-04 | 天津市亚安科技电子有限公司 | 一种搜索运动前景感兴趣区域的方法 |
CN103177458A (zh) * | 2013-04-17 | 2013-06-26 | 北京师范大学 | 一种基于频域分析的可见光遥感图像感兴趣区域检测方法 |
Non-Patent Citations (1)
Title |
---|
Salient Motion Features for Video Quality Assessment;Dubravko Culibrk等;《IEEE Transactions on Image Processing》;20110430;第20卷(第4期);第948-957页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103327359A (zh) | 2013-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103327359B (zh) | 一种应用于视频质量评价的视频显著性区域搜索方法 | |
CN108154551B (zh) | 实时动态重建三维人体模型的方法及系统 | |
CN102194443B (zh) | 视频画中画窗口的显示方法、系统及视频处理设备 | |
CN102567716B (zh) | 一种人脸合成系统及实现方法 | |
CN103618918A (zh) | 一种智能电视的显示控制方法及装置 | |
CN110136144B (zh) | 一种图像分割方法、装置及终端设备 | |
Qiang et al. | SqueezeNet and fusion network-based accurate fast fully convolutional network for hand detection and gesture recognition | |
CN103095996A (zh) | 基于时空显著性检测的多传感器视频融合方法 | |
CN104200203A (zh) | 一种基于动作字典学习的人体动作检测方法 | |
CN106447695A (zh) | 一种多物体追踪中判断同一物体的方法和装置 | |
CN107886533B (zh) | 立体图像的视觉显著性检测方法、装置、设备及存储介质 | |
Junwu et al. | An infrared and visible image fusion algorithm based on LSWT-NSST | |
CN114049683A (zh) | 基于三维人体骨架模型的愈后康复辅助检测系统、方法、介质 | |
CN103686178A (zh) | 一种基于hvs的视频感兴趣区域提取方法 | |
CN104408412A (zh) | 一种用于保险柜的三维人脸识别方法 | |
CN106940904A (zh) | 基于人脸识别和语音识别的考勤系统 | |
CN102142154B (zh) | 生成脸部虚拟图像的方法与装置 | |
CN103902954A (zh) | 一种不良视频的鉴别方法和系统 | |
Zhou et al. | Perunet: Deep signal channel attention in unet for wifi-based human pose estimation | |
CN106682599B (zh) | 一种基于稀疏表示的立体图像视觉显著提取方法 | |
CN109359543B (zh) | 一种基于骨骼化的人像检索方法及装置 | |
Hou et al. | Relative gradients for image lighting correction | |
Qiu et al. | Research on the enhancement of internet UI interface elements based on visual communication | |
CN102663369A (zh) | 基于surf高效匹配核的人体运动跟踪方法 | |
Zeng et al. | A fast fusion method for visible and infrared images using fourier transform and difference minimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150218 Termination date: 20170614 |
|
CF01 | Termination of patent right due to non-payment of annual fee |