CN102158712B - 一种基于视觉的多视点视频信号编码方法 - Google Patents

一种基于视觉的多视点视频信号编码方法 Download PDF

Info

Publication number
CN102158712B
CN102158712B CN 201110069318 CN201110069318A CN102158712B CN 102158712 B CN102158712 B CN 102158712B CN 201110069318 CN201110069318 CN 201110069318 CN 201110069318 A CN201110069318 A CN 201110069318A CN 102158712 B CN102158712 B CN 102158712B
Authority
CN
China
Prior art keywords
image
color image
color
feature
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201110069318
Other languages
English (en)
Other versions
CN102158712A (zh
Inventor
郁梅
卢小明
蒋刚毅
彭宗举
邵枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN 201110069318 priority Critical patent/CN102158712B/zh
Publication of CN102158712A publication Critical patent/CN102158712A/zh
Application granted granted Critical
Publication of CN102158712B publication Critical patent/CN102158712B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视觉的多视点视频信号编码方法，通过建立被编码的视频图像的视觉显著性图对视频图像感兴趣区域进行划分，在其后的编码过程中，在人眼比较感兴趣的区域采用较小的编码量化参数，而在人眼不太感兴趣的区域采用较大的编码量化参数。虽然本发明在人眼关注度比较低的区域分配较少的码率，但这些区域由于编码所造成的失真不会或很少引起人眼的察觉，因而对图像整体质量的影响并不明显，而与此同时却极大地节省了码率；而在人眼关注度比较高的区域分配较多的码率，可以提高解码图像的整体主观视觉质量，从而提高多视点视频信号编码效率。

Description

一种基于视觉的多视点视频信号编码方法
技术领域
本发明涉及视频信号处理技术，尤其是涉及一种基于视觉的多视点视频信号编码方法。
背景技术
随着计算机技术以及图形图像处理等多媒体技术的发展，尤其是近年来3D显示技术的长足进步，使人们希望自由地选择视点欣赏场景的愿望逐渐成为可能。这种自由视点视频系统(FVV，Free Viewpoint Video)在影视娱乐、教育、产品展示、医疗、安全监控和虚拟现实等领域具有广阔的应用前景，是下一代多媒体技术的核心。自由视点视频是通过多相机系统进行捕获，各视点独立地接受来自同一场景的特定摄像点的视频，并通过绘制技术来生成任意视点视频，从而达到使人们能欣赏到任意位置视点图像的目的。传统的虚拟视点的绘制方法可以采用两路彩色视频信号进行绘制。而由于深度视频中只有亮度信号需要编码，相对于彩色视频信号具有更小的码流，因此采用基于深度图的绘制技术(DIBR，Depth Image Based Rendering)，更加适合于表示和实现FVV系统。由于单路视频信号及对应的深度视频仅允许在较小的范围内进行交互式地自由切换视点，所以国际标准化组织采用多路彩色视频信号及对应多路深度视频信号(MVD，MultiviewView plus Depth)来扩展FVV的视频切换范围。图1是用多路彩色视频信号及对应多路深度视频信号表示和实现的FVV的框图。从该框图可以看出，自由视点视频的核心技术是多视点视频信号编解码和实时的图像绘制。
和传统的单通道视频相比，多视点视频中彩色视频的数据量随着相机数量的增加而成倍增长，且每幅彩色视频图像都对应一幅深度图，使得MVD的数据量更为惊人。为了能有效存储、传输MVD信号，并且在应用中能实现用户和系统之间的交互操作、视点间的自由切换，必须对多视点视频信号进行高效的压缩。目前，很多FVV系统框架中的多视点视频信号编码压缩方法中采用了如图2所示的分层B帧(HBP，HierarchicalB Pictures)预测编码结构。HBP结构除了采用运动估计消除时间上的信号冗余外，还采用了视差估计来消除视点间的空间冗余，能够对多视点视频信号进行较好的压缩。
JMVM(Joint Multiview Video Model)是国际标准组织的联合视频编码组JVT用于多视点视频编码研究的基于H.264编码标准的多视点视频编码校验模型。在JMVM中，编码量化策略是根据B帧所在层次决定的，具体的方案是：如果基准量化步长参数BasicQP确定，那么其它编码帧的量化步长参数QP是通过QP＝QPl+C得到的。l表示在HBP结构中的帧层次，当l＝1时，QPl＝BasicQP，C＝3；当l＞1时，C＝1。通过这种分帧层量化的方法可以获得较高的编码效率。然而，在JMVM校检模型中，编码也仅仅是从传统的空间、时间和视点间的信号冗余的角度出发，而没有挖掘视频图像中大量存在的视觉冗余。大量人类视觉生理学和视觉心理学实验表明，针对一幅视频图像，人眼对其中的内容并非一视同仁，而是往往表现出选择性和迁移性，即人眼会下意识地或者有意地将一幅图像划分为若干个不同的区域，并将注意力集中在人眼比较感兴趣的区域；如果感兴趣区域不止一个的话，注意力在这些区域中也往往会有个迁移的过程，即注意力首先集中在最感兴趣的区域，一定的时间段之后再转移到次感兴趣的区域，依次类推，当人眼关注度比较低的区域发生某些变化时，甚至不能引起人眼的察觉。人类视觉的这种特性对图像观察者理解图像内容和评价图像质量起着至关重要的作用。因此，在编码过程中充分考虑人类视觉特性，有助于在保证人眼的主观视觉效果的同时提高编码压缩效率。
发明内容
本发明所要解决的技术问题是提供一种基于视觉的多视点视频信号编码方法，根据人眼视觉特性划分视频图像中人眼感兴趣区域，并以此为基础，对人眼感兴趣区域和非感兴趣区域采用不同的量化参数进行编码，以提高多视点视频信号编码效率。
本发明解决上述技术问题所采用的技术方案为：一种基于视觉的多视点视频信号编码方法，其特征在于首先建立被编码的视频图像的视觉显著性图以对视频图像感兴趣区域进行划分，在其后的编码过程中，在人眼比较感兴趣的区域分配较多的码率，而在人眼不太感兴趣的区域分配较少的码率，具体包括以下步骤：
①计算得到静态视觉的亮度显著性图AI、颜色显著性图AH，S和方向显著性图Aθ：
A1.记多视点视频中当前正在处理的t时刻的彩色图像为Ct，把彩色图像Ct转换到HSI彩色空间表示，彩色图像Ct的色调分量表示为
Figure BDA0000051444210000021
彩色图像Ct的饱和度分量表示为
Figure BDA0000051444210000022
彩色图像Ct的亮度分量表示为采用Gabor方向滤波器对彩色图像Ct的亮度分量进行滤波，得到彩色图像Ct在0°、45°、90°和135°四个方向的方向分量，分别记为
Figure BDA0000051444210000025
Figure BDA0000051444210000026
Figure BDA0000051444210000027
和
Figure BDA0000051444210000028
A2.对彩色图像Ct的每一个图像分量
Figure BDA0000051444210000029
P∈{H，S，I，0°，45°，90°，135°}，分别进行高斯金字塔运算，得到彩色图像Ct的各个图像分量的不同层次的图像特征图1≤n≤8，这里，
Figure BDA0000051444210000032
其中为第n层高斯金字塔运算的结果，Gaussian是高斯函数卷积核，符号“*”表示卷积运算，SubSample[Image]表示对输入图像Image的水平和垂直方向均进行1/2下采样；当n＝1时，
Figure BDA0000051444210000034
即为
Figure BDA0000051444210000035
A3.对于彩色图像Ct的各个图像分量
Figure BDA0000051444210000036
计算其高斯金字塔不同层次的图像特征图的Center-Surround差异
Figure BDA0000051444210000037
其中，和
Figure BDA0000051444210000039
分别表示彩色图像Ct的图像分量
Figure BDA00000514442100000310
的高斯金字塔第i层和第j层的图像特征图，i∈{2，3，4}，j＝i+d，d∈{3，4}；符号“Θ”表示将第j层的图像特征图
Figure BDA00000514442100000311
上采样到第i层的图像特征图
Figure BDA00000514442100000312
的尺寸大小，然后将这2幅图像特征图对应像素点进行相减，“|·|”表示取绝对值；
A4.对于彩色图像Ct的亮度分量
Figure BDA00000514442100000313
对其6幅Center-Surround差异计算结果进行Across-Scale融合，
Figure BDA00000514442100000315
其中，
Figure BDA00000514442100000317
表示局部迭代归一化过程，若令M是局部迭代归一化过程的输入图像，则
Figure BDA00000514442100000318
这里DOG是高斯差分函数，c是一个常量，符号“*”表示卷积运算；符号
Figure BDA00000514442100000319
表示先将6幅Center-Surround差异计算结果局部迭代归一化后得到的图像
Figure BDA00000514442100000320
均下采样到高斯金字塔中第4层图像特征图的尺寸大小，即长宽均为彩色图像Ct长宽的1/16，然后将经上述处理后的6幅Center-Surround差异计算结果相加；对于彩色图像Ct的色调分量
Figure BDA00000514442100000321
和饱和度分量
Figure BDA00000514442100000322
对其12幅Center-Surround差异计算结果
Figure BDA00000514442100000323
Figure BDA00000514442100000324
以及进行Across-Scale融合，即
Figure BDA00000514442100000326
对于彩色图像Ct的四个方向分量
Figure BDA00000514442100000327
和
Figure BDA00000514442100000328
对其24幅Center-Surround差异计算结果进行Across-Scale融合，即
Figure BDA00000514442100000329
A5.对Across-Scale融合的结果
Figure BDA00000514442100000330
分别进行线性归一化使
Figure BDA00000514442100000331
Figure BDA00000514442100000332
中各个像素的值在0～255之间，记经过线性归一化后的
Figure BDA00000514442100000333
分别为A⊥、AH，S、Aθ；
②计算其中，
Figure BDA0000051444210000042
和分别为与彩色图像Ct同一个视点的前一时刻t-1时刻和后一时刻t+1时刻的彩色图像Ct-1和Ct+1的亮度分量，符号“∩”表示图像与运算，“|·|”表示取绝对值；对
Figure BDA0000051444210000044
进行线性归一化使其各个像素的值在0～255之间；然后，对线性归一化后的
Figure BDA0000051444210000045
的水平和垂直方向均进行1/16下采样，得到运动视觉显著性图M；
③计算得到深度视觉显著性图B，具体步骤为：
C1.令
Figure BDA0000051444210000046
表示彩色图像Ct所对应的深度图像，采用Gabor方向滤波器对深度图像
Figure BDA0000051444210000047
进行滤波，得到深度图像
Figure BDA0000051444210000048
的0°、45°、90°和135°四个方向的方向分量，分别记为
Figure BDA0000051444210000049
和
Figure BDA00000514442100000410
C2.对步骤C1得到的每一个图像分量
Figure BDA00000514442100000411
R∈{I，0°，45°，90°，135°}，分别进行高斯金字塔运算，得到深度图像
Figure BDA00000514442100000412
的各个图像分量不同层次的图像特征图
Figure BDA00000514442100000413
1≤n≤8，这里，
Figure BDA00000514442100000414
其中为第n层高斯金字塔运算的结果；当n＝1时，
Figure BDA00000514442100000416
即为
Figure BDA00000514442100000417
C3.对于深度图像
Figure BDA00000514442100000418
的各个图像分量
Figure BDA00000514442100000419
计算其高斯金字塔不同层次的图像特征图的Center-Surround差异，即
Figure BDA00000514442100000420
其中，和
Figure BDA00000514442100000422
分别表示图像分量
Figure BDA00000514442100000423
的高斯金字塔第i层和第j层的图像特征图，i∈{2，3，4}，j＝i+d，d∈{3，4}；符号“Θ”表示将第j层的图像特征图
Figure BDA00000514442100000424
上采样到第i层的图像特征图
Figure BDA00000514442100000425
的尺寸大小，然后将这2幅图像特征图对应像素点进行相减；
C4.对于深度图像
Figure BDA00000514442100000426
对其6幅Center-Surround差异计算结果
Figure BDA00000514442100000427
Figure BDA00000514442100000428
进行Across-Scale融合，即
Figure BDA00000514442100000429
其中，
Figure BDA00000514442100000430
表示局部迭代归一化过程，符号
Figure BDA00000514442100000431
表示先将6幅Center-Surround差异计算结果局部迭代归一化后得到的图像
Figure BDA00000514442100000432
均下采样到高斯金字塔中第4层图像的尺寸大小，即长宽均为输入的深度图像长宽的1/16，然后将经上述处理后的6幅Center-Surround差异计算结果相加；对于四个方向分量
Figure BDA00000514442100000433
和
Figure BDA00000514442100000435
对其24幅Center-Surround差异计算结果进行Across-Scale融合，即
C5.对Across-Scale融合的结果
Figure BDA00000514442100000437
分别进行线性归一化使中各个像素的值在0～255之间，然后将线性归一化后的
Figure BDA0000051444210000051
进行线性加权融合，得到深度视觉显著性图B；
④将静态视觉的亮度显著性图AI、颜色显著性图AH，S和方向显著性图Aθ、运动视觉显著性图M、深度视觉显著性图B，按照VPV＝αAI+βAH，S+γAθ+λM+ηB进行加权融合，得到输入的彩色图像Ct的视觉显著性图VPV；视觉显著性图中每个像素的像素值vpvi为彩色图像Ct对应的第i个16×16宏块的视觉优先权值，表征人眼对该宏块的关注度；α、β、γ、λ和η分别是亮度特征、颜色特征、方向特征、运动特征和深度特征的权重系数，表征人眼对这些特征的敏感程度；
⑤对彩色图像Ct进行编码，在编码时，根据彩色图像Ct的视觉显著性图VPV调整彩色图像Ct各个16×16宏块的编码量化参数：QPi＝QP+ΔQPi，其中QP是由JMVM确定的对于彩色图像Ct进行编码所采用的量化参数，QPi是编码彩色图像Ct中第i个宏块时最终所采用的量化参数，
Figure BDA0000051444210000052
这里，
Figure BDA0000051444210000053
是彩色图像Ct的第i个16×16宏块的视觉优先权值，vpvmax和vpvmin分别为彩色图像Ct的视觉显著性图VPV中的最大值和最小值，α1、β1、α2、β2、γ2、ω2、α3、β3、γ3和μ为常数。
所述的步骤④中的亮度特征、颜色特征、方向特征、运动特征和深度特征的权重系数α、β、γ、λ和η的取值分别是α＝0.3、β＝0.1、γ＝0.1、λ＝04和η＝0.1。
所述的步骤⑤中α1＝6.27，β1＝-0.10；α2＝-2.75，β2＝-52.10，γ2＝18.3，ω2＝4.17；α3＝-0.05，β3＝-6.57，γ3＝3.21；μ＝0.08。
与现有技术相比，本发明的优点在于充分挖掘了多视点视频中大量存在的视觉冗余，在人眼关注度比较低的区域分配较少的码率，这样在这些区域由于编码所造成的失真不会或很少引起人眼的察觉，与此同时却极大地节省了码率；而在人眼关注度比较高的区域分配较多的码率，以提高解码图像的整体主观视觉质量，从而提高多视点视频信号编码效率。
附图说明
图1为典型的FVV视频系统；
图2为分层B帧预测编码结构；
图3为多视点视频Ballet的彩色图像；
图4为图3所示的多视点视频Ballet的彩色图像对应的深度图像；
图5为图3所示的多视点视频Ballet的彩色图像的视觉显著性图；
图6为本发明编码方法码率的节省情况；
图7为本发明编码方法与现有编码方法编码后图像质量的比较(QP＝22)；
图8为本发明编码方法与现有编码方法编码后图像质量的比较(QP＝27)；
图9为本发明编码方法与现有编码方法编码后图像质量的比较(QP＝32)；
图10为本发明编码方法与现有编码方法编码后图像质量的比较(QP＝37)。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明的一种基于视觉的多视点视频信号编码方法，其特征在于首先建立被编码的视频图像的视觉显著性图以对视频图像感兴趣区域进行划分，在其后的编码过程中，在人眼比较感兴趣的区域分配较多的码率，而在人眼不太感兴趣的区域分配较少的码率，具体包括以下步骤：
①计算得到静态视觉的亮度显著性图AI、颜色显著性图AH，S和方向显著性图Aθ：
A1.记多视点视频中当前正在处理的t时刻的彩色图像为Ct，把彩色图像Ct转换到HSI彩色空间表示，彩色图像Ct的色调分量表示为
Figure BDA0000051444210000061
彩色图像Ct的饱和度分量表示为
Figure BDA0000051444210000062
彩色图像Ct的亮度分量表示为
Figure BDA0000051444210000063
采用Gabor方向滤波器对彩色图像Ct的亮度分量
Figure BDA0000051444210000064
进行滤波，得到彩色图像Ct在0°、45°、90°和135°四个方向的方向分量，分别记为
Figure BDA0000051444210000065
和
Figure BDA0000051444210000066
A2.对彩色图像Ct的每一个图像分量
Figure BDA0000051444210000067
P∈{H，S，I，0°，45°，90°，135°}，分别进行高斯金字塔运算，得到彩色图像Ct的各个图像分量的不同层次的图像特征图
Figure BDA0000051444210000068
1≤n≤8，这里，
Figure BDA0000051444210000069
其中
Figure BDA00000514442100000610
为第n层高斯金字塔运算的结果，Gaussian是高斯函数卷积核，本实施例中采用了5×5的高斯函数卷积核，即
Figure BDA00000514442100000611
符号“*”表示卷积运算，SubSample[Image]表示对输入图像Image的水平和垂直方向均进行1/2下采样；当n＝1时，
Figure BDA0000051444210000071
即为
Figure BDA0000051444210000072
A3.对于彩色图像Ct的各个图像分量
Figure BDA0000051444210000073
计算其高斯金字塔不同层次的图像特征图的Center-Surround差异
Figure BDA0000051444210000074
其中，
Figure BDA0000051444210000075
和分别表示彩色图像Ct的图像分量的高斯金字塔第i层和第j层的图像特征图，i∈{2，3，4}，j＝i+d，d∈{3，4}；符号“Θ”表示将第j层的图像特征图上采样到第i层的图像特征图的尺寸大小，然后将这2幅图像特征图对应像素点进行相减，“|·|”表示取绝对值。
A4.对于彩色图像Ct的亮度分量
Figure BDA00000514442100000710
对其6幅Center-Surround差异计算结果
Figure BDA00000514442100000711
进行Across-Scale融合，即
Figure BDA00000514442100000712
其中，
Figure BDA00000514442100000713
表示局部迭代归一化过程，若令M是局部迭代归一化过程的输入图像，则
Figure BDA00000514442100000714
这里DOG是高斯差分函数，本实施例中
Figure BDA00000514442100000715
σex和σinh分别为输入图像宽度的2％和25％，cex取0.5，cinh取1.5，c是一个常量，取值为1。符号“*”表示卷积运算；符号表示先将6幅Center-Surround差异计算结果局部迭代归一化后得到的图像
Figure BDA00000514442100000717
均下采样到高斯金字塔中第4层图像特征图的尺寸大小，即长宽均为彩色图像Ct长宽的1/16，然后将经上述处理后的6幅Center-Surround差异计算结果相加；对于彩色图像Ct的色调分量
Figure BDA00000514442100000718
和饱和度分量
Figure BDA00000514442100000719
对其12幅Center-Surround差异计算结果
Figure BDA00000514442100000720
Figure BDA00000514442100000721
以及
Figure BDA00000514442100000722
进行Across-Scale融合，即
Figure BDA00000514442100000723
对于彩色图像Ct的四个方向分量
Figure BDA00000514442100000724
对其24幅Center-Surround差异计算结果进行Across-Scale融合，即
A5.对Across-Scale融合的结果
Figure BDA00000514442100000726
分别进行线性归一化使
Figure BDA00000514442100000728
中各个像素的值在0～255之间，记经过线性归一化后的
Figure BDA00000514442100000729
分别为A⊥、AH，S、Aθ。
②计算
Figure BDA0000051444210000081
其中，
Figure BDA0000051444210000082
和
Figure BDA0000051444210000083
分别为与彩色图像Ct同一个视点的前一时刻t-1时刻和后一时刻t+1时刻的彩色图像Ct-1和Ct+1的亮度分量，符号“∩”表示图像与运算，“|·|”表示取绝对值；对进行线性归一化使其各个像素的值在0～255之间；然后，对线性归一化后的
Figure BDA0000051444210000085
的水平和垂直方向均进行1/16下采样，得到运动视觉显著性图M。
③计算得到深度视觉显著性图B，具体步骤为：
C1.令
Figure BDA0000051444210000086
表示彩色图像Ct所对应的深度图像，本实施例所采用的深度图像如图4所示。采用Gabor方向滤波器对深度图像
Figure BDA0000051444210000087
进行滤波，得到深度图像
Figure BDA0000051444210000088
的0°、45°、90°和135°四个方向的方向分量，分别记为
Figure BDA0000051444210000089
C2.对步骤C1得到的每一个图像分量
Figure BDA00000514442100000810
R∈{I，0°，45°，90°，135°}，分别进行高斯金字塔运算，得到深度图像的各个图像分量不同层次的图像特征图
Figure BDA00000514442100000812
1≤n≤8，这里，
Figure BDA00000514442100000813
其中
Figure BDA00000514442100000814
为第n层高斯金字塔运算的结果；当n＝1时，
Figure BDA00000514442100000815
即为
Figure BDA00000514442100000816
C3.对于深度图像
Figure BDA00000514442100000817
的各个图像分量
Figure BDA00000514442100000818
计算其高斯金字塔不同层次的图像特征图的Center-Surround差异，即
Figure BDA00000514442100000819
其中，
Figure BDA00000514442100000820
和分别表示图像分量
Figure BDA00000514442100000822
的高斯金字塔第i层和第j层的图像特征图，i∈{2，3，4}，j＝i+d，d∈{3，4}；符号“Θ”表示将第j层的图像特征图
Figure BDA00000514442100000823
上采样到第i层的图像特征图
Figure BDA00000514442100000824
的尺寸大小，然后将这2幅图像特征图对应像素点进行相减。
C4.对于深度图像
Figure BDA00000514442100000825
对其6幅Center-Surround差异计算结果
Figure BDA00000514442100000826
进行Across-Scale融合，即
Figure BDA00000514442100000828
其中
Figure BDA00000514442100000829
表示局部迭代归一化过程，符号
Figure BDA00000514442100000830
表示先将6幅Center-Surround差异计算结果局部迭代归一化后得到的图像均下采样到高斯金字塔中第4层图像的尺寸大小，即长宽均为输入的深度图像长宽的1/16，然后将经上述处理后的6幅Center-Surround差异计算结果相加；对于四个方向分量
Figure BDA00000514442100000832
Figure BDA00000514442100000833
和
Figure BDA00000514442100000834
对其24幅Center-Surround差异计算结果进行Across-Scale融合，即
C5.对Across-Scale融合的结果
Figure BDA00000514442100000836
分别进行线性归一化使
Figure BDA00000514442100000837
中各个像素的值在0～255之间，然后将线性归一化后的
Figure BDA0000051444210000091
进行线性加权融合，得到深度视觉显著性图B。
④将静态视觉的亮度显著性图AI、颜色显著性图AH，S和方向显著性图Aθ、运动视觉显著性图M、深度视觉显著性图B，按照VPV＝αAI+βAH，S+γAθ+λM+ηB进行加权融合，得到输入的彩色图像Ct的视觉显著性图VPV；视觉显著性图中每个像素的像素值vpvi为彩色图像Ct对应的第i个16×16宏块的视觉优先权值，表征人眼对该宏块的关注度；α、β、γ、λ和η分别是亮度特征、颜色特征、方向特征、运动特征和深度特征的权重系数，表征人眼对这些特征的敏感程度。本实施例中，α＝0.3、β＝0.1、γ＝0.1、λ＝0.4和η＝0.1。图5给出了按上述方法得到的图3所示的多视点视频Ballet的彩色图像的视觉显著性图，该视觉显著性图的长宽均为图3所示的Ballet的彩色图像以及图4所示的Ballet的深度图像的1/16。
⑤对彩色图像Ct进行编码，在编码时，根据彩色图像Ct的视觉显著性图VPV调整彩色图像Ct各个16×16宏块的编码量化参数：QPi＝QP+ΔQPi，其中QP是由JMVM确定的对于彩色图像Ct进行编码所采用的量化参数，QPi是编码彩色图像Ct中第i个宏块时最终所采用的量化参数，
Figure BDA0000051444210000092
这里，T＝α1+β1·QP，
Figure BDA0000051444210000093
是彩色图像Ct的第i个16×16宏块的视觉优先权值，vpvmax和vpvmin分别为彩色图像Ct的视觉显著性图VPV中的最大值和最小值。本实施例中，α1＝6.27，β1＝-0.10；α2＝-2.75，β2＝-52.10，γ2＝18.3，ω2＝4.17；α3＝-0.05，β3＝-6.57，γ3＝3.21；μ＝0.08。
图6是采用本发明编码方法编码如图3所示的多视点视频Ballet时码率的节省情况，编码平台采用JMVM，HBP结构，GOP长度为12，编码Ballet序列61帧。如图6所示，在不同的编码量化参数下，与JMVM编码方法相比，采用本发明编码方法码率节省了5％～30％。对于重建图像的质量，这里采用基于结构相似度(Structural SIMilarity，SSIM)的图像质量评价方法，具体的指标为：1)原始图像与JMVM编码后重建图像的SSIM(原始图像，JMVM)；2)原始图像与本发明编码方法编码后重建图像的SSIM(原始图像，本发明)；3)JMVM编码后重建图像与本发明编码方法编码后重建图像的SSIM(JMVM，本发明)。图7、图8、图9、图10分别给出了Ballet序列在QP＝22、QP＝27、QP＝32、QP＝37时的上述3项指标的结果，从图中可以看出，本发明编码方法编码后重建图像与JMVM编码后重建图像的结构相似度达到98％以上，即与JMVM相比，本发明编码方法的重建图像质量几乎与JMVM编码重建图像相当，但是码率却节省了5～30％，因而本发明编码方法在保证图像质量的同时很大程度上提高了编码效率。

Claims (3)

1.一种基于视觉的多视点视频信号编码方法，其特征在于首先建立被编码的视频图像的视觉显著性图以对视频图像感兴趣区域进行划分，在其后的编码过程中，在人眼比较感兴趣的区域分配较多的码率，而在人眼不太感兴趣的区域分配较少的码率，具体包括以下步骤：
①计算得到静态视觉的亮度显著性图AI、颜色显著性图AH，S和方向显著性图Aθ：
A1.记多视点视频中当前正在处理的t时刻的彩色图像为Ct，把彩色图像Ct转换到HSI彩色空间表示，彩色图像Ct的色调分量表示为 
Figure FDA00001878810700011
彩色图像Ct的饱和度分量表示为 
Figure FDA00001878810700012
彩色图像Ct的亮度分量表示为 
Figure FDA00001878810700013
采用Gabor方向滤波器对彩色图像Ct的亮度分量 
Figure FDA00001878810700014
进行滤波，得到彩色图像Ct在0°、45°、90°和135°四个方向的方向分量，分别记为 
Figure FDA00001878810700015
和 
Figure FDA00001878810700016
A2.对彩色图像Ct的每一个图像分量 P∈{H，S，I，0°，45°，90°，135°}，分别进行高斯金字塔运算，得到彩色图像Ct的各个图像分量的不同层次的图像特征图 
Figure FDA00001878810700018
1≤n≤8，这里，其中 
Figure FDA000018788107000110
为第n层高斯金字塔运算的结果，Gaussian是高斯函数卷积核，符号“*”表示卷积运算，SubSample[Image]表示对输入图像Image的水平和垂直方向均进行1/2下采样；当n＝1时， 
Figure FDA000018788107000111
即为 
A3.对于彩色图像Ct的各个图像分量 计算其高斯金字塔不同层次的图像特征图的Center-Surround差异 
Figure FDA000018788107000114
Figure FDA000018788107000115
其中， 
Figure FDA000018788107000116
和 
Figure FDA000018788107000117
分别表示彩色图像Ct的图像分量 
Figure FDA000018788107000118
的高斯金字塔第i层和第j层的图像特征图，i∈{2，3，4}，j＝i+d，d∈{3，4}；符号“Θ”表示将第j层的图像特征图 
Figure FDA000018788107000119
上采样到第i层的图像特征图 
Figure FDA000018788107000120
的尺寸大小，然后将这2幅图像特征图对应像素点进行相减，“|·|”表示取绝对值；
A4.对于彩色图像Ct的亮度分量 
Figure FDA000018788107000121
对其6幅Center-Surround差异计算结果 
Figure FDA000018788107000122
进行Across-Scale融合，即 
Figure FDA000018788107000123
其中，N表示局部迭代归一化过程，若令M是局部迭代归一化过程的输入图像，则 
Figure FDA000018788107000124
这里DOG是高斯差分函数，c是一个常量，符号“*”表示卷积运算；符号“⊕”表示先将6幅Center-Surround差异计算 结果局部迭代归一化后得到的图像 
Figure FDA00001878810700021
均下采样到高斯金字塔中第4层图像特征图的尺寸大小，即长宽均为彩色图像Ct长宽的1/16，然后将经上述处理后的6幅Center-Surround差异计算结果相加；对于彩色图像Ct的色调分量 
Figure FDA00001878810700022
和饱和度分量 
Figure FDA00001878810700023
对其12幅Center-Surround差异计算结果 
Figure FDA00001878810700024
Figure FDA00001878810700025
以及 
Figure FDA00001878810700026
进行Across-Scale融合，即
Figure FDA00001878810700027
对于彩色图像Ct的四个方向分量 
Figure FDA00001878810700028
对其24幅Center-Surround差异计算结果进行Across-Scale融合，即 
Figure FDA00001878810700029
A5.对Across-Scale融合的结果 
Figure FDA000018788107000210
分别进行线性归一化使 
Figure FDA000018788107000211
Figure FDA000018788107000212
中各个像素的值在0～255之间，记经过线性归一化后的 
Figure FDA000018788107000213
分别为AI、AH，S、Aθ；
②计算 
Figure FDA000018788107000214
其中， 
Figure FDA000018788107000215
和 
Figure FDA000018788107000216
分别为与彩色图像Ct同一个视点的前一时刻t-1时刻和后一时刻t+1时刻的彩色图像Ct-1和Ct+1的亮度分量，符号“∩”表示图像与运算，“|·|”表示取绝对值；对 
Figure FDA000018788107000217
进行线性归一化使其各个像素的值在0～255之间；然后，对线性归一化后的 
Figure FDA000018788107000218
的水平和垂直方向均进行1/16下采样，得到运动视觉显著性图M；
③计算得到深度视觉显著性图B，具体步骤为：
C1.令 
Figure FDA000018788107000219
表示彩色图像Ct所对应的深度图像，采用Gabor方向滤波器对深度图像 
Figure FDA000018788107000220
进行滤波，得到深度图像 
Figure FDA000018788107000221
的0°、45°、90°和135°四个方向的方向分量，分别记为 
Figure FDA000018788107000222
Figure FDA000018788107000223
C2.对步骤C1得到的每一个图像分量 
Figure FDA000018788107000224
R∈{I，0°，45°，90°，135°}，分别进行高斯金字塔运算，得到深度图像 的各个图像分量不同层次的图像特征图 
Figure FDA000018788107000226
1≤n≤8，这里，
Figure FDA000018788107000227
其中 
Figure FDA000018788107000228
为第n层高斯金字塔运算的结果；当n＝1时， 
Figure FDA000018788107000229
即为 
Figure FDA000018788107000230
C3.对于深度图像 
Figure FDA000018788107000231
的各个图像分量 
Figure FDA000018788107000232
计算其高斯金字塔不同层次的图像特征图的Center-Surround差异，即 其中， 
Figure FDA000018788107000234
和 
Figure FDA000018788107000235
分别表 示图像分量 
Figure FDA00001878810700031
的高斯金字塔第i层和第j层的图像特征图，i∈{2，3，4}，j＝i+d，d∈{3，4}；符号“Θ”表示将第j层的图像特征图 
Figure FDA00001878810700032
上采样到第i层的图像特征图 
Figure FDA00001878810700033
的尺寸大小，然后将这2幅图像特征图对应像素点进行相减；
C4.对于深度图像 对其6幅Center-Surround差异计算结果 
Figure FDA00001878810700035
Figure FDA00001878810700036
进行Across-Scale融合，即 
Figure FDA00001878810700037
其中，N表示局部迭代归一化过程，符号“⊕”表示先将6幅Center-Surround差异计算结果局部迭代归一化后得到的图像 
Figure FDA00001878810700038
均下采样到高斯金字塔中第4层图像的尺寸大小，即长宽均为输入的深度图像长宽的1/16，然后将经上述处理后的6幅Center-Surround差异计算结果相加；对于四个方向分量 
Figure FDA000018788107000310
和 
Figure FDA000018788107000311
对其24幅Center-Surround差异计算结果进行Across-Scale融合，即 
Figure FDA000018788107000312
C5.对Across-Scale融合的结果 
Figure FDA000018788107000313
分别进行线性归一化使 
Figure FDA000018788107000314
中各个像素的值在0～255之间，然后将线性归一化后的 
Figure FDA000018788107000315
进行线性加权融合，得到深度视觉显著性图B；
④将静态视觉的亮度显著性图AI、颜色显著性图AH，S和方向显著性图Aθ、运动视觉显著性图M、深度视觉显著性图B，按照VPV＝αAI+βAH，S+γAθ+λM+ηB进行加权融合，得到输入的彩色图像Ct的视觉显著性图VPV；视觉显著性图中每个像素的像素值vpvi为彩色图像Ct对应的第i个16×16宏块的视觉优先权值，表征人眼对该宏块的关注度；α、β、γ、λ和η分别是亮度特征、颜色特征、方向特征、运动特征和深度特征的权重系数，表征人眼对这些特征的敏感程度；
⑤对彩色图像Ct进行编码，在编码时，根据彩色图像Ct的视觉显著性图VPV调整彩色图像Ct各个16×16宏块的编码量化参数：QPi＝QP+ΔQPi，其中QP是由JMVM确定的对于彩色图像Ct进行编码所采用的量化参数，QPi是编码彩色图像Ct中第i个宏块时最终所采用的量化参数， 
Figure FDA000018788107000316
这里，T＝α1+β1·QP，
Figure FDA000018788107000317
vpvi是彩色图像Ct 的第i个16×16宏块的视觉优先权值，vpvmax和vpvmin分别为彩色图像Ct的视觉显著性图VPV中的最大值和最小值，α1、β1、α2、β2、γ2、ω2、α3、β3、γ3和μ为常数。
2.根据权利要求1所述的一种基于视觉的多视点视频信号编码方法，其特征在于所述的步骤④中的亮度特征、颜色特征、方向特征、运动特征和深度特征的权重系数α、β、γ、λ和η的取值分别是α=0.3、β=0.1、γ=0.1、λ=0.4和η=0.1。
3.根据权利要求1所述的一种基于视觉的多视点视频信号编码方法，其特征在于所述的步骤⑤中α1=6.27，β1=-0.10；α2=-2.75，β2=-52.10，γ2=18.3，ω2=4.17；α3=-0.05，β3=-6.57，γ3=3.21；μ=0.08。 
CN 201110069318 2011-03-22 2011-03-22 一种基于视觉的多视点视频信号编码方法 Expired - Fee Related CN102158712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110069318 CN102158712B (zh) 2011-03-22 2011-03-22 一种基于视觉的多视点视频信号编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110069318 CN102158712B (zh) 2011-03-22 2011-03-22 一种基于视觉的多视点视频信号编码方法

Publications (2)

Publication Number Publication Date
CN102158712A CN102158712A (zh) 2011-08-17
CN102158712B true CN102158712B (zh) 2012-10-24

Family

ID=44439852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110069318 Expired - Fee Related CN102158712B (zh) 2011-03-22 2011-03-22 一种基于视觉的多视点视频信号编码方法

Country Status (1)

Country Link
CN (1) CN102158712B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957903A (zh) * 2011-08-24 2013-03-06 赵翔 基于3g网络通讯的照片和视频低失真压缩传输方法
CN102438167B (zh) * 2011-10-21 2014-03-12 宁波大学 一种基于深度图像绘制的立体视频编码方法
CN102769749B (zh) * 2012-06-29 2015-03-18 宁波大学 一种深度图像的后处理方法
US10075689B2 (en) 2012-07-04 2018-09-11 Intel Corporation Region-of-interest based 3D video coding
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
CN104052992B (zh) * 2014-06-09 2018-02-27 联想(北京)有限公司 一种图像处理方法及电子设备
CN106462771A (zh) * 2016-08-05 2017-02-22 深圳大学 一种3d图像的显著性检测方法
CN106331674B (zh) * 2016-08-23 2018-05-15 深圳市捷视飞通科技股份有限公司 基于图像稀疏特征的立体视频显示方法及装置
CN109922343A (zh) * 2019-04-12 2019-06-21 杭州电子科技大学上虞科学与工程研究院有限公司 一种从少量用户眼动数据提取显著性进行视频压缩的方法
CN110251076B (zh) * 2019-06-21 2021-10-22 安徽大学 融合视觉注意力基于对比度的显著性检测方法及装置
CN110213587A (zh) * 2019-07-08 2019-09-06 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备及存储介质
CN114827622A (zh) * 2021-01-19 2022-07-29 华为技术有限公司 分层编解码的方法及装置
CN114079779B (zh) * 2022-01-12 2022-05-17 深圳传音控股股份有限公司 图像处理方法、智能终端及存储介质
CN115314722B (zh) * 2022-06-17 2023-12-08 百果园技术(新加坡)有限公司 一种视频码率分配方法、系统、设备及存储介质
CN115604477B (zh) * 2022-12-14 2023-03-31 广州波视信息科技股份有限公司 一种超高清视频失真优化编码方法
CN117615148B (zh) * 2024-01-24 2024-04-05 华中科技大学 一种基于多尺度框架的端到端特征图分层压缩方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7397851B2 (en) * 2001-05-10 2008-07-08 Roman Kendyl A Separate plane compression
CN101533512B (zh) * 2009-04-24 2012-05-09 西安电子科技大学 基于人类视觉注意系统的图像感兴趣区域自动提取方法
CN101986716B (zh) * 2010-11-05 2012-07-04 宁波大学 一种快速深度视频编码方法

Also Published As

Publication number Publication date
CN102158712A (zh) 2011-08-17

Similar Documents

Publication Publication Date Title
CN102158712B (zh) 一种基于视觉的多视点视频信号编码方法
EP3669333B1 (en) Sequential encoding and decoding of volymetric video
US9094660B2 (en) Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video
US9525858B2 (en) Depth or disparity map upscaling
CN104469386B (zh) 一种基于dof的恰可察觉误差模型的感知立体视频编码方法
WO2018119808A1 (zh) 一种基于3d卷积神经网络的立体视频生成方法
CN105469375B (zh) 处理高动态范围全景图的方法和装置
CN110852964A (zh) 一种基于深度学习的图像比特增强方法
CN103024402B (zh) 一种自由视点视频整帧丢失错误隐藏方法
EP2979449B1 (en) Enhancing motion pictures with accurate motion information
CN107240147B (zh) 图像渲染方法及系统
WO2022268181A1 (zh) 视频增强处理方法、装置、电子设备和存储介质
CN105306954A (zh) 一种基于视差最小可察觉误差模型的感知立体视频编码
CN103024381A (zh) 一种基于恰可察觉失真的宏块模式快速选择方法
Lu et al. A survey on multiview video synthesis and editing
CN107509074B (zh) 基于压缩感知的自适应3d视频压缩编解码方法
CN103826135B (zh) 基于恰可识别视差错误估计的三维视频深度图编码方法
Jammal et al. Multiview video quality enhancement without depth information
WO2023133888A1 (zh) 图像处理方法、装置、遥控设备、系统及存储介质
CN105141967A (zh) 基于恰可觉察失真模型的快速自适应环路滤波算法
Xiang et al. Auto-regressive model based error concealment scheme for stereoscopic video coding
CN112819707B (zh) 一种端到端抗块效应低照度图像增强方法
Gao et al. Occupancy-assisted attribute artifact reduction for video-based point cloud compression
Ali et al. Depth image-based spatial error concealment for 3-D video transmission
CN107770511A (zh) 一种多视点视频的编解码方法、装置和相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121024

Termination date: 20200322

CF01 Termination of patent right due to non-payment of annual fee