CN103533348B - 基于视觉感知的多视点快速模式选择方法 - Google Patents
基于视觉感知的多视点快速模式选择方法 Download PDFInfo
- Publication number
- CN103533348B CN103533348B CN201310444517.5A CN201310444517A CN103533348B CN 103533348 B CN103533348 B CN 103533348B CN 201310444517 A CN201310444517 A CN 201310444517A CN 103533348 B CN103533348 B CN 103533348B
- Authority
- CN
- China
- Prior art keywords
- prediction
- mode
- distortion
- view
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000016776 visual perception Effects 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 title abstract description 22
- 230000009191 jumping Effects 0.000 claims description 14
- 238000010187 selection method Methods 0.000 claims description 9
- 230000008447 perception Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 4
- 238000007430 reference method Methods 0.000 description 8
- 235000019993 champagne Nutrition 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及基于视觉感知的多视点快速模式选择方法。本方法的操作步骤如下：(1) 读取B视点输入视频的每帧像素值，建立时域的恰可辨失真阈值模型;(2) 利用恰可辨失真模型，进行感知模式选择;(3) 输出视频比特流。本发明在保证编码性能几乎不变的同时，能够显著降低多视点视频编码的复杂度，能够满足实际应用中对视频通信的实时需求。
Description
技术领域
本发明涉及多视点编码技术领域，特别是利用恰可辨失真模型进行快速模式选择，提高了视频编码效率，便于网络通信。
背景技术
随着信息技术的发展，人们已经不满足于二维视频带来的视觉享受，而是追求更加身临其境的3D视频。3D视频在给人们带来新的视频盛宴的同时，对现有的网络通信技术也提出了更大的挑战。由于3D视频需要编码传输多路的视频信息，它的数据量相对于传统的单路视频增加了几倍。为此，视频编码联合开发小组制定了多视点视频编码标准，提高了视频的压缩效率。但是，视频编码复杂度的增加阻碍了多视点编码技术在实际中的应用。为此，广大视频研究者对多视点视频编码框架进行优化，提高视频的编码效率。
多视点编码技术是基于宏块编码，对于一帧图像的不同纹理和运动区域，找到最佳的参考帧，并采取穷尽所有的块预测模式，最终找到最优的预测模式。这种穷尽算法虽然能够获得最佳的编码性能，但是也大大增加了编码复杂度。
经过试验发现：在不同的图像区域里，各种参考帧和预测模式的选取概率是不同的。对于运动快的区域，通常选取相邻视点的参考帧。这是因为在视点内的参考帧中进行运动搜索，其搜索的运动矢量相当的大；而使用相邻视点的参考帧，由于只是摄像机拍摄的角度差异，其搜索的视差矢量比视点内搜索出的运动矢量小很多，所以只有在运动快的区域，才会进行视点间的参考，反之，在运动缓慢区域只使用视点内的参考帧。当我们检测出图像的某区域运动很缓慢，直接剔除视点间的参考帧，可以提高视频的编码效率。在纹理平滑的区域，由于纹理特性一致，适合大的块预测模式；在纹理复杂的区域，由于纹理的无规律性，需要用较小块进行预测。
因此，通过分析图像的特性，我们可以提前选取参考帧和块预测模式。恰可辨失真模型正是在分析图像的基本特性的情况下建立的，为此通过恰可辨失真阈值，选择不同的参考帧进行不同的块大小预测，可以提高视频的编码效率。
发明内容
本发明的目的是针对已有技术存在的缺陷，提供基于视觉感知的多视点快速模式选择方法，该方法通过恰可辨失真阈值的不同，通过提前选择不同参考帧和预测模式，来达到提高视频编码效率的目的。
为达到上述目的，本发明采用如下的技术方案：
基于视觉感知的多视点快速模式选择方法，其特征在于操作步骤如下：
(1) 读取B视点输入视频的每帧像素值，建立时域的恰可辨失真阈值模型;
(2) 利用恰可辨失真模型，进行感知模式选择;
(3) 输出视频比特流。
本发明的基于视觉感知的多视点快速模式选择方法与已有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步 ：
1）、该快速编码方法与原有的多视点参考方法相比，平均时间缩短了82%；
2）、该快速编码方法在提高编码效率的同时，其编码性能与参考代码的编码性能几乎一致。
附图说明
图1是本发明中的基于视觉感知的多视点快速模式选择方法的原理框图。
图2是时域的恰可辨失真模型的框图。
图3是进行感知模式选择的框图。
图4是输出比特流的框图。
图5是视频测试序列champagne在本发明提出的方法和多视点编码参考方法下的率失真代价曲线的对比图。
图6是四种有代表性的测试序列在本发明方法下，PSNR，比特率和编码时间相对于参考方法的变化情况。
具体实施方式
以下结合附图对本发明的优选实施例作进一步的详细说明：
实施例一：
本实施例基于视觉感知的多视点快速模式选择方法，参见图1，包括以下步骤：
(1) 读取B视点输入视频的每帧像素值，建立时域的恰可辨失真模型;
(2) 利用恰可辨失真模型，进行感知模式选择;
(3) 输出视频比特流。
实施例二：本实施例与实施例一基本相同，特别之处如下：
上述步骤(1)中读取B视点输入视频的每帧像素值，建立时域的恰可辨失真模型包括两个模型，参见图2：
（1-1）求出纹理恰可辨失真子模型 ，其公式为：
其中为通过canny算子检测到的边缘点的个数，为宏块的边长；
（1-2）计算时域掩盖恰可辨失真子模型曲线表示如下：
其中，，和为常数，分别取8,3.2和0.8，为当前编码帧和前一帧的平均亮度值的差值，表达式如下：
其中表示第帧坐标处的像素值，的表达式如下：
矩阵。
（1-3）求得的两种因子的加权乘积即构成当前图像的恰可辨失真阈值:
上述步骤(2)是利用恰可辨失真模型，进行感知模式选择，参见图3，其具体步骤如下：
（2-1）存储JND阈值，判断当前编码帧是否是关键帧，如果是跳入步骤（2-2）；否则进一步判断，如果否则跳入步骤（2-3），否则进一步判断（实验中取0.01），如果是则跳入步骤（2-4），如果否则比较当前宏块的恰可辨失真均值是否小于当前整帧的恰可辨失真均值，如果是则跳入步骤（2-5），否则跳入步骤（2-6），和的表达式分别如下：
，
其中，分别为图像的高度和宽度。
（2-2）计算阈值 ，并穷尽所有预测模式，的表达式为：
其中表示在关键帧中的进行视点间预测的的均值，表示在关键帧中进行视点内预测的的均值。
（2-3）剔除参考帧列表中的视点间预测帧。
（2-4）选取大小为16x16（skip，inter16x16和intra16x16）的预测模式。
（2-5）选取大小为16x16（skip，inter16x16和intra16x16）和intra4的预测模式，如果skip是最佳预测模式，则跳转到步骤（2-9），否则跳入步骤（2-7）。
（2-6）选取大小为16x16（skip，inter16x16和intra16x16）和intra4，inter16x8，inter8x16的预测模式，如果16x16（skip，inter16x16和intra16x16）是最佳预测模式，则跳入步骤（2-9），否则跳入步骤（2-8）。
（2-7）进行inter16x8，inter8x16模式预测：
（2-8）进行inter8x8模式预测。
（2-9）通过率失真代价函数选取最佳预测模式，并进行下一个宏块编码。
上述步骤(3) 输出视频比特流，参见图4，其具体步骤如下：
（3-1）对预测后的残差进行量化。
（3-2） 对量化后的值进行DCT变换。
（3-3） 进行熵编码，输出视频比特流。
下面进行仿真实验来评估本文所提出的基于视觉感知的多视点快速模式选择方法。在配置为Intel Core i3， CPU 3.3GHz, 4GB RAM, Window 7的PC机上，选取了四种典型的视频测试序列breakdancers，ballet，champagne和dog。其中breakdancers和ballet的大小为1024×768，breakdancers运动剧烈，纹理复杂，ballet运动剧烈，纹理简单，champagne和dog的大小为1280×960，champagne运动缓慢，纹理简单，dog运动适中，纹理适中。编码的环境为：量化参数分别为24,28,32,36；运动搜索范围为48；一个图像编码组（GOP）为8，熵编码方式为基于上下文的自适应二进制算术熵编码方式（CABAC）。
通过对比在本发明方法和参考方法（JMVC 8.2）下，PSNR，比特率和编码时间的变化情况来验证本方法的有效性。
图5对比了两种方法（本方法和JMVC）下，率失真代价（RD）性能曲线的差异。从图中可以看出，本发明提出的方法的RD性能和参考方法RD性能几乎一致。
图6给出了在本方法下，PSNR，比特率和编码时间的变化情况。其中DP表示在本方法作用下，PSNR相对于参考方法的变化，DR表示在本方法作用下，比特率相对于参考方法的变化率，DT表示在本方法作用下，编码时间相对于参考方法的变化率。由图中可以看出：在champagne序列中，最高可节省85.46%的编码时间，而PSNR仅下降0.01db，比特率几乎不增加（图中显示为零，是由于只保留小数点后两位）。这是由于在champagne序列中，大部分图像区域，纹理比较简单，运动比较缓慢。在四组测试序列中，PSNR平均下降了0.05db，比特率增加了0.28%，而编码时间下降了82.05%。
结合以上各图表可以看出，本发明基于视觉感知的多视点快速模式选择方法，利用JND模型，对多视点编码过程中的B视点进行加速，在保证编码性能基本不变的情况下，能够显著的提高编码效率，实用于实际视频通信中对实时性要求高的情况。
Claims (1)
1.基于视觉感知的多视点快速模式选择方法，其特征在于操作步骤如下：
(1) 读取B视点输入视频的每帧像素值，建立时域的恰可辨失真模型;
(2) 利用恰可辨失真模型，进行感知模式选择;
(3) 输出视频比特流；
所述步骤(2) 利用恰可辨失真模型，进行感知模式选择的操作步骤如下：
① 存储JND阈值，判断当前编码帧是否是关键帧，如果是跳入步骤②，否则进一步判断，如果否则跳入步骤③，否则进一步判断（），如果是则跳入步骤④，如果否则比较当前宏块的恰可辨失真均值是否小于当前帧的恰可辨失真均值，如果是则跳入步骤⑤，否则跳入步骤⑥，其中JNDtxt为纹理恰可辨失真子模型，JNDT为时域掩盖可辨失真子模型；
② 计算阈值 ，并穷尽所有预测模式，的表达式如下：
其中表示在关键帧中的进行视点间预测的的均值，表示在关键帧中进行视点内预测的的均值；
③ 剔除参考帧列表中的视点间预测帧；
④ 进行大小为16x16—skip，inter16x16和intra16x16的模式预测；
⑤ 进行大小为16x16—skip，inter16x16和intra16x16和intra4的预测模式，如果skip是最佳预测模式，则跳转到步骤⑨，否则跳入步骤⑦；
⑥进行大小为16x16—skip，inter16x16和intra16x16，intra4，inter16x8，inter8x16的预测模式，如果大小为16x16—skip，inter16x16和intra16x16模式是最佳预测模式，则跳入步骤⑨，否则跳入步骤⑧；
⑦ 进行inter16x8，inter8x16模式预测；
⑧ 进行inter8x8模式预测；
⑨ 通过率失真代价函数选取最佳预测模式，并进行下一个宏块编码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310444517.5A CN103533348B (zh) | 2013-09-26 | 2013-09-26 | 基于视觉感知的多视点快速模式选择方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310444517.5A CN103533348B (zh) | 2013-09-26 | 2013-09-26 | 基于视觉感知的多视点快速模式选择方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103533348A CN103533348A (zh) | 2014-01-22 |
| CN103533348B true CN103533348B (zh) | 2017-02-01 |
Family
ID=49934963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310444517.5A Active CN103533348B (zh) | 2013-09-26 | 2013-09-26 | 基于视觉感知的多视点快速模式选择方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103533348B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104469386B (zh) * | 2014-12-15 | 2017-07-04 | 西安电子科技大学 | 一种基于dof的恰可察觉误差模型的感知立体视频编码方法 |
| CN104994382B (zh) * | 2015-04-30 | 2017-12-19 | 西安电子科技大学 | 一种感知率失真的优化方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101841723A (zh) * | 2010-05-25 | 2010-09-22 | 东南大学 | 基于jnd和ar模型的感知视频压缩方法 |
| CN102420988A (zh) * | 2011-12-02 | 2012-04-18 | 上海大学 | 一种利用视觉特性的多视点视频编码系统 |
| CN103024381A (zh) * | 2012-12-10 | 2013-04-03 | 宁波大学 | 一种基于恰可察觉失真的宏块模式快速选择方法 |
| CN103281554A (zh) * | 2013-04-23 | 2013-09-04 | 宁波大学 | 一种基于人眼视觉特性的视频客观质量评价方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100522049B1 (ko) * | 2003-11-14 | 2005-10-18 | 한국전자통신연구원 | 프레임 평균을 이용한 실시간 비디오 워터마크 삽입 및추출 방법 |
| US7940992B2 (en) * | 2007-03-05 | 2011-05-10 | Siemens Aktiengesellschaft | Visual discrimination model for single image applications |
-
2013
- 2013-09-26 CN CN201310444517.5A patent/CN103533348B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101841723A (zh) * | 2010-05-25 | 2010-09-22 | 东南大学 | 基于jnd和ar模型的感知视频压缩方法 |
| CN102420988A (zh) * | 2011-12-02 | 2012-04-18 | 上海大学 | 一种利用视觉特性的多视点视频编码系统 |
| CN103024381A (zh) * | 2012-12-10 | 2013-04-03 | 宁波大学 | 一种基于恰可察觉失真的宏块模式快速选择方法 |
| CN103281554A (zh) * | 2013-04-23 | 2013-09-04 | 宁波大学 | 一种基于人眼视觉特性的视频客观质量评价方法 |
Non-Patent Citations (2)
| Title |
|---|
| "基于区域划分的JND快速求取算法";张冠军, 朱亚培, 郁梅;《2012年互联网技术与应用国际学术会议》;20120818;第393-396页 * |
| "改进的JND模型及其在图像编码中的应用";刘静，王永芳，武翠芳，张兆杨;《电视技术》;20110715;第15-18页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103533348A (zh) | 2014-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103873861B (zh) | 一种用于hevc的编码模式选择方法 | |
| CN103546749B (zh) | 利用残差系数分布特征和贝叶斯定理优化hevc残差编码的方法 | |
| CN103997646B (zh) | 一种高清视频编码中快速帧内预测模式选择方法 | |
| CN102740077B (zh) | 基于h.264/avc标准的帧内预测模式选择方法 | |
| CN102917225B (zh) | Hevc帧内编码单元快速选择方法 | |
| CN102065298B (zh) | 高性能宏块编码实现方法 | |
| CN103888762B (zh) | 一种基于hevc标准的视频编码框架 | |
| CN103533355B (zh) | 一种hevc快速编码方法 | |
| CN106170092A (zh) | 用于无损编码的快速编码方法 | |
| CN105959690A (zh) | 用于对分割块进行编码的视频编码方法、用于对分割块进行解码的视频解码方法以及用于实施上述方法的记录媒体 | |
| WO2016180129A1 (zh) | 预测模式选择方法、装置及设备 | |
| WO2009157665A3 (ko) | 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 | |
| CN103338370B (zh) | 一种多视点深度视频快速编码方法 | |
| CN105120290B (zh) | 一种深度视频快速编码方法 | |
| CN101572818B (zh) | 一种帧内预测模式的预测方法 | |
| CN103581647A (zh) | 一种基于彩色视频运动矢量的深度图序列分形编码方法 | |
| US20120219057A1 (en) | Video encoding apparatus and video encoding method | |
| CN101710985B (zh) | 一种用于图像编码的图像亮度补偿方法 | |
| CN103442228B (zh) | 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器 | |
| CN103796023A (zh) | 基于h.264/avc宏块结构及纹理的h.265/hevc转码方法及转码器 | |
| CN103546758A (zh) | 一种快速深度图序列帧间模式选择分形编码方法 | |
| CN102196272B (zh) | 一种p帧编码方法及装置 | |
| CN104702959B (zh) | 一种视频编码的帧内预测方法及系统 | |
| CN104883566B (zh) | 一种适用于hevc标准的帧内预测块大小划分的快速算法 | |
| Mu et al. | Fast coding unit depth decision for HEVC |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210115 Address after: 215300 room 105, 1st floor, No.2 factory building, No.189 Zhangji Road, SME Park, Kunshan Development Zone, Suzhou City, Jiangsu Province Patentee after: Jiangsu Kunhua Intelligent Technology Co.,Ltd. Address before: 200444 No. 99, upper road, Shanghai, Baoshan District Patentee before: Shanghai University |