CN103313055B - 一种基于分割的色度帧内预测方法、及视频编码解码方法 - Google Patents
一种基于分割的色度帧内预测方法、及视频编码解码方法 Download PDFInfo
- Publication number
- CN103313055B CN103313055B CN201310216492.3A CN201310216492A CN103313055B CN 103313055 B CN103313055 B CN 103313055B CN 201310216492 A CN201310216492 A CN 201310216492A CN 103313055 B CN103313055 B CN 103313055B
- Authority
- CN
- China
- Prior art keywords
- super
- pixel
- segmentation
- chromatic component
- segmentation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种基于分割的色度帧内预测方法、及视频编码解码方法，属于图像处理技术领域。本发明的基于分割的色度帧内预测方法，包括下列步骤：步骤S1：对输入的视频帧的亮度成分进行帧内预测编码，得到亮度重构图像；步骤S2：对亮度重构图像进行分割，得到亮度超像素分割结果；步骤S3：将所述亮度超像素分割结果传递到色度成分，再基于超像素区域对色度成分的预测单元进行划分，取每个超像素区域内原像素值的均值作为各预测单元的预测值。基于本发明的色度帧内预测方法，本发明还提出了一种视频编码、解码方法。本发明的应用，具有主观质量好，压缩效率高的技术效果，特别适用于高量化步长条件下的高清视频编码。
Description
技术领域
本发明属于视频编码技术领域，具体涉及一种基于分割的色度帧内预测方法、及视频编码解码方法。
背景技术
近年来，随着视频编码和通信传输技术的不断进步，各类数字多媒体相关产业发展迅猛，并极大丰富了我们的日常文化生活。作为数字多媒体应用未来发展方向的重要代表，高清和超高清视频内容因其出色的视觉表现力越来越受到市场的追捧。然而，相较以往的低分辨率视频，高清和超高清视频内容的数据量明显增加，并对现有的存储和传输系统提出了更多大的挑战。如何利用有限的带宽资源传输这些高分辨率的视频数据已成为亟待解决的技术问题。
当前，视频编码标准H.264/AVC已经获得了业界的普遍认可，并广泛应用于各类数字多媒体传输和存储领域。但在H.264/AVC的方向性帧内预测方法中，一些固有的缺陷仍然限制了视频压缩性能的进一步提升。首先，对于目前应用最为广泛的YUV彩色视频编码，H.264/AVC设计了相似的方向性帧内预测编码方案分别用于亮度(Y通道)和色度(U/V通道)成分，但该标准并未考虑亮度和色度成分之间的相关性。虽然，最优的亮度与色度帧内预测模式是通过计算两个成分的率失真代价之和来联合判决得到，但具体的编码操作仍然只是在各个通道(Y/U/V)独立执行；其次，规则的宏块划分方法往往会将对象边界和复杂纹理划分到各个宏块单元，而方向性帧内预测方法对复杂边缘的去相关性能并不理想；再次，由于方向性帧内预测采用当前块周围的重构像素作为参考像素执行预测，当采用较高的量化步长时，随着参考像素重构质量的降低，当前块的预测性能也会相应降低。
发明内容
本发明的发明目的在于：针对上述存在的技术问题，公开一种基于分割的色度帧内预测视频编码方法，其压缩效率高、适用于高量化步长条件下的高清视频编码。
本发明的基于分割的色度帧内预测方法，包括下列步骤：
步骤S1：对输入的视频帧的亮度成分进行帧内预测编码，得到亮度重构图像；
步骤S2：对亮度重构图像进行分割，得到亮度超像素分割结果；
步骤S3：将所述亮度超像素分割结果传递到色度成分，再基于色度成分的超像素区域对色度成分的预测单元进行划分，取每个超像素区域内原像素值的均值作为各预测单元的预测值。
在本发明的基于分割的色度帧内预测方法中，通过将亮度成分的分割结果传递到色度成分，利用了彩色视频不同通道之间的相关性；通过采用超像素预测单元来取代宏块，提高了预测单元内的平坦性和均匀性，促进了帧内预测性能的提高；通过采用原像素来取代周围重构像素执行预测，有效避免了高量化步长条件下，空域失真扩散的问题。因此，相比于H.264/AVC标准中的方向性帧内预测方法，该方法压缩性能更为优异，并且特别适用于高量化步长条件下的高清视频压缩。
基于本发明的色度帧内预测方法，本发明还公开了一种提高主观画质的视频编码方法，包括下列步骤：
步骤1：将输入视频帧的亮度成分Y与色度成分U/V进行分离，对亮度成分Y进行帧内预测编码，得到Y重构图像；
步骤2：指定Np组分割参数对，分别对Y重构图像进行分割，得到Y超像素分割结果，所述分割参数对包括紧致性参数m和超像素数量参数k；
步骤3：基于每组分割参数对下的Y超像素分割结果，分别执行步骤4：
步骤4：将Y超像素分割结果传递到U/V，再基于U/V的超像素区域对U/V的预测单元进行划分，取每个超像素区域内原像素值的均值作为当前分割参数对oc(i)下的各预测单元的预测值；
根据预测值生成残差图像，将所述残差图像划分为Nc个宏块，依次对每个宏块进行编码标记：若编码残差的率失真代价小于不编码残差的率失真代价，则将当前宏块标记为编码块；否则标记为不编码块；由Nc个宏块的编码标记组成当前帧在当前分割参数对oc(i)下的宏块编码标记组合
对所述宏块编码标记组合计算在当前分割参数对oc(i)下的率失真代价
步骤5：从Np个率失真代价中，由最小的率失真代价对应的分割参数对和宏块编码标记组合作为最终编码参数，并基于所述最终编码参数对U/V进行帧内预测编码。
对应本发明的视频编码方法，本发明还公开了一种基于分割的色度帧内预测视频解码方法，其特征在于，包括下列步骤：
步骤1：解码器对亮度成分Y编码码流进行解码，得到Y重构图像；
步骤2：基于色度成分U/V编码码流中的分割参数对，对所述步骤1的亮度成分Y重构图像进行分割，将分割结果用于对色度成分U/V编码码流的解码，得到U/V重构图像。
综上所述，由于采用了上述技术方案，本发明的有益效果是：具有主观质量好，压缩效率高，特别适用于高量化步长条件下的高清视频编码。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的色度帧内预测示意图；
图2是本发明实施例中，残差编码率失真优化流程图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
参见图1，本发明将输入视频帧IYUV的亮度成分Y与色度成分U/V进行分离后，首先对亮度成分Y进行传统的方向性帧内预测编码，并得到Y重构图像；接着对Y重构图像执行分割，分割的实现方法可采用现有任一技术，从而得到Y超像素分割结果。
其次，将Y超像素分割结果直接传递到色度成分。因YUV的采样格式存在多种形式，则可以基于YUV采样格式，设置对应采样率对得到的Y超像素分割结果进行采样后，用于色度成分，对应于现有常见的YUV采样格式，其对Y超像素分割结果具体的采样设置为：
取Y通道的Y超像素分割结果为W×H的矩阵，则对于4:4:4的YUV采样格式，无需采样，将分割结果直接赋给U和V通道；对于4:2:0的YUV采样格式，对Y超像素分割结果在水平和垂直方向进行1/2采样率的隔点采样，得到的分割结果用于U和V通道；对于4:2:2的YUV采样格式，对Y超像素分割结果在水平方向进行1/2采样率的隔点采样，得到的分割结果用于U和V通道；对于4:1:1的YUV采样格式，对Y超像素分割结果在水平方向进行1/4采样率的均匀采样，得到的分割结果用于U和V通道。
最后，对U/V成分的超像素区域执行平滑的均值预测来实现色度成分空域去相关的目的，即基于超像素区域对色度成分的预测单元进行划分，取每个超像素区域内原像素值的均值作为各预测单元的预测值。
基于本发明的色度帧内预测方法，还可以进一步对残差图像进行处理，即基于率失真优化的判决方法来判定是否对当前宏块的残差进行编码，具体的编码方法可以采用现有任一通用方案，如采用H.264/AVC的编码方案，从而有效提高现有处理方式的主观画质。为了保证处理效果，在将重构的亮度图像的分割结果直接传递到色度图像来辅助色度成分的去相关操作时，根据实际应用需求，制定多组不同的分割参数对(包括紧致性参数m和超像素数量参数k)，分别进行分割操作及对应的色度帧内预测，计算对应的率失真代价，选出最优的方式作为最终的编码参数，具体实现过程如下：
步骤1：对输入视频帧的亮度成分Y与色度成分U/V进行分离，并对亮度成分Y进行帧内预测编码，得到Y重构图像；
步骤2：指定Np组分割参数对oc(i)，i＝1,2，…Np，基于每个oc(i)分别对Y重构图像进行分割，得到Y超像素分割结果，
步骤3：基于各oc(i)下的Y超像素分割结果，分别执行步骤4：
步骤4：将Y超像素分割结果传递到U/V，再基于U/V的超像素区域对U/V的预测单元进行划分，取每个超像素区域内原像素值的均值作为当前分割参数对oc(i)下的各预测单元的预测值；
根据预测值生成残差图像，先将残差图像划分为Nc个宏块，依次对每个宏块进行编码标记：用of(j)表示第j(j＝1,2，…Nc)个宏块的编码标记，0表示不编码，1表示编码，则在当前分割参数对oc(i)下的率失真代价可表示为Jj(of(j)|oc(j))，Jj(of(j)|oc(i))＝Dj(of(j)|oc(i))+λ·R(of(j)|oc(i))，其中Dj(of(j)|oc(i))表示第j个宏块在编码选项(of(j)|oc(i))下的重构失真，Rj(of(j)|oc(i))表示第j个宏块在编码选项(of(j)|oc(i))下的码率，λ表示拉格朗日乘子，其具体的取值可参考H.264/AVC标准文档。
若Jj(of(j)＝1|oc(i))＜Jj(of(j)＝0|oc(i))即，编码残差的率失真代价小于不编码残差的率失真代价，则将当前宏块标记为编码块(标记为1)；否则标记为不编码块(标记为0)，得到当前宏块j的最优编码标记位
由Nc个宏块的最优编码标记位组成当前帧在当前分割参数对oc(i)下的宏块编码标记组合并基于计算在当前分割参数对oc(i)下的率失真代价
步骤5：从Np个率失真代价中，选出最小的率失真代价对应的分割参数对和宏块编码标记组合作为最终编码参数，并基于所述最终编码参数对U/V进行帧内预测编码，具体的编码过程可采用H.264/AVC标准中的方法。
在解码处理时，首先基于解码器对亮度成分Y编码码流进行解码，得到Y重构图像；再基于色度成分U/V编码码流中的分割参数对，对所述步骤1的亮度成分Y重构图像进行分割，将分割结果用于对色度成分U/V编码码流的解码，得到U/V重构图像。
实施例
在优化的H.264/AVC通用测试平台KTA2.4r1上进行实现，所示主要包括三个步骤，分别是亮度成分编码和重构，色度成分预测编码(主要包括分割参数与残差编码标记的优化)和解码时Y，U，V通道合并，具体如下：
步骤S100：将输入视频帧亮度成分Y与色度成分U/V进行分离，并编码重构Y。
步骤S200：色度成分预测编码，具体步骤如下：
S201：对重构的亮度图像执行分割。
本实施例中，优选采用文献“RadhakrishnaAchanta,AppuShaji,KevinSmith,AurelienLucchi,PascalFua,andSabineSüsstrunk,SLICSuperpixelsComparedtoState-of-the-artSuperpixelMethods,acceptedtotheIEEETransactionsonPatternAnalysisandMachineIntelligence,May2012.”中的方法执行过分割操作，每次分割需要指定紧致性参数m和超像素数量参数k。逐一采用所有备选的分割参数对，并将每组分割参数下的超像素分割结果保存起来。具体的分割参数设定见下表：
S202：以每组分割参数对作为先验，根据当前分割参数对下的Y超像素分割结果进行预测单元划分，取每个超像素内原像素值的均值作为各预测单元的预测值。
S203：根据步骤S202得到的超像素区域预测结果生成残差图像。然后，以宏块单元进行残差编码。而每个宏块残差是否编码根据率失真代价Jj(of(j)|oc(j))来判定。
S204：对每组分割参数执行S202和S203，由Nc个宏块的最优编码标记位组成当前帧在当前分割参数对oc(i)下的宏块编码标记组合并基于计算在当前分割参数对oc(i)下的率失真代价最后，选出率失真代价最小的分割参数与宏块编码标记的组合作为最终的编码参数。
具体的优化过程参见图2：
初始化率失真代价阈值为最大值MAX，最优分割参数对为第1组分割参数对，对于每组分割参数对oc(i)，依次计算各宏块j的率失真代价Jj(of(j)|oc(j))，若Jj(of(j)＝1|oc(i))＜Jj(of(j)＝0|oc(i))，则最优编码标记位当处理完Nc个宏块后，计算当前帧(Nc个宏块的最优编码标记位组合)在oc(i)下的率失真代价若小于则对进行更新：直到处理完所有备用(Np组)的分割参数对，从而得到最优的分割参数对和最优编码标记位组合。
在步骤S203和S204中，视频编码所涉及的变换、量化和熵编码操作采用H.264/AVC标准中的方法。
步骤S300：将步骤S100中得到的亮度成分Y编码码流和步骤S200中得到的色度成分U/V编码码流编码得到的码流分别传递到解码端。
在解码端，解码器首先解码亮度成分Y，然后根据色度成分码流中的分割参数对Y成分重构图像执行分割，相应的分割结果用于后续色度成分U/V的解码。将解码后的Y，U，V通道合并后可实现播放。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (4)
1.一种基于分割的色度帧内预测方法，其特征在于，包括下列步骤：
步骤S1：对输入的视频帧的亮度成分进行帧内预测编码，得到亮度重构图像；
步骤S2：对亮度重构图像进行分割，得到亮度超像素分割结果；
步骤S3：将所述亮度超像素分割结果传递到色度成分，再基于色度成分的超像素区域对色度成分的预测单元进行划分，取每个超像素区域内原像素值的均值作为各预测单元的预测值。
2.如权利要求1所述的预测方法，其特征在于，所述步骤S3中，将所述亮度超像素分割结果传递到色度成分为：基于的YUV采样格式，设置对应采样率对所述亮度超像素分割结果进行采样后，用于色度成分。
3.一种基于分割的色度帧内预测视频编码方法，其特征在于，包括下列步骤：
步骤1：将输入视频帧的亮度成分Y与色度成分U/V进行分离，对亮度成分Y进行帧内预测编码，并得到Y重构图像；
步骤2：指定Np组分割参数对，分别对Y重构图像进行分割，得到Y超像素分割结果，所述分割参数对包括紧致性参数m和超像素数量参数k；
步骤3：基于每组分割参数对下的Y超像素分割结果，分别执行步骤4：
步骤4：将Y超像素分割结果传递到U/V，再基于U/V的超像素区域对U/V的预测单元进行划分，取每个超像素区域内原像素值的均值作为当前分割参数对oc(i)下的各预测单元的预测值；
根据预测值生成残差图像，将所述残差图像划分为Nc个宏块，依次对每个宏块进行编码标记：若编码残差的率失真代价小于不编码残差的率失真代价，则将当前宏块标记为编码块；否则标记为不编码块；由Nc个宏块的编码标记组成当前帧在当前分割参数对oc(i)下的宏块编码标记组合
对所述宏块编码标记组合计算在当前分割参数对oc(i)下的率失真代价
步骤5：从Np个率失真代价中，由最小的率失真代价对应的分割参数对和宏块编码标记组合作为最终编码参数，并基于所述最终编码参数对U/V进行帧内预测编码。
4.一种基于分割的色度帧内预测视频解码方法，其特征在于，包括下列步骤：
步骤1：解码器对亮度成分Y编码码流进行解码，得到Y重构图像；
步骤2：基于色度成分U/V编码码流中的分割参数对，对所述步骤1的亮度成分Y重构图像进行分割，将分割结果用于对色度成分U/V编码码流的解码，得到U/V重构图像，其中分割参数对包括紧致性参数m和超像素数量参数k。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310216492.3A CN103313055B (zh) | 2013-06-03 | 2013-06-03 | 一种基于分割的色度帧内预测方法、及视频编码解码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310216492.3A CN103313055B (zh) | 2013-06-03 | 2013-06-03 | 一种基于分割的色度帧内预测方法、及视频编码解码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103313055A CN103313055A (zh) | 2013-09-18 |
| CN103313055B true CN103313055B (zh) | 2016-04-20 |
Family
ID=49137773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310216492.3A Active CN103313055B (zh) | 2013-06-03 | 2013-06-03 | 一种基于分割的色度帧内预测方法、及视频编码解码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103313055B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10506243B2 (en) | 2014-03-06 | 2019-12-10 | Samsung Electronics Co., Ltd. | Image decoding method and device therefor, and image encoding method and device therefor |
| WO2016154963A1 (en) * | 2015-04-01 | 2016-10-06 | Mediatek Inc. | Methods for chroma coding in video codec |
| US10531085B2 (en) * | 2017-05-09 | 2020-01-07 | Futurewei Technologies, Inc. | Coding chroma samples in video compression |
| CN109005408B (zh) * | 2018-08-01 | 2020-05-29 | 北京奇艺世纪科技有限公司 | 一种帧内预测方法、装置及电子设备 |
| CN109451306B (zh) * | 2019-01-16 | 2020-08-11 | 北京数码视讯软件技术发展有限公司 | 色度分量的最佳预测模式的选择方法、装置及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103004201A (zh) * | 2010-07-15 | 2013-03-27 | 三菱电机株式会社 | 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法 |
| KR20130050900A (ko) * | 2011-11-08 | 2013-05-16 | 한국전자통신연구원 | 인트라 예측 방법 및 그 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9288500B2 (en) * | 2011-05-12 | 2016-03-15 | Texas Instruments Incorporated | Luma-based chroma intra-prediction for video coding |
-
2013
- 2013-06-03 CN CN201310216492.3A patent/CN103313055B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103004201A (zh) * | 2010-07-15 | 2013-03-27 | 三菱电机株式会社 | 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法 |
| KR20130050900A (ko) * | 2011-11-08 | 2013-05-16 | 한국전자통신연구원 | 인트라 예측 방법 및 그 장치 |
Non-Patent Citations (2)
| Title |
|---|
| NEW CHROMA INTRA PREDICTION MODES BASED ON LINEAR MODEL FOR HEVC;Xingyu ZHANG, Oscar C. AU, Jingjing DAI, Chao PANG, Feng ZOU;《Image Processing》;20121003;197-200 * |
| 一种新颖的H.264帧内预测快速算法;崔玉斌,蔡安妮;《北京邮电大学学报》;20080415;第31卷(第2期);118-122 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103313055A (zh) | 2013-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104041035B (zh) | 用于复合视频的无损编码及相关信号表示方法 | |
| CN104396245B (zh) | 用于对图像进行编码或解码的方法和装置 | |
| JP6749922B2 (ja) | 高効率ビデオ符号化（ｈｅｖｃ）画面コンテンツ符号化（ｓｃｃ）における改善されたパレットモード | |
| KR102621959B1 (ko) | 임의의 ctu 크기에 대한 ibc 검색 범위 최적화를 사용하는 인코더, 디코더 및 대응하는 방법 | |
| US10051271B2 (en) | Coding structure | |
| JP2023103292A (ja) | エンコーダ、デコーダ、および対応するイントラ予測方法 | |
| JP2021516016A (ja) | 変換領域における残差符号予測のための方法および装置 | |
| CN104303501A (zh) | 用于视频译码的量化矩阵和解块滤波器 | |
| CN103313055B (zh) | 一种基于分割的色度帧内预测方法、及视频编码解码方法 | |
| CN112954367B (zh) | 使用调色板译码的编码器、解码器和相应方法 | |
| WO2020244579A1 (zh) | Mpm列表构建方法、色度块的帧内预测模式获取方法及装置 | |
| CN113545063A (zh) | 使用线性模型进行帧内预测的方法及装置 | |
| JP7384974B2 (ja) | 適応乗算係数を用いた画像フィルタリングのための方法および装置 | |
| JP2023134576A (ja) | コンパクトなｍｖストレージを用いるエンコーダ、デコーダ、及び対応する方法 | |
| JP2023162243A (ja) | Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法 | |
| CN102934445B (zh) | 基于分段对图像编码和解码的方法和设备 | |
| WO2021185257A1 (zh) | 图像编码方法、图像解码方法及相关装置 | |
| CN113489976A (zh) | 预测编码方法、装置和电子设备 | |
| Boitard et al. | Motion-guided quantization for video tone mapping | |
| CN106878754A (zh) | 一种3d视频深度图像帧内预测模式选择方法 | |
| TW202141979A (zh) | 用於針對具有基於聯合圖元／變換的量化的視訊解碼的量化參數控制的方法 | |
| JP2018525901A (ja) | ディスプレイストリーム圧縮における変換モード用ブロックサイズの変更 | |
| EP3096520B1 (en) | A method for encoding/decoding a picture block | |
| RU2816202C2 (ru) | Способ и аппаратура для аффинного внешнего предсказания субблоков цветности | |
| RU2777967C1 (ru) | Деблокирующий фильтр для границ подразделов, возникающих под действием инструмента кодирования интра-подразделов |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |