CN111107365A - 图像带宽压缩中的后选择预测方法 - Google Patents

图像带宽压缩中的后选择预测方法 Download PDF

Info

Publication number
CN111107365A
CN111107365A CN201811261683.0A CN201811261683A CN111107365A CN 111107365 A CN111107365 A CN 111107365A CN 201811261683 A CN201811261683 A CN 201811261683A CN 111107365 A CN111107365 A CN 111107365A
Authority
CN
China
Prior art keywords
current
residual
pixel
prediction
sum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811261683.0A
Other languages
English (en)
Inventor
李雯
冉文方
田林海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Keruisheng Innovative Technology Co Ltd
Original Assignee
Xian Keruisheng Innovative Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Keruisheng Innovative Technology Co Ltd filed Critical Xian Keruisheng Innovative Technology Co Ltd
Priority to CN201811261683.0A priority Critical patent/CN111107365A/zh
Publication of CN111107365A publication Critical patent/CN111107365A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种图像带宽压缩中的后选择预测方法，包括：将图像分成大小相同的多个MB；采用自适应纹理渐变预测方法对当前MB进行预测以获取所述当前MB的第一主观残差和；采用双向跳块扫描多方向预测方法对所述当前MB进行预测以获取所述当前MB的第二主观残差和；根据所述第一主观残差和与所述第二主观残差和确定所述当前MB中每个像素的最终预测残差。本发明提供的图像带宽压缩中的后选择预测方法，以自适应纹理渐变预测方法和双向跳块扫描多方向预测方法为基础，通过预测选择算法可以选择出最优的一种预测方法，对于复杂纹理图像进一步优化了预测效果。

Description

图像带宽压缩中的后选择预测方法
技术领域
本发明涉及一种多媒体技术领域，特别涉及一种图像带宽压缩中的后选择预测方法。
背景技术
带宽压缩技术主要由四个部分组成，包含：预测模块、量化模块、码控模块和熵编码模块。其中预测模块作为一个重要的模块，是利用相邻像素间存在的空间冗余度，根据邻近像素信息对当前像素值进行预测，预测差值的标准差远小于原始图像数据的标准差，因此对预测差值进行编码，更有利于使图像数据的理论熵达到最小，达到提高压缩效率的目的。目前预测模块的算法主要分为两类，纹理相关预测和像素值相关预测。
然而，当待压缩图像的纹理复杂多变时，预测待压缩图像的复杂纹理区域时往往因图像纹理之间的相关性较差，预测编码得不到精确的参考，导致理论极限熵得不到最大化的降低，影响预测模块的质量。因此，在待压缩图像的纹理复杂多变时，提高预测模块的质量成为亟需解决的问题。
随着视频的图像分辨率的增加，需要占用较多的存储空间和传输带宽，在这种情况下，利用芯片内的带宽压缩技术来提高图像的存储空间和传输带宽就显得尤为必要。
在图像纹理复杂区域，单一的预测方法往往不能获取最佳的预测效果，导致图像效果变差。
发明内容
因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种图像带宽压缩中的后选择预测方法。
具体地，本发明一个实施例提出的一种图像带宽压缩中的后选择预测方法，包括：
将图像分成大小相同的多个MB；
采用自适应纹理渐变预测方法对当前MB进行预测以获取所述当前MB的第一主观残差和；
采用双向跳块扫描多方向预测方法对所述当前MB进行预测以获取所述当前MB的第二主观残差和；
根据所述第一主观残差和与所述第二主观残差和确定所述当前MB中每个像素的最终预测残差。
在本发明的一个实施例中，采用自适应纹理渐变预测方法对当前MB进行预测以获取所述当前MB的第一主观残差和，包括：
采用自适应纹理渐变预测方法对所述当前MB进行预测以获取所述当前MB中每个像素的第一预测残差；
根据所述第一预测残差分别计算所述当前MB的第一残差绝对值和与第一绝对值残差和；
根据所述第一主观残差和与第一绝对值残差和计算所述第一残差主观和。
在本发明的一个实施例中，采用自适应纹理渐变预测方法对所述当前MB进行预测以获取所述当前MB中每个像素的第一预测残差，包括：
利用像素值拐点采样方式确定所述当前MB的采样点；
根据所述采样点计算所述当前MB中每个像素的所述第一预测残差。
在本发明的一个实施例中，利用像素值拐点采样方式确定所述当前MB的采样点，包括：
将所述当前MB的当前像素的像素值与所述当前像素相邻的像素的像素值求差获取所述当前MB的像素差值；
将所述像素差值中的连续值的最后一位设定为像素值拐点；
设定所述像素值拐点所对应的所述当前MB的像素为所述当前MB的采样点。
在本发明的一个实施例中，根据所述采样点计算所述当前MB中每个像素的所述第一预测残差，包括：
选取预测方式对所述当前MB进行预测，计算所述当前MB采样点的所述第一预测残差；
选取预测方式对所述当前MB进行预测，计算所述当前MB非采样点的所述第一预测残差。
在本发明的一个实施例中，采用双向跳块扫描多方向预测方法对所述当前MB进行预测以获取所述当前MB的第二主观残差和，包括：
采用双向跳块扫描多方向预测方法对所述当前MB进行预测以获取所述当前MB中每个像素的第二预测残差；
根据所述第二预测残差分别计算所述当前MB的第二残差绝对值和与第二绝对值残差和；
根据所述第二残差绝对值和与第二绝对值残差和计算所述第二主观残差和。
在本发明的一个实施例中，采用双向跳块扫描多方向预测方法对所述当前MB进行预测以获取所述当前MB中每个像素的第二预测残差，包括：
采用P种标记符号依次循环对所述多个MB进行标记；其中，P为大于1的自然数；
采取双向扫描方式扫描所述第N标记符号对应的MB；其中，N为1～P的整数；
确定所述第N标记符号对应的MB的参考方向；
通过所述参考方向计算当前像素的参考像素；
通过当前像素的所述参考像素确定当前像素的所述第二预测残差。
在本发明的一个实施例中，通过所述参考方向计算当前像素的参考像素，包括：
通过当前MB的参考方向确定所述第一参考像素；
根据所述第一参考像素计算所述参考方向的权重；
选取权重最小的所述参考方向作为所述当前MB的纹理方向；
通过所述当前MB的所述纹理方向计算第二参考像素。
在本发明的一个实施例中，根据所述第一主观残差和与所述第二主观残差和确定所述当前MB中每个像素的最终预测残差，包括：
比较所述第一主观残差和与所述第二主观残差和的大小以确定所述最终预测残差；其中，
若所述第一主观残差和小于所述第二主观残差和，则选择所述第一预测残差作为所述最终预测残差；
若所述第一主观残差和大于所述第二主观残差和，则选择所述第二预测残差作为所述最终预测残差。
在本发明的一个实施例中，所述第一主观残差和与所述第二主观残差和的计算公式为：
SUBDk＝a1×SADk+a2×SDk
其中，k为预测模式的序号，取值为1或2；
SUBD1为第一残差主观和，SUBD2为第二残差主观和；
a1与a2为按场景配置的权重系数；
SAD1为所述当前MB的第一残差绝对值和，SAD2为所述当前MB的第二残差绝对值和；
SD1为所述当前MB的第一绝对值残差和，SD2为所述当前MB的第二绝对值残差和。
本发明至少具备如下优点：
本发明提供的图像带宽压缩中的后选择预测方法，通过预测选择算法，从两种预测方法中选择出最优的一种预测方法，对于复杂纹理图像进一步优化了预测效果。
附图说明
下面将结合附图，对本发明的具体实施方式进行详细的说明。
图1为本发明实施例提供的一种图像带宽压缩中的后选择预测方法流程图；
图2为本发明实施例提供的一种自适应纹理渐变预测方法示意图；
图3为本发明实施例提供的一种图像MB划分标记示意图；
图4为本发明实施例提供的一种图像双向扫描示意图；
图5为本发明实施例提供的一种当前MB与距离最近的参考MB的原始位置示意图；
图6为本发明实施例提供的一种当前MB与距离最近的参考MB的拉近位置示意图；
图7为本发明实施例提供的一种当前MB全参考方向的示意图；
图8为本发明实施例提供的一种当前MB无下参考方向的示意图；
图9为本发明实施例提供的一种当前像素确定第二参考像素的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
实施例一
请参见图1，图1为本发明实施例提供的一种图像带宽压缩中的后选择预测方法流程图。该方法包括如下步骤：
步骤1、将图像分成大小相同的多个MB；
其中，每个宏块(MacroBlock,简称MB)的大小可以根据实际需要进行设定，优选的，可以定义MB的大小为8*1个像素，16*1个像素，32*1个像素，64*1个像素；本实施例以MB的大小为16*1个像素为例说明，其它不同大小的MB同理；
步骤2、采用自适应纹理渐变预测方法对当前MB进行预测以获取所述当前MB的第一主观残差和；
步骤3、采用双向跳块扫描多方向预测方法对所述当前MB进行预测以获取所述当前MB的第二主观残差和；
步骤4、根据所述第一主观残差和与所述第二主观残差和确定所述当前MB中每个像素的最终预测残差。
其中，步骤2与步骤3的执行顺序可以根据实际需要而定，例如也可以先执行步骤3再执行步骤2。
具体的，步骤2可以包括如下步骤：
步骤21、采用自适应纹理渐变预测方法对所述当前MB进行预测以获取所述当前MB中每个像素的第一预测残差；
步骤22、根据所述第一预测残差分别计算所述当前MB的第一残差绝对值和与第一绝对值残差和；
步骤23、根据所述第一主观残差和与第一绝对值残差和计算所述第一残差主观和。
其中，步骤21可以包括如下步骤：
步骤211、利用像素值拐点采样方式确定所述当前MB的采样点；
步骤212、根据所述采样点计算所述当前MB中每个像素的所述第一预测残差。
其中，步骤211可以包括如下步骤：
步骤2111、将所述当前MB的当前像素的像素值与所述当前像素相邻的像素的像素值求差获取所述当前MB的像素差值；
步骤2112、将所述像素差值中的连续值的最后一位设定为像素值拐点；
步骤2113、设定所述像素值拐点所对应的所述当前MB的像素为所述当前MB的采样点。
步骤212可以包括如下步骤：
步骤2121、选取预测方式对所述当前MB进行预测，计算所述当前MB采样点的所述第一预测残差。
步骤2122、选取预测方式对所述当前MB进行预测，计算所述当前MB非采样点的所述第一预测残差。
对于步骤3，可以包括如下步骤：
步骤31、采用双向跳块扫描多方向预测方法对所述当前MB进行预测以获取所述当前MB中每个像素的第二预测残差；
步骤32、根据所述第二预测残差分别计算所述当前MB的第二残差绝对值和与第二绝对值残差和；
步骤33、根据所述第二残差绝对值和与第二绝对值残差和计算所述第二主观残差和。
其中，步骤31可以包括如下步骤：
步骤311、采用P种标记符号依次循环对所述多个MB进行标记；其中，P为大于1的自然数；
步骤312、采取双向扫描方式扫描所述第N标记符号对应的MB；其中，N为1～P的整数；
步骤313、确定所述第N标记符号对应的MB的参考方向；
步骤314、通过所述参考方向计算当前像素的参考像素；
步骤315、通过当前像素的所述参考像素确定当前像素的所述第二预测残差。
其中，步骤314可以包括如下步骤：
步骤3141、通过当前MB的参考方向确定所述第一参考像素；
步骤3142、根据所述第一参考像素计算所述参考方向的权重；
步骤3143、选取权重最小的所述参考方向作为所述当前MB的纹理方向；
步骤3144、通过所述当前MB的所述纹理方向计算第二参考像素。
对于步骤4，可以包括如下步骤：
步骤41、比较所述第一主观残差和与所述第二主观残差和的大小以确定所述最终预测残差；其中，
若所述第一主观残差和小于所述第二主观残差和，则选择所述第一预测残差作为所述最终预测残差；
若所述第一主观残差和大于所述第二主观残差和，则选择所述第二预测残差作为所述最终预测残差。
其中，所述第一主观残差和与第二主观残差和的计算公式为：
SUBDk＝a1×SADk+a2×SDk
其中，k为预测模式的序号，取值为1或2；
SUBD1为第一残差主观和，SUBD2为第二残差主观和；
a1与a2为按场景配置的权重系数；
SAD1为所述当前MB的第一残差绝对值和，SAD2为所述当前MB的第二残差绝对值和；
SD1为所述当前MB的第一绝对值残差和，SD2为所述当前MB的第二绝对值残差和。
本实施例提供的图像带宽压缩中的后选择预测方法，通过预测选择算法可以选择出最优的一种预测方法，对于复杂纹理图像进一步优化了预测效果。
实施例二
本实施例是在上述实施例的基础上重点对自适应纹理渐变预测方法的原理及实现方式进行说明。具体的，该方法包括如下步骤：
步骤1、确定当前MB的采样方式；
步骤2、利用所述采样方式确定所述当前MB的采样点；
步骤3、选取预测方式对所述当前MB进行预测，获取所述当前MB的初级预测残差；
步骤4、计算所述当前MB的初级残差绝对值和；
步骤5、根据所述残差绝对值和确定所述当前MB的预测方式。
其中，步骤2可以包括如下步骤：
步骤21、利用像素值拐点采样方式确定所述当前MB的采样点。
其中，步骤21可以包括如下步骤：
步骤211、将所述当前MB的当前像素的像素值与所述当前像素相邻的像素的像素值求差获取所述当前MB的像素差值；
步骤212、将所述像素差值中的连续值的最后一位设定为像素值拐点；
步骤213、设定所述像素值拐点所对应的所述当前MB的像素为所述当前MB的采样点。
其中，步骤212可以包括如下步骤：
步骤2121、将所述像素差值中的连续正值的最后一位正值设为第一像素值拐点；
步骤2122、将所述像素差值中的连续负值的最后一位负值设为第二像素值拐点。
其中，步骤3可以包括：
步骤31、选取预测方式对所述当前MB进行预测，计算所述当前MB采样点的初级预测残差；
步骤32、选取预测方式对所述当前MB进行预测，计算所述当前MB非采样点的初级预测残差。
优选地，所述预测方式包括N种角度预测方式。
优选地，所述角度预测方式包括45度纹理预测、90度纹理预测及135度纹理预测。
优选地，所述45度纹理预测包括：
选取所述当前MB正上方相邻的MB；
选取正上方相邻MB中处于所述当前MB采样点45度方向的像素；
将所述采样点的像素值与所述45度方向的像素的像素值进行预测。
优选地，所述90度纹理预测包括：
选取所述当前MB正上方相邻的MB；
选取正上方相邻MB中处于所述当前MB采样点90度方向的像素；
将所述采样点的像素值与所述90度方向的像素的像素值进行预测。
优选地，所述135度纹理预测包括：
选取所述当前MB正上方相邻的MB；
选取正上方相邻MB中处于所述当前MB采样点135度方向的像素；
将所述采样点的像素值与所述135度方向的像素的像素值进行预测。
实施例三
本实施例在上述实施例的基础上，举例对自适应纹理渐变预测方法进行详细描述。
请参见图2，图2为本发明实施例提供的一种自适应纹理渐变预测方法示意图。该预测方法包括如下步骤：
步骤1、定义MB大小；
定义MB的大小为m*n个像素，其中m≥1，n≥1；
本实施例以MB的大小为16*1个像素为例说明，其它不同大小的MB同理。
如图2所示，MB中的16*1个像素的像素值按照从左至右的顺序依次设定为12、14、15、18、20、23、15、10、4、0、2、2、4、5、5、6。
步骤2、定义采样方式；
步骤201、根据MB中存在的纹理相关性，检测MB的纹理渐变性，确定MB的纹理渐变点，将MB的纹理渐变点设定为像素值拐点。
具体地，将当前MB中的当前像素的像素值减去当前MB中相邻像素的像素值，如图2所示，将图中当前MB中的当前像素的像素值减去当前MB中前一像素的像素值，求解当前MB的像素残差值。当前MB中对应位置的像素残差值从左至右依次为12、2、1、3、2、3、-8、-5、-6、-4、2、0、2、1、0、1。
步骤202、设定像素残差值中的连续正值或连续负值的最后一个值为像素值拐点，其中像素残差值为0的值不设定为像素值拐点。
步骤203、将像素值拐点所对应的当前像素所对应的位置设定为采样点，同时将当前像素中处于首位和末位的点设定为采样点。
优选地，如图2所示，所求得的像素残差值中的像素值拐点为3和-4，将像素值拐点3和像素值拐点-4所对应的当前像素23、0以及首位和末位的像素设定为采样点。原始点所对应的像素12、23、0、6形成4个采样点。
步骤3、将当前MB中的采样点与正上方MB进行预测。预测方式为135度预测、45度预测和90度预测三种角度预测方式。即将当前MB中的采样点与当前MB正上方相邻MB中采样点对应的45度的像素点、90度的像素点和135度的像素点分别进行预测，求解初级预测残差以及初级残差绝对值和SAD初。具体地，可以将当前MB中的采样点与当前MB正上方相邻MB中采样点对应的45度的像素点、90度的像素点和135度的像素点分别相减，获取初级预测残差；分别将每种预测方式下的每个采样点的初级预测残差取绝对值后相加，获取初级残差绝对值和。最终选取初级残差绝对值和最小的一种预测方式作为当前MB的采样点预测方式，获取该预测方式的初级预测残差。
步骤4、对于当前MB中的非采样点，利用公式求解非采样点的初级预测残差，公式为：
Resi＝(sample1-sample0)*(i+1)/(num+1)
其中，公式中的sample0和sample1为当前MB连续的采样点的像素重建值，i为非采样点索引，num为非采样点数量。
进一步地，像素重建值可以指的是已压缩编码MB解码端重建得到的像素值。
步骤5、将当前MB的采样点、预测方式和预测残差写入码流。
实施例四
本实施例是在上述实施例的基础上重点对双向跳块扫描多方向预测方法的原理及实现方式进行说明。该方法包括如下步骤：
步骤1、将图像分为相同大小的多个MB；
步骤2、采用P种标记符号依次循环对所述多个MB进行标记；其中，P为大于1的自然数；
步骤3、采取双向扫描方式扫描所述第N标记符号对应的MB；其中，N为1～P的整数；
步骤4、确定所述第N标记符号对应的MB的参考方向；
步骤5、通过所述参考方向计算当前像素的参考像素；
步骤6、通过当前像素的所述参考像素确定当前像素的所述预测残差；
步骤7、按设定顺序将所述N的取值在1～P中进行遍历以实现对所述多个MB的预测。
其中，步骤2可以包括如下步骤：
步骤21、采用多种标记符号依次循环完成行方向MB的标记；
步骤22、采用多种标记符号依次循环完成列方向MB的标记。
对于步骤3，可以包括如下步骤：
步骤31、扫描所述第N标记符号对应的MB时，第N标记符号行每间隔一行采取相同的扫描方向进行扫描，第N标记符号行每相邻行采取相反的扫描方向进行扫描。
对于步骤4，可以包括如下步骤：
步骤41、以当前MB四周已扫描的参考MB的方向作为当前MB的参考方向；其中，若任一方向没有参考MB，则置空不处理。
对于步骤5，可以包括如下步骤：
步骤51、通过当前MB的参考方向确定所述第一参考像素；
步骤52、根据所述第一参考像素计算所述参考方向的权重；
步骤53、选取权重最小的所述参考方向作为所述当前MB的纹理方向；
步骤54、通过所述当前MB的所述纹理方向计算第二参考像素。
其中，步骤51可以包括如下步骤：
步骤511、根据所述当前MB所述参考方向确定距离最近的参考MB；
步骤512、根据距离最近的所述参考MB确定所述第一参考像素。
其中，对于步骤511，可以包括如下步骤：
步骤511a、若所述参考MB与当前MB不相邻，则拉近所述参考MB，使所述参考MB与所述当前MB相邻；
步骤511b、若所述当前MB任一方向没有所述参考MB，则不处理。
其中，步骤52中的参考方向的权重计算公式为：
Figure BDA0001844011050000151
Figure BDA0001844011050000152
Figure BDA0001844011050000153
Figure BDA0001844011050000154
Figure BDA0001844011050000155
Figure BDA0001844011050000156
Figure BDA0001844011050000157
Figure BDA0001844011050000158
优选地，权重计算公式还可以为：
Figure BDA0001844011050000159
其中，abs为绝对值运算，Dir180为左参考方向权重，Dir0为右参考方向权重，Dir45为右上参考方向权重，Dir270为下参考方向权重，Dir90为上参考方向权重，Dir135为左上参考方向权重，Dir225为左下参考方向权重，Dir315为右下参考方向权重，x为每个所述MB的列分辨率，y为每个所述MB的行分辨率，C为当前MB的当前像素，R为当前MB的第一参考像素。
其中，对于步骤54，可以包括如下步骤：
步骤541、利用所述纹理方向以及所述纹理方向对应的反方向，通过第二参考像素计算公式计算当前MB的所述第二参考像素；
其中，对于步骤31341中的第二参考像素计算公式为
refmid＝p1*(dir2/(dir1+dir2))+p2*(dir1/(dir1+dir2))
若位置偏向1，ref＝weight*refmid+(1-weight)*p1
若位置偏向2，ref＝weight*refmid+(1-weight)*p2
其中，refmid为两个第一参考像素的中点，ref为第二参考像素值，p1、p2为按所述纹理方向的边界像素点，dir1、dir2为所述纹理方向的权重，weight为距离权重。
本发明的优点如下：
本发明提供的算法，通过双向跳块多遍历的方法，对于图像中每个块MB，平均可以获得更多的参考边缘，即获得更多的参考像素；然后对于每个块，采用多方向预测，可以在更精确的获得该块的纹理方向；根据纹理方向和相应的参考像素，通过纹理方向权重和位置偏移权重，对当前预测块中的像素，可获得与当前像素值最相似的参考像素，并获得更小的预测残差，降低了编码的理论极限熵。
实施例五
本实施例是在上述实施例的基础上举例对双向跳块扫描多方向预测方法进行详细说明。
请参见图3～图9，图3为本发明实施例提供的一种图像MB划分标记示意图；图4为本发明实施例提供的一种图像双向扫描示意图；图5为本发明实施例提供的一种当前MB与距离最近的参考MB的原始位置示意图；图6为本发明实施例提供的一种当前MB与距离最近的参考MB的拉近位置示意图；图7为本发明实施例提供的一种当前MB全参考方向的示意图；图8为本发明实施例提供的一种当前MB无下参考方向的示意图；图9为本发明实施例提供的一种当前像素确定第二参考像素的示意图。具体的，该预测方法包括如下步骤：
步骤1、将图像分为若干个MB，每个MB大小相同，因此图像中的MB数量固定。本实施例以MB大小为8*4、图像大小为120*60为例进行说明，则每一个MB的行分辨率为8、列分辨率为4。
步骤2、对图像中的每个MB进行标记，选取9种标记符号。在水平方向，采用多个标记符号依次循环完成水平方向MB的标记；在竖直方向，采用多个标记符号依次循环完成竖直方向MB的标记。本实施例中图像的分割以及标记如图3所示，将大小为120*60的图像分为15行15列共255个大小为8*4的MB；以标记符号0、1、2、3、4、5、6、7、8标记每个MB，具体为将奇数行的MB以标记符号符号0、1、2分别循环标记第(3n+1)行中的每个MB，以标记符号3、4、5分别循环标记第(3n+2)行中的每个MB，以标记符号6、7、8分别循环标记第(3n+3)行中的每个MB，其中n为大于或等于0的整数。
步骤3、预测时，每次预测上述9种标记符号中的一种标记符号对应的MB，直至所有MB预测结束，达到对MB跳块扫描的效果。其中，9种标记符号的MB的预测顺序可以设定。对于任意一种标记符号的MB的预测顺序为按照图像从上到下、双向扫描方式进行预测。双向扫描方式请参见图4，图中以扫描标记符号为0的MB为例进行说明，其中，扫描每间隔一行采取相同的扫描方向进行扫描，每相邻行采取相反的扫描方向进行扫描，如图中箭头方向所示。采用双向扫描的方式，可以更精确的获得该块的纹理方向，并获得更小的预测残差，降低了编码的理论极限熵。
本实施例以图3所示的图像为例、依次按0～8的顺序进行说明如何进行预测，具体步骤如下：
步骤31、先对所有标记符号为0的MB进行预测
步骤311、确定参考MB
标记符号为0的MB最多仅能获得间隔一个或者两个MB的4个参考方向；其中，若扫描方向为从左至右时，则参考方向为上方向、左方向、左上方向，右上方向，因此可以确定出上方向的参考MB，左方向的参考MB，左上方向的参考MB，右上方向的参考MB；若扫描方向为从右至左时，则则参考方向为上方向、右方向、左上方向，右上方向，因此可以确定出上方向的参考MB，右方向的参考MB，左上方向的参考MB，右上方向的参考MB；
步骤312、纹理方向选取
步骤312A、在当前MB的参考方向中，找到距离最近的参考MB。若存在参考MB与当前MB不紧相邻，那么拉近该参考MB为紧相邻参考MB，若任一方向没有参考MB，则不处理，置空。如图5、图6所示。
步骤312B、通过参考MB寻找当前MB的第一参考像素，若某MB的参考方向为空，则无第一参考像素。假设当前MB有8个参考MB，因此当前MB可以在每个参考MB中获取到第一参考像素，即当前MB可以确定出全方向的第一参考像素，假设Cmn(m＝1,2,3,4；n＝1,2,3,4,5,6,7,8)为当前MB的当前像素，Rxy(x＝0,1,2,3,4,5；y＝1,2,3,4,5,6,7,8,9)为当前MB的第一参考像素，如图7所示。假设Cmn(m＝1,2,3,4；n＝1,2,3,4,5,6,7,8)为当前MB的当前像素，Rxy(x＝0,1,2,3,4,5；y＝1,2,3,4,5,6,7,8,9)为当前MB的第一参考像素，当前MB下参考方向为空，因此，当前MB无下方向的第一参考像素，如图8所示。
步骤312C、根据第一参考像素，计算每个参考方向权重，本实施例以图3为例，采用如下公式计算每个参考方向权重Dir，权重采用离方向箭头最近一面的第一参考像素。
Figure BDA0001844011050000191
Figure BDA0001844011050000192
Figure BDA0001844011050000193
Figure BDA0001844011050000194
Figure BDA0001844011050000195
Figure BDA0001844011050000196
Figure BDA0001844011050000197
Figure BDA0001844011050000198
步骤312D、在步骤312C计算的参考方向权重中选出Dir最小的1组作为最优纹理方向，MB中所有像素值根据该方向进行预测。
步骤313、计算第二参考像素
根据所选的最优纹理方向和对应的反方向，根据当前像素的位置，计算每个当前像素的第二参考像素，如图9所示，计算公式如下，
refmid＝p1*(dir2/(dir1+dir2))+p2*(dir1/(dir1+dir2))
若位置偏向1，ref＝weight*refmid+(1-weight)*p1
若位置偏向2，ref＝weight*refmid+(1-weight)*p2
其中refmid为两个第一参考像素的中点，p1、p2为按最优纹理方向的第一参考像素，dir1、dir2为参考方向权重，例如dir180，dir0；weight为距离权重。
首先考虑权重计算第一参考像素的中点，然后考虑位置计算第二参考像素，即第一参考像素中点靠近哪边，最终采用哪边的第一参考像素作为第二参考像素。
优选地，第二参考像素计算公式可变更，可以仅引入权重或位置。
具体举例如下：
若最优纹理方向为45度参考，对于c14，dir45＝2，dir225＝14，可得到第一参考像素为R05和R50，设R05＝100，R50＝40，
Refmid＝100*(14/16)+40*(2/16)＝88+5＝93
由于C14偏向R05，因此Refmid＝C23，Ref＝0.5*93+0.5*100＝96，第二参考像素值为96。
步骤314、确定第二预测残差
采用步骤313计算得到所有点的第二参考像素，采用原始像素值减去第二参考像素值得到第二预测残差。
步骤32、当所有图像中标记为0的MB预测处理完毕后，对所有标记符号为1的MB进行预测；
步骤321、确定参考MB
标记符号为1的MB最多仅能获得间隔一个或两个MB的6个参考方向，其中参考方向为左上方向、上方向、右上方向、右方向、右下方向及左下方向，因此可以确定出左上方向的参考MB、上方向的参考MB、右上方向的参考MB、右方向的参考MB、右下方向的参考MB及左下方向的参考MB；可以获得相邻MB的1个参考方向，即左方向，因此可以确定出左方向的参考MB；
步骤322、纹理方向选取
与步骤312的方法一致，此处不再赘述。
步骤323、计算第二参考像素
与步骤313的方法一致，此处不再赘述。
步骤324、确定第二预测残差
与步骤314的方法一致，此处不再赘述。
步骤33、当所有图像中标记为0和1的MB预测处理完毕后，对所有标记符号为2的MB进行预测；
步骤331、确定参考MB
所有标记符号为2的MB最多仅能获得间隔一个或两个MB的5个参考方向，其中参考方向为左上方向、上方向、右上方向、右下方向及左下方向，可以确定出左上方向的参考MB、上方向的参考MB、右上方向的参考MB、右下方向的参考MB及左下方向的参考MB；以及获得相邻MB的2个参考方向，其中参考方向为左方向与右方向，可以确定出左方向的参考MB与右方向的参考MB；
步骤332、纹理方向选取
与步骤312的方法一致，此处不再赘述。
步骤333、计算第二参考像素
与步骤313的方法一致，此处不再赘述。
步骤334、确定第二预测残差
与步骤314的方法一致，此处不再赘述。
步骤34、当所有图像中标记为0、1、2的MB预测处理完毕后，对所有标记符号为3的MB进行预测；
步骤341、确定参考MB
若扫描方向为从左至右时，则所有标记符号为3的MB最多仅能获得间隔一个或两个MB的4个参考方向，其中参考方向为左方向、左下方向、下方向及右下方向，可以确定出左方向的参考MB、左下方向的参考MB、下方向的参考MB及右下方向的参考MB；以及获得相邻MB的3个参考方向，其中参考方向为左上方向、上方向及右上方向，可以确定出左上方向的参考MB、上方向的参考MB及右上方向的参考MB；
若扫描方向为从右至左时，则所有标记符号为3的MB最多仅能获得间隔一个或两个MB的4个参考方向，其中参考方向为右方向、左下方向、下方向及右下方向，可以确定出右方向的参考MB、左下方向的参考MB、下方向的参考MB及右下方向的参考MB；以及获得相邻MB的3个参考方向，其中参考方向为左上方向、上方向及右上方向，可以确定出左上方向的参考MB、上方向的参考MB及右上方向的参考MB。
步骤342、纹理方向选取
与步骤312的方法一致，此处不再赘述。
步骤343、计算第二参考像素
与步骤313的方法一致，此处不再赘述。
步骤344、确定预测残差
与步骤314的方法一致，此处不再赘述。
步骤35、当所有图像中标记为0、1、2、3的MB预测处理完毕后，对所有标记符号为4的MB进行预测；
步骤351、确定参考MB
所有标记符号为4的MB最多仅能获得间隔一个或两个MB的4个参考方向，其中参考方向为右方向、右下方向、下方向及左下方向，可以确定出右方向的参考MB、右下方向的参考MB、下方向的参考MB及左下方向的参考MB；以及获得相邻MB的4个参考方向，其中参考方向为左方向、左上方向、上方向及右上方向，可以确定出左方向的参考MB、左上方向的参考MB、上方向的参考MB及右上方向的参考MB。
步骤352、纹理方向选取
与步骤312的方法一致，此处不再赘述。
步骤353、计算第二参考像素
与步骤313的方法一致，此处不再赘述。
步骤354、确定第二预测残差
与步骤314的方法一致，此处不再赘述。
步骤36、当所有图像中标记为0、1、2、3、4的MB预测处理完毕后，对所有标记符号为5的MB进行预测；
步骤361、确定参考MB
所有标记符号为5的MB最多仅能获得间隔一个或两个MB的3个参考方向，其中参考方向为右下方向、下方向及左下方向，可以确定出右下方向的参考MB、下方向的参考MB及左下方向的参考MB；以及获得相邻MB的5个参考方向，其中参考方向为左方向、左上方向、上方向、右上方向及右方向，可以确定出左方向的参考MB、左上方向的参考MB、上方向的参考MB、右上方向的参考MB及右方向的参考MB。
步骤362、纹理方向选取
与步骤312的方法一致，此处不再赘述。
步骤363、计算第二参考像素
与步骤313的方法一致，此处不再赘述。
步骤364、确定第二预测残差
与步骤314的方法一致，此处不再赘述。
步骤37、当所有图像中标记为0、1、2、3、4、5的MB预测处理完毕后，对所有标记符号为6的MB进行预测；
步骤371、确定参考MB
当扫描方向为从左至右时，所有标记符号为6的MB最多仅能获得间隔两个MB的1个参考方向，其中参考方向为左方向，可以确定出左方向的参考MB；以及获得相邻MB的6个参考方向，其中参考方向为左上方向、上方向、右上方向、右下方向、下方向及左下方向，可以确定出左上方向的参考MB、上方向的参考MB、右上方向的参考MB、右下方向的参考MB、下方向的参考MB及左下方向的参考MB；
当扫描方向为从左至右时，所有标记符号为6的MB最多仅能获得间隔两个MB的1个参考方向，其中参考方向为右方向，可以确定出右方向的参考MB；以及获得相邻MB的6个参考方向，其中参考方向为左上方向、上方向、右上方向、右下方向、下方向及左下方向，可以确定出左上方向的参考MB、上方向的参考MB、右上方向的参考MB、右下方向的参考MB、下方向的参考MB及左下方向的参考MB。
步骤372、纹理方向选取
与步骤312的方法一致，此处不再赘述。
步骤373、计算第二参考像素
与步骤313的方法一致，此处不再赘述。
步骤374、确定第二预测残差
与步骤314的方法一致，此处不再赘述。
步骤38、当所有图像中标记为0、1、2、3、4、5、6的MB预测处理完毕后，对所有标记符号为7的MB进行预测；
步骤381、确定参考MB
所有标记符号为7的MB最多仅能获得间隔一个MB的1个参考方向，其中参考方向为右方向，可以确定出右方向的参考MB；以及获得相邻MB的7个参考方向，其中参考方向为左方向、左上方向、上方向、右上方向、右下方向、下方向及左下方向，可以确定出左方向的参考MB、左上方向的参考MB、上方向的参考MB、右上方向的参考MB、右下方向的参考MB、下方向的参考MB及左下方向的参考MB。
步骤382、纹理方向选取
与步骤312的方法一致，此处不再赘述。
步骤383、计算第二参考像素
与步骤313的方法一致，此处不再赘述。
步骤384、确定第二预测残差
与步骤314的方法一致，此处不再赘述。
步骤39、当所有图像中标记为0、1、2、3、4、5、6、7的MB预测处理完毕后，对所有标记符号为8的MB进行预测；
步骤381、确定参考MB
所有标记符号为8的MB最多仅能获得相邻MB的8个参考方向，其中参考方向为左方向、左上方向、上方向、右上方向、右方向、右下方向、下方向及左下方向，可以确定出左方向的参考MB、左上方向的参考MB、上方向的参考MB、右上方向的参考MB、右方向的参考MB、右下方向的参考MB、下方向的参考MB及左下方向的参考MB。
步骤382、纹理方向选取
与步骤312的方法一致，此处不再赘述。
步骤383、计算第二参考像素
与步骤313的方法一致，此处不再赘述。
步骤384、确定第二预测残差
与步骤314的方法一致，此处不再赘述。
综上所述，本文中应用了具体个例对本发明的原理及实现方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。

Claims (10)

1.一种图像带宽压缩中的后选择预测方法，其特征在于，包括：
将图像分成大小相同的多个MB；
采用自适应纹理渐变预测方法对当前MB进行预测以获取所述当前MB的第一主观残差和；
采用双向跳块扫描多方向预测方法对所述当前MB进行预测以获取所述当前MB的第二主观残差和；
根据所述第一主观残差和与所述第二主观残差和确定所述当前MB中每个像素的最终预测残差。
2.根据权利要求1所述的方法，其特征在于，采用自适应纹理渐变预测方法对当前MB进行预测以获取所述当前MB的第一主观残差和，包括：
采用自适应纹理渐变预测方法对所述当前MB进行预测以获取所述当前MB中每个像素的第一预测残差；
根据所述第一预测残差分别计算所述当前MB的第一残差绝对值和与第一绝对值残差和；
根据所述第一主观残差和与第一绝对值残差和计算所述第一残差主观和。
3.根据权利要求2所述的方法，其特征在于，采用自适应纹理渐变预测方法对所述当前MB进行预测以获取所述当前MB中每个像素的第一预测残差，包括：
利用像素值拐点采样方式确定所述当前MB的采样点；
根据所述采样点计算所述当前MB中每个像素的所述第一预测残差。
4.根据权利要求3所述的方法，其特征在于，利用像素值拐点采样方式确定所述当前MB的采样点，包括：
将所述当前MB的当前像素的像素值与所述当前像素相邻的像素的像素值求差获取所述当前MB的像素差值；
将所述像素差值中的连续值的最后一位设定为像素值拐点；
设定所述像素值拐点所对应的所述当前MB的像素为所述当前MB的采样点。
5.根据权利要求4所述的方法，其特征在于，根据所述采样点计算所述当前MB中每个像素的所述第一预测残差，包括：
选取预测方式对所述当前MB进行预测，计算所述当前MB采样点的所述第一预测残差；
选取预测方式对所述当前MB进行预测，计算所述当前MB非采样点的所述第一预测残差。
6.根据权利要求5所述的方法，采用双向跳块扫描多方向预测方法对所述当前MB进行预测以获取所述当前MB的第二主观残差和，包括：
采用双向跳块扫描多方向预测方法对所述当前MB进行预测以获取所述当前MB中每个像素的第二预测残差；
根据所述第二预测残差分别计算所述当前MB的第二残差绝对值和与第二绝对值残差和；
根据所述第二残差绝对值和与第二绝对值残差和计算所述第二主观残差和。
7.根据权利要求6所述的方法，其特征在于，采用双向跳块扫描多方向预测方法对所述当前MB进行预测以获取所述当前MB中每个像素的第二预测残差，包括：
采用P种标记符号依次循环对所述多个MB进行标记；其中，P为大于1的自然数；
采取双向扫描方式扫描所述第N标记符号对应的MB；其中，N为1～P的整数；
确定所述第N标记符号对应的MB的参考方向；
通过所述参考方向计算当前像素的参考像素；
通过当前像素的所述参考像素确定当前像素的所述第二预测残差。
8.根据权利要求7所述的方法，其特征在于，通过所述参考方向计算当前像素的参考像素，包括：
通过当前MB的参考方向确定所述第一参考像素；
根据所述第一参考像素计算所述参考方向的权重；
选取权重最小的所述参考方向作为所述当前MB的纹理方向；
通过所述当前MB的所述纹理方向计算第二参考像素。
9.根据权利要求8所述的方法，其特征在于，根据所述第一主观残差和与所述第二主观残差和确定所述当前MB中每个像素的最终预测残差，包括：
比较所述第一主观残差和与所述第二主观残差和的大小以确定所述最终预测残差；其中，
若所述第一主观残差和小于所述第二主观残差和，则选择所述第一预测残差作为所述最终预测残差；
若所述第一主观残差和大于所述第二主观残差和，则选择所述第二预测残差作为所述最终预测残差。
10.根据权利要求9所述的方法，其特征在于，所述第一主观残差和与所述第二主观残差和的计算公式为：
SUBDk＝a1×SADk+a2×SDk
其中，k为预测模式的序号，取值为1或2；
SUBD1为第一残差主观和，SUBD2为第二残差主观和；
a1与a2为按场景配置的权重系数；
SAD1为所述当前MB的第一残差绝对值和，SAD2为所述当前MB的第二残差绝对值和；
SD1为所述当前MB的第一绝对值残差和，SD2为所述当前MB的第二绝对值残差和。
CN201811261683.0A 2018-10-26 2018-10-26 图像带宽压缩中的后选择预测方法 Withdrawn CN111107365A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811261683.0A CN111107365A (zh) 2018-10-26 2018-10-26 图像带宽压缩中的后选择预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811261683.0A CN111107365A (zh) 2018-10-26 2018-10-26 图像带宽压缩中的后选择预测方法

Publications (1)

Publication Number Publication Date
CN111107365A true CN111107365A (zh) 2020-05-05

Family

ID=70419200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811261683.0A Withdrawn CN111107365A (zh) 2018-10-26 2018-10-26 图像带宽压缩中的后选择预测方法

Country Status (1)

Country Link
CN (1) CN111107365A (zh)

Similar Documents

Publication Publication Date Title
CN101283600B (zh) 参考图像选择方法以及装置
CN107046645B9 (zh) 图像编解码方法及装置
TWI730311B (zh) 用以選擇內預測模式以供填補之設備
CN110383841A (zh) 用于在视频压缩中对运动矢量进行编码的方法和设备
CN102572424A (zh) 图像处理设备、方法和程序
CN102934445A (zh) 基于分段对图像编码和解码的方法和设备
CN113709502B (zh) 解码方法、编码方法、装置、设备及机器可读存储介质
KR102606880B1 (ko) 인터 예측에 관한 인코더, 디코더 및 해당 방법
JP2007228093A (ja) 動き検出装置及び動き検出方法
CN109547780B (zh) 图像编码方法及装置
CN111107366A (zh) 视频数据的无损压缩方法及其装置
CN111107344A (zh) 视频图像的编码方法及装置
CN111107365A (zh) 图像带宽压缩中的后选择预测方法
JP2005244749A (ja) 動画像符号化装置
CN109451305B (zh) 带宽压缩中的预测方法
JP2010081635A (ja) 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム
JP4516088B2 (ja) 動き探索方法、動き探索装置、動き探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN109618162B (zh) 带宽压缩中的后选择预测方法
CN113542769A (zh) 一种视频图像编码方法、系统、设备以及介质
CN109302605B (zh) 基于多核处理器的图像编码方法及设备
CN109561307B (zh) 带宽压缩中跳块扫描多方向预测方法
CN111107374A (zh) 带宽压缩中的后选择预测方法
CN109547795B (zh) 视频编码方法及装置
CN109618163A (zh) 带宽压缩中双向跳块扫描多方向预测方法
CN109510996B (zh) 带宽压缩中的后选择预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200505

WW01 Invention patent application withdrawn after publication