CN102035997A - 一种基于模式预测和方向排序的图像锐化方法 - Google Patents
一种基于模式预测和方向排序的图像锐化方法 Download PDFInfo
- Publication number
- CN102035997A CN102035997A CN 201010587724 CN201010587724A CN102035997A CN 102035997 A CN102035997 A CN 102035997A CN 201010587724 CN201010587724 CN 201010587724 CN 201010587724 A CN201010587724 A CN 201010587724A CN 102035997 A CN102035997 A CN 102035997A
- Authority
- CN
- China
- Prior art keywords
- pred
- pattern
- image
- pixel
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000003707 image sharpening Methods 0.000 title claims abstract description 26
- 238000012163 sequencing technique Methods 0.000 title abstract 4
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 45
- 241000023320 Luma <angiosperm> Species 0.000 claims description 16
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 238000012876 topography Methods 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 abstract description 5
- 238000005070 sampling Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000009827 uniform distribution Methods 0.000 description 3
- 238000000205 computational method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
一种基于模式预测和方向排序的图像锐化方法，根据图像灰度值，选定待锐化像素点MP的邻域，判读出图像局部的图像特征并对按照需要加强锐化的强度的等级对若干个计算方向进行排序，并按照排序的结果给不同的方向上分配不同的权重，所有方向上的高通滤波的结果和与其分配的权重系数的乘积和即为像素点MP的锐化量；经过锐化后的像素点MP的灰度值为：像素点MP的原灰度值和像素点MP的锐化量之和。本发明减少资源消耗、自适应能力强、特别适合处理图像细节、具有良好的抗干扰能力、有效平滑噪声、适用性良好。
Description
技术领域
本发明涉及数字图像处理与显示技术领域，涉及一种基于模式预测和方向排序的图像锐化方法。
背景技术
在数字图像的变换和传输过程中，图像质量会降低，所以在数字图像的接收端，需要对图像进行增强处理，使其具有更好的视觉效果。
锐化处理是数字图像增强技术中最常见和最重要的一种，其主要目的是为了更好地突出图像中的细节或者增强被模糊了的细节，所以锐化处理需要恢复和增强纹理的细节。
目前存在多种图像锐化技术，概括为空间域锐化滤波器和频率域锐化滤波器。空间域锐化滤波器是基于各种梯度算子和拉普拉斯算子以及其各种改进形式，频率域锐化滤波器是空间域锐化滤波器在频率域的实现形式。关于空间域锐化滤波器和频率域锐化滤波器的详细描述，可参见《数字图像处理(第二版)，Digital Image Processing，SecondEdition》，著作者：[美]Rafael C.Gonzalez，Richard E.Woods，译作者：阮秋琦，阮宇智，张杰良等：电子工业出版社，2007年9月第二版，ISBN 9787121043987的第3章第7节(第98-108页)和第4章第4节(第142-148页)。空间域锐化滤波器和频率域锐化滤波器的思想是类似的，区别在于分析的方式不同而已。这些方法虽然能够有效地锐化图像，但是有个共同的缺点：这些锐化方法是对整个图像进行批处理，没有选择性地按照图像的纹理方向进行锐化，没有自适应地根据图像特征调整锐化强度，造成噪声放大和纹理复杂的细节部分锐化效果不理想。
在空间域的锐化滤波器中，各种算子都是用局部图像的中心像素点的灰度值和相邻像素点的灰度值做差的方法来提取图像边缘或者细节。不同的算子的差别在于计算灰度值之差的方向和不同方向上的比重。例如对于拉普拉斯算子，见图2(a)中的拉普拉斯算子只计算垂直方向和水平方向，并且权重均匀分配，图2(b)中的拉普拉斯算子的实现方式不仅计算垂直方向和水平方向，而且还计算两个对角线方向，权重也是均匀分配。权重的分配，如果不考虑到图像细节的方向性而均匀分配，就会造成像素之间的差异贡献的均匀化，使得图像边缘等本该强力锐化的地方锐化的强度相对不够，而噪声等本不该锐化的地方进行了锐化，造成锐化效果不佳，噪声同时被放大。
发明内容
为了克服已有的图像锐化方法的资源消耗较大、自适应能力差、不能适应于处理图像细节、抗干扰能力差、无法平滑噪声、适用性差的不足，本发明提供一种减少资源消耗、自适应能力强、特别适合处理图像细节、具有良好的抗干扰能力、有效平滑噪声、适用性良好的基于模式预测和方向排序的图像锐化方法。
本发明解决其技术问题所采用的技术方案是：
一种基于模式预测和方向排序的图像锐化方法，所述图像锐化方法包括以下步骤：
1)、确定待锐化图像的灰度值，选定待锐化像素点MP的邻域，并且按照邻域的大小，预先定义V个预测方向和V个与之对应的预测模式，编号为0-V-1，其中V为大于1的整数；
2)、在像素点MP的邻域内，判断以MP为中心的局部图像的纹理方向，对预先定义的V个预测模式执行预测过程，形成预先定义的预测方向的可能性大小排序，排名规则是预测到实际的纹理方向与该方向相符的可能性越大排名越靠后；
3)、在像素点MP的邻域内，在预先定义的与V个预测模式对应的V个方向上，依次执行高通滤波，高通滤波器的系数的可预先定义，按照0-V-1方向的次序，高通滤波的结果依次标记为F0-FV-1；
4)、设置V个不同的权重系数：alpha0-alphaV-1，其中alpha0＞apha1＞…＞aphaV-1；
5)按照步骤2)的排序结果在V个方向上依次分配与之对应次序的权重系数，分配的规则为：排名最前的方向上分配权重系数alpha0，第二位的方向上分配apha1，依次分配，排名最后的方向上分配权重系数aphaV-1；
6)所有方向上的高通滤波的结果和与其分配的权重系数的乘积和即为像素点MP的锐化量；
7)经过锐化后的像素点MP的灰度值为：像素点MP的原灰度值和像素点MP的锐化量之和。
作为优选的一种方案：所述步骤2)中，预测模式的预测过程采用H.246的Intra_4x4预测过程。
或者是：所述步骤2)中，预测模式的预测过程采用H.246的Intra_8x8预测过程。当然，也可以采用其他现有公知的预测过程。
作为优选的另一种方案：所述步骤3)中，按照每个方向上的像素点的不同，高通滤波器的系数选[-1，2，-1]或者[-0.5，-0.5，2，-0.5，-0.5]。
本发明的技术构思为：锐化的重点是图像纹理的细节。不同图像之间过渡的地方需要很大强度地锐化，所以这些地方的灰度值之差对锐化量应该有大的权重贡献，而图像纹理平坦的区域，图像没有变化，即不存在图像的细节，这些地方不需要锐化，其灰度值之差对锐化量应该有小的权重贡献，甚至没有贡献。所以，如果能判断出来图像的纹理方向，即可按照其特征分配权重。
根据图像灰度值，判读出图像局部的图像特征并对按照需要加强锐化的强度的等级对若干个计算方向进行排序，并按照排序的结果给不同的方向上分配不同的权重，达到锐化图像但不放大噪声，既能锐化一般的图像边缘的同时也能锐化纹理复杂的细节的理想效果。
用一个示例说明这个问题。假设一个图像的9个像素点(其灰度值分别为x11，x12，x13，x21，x22，x23，x31，x32，x33)按照如图2(c)所示3x3矩阵分布，并且x11＝x21＝x31＝x13＝x23＝x33＞x12＝x22＝x32，很显然，x12，x22，x23是该图像的一个细节：一段垂直的线条，所以x22分别与x11，x21，x31和x13，x23，x33的的灰度值之差对x22点的锐化量有最大的贡献，而x22与x12，x32的灰度值之差对x22点的锐化量基本没有贡献。所以在对点x22进行锐化处理时，如果能在该3x3区间中预测出垂直方向的纹理，并在水平方向和45度，135度方向上分配较大的权重，而在垂直方向分配小的权重，即可对x22点得到很好的锐化效果。
通常，图像纹理的细节变化的方向，即不同图像之间过渡的方向和方向预测结果是垂直关系，在进行锐化处理时，越靠近纹理方向上的灰度值之差对锐化量的贡献度应该小，即纹理方向上的灰度值之差对锐化量的贡献度最小，而与纹理方向相垂直的方向上的灰度值之差对锐化量的贡献度最大。该原理简化了权重分配的方法，即在越靠近纹理方向上分配越小的权重，即在纹理方向上的分配最小的权重，而在与纹理方向垂直的方向上分配最大的权重。
判断图像的纹理方向，可以利用特定的算法分析，进行预先定义的预测模式的预测过程，形成预先定义的预测方向的可能性大小排序，并根据这个排序决定各预测方向上权重的分配。
预测模式的预测过程作为成熟技术，已经得到广泛应用。其实现方式依赖于不同的计算方法，例如H.264视频处理规范中介绍了一种亮度样点的Intra_4x4预测过程。
H.264是新一代的视频编码标准，为了提高编码效率，H.264提出了各种编码模式，通过率失真优化(Rate Distortion Optimization，RDO)技术对各模式进行计算，以取得最优的编码模式。
在H.264标准中，亮度样点的处理单元称为亮度块，其可以被定义为4x4块或者8x8块或者16x16块，分别表示4x4的亮度样点矩阵，8x8亮度样点矩阵，16x16亮度样点矩阵。
为了更好地理解本发明的实施过程，下面对H.246的Intra_4x4预测过程简单介绍。
H.246的Intra_4x4预测过程属于帧内预测，利用空间相关性，用当前的一个4x4块(称为当前宏块)的左边和上边的相邻点对当前的4x4块进行方向预测。
图3中小写字母(a-p)表示当前宏块，即当前4x4采样点矩阵，大写字母(A-M)表示其上边和左边的相邻点。
H.264的Intra_4x4预测过程给出了9种可选预测模式，见图5。其中除了预测模式2是无方向的，其他8种预测模式和图4中的8种预测方向是一一对应的。在不同的预测模式下，可以采用不同的函数，对原来的4x4块(原始块)左边和上边的相邻点(A-M)进行处理，得到一个新的4x4块，称为重建块。
RP＝PRED(NB，PM)；
其中NB是原始块左边和上边的相邻点，RP是重建块，PM是预测模式，PRED是相应的重建函数，定义如下：
当PM为模式0时，PRED()＝PRED_0()；
当PM为模式1时，PRED()＝PRED_1()；
当PM为模式2时，PRED()＝PRED_2()；
当PM为模式3时，PRED()＝PRED_3()；
当PM为模式4时，PRED()＝PRED_4()；
当PM为模式5时，PRED()＝PRED_5()；
当PM为模式6时，PRED()＝PRED_6()；
当PM为模式7时，PRED()＝PRED_7()；
当PM为模式8时，PRED()＝PRED_8()；
其中PRED_0()--PRED_8()分别为模式0-模式8的重建函数，其具体计算方法，分别参见国际电信联盟的《ITU-T H.264建议书(2005年3月版)》第8.3.1.2.1-8.3.1.2.9小节。
图5所示的9预测模式和图4所示的预测方向有对应关系：除了模式2，其他8种预测模式分别与其相同编号的预测方向对应。
对当前的4x4的采样点矩阵(称为当前宏块)，H.264的Intra_4x4预测过程如下：
(1)分别在9种不同的预测模式下，对原来的4x4块(原始块)左边和上边的相邻点(A-M)进行处理，得到一个新的4x4块(重建块)。
RP＝PRED(NB，PM)；
其中NB是原始块左边和上边的相邻点，RP是重建块，PM是预测模式，PRED是相应的重建函数
(2)分别在9种不同的预测模式下，进行RDO计算代价，RDO计算代价函数如下：
RDO(NB，RP，PM |QP，λmode)＝SSD(NB，RP，PM|QP)+λmode×R(NB，RP，PM|QP)
其中，NB是原始块，RP是重建块，QP是宏块的量化参数，λmode为拉格朗日乘数，λmode＝0.85×2QP/3，R(NB，RP，PM|QP)是采用该预测模式需要的比特数。
(3)最后选择RDO计算代价最小的模式，作为其亮度预测模式。
H.264的亮度样点的Intra_4x4预测过程，可参见《新一代视频压缩编码标准-H.264/AVC》(毕厚杰主编，人民邮电出版社，2005年5月第一版，ISBN 7-115-13064-7/TN.2415)的第92-96页和国际电信联盟的《ITU-T H.264建议书(2005年3月版)》第8.3节。
本发明的有益效果主要表现在：
1、本发明提出的图像锐化方法，只需要中心点MP邻域内像素的灰度值，相对于对整个图像做统计的方法，资源消耗比较少。
2、本发明提出的图像锐化方法，可以根据图像特征对需要加强锐化的方向上分配大的权重，在不需要锐化的方向上分配小的权重甚至不分配权重，具有自适应的特点。这种特性特别适合处理图像的细节。
3、本发明提出的图像锐化方法，对整个局部区域做预先定义模式预测过程和预先定义的预测方向的可能性大小排序，不受个别噪点的影响，具有抗干扰和平滑噪声的作用。
4、本发明提出的图像锐化方法，可根据需要扩大或者减小中心点MP邻域的大小，适应能力强，适用于各种需要进行对图像锐化处理的场合。
附图说明
图1为示意性地说明了本发明提出的锐化方法的步骤流程。
图2为一个图像灰度值的3x3区域的示例以及2种拉普拉斯算子。
图3为H.264定义的Intra_4x4亮度预测区域。
图4为H.264定义的Intra_4x4亮度预测的8个预测方向。
图5为H.264定义的Intra_4x4亮度预测的9个预测模式。
图6为本发明实施例中定义的预测区域。
图7为本发明实施例中预先定义的4个预测方向。
图8为本发明实施例中预先定义的4个预测模式。
图9为本发明实施例中，待锐化像素点MP的邻域的示意图。
图10为图9的一种假设的示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图10，一种基于模式预测和方向排序的图像锐化方法，所述图像锐化方法包括以下步骤：
1)、确定待锐化图像的灰度值，选定待锐化像素点MP的邻域，并且按照邻域的大小，预先定义V个预测方向和V个与之对应的预测模式，编号为0-V-1，其中V为大于1的整数；
2)、在像素点MP的邻域内，判断以MP为中心的局部图像的纹理方向，对预先定义的V个预测模式执行预测过程，形成预先定义的预测方向的可能性大小排序，排名规则是预测到实际的纹理方向与该方向相符的可能性越大排名越靠后；
3)、在像素点MP的邻域内，在预先定义的与V个预测模式对应的V个方向上，依次执行高通滤波，高通滤波器的系数的可预先定义，按照0-V-1方向的次序，高通滤波的结果依次标记为F0-FV-1；
4)、设置V个不同的权重系数：alpha0-alphaV-1，其中alpha0＞apha1＞…＞aphaV-1；
5)按照步骤2)的排序结果在V个方向上依次分配与之对应次序的权重系数，分配的规则为：排名最前的方向上分配权重系数alpha0，第二位的方向上分配apha1，依次分配，排名最后的方向上分配权重系数aphaV-1；
6)所有方向上的高通滤波的结果和与其分配的权重系数的乘积和即为像素点MP的锐化量；
7)经过锐化后的像素点MP的灰度值为：像素点MP的原灰度值和像素点MP的锐化量之和。
所述步骤2)中，预测模式的预测过程采用H.246的Intra_4x4预测过程。或者是：所述步骤2)中，预测模式的预测过程采用H.246的Intra_8x8预测过程。当然，也可以采用其他现有公知的预测过程。
所述步骤3)中，按照每个方向上的像素点的不同，高通滤波器的系数选[-1，2，-1]或者[-0.5，-0.5，2，-0.5，-0.5]。
所述步骤2)中，所述H.264的Intra_4x4预测过程给出9种可选预测模式，其中除了预测模式2是无方向的，其他8种预测模式和8种预测方向是一一对应的；
在不同的预测模式下，可以采用不同的函数，对原来的原始块4x4块左边和上边的相邻点进行处理，得到一个新的4x4块，称为重建块，其计算过程为：
RP＝PRED(NB，PM)；
其中NB是原始块左边和上边的相邻点，RP是重建块，PM是预测模式，PRED是相应的重建函数，重建函数定义如下：
当PM为模式0时，PRED()＝PRED_0()；
当PM为模式1时，PRED()＝PRED_1()；
当PM为模式2时，PRED()＝PRED_2()；
当PM为模式3时，PRED()＝PRED_3()；
当PM为模式4时，PRED()＝PRED_4()；
当PM为模式5时，PRED()＝PRED_5()；
当PM为模式6时，PRED()＝PRED_6()；
当PM为模式7时，PRED()＝PRED_7()；
当PM为模式8时，PRED()＝PRED_8()；
其中，PRED_0()--PRED_8()分别为模式0-模式8的重建函数。
所述步骤2)中，对当前的4x4的采样点矩阵，预测模式的设定过程如下：
分别在9种不同的预测模式下，进行RDO计算代价，RDO计算代价函数如下：
RDO(NB，RP，PM|QP，λmode)＝SSD(NB，RP，PM|QP)+λmode×R(NB，RP，PM|QP)
其中，NB是原始块，RP是重建块，QP是宏块的量化参数，λmode为拉格朗日乘数，λmode＝0.85×2QP/3，R(NB，RP，PM|QP)是采用该预测模式需要的比特数；
选择RDO计算代价最小的模式，作为其亮度预测模式。
基于模式预测和方向排序的图像锐化方法的一种实施方式，包括以下步骤：
1)、如图6，预先定义预测区域，本实施例中的预测区域的定义和和图3中H.264定义的Intra_4x4亮度预测区域对应。
2)、如图9，对像素点MP进行锐化，则在图像中选取以MP为中心的5x5矩阵以及第一行右侧的四个像素的灰度值，构成MP点的邻域。图9中，MP即为P33点，P11-P55所示的区域即为MP邻域的一种实施方式，该邻域和图6中本实施例预先定义的预测对应，和图3中H.264定义的Intra_4x4亮度预测对应；
3)、如图7，预先定义4个预测方向(第一自定义方向0-第一自定义方向3)。
在本实施例中，第一自定义方向0和H.264的Intra_4x4亮度预测的8个预测方向中的方向0相符，为垂直方向；
在本实施例中，第一自定义方向1和H.264的Intra_4x4亮度预测的8个预测方向中的方向0相符，为垂直方向；
在本实施例中，第一自定义方向2和H.264的Intra_4x4亮度预测的8个预测方向中的方向3相符，为水平向下方向；
在本实施例中，第一自定义方向3和H.264的Intra_4x4亮度预测的8个预测方向中的方向4相符，为垂直向左方向；
3)如图8，预先定义4个与图6的4个预测方向对应的预测模式(第一自定义模式0-第一自定义模式3)。
在本实施例中，第一自定义模式0和H.264的Intra_4x4亮度预测的9个预测模式中的模式0相符；
在本实施例中，第一自定义模式1和H.264的Intra_4x4亮度预测的9个预测模式中的模式1相符；
在本实施例中，第一自定义模式2和H.264的Intra_4x4亮度预测的9个预测模式中的模式3相符；
在本实施例中，第一自定义模式3和H.264的Intra_4x4亮度预测的9个预测模式中的模式4相符；
4)、对步骤2)中的MP点的邻域，按照对步骤3)预先定义的4个模式执行预测过程，形成预先定义的预测方向的可能性大小排序，排名规则是预测到实际的纹理方向与该方向相符的可能性越大排名越靠后，预测模式的预测过程可以参考已成熟的技术。
预测模式的预测过程作为成熟技术，已经得到广泛的应用。其在H.264的亮度亮点的Intra_4x4预测过程中得到了很好的发展。
由前面对H.264的亮度亮点的Intra_4x4预测过程的介绍中可知，在H.264的亮度亮点的Intra_4x4预测过程中，RDO函数是一个代价计算函数，对于一个特定的方向，如果其RDO计算代价越大，表明实际的纹理方向与该方向相符的可能性越小；如果其RDO计算代价越小，表明实际的纹理方向与该方向相符的可能性则越大。在进行锐化处理时，越靠近纹理方向上的灰度值之差对锐化量的贡献度应该小，即纹理方向上的灰度值之差对锐化量的贡献度最小，而与纹理方向垂直的方向上的灰度值之差对锐化量的贡献度最大。
本发明的本实施例，在H.264的亮度样点的Intra_4x4预测过程的基础上做简化和修改，就可作为预先定义的4个模式执行预测过程，形成预先定义的预测方向的可能性大小排序，具体步骤如下：
(1)在本实施例中，灰度值的处理单元称为块，被定义为4x4块，表示4x4的像素点的灰度值矩阵。在图6中，4x4块为小写字母(a’-p’)块，而在图9中4x4块在的虚线中，像素点灰度值{(P22，P23，P24，P25)，(P32，P33，P34，P35)，(P42，P43，P44，P45)，(P52，P53，P54，P55)}组成的4x4块。
本实施例的方向预测的Intra_4x4预测过程，在不同的预测模式下，可以采用不同的函数，对上述的4x4块(记为原始块)的左边和上边的相邻点进行处理，得到一个新的4x4矩阵，称为重建块。
在图6中，对原来的4x4块(a’-p’)左边和上边的相邻点(A’-M’)进行处理，即可得到重建块。
在图9中，对原来的4x4块{(P22，P23，P24，P25)，(P32，P33，P34，P35)，(P42，P43，P44，P45)，(P52，P53，P54，P55)}左边和上边的相邻点(P11，P21，P31，P41，P51，P12，P13，P14，P15，P16，P17，P18，P19)进行处理，即可得到重建块。
RP’＝PRED’(NB’，PM’)；
其中NB’是原始块左边和上边的相邻点，RP’是重建块，PM’是预测模式，PRED’是相应的重建函数，定义如下：
当PM’为第一自定义模式0时，PRED’()＝PRED_0()；
当PM’为第一自定义模式1时，PRED’()＝PRED_1()；
当PM’为第一自定义模式2时，PRED’()＝PRED_3()；
当PM’为第一自定义模式3时，PRED’()＝PRED_4()；
其中PRED_0()，PRED_1()，PRED_3()，PRED_4()，分别为H.264的模式0，模式1，模式3，模式4的重建函数，其计算过程分别参见国际电信联盟的《ITU-T H.264建议书(2005年3月版)》第8.3.1.2.1-8.3.1.2.9小节。
(2)分别在4种不同的预测模式下，进行RDO计算代价，RDO计算代价函数如下：
ROD′(NB′，RP′，PM)＝SSD(NB′，RP′，PM)；
其中，NB’是原始块，RP’是重建块，PM’为预测模式。
是4x4原始块和重构块之间的平方误差和。
RDO’是RDO函数的简化，SSD函数和H.264中的SSD保持相同。
(3)按照RDO’计算代价的大小，为其对应的预测方向排序：其规则是：RDO’计算代价越大，其对应的预测方向的排名越靠前；RDO’计算代价越小，其对应的预测方向的排名越靠后；最大RDO’计算代价的预测方向排在最前，最小RDO’计算代价的预测方向排在最后，如果两个预测模式的RDO’计算代价相同，则其对应方向自由排列。
假设图9中所示的图像的灰度值如图10所示，白色区域的灰度值相同，灰色区域的灰度值相同，且小于白色区域的灰度值，则由上述过程可知第一自定义方向0的RDO’的值最小，其他三个方向的RDO’值相同，，姑且可以如下排列：第一自定义方向1，第一自定义方向2，第一自定义方向3，第一自定义方向0；
5)、在MP的邻域内，分别在图7所示的四个方向上执行高通滤波。在本实施例中，选择[-1，2，-1]的滤波器系数。
第一自定义方向0的滤波结果记为F0，则F0＝∑(2×P33-P23-P43)；
第一自定义方向1的滤波结果为：F1＝∑(2×P33-P32-P34)；
第一自定义方向2的滤波结果为：F2＝∑(2×P33-P22-P44)；
第一自定义方向3的滤波结果为：F3＝∑(2×P33-P24-P42)；
6)、设置4个不同的权重系数：alpha0-alphaV-1，其中alpha0＞apha1＞…＞aphaV-1，例如alpha0＝0.7，apha1＝0.15，alpha2＝0.1，alpha3＝0.05；
7)、按照步骤4)的排序结果在4个方向上依次分配与之对应次序的权重系数：排名最前的方向上分配权重系数alpha0，第二位的方向上分配apha1，依次分配，排名最后的方向上分配权重系数apha3，则F1分配alpha0，F2分配alpha1，F3分配alpha2，F0分配alpha3。
8)、计算MP点的锐化量为：E(MP)＝F0×alpha3+F1×alpha0+F2×alpha2+F3×alpha2.
9)、经过锐化的MP点的灰度值为：MP’＝P33+E(MP)，其中：
E(MP)＝F0×alpha3+F1×alpha0+F2×alpha2+F3×alpha2；
F0＝∑(2×P33-P23-P43)
F1＝∑(2×P33-P32-P34)；
F2＝∑(2×P33-P22-P44)；
F3＝∑(2×P33-P24-P42)；
可见，上述实施例所演示的一种基于模式预测和方向排序的图像锐化方法判断出了图像局部的图像特征并对按照需要加强锐化的强度的等级对4个计算方向进行排序，并按照排序的结果给不同的方向上分配不同的权重，达到了锐化图像但不放大噪声，既能锐化一般的图像边缘的同时也能锐化纹理复杂的细节的理想效果。
特别需要说明的是，上述实施例是本发明提出的一种基于模式预测和方向排序的图像锐化方法的其中一种实施方式，本发明还可以实施其他模式预测过程，例如在H.264的亮度样点的Intra_8x8预测过程的基础上实现，所以并非以上述所揭露的较佳具体实施例来对本发明的范畴加以限制，相反地，其目的在于能涵盖各种改变以及具有相等性的实施都在本发明的权利要求范围内。
Claims (6)
1.一种基于模式预测和方向排序的图像锐化方法，其特征在于：所述图像锐化方法包括以下步骤：
1）、确定待锐化图像的灰度值，选定待锐化像素点MP的邻域，并且按照邻域的大小，预先定义V个预测方向和V个与之对应的预测模式，编号为0—V-1，其中V为大于1的整数；
2）、在像素点MP的邻域内，判断以MP为中心的局部图像的纹理方向，对预先定义的V个预测模式执行预测过程，形成预先定义的预测方向的可能性大小排序，排名规则是预测到实际的纹理方向与该方向相符的可能性越大排名越靠后；
3）、在像素点MP的邻域内，在预先定义的与V个预测模式对应的V个方向上，依次执行高通滤波，高通滤波器的系数的可预先定义，按照0—V-1方向的次序，高通滤波的结果依次标记为F0—FV-1；
4）、设置V个不同的权重系数：alpha0—alphaV-1，其中alpha0> apha1>…> aphaV-1；
5）按照步骤2）的排序结果在V个方向上依次分配与之对应次序的权重系数，分配的规则为：排名最前的方向上分配权重系数alpha0，第二位的方向上分配apha1，依次分配，排名最后的方向上分配权重系数aphaV-1；
6）所有方向上的高通滤波的结果和与其分配的权重系数的乘积和即为像素点MP的锐化量；
7）经过锐化后的像素点MP的灰度值为：像素点MP的原灰度值和像素点MP的锐化量之和。
2.如权利要求1所述的一种基于模式预测和方向排序的图像锐化方法，其特征在于：所述步骤2）中，预测模式的预测过程采用H.246的Intra_4x4预测过程。
3.如权利要求1所述的一种基于模式预测和方向排序的图像锐化方法，其特征在于：所述步骤2）中，预测模式的预测过程采用H.246的Intra_8x8预测过程。
4.如权利要求1~3之一所述的一种基于模式预测和方向排序的图像锐化方法，其特征在于：所述步骤3）中，按照每个方向上的像素点的不同，高通滤波器的系数选[-1,2,-1]或者[-0.5,-0.5,2,-0.5,-0.5]。
5.如权利要求2所述的一种基于模式预测和方向排序的图像锐化方法，其特征在于：所述步骤2）中，所述H.264的Intra_4x4预测过程给出9种可选预测模式，其中除了预测模式2是无方向的，其他8种预测模式和8种预测方向是一一对应的；
在不同的预测模式下，可以采用不同的函数，对原来的原始块4x4块左边和上边的相邻点进行处理，得到一个新的4x4块，称为重建块，其计算过程为：
RP=PRED（NB，PM）；
其中NB是原始块左边和上边的相邻点，RP是重建块，PM是预测模式，PRED是相应的重建函数，重建函数定义如下：
当PM为模式0时，PRED（）= PRED_0（）；
当PM为模式1时，PRED（）= PRED_1（）；
当PM为模式2时，PRED（）= PRED_2（）；
当PM为模式3时，PRED（）= PRED_3（）；
当PM为模式4时，PRED（）= PRED_4（）；
当PM为模式5时，PRED（）= PRED_5（）；
当PM为模式6时，PRED（）= PRED_6（）；
当PM为模式7时，PRED（）= PRED_7（）；
当PM为模式8时，PRED（）= PRED_8（）；
其中，PRED_0（）-- PRED_8（）分别为模式0—模式8的重建函数。
6.如权利要求5所述的一种基于模式预测和方向排序的图像锐化方法，其特征在于：所述步骤2）中，对当前的4x4的采样点矩阵，预测模式的设定过程如下：
分别在9种不同的预测模式下，进行RDO计算代价，RDO计算代价函数如下：
其中，NB是原始块，RP是重建块，QP是宏块的量化参数，
为拉格朗日乘数，
,
是采用该预测模式需要的比特数；
选择RDO计算代价最小的模式，作为其亮度预测模式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010587724 CN102035997B (zh) | 2010-12-14 | 2010-12-14 | 一种基于模式预测和方向排序的图像锐化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010587724 CN102035997B (zh) | 2010-12-14 | 2010-12-14 | 一种基于模式预测和方向排序的图像锐化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102035997A true CN102035997A (zh) | 2011-04-27 |
| CN102035997B CN102035997B (zh) | 2012-08-08 |
Family
ID=43888260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010587724 Active CN102035997B (zh) | 2010-12-14 | 2010-12-14 | 一种基于模式预测和方向排序的图像锐化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102035997B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107067448A (zh) * | 2017-02-27 | 2017-08-18 | 沈阳东软医疗系统有限公司 | 一种图像处理方法、装置及设备 |
| WO2017185772A1 (zh) * | 2016-04-28 | 2017-11-02 | 深圳市中兴微电子技术有限公司 | 一种视频图像增强的方法、装置和计算机存储介质 |
| CN110958454A (zh) * | 2019-12-17 | 2020-04-03 | 湖南长城银河科技有限公司 | 帧内预测方法、系统及计算机可读存储介质 |
| CN111651618A (zh) * | 2019-09-26 | 2020-09-11 | 李迎春 | 智能化数据库管理平台 |
| US11232545B2 (en) | 2017-11-02 | 2022-01-25 | Zhejiang Dahlia Technology Co., Ltd. | Systems and methods for image processing |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1372678A (zh) * | 2000-03-07 | 2002-10-02 | 皇家菲利浦电子有限公司 | 提高视频图像锐度的系统和方法 |
| CN1663258A (zh) * | 2002-06-28 | 2005-08-31 | 杜比实验室认证公司 | 改进的视频压缩帧插值 |
| CN101303765A (zh) * | 2008-06-23 | 2008-11-12 | 四川虹微技术有限公司 | 一种基于图像均方差的图像对比度增强方法 |
| WO2009141340A2 (en) * | 2008-05-19 | 2009-11-26 | Mitsubishi Electric Information Technology Centre Europe B.V. | Image processing to enhance image sharpness |
| CN101742338A (zh) * | 2008-11-05 | 2010-06-16 | 美格纳半导体有限会社 | 锐度增强设备及方法 |
-
2010
- 2010-12-14 CN CN 201010587724 patent/CN102035997B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1372678A (zh) * | 2000-03-07 | 2002-10-02 | 皇家菲利浦电子有限公司 | 提高视频图像锐度的系统和方法 |
| CN1663258A (zh) * | 2002-06-28 | 2005-08-31 | 杜比实验室认证公司 | 改进的视频压缩帧插值 |
| WO2009141340A2 (en) * | 2008-05-19 | 2009-11-26 | Mitsubishi Electric Information Technology Centre Europe B.V. | Image processing to enhance image sharpness |
| CN101303765A (zh) * | 2008-06-23 | 2008-11-12 | 四川虹微技术有限公司 | 一种基于图像均方差的图像对比度增强方法 |
| CN101742338A (zh) * | 2008-11-05 | 2010-06-16 | 美格纳半导体有限会社 | 锐度增强设备及方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017185772A1 (zh) * | 2016-04-28 | 2017-11-02 | 深圳市中兴微电子技术有限公司 | 一种视频图像增强的方法、装置和计算机存储介质 |
| CN107067448A (zh) * | 2017-02-27 | 2017-08-18 | 沈阳东软医疗系统有限公司 | 一种图像处理方法、装置及设备 |
| US11232545B2 (en) | 2017-11-02 | 2022-01-25 | Zhejiang Dahlia Technology Co., Ltd. | Systems and methods for image processing |
| CN111651618A (zh) * | 2019-09-26 | 2020-09-11 | 李迎春 | 智能化数据库管理平台 |
| CN110958454A (zh) * | 2019-12-17 | 2020-04-03 | 湖南长城银河科技有限公司 | 帧内预测方法、系统及计算机可读存储介质 |
| CN110958454B (zh) * | 2019-12-17 | 2020-12-01 | 湖南长城银河科技有限公司 | 帧内预测方法、系统及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102035997B (zh) | 2012-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106134201B (zh) | 在块预测技术中使用的预处理预测滤波的方法和装置 | |
| Cui et al. | Convolutional neural networks based intra prediction for HEVC | |
| CN101019437B (zh) | 基于帧内预测方向的h.264空间错误隐藏 | |
| CN104935943B (zh) | 对帧内预测模式进行解码的方法 | |
| CN101563926B (zh) | 图像压缩与解压缩 | |
| CN103124347B (zh) | 利用视觉感知特性指导多视点视频编码量化过程的方法 | |
| CN103404137B (zh) | 有效的样本自适应补偿的方法和装置 | |
| CN105872566B (zh) | 图像编码装置和方法、以及图像译码装置和方法 | |
| CN103024383A (zh) | 一种基于hevc框架的帧内无损压缩编码方法 | |
| CN107257458A (zh) | 采用回路内滤波处理来处理视频的方法和装置 | |
| CN102035997B (zh) | 一种基于模式预测和方向排序的图像锐化方法 | |
| JP5554831B2 (ja) | 歪みの重み付け | |
| CN106937118B (zh) | 一种基于主观感兴趣区域和时空域相结合的码率控制方法 | |
| CN106961606A (zh) | 基于纹理划分特征的hevc帧内编码模式选择方法 | |
| CN1281617A (zh) | 用于减少量化效应的图像数据后处理方法和装置 | |
| CN107396105A (zh) | 使针对图像的一组重建样本的补偿偏移的编码/解码最优化的方法和装置 | |
| CN106131557A (zh) | 解码高分辨率图像的方法和装置 | |
| CN103141094A (zh) | 自适应环路滤波方法和装置 | |
| CN102210151A (zh) | 图像编码装置以及图像解码装置 | |
| CN109982082B (zh) | 一种基于局部纹理特性的hevc多失真准则率失真优化方法 | |
| Saberi et al. | An efficient data hiding method using the intra prediction modes in HEVC | |
| CN102045554A (zh) | 视频和图像的空域预测方法及装置 | |
| Man et al. | Tree-Structured Data Clustering-Driven Neural Network for Intra Prediction in Video Coding | |
| Huh et al. | Variable block size coding of images with hybrid quantization | |
| CN115002461B (zh) | 一种视频编码量化方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: LAI DANPING Free format text: FORMER OWNER: HANGZHOU AIWEIXIN SCIENCE AND TECHNOLOGY CO., LTD. Effective date: 20131211 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20131211 Address after: 1 areas of a village in Hangzhou city of Zhejiang province Binjiang District Puyan street 310053 No. 53 crown Patentee after: Lai Danping Address before: Hangzhou City, Zhejiang province Binjiang District 310053 shore road 1187 Patentee before: Hangzhou Aiweixin Science and Technology Co., Ltd. |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20160920 Address after: Hangzhou City, Zhejiang province Binjiang District 310052 shore road 1187 Building 1 floor C block 4 Patentee after: Zhejiang Huatu Microchip Technology Co., Ltd. Address before: 1 areas of a village in Hangzhou city of Zhejiang province Binjiang District Puyan street 310053 No. 53 crown Patentee before: Lai Danping |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170814 Address after: 310052, Zhejiang, Hangzhou, Binjiang District street, 451, 1 floor, 6 floor Patentee after: Zhejiang Zero run Technology Co., Ltd. Address before: Hangzhou City, Zhejiang province Binjiang District 310052 shore road 1187 Building 1 floor C block 4 Patentee before: Zhejiang Huatu Microchip Technology Co., Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 310052 1st floor and 6th floor, 451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Zhejiang Zero run Technology Co.,Ltd. Address before: 310052 1st floor and 6th floor, 451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd. |