CN104063875B - 增强视频图像光滑度及清晰度的超分辨率重构方法 - Google Patents

增强视频图像光滑度及清晰度的超分辨率重构方法 Download PDF

Info

Publication number
CN104063875B
CN104063875B CN201410329177.6A CN201410329177A CN104063875B CN 104063875 B CN104063875 B CN 104063875B CN 201410329177 A CN201410329177 A CN 201410329177A CN 104063875 B CN104063875 B CN 104063875B
Authority
CN
China
Prior art keywords
pixel
artwork
area
max
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410329177.6A
Other languages
English (en)
Other versions
CN104063875A (zh
Inventor
胡厚亮
李�浩
朱立伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL China Star Optoelectronics Technology Co Ltd
Original Assignee
Shenzhen China Star Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen China Star Optoelectronics Technology Co Ltd filed Critical Shenzhen China Star Optoelectronics Technology Co Ltd
Priority to CN201410329177.6A priority Critical patent/CN104063875B/zh
Priority to US14/384,658 priority patent/US9208537B1/en
Priority to PCT/CN2014/084447 priority patent/WO2016004667A1/zh
Publication of CN104063875A publication Critical patent/CN104063875A/zh
Application granted granted Critical
Publication of CN104063875B publication Critical patent/CN104063875B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明提供一种增强视频图像光滑度及清晰度的超分辨率重构方法，包括：步骤1：提供一原始图像，包括数个阵列排布的原图像素点；步骤2：利用Canny_H方式对所述原始图像进行边缘侦测，并考虑4*4区域图像范围的像素边缘信息；步骤3：将边缘像素进行2*2倍插值放大，并根据得出的像素边缘信息判定该区域图像类型为纯色实体区或非纯色实体区；步骤4：对纯色实体区、非纯色实体区分别进行条件插值；步骤5：得到像素2*2倍插值放大后的超分辨率图像。本发明在纯色实体区，采用4*4的边缘信息按照规则进行插值，以保持纯色实体区的边界清晰度，同时可以在有锯齿的地方降低锯齿；在非纯色实体区进行BiCubic_H方式插值，进而增强图像光滑度和清晰度。

Description

增强视频图像光滑度及清晰度的超分辨率重构方法
技术领域
本发明涉及液晶显示技术领域，尤其涉及一种增强视频图像光滑度及清晰度的超分辨率重构方法。
背景技术
随着消费者日益增长的市场需求，特别在高端显示领域，需要更加高端的显示设备。从最初的480P显像管电视机到后来的720P、FHD、2K、4K和8K等分辨率的显示设备，显示分辨率以及显示设备的尺寸是在逐步提升的。
4K2K，即高解析度面板，简单来说就是比传统全高清(Full High Definition，FHD)的解析度还高四倍的新时代显示格式，又称为“超高解析电视(Quad Full HighDefinition，QFHD)”。4K2K的解析度为RGB4096×2048或3840×2160，而全高清电视解析度为1920×1080，4K2K相当于4倍全高清规格；4K2K采用氧化物薄膜电芯片(Oxide)制作，具备高速电子移动速度，呈现画面内容具有高解析度及薄边框，呈现超薄质感，除了使电视机更加轻薄，让画面更加细致之外，还可以应用于裸视3D荧幕、卫星云图、航空地理情报等，因此，4K2K将成为大尺寸的主流规格。
为了降低系统运行成本，提高画面质量，超分辨率算法(Super Resolution，SR)已成为目前高端显示领域中(例如4K2K)的主流算法，其是指将低分辨率图像或图像序列恢复成高分辨率图像。
超分辨率算法是增强图像或视频分辨率的技术，指利用一幅或多幅低分辨率(LowResolution，LR)图像，通过相应的算法来获得一幅清晰的高分辨率(High Resolution，HR)图像。通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重构。也就是，超分辨率算法的目的是使得输出的图像或视频的分辨率比任意一幅输入的图像或输入视频的任意一帧的分辨率都要高。这里所获得的高分辨率图像意味着图像具有高像素密度，可以提供更多的细节，而这些细节在许多实际应用中不可或缺。然而，很多视频源没能达到这么高的分辨率(如全高清)，让低分辨率的视频在高解析度面板上出色的播放，目前的超分辨率方式有计算量大的缺陷，会导致成本增加，实用性不强。另一方面，诸如像临近取代算法、双线性插值算法、Hermite插值算法和Canny插值算法这些简单快速的超分辨率算法，又使得画面存在锯齿、模糊等问题。
请参阅图1，为现有线性插值超分辨率算法的像素矩阵图。其中，原图像素(Pixel)点分别为P00点、P01点、P10点、P11点，插值点分别为A点、B点、C点，根据线性插值的概念，可以简单地计算出A＝1/4*P00+1/4*P01+1/4*P10+1/4*P11、B＝1/2*P00+1/2*P01、C＝1/2*P00+1/2*P10。请参阅图2，为现有采用图1所示线性插值方法的图样效果图。由图2可以看出，虽然图1所示的这种超分辨率算法计算简单，但这种方法没有降低锯齿现象，并且存在字体不清晰、光滑度不足的问题。
发明内容
本发明的目的在于提供一种增强视频图像光滑度及清晰度的超分辨率重构方法，能够利用较少的资源，较好的提升视频图像的光滑度和清晰度。
为实现上述目的，本发明提供一种增强视频图像光滑度及清晰度的超分辨率重构方法，包括：
步骤1：提供一原始图像，包括数个阵列排布的原图像素点P；
步骤2：利用Canny_H方式对所述原始图像进行边缘侦测，并考虑4*4区域图像范围的像素边缘信息；
步骤3：将边缘像素进行2*2倍插值放大，并根据得出的像素边缘信息判定该区域图像类型为纯色实体区或非纯色实体区；
步骤4：对纯色实体区、非纯色实体区分别进行条件插值；
步骤5：得到像素2*2倍插值放大后的超分辨率图像。
所述步骤2包括：
步骤20：计算梯度方向和梯度值，用Sobel掩膜矩阵 分别和每个原图像素点以及它周围的8个原图像素点组成的3*3矩阵做点乘以得到4个梯度值，取4个梯度值中的最大值作为梯度值并保存其方向；
步骤21：根据每个原图像素点的梯度值及其方向，对每个原图像素点进行“非极大值”边缘抑制；
步骤22：对每个原图像素点及其周围的8个原图像素点做边缘细化。
边缘侦测点是原图像素点P11时，步骤20判断原图像素点P11为水平方向的边缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P01)且G(P11)>1/2*G(P21)，将原图像素点P11的边缘值记为G(P11)，否则将原图像素点P11的边缘值记为0；
步骤20判断原图像素点P11为垂直方向的边缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P10)且G(P11)>1/2*G(P12)，将原图像素点P11的边缘值记为G(P11)，否则将原图像素点P11的边缘值记为0；
步骤20判断原图像素点P11为45度方向的边缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P00)且G(P11)>1/2*G(P22)，将原图像素点P11的边缘值记为G(P11)，否则将原图像素点P11的边缘值记为0；
步骤20判断原图像素点P11为135度方向的边缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P02)且G(P11)>1/2*G(P20)，将原图像素点P11的边缘值记为G(P11)，否则将原图像素点P11的边缘值记为0。
所述步骤3中将边缘像素进行2*2倍插值放大，其插值顺序为：从第1行第1列的原图像素点开始，逐行逐列遍历原图像素点，每遍历一个原图像素点，需要插入3个新像素点。
所述区域图像类型为纯色实体区时，采用4*4的边缘信息按照规则进行插值。
所述区域图像类型为非纯色实体区时，在非纯色实体区进行BiCubic_H方式插值。
当遍历到原图像素点P11时，原图像素点P02、P12、P22、P32是边缘，其他12个原图像素点不是边缘，那么当：
|F(P10)-F(P11)|<0.125*max(F(P10),F(P11))且
|F(P20)-F(P21)|<0.125*max(F(P20),F(P21))且
|F(P12)-F(P13)|<0.125*max(F(P12),F(P13))且
|F(P22)-F(P23)|<0.125*max(F(P22),F(P23))，
则判定为纯色实体区，否则判定为非纯色实体区。所述F(P)为原图像素点P的RGB值求和，即：F(P)＝P(R)+P(G)+P(B)。
所述区域图像判定为纯色实体区时，对应的插值点A、插值点B、插值点C的计算分别为：A＝P11+P21，B＝P11，C＝P11+P21。
当遍历到原图像素点P11时，原图像素点P10、P11、P12、P13是边缘，其他12个原图像素点不是边缘，那么当
|F(P01)-F(P11)|<0.125*max(F(P01),F(P11))且
|F(P02)-F(P12)|<0.125*max(F(P02),F(P12))且
|F(P21)-F(P31)|<0.125*max(F(P21),F(P31))且
|F(P22)-F(P32)|<0.125*max(F(P22),F(P32))，
则判定为纯色实体区，否则判定为非纯色实体区。所述F(P)为原图像素点P的RGB值求和，即：F(P)＝P(R)+P(G)+P(B)。
所述区域图像判定为纯色实体区时，对应的插值点A、插值点B、插值点C的计算分别为：A＝P21+P22，B＝P11+P12，C＝P21。
当遍历到原图像素点P11时，原图像素点P22、P23、P30、P31是边缘，其他12个原图像素点不是边缘，那么当：
|F(P02)-F(P12)|<0.125*max(F(P02),F(P12))且
|F(P03)-F(P13)|<0.125*max(F(P03),F(P13))且
|F(P22)-F(P32)|<0.125*max(F(P22),F(P32))且
|F(P23)-F(P33)|<0.125*max(F(P23),F(P33))，
则判定为纯色实体区，否则判定为非纯色实体区。所述F(P)为原图像素点P的RGB值求和，即：F(P)＝P(R)+P(G)+P(B)。
所述区域图像判定为纯色实体区时，对应的插值点A、插值点B、插值点C的计算分别为：A＝P21+P22，B＝P11+P12，C＝P11+P21。
当遍历到原图像素点P11时，原图像素点P02、P12、P20、P21是边缘，其他12个原图像素点不是边缘，那么当：
|F(P01)-F(P11)|<0.125*max(F(P01),F(P11))且
|F(P02)-F(P12)|<0.125*max(F(P02),F(P12))且
|F(P21)-F(P31)|<0.125*max(F(P21),F(P31))且
|F(P22)-F(P23)|<0.125*max(F(P22),F(P23))，
则判定为纯色实体区，否则判定为非纯色实体区。所述F(P)为原图像素点P的RGB值求和，即：F(P)＝P(R)+P(G)+P(B)。
所述区域图像判定为纯色实体区时，对应的插值点A、插值点B、插值点C的计算分别为：A＝P21+P22，B＝P11，C＝P21。
当遍历到原图像素点P11时，原图像素点P10、P11、P22、P32是边缘，其他12个原图像素点不是边缘，那么当：
|F(P10)-F(P11)|<0.125*max(F(P10),F(P11))且
|F(P20)-F(P21)|<0.125*max(F(P20),F(P21))且
|F(P12)-F(P13)|<0.125*max(F(P12),F(P13))且
|F(P22)-F(P23)|<0.125*max(F(P22),F(P23))，
则判定为纯色实体区，否则判定为非纯色实体区。所述F(P)为原图像素点P的RGB值求和，即：F(P)＝P(R)+P(G)+P(B)。
所述区域图像判定为纯色实体区时，对应的插值点A、插值点B、插值点C的计算分别为：A＝P11+P21，B＝P11，C＝P11+P21。
本发明的有益效果：本发明提供一种增强视频图像光滑度及清晰度的超分辨率重构方法，利用Canny_H方式对原始图像进行边缘侦测，并考虑4*4范围的像素边缘信息，在Canny_H计算出的像素边缘信息基础上判定该区域图像类型为纯色实体区或非纯色实体区，然后对这两种类型分别进行条件插值。在纯色实体区，采用4*4的边缘信息按照规则进行插值，以保持纯色实体区的边界清晰度，同时可以在有锯齿的地方降低锯齿，从而增强其光滑度和清晰度；在非纯色实体区进行BiCubic_H方式插值，进而增强图像光滑度和清晰度。
为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
附图中，
图1为现有线性插值超分辨率算法的像素矩阵图；
图2为现有采用图1所示线性插值方法的图样效果图；
图3为本发明增强视频图像光滑度及清晰度的超分辨率重构方法的流程图；
图4为本发明选取的3*3像素矩阵图；
图5为图4中原始像素点P11为边缘时的2*3像素矩阵图；
图6为本发明第一种判定纯色实体区、非纯色实体区条件对应的像素矩阵图；
图7为本发明第二种判定纯色实体区、非纯色实体区条件对应的像素矩阵图；
图8为本发明第三种判定纯色实体区、非纯色实体区条件对应的像素矩阵图；
图9为本发明第四种判定纯色实体区、非纯色实体区条件对应的像素矩阵图；
图10为本发明第五种判定纯色实体区、非纯色实体区条件对应的像素矩阵图；
图11为本发明进行BiCubic_H插值的像素矩阵图；
图12a为采用复制放大方法处理的图样仿真结果；
图12b为现有采用图1所示线性插值方法处理的图样仿真结果；
图12c为采用本发明超分辨率算法处理的图样仿真结果。
具体实施方式
为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。
请参阅图3，为本发明增强视频图像光滑度及清晰度的超分辨率重构方法的流程图。包括：
步骤1：提供一原始图像(Original image)，包括数个阵列排布的原图像素点P；
步骤2：利用Canny_H方式(使用传统的Canny算子简化改进得到)对所述原始图像进行边缘侦测，并考虑4*4区域图像范围的像素边缘信息；
步骤20：计算梯度方向和梯度值，用Sobel掩膜矩阵 分别和每个原图像素点以及它周围的8个原图像素点组成的3*3矩阵做点乘以得到4个梯度值，取4个梯度值中的最大值作为梯度值并保存其方向；
步骤21：根据每个原图像素点的梯度值及其方向，对每个原图像素点进行“非极大值”边缘抑制；
水平方向：请参阅图4，为本发明选取的3*3像素矩阵图，包括原图像素点P00、P01、P02、P10、P11、P12、P20、P21、P22。当边缘侦测点是原图像素点P11时，步骤20判断原图像素点P11为水平方向的边缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P01)且G(P11)>1/2*G(P21)，将原图像素点P11的边缘值记为G(P11)，否则将原图像素点P11的边缘值记为0；
垂直方向：请参阅图4，当边缘侦测点是原图像素点P11时，步骤20判断原图像素点P11为垂直方向的边缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P10)且G(P11)>1/2*G(P12)，将原图像素点P11的边缘值记为G(P11)，否则将原图像素点P11的边缘值记为0；
45度方向：请参阅图4，当边缘侦测点是原图像素点P11时，步骤20判断原图像素点P11为45度方向的边缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P00)且G(P11)>1/2*G(P22)，将原图像素点P11的边缘值记为G(P11)，否则将原图像素点P11的边缘值记为0；
135度方向：请参阅图4，当边缘侦测点是原图像素点P11时，步骤20判断原图像素点P11为135度方向的边缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P02)且G(P11)>1/2*G(P20)，将原图像素点P11的边缘值记为G(P11)，否则将原图像素点P11的边缘值记为0；
步骤22：对每个原图像素点及其周围的8个原图像素点做边缘细化。经过上述步骤，得到的边缘有的地方存在两个像素宽度边缘的现象，为了便于后续的条件插值，我们对每个原图像素点和周围几个原图像素点做边缘细化，请参阅图5，为图4中原始像素点P11为边缘时的2*3像素矩阵图。如果原图像素点P00、P01为边缘，则将原图像素点P01边缘值置0；如果原图像素点P01、P02为边缘，则将原图像素点P01边缘值置0；如果原图像素点P00、P10为边缘，则将原图像素点P10边缘值置0。
步骤3：将边缘像素进行2*2倍插值放大，并根据得出的像素边缘信息判定该区域图像类型为纯色实体区或非纯色实体区；
请参阅图6，为本发明第一种判定纯色实体区、非纯色实体区条件对应的像素矩阵图，也是像素2*2倍插值的放大矩阵图，其中选取的像素点为4*4矩阵，包括原图像素点P00、P01、P02、P03、P10、P11、P12、P13、P20、P21、P22、P23。将边缘像素2*2倍插值放大，插值顺序为：从第1行第1列的原图像素点开始，逐行逐列遍历原图像素点，每遍历一个原图像素点，需要插入3个新像素点，具体地，如图6所示，当遍历到原图像素点P11时，插入3个新像素点分别为A点、B点、C点，遍历其它原图像素点时与之类似，最终得到像素2*2倍超分辨率放大图。
结合边缘取得方式，根据一些具体图像的判定，考虑4*4原图像素点矩阵的边缘信息，共有85种判定纯色实体区、非纯色实体区的条件，这里列举如下5种条件：
(1)第一种判定纯色实体区、非纯色实体区的条件，请参阅图6，当遍历到原图像素点P11时，原图像素点P02、P12、P22、P32是边缘，其他12个原图像素点不是边缘，那么当：
|F(P10)-F(P11)|<0.125*max(F(P10),F(P11))且
|F(P20)-F(P21)|<0.125*max(F(P20),F(P21))且
|F(P12)-F(P13)|<0.125*max(F(P12),F(P13))且
|F(P22)-F(P23)|<0.125*max(F(P22),F(P23))，
则判定为纯色实体区，否则判定为非纯色实体区，这里F(P)为原图像素点P的RGB值求和，即：F(P)＝P(R)+P(G)+P(B)，以下同理。
(2)第二种判定纯色实体区、非纯色实体区的条件，请参阅图7，为本发明第二种判定纯色实体区、非纯色实体区条件对应的像素矩阵图。当遍历到原图像素点P11时，原图像素点P10、P11、P12、P13是边缘，其他12个原图像素点不是边缘，那么当
|F(P01)-F(P11)|<0.125*max(F(P01),F(P11))且
|F(P02)-F(P12)|<0.125*max(F(P02),F(P12))且
|F(P21)-F(P31)|<0.125*max(F(P21),F(P31))且
|F(P22)-F(P32)|<0.125*max(F(P22),F(P32))，
则判定为纯色实体区，否则判定为非纯色实体区。
(3)第三种判定纯色实体区、非纯色实体区的条件，请参阅图8，为本发明第三种判定纯色实体区、非纯色实体区条件对应的像素矩阵图。当遍历到原图像素点P11时，原图像素点P22、P23、P30、P31是边缘，其他12个原图像素点不是边缘，那么当：
|F(P02)-F(P12)|<0.125*max(F(P02),F(P12))且
|F(P03)-F(P13)|<0.125*max(F(P03),F(P13))且
|F(P22)-F(P32)|<0.125*max(F(P22),F(P32))且
|F(P23)-F(P33)|<0.125*max(F(P23),F(P33))，
则判定为纯色实体区，否则判定为非纯色实体区。
(4)第四种判定纯色实体区、非纯色实体区的条件，请参阅图9，为本发明第四种判定纯色实体区、非纯色实体区条件对应的像素矩阵图。当遍历到原图像素点P11时，原图像素点P02、P12、P20、P21是边缘，其他12个原图像素点不是边缘，那么当：
|F(P01)-F(P11)|<0.125*max(F(P01),F(P11))且
|F(P02)-F(P12)|<0.125*max(F(P02),F(P12))且
|F(P21)-F(P31)|<0.125*max(F(P21),F(P31))且
|F(P22)-F(P23)|<0.125*max(F(P22),F(P23))，
则判定为纯色实体区，否则判定为非纯色实体区。
(5)第五种判定纯色实体区、非纯色实体区的条件，请参阅图10，为本发明第五种判定纯色实体区、非纯色实体区条件对应的像素矩阵图。当遍历到原图像素点P11时，原图像素点P10、P11、P22、P32是边缘，其他12个原图像素点不是边缘，那么当：
|F(P10)-F(P11)|<0.125*max(F(P10),F(P11))且
|F(P20)-F(P21)|<0.125*max(F(P20),F(P21))且
|F(P12)-F(P13)|<0.125*max(F(P12),F(P13))且
|F(P22)-F(P23)|<0.125*max(F(P22),F(P23))，
则判定为纯色实体区，否则判定为非纯色实体区。
步骤4：纯色实体区、非纯色实体区条件插值：
(1)纯色实体区插值：对应步骤3中提到的85种纯色实体区判定条件，分别有其插值方式。例如步骤3中举例的5种纯色实体区判定情况，如果这5种情况都判定为纯色实体区，那么这5种情况分别对应的插值点A、插值点B、插值点C的计算分别为：
第一种如图6所示：A＝P11+P21，B＝P11，C＝P11+P21；
第二种如图7所示：A＝P21+P22，B＝P11+P12，C＝P21；
第三种如图8所示：A＝P21+P22，B＝P11+P12，C＝P11+P21；
第四种如图9所示：A＝P21+P22，B＝P11，C＝P21；
第五种如图10所示：A＝P11+P21，B＝P11，C＝P11+P21。
(2)非纯色实体区插值：请参阅图11，为本发明进行BiCubic_H插值的像素矩阵图。假设原图像素点P00、P01、P02、P03在一个3次方函数P(x)＝ax3+bx2+cx+d中，且可令它们的x坐标为-1、0、1、2，由P(-1)、P(0)、P(1)、P(2)以及一阶导数P’(0)、P’(1)可简单的计算出a、b、c、d关于P00、P01、P02、P03的表达式，y1对应的x坐标为0.5，可计算出y1＝-1/16*P00+9/16*P01+9/16*P02-1/16*P03，令α＝-1/16、β＝-9/16，同样可计算出y2、y3、y4、y5：
y2＝α*P10+β*P11+β*P12+α*P13，
y3＝α*P20+β*P21+β*P22+α*P23，
y4＝α*P30+β*P31+β*P32+α*P33，
y5＝α*P01+β*P11+β*P21+α*P31，
对y1、y2、y3、y4做双立方插值，计算A值：A＝α*y1+β*y2+β*y3+α*y4，另外B＝y2、C＝y5，为了增强对比度，可改变系数值，目前应用表现较好的A、B、C计算式系数为：α＝-2/16、β＝-10/16。
步骤5：得到像素2*2倍插值放大后的超分辨率图像。
请参阅图12a、12b、及12c，图12a为采用复制放大方法处理的图样仿真结果。复制放大的方法，即每个像素复制为4个像素，进而得到2*2倍超分辨率结果；图12b为现有采用图1所示线性插值方法处理的图样仿真结果；图12c为采用本发明超分辨率算法处理的图样仿真结果。由图12a、12b、及12c可以看出，该图样的边界虽然都不是直线，然而经本发明超分辨率算法处理后，仍然能得到明显优于图12a所示的复制放大方法和图12b所示的线性插值方法的视觉效果，且有效的降低了锯齿现象，较好的提升了视频图像的光滑度和清晰度。
综上所述，本发明提供一种增强视频图像光滑度及清晰度的超分辨率重构方法，利用Canny_H方式对原始图像进行边缘侦测，并考虑4*4范围的像素边缘信息，在Canny_H计算出的像素边缘信息基础上判定该区域图像类型为纯色实体区或非纯色实体区，然后对这两种类型分别进行条件插值。在纯色实体区，采用4*4的边缘信息按照规则进行插值，以保持纯色实体区的边界清晰度，同时可以在有锯齿的地方降低锯齿，从而增强其光滑度和清晰度；在非纯色实体区进行BiCubic_H方式插值，进而增强图像光滑度和清晰度。
以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。

Claims (16)

1.一种增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，包括：
步骤1：提供一原始图像，包括数个阵列排布的原图像素点P；
步骤2：利用Canny_H方式对所述原始图像进行边缘侦测，并考虑4*4区域图像范围的像素边缘信息；
定义4*4区域图像范围内的第一行原图像素点由左至右依次为原图像素点P00、P01、P02、P03，第二行原图像素点由左至右依次为原图像素点P10、P11、P12、P13，第三行原图像素点由左至右依次为原图像素点P20、P21、P22、P23，第四行原图像素点由左至右依次为原图像素点P30、P31、P32、P33；
步骤3：将边缘像素进行2*2倍插值放大，并根据得出的像素边缘信息判定该区域图像类型为纯色实体区或非纯色实体区；
定义原图像素点P11进行2*2倍插值放大后原图像素点P11下方插入的新像素点为插值点C，原图像素点P11右方插入的新像素点为插值点D，原图像素点P11右下方插入的新像素点为插值点A；
步骤4：对纯色实体区、非纯色实体区分别进行条件插值；
步骤5：得到像素2*2倍插值放大后的超分辨率图像。
2.如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，所述步骤2包括：
步骤20：计算梯度方向和梯度值，用Sobel掩膜矩阵 分别和每个原图像素点以及它周围的8个原图像素点组成的3*3矩阵做点乘以得到4个梯度值，取4个梯度值中的最大值作为梯度值并保存其方向；
步骤21：根据每个原图像素点的梯度值及其方向，对每个原图像素点进行“非极大值”边缘抑制；
步骤22：对每个原图像素点及其周围的8个原图像素点做边缘细化。
3.如权利要求2所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，边缘侦测点是原图像素点P11时，步骤20判断原图像素点P11为水平方向的边缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P01)且G(P11)>1/2*G(P21)，将原图像素点P11的边缘值记为G(P11)，否则将原图像素点P11的边缘值记为0；
步骤20判断原图像素点P11为垂直方向的边缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P10)且G(P11)>1/2*G(P12)，将原图像素点P11的边缘值记为G(P11)，否则将原图像素点P11的边缘值记为0；
步骤20判断原图像素点P11为45度方向的边缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P00)且G(P11)>1/2*G(P22)，将原图像素点P11的边缘值记为G(P11)，否则将原图像素点P11的边缘值记为0；
步骤20判断原图像素点P11为135度方向的边缘，边缘值为G(P11)，如果满足G(P11)>1/2*G(P02)且G(P11)>1/2*G(P20)，将原图像素点P11的边缘值记为G(P11)，否则将原图像素点P11的边缘值记为0。
4.如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，所述步骤3中将边缘像素进行2*2倍插值放大，其插值顺序为：从第1行第1列的原图像素点开始，逐行逐列遍历原图像素点，每遍历一个原图像素点，需要插入3个新像素点。
5.如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，所述区域图像类型为纯色实体区时，采用4*4的边缘信息按照规则进行插值。
6.如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，所述区域图像类型为非纯色实体区时，在非纯色实体区进行BiCubic_H方式插值。
7.如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，当遍历到原图像素点P11时，原图像素点P02、P12、P22、P32是边缘，其他12个原图像素点不是边缘，那么当：
|F(P10)-F(P11)|<0.125*max(F(P10),F(P11))且
|F(P20)-F(P21)|<0.125*max(F(P20),F(P21))且
|F(P12)-F(P13)|<0.125*max(F(P12),F(P13))且
|F(P22)-F(P23)|<0.125*max(F(P22),F(P23))，
其中，F(P)为原图像素点P的RGB值求和，即：F(P)＝P(R)+P(G)+P(B)，则判定为纯色实体区，否则判定为非纯色实体区。
8.如权利要求7所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，所述区域图像判定为纯色实体区时，对应的插值点A、插值点D、插值点C的计算分别为：A＝P11+P21，D＝P11，C＝P11+P21。
9.如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，当遍历到原图像素点P11时，原图像素点P10、P11、P12、P13是边缘，其他12个原图像素点不是边缘，那么当
|F(P01)-F(P11)|<0.125*max(F(P01),F(P11))且
|F(P02)-F(P12)|<0.125*max(F(P02),F(P12))且
|F(P21)-F(P31)|<0.125*max(F(P21),F(P31))且
|F(P22)-F(P32)|<0.125*max(F(P22),F(P32))，
其中，F(P)为原图像素点P的RGB值求和，即：F(P)＝P(R)+P(G)+P(B)，则判定为纯色实体区，否则判定为非纯色实体区。
10.如权利要求9所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，所述区域图像判定为纯色实体区时，对应的插值点A、插值点D、插值点C的计算分别为：A＝P21+P22，D＝P11+P12，C＝P21。
11.如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，当遍历到原图像素点P11时，原图像素点P22、P23、P30、P31是边缘，其他12个原图像素点不是边缘，那么当：
|F(P02)-F(P12)|<0.125*max(F(P02),F(P12))且
|F(P03)-F(P13)|<0.125*max(F(P03),F(P13))且
|F(P22)-F(P32)|<0.125*max(F(P22),F(P32))且
|F(P23)-F(P33)|<0.125*max(F(P23),F(P33))，
其中，F(P)为原图像素点P的RGB值求和，即：F(P)＝P(R)+P(G)+P(B)，则判定为纯色实体区，否则判定为非纯色实体区。
12.如权利要求11所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，所述区域图像判定为纯色实体区时，对应的插值点A、插值点D、插值点C的计算分别为：A＝P21+P22，D＝P11+P12，C＝P11+P21。
13.如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，当遍历到原图像素点P11时，原图像素点P02、P12、P20、P21是边缘，其他12个原图像素点不是边缘，那么当：
|F(P01)-F(P11)|<0.125*max(F(P01),F(P11))且
|F(P02)-F(P12)|<0.125*max(F(P02),F(P12))且
|F(P21)-F(P31)|<0.125*max(F(P21),F(P31))且
|F(P22)-F(P23)|<0.125*max(F(P22),F(P23))，
其中，F(P)为原图像素点P的RGB值求和，即：F(P)＝P(R)+P(G)+P(B)，则判定为纯色实体区，否则判定为非纯色实体区。
14.如权利要求13所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，所述区域图像判定为纯色实体区时，对应的插值点A、插值点D、插值点C的计算分别为：A＝P21+P22，D＝P11，C＝P21。
15.如权利要求1所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，当遍历到原图像素点P11时，原图像素点P10、P11、P22、P32是边缘，其他12个原图像素点不是边缘，那么当：
|F(P10)-F(P11)|<0.125*max(F(P10),F(P11))且
|F(P20)-F(P21)|<0.125*max(F(P20),F(P21))且
|F(P12)-F(P13)|<0.125*max(F(P12),F(P13))且
|F(P22)-F(P23)|<0.125*max(F(P22),F(P23))，
其中，F(P)为原图像素点P的RGB值求和，即：F(P)＝P(R)+P(G)+P(B)，则判定为纯色实体区，否则判定为非纯色实体区。
16.如权利要求15所述的增强视频图像光滑度及清晰度的超分辨率重构方法，其特征在于，所述区域图像判定为纯色实体区时，对应的插值点A、插值点D、插值点C的计算分别为：A＝P11+P21，D＝P11，C＝P11+P21。
CN201410329177.6A 2014-07-10 2014-07-10 增强视频图像光滑度及清晰度的超分辨率重构方法 Expired - Fee Related CN104063875B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410329177.6A CN104063875B (zh) 2014-07-10 2014-07-10 增强视频图像光滑度及清晰度的超分辨率重构方法
US14/384,658 US9208537B1 (en) 2014-07-10 2014-08-15 Super-resolution reconstructing method for enhancing smoothness and sharpness of video image
PCT/CN2014/084447 WO2016004667A1 (zh) 2014-07-10 2014-08-15 增强视频图像光滑度及清晰度的超分辨率重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410329177.6A CN104063875B (zh) 2014-07-10 2014-07-10 增强视频图像光滑度及清晰度的超分辨率重构方法

Publications (2)

Publication Number Publication Date
CN104063875A CN104063875A (zh) 2014-09-24
CN104063875B true CN104063875B (zh) 2017-07-28

Family

ID=51551567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410329177.6A Expired - Fee Related CN104063875B (zh) 2014-07-10 2014-07-10 增强视频图像光滑度及清晰度的超分辨率重构方法

Country Status (2)

Country Link
CN (1) CN104063875B (zh)
WO (1) WO2016004667A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780354A (zh) * 2016-11-14 2017-05-31 刘兰平 多帧图像清晰化处理方法和装置
CN107194877A (zh) * 2017-06-16 2017-09-22 南京大学金陵学院 一种基于单幅图像的保边插值超分辨率计算方法
CN108021653B (zh) * 2017-12-01 2021-08-03 湖州师范学院 一种安防监控系统的数据筛选方法
CN111861884B (zh) * 2020-07-15 2023-05-16 南京信息工程大学 一种基于深度学习的卫星云图超分辨率重建方法
CN116152123B (zh) * 2023-04-21 2023-09-19 荣耀终端有限公司 图像处理方法、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272491A (zh) * 2008-04-10 2008-09-24 西安电子科技大学 基于视频对象和区域指导的图像插值方法
CN101358936A (zh) * 2007-08-02 2009-02-04 同方威视技术股份有限公司 一种利用双视角多能量透射图像进行材料识别的方法及系统
CN103455984A (zh) * 2013-09-02 2013-12-18 清华大学深圳研究生院 一种Kinect深度图像获取方法与装置
CN103810675A (zh) * 2013-09-09 2014-05-21 深圳市华星光电技术有限公司 图像超分辨率重构系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100492413C (zh) * 2002-10-18 2009-05-27 北京大学 用于相机标定的方法及所用的彩色参照物
KR20070119879A (ko) * 2006-06-16 2007-12-21 삼성전자주식회사 영상의 해상도 변환 방법 및 그 장치
JP2010224987A (ja) * 2009-03-24 2010-10-07 Sharp Corp 画像処理装置、画像処理方法、プログラム、および記録媒体
CN102163336B (zh) * 2011-03-25 2013-03-13 重庆酷贝科技发展有限公司 一种图像识别码的编码和解码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101358936A (zh) * 2007-08-02 2009-02-04 同方威视技术股份有限公司 一种利用双视角多能量透射图像进行材料识别的方法及系统
CN101272491A (zh) * 2008-04-10 2008-09-24 西安电子科技大学 基于视频对象和区域指导的图像插值方法
CN103455984A (zh) * 2013-09-02 2013-12-18 清华大学深圳研究生院 一种Kinect深度图像获取方法与装置
CN103810675A (zh) * 2013-09-09 2014-05-21 深圳市华星光电技术有限公司 图像超分辨率重构系统及方法

Also Published As

Publication number Publication date
WO2016004667A1 (zh) 2016-01-14
CN104063875A (zh) 2014-09-24

Similar Documents

Publication Publication Date Title
CN104063875B (zh) 增强视频图像光滑度及清晰度的超分辨率重构方法
AU2017246716B2 (en) Efficient determination of optical flow between images
CN103034973B (zh) 基于双三次插值的自适应图像缩放方法
US7613363B2 (en) Image superresolution through edge extraction and contrast enhancement
CN103718540B (zh) 用于生成全景图像的方法、用户终端和计算机可读记录介质
US8335394B2 (en) Image processing method for boundary resolution enhancement
CN104574277A (zh) 图像插值方法和图像插值装置
WO2015032185A1 (zh) 图像超分辨率重构系统及方法
CN107993208A (zh) 一种基于稀疏重叠组先验约束的非局部全变分图像复原方法
US20120256906A1 (en) System and method to render 3d images from a 2d source
CN110634147A (zh) 基于双边引导上采样的图像抠图方法
CN108022223A (zh) 一种基于对数映射函数分块处理融合的色调映射方法
US7679620B2 (en) Image processing using saltating samples
US20030001862A1 (en) Method for the minimization of artifacts in full frame animations transferred to NTSC interlaced video
CN104240213A (zh) 一种显示方法及显示装置
CN116310142A (zh) 一种将全景图360度投影到模型表面的方法
CN106327458A (zh) 一种基于图像分层渲染的方法
EP3229106A1 (en) Efficient determination of optical flow between images
CN111563929B (zh) 一种基于浏览器的2.5d网页开发方法
Lee et al. Hole Filling in Image Conversion Using Weighted Local Gradients.
TW202223842A (zh) 用於環景影像的影像處理方法及裝置
CN112435171B (zh) 一种图像分辨率的重建方法
EP3229470A1 (en) Efficient canvas view generation from intermediate views
Kang et al. Simultaneously retargeting and super-resolution for stereoscopic video
US20030052899A1 (en) Dynamic spatial warp

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170728