CN103810675B - 图像超分辨率重构系统及方法 - Google Patents

Abstract

本发明公开了一种图像超分辨率重构系统及方法，该方法包括：对待处理的低分辨率图像进行边缘检测，得到边缘像素帧；保留检测出的边缘像素信息不变，将所述边缘像素帧插值放大，放大后的图像在水平方向和垂直方向均是原边缘像素帧的2倍；根据不同的像素边缘，对所插入的插值像素进行插值补偿以得到高分辨率图像。本发明方法先对图像进行边缘侦测，接着将边缘图像帧画面通过插值放大至原图像的二倍，边缘像素信息直接保留，该过程能保证边缘轮廓的清晰度与完整性，增强画面对比度而不牺牲影像品质，然后运用优化后的方法对前面的插值像素进行插值补偿，其过程综合考虑边缘像素与周围像素影响，使得输出画面的锯齿状现象明显降低。

Description

图像超分辨率重构系统及方法

技术领域

本发明涉及高分辨率显示技术领域，尤其涉及一种图像超分辨率重构系统及方法。

背景技术

随着消费者日益增长的市场需求，特别在高端显示领域，需要更加高端的显示设备。从最初的480P显像管电视机到后来的720P、FHD、2K、4K和8K等分辨率的显示设备，显示分辨率以及显示设备的尺寸是在逐步提升的。

为了降低系统运行成本，提高画面质量，超分辨率算法(Super Resolution,SR)已成为目前高端显示领域中（例如4K2K）的主流算法，其是指将低分辨率图像或图像序列恢复成高分辨率图像。

超分辨率算法是增强图像或视频分辨率的技术，指利用一幅或者多幅低分辨率（Low Resolution，LR）图像，通过相应的算法来获得一幅清晰的高分辨率（High Resolution，HR）图像。也就是，SR算法的目的是使得输出的图像或视频的分辨率比任意一幅输入的图像或输入视频的任意一帧的分辨率都要高。这里所获得的HR图像意味着图像具有高像素密度，可以提供更多的细节。

然而，针对实际产品应用而言，当前大多数SR演算法都存在计算量大的缺陷，导致成本增加，实用性不强，它们未被应用在商业视频产品中。另一方面，诸如像 邻近取代算法、双线性插值算法、Hermite插值算法和Canny插值算法这些简单快速的SR演算法又使得画面存在锯齿、模糊等问题。

因此，如何解决上述问题，以使得输出画面的锯齿状现象明显降低、算法简单、运行速度快并可以有效降低成本，乃业界所致力的课题之一。

发明内容

本发明所要解决的技术问题之一是需要提供一种图像超分辨率重构方法，该方法能 够使得输出高分辨率画面的锯齿状现象明显降低、算法简单、运行速度快并可以有效降低成本。另外还提供了一种图像超分辨率重构系统。

1）为了解决上述技术问题，本发明提供了一种图像超分辨率重构方法，包括：边缘检测步骤，对待处理的低分辨率图像进行边缘检测，得到边缘像素帧；帧放大步骤，保留检测出的边缘像素信息不变，将所述边缘像素帧插值放大，放大后的图像在水平方向和垂直方向均是原边缘像素帧的2倍；像素补偿步骤，根据不同的像素边缘，对所插入的插值像素进行插值补偿以得到高分辨率图像。

2）在本发明的第1）项的一个优选实施方式中，在所述边缘检测步骤中，进一步采用索贝尔算子对待处理的低分辨率图像从四个不同方向的边缘进行检测。

3）在本发明的第1）项或第2）项中的一个优选实施方式中，在所述像素补偿步骤中，进一步包括：

以五个待补偿的插值像素中位于像素块中间位置的中心插值像素为基准，按照设定的四个方向搜索与其 邻近的四个像素中所包含的边缘像素的信息，之后按照相应规则对五个插值像素进行插值补偿，其中，所述规则为根据这四个像素中所包含的边缘像素的个数，以及边缘方向和/或亮度信息所设定的规则。

4）在本发明的第1）项-第3）项中任一项的一个优选实施方式中，所述规则包括：若这四个像素均为边缘像素，边缘方向为对角方向，且处于边缘方向的两个像素和另一像素彼此之间的亮度差值小于设定阈值，则通过以下步骤进行插值补偿：

将这三个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将除了这三个像素以外的像素的亮度值赋值给与之相邻的两个插值像素；将处于边缘方向的两个像素中每个像素和所述另一像素的亮度平均值赋值给处于二者之间的插值像素。

5）在本发明的第1）项-第4）项中任一项的一个优选实施方式中，所述规则包括：若这四个像素均为边缘像素，每行中两个像素的亮度差值小于设定阈值且上下两行的亮度平均值的差值大于设定阈值，则通过以下步骤进行插值补偿：

将每行两个像素的亮度平均值赋值给所在行的插值像素；将下行的两个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将下行的两个像素中每个像素的亮度值赋值给该像素所在列的插值像素。

6）在本发明的第1）项-第5）项中任一项的一个优选实施方式中，所述规则包括： 若这四个像素均为边缘像素，每列中两个像素的亮度差值小于设定阈值且左右两列的亮度平均值的差值大于设定阈值，则通过以下步骤进行插值补偿：

将每列两个像素的亮度平均值赋值给所在列的插值像素；将左列的两个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将左列的两个像素中每个像素的亮度值赋值给该像素所在行的插值像素。

7）在本发明的第1）项-第6）项中任一项的一个优选实施方式中，所述规则包括：若这四个像素均为边缘像素，且这四个像素的亮度相互之间差值小于设定阈值或者差值大于设定阈值时，则通过以下步骤进行插值补偿：

将每列两个像素的亮度平均值赋值给该列的插值像素；将每行两个像素的亮度平均值赋值给该行的插值像素；将这四个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素。

8）在本发明的第1）项-第7）项中任一项的一个优选实施方式中，所述规则包括：若这四个像素中边缘像素的个数为三个，且边缘方向为对角方向，则通过以下步骤进行插值补偿：

将这三个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将除了这三个像素以外的非边缘像素的亮度值赋值给与之相邻的两个插值像素；将处于边缘方向的两个边缘像素中每个像素和除这两个边缘像素外的另一边缘像素的亮度平均值赋值给处于二者之间的插值像素。

9）在本发明的第1）项-第8）项中任一项的一个优选实施方式中，所述规则包括：若这四个像素中边缘像素的个数为两个，且边缘方向为对角方向，则通过以下步骤进行插值补偿：

将这两个边缘像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将另外两个非边缘像素中每个像素的亮度值赋值给与之相邻的插值像素。

10）在本发明的第1）项-第9）项中任一项的一个优选实施方式中，所述规则包括：若这四个像素中边缘像素的个数为两个，且边缘方向为列方向，则通过以下步骤进行插值补偿：

将这两个边缘像素的亮度平均值赋值给位于这两个像素所在列的插值像素；将另外两个非边缘像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将另外两个 非边缘像素中每个像素的亮度值赋值给与之相邻的插值像素。

11）在本发明的第1）项-第10）项中任一项的一个优选实施方式中，在所述像素补偿步骤中还包括：对于每次插值补偿后的五个插值像素进行记录；选取设定方向进行互斥性分析，判断当前插值补偿后的五个插值像素的赋值与之前的插值补偿后的赋值是否存在互斥，并对出现互斥的插值像素进行处理。

12）在本发明的第1）项-第11）项中任一项的一个优选实施方式中，在设定方向选取在45°至90°范围时，

若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的上方，则该插值像素的赋值为当前插值补偿后的值；

若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的左方，则该插值像素的赋值为之前插值补偿后的值。

13）在本发明的第1）项-第12）项中任一项的一个优选实施方式中，在设定方向选取在90°至180°范围时，

若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的上方，则该插值像素的赋值为之前插值补偿后的值；

若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的左方，则该插值像素的赋值为当前插值补偿后的值。

14）在本发明的第1）项-第13）项中任一项的一个优选实施方式中，在设定方向选取在45°至180°范围之外时，若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿，且之前进行插值补偿的像素块位于该插值像素的上方或左方，则该插值像素的赋值为之前插值补偿后的值。

15）在本发明的第1）项-第14）项中任一项的一个优选实施方式中，还包括：采用双三次插值方法对剩余的插值像素进行插值补偿。

16）根据本发明的另一方面，还提供了一种图像超分辨率重构系统，包括：边缘检测 单元，其配置以对待处理的低分辨率图像进行边缘检测，得到边缘像素帧；帧放大单元，其配置以保留检测出的边缘像素信息不变，将所述边缘像素帧插值放大，放大后的图像在水平方向和垂直方向均是原边缘像素帧的2倍；像素补偿单元，其配置以根据不同的像素边缘，对所插入的插值像素进行插值补偿以得到高分辨率图像。

17）在本发明的第16）项的一个优选实施方式中，所述边缘检测单元进一步采用索贝尔算子对待处理的低分辨率图像从四个不同方向的边缘进行检测。

18）在本发明的第16）项或第17）项中的一个优选实施方式中，在所述像素补偿单元中进一步执行：以五个待补偿的插值像素中位于像素块中间位置的中心插值像素为基准，按照设定的四个方向搜索与其 邻近的四个像素中所包含的边缘像素的信息，之后按照相应规则对五个插值像素进行插值补偿，其中，所述规则为根据这四个像素中所包含的边缘像素的个数，以及边缘方向和/或亮度信息所设定的规则。

19）在本发明的第16）项-第18）项中任一项的一个优选实施方式中，所述像素补偿单元还进一步执行：对于每次插值补偿后的五个插值像素进行记录；选取设定方向进行互斥性分析，判断当前插值补偿后的五个插值像素的赋值与之前的插值补偿后的赋值是否存在互斥，并对出现互斥的插值像素进行处理。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

本发明方法先对图像进行边缘侦测，接着将边缘图像帧画面通过插值放大至原图像的二倍，所插像素部分先用0灰阶进行替代，而边缘像素信息直接保留，该过程能保证边缘轮廓的清晰度与完整性，增强画面对比度而不牺牲影像品质。然后运用优化后的规则对前面所补的0灰阶像素进行插值补偿，其过程综合考虑边缘像素与周围像素影响。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明一实施例的图像超分辨率重构方法的流程示意图；

图2是对边缘像素帧进行扩大的示意图；

图3是包括五个待补偿的插值像素的像素块插值示意图；

图4是像素块的四个顶点都是边缘像素时的第一种情况的像素补偿示意图；

图5是像素块的四个顶点都是边缘像素时的第二种情况的像素补偿示意图；

图6是像素块的四个顶点都是边缘像素时的第三种情况的像素补偿示意图；

图7是像素块的三个顶点是边缘像素时的像素补偿示意图；

图8是像素块的两个顶点是边缘像素时的像素补偿示意图；

图9是以方向45°时规则互斥的示意图；

图10是根据本发明实施例的图像超分辨率重构系统11的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

为了消除图像锯齿并且不使图像边缘变得模糊，即保留图像清晰的轮廓，本发明提出一种方法，使得输出画面的锯齿状现象明显降低。该方法计算简单、运行速度快并可以有效降低成本。

下文是以从FHD分辨率到4K2K分辨率的放大转换为例来说明本发明的方法，所谓“FHD”是FullHD（Full High Definition）的缩写，其分辨率为1920×1080，“4K2K”的分辨率是3840×2160，是普通FHD宽高的各两倍，面积的四倍。容易理解，其仅是一个示例，本领域技术人员可以根据实际需求来利用本发明方法，任何其它的应用，皆为本发明所涵盖的范围。此外，图示仅以说明为目的，并非依照原尺寸作图。

应注意地是，在本申请中所提到的方向用语例如：上、下、左、右、左上仅是参考 附加图式的方向。因此，所使用的方向用语是用来说明并非用来限制申请的保护范围。

图1是根据本发明一实施例的图像超分辨率重构方法的流程示意图。下面参考图1，详细说明本方法的各个步骤。

步骤S110，对待处理的低分辨率图像进行边缘检测，得到边缘像素帧。

具体地，采用索贝尔算子（Sobel遮盖算子）对待处理的FHD图像从四个不同方向的边缘进行检测。

从硬体实现的复杂性和系统成本上考量，本实施例优选地从0°、45°、90°、135°四个方向进行侦测，侦测算子的结构所下所示。

$\mathrm{Sobel}\_h=\left\{\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right\}---\left(a\right)$ $\mathrm{Sobel}\_\mathrm{dl}=\left\{\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right\}---\left(b\right)$

$\mathrm{Sobel}\_v=\left\{\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right\}---\left(c\right)$ $\mathrm{Sobel}\_\mathrm{dr}=\left\{\begin{array}{ccc}2& 1& 0\\ 1& 0& -1\\ 0& -1& -2\end{array}\right\}---\left(d\right)$

上式中，式（a）是水平方向的算子，式（b）是45°方向的算子，式（c）是垂直方向的算子，式（d）是135°方向的算子。

以3x3矩阵中心为侦测对象，将遮盖算子分别与像素亮度值相乘后相加，之后比较哪个方向的值最大，最后通过设定一阈值与该最大值相比较，若该值大于阈值则为边缘像素，否则为伪边缘像素。

步骤S120，保留检测出的边缘像素信息不变，将边缘像素帧插值放大，放大后的图像在水平方向和垂直方向均是原边缘像素帧的2倍。

如图2所示，其为放大过程的示意图。右边的大图为放大后的图片，带有问号的像素为插入的插值像素（也可称为未知像素），所插像素先用0灰阶代替。

该步骤为本申请一中心思想，直接将边缘像素帧进行2x2扩大，其核心为保留边缘像素信息不变，通过在后面插值时判断边缘类型进行补偿来解决锯齿问题，而非将边缘像素平滑化，故边缘轮廓的清晰度可以得到保证。

步骤S130，根据不同的像素边缘，对所插入的插值像素进行插值补偿以得到高分辨率图像。

具体地，以五个待补偿的插值像素中位于像素块中间位置的中心插值像素为基准， 按照设定的四个方向搜索与其 邻近的四个像素中所包含的边缘像素的信息，之后按照相应规则对五个插值像素进行插值补偿，其中，规则为根据这四个像素中所包含的边缘像素的个数，以及边缘方向和/或亮度信息所设定的规则。

对前面所插0灰阶像素（插值像素）进行补偿。为了不降低边缘像素信息的对比度，发明人对插值规则进行了最优化。

如图3所示，以中心点的问号为基准进行插值，上下左右四个点也会同时被插值补偿。需要注意的是，插值时必须考虑四个顶角——原始像素的信息，四个顶角按照是否为边缘像素优化成以下几种情况，情况不同，优化的插值规则也会不同。

（1）四个顶点都是边缘像素，根据边缘亮度不同可分为三种不同情况

第一情况规则：若这四个像素均为边缘像素，边缘方向为对角方向，且处于边缘方向的两个像素和另一像素彼此之间的亮度接近（亮度差值小于设定阈值），则通过以下步骤进行插值补偿：将这三个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将除了这三个像素以外的像素的亮度值赋值给与之相邻的两个插值像素；将处于边缘方向的两个像素中每个像素和另一像素的亮度平均值赋值给处于二者之间的插值像素。

图4是像素块的四个顶点都是边缘像素时的第一中情况的像素补偿示意图。请参考图4，双向箭头为边缘方向，对带问号的五个插值像素进行插值补偿。由于边缘方向为对角方向的情况有四种，分别如（a）、（b）、（c）、（d）四个区域所示，以左上角（a）区域为例，其余类同。当①②③三顶点亮度接近(阈值取100来界定)时，那么上问号像素的亮度值取①②亮度的平均值；左问号像素的亮度值取①③亮度的平均值；中问号像素的亮度值取①②③亮度的平均值；而右问号像素和下问号像素的亮度值均等于④的亮度值。以上规则可以保证沿着边缘方向两边的颜色色域保持一致，以此来增强图像边缘处的对比度，使轮廓更加鲜明。

第二情况规则：若这四个像素均为边缘像素，每行中两个像素的亮度接近（差值小于设定阈值）且上下两行的亮度差异大（亮度平均值的差值大于设定阈值），则通过以下步骤进行插值补偿：将每行两个像素的亮度平均值赋值给所在行的插值像素；将下行的两个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将下行的两个像素中每个像素的亮度值赋值给该像素所在列的插值像素。

或者是，若这四个像素均为边缘像素，每列中两个像素的亮度接近且左右两列的亮 度差异大，则通过以下步骤进行插值补偿：将每列两个像素的亮度平均值赋值给所在列的插值像素；将左列的两个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将左列的两个像素中每个像素的亮度值赋值给该像素所在行的插值像素。

具体地，如图5所示，分为两种情况，分别如（a）和（b）区域所示，以左边（a）区域为例，右边（b）区域类同。当①②亮度接近，③④亮度接近并且上下亮度差异较大时(阈值取100来界定)，那么上问号像素的亮度值取①②亮度的平均值；下问号像素的亮度值取③④亮度的平均值；中问号像素的亮度值取③④亮度的平均值；左问号像素的亮度值等于③亮度值；右问号像素的亮度值等于④亮度值。以上规则可保证以中间线为界限，上下颜色色域保持一致。

第三情况规则：若这四个像素均为边缘像素，且这四个像素的亮度相互之间接近或不接近（差值小于设定阈值或者差值大于设定阈值）时，则通过以下步骤进行插值补偿：将每列两个像素的亮度平均值赋值给该列的插值像素；将每行两个像素的亮度平均值赋值给该行的插值像素；将这四个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素。

具体地，如图6所示，分为如（a）和（b）区域所示亮度接近和不接近的情况，以左像素块（a）区域为例，当①②③④亮度接近时(阈值取100来界定)，上、下、左、右问号像素的亮度值分别取上下或者左右原像素亮度的平均值；中问号像素的亮度值取①②③④亮度的平均值。如图6右像素块（b）区域所示，当①②③④亮度都不接近时(阈值取100来界定)，规则类同。

（2）三个顶点是边缘像素，另一个不是边缘像素

规则说明：若这四个像素中边缘像素的个数为三个，且边缘方向为对角方向，则通过以下步骤进行插值补偿：将这三个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将除了这三个像素以外的非边缘像素的亮度值赋值给与之相邻的两个插值像素；将处于边缘方向的两个边缘像素中每个像素和除这两个边缘像素外的另一边缘像素的亮度平均值赋值给处于二者之间的插值像素。

具体地，如图7所示的示意图，由于边缘方向为对角方向的情况有四种，分别如（a）、（b）、（c）、（d）四个区域所示，以左上角（a）区域为例，其余类同。上问号像素的亮度值取①②亮度的平均值；左问号像素的亮度值取①③亮度的平均值；中问号像素的亮度值取①②③亮度的平均值；而下、右问号像素的亮度值取右下角原像素的亮度值。 原则是以边缘方向为分界线来保证两边颜色色域一致。

（3）两顶点为边缘像素，另两个不是边缘像素

规则说明：若这四个像素中边缘像素的个数为两个，且边缘方向为对角方向，则通过以下步骤进行插值补偿：将这两个边缘像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将另外两个非边缘像素中每个像素的亮度值赋值给与之相邻的插值像素。

或者是，若这四个像素中边缘像素的个数为两个，且边缘方向为列方向，则通过以下步骤进行插值补偿：将这两个边缘像素的亮度平均值赋值给位于这两个像素所在列的插值像素；将另外两个非边缘像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将另外两个非边缘像素中每个像素的亮度值赋值给与之相邻的插值像素。

具体地，如图8所示，边缘方向为对角方向的分为四种情况，分别如（a）、（b）、（c）、（d）四个区域所示，边缘方向为列方向的分为两种情况，分别如（e）和（f）所示。以左上角（a）区域为例，其余类同。中问号像素的亮度值取②③亮度的平均值；而上、左问号像素的亮度值等于左上角原像素的亮度值；下、右问号像素的亮度值等于右下角原像素的亮度值。其目的为保持边缘一致性，并使边缘处对比度提高。

虽然以上为定义的最优化规则，但当实际插值补偿时，当前插值规则会与前一点规则或上一点规则发生互斥现象。为了尽可能的对各个方向进行覆盖，需要选取设定方向进行规则互斥性分析。选取的优选方向包括0°、22.5°、45°、67.5°、90°、112.5°、135°和157.5°。

那么，步骤S130进一步包括以下步骤：对于每次插值补偿后的五个插值像素进行记录，选取设定方向进行互斥性分析，判断当前插值补偿后的五个插值像素的赋值与之前的插值补偿后的赋值是否存在互斥，并对出现互斥的插值像素进行处理。

具体地，在设定方向选取在45°至90°范围时，若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的上方，则该插值像素的赋值为当前插值补偿后的值；若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的左方，则该插值像素的赋值为之前插值补偿后的值。

在另一个实施例中，在设定方向选取在90°至180°范围时，若当前插值补偿后的五个 插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的上方，则该插值像素的赋值为之前插值补偿后的值；若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的左方，则该插值像素的赋值为当前插值补偿后的值。

另外，在设定方向选取在45°至180°范围之外时，若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿，且之前进行插值补偿的像素块位于该插值像素的上方或左方，则该插值像素的赋值为之前插值补偿后的值。

下面对一个示例进行说明以进一步说明互斥分析。

下面以45°方向为例，如图9所示。

对于图中的互斥1，可以看出，产生原因是当以左边四顶点中心为插值中心点时，右问号像素的亮度值等于右下角像素的亮度值，而以右边四顶点中心为插值中心点时，左问号像素的亮度值等于左上角像素的亮度值，但这两次插值补偿是对同一点进行的，故规则产生了互斥。为避免此冲突，对规则进行进一步优化，方法是每进行一次五问号像素插值，就将该过程记录保存下来，供后续插值时进行规则比对，比对时若发现在某一点插值产生了互斥，则保持前一规则不变。此规则优化可保证边缘轮廓的一致性。对于互斥2，属于上下规则产生了互斥，规则优化类同。

在设定方向为45°～90°，当上下规则互斥时，保持后一规则不变；

在设定方向为90°～180°，当左右规则互斥时，保持后一规则不变；

在设定方向为其余情况，当上下或者左右规则发生互斥时，保持前一规则不变。

另外除了采用上述规则进行插值补偿的插值像素外，还剩余一些未补偿的像素，优选采用双三次插值方法对剩余的插值像素进行插值补偿。

综上，本发明方法通过先借由4组Sobel算子对接收的图像数据进行4个方向的边缘侦测，并通过设置阈值来摒弃误判出来的边缘像素，从而保证边缘信息的正确性；接着将边缘图像帧画面放大，所插像素部分先用0灰阶进行替代，而边缘像素信息直接保留，该过程能保证边缘轮廓的清晰度与完整性，增强画面对比度而不牺牲影像品质；然后运用优化后的规则对前面所补的0灰阶像素进行插值补偿，其过程综合考虑边缘像素与周围像素影响。

本发明还提供了一图像超分辨率重构系统11，具体如图10所示。

该图像超分辨率重构系统11包括：边缘检测单元100、与边缘检测单元100连接的帧放大单元200，以及与帧放大单元200连接的像素补偿单元300。

其中，边缘检测单元100，其配置以对待处理的低分辨率图像进行边缘检测，得到边缘像素帧。具体地，采用索贝尔算子对待处理的低分辨率图像从四个不同方向的边缘进行检测。

帧放大单元200，其配置以保留检测出的边缘像素信息不变，将所述边缘像素帧插值放大，放大后的图像在水平方向和垂直方向均是原边缘像素帧的2倍。

像素补偿单元300，其配置以根据不同的像素边缘，对所插入的插值像素进行插值补偿以得到高分辨率图像。

具体地，像素补偿单元300进一步执行：以五个待补偿的插值像素中位于像素块中间位置的中心插值像素为基准，按照设定的四个方向搜索与其 邻近的四个像素中所包含的边缘像素的信息，之后按照相应规则对五个插值像素进行插值补偿，其中，规则为根据这四个像素中所包含的边缘像素的个数，以及边缘方向和/或亮度信息所设定的规则。

该像素补偿单元300针对不同的情况，执行不同的插值补偿操作。

具体地，若这四个像素均为边缘像素，边缘方向为对角方向，且处于边缘方向的两个像素和另一像素彼此之间的亮度接近，则该像素补偿单元300执行以下步骤进行插值补偿：

将这三个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将除了这三个像素以外的像素的亮度值赋值给与之相邻的两个插值像素；将处于边缘方向的两个像素中每个像素和所述另一像素的亮度平均值赋值给处于二者之间的插值像素。

若这四个像素均为边缘像素，每行中两个像素的亮度接近且上下两行的亮度差异大，则通过以下步骤进行插值补偿：

将每行两个像素的亮度平均值赋值给所在行的插值像素；将下行的两个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将下行的两个像素中每个像素的亮度值赋值给该像素所在列的插值像素。

若这四个像素均为边缘像素，每列中两个像素的亮度接近且左右两列的亮度差异大，则通过以下步骤进行插值补偿：

将每列两个像素的亮度平均值赋值给所在列的插值像素；将左列的两个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将左列的两个像素中每个像素的亮度值赋值给该像素所在行的插值像素。

若这四个像素均为边缘像素，且这四个像素的亮度相互之间接近或不接近时，则通过以下步骤进行插值补偿：

将每列两个像素的亮度平均值赋值给该列的插值像素；将每行两个像素的亮度平均值赋值给该行的插值像素；将这四个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素。

若这四个像素中边缘像素的个数为三个，且边缘方向为对角方向，则通过以下步骤进行插值补偿：

将这三个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将除了这三个像素以外的非边缘像素的亮度值赋值给与之相邻的两个插值像素；将处于边缘方向的两个边缘像素中每个像素和除这两个边缘像素外的另一边缘像素的亮度平均值赋值给处于二者之间的插值像素。

若这四个像素中边缘像素的个数为两个，且边缘方向为对角方向，则通过以下步骤进行插值补偿：

将这两个边缘像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将另外两个非边缘像素中每个像素的亮度值赋值给与之相邻的插值像素。

若这四个像素中边缘像素的个数为两个，且边缘方向为列方向，则通过以下步骤进行插值补偿：

将这两个边缘像素的亮度平均值赋值给位于这两个像素所在列的插值像素；将另外两个非边缘像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；将另外两个非边缘像素中每个像素的亮度值赋值给与之相邻的插值像素。

另外，该像素补偿单元300中还执行以下操作：对于每次插值补偿后的五个插值像素进行记录；选取设定方向进行互斥性分析，判断当前插值补偿后的五个插值像素的赋值与之前的插值补偿后的赋值是否存在互斥，并对出现互斥的插值像素进行处理。

在设定方向选取在45°至90°范围时，若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像 素的上方，则该插值像素的赋值为当前插值补偿后的值；若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的左方，则该插值像素的赋值为之前插值补偿后的值。

在设定方向选取在90°至180°范围时，若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的上方，则该插值像素的赋值为之前插值补偿后的值；若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的左方，则该插值像素的赋值为当前插值补偿后的值。

在设定方向选取在45°至180°范围之外时，若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿，且之前进行插值补偿的像素块位于该插值像素的上方或左方，则该插值像素的赋值为之前插值补偿后的值。

另外，该像素补偿单元300中还执行以下操作：采用双三次插值方法对剩余的插值像素进行插值补偿。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (15)

1.一种图像超分辨率重构方法，包括：

边缘检测步骤，对待处理的低分辨率图像进行边缘检测，得到边缘像素帧；

帧放大步骤，保留检测出的边缘像素信息不变，将所述边缘像素帧插值放大，放大后的图像在水平方向和垂直方向均是原边缘像素帧的2倍；

像素补偿步骤，根据不同的像素边缘，对所插入的插值像素进行插值补偿以得到高分辨率图像，在所述像素补偿步骤中，进一步包括：

以五个待补偿的插值像素中位于像素块中间位置的中心插值像素为基准，按照设定的四个方向搜索与其邻近的四个像素中所包含的边缘像素的信息，之后按照相应规则对五个插值像素进行插值补偿，其中，所述规则为根据这四个像素中所包含的边缘像素的个数，以及边缘方向和/或亮度信息所设定的规则，

在所述像素补偿步骤中还包括：

对于每次插值补偿后的五个插值像素进行记录；

选取设定方向进行互斥性分析，判断当前插值补偿后的五个插值像素的赋值与之前的插值补偿后的赋值是否存在互斥，并对出现互斥的插值像素进行处理。

2.根据权利要求1所述的图像超分辨率重构方法，其特征在于，在所述边缘检测步骤中，进一步采用索贝尔算子对待处理的低分辨率图像从四个不同方向的边缘进行检测。

3.根据权利要求1所述的图像超分辨率重构方法，其特征在于，

所述规则包括：若这四个像素均为边缘像素，边缘方向为对角方向，且处于边缘方向的两个像素和另一像素彼此之间的亮度差值小于设定阈值，则通过以下步骤进行插值补偿：

将这三个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；

将除了这三个像素以外的像素的亮度值赋值给与之相邻的两个插值像素；

将处于边缘方向的两个像素中每个像素和所述另一像素的亮度平均值赋值给处于二者之间的插值像素。

4.根据权利要求1所述的图像超分辨率重构方法，其特征在于，

所述规则包括：若这四个像素均为边缘像素，每行中两个像素的亮度差值小于设定阈值且上下两行的亮度平均值的差值大于设定阈值，则通过以下步骤进行插值补偿：

将每行两个像素的亮度平均值赋值给所在行的插值像素；

将下行的两个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；

将下行的两个像素中每个像素的亮度值赋值给该像素所在列的插值像素。

5.根据权利要求1所述的图像超分辨率重构方法，其特征在于，

所述规则包括：若这四个像素均为边缘像素，每列中两个像素的亮度差值小于设定阈值且左右两列的亮度平均值的差值大于设定阈值，则通过以下步骤进行插值补偿：

将每列两个像素的亮度平均值赋值给所在列的插值像素；

将左列的两个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；

将左列的两个像素中每个像素的亮度值赋值给该像素所在行的插值像素。

6.根据权利要求1所述的图像超分辨率重构方法，其特征在于，

所述规则包括：若这四个像素均为边缘像素，且这四个像素的亮度相互之间差值小于设定阈值或者差值大于设定阈值时，则通过以下步骤进行插值补偿：

将每列两个像素的亮度平均值赋值给该列的插值像素；

将每行两个像素的亮度平均值赋值给该行的插值像素；

将这四个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素。

7.根据权利要求1所述的图像超分辨率重构方法，其特征在于，

所述规则包括：若这四个像素中边缘像素的个数为三个，且边缘方向为对角方向，则通过以下步骤进行插值补偿：

将这三个像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；

将除了这三个像素以外的非边缘像素的亮度值赋值给与之相邻的两个插值像素；

将处于边缘方向的两个边缘像素中每个像素和除这两个边缘像素外的另一边缘像素的亮度平均值赋值给处于二者之间的插值像素。

8.根据权利要求1所述的图像超分辨率重构方法，其特征在于，

所述规则包括：若这四个像素中边缘像素的个数为两个，且边缘方向为对角方向，则通过以下步骤进行插值补偿：

将这两个边缘像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；

将另外两个非边缘像素中每个像素的亮度值赋值给与之相邻的插值像素。

9.根据权利要求1所述的图像超分辨率重构方法，其特征在于，

所述规则包括：若这四个像素中边缘像素的个数为两个，且边缘方向为列方向，则通过以下步骤进行插值补偿：

将这两个边缘像素的亮度平均值赋值给位于这两个像素所在列的插值像素；

将另外两个非边缘像素的亮度平均值赋值给位于像素块中间位置的中心插值像素；

将另外两个非边缘像素中每个像素的亮度值赋值给与之相邻的插值像素。

10.根据权利要求1所述的图像超分辨率重构方法，其特征在于，

在设定方向选取在45°至90°范围时，

若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的上方，则该插值像素的赋值为当前插值补偿后的值；

若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的左方，则该插值像素的赋值为之前插值补偿后的值。

11.根据权利要求1所述的图像超分辨率重构方法，其特征在于，

在设定方向选取在90°至180°范围时，

若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的上方，则该插值像素的赋值为之前插值补偿后的值；

若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿的插值像素，且之前进行插值补偿的像素块位于该插值像素的左方，则该插值像素的赋值为当前插值补偿后的值。

12.根据权利要求1所述的图像超分辨率重构方法，其特征在于，

在设定方向选取在45°至180°范围之外时，

若当前插值补偿后的五个插值像素中存在一个赋值还来自于之前的插值补偿，且之前进行插值补偿的像素块位于该插值像素的上方或左方，则该插值像素的赋值为之前插值补偿后的值。

13.根据权利要求1所述的图像超分辨率重构方法，其特征在于，还包括：

采用双三次插值方法对剩余的插值像素进行插值补偿。

14.一种图像超分辨率重构系统，包括：

边缘检测单元，其配置以对待处理的低分辨率图像进行边缘检测，得到边缘像素帧；

帧放大单元，其配置以保留检测出的边缘像素信息不变，将所述边缘像素帧插值放 大，放大后的图像在水平方向和垂直方向均是原边缘像素帧的2倍；

像素补偿单元，其配置以根据不同的像素边缘，对所插入的插值像素进行插值补偿以得到高分辨率图像，在所述像素补偿单元中进一步执行：

以五个待补偿的插值像素中位于像素块中间位置的中心插值像素为基准，按照设定的四个方向搜索与其邻近的四个像素中所包含的边缘像素的信息，之后按照相应规则对五个插值像素进行插值补偿，其中，所述规则为根据这四个像素中所包含的边缘像素的个数，以及边缘方向和/或亮度信息所设定的规则，

所述像素补偿单元还进一步执行：对于每次插值补偿后的五个插值像素进行记录；选取设定方向进行互斥性分析，判断当前插值补偿后的五个插值像素的赋值与之前的插值补偿后的赋值是否存在互斥，并对出现互斥的插值像素进行处理。

15.根据权利要求14所述的图像超分辨率重构系统，其特征在于，所述边缘检测单元进一步采用索贝尔算子对待处理的低分辨率图像从四个不同方向的边缘进行检测。