CN104517273B - 一种图像超分辨率处理方法及装置 - Google Patents

Abstract

本发明公开了一种图像超分辨率处理方法及装置，包括：针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域；分别将每个图像块对应的扩展区域作为当前扩展区域，基于当前扩展区域和每个扩展区域的亮度特征信息，从该区域集合中选择满足预设亮度相似条件的扩展区域，作为当前扩展区域的相似扩展区域；基于当前扩展区域和相似扩展区域包括的像素点的亮度值，针对当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像；按照待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子图像进行组合，得到待处理图像的超分辨率图像。

Description

一种图像超分辨率处理方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种图像超分辨处理方法及装置。

背景技术

在图像应用领域，高分辨率的图像能够提供更多的细节信息，这些细节信息在实际应用中具有重要的作用，但实际中可能由于摄像设备拍摄到的原始图像在采集过程中受到模糊、变形、聚焦不准和噪声等因素的影响，使得最终得到的图像质量下降，分辨率低，不能提供准确的特征信息，因此需要将该低分辨率图像经过超分辨率处理得到高分辨率图像，这种处理方法也可以称作图像超分辨率技术。

目前，现有的图像超分辨率技术可以采用基于重建的方法，其中一种典型的基于重建的方法为：分别以图像的每个像素点为中心，确定该像素点与周围的像素点形成一个M*M的块，并分别针对每个块，在该图像的除该块之外的所有块中搜索与该块相似的块，相似的块可以为多个，然后根据搜索到的多个相似的块对该块进行重建，得到与该像素点对应的一个高分辨率的块，并在得到与该图像的每个像素点对应的高分辨率的块之后，按照像素点之间的位置关系，将这些高分辨率的块组合为一个高分辨率图像，作为该图像的高分辨率图像。

上述现有的图像超分辨率方法，由于在每次进行相似块的搜索时，需要从以图像的每个像素点为中心形成的块中进行搜索，并且针对图像中每个像素点形成的块都要进行相似块的搜索以及重建高分辨率的处理，搜索块的数量大，耗时，因此降低了图像超分辨率处理的处理效率。

发明内容

本发明实施例提供一种图像超分辨率方法及装置，用以解决现有技术中存在的图像超分辨率处理效率低的问题。

本发明实施例提供一种图像超分辨率方法，包括：

针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域；

分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A和步骤B：

步骤A：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的区域集合中每个扩展区域的亮度特征信息，从所述区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的相似扩展区域，其中，所述区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域；

步骤B：基于所述当前扩展区域和所述相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像；

按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子图像进行组合，得到所述待处理图像的超分辨率图像。

采用本发明实施例提供的上述方法，由于是以待处理图像中大小相同的图像块作为超分辨率处理的基本单位，不需要对待处理图像中每一个像素点对应的扩展区域分别进行处理，减少了区域集合中扩展区域的数量，进而减少了运算量，因此提高了超分辨率的处理效率。

进一步的，所述区域集合还包括通过如下步骤确定的扩展区域：

对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像；

针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区域；

将所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为区域集合中的扩展区域。

这样，采用上述确定区域集合中的扩展区域的方法后，可以在该区域集合中的扩展区域中选择与该当前扩展区域满足预设亮度相似条件的扩展区域。

进一步的，所述步骤A，具体包括如下步骤A1和步骤A2：

步骤A1：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第一区域集合中每个扩展区域的亮度特征信息，从所述第一区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第一相似扩展区域，其中，所述第一区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域；

步骤A2：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第二区域集合中每个扩展区域的亮度特征信息，从所述第二区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第二相似扩展区域，其中，确定所述第二区域集合中的扩展区域具体包括：对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像；针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区域；将除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域，和所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为第二区域集合中的扩展区域；

所述步骤B，具体包括如下步骤B1和步骤B2：

步骤B1：基于所述当前扩展区域和所述第一相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第一超分辨率子图像；

步骤B2：基于所述当前扩展区域和所述第二相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第二超分辨率子图像；

按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子图像进行组合，得到所述待处理图像的超分辨率图像，具体包括：

按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第一超分辨率子图像进行组合，得到所述待处理图像的第一超分辨率图像；

按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第二超分辨率子图像进行组合，得到所述待处理图像的第二超分辨率图像；

将所述第一超分辨率图像和所述第二超分辨率图像进行叠加，得到所述待处理图像的超分辨率图像。

进一步的，上述方法，还包括：

在步骤A之前，确定所述当前扩展区域包括的像素点的亮度值方差；

确定所述当前扩展区域的所述亮度值方差大于预设方差阈值。

进一步的，上述方法，还包括：

当确定所述当前扩展区域的所述亮度值方差不大于所述预设方差阈值时，采用亮度值插值方式，对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像。

这样，可以根据当前扩展区域包括的像素点的亮度值方差是否大于预设方差阈值，对当前扩展区域对应的图像块采用不同的方法进行超分辨率处理。

进一步的，上述方法，在得到所述待处理图像的超分辨率图像之后，还包括：

步骤a：对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；

步骤b：基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的亮度误差值；

步骤c：将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；

步骤d：根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修正，得到修正后的超分辨率图像；

步骤e：当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤a，当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像的最终超分辨率图像。

这样，可以进一步对待处理图像的超分辨率图像进行优化处理，使得待处理图像的超分辨率图像更加具有鲁棒性，减少图像超分辨率处理过程中异常误差对结果的影响。

进一步的，上述方法，在得到所述待处理图像的超分辨率图像之后，还包括：

步骤f：对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；

步骤g：基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值；

步骤h：对所述模拟低分辨率图像包括的像素点的亮度误差值进行中值滤波，得到中值滤波后的模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的亮度误差值；

步骤i：将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；

步骤j：根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修正，得到修正后的超分辨率图像；

步骤k：当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤f，当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像的最终超分辨率图像。

这样，可以进一步对待处理图像的超分辨率图像进行优化处理，使得待处理图像的超分辨率图像更加具有鲁棒性，减少图像超分辨率处理过程中异常误差对结果的影响。

本发明实施例还提供一种图像超分辨率处理装置，包括：

扩展区域确定单元，用于针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域；

子图像确定单元，用于分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A和步骤B：

步骤A：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的区域集合中每个扩展区域的亮度特征信息，从所述区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的相似扩展区域，其中，所述区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域；

步骤B：基于所述当前扩展区域和所述相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像；

超分辨率图像确定单元，用于按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子图像进行组合，得到所述待处理图像的超分辨率图像。

采用本发明实施例提供的上述装置，由于是以待处理图像中大小相同的图像块作为超分辨率处理的基本单位，不需要对待处理图像中每一个像素点对应的扩展区域分别进行处理，减少了区域集合中扩展区域的数量，进而减少了运算量，因此提高了超分辨率的处理效率。

进一步的，所述子图像确定单元，还用于采用如下步骤确定所述区域集合中的扩展区域：

对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像；针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区域；将所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为区域集合中的扩展区域。

这样，采用上述确定区域集合中的扩展区域的方法后，可以在该区域集合中的扩展区域中选择与该当前扩展区域满足预设亮度相似条件的扩展区域。

进一步的，所述子图像确定单元，具体用于分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A1、步骤A2、步骤B1和步骤B2：

步骤A1：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第一区域集合中每个扩展区域的亮度特征信息，从所述第一区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第一相似扩展区域，其中，所述第一区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域；

步骤A2：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第二区域集合中每个扩展区域的亮度特征信息，从所述第二区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第二相似扩展区域，其中，确定所述第二区域集合中的扩展区域具体包括：对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像；针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区域；将除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域，和所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为第二区域集合中的扩展区域；

步骤B1：基于所述当前扩展区域和所述第一相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第一超分辨率子图像；

步骤B2：基于所述当前扩展区域和所述第二相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第二超分辨率子图像；

所述超分辨率图像确定单元，具体用于按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第一超分辨率子图像进行组合，得到所述待处理图像的第一超分辨率图像；按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第二超分辨率子图像进行组合，得到所述待处理图像的第二超分辨率图像；将所述第一超分辨率图像和所述第二超分辨率图像进行叠加，得到所述待处理图像的超分辨率图像。

进一步的，所述子图像确定单元，还用于在步骤A之前，确定所述当前扩展区域包括的像素点的亮度值方差；并确定所述当前扩展区域的所述亮度值方差大于预设方差阈值。

进一步的，所述子图像确定单元，还用于当确定所述当前扩展区域的所述亮度值方差不大于所述预设方差阈值时，采用亮度值插值方式，对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像。

这样，可以根据当前扩展区域包括的像素点的亮度值方差是否大于预设方差阈值，对当前扩展区域对应的图像块采用不同的方法进行超分辨率处理。

进一步的，上述装置，还包括：

修正单元，用于在得到所述待处理图像的超分辨率图像之后，执行如下步骤a-e：

步骤a：对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；

步骤b：基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的亮度误差值；

步骤c：将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；

步骤d：根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修正，得到修正后的超分辨率图像；

步骤e：当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤a，当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像的最终超分辨率图像。

这样，可以进一步对待处理图像的超分辨率图像进行优化处理，使得待处理图像的超分辨率图像更加具有鲁棒性，减少图像超分辨率处理过程中异常误差对结果的影响。

进一步的，上述装置，还包括：

修正单元，用于在得到所述待处理图像的超分辨率图像之后，执行如下步骤f-k：

步骤f：对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；

步骤g：基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值；

步骤h：对所述模拟低分辨率图像包括的像素点的亮度误差值进行中值滤波，得到中值滤波后的模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的亮度误差值；

步骤i：将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；

步骤j：根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修正，得到修正后的超分辨率图像；

步骤k：当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤f，当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像的最终超分辨率图像。

这样，可以进一步对待处理图像的超分辨率图像进行优化处理，使得待处理图像的超分辨率图像更加具有鲁棒性，减少图像超分辨率处理过程中异常误差对结果的影响。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的图像超分辨率处理方法的流程图；

图2为本发明实施例提供的确定区域集合中的扩展区域的流程图；

图3为本发明实施例提供的对当前扩展区域对应的图像块进行分类处理的流程图；

图4为本发明实施例提供的对当前扩展区域执行步骤A的流程图；

图5为本发明实施例提供的对当前扩展区域执行步骤B的流程图；

图6为本发明实施例1中提供的图像超分辨率方法的流程图；

图7为本发明实施例2中提供的对超分辨率图像进行优化处理的第一种方式的流程图；

图8为本发明实施例2中提供的对超分辨率图像进行优化处理的第二种方式的流程图；

图9为本发明实施例3中提供的图像超分辨率装置的结构示意图。

具体实施方式

为了给出提高图像超分辨率处理效率的实现方案，本发明实施例提供了一种图像超分辨率方法及装置，以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明实施例提供一种图像超分辨率方法，如图1所示，包括：

步骤101、针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域。

步骤102、分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A和步骤B：

步骤A：基于当前扩展区域的亮度特征信息，和与该当前扩展区域对应的区域集合中每个扩展区域的亮度特征信息，从该区域集合中选择与该当前扩展区域满足预设亮度相似条件的扩展区域，作为该当前扩展区域的相似扩展区域，其中，该区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域；

步骤B：基于该当前扩展区域和该相似扩展区域包括的像素点的亮度值，针对该当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像。

步骤103、按照该待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子图像进行组合，得到该待处理图像的超分辨率图像。

本发明实施例提供的上述图1所示方法中，组成待处理图像的图像块的大小可以根据实际需要和经验进行灵活设置，例如，图像块可以设置为由3*3个像素点组成的块。其中，与该当前扩展区域对应的区域集合中的扩展区域可以为除当前扩展区域之外的该待处理图像的其余图像块对应的扩展区域，还可以包括通过如下图2所示的方式确定该区域集合中的扩展区域：

图2为本发明实施例提供的确定区域集合中的扩展区域的流程图，具体包括如下处理步骤：

步骤201、针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域。

步骤202、对该待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像。

步骤203、针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的每个图像块对应的扩展区域。

上述步骤202-203与步骤201之间没有严格的先后顺序，可以先执行步骤202-203，再执行步骤201。

步骤204、将除该当前扩展区域之外的该待处理图像的其余图像块对应的扩展区域，和该预设数量个降采样图像的每个图像块对应的扩展区域，确定为区域集合中的扩展区域。

较佳的，在对当前扩展区域对应的图像块进行超分辨率处理时，还可以对当前扩展区域对应的图像块进行分类处理，具体可以采用如下方式：

图3为本发明实施例提供的对当前扩展区域对应的图像块进行分类处理的流程图，具体包括如下处理步骤：

步骤301、确定当前扩展区域包括的像素点的亮度值方差。

本步骤中，当前扩展区域包括的像素点的亮度值方差可以通过如下公式确定：

其中，σ为当前扩展区域包括的像素点的亮度值方差，Y(i)为当前扩展区域的第i个像素点的亮度值，N为当前扩展区域包括的像素点数量。

步骤302、确定该当前扩展区域的亮度值方差σ是否大于预设方差阈值σ₀，如果σ大于σ₀，进入步骤303，如果σ不大于σ₀，进入步骤305。

步骤303、当σ大于σ₀时，确定该当前扩展区域对应的图像块为待处理图像的非平滑图像块。

步骤304、对该非平滑图像块采用上述实施例步骤A和步骤B提供的方法进行超分辨率处理，得到当前扩展区域对应的该非平滑图像块的超分辨率子图像。

步骤305、当σ不大于σ₀时，确定该当前扩展区域对应的图像块为待处理图像的平滑图像块。

步骤306、对该平滑图像块采用亮度值插值的方式进行超分辨率处理，得到当前扩展区域对应的该平滑图像块的超分辨率子图像。

本步骤中所采用的亮度值插值的方式可以采用现有技术中的各种方式，在此不再赘述。

本发明实施例中，针对组成待处理图像的大小相同的每个图像块，确定了该图像块对应的扩展区域后，针对步骤102，分别将每个图像块对应的扩展区域作为当前扩展区域，执行步骤A和步骤B，其中步骤A具体可以采用如下方式实现：

图4为本发明实施例提供的对当前扩展区域执行步骤A的流程图，具体包括如下处理步骤：

步骤401、根据当前扩展区域的亮度特征信息携带的该当前扩展区域包括的像素点的亮度值，针对与该当前扩展区域对应的区域集合中的每一个扩展区域，确定该扩展区域包括的像素点的亮度值与该当前扩展区域对应位置的像素点的亮度值的方差，作为该扩展区域的方差。

其中，当前扩展区域的亮度特征信息还可以携带该当前扩展区域在该待处理图像中的位置信息。

步骤402、按照区域集合中扩展区域的方差从小到大的顺序，将区域集合中的扩展区域进行排序。

步骤403、从该排序后的扩展区域中选择与该当前扩展区域满足预设亮度相似条件的扩展区域，作为该当前扩展区域的相似扩展区域。

本步骤中，可以从该排序后的扩展区域中选择前预设数量个扩展区域作为该当前扩展区域的相似扩展区域，也可以将方差小于预设方差的扩展区域作为该当前扩展区域的相似扩展区域。

进一步的，对当前扩展区域执行步骤A之后，针对步骤B，具体可以采用如下方式实现：

图5为本发明实施例提供的对当前扩展区域执行步骤B的流程图，具体包括如下处理步骤：

步骤501、针对该当前扩展区域的每一个像素点，确定该像素点与该当前扩展区域的每一个相似区域相同位置的像素点的亮度平均值，作为该当前扩展区域和相似扩展区域的叠加扩展区域对应位置的像素点的亮度值。

在得到该叠加扩展区域包括的像素点的亮度值之后，即可以根据该叠加扩展区域包括的像素点的亮度值，确定该当前扩展区域对应的图像块的超分辨率子图像，具体可以采用如下两种方式，第一种方式详见步骤502，第二种方式详见步骤503：

步骤502：当该叠加扩展区域的分辨率大于该图像块的超分辨率子图像期望的分辨率时，将该叠加扩展区域内中间位置的与该图像块的超分辨率子图像的分辨率大小相同的图像块，作为该图像块的超分辨率子图像。

步骤503：将该叠加扩展区域进行边缘扩展，扩展成与该图像块的超分辨率子图像的分辨率大小相同的图像块，作为该图像块的超分辨率子图像。

其中，对该叠加扩展区域进行边缘扩展，可以将扩展的像素点的亮度值设为与最邻近的边缘像素点的亮度值相同。

下面结合附图，用具体实施例对本发明提供的方法及装置进行详细描述。

实施例1：

图6为本发明实施例1中提供的一种图像超分辨率方法的流程图，具体包括如下处理步骤：

步骤601、针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域。

分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤：

步骤602、基于当前扩展区域的亮度特征信息，和与该当前扩展区域对应的第一区域集合中每个扩展区域的亮度特征信息，从该第一区域集合中选择与该当前扩展区域满足预设亮度相似条件的扩展区域，作为该当前扩展区域的第一相似扩展区域。

其中，该当前扩展区域的第一相似扩展区域具体可以采用与上述实施例中步骤401-步骤403相同的方法确定，在此不再进行详细描述，该第一区域集合中的扩展区域为除该当前扩展区域之外的该待处理图像的其余图像块对应的扩展区域。

步骤603、基于该当前扩展区域和该当前扩展区域的第一相似扩展区域包括的像素点的亮度值，针对该当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第一超分辨率子图像。

本步骤中，该图像块的第一超分辨率子图像具体可以采用与上述实施例中步骤501-步骤503相同的方法确定，在此不再进行详细描述。

步骤604、基于当前扩展区域的亮度特征信息，和与该当前扩展区域对应的第二区域集合中每个扩展区域的亮度特征信息，从该第二区域集合中选择与该当前扩展区域满足预设亮度相似条件的扩展区域，作为该当前扩展区域的第二相似扩展区域。

其中，该当前扩展区域的第二相似扩展区域具体可以采用与上述实施例中步骤401-步骤403相同的方法确定，该第二区域集合中的扩展区域具体可以采用与上述本发明实施例图2提供的方法中步骤201-204相同的方法确定，在此不再进行详细描述。

步骤605、基于该当前扩展区域和该当前扩展区域的第二相似扩展区域包括的像素点的亮度值，针对该当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第二超分辨率子图像。

本步骤中，该图像块的第二超分辨率子图像具体可以采用与上述实施例中步骤501-步骤503相同的方法确定，在此不再进行详细描述。

步骤606、在对该待处理图像的每个图像块对应的扩展区域执行上述步骤602-603后，得到了与每一个图像块对应的该图像块的第一超分辨率子图像，按照该待处理图像包括的各图像块之间的位置关系，对各图像块对应的第一超分辨率子图像进行组合，得到该待处理图像的第一超分辨率图像。

上述步骤606与步骤604-605之间没有严格的先后顺序，可以先执行步骤606，再执行步骤604-605。

步骤607、在对该待处理图像的每个图像块对应的扩展区域执行上述步骤604-605后，得到了与每一个图像块对应的该图像块的第二超分辨率子图像，按照该待处理图像包括的各图像块之间的位置关系，对各图像块对应的第二超分辨率子图像进行组合，得到该待处理图像的第二超分辨率图像。

步骤608、将该第一超分辨率图像和该第二超分辨率图像进行叠加，得到该待处理图像的超分辨率图像。

本步骤中，该待处理图像的超分辨率图像可以通过如下公式确定：

F＝αf₁+(1-α)f₂；

其中，F为该待处理图像的超分辨率图像包括的像素点的亮度值组成的矩阵，f1为该待处理图像的第一超分辨率图像包括的像素点的亮度值组成的矩阵，f2为该待处理图像的第二超分辨率图像包括的像素点的亮度值组成的矩阵，α为调节比例系数，0<α<1，α可以根据实际经验和需要进行灵活设置。

通过本发明上述实施例1提供的方法，由于是以待处理图像中大小相同的图像块作为超分辨率处理的基本单位，不需要对待处理图像中每一个像素点对应的扩展区域分别进行处理，减少了区域集合中扩展区域的数量，进而减少了运算量，因此提高了超分辨率的处理效率。

进一步的，为了使得待处理图像的超分辨率图像更加具有鲁棒性，还可以对上述实施例1得到的待处理图像的超分辨图像进行优化处理，减少图像超分辨率处理过程中异常误差对结果的影响。

实施例2：

本发明实施例中，当得到待处理图像的超分辨率图像后，可以进一步对该超分辨率图像进行优化处理，具体可以采用如下两种方式，本发明实施例2中通过如下具体处理流程对该两种方式进行详细描述。

第一种方式，如图7所示，具体包括如下处理步骤：

步骤701、对待处理图像的当前超分辨率图像进行进行模糊降采样处理，得到与所述待处理图像分辨率相同的图像，作为该待处理图像的模拟低分辨率图像。

本步骤中，采用预设模型对该超分辨图像进行处理，得到该待处理图像的模拟低分辨率图像，采用如下公式确定该待处理图像的模拟低分辨率图像：

其中，X为该模拟低分辨率图像包括的像素点的亮度值组成的矩阵，F为该待处理图像的超分辨率图像包括的像素点的亮度值组成的矩阵，B为模糊核函数，↓表示降采样，s为采样系数。

步骤702、基于该模拟低分辨率图像包括的像素点的亮度值和该待处理图像包括的像素点的亮度值，采用如下公式确定该模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的亮度误差值：

E＝X-x；

其中，E为该模拟低分辨率图像包括的像素点的亮度误差值组成的矩阵，x为该待处理图像包括的像素点的亮度值组成的矩阵。

步骤703、将该模拟低分辨率图像的亮度误差值进行反投影处理，得到该当前超分辨率图像包括的像素点的亮度误差值，作为当前超分辨率图像的亮度误差值。

本步骤中，采用如下公式确定该当前超分辨率图像的亮度误差值：

其中，e为该当前超分辨率图像的亮度误差值组成的矩阵，h^BP为反投影算子矩阵，c为一个常数，h^BP和c可以根据实际需要灵活设置，k为反投影算子矩阵中的第k个元素值，M为反投影算子矩阵包括的元素数量。

步骤704、根据该当前超分辨率图像的亮度误差值，对该当前超分辨率图像进行修正，得到修正后的超分辨率图像。

本步骤中，采用如下公式确定该修正后的超分辨率图像：

f＝F+e；

其中，f为该修正后的超分辨率图像包括的像素点的亮度值组成的矩阵，F为该待处理图像的超分辨率图像包括的像素点的亮度值组成的矩阵，e为该当前超分辨率图像的亮度误差值组成的矩阵。

步骤705、确定该当前超分辨率图像的亮度误差值的平方和是否不小于预设误差阈值，如果是，进入步骤706，如果否，进入步骤707。

步骤706、当该当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将修正后的超分辨率图像作为该待处理图像新的当前超分辨率图像，并返回步骤701。

步骤707、当该当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像作为该待处理图像的最终超分辨率图像。

第二种方式，如图8所示，具体包括如下处理步骤：

步骤801、对待处理图像的当前超分辨率图像进行进行模糊降采样处理，得到与所述待处理图像分辨率相同的图像，作为该待处理图像的模拟低分辨率图像。

本步骤中，采用预设模型对该超分辨图像进行处理，得到该待处理图像的模拟低分辨率图像，采用如下公式确定该待处理图像的模拟低分辨率图像：

其中，X为该模拟低分辨率图像包括的像素点的亮度值组成的矩阵，F为该待处理图像的超分辨率图像包括的像素点的亮度值组成的矩阵，B为模糊核函数，↓表示降采样，s为采样系数。

步骤802、基于该模拟低分辨率图像包括的像素点的亮度值和该待处理图像包括的像素点的亮度值，采用如下公式确定该模拟低分辨率图像包括的像素点的亮度误差值：

E＝X-x；

其中，E为该模拟低分辨率图像包括的像素点的亮度误差值组成的矩阵，x为该待处理图像包括的像素点的亮度值组成的矩阵。

步骤803、对该模拟低分辨率图像包括的像素点的亮度误差值进行中值滤波，得到中值滤波后的模拟低分辨率图像包括的像素点的亮度误差值，作为该模拟低分辨率图像的亮度误差值。

G＝median{E}；

其中，G为该模拟低分辨率图像的亮度误差值组成的矩阵，median表示中值滤波，中值滤波可以采用现有技术中的各种方式，在此不再进行详细描述。

步骤804、将该模拟低分辨率图像的亮度误差值进行反投影处理，得到该当前超分辨率图像包括的像素点的亮度误差值，作为当前超分辨率图像的亮度误差值。

本步骤中，采用如下公式确定该当前超分辨率图像的亮度误差值：

其中，e为该当前超分辨率图像的亮度误差值组成的矩阵，h^BP为反投影算子矩阵，c为一个常数，h^BP和c可以根据实际需要灵活设置，k为反投影算子矩阵中的第k个元素值，M为反投影算子矩阵包括的元素数量。

步骤805、根据该当前超分辨率图像的亮度误差值，对该当前超分辨率图像进行修正，得到修正后的超分辨率图像。

本步骤中，采用如下公式确定该修正后的超分辨率图像：

f＝F+e；

其中，f为该修正后的超分辨率图像包括的像素点的亮度值组成的矩阵，F为该待处理图像的超分辨率图像包括的像素点的亮度值组成的矩阵，e为该当前超分辨率图像的亮度误差值组成的矩阵。

步骤806、确定该当前超分辨率图像的亮度误差值的平方和是否不小于预设误差阈值，如果是，进入步骤807，如果否，进入步骤808。

步骤807、当该当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将修正后的超分辨率图像作为该待处理图像新的当前超分辨率图像，并返回步骤801。

步骤808、当该当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像作为该待处理图像的最终超分辨率图像。

通过本发明上述实施例2提供的方法，当得到待处理图像的超分辨率图像后，对该超分辨率图像进行优化处理，能够使得待处理图像的超分辨率图像更加具有鲁棒性，减少了图像超分辨率处理过程中异常误差对结果的影响。

实施例3：

基于同一发明构思，根据本发明上述实施例提供的图像超分辨率处理方法，相应地，本发明另一实施例还提供了一种图像超分辨率处理装置，其结构示意图如图9所示，具体包括：

扩展区域确定单元901，用于针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域；

子图像确定单元902，用于分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A和步骤B：

步骤A：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的区域集合中每个扩展区域的亮度特征信息，从所述区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的相似扩展区域，其中，所述区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域；

步骤B：基于所述当前扩展区域和所述相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像；

超分辨率图像确定单元903，用于按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子图像进行组合，得到所述待处理图像的超分辨率图像。

进一步的，子图像确定单元902，还用于采用如下步骤确定所述区域集合中的扩展区域：

对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像；针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区域；将所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为区域集合中的扩展区域。

进一步的，子图像确定单元902，具体用于分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A1、步骤A2、步骤B1和步骤B2：

步骤A1：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第一区域集合中每个扩展区域的亮度特征信息，从所述第一区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第一相似扩展区域，其中，所述第一区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域；

步骤A2：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第二区域集合中每个扩展区域的亮度特征信息，从所述第二区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第二相似扩展区域，其中，确定所述第二区域集合中的扩展区域具体包括：对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像；针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区域；将除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域，和所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为第二区域集合中的扩展区域；

步骤B1：基于所述当前扩展区域和所述第一相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第一超分辨率子图像；

步骤B2：基于所述当前扩展区域和所述第二相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第二超分辨率子图像；

超分辨率图像确定单元903，具体用于按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第一超分辨率子图像进行组合，得到所述待处理图像的第一超分辨率图像；按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第二超分辨率子图像进行组合，得到所述待处理图像的第二超分辨率图像；将所述第一超分辨率图像和所述第二超分辨率图像进行叠加，得到所述待处理图像的超分辨率图像。

进一步的，子图像确定单元902，还用于在步骤A之前，确定所述当前扩展区域包括的像素点的亮度值方差；并确定所述当前扩展区域的所述亮度值方差大于预设方差阈值。

进一步的，子图像确定单元902，还用于当确定所述当前扩展区域的所述亮度值方差不大于所述预设方差阈值时，采用亮度值插值方式，对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像。

进一步的，上述装置，还包括：

修正单元904，用于在得到所述待处理图像的超分辨率图像之后，执行如下步骤a-e：

步骤a：对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；

步骤b：基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的亮度误差值；

步骤c：将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；

步骤d：根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修正，得到修正后的超分辨率图像；

步骤e：当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤a，当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像的最终超分辨率图像。

进一步的，上述装置，还包括：

修正单元904，用于在得到所述待处理图像的超分辨率图像之后，执行如下步骤f-k：

步骤f：对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；

步骤g：基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值；

步骤h：对所述模拟低分辨率图像包括的像素点的亮度误差值进行中值滤波，得到中值滤波后的模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的亮度误差值；

步骤i：将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；

步骤j：根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修正，得到修正后的超分辨率图像；

步骤k：当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤f，当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像的最终超分辨率图像。

上述各单元的功能可对应于图1-图8所示流程中的相应处理步骤，在此不再赘述。

综上所述，本发明实施例提供的方案，包括：针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域，分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A和步骤B：步骤A：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的区域集合中每个扩展区域的亮度特征信息，从该区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为该当前扩展区域的相似扩展区域，其中，该区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域；步骤B：基于该当前扩展区域和该相似扩展区域包括的像素点的亮度值，针对当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像，按照该待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子图像进行组合，得到该待处理图像的超分辨率图像。由于是以待处理图像中大小相同的图像块作为超分辨率处理的基本单位，不需要对待处理图像中每一个像素点对应的扩展区域分别进行处理，减少了区域集合中扩展区域的数量，进而减少了运算量，因此提高了超分辨率的处理效率。

本申请的实施例所提供的图像超分辨率方法及装置可通过计算机程序实现。本领域技术人员应该能够理解，上述的模块划分方式仅是众多模块划分方式中的一种，如果划分为其他模块或不划分模块，只要图像超分辨率装置具有上述功能，都应该在本申请的保护范围之内。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种图像超分辨率处理方法，其特征在于，包括：

针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域；

分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A和步骤B：

步骤A：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的区域集合中每个扩展区域的亮度特征信息，从所述区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的相似扩展区域，其中，所述区域集合为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域的集合；

步骤B：基于所述当前扩展区域和所述相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像；

按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子图像进行组合，得到所述待处理图像的超分辨率图像。

2.如权利要求1所述的方法，其特征在于，所述区域集合还包括通过如下步骤确定的扩展区域：

对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像；

针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区域；

将所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为区域集合中的扩展区域。

3.如权利要求1所述的方法，其特征在于，所述步骤A，具体包括如下步骤A1和步骤A2：

步骤A1：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第一区域集合中每个扩展区域的亮度特征信息，从所述第一区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第一相似扩展区域，其中，所述第一区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域；

步骤A2：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第二区域集合中每个扩展区域的亮度特征信息，从所述第二区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第二相似扩展区域，其中，确定所述第二区域集合中的扩展区域具体包括：对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像；针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区域；将除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域，和所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为第二区域集合中的扩展区域；

所述步骤B，具体包括如下步骤B1和步骤B2：

步骤B1：基于所述当前扩展区域和所述第一相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第一超分辨率子图像；

步骤B2：基于所述当前扩展区域和所述第二相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第二超分辨率子图像；

按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子图像进行组合，得到所述待处理图像的超分辨率图像，具体包括：

按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第一超分辨率子图像进行组合，得到所述待处理图像的第一超分辨率图像；

按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第二超分辨率子图像进行组合，得到所述待处理图像的第二超分辨率图像；

将所述第一超分辨率图像和所述第二超分辨率图像进行叠加，得到所述待处理图像的超分辨率图像。

4.如权利要求1所述的方法，其特征在于，在步骤A之前，还包括：

确定所述当前扩展区域包括的像素点的亮度值方差；

确定所述当前扩展区域的所述亮度值方差大于预设方差阈值。

5.如权利要求4所述的方法，其特征在于，还包括：

当确定所述当前扩展区域的所述亮度值方差不大于所述预设方差阈值时，采用亮度值插值方式，对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像。

6.如权利要求1-5任一所述的方法，其特征在于，在得到所述待处理图像的超分辨率图像之后，还包括：

步骤a：对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；

步骤b：基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的亮度误差值；

步骤c：将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；

步骤d：根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修正，得到修正后的超分辨率图像；

步骤e：当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤a，当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像的最终超分辨率图像。

7.如权利要求1-5任一所述的方法，其特征在于，在得到所述待处理图像的超分辨率图像之后，还包括：

步骤f：对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；

步骤g：基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值；

步骤h：对所述模拟低分辨率图像包括的像素点的亮度误差值进行中值滤波，得到中值滤波后的模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的亮度误差值；

步骤i：将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；

步骤j：根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修正，得到修正后的超分辨率图像；

步骤k：当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤f，当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像的最终超分辨率图像。

8.一种图像超分辨率处理装置，其特征在于，包括：

扩展区域确定单元，用于针对组成待处理图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该图像块对应的扩展区域；

子图像确定单元，用于分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A和步骤B：

步骤A：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的区域集合中每个扩展区域的亮度特征信息，从所述区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的相似扩展区域，其中，所述区域集合为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域的集合；

步骤B：基于所述当前扩展区域和所述相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像；

超分辨率图像确定单元，用于按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的超分辨率子图像进行组合，得到所述待处理图像的超分辨率图像。

9.如权利要求8所述的装置，其特征在于，所述子图像确定单元，还用于采用如下步骤确定所述区域集合中的扩展区域：

对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像；针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区域；将所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为区域集合中的扩展区域。

10.如权利要求8所述的装置，其特征在于，所述子图像确定单元，具体用于分别将每个图像块对应的扩展区域作为当前扩展区域，执行如下步骤A1、步骤A2、步骤B1和步骤B2：

步骤A1：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第一区域集合中每个扩展区域的亮度特征信息，从所述第一区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第一相似扩展区域，其中，所述第一区域集合中的扩展区域为除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域；

步骤A2：基于当前扩展区域的亮度特征信息，和与所述当前扩展区域对应的第二区域集合中每个扩展区域的亮度特征信息，从所述第二区域集合中选择与所述当前扩展区域满足预设亮度相似条件的扩展区域，作为所述当前扩展区域的第二相似扩展区域，其中，确定所述第二区域集合中的扩展区域具体包括：对所述待处理图像按照不同的采样率进行降采样，得到预设数量个降采样图像；针对每个降采样图像，针对组成该降采样图像的大小相同的每个图像块，确定该图像块与其周围预设范围内的像素点组成的区域，作为该降采样图像的该图像块对应的扩展区域；将除所述当前扩展区域之外的所述待处理图像的其余图像块对应的扩展区域，和所述预设数量个降采样图像的每个图像块对应的扩展区域，确定为第二区域集合中的扩展区域；

步骤B1：基于所述当前扩展区域和所述第一相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第一超分辨率子图像；

步骤B2：基于所述当前扩展区域和所述第二相似扩展区域包括的像素点的亮度值，针对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的第二超分辨率子图像；

所述超分辨率图像确定单元，具体用于按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第一超分辨率子图像进行组合，得到所述待处理图像的第一超分辨率图像；按照所述待处理图像包括的各图像块之间的位置关系，对各图像块对应的第二超分辨率子图像进行组合，得到所述待处理图像的第二超分辨率图像；将所述第一超分辨率图像和所述第二超分辨率图像进行叠加，得到所述待处理图像的超分辨率图像。

11.如权利要求8所述的装置，其特征在于，所述子图像确定单元，还用于在步骤A之前，确定所述当前扩展区域包括的像素点的亮度值方差；并确定所述当前扩展区域的所述亮度值方差大于预设方差阈值。

12.如权利要求11所述的装置，其特征在于，所述子图像确定单元，还用于当确定所述当前扩展区域的所述亮度值方差不大于所述预设方差阈值时，采用亮度值插值方式，对所述当前扩展区域对应的图像块进行超分辨率处理，得到对应该图像块的超分辨率子图像。

13.如权利要求8-12任一所述的装置，其特征在于，还包括：

修正单元，用于在得到所述待处理图像的超分辨率图像之后，执行如下步骤a-e：

步骤a：对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；

步骤b：基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的亮度误差值；

步骤c：将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；

步骤d：根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修正，得到修正后的超分辨率图像；

步骤e：当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤a，当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像的最终超分辨率图像。

14.如权利要求8-12任一所述的装置，其特征在于，还包括：

修正单元，用于在得到所述待处理图像的超分辨率图像之后，执行如下步骤f-k：

步骤f：对所述待处理图像的当前超分辨率图像进行模糊降采样处理，得到与所述待处理图像分辨率相同的图像，作为所述待处理图像的模拟低分辨率图像；

步骤g：基于所述模拟低分辨率图像包括的像素点的亮度值和所述待处理图像包括的像素点的亮度值，确定所述模拟低分辨率图像包括的像素点的亮度误差值；

步骤h：对所述模拟低分辨率图像包括的像素点的亮度误差值进行中值滤波，得到中值滤波后的模拟低分辨率图像包括的像素点的亮度误差值，作为所述模拟低分辨率图像的亮度误差值；

步骤i：将所述模拟低分辨率图像的亮度误差值进行反投影处理，得到所述当前超分辨率图像包括的像素点的亮度误差值，作为所述当前超分辨率图像的亮度误差值；

步骤j：根据所述当前超分辨率图像的亮度误差值，对所述当前超分辨率图像进行修正，得到修正后的超分辨率图像；

步骤k：当所述当前超分辨率图像的亮度误差值的平方和不小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像新的当前超分辨率图像，并返回步骤f，当所述当前超分辨率图像的亮度误差值的平方和小于预设误差阈值时，将修正后的超分辨率图像作为所述待处理图像的最终超分辨率图像。