CN113487477B - 超分辨率图像重构方法及装置 - Google Patents

Abstract

本申请提供一种超分辨率图像重构方法及装置，根据原始图像中的每个像素与其所在行像素组或列像素组中的其他像素之间的可视关系，得知需要在原始图像的每行或每列的每相邻两个像素之间需要插入的新增行像素和新增列像素对应的灰度值，然后根据新增行像素和新增列像素确定新增中心像素对应的灰度值，并将新增像素插入每行或每列的相邻两个像素中，以及将新增中心像素插入新增行像素和新增列像素的围绕区域中，从而得到将原始图像重构的超分辨率图像。由于该超分辨率图像重构方法充分考虑了原始图像的局部像素之间的内在联系，因此可以较好地保持图像的细节信息，锯齿、模糊、颗粒感等问题明显减弱，改善了原始图像经拉伸后的显示效果。

Description

超分辨率图像重构方法及装置

技术领域

本申请涉及显示技术领域，尤其涉及一种超分辨率图像重构方法及装置。

背景技术

随着显示技术的不断进步，超大尺寸、超高分辨率的显示面板已经面世，例如在4K显示面板之后，8K显示面板也逐渐量产。然而，受网络带宽、摄像设备以及视频编解码技术的限制，8K显示面板在片源方面存在很大不足。之前的8K电视通常是将小于8K分辨率的视频信号直接拉伸匹配到8K分辨率，例如将4K视频信号中的每个像素点拉伸2*2倍来对应8K分辨率显示面板中的4个像素点，但是这样8K分辨率的显示效果极差。

目前虽然还可以将4K视频信号中的每个像素点仅对应8K分辨率显示面板中的一个像素点，例如将图像视为一个矩阵，矩阵的行与列的值对应一个像素点，矩阵元素为该像素点的灰度值，则将4K视频的原始图像矩阵的第i行第j列的像素点赋值到8K分辨率的目标矩阵的【2i-1,2j-1】，实现将原始图像矩阵扩大一倍到目标矩阵的效果，然后采用邻近取代算法、双线性插值算法、三次内插法等算法填充8K分辨率的目标矩阵中的空白像素点。但是，这些算法要么由于未充分考虑邻近像素之间的内在联系而使得显示画面存在锯齿、模糊、颗粒感明显等问题，要么由于计算过程过于复杂而效率较低，使得实时性差。

因此，有必要提出一种新的超分辨率图像重构方法，能实现显示画面清晰，以及计算简单和实时性较好的效果。

发明内容

为了解决上述问题，本申请提供一种超分辨率图像重构方法及装置。

第一方面，本申请提供一种超分辨率图像重构方法，包括：

S1、采集待重构的原始图像，所述原始图像包括多个呈阵列分布的像素；其中，每行像素包括多个由连续像素组成的行像素组，每列像素包括多个由连续像素组成的列像素组；

S2、根据每个所述行像素组中的像素之间的可视关系，获取每行像素中的相邻两个像素之间的新增行像素对应的灰度值，以及，根据每个所述列像素组中的像素之间的可视关系，确定每列像素中的相邻两个像素之间的新增列像素对应的灰度值；

S3、根据所述新增行像素和所述新增列像素，确定在相邻两行的相邻两个像素之间的所述新增行像素与相邻两列的相邻两个像素之间的所述新增列像素的中心的新增中心像素对应的灰度值；其中，所述相邻两行的相邻两个像素与所述相邻两列的相邻两个像素重合；

S4、在每行像素中的相邻两个像素之间插入所述新增行像素，在每列像素中的相邻两个像素之间插入所述新增列像素，以及在所述新增行像素和所述列像素的中心插入中心像素，以获取所述原始图像对应重构的超分辨率图像。

优选地，步骤S2中，所述根据每个所述行像素组中的像素之间的可视关系，获取每行像素中的相邻两个像素之间的新增行像素对应的灰度值具体包括：

S21、根据每个像素的灰度值，以及每个像素在所在像素行的行位置，确定每个像素在所在行像素组中的至少一个可视行像素；其中，每个像素与每个像素对应的至少一个所述可视行像素之间满足预设可视条件；

S22、根据每个像素的灰度值和行位置，以及每个像素对应的所述可视行像素的灰度值和行位置，获取每行像素中的相邻两个像素之间的任意一个行位置的新增行像素对应的灰度值。

优选地，步骤S21中，所述预设可视条件包括：位于每个像素的行位置与每个像素对应的可视行像素的行位置之间的像素的灰度值均小于每个像素的灰度值和每个所述可视行像素的灰度值。

优选地，步骤S22具体包括：

S221、根据每个像素的灰度值和行位置，以及每个像素对应的所述可视行像素的灰度值和行位置，分别建立每个像素与对应的每个所述可视行像素之间的可视函数关系；

S222、根据每个像素与对应的每个所述可视行像素之间的可视函数关系，选取与每行像素中的相邻两个像素相关联的可视函数关系；其中，与相邻两个像素相关联的可视函数关系为与相邻两个像素之间的行位置存在交集的可视函数关系；

S223、根据与相邻两个像素相关联的可视函数关系，获取相邻两个像素之间的所述任意一个行位置的新增行像素对应的灰度值。

优选地，步骤S223具体包括：

根据相邻两个像素之间的任意一个行位置，以及与相邻两个像素相关联的所有所述可视函数关系，获取所述任意一个行位置的新增行像素对应的多个初始灰度值；

将多个所述初始灰度值的平均值作为所述任意一个行位置的新增行像素对应的灰度值。

优选地，步骤S3具体包括：将所述相邻两行的相邻两个像素之间的所述新增行像素的灰度值，与相邻两列的相邻两个像素之间的所述新增列像素的灰度值的平均值，作为所述新增中心像素对应的灰度值。

优选地，每行像素的相邻两个像素之间插入的所述新增行像素的数量相同，和/或，每列像素的相邻两个像素之间插入的所述新增列像素的数量相同。

第二方面，本申请提供一种超分辨率图像重构装置，包括：

采集模块，用于采集待重构的原始图像，所述原始图像包括多个呈阵列分布的像素；其中，每行像素包括多个由连续像素组成的行像素组，每列像素包括多个由连续像素组成的列像素组；

新增行列像素模块，用于根据每个所述行像素组中的像素之间的可视关系，获取每行像素中的相邻两个像素之间的新增行像素对应的灰度值，以及，根据每个所述列像素组中的像素之间的可视关系，确定每列像素中的相邻两个像素之间的新增列像素对应的灰度值；

新增中心像素模块，用于根据所述新增行像素和所述新增列像素，确定在相邻两行的相邻两个像素之间的所述新增行像素与相邻两列的相邻两个像素之间的所述新增列像素的围绕区域中的新增中心像素对应的灰度值；其中，所述相邻两行的相邻两个像素与所述相邻两列的相邻两个像素重合；

插入模块，用于在每行像素中的相邻两个像素之间插入所述新增行像素，在每列像素中的相邻两个像素之间插入所述新增列像素，以及在所述新增行像素和所述列像素的围绕区域中插入中心像素，以获取所述原始图像对应重构的超分辨率图像。

第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的超分辨率图像重构方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的超分辨率图像重构方法的步骤。

本申请提供一种超分辨率图像重构方法及装置，根据原始图像中的每个像素与其所在行像素组或列像素组中的其他像素之间的可视关系，得知需要在原始图像的每行或每列的每相邻两个像素之间需要插入的新增像素对应的灰度值，并将该灰度值的新增像素插入每行或每列的相邻两个像素中，从而得到将原始图像重构的超分辨率图像。由于该超分辨率图像重构方法充分考虑了原始图像的局部像素之间的内在联系，因此可以较好地保持图像的细节信息，锯齿、模糊、颗粒感等问题明显减弱，改善了原始图像经拉伸后的显示效果。此外，本发明方法原理简单、计算量小，实时处理性高，保障了信号高速传输、系统高效运行。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1为本申请实施例提供的超分辨率图像重构方法的流程示意图；

图2为本申请实施例提供的原始图像的任意一行像素的行位置与灰度值直方图；

图3为本申请实施例提供的原始图像的一个行像素组中的像素的行位置与灰度值直方图；

图4为本申请实施例提供的原始图像的另一个行像素组中的像素的行位置与灰度值直方图；

图5为本申请实施例提供的原始图像重构为超分辨率图像的过程示意图；

图6为本申请实施例提供的超分辨率图像重构装置的结构示意图；

图7为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的超分辨率图像重构方法的流程示意图，如图1所示，本申请实施例提供一种超分辨率图像重构方法，包括：

S1、采集待重构的原始图像，原始图像包括多个呈阵列分布的像素；其中，每行像素包括多个由连续像素组成的行像素组，每列像素包括多个由连续像素组成的列像素组。

其中，连续是指每个像素组中的像素是每行或每列中顺序排列的像素点，即每个像素与邻近的行像素构成行像素组，每个像素与邻近的列像素构成列像素组。

具体地，为了充分考虑邻近像素之间的内在联系，将每行像素划分为多个行像素组，每个行像素组由第一预设数量的连续像素组成，同样地，将每列像素划分为多个列像素组，每个列像素组由第二预设数量的连续像素组成，以方便在后续步骤中在每个行像素组和每个列像素组中确定每个像素与其邻近像素之间的联系，以方便在将原始图像拉伸之后，在相邻两个像素之间填充最佳灰度值的新增行像素或新增列像素。

可以理解的是，实际上各个行像素组之间，各个列像素组之间，或者行像素组与列像素组之间，所包括的连续像素的数量可以相同，也可以不同，因此第一预设数量和第二预设数量并不是恒定值，且第一预设数量和第二预设数量也不一定相同，可以根据原始图像的重点重构部分和非重点重构部分设置第一预设数量和第二预设数量的具体数值，例如使重点重构部分的像素组包括较多的像素点，第一预设数量和第二预设数量就较大，比如6-10，而非重点重构部分的像素组包括较少的像素点，第一预设数量和第二预设数量就较小，比如1-5。另外，每个像素也不一定仅属于一个行像素组或一个列像素组，即相邻两个像素组可以包括重合的像素，只要预先确定每个像素组包括的具体像素点即可。

S2、根据每个行像素组中的像素之间的可视关系，获取每行像素中的相邻两个像素之间的新增行像素对应的灰度值，以及，根据每个列像素组中的像素之间的可视关系，确定每列像素中的相邻两个像素之间的新增列像素对应的灰度值。

具体地，位于同一行或同一列的像素之间存在可视关系或非可视关系，在每个像素组中选取与每个像素具有可视关系的像素点的灰度值作为确定每相邻两个像素之间需要插入的新增像素的灰度值的依据，由此建立邻近像素之间的内在联系，从而根据每相邻两个像素与其在同一像素组的邻近像素之间的可视关系来确定这两个相邻两个像素之间需要插入的新增像素的灰度值。

S3、根据新增行像素和新增列像素，确定在相邻两行的相邻两个像素之间的新增行像素与相邻两列的相邻两个像素之间的新增列像素的围绕区域中的新增中心像素对应的灰度值；其中，相邻两行的相邻两个像素与相邻两列的相邻两个像素重合。

具体地，如图5所示，黑圆点为原始图像的像素，白圆点为新增行像素，矩形为新增列像素，三角形为新增中心像素，图5为将原始图像扩大2倍得到超分辨率图像时的示意图。在每行像素的相邻两个像素之间插入新增行像素，以及在每列像素的相邻两列像素之间插入新增列像素之后，对于相邻两行的相邻两个像素与相邻两列的相邻两个像素重合的四个像素(例如图5中的正方形虚线框)来说，这其中的新增行像素与新增列像素的围绕区域中存在空白像素点，因此需要在该围绕区域中插入新增中心像素。本实施例中的新增中心像素的灰度值由围绕其的两个新增行像素和新增列像素的灰度值决定。

S4、在每行像素中的相邻两个像素之间插入新增行像素，在每列像素中的相邻两个像素之间插入新增列像素，以及在新增行像素和列像素的围绕区域中插入中心像素，以获取原始图像对应重构的超分辨率图像。

具体地，在每行像素的相邻两个像素之间插入上述求得的灰度值的新增行像素，在每列像素的相邻两个像素之间插入上述求得的灰度值的新增列像素，并在相邻两行的相邻两个像素之间的新增行像素与相邻两列的相邻两个像素之间的新增列像素的围绕区域中插入新增中心像素，从而将原始图像重构为超分辨率图像。

本申请实施例提供的超分辨率图像重构方法，根据原始图像中的每个像素与其所在行像素组或列像素组中的其他像素之间的可视关系，得知需要在原始图像的每行或每列的每相邻两个像素之间需要插入的新增行像素和新增列像素对应的灰度值，然后根据新增行像素和新增列像素确定重合的相邻两行的相邻两个像素和相邻两列的相邻两个像素的围绕区域的新增中心像素对应的灰度值，并将符合对应灰度值的新增像素插入每行或每列的相邻两个像素中，以及将符合对应灰度值的新增中心像素插入新增行像素和新增列像素的围绕区域中，从而得到将原始图像重构的超分辨率图像。由于该超分辨率图像重构方法充分考虑了原始图像的局部像素之间的内在联系，因此可以较好地保持图像的细节信息，锯齿、模糊、颗粒感等问题明显减弱，改善了原始图像经拉伸后的显示效果。此外，本发明方法原理简单、计算量小，实时处理性高，保障了信号高速传输、系统高效运行。

需要说明的是，由于每行像素的相邻两个像素之间填充新增行像素与在每列像素的相邻两个像素之间填充新增列像素的过程和步骤相同，以下实施例以在每行像素的相邻两个像素之间填充新增行像素为例，对该超分辨率图像重构方法进行进一步说明。

步骤S2中，根据每个行像素组中的像素之间的可视关系，获取每行像素中的相邻两个像素之间的新增行像素对应的灰度值具体包括：

S21、根据每个像素的灰度值，以及每个像素在所在像素行的行位置，确定每个像素在所在行像素组中的至少一个可视行像素。其中，每个像素与每个像素对应的至少一个可视行像素之间满足预设可视条件，预设可视条件包括：位于每个像素的行位置与每个像素对应的可视行像素的行位置之间的像素的灰度值均小于每个像素的灰度值和每个可视行像素的灰度值。

具体地，如图2所示，将像素的行位置作为横坐标(行位置的数值可自行设置，本实施例的行位置1、2、3……分别表示处于同一行的第1个、第2个、第3个……像素)，像素的灰度值作为纵坐标，绘制行位置-灰度值直方图。本申请实施例的可视关系判断准则为：若位于同一行的两个像素可视，则这两个像素之间的任意一个行位置满足以下公式：

其中，(Xi，Pi)和(Xj，Pj)分别为位于同一行的两个像素的行位置值和灰度值，(Xm，Pm)为这两个像素之间的任意一个行位置的像素的行位置和灰度值。

上述公式的含义为：位于同一行的两个具有可视关系的像素之间的任意一个行位置的像素的灰度值均小于这两个像素的灰度值，也即，图2中的具有可视关系的像素的灰度值之间的连线没有被其他像素的灰度值直方条阻断，将此作为预设可视条件，反之，如果两个像素的灰度值之间的连线被这两个像素之间的其他像素的灰度值直方条阻断，则这两个像素之间不具有可视关系。

进一步地，根据预设可视条件，确定每个像素在所在行像素组中的至少一个可视行像素，例如：设第一预设数量为4，图3和图4分别为两个由4个连续像素(例如图5中的长方形虚线框)组成的行像素组的行位置-灰度值直方图，设这4个连续像素的行位置分别为行位置1、行位置2、行位置3和行位置4。

如图3所示，行位置1的像素分别与行位置2、行位置3和行位置4的像素具有可视关系，因此行位置1的像素在该行像素组中的可视像素为行位置2、行位置3和行位置4的像素；同理，行位置2的像素在该行像素组中的可视像素为行位置1、行位置3和行位置4的像素；行位置3的像素在该行像素组中的可视像素为行位置1、行位置2和行位置4的像素；行位置4的像素在该行像素组中的可视像素为行位置1、行位置2和行位置3的像素。

如图4所示，行位置1的像素在该行像素组中的可视像素为行位置2和行位置3的像素；同理，行位置2的像素在该行像素组中的可视像素为行位置1和行位置3的像素；行位置3的像素在该行像素组中的可视像素为行位置1、行位置2和行位置4的像素；行位置4的像素在该行像素组中的可视像素为行位置3的像素。

S22、根据每个像素的灰度值和行位置，以及每个像素对应的可视行像素的灰度值和行位置，获取每行像素中的相邻两个像素之间的任意一个行位置的新增行像素对应的灰度值。

进一步地，步骤S22具体包括：

S221、根据每个像素的灰度值和行位置，以及每个像素对应的可视行像素的灰度值和行位置，分别建立每个像素与对应的每个可视行像素之间的可视函数关系。

例如，若图3中的行位置1、行位置2、行位置3和行位置4的像素的灰度值分别为240、160、140和210，根据行位置1的像素与行位置2的像素在直方图中的连线的斜率为：(160-240)/(2-1)＝-80，得到行位置1的像素与行位置2的像素之间的可视函数关系为：P12＝-80X12+320，其中，X12为行位置1和行位置2之间的任意一个行位置，P12为行位置1和行位置2之间的任意一个行位置的像素对应的灰度值。

同理，行位置1的像素与行位置3的像素之间的可视函数关系为：P13＝-50X13+290，其中，X13为行位置1与行位置3之间的任意一个行位置，P13为行位置1和行位置3之间的任意一个行位置的像素对应的灰度值。

行位置1的像素与行位置4的像素之间的可视函数关系为：P14＝-10X14+250，其中，X14为行位置1与行位置3之间的任意一个行位置，P14为行位置1和行位置4之间的任意一个行位置的像素对应的灰度值。

行位置2的像素与行位置3的像素之间的可视函数关系为：P23＝-20X23+200，其中，X23为行位置2与行位置3之间的任意一个行位置，P23为行位置2和行位置3之间的任意一个行位置的像素对应的灰度值。

行位置2的像素与行位置4的像素之间的可视函数关系为：P24＝25X24+110，其中，X24为行位置2与行位置4之间的任意一个行位置，P24为行位置2和行位置4之间的任意一个行位置的像素对应的灰度值。

行位置3的像素与行位置4的像素之间的可视函数关系为：P34＝70X34-70，其中，X24为行位置2与行位置4之间的任意一个行位置。

同样地，若图4中的行位置1、行位置2、行位置3和行位置4的像素的灰度值分别为240、160、200和120，则行位置1的像素与行位置2的像素之间的可视函数关系为：P12＝-80X12+320，行位置1的像素与行位置3的像素之间的可视函数关系为：P13＝-20X13+260；行位置1的像素与行位置4的像素之间的可视函数关系为：P14＝-40X14+280。行位置2的像素与行位置3的像素之间的可视函数关系为：P23＝40X23+80。

S222、根据每个像素与对应的每个可视行像素之间的可视函数关系，选取与每行像素中的相邻两个像素相关联的可视函数关系；其中，与相邻两个像素相关联的可视函数关系为与相邻两个像素之间的行位置存在交集的可视函数关系。

具体地，与相邻两个像素之间的行位置存在交集的可视函数关系，是指在直方图中，这两个相邻的像素分别与对应的可视像素的连线，需要经过这两个相邻两个像素之间，才会将这些连线对应的可视函数关系作为与这两个相邻的像素相关联的可视函数关系。

例如，在行位置1的像素和行位置2的像素之间插入新增行像素时，在图3中应当选择行位置1的像素与行位置2的像素之间的可视函数关系P12，行位置1的像素与行位置3的像素之间的可视函数关系P13，以及行位置1的像素与行位置4的像素之间的可视函数关系P14，作为与行位置1的像素和行位置2的像素相关联的可视函数关系，而在图4中应当选择行位置1的像素与行位置2的像素之间的可视函数关系P12，以及行位置1的像素与行位置3的像素之间的可视函数关系P13，作为与行位置1的像素和行位置2的像素相关联的可视函数关系。

在行位置2的像素和行位置3的像素之间插入新增行像素时，在图3中应当选择行位置2的像素与行位置3的像素之间的可视函数关系P23，行位置2的像素与行位置4的像素之间的可视函数关系P24，以及行位置3的像素与行位置1的像素之间的可视函数关系P31(即为行位置1的像素与行位置3的像素之间的可视函数关系P13)，作为与行位置2和行位置3相关联的可视函数关系，而在图4中应当选择行位置2的像素与行位置3的像素之间的可视函数关系P23，以及行位置3的像素与行位置1的像素之间的可视函数关系P31，作为与行位置2和行位置3相关联的可视函数关系。

S223、根据与相邻两个像素相关联的可视函数关系，获取相邻两个像素之间的任意一个行位置的新增行像素对应的灰度值。

进一步地，步骤S223具体包括：根据相邻两个像素之间的任意一个行位置，以及与相邻两个像素相关联的所有可视函数关系，获取任意一个行位置的新增行像素对应的多个初始灰度值，并将多个初始灰度值的平均值作为任意一个行位置的新增行像素对应的灰度值。

例如，在行位置1的像素和行位置2的像素之间的任意一个行位置x插入新增行像素时，图3中，Px＝(P12+P13+P14)/3，而图4中，Px＝(P12+P13)/2，若选择在行位置x＝1.5处插入新增行像素，则图3中由x＝1.5，得到P12＝200，P13＝215，P14＝235，因此P_1.5＝(200+215+235)/3＝216，从而在1.5的位置插入灰度值为216的像素；而在图4中，由x＝1.5，得到P12＝200，P13＝230，因此P_1.5＝(200+230)/2＝215，从而在1.5的位置插入灰度值为215的像素。

在行位置2的像素和行位置3的像素之间的任意一个行位置x插入新增行像素时，图3中，Px＝(P23+P24+P31)/3，而图4中，Px＝(P12+P13)/2，若选择在行位置x＝2.5处插入新增行像素，则图3中由x＝2.5，得到P23＝150，P24＝172.5，P31＝165，因此P2.5＝(150+172.5+165)/3＝162.5，从而在2.5的位置插入灰度值为162.5的像素；而在图4中，由x＝2.5，得到P12＝120，P13＝210，因此P2.5＝(120+210)/2＝165，从而在2.5的位置插入灰度值为165的像素。

进一步地，步骤S3具体包括：

S31、选择重合的相邻两行的相邻两个像素和相邻两列的相邻两个像素。

S32、将相邻两行的相邻两个像素之间的新增行像素的灰度值，与相邻两列的相邻两个像素之间的新增列像素的灰度值的平均值，作为新增中心像素对应的灰度值。

具体地，选择重合的相邻两行的相邻两个像素和相邻两列的相邻两个像素(例如图5中的虚线框中的4个黑色圆点)，插入新增行像素(例如图5中的虚线框中的2个白色圆点)和新增列像素(例如图5中的虚线框中的2个矩形)，然后求相邻两行的相邻两个像素之间的新增行像素例如图5中的虚线框中的2个黑色圆点)的灰度值，与相邻两列的相邻两个像素之间的新增列像素的灰度值例如图5中的虚线框中的2个白色圆点)的平均值，将该平均值作为新增中心像素(例如图5中的虚线框中的三角形)对应的灰度值。

需要说明的是，为了保证原始图像经过扩大后得到的重构的超分辨率图像的显示均一性，每行像素的相邻两个像素之间插入的新增行像素的数量相同，每列像素的相邻两个像素之间插入的新增列像素的数量相同，例如在将4K分辨率的原始图像扩大为8K超分辨率图像时，在每行的每相邻两个像素之间均插入一个新增行像素，且在每列的每相邻两个像素之间均插入一个新增列像素，而不是在部分相邻两个像素之间不插入像素，而在部分相邻两个像素之间插入多于一个新增像素，即，在每相邻两个像素之间均匀插入同样数量的像素，使得最终得到的超分辨率图像的显示效果均一，不会出现部分区域模糊、锯齿和颗粒感强，而部分区域非常清晰的不均一现象。

可以理解的是，为了进一步保证最终获得的超分辨率图像的显示均一性，每个新增像素的行位置与相邻两个像素的行位置之间的间距还可以保持一致，例如均在相邻两个像素的中点插入新增像素。

基于上述实施例，如图6所示，本申请实施例还提供一种超分辨率图像重构装置，包括：

采集模块601，用于采集待重构的原始图像，所述原始图像包括多个呈阵列分布的像素；其中，每行像素包括多个由连续像素组成的行像素组，每列像素包括多个由连续像素组成的列像素组；

新增行列像素模块602，用于根据每个所述行像素组中的像素之间的可视关系，获取每行像素中的相邻两个像素之间的新增行像素对应的灰度值，以及，根据每个所述列像素组中的像素之间的可视关系，确定每列像素中的相邻两个像素之间的新增列像素对应的灰度值；

新增中心像素模块603，用于根据所述新增行像素和所述新增列像素，确定在相邻两行的相邻两个像素之间的所述新增行像素与相邻两列的相邻两个像素之间的所述新增列像素的围绕区域中的新增中心像素对应的灰度值；其中，所述相邻两行的相邻两个像素与所述相邻两列的相邻两个像素重合；

插入模块604，用于在每行像素中的相邻两个像素之间插入所述新增行像素，在每列像素中的相邻两个像素之间插入所述新增列像素，以及在所述新增行像素和所述列像素的围绕区域中插入中心像素，以获取所述原始图像对应重构的超分辨率图像。

本申请实施例提供的超分辨率图像重构装置，根据原始图像中的每个像素与其所在行像素组或列像素组中的其他像素之间的可视关系，得知需要在原始图像的每行或每列的每相邻两个像素之间需要插入的新增像素对应的灰度值，并将该灰度值的新增像素插入每行或每列的相邻两个像素中，从而得到将原始图像重构的超分辨率图像。由于该超分辨率图像重构方法充分考虑了原始图像的局部像素之间的内在联系，因此可以较好地保持图像的细节信息，锯齿、模糊、颗粒感等问题明显减弱，改善了原始图像经拉伸后的显示效果。此外，本发明方法原理简单、计算量小，实时处理性高，保障了信号高速传输、系统高效运行。

图7为本发明实施例提供的电子设备的结构示意图，如图7所示，本发明实施例提供一种电子设备，该电子设备可以包括：处理器(processor)701、通信接口(Communications Interface)702、存储器(memory)703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。通信接口702可以用于服务器与智能电视之间的信息传输。处理器701可以调用存储器703中的逻辑指令，以执行如下方法，例如包括：S1、采集待重构的原始图像，原始图像包括多个呈阵列分布的像素；其中，每行像素包括多个由连续像素组成的行像素组，每列像素包括多个由连续像素组成的列像素组；S2、根据每个行像素组中的像素之间的可视关系，获取每行像素中的相邻两个像素之间的新增行像素对应的灰度值，以及，根据每个列像素组中的像素之间的可视关系，确定每列像素中的相邻两个像素之间的新增列像素对应的灰度值；S3、根据新增行像素和新增列像素，确定在相邻两行的相邻两个像素之间的新增行像素与相邻两列的相邻两个像素之间的新增列像素的中心的新增中心像素对应的灰度值；其中，相邻两行的相邻两个像素与相邻两列的相邻两个像素重合；S4、在每行像素中的相邻两个像素之间插入新增行像素，在每列像素中的相邻两个像素之间插入新增列像素，以及在新增行像素和列像素的中心插入中心像素，以获取所述原始图像对应重构的超分辨率图像。

本实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：S1、采集待重构的原始图像，原始图像包括多个呈阵列分布的像素；其中，每行像素包括多个由连续像素组成的行像素组，每列像素包括多个由连续像素组成的列像素组；S2、根据每个行像素组中的像素之间的可视关系，获取每行像素中的相邻两个像素之间的新增行像素对应的灰度值，以及，根据每个列像素组中的像素之间的可视关系，确定每列像素中的相邻两个像素之间的新增列像素对应的灰度值；S3、根据新增行像素和新增列像素，确定在相邻两行的相邻两个像素之间的新增行像素与相邻两列的相邻两个像素之间的新增列像素的中心的新增中心像素对应的灰度值；其中，相邻两行的相邻两个像素与相邻两列的相邻两个像素重合；S4、在每行像素中的相邻两个像素之间插入新增行像素，在每列像素中的相邻两个像素之间插入新增列像素，以及在新增行像素和列像素的中心插入中心像素，以获取所述原始图像对应重构的超分辨率图像。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (8)

1.一种超分辨率图像重构方法，其特征在于，包括：

S1、采集待重构的原始图像，所述原始图像包括多个呈阵列分布的像素；其中，每行像素包括多个由连续像素组成的行像素组，每列像素包括多个由连续像素组成的列像素组；

S2、具体包括，S21、根据每个像素的灰度值，以及每个像素在所在像素行的行位置，确定每个像素在所在行像素组中的至少一个可视行像素；其中，每个像素与每个像素对应的至少一个所述可视行像素之间满足预设可视条件，其中，所述预设可视条件包括：位于每个像素的行位置与每个像素对应的可视行像素的行位置之间的像素的灰度值均小于每个像素的灰度值和每个所述可视行像素的灰度值；

S22、根据每个像素的灰度值和行位置，以及每个像素对应的所述可视行像素的灰度值和行位置，获取每行像素中的相邻两个像素之间的任意一个行位置的新增行像素对应的灰度值；以及，

S’21、根据每个像素的灰度值，以及每个像素在所在像素列的列位置，确定每个像素在所在列像素组中的至少一个可视列像素；其中，每个像素与每个像素对应的至少一个所述可视列像素之间满足预设可视条件，其中，所述预设可视条件包括：位于每个像素的列位置与每个像素对应的可视列像素的列位置之间的像素的灰度值均小于每个像素的灰度值和每个所述可视列像素的灰度值；

S’22、根据每个像素的灰度值和列位置，以及每个像素对应的所述可视列像素的灰度值和列位置，获取每列像素中的相邻两个像素之间的任意一个列位置的新增列像素对应的灰度值；

S3、根据所述新增行像素和所述新增列像素，确定在相邻两行的相邻两个像素之间的所述新增行像素与相邻两列的相邻两个像素之间的所述新增列像素的围绕区域中的新增中心像素对应的灰度值；其中，所述相邻两行的相邻两个像素与所述相邻两列的相邻两个像素重合；

S4、在每行像素中的相邻两个像素之间插入所述新增行像素，在每列像素中的相邻两个像素之间插入所述新增列像素，以及在所述新增行像素和所述列像素的围绕区域中插入中心像素，以获取所述原始图像对应重构的超分辨率图像。

2.如权利要求1所述的超分辨率图像重构方法，其特征在于，步骤S22具体包括：

S221、根据每个像素的灰度值和行位置，以及每个像素对应的所述可视行像素的灰度值和行位置，分别建立每个像素与对应的每个所述可视行像素之间的可视函数关系；

S222、根据每个像素与对应的每个所述可视行像素之间的可视函数关系，选取与每行像素中的相邻两个像素相关联的可视函数关系；其中，与相邻两个像素相关联的可视函数关系为与相邻两个像素之间的行位置存在交集的可视函数关系；

S223、根据与相邻两个像素相关联的可视函数关系，获取相邻两个像素之间的所述任意一个行位置的新增行像素对应的灰度值。

3.如权利要求2所述的超分辨率图像重构方法，其特征在于，步骤S223具体包括：

根据相邻两个像素之间的任意一个行位置，以及与相邻两个像素相关联的所有所述可视函数关系，获取所述任意一个行位置的新增行像素对应的多个初始灰度值；

将多个所述初始灰度值的平均值作为所述任意一个行位置的新增行像素对应的灰度值。

4.如权利要求1所述的超分辨率图像重构方法，其特征在于，步骤S3具体包括：

S31、选择重合的相邻两行的相邻两个像素和相邻两列的相邻两个像素；

S32、将所述相邻两行的相邻两个像素之间的所述新增行像素的灰度值，与相邻两列的相邻两个像素之间的所述新增列像素的灰度值的平均值，作为所述新增中心像素对应的灰度值。

5.如权利要求1所述的超分辨率图像重构方法，其特征在于，每行像素的相邻两个像素之间插入的所述新增行像素的数量相同，和/或，每列像素的相邻两个像素之间插入的所述新增列像素的数量相同。

6.一种超分辨率图像重构装置，其特征在于，包括：

采集模块，用于采集待重构的原始图像，所述原始图像包括多个呈阵列分布的像素；其中，每行像素包括多个由连续像素组成的行像素组，每列像素包括多个由连续像素组成的列像素组；

新增行列像素模块，用于根据每个像素的灰度值，以及每个像素在所在像素行的行位置，确定每个像素在所在行像素组中的至少一个可视行像素；其中，每个像素与每个像素对应的至少一个所述可视行像素之间满足预设可视条件，其中，所述预设可视条件包括：位于每个像素的行位置与每个像素对应的可视行像素的行位置之间的像素的灰度值均小于每个像素的灰度值和每个所述可视行像素的灰度值；

根据每个像素的灰度值和行位置，以及每个像素对应的所述可视行像素的灰度值和行位置，获取每行像素中的相邻两个像素之间的任意一个行位置的新增行像素对应的灰度值；以及，

根据每个像素的灰度值，以及每个像素在所在像素列的列位置，确定每个像素在所在列像素组中的至少一个可视列像素；其中，每个像素与每个像素对应的至少一个所述可视列像素之间满足预设可视条件，其中，所述预设可视条件包括：位于每个像素的列位置与每个像素对应的可视列像素的列位置之间的像素的灰度值均小于每个像素的灰度值和每个所述可视列像素的灰度值；

根据每个像素的灰度值和列位置，以及每个像素对应的所述可视列像素的灰度值和列位置，获取每列像素中的相邻两个像素之间的任意一个列位置的新增列像素对应的灰度值；

新增中心像素模块，用于根据所述新增行像素和所述新增列像素，确定在相邻两行的相邻两个像素之间的所述新增行像素与相邻两列的相邻两个像素之间的所述新增列像素的围绕区域中的新增中心像素对应的灰度值；其中，所述相邻两行的相邻两个像素与所述相邻两列的相邻两个像素重合；

插入模块，用于在每行像素中的相邻两个像素之间插入所述新增行像素，在每列像素中的相邻两个像素之间插入所述新增列像素，以及在所述新增行像素和所述列像素的围绕区域中插入中心像素，以获取所述原始图像对应重构的超分辨率图像。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的超分辨率图像重构方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5任一项所述的超分辨率图像重构方法的步骤。