CN108876716A - 超分辨率重建方法及装置 - Google Patents

超分辨率重建方法及装置 Download PDF

Info

Publication number
CN108876716A
CN108876716A CN201710330449.8A CN201710330449A CN108876716A CN 108876716 A CN108876716 A CN 108876716A CN 201710330449 A CN201710330449 A CN 201710330449A CN 108876716 A CN108876716 A CN 108876716A
Authority
CN
China
Prior art keywords
pixel
image
image block
value
sized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710330449.8A
Other languages
English (en)
Other versions
CN108876716B (zh
Inventor
李敬源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Corp
Original Assignee
TCL Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Corp filed Critical TCL Corp
Priority to CN201710330449.8A priority Critical patent/CN108876716B/zh
Publication of CN108876716A publication Critical patent/CN108876716A/zh
Application granted granted Critical
Publication of CN108876716B publication Critical patent/CN108876716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于图像处理领域，提供了一种超分辨率重建方法及装置，该方法包括：对原始图像进行上采样处理，得到超分辨率重建图像中各个像素点的低频像素值；分别获取以每一像素点为中心的各个第一尺寸图像块，在原始图像中，确定与每一像素点分别对应的原始像素点，并分别获取以每一原始像素点为中心的各个第二尺寸图像块；确定每一第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置；获取最优匹配位置的高频像素值，并将每一像素点的高频像素值与该像素点的低频像素值进行相加，以得到超分辨率重建图像。本发明基于软件来实现，无须依赖造价较高的图像传感器，成本较低；并且，计算量较小，因此能够实时完成高分辨率图像的重建任务。

Description

超分辨率重建方法及装置
技术领域
本发明属于图像处理领域，尤其涉及一种超分辨率重建方法及装置。
背景技术
随着显示技术的不断发展，显示屏幕的尺寸也在逐渐增大。为了能在尺寸较大的显示屏幕中获得更好的图像观看效果，人们对于数字视频以及数字图像的分辨率要求也在不断提高，因此，在原始图像的基础上，如何获得清晰准确的高分辨率图像成为了当前人们研究的重点。
现有技术中，主要通过以下两种方式获得高分辨率图像：通过图像传感器进行高分辨率图像的主动获取；利用基于自相关的超分辨率重建算法对原始图像进行处理，以得到高分辨率图像。
然而，第一种方式中，由于用于获取高分辨率图像的图像传感器的造价较高，因而难以得到普遍推广；对于第二种方式，其具有较好的图像重建效果，但是计算量较大，因而在视频观影过程中，无法实时获取高分辨率图像。
综上，现有超分辨率重建方法存在成本过高、计算量过大以及无法实时获取高分辨率图像的问题。
发明内容
有鉴于此，本发明实施例提供了一种超分辨率重建方法及装置，以解决现有超分辨率重建方法中成本过高、计算量过大以及无法实时获取高分辨率图像的问题。
本发明实施例的第一方面提供了一种超分辨率重建方法，包括：
获取原始图像；
对所述原始图像进行上采样处理，得到超分辨率重建图像中各个像素点的低频像素值；
分别获取以每一所述像素点为中心的各个第一尺寸图像块，在所述原始图像中，确定与每一所述像素点分别对应的原始像素点，并分别获取以每一所述原始像素点为中心的各个第二尺寸图像块；
确定每一所述第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置；
在所述原始图像中，获取所述最优匹配位置的高频像素值，并将每一所述像素点的所述高频像素值与该像素点的所述低频像素值进行相加处理，以根据处理结果得到所述超分辨率重建图像。
本发明实施例的第二方面提供了一种超分辨率重建装置，包括：
第一获取单元，用于获取原始图像；
上采样单元，用于对所述原始图像进行上采样处理，得到超分辨率重建图像中各个像素点的低频像素值；
第二获取单元，用于分别获取以每一所述像素点为中心的各个第一尺寸图像块，在所述原始图像中，确定与每一所述像素点分别对应的原始像素点，并分别获取以每一所述原始像素点为中心的各个第二尺寸图像块；
确定单元，用于确定每一所述第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置；
重建单元，用于在所述原始图像中，获取所述最优匹配位置的高频像素值，并将每一所述像素点的所述高频像素值与该像素点的所述低频像素值进行相加处理，以根据处理结果得到所述超分辨率重建图像。
本发明实施例中，通过对原始图像进行简单的采样处理，获取各个像素点的低频像素值，并基于最优匹配位置来准确获取图像的高频像素值，使得在将超分辨率重建图像中每一像素点的高频像素值与低频像素值进行相加处理后，能够得到像素值更为准确的超分辨率图像，得到更好的图像重建效果。由于本发明实施例提供的超分辨率重建方法基于软件来实现，无须依赖造价较高的图像传感器，因而成本较低。同时，基于上述实现步骤可知，本发明实施例提供的超分辨率重建方法计算量较小，因此，提高了图像重建的速度，从而在实际应用中，能够实时完成高分辨率图像的重建任务，使得图像片源能够得以优化，由此提升了用户的观影体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的超分辨率重建方法的实现流程图；
图2是本发明实施例提供的超分辨率重建方法S104的具体实现流程图；
图3是本发明实施例提供的超分辨率重建方法S201的具体实现流程图；
图4是本发明实施例提供的匹配位置示意图；
图5是本发明实施例提供的超分辨率重建方法S305的具体实现流程图；
图6是本发明实施例提供的神经网络模型的网络结构图；
图7是本发明实施例提供的超分辨率重建方法S105的具体实现流程图；
图8是本发明实施例提供的超分辨率重建方法的实施示意图；
图9是本发明实施例提供的超分辨率重建装置的结构框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
本发明实施例提供的超分辨率重建方法能够适用于基于智能操作系统的终端，其中，终端包括但不限于服务器、智能电视、智能手机、和台式计算机等等。
图1示出了本发明实施例提供的超分辨率重建方法的实现流程，该实现流程包括步骤S101至S105，各步骤实现原理具体如下：
S101：获取原始图像。
本发明实施例中，原始图像L可以是一张静止照片、图像，也可以是视频流序列中所截取的一帧图像，包括基于位图或基于矢量图类型的图像。当获取到的原始图像为基于矢量图类型的图像时，需要先对其进行图像转化处理，以得到基于位图类型的图像后，再执行后续操作步骤。
当用户发出高分辨率图像切换指令时，终端将读取当前时刻即将要展示于显示屏中的原始图像，并对其进行超分辨率重建处理。
S102：对所述原始图像进行上采样处理，得到超分辨率重建图像中各个像素点的低频像素值。
本发明实施例中，上采样也称为增取样或内插。对原始图像L进行上采样处理，即对原始图像L进行放大处理。执行放大操作时，终端会在原始图像L中内插多个像素点，以使放大后的原始图像能够显示更为具体的图像信息。对于一幅图像，若将图像中的细节特征部分进行频域转换处理，则能够提取出频率较高的多个频域像素值，若将图像的模糊特征部分进行频域转换处理，则将会提取出频率较低的多个频域像素值。因此，一幅图像通常具有用于表现图像细节特征的低频信息部分以及用于表现图像模糊特征的高频信息部分。例如，若一幅图像为黑色线条的圆，且背景颜色为白色，则图像的细节特征部分为黑色线条所包含的各个像素点的像素值，图像中的其他位置所包含的各个像素点的像素值均为模糊特征部分。
由于内插像素点的像素值是根据该像素点附近某区间内的若干像素点的像素值来近似计算出的，该像素值仅能体现图像的模糊特征，因此属于超分辨率重建图像的低频信息部分。低频信息部分包括具有描述图像模糊特征的所有像素点的像素值。将上采样处理所得到的各个像素点所共同构成的一个图像输出为上采样图像L1，上采样图像L1中各个像素点的像素值为超分辨率重建图像Lout中各个像素点的低频像素值。本发明实施例中，低频像素值即用于描述图像模糊特征的像素点的像素值。
其中，上述像素值为像素点对应的灰度值，包括各个颜色分量的灰度值。
S103：分别获取以每一所述像素点为中心的各个第一尺寸图像块，在所述原始图像中，确定与每一所述像素点分别对应的原始像素点，并分别获取以每一所述原始像素点为中心的各个第二尺寸图像块。
在上采样图像L1中，对于每一个像素点，提取一个第一尺寸图像块。该第一尺寸图像块的中心点为该像素点，其尺寸大小为第一预设尺寸。并且，确定该像素点所在的图像位置。确定上采样图像L1中该图像位置对应于原始图像L中的一个原始位置后，以位于该原始位置的一个像素点为中心，提取一个第二尺寸图像块，其尺寸大小为第二预设尺寸。其中，第二预设尺寸大于第一预设尺寸。此后，读取第一尺寸图像块的各个像素点的像素值以及第二尺寸图像块的各个像素点的像素值。
优选地，第一预设尺寸为5×5，第二预设尺寸为9×9。此时，读取出的第一尺寸图像块的像素值有5×5＝25个，第二尺寸图像块的像素值有9×9＝108个。
S104：确定每一所述第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置。
将第一尺寸图像块叠加于第二尺寸图像块后，在第二尺寸图像块所在的面积范围内，对第一尺寸图像块进行移动。最优匹配位置表示第一尺寸图像块与第二尺寸图像块具有最大匹配度时所对应的一个位置。其中，匹配度为第一尺寸图像块与第二尺寸图像块的相似程度。
为了快速获取上述最优匹配位置，本发明实施例中，基于神经网络模型来输出每一第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置。具体地，如图2所示，上述S104包括：
S201：构建并训练基于多张训练图像的神经网络模型，所述神经网络模型用于对输入的第一像素向量进行处理，以输出最优匹配位置。
S202：生成第一像素向量，所述第一像素向量中的各个元素分别为所述第一尺寸图像块中的各个像素值以及与该第一尺寸图像块对应的第二尺寸图像块中的各个像素值。
对于上采样图像Llow1中每一个第一尺寸图像块及该第一尺寸图像块对应的一个第二尺寸图像块，以其作为一对图像块。每一对图像块生成一个第一像素向量。将一对图像块中像素值的总个数输出为该对图像块所对应生成的第一像素向量的维度，将该对图像块中的每一个像素值输出为该对图像块所对应生成的第一像素向量的各个元素。
当第一预设尺寸为5×5，第二预设尺寸为9×9时，第一尺寸图像块的像素值与第二尺寸图像块的像素值的总个数为5×5+9×9＝106个，因此，对于该对图像块，生成106维的第一像素向量且其中，ai为第一尺寸图像块中的各个像素值，bj为第二尺寸图像块中的各个像素值，i,j∈Z，且1≤i≤25，1≤j≤81。
S203：将所述第一像素向量输入所述神经网络模型，以输出所述第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置。
由于神经网络模型的各个参数已预先训练完成，故只需将多维的第一像素向量作为输入参数输入神经网络模型，经过神经网络模型的分析处理后，并能快速、直接地输出第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置。其中，该第一尺寸图像块与第二尺寸图像块构成一对图像块，且与作为输入参数的第一像素向量关联。
作为本发明的一个实施例，如图3所示，上述S201具体包括：
S301：获取多张训练图像。
本发明实施例中，预先创建训练图像集。上述训练图像集包括N1张训练图像，每一张训练图像均为视频数据终常见的一帧图像，具有较高的代表性。N1为整数。
S302：基于超分辨率重建任务的目标放大比例，对所述训练图像进行缩小处理，以得到每一所述训练图像对应的缩小图。
在执行图像的超分辨率重建任务时，依照终端默认的重建规则，获取原始图像的目标放大比例。例如，目标放大比例可以为4×4＝16倍。以该目标放大比例为缩放比例，对每一张训练图像进行缩小处理。
具体地，在执行缩小处理的过程中，为每一张训练图像进行双三次下采样处理，即，以该目标放大比例，对每一张训练图像连续执行多次下采样处理，以得到分辨率较低的小图。并且，将每一张训练图像本身直接输出为该训练图像所对应的一张大图。则对于一张训练图像来说，其包含一对大图和小图。因此，在包含N1张训练图像的训练图像集中，共存在有N1个大小图像对。
S303：在每一所述训练图像中，提取多个第一尺寸图像块，每一所述第一尺寸图像块分别以该训练图像的一个像素点为中心，并在与该训练图像对应的所述缩小图中，提取与每一第一尺寸图像块分别对应的第二尺寸图像块。
在训练图像集的每幅大图中，随机提取N2(N1∈Z)个具有第一预设尺寸的第一尺寸图像块，其中，每个第一尺寸图像块的中心点均为大图中的一个像素点。对于每一个第一尺寸图像块，根据该图像块中心点所处的位置，在相应的小图中，选取与该位置对应的一个位置点，并获取位于该位置点的一个像素点。在该小图中，以该像素点为中心，截取具有第二预设尺寸的第二尺寸图像块。则该第二尺寸图像块与第一尺寸图像块对应，二者构成一对图像块。因此，在训练图像集的N1个大小图像对中，基于上述图像块提取方式，能够获得N1×N2对图像块。
特别地，当第一预设尺寸为5×5，第二预设尺寸为9×9时，基于上述图像块提取方式，能够获得N1×N2对尺度分别为5×5和9×9的图像块。
S304：根据预设的图像匹配算法，分别确定每个第一尺寸图像块在其对应的第二尺寸图像块中的最佳匹配位置。
将第一尺寸图像块叠加于第二尺寸图像块后，在第二尺寸图像块所在的面积范围内，对第一尺寸图像块进行移动。最优匹配位置表示第一尺寸图像块与其重叠的第二尺寸图像块区域具有最大匹配度时所对应的一个位置。其中，匹配度为第一尺寸图像块与第二尺寸图像块的相似程度。
对于大图中截取的一个第一尺寸图像块，其在小图中对应截取的第二尺寸图像块中，搜索最佳匹配位置。第一尺寸图像块每次移动一个像素点的距离。例如，可以从第二尺寸图像块的左上角开始，先沿右方移动至顶端后，再向下方移动。因此，在水平和竖直方向上，第一尺寸图像块均有多种移动模式。
例如，如图4所示，5×5的第一尺寸图像块在9×9的第二尺寸图像块中移动时，在水平和竖直方向上，第一尺寸图像块均有5种移动模式，移动步数分别为0至4，共有25种可能出现的匹配位置。
本发明实施例中，通过图像匹配算法来衡量第一尺寸图像块与其重叠的第二尺寸图像块区域的匹配度。图像匹配算法包括但不限于平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)、平均误差平方和算法(MSD)、归一化积相关算法(NCC)等。
优选地，本发明实施例中，图像匹配算法为SAD算法，其计算公式如下：
其中，W1表示提取出的第一尺寸图像块中像素点A的像素值，W2表示提取出的第二尺寸图像块中与像素点A重叠的像素点B的像素值，SAD(W1-W2)表示第一尺寸图像块与其重叠的第二尺寸图像块区域的匹配度误差。
由于匹配度误差越小，图像相似程度越高，因此，通过SAD算法计算出各个匹配位置的匹配度后，将匹配度误差最小的一个匹配位置输出为第一尺寸图像块在其对应的第二尺寸图像块中的最佳匹配位置。
S305：对于每一第一尺寸图像块及其对应的第二尺寸图像块，生成与其关联的第二像素向量，并根据所述最佳匹配位置，生成所述第二像素向量对应的匹配位置向量。
为每对大小图像块生成一个第二像素向量，第二像素向量的维度与上述第一像素向量的维度相同。
作为本发明的一个实施例，如图5所示，上述S305包括：
S501：对于每一第一尺寸图像块及其对应的第二尺寸图像块，获取该第一尺寸图像块以及该第二尺寸图像块中的各个像素值。
S502：生成包含所述各个像素值的第二像素向量。
本发明实施例中，在一对图像块中，将该对图像块所包含的像素值的总个数输出为该对图像块所对应生成的第二像素向量的维度，将该对图像块中的每一个像素值输出为该对图像块所对应生成的第二像素向量的各个元素。
S503：获取第一尺寸图像块在其对应的第二尺寸图像块中的各个匹配位置，分别生成与每个匹配位置对应的元素，其中，将最佳匹配位置对应的元素设置为第一数值，将其他匹配位置对应的元素设置为第二数值。
以可能出现的匹配位置的数量作为匹配位置向量的维度。将最佳匹配位置所对应生成的元素标记为1，将除了最佳匹配位置外所有可能出现的匹配位置所对应生成的各个元素均标记为0。
S504：生成包含各个匹配位置所对应的元素的匹配位置向量。
将每对大小图像块所可能出现的各个匹配位置所对应的元素，作为匹配位置向量的元素。
当第一预设尺寸为5×5，第二预设尺寸为9×9时，由于具有25种可能出现的匹配位置，因此，对于该对图像块，生成25维的匹配位置向量且中包含24个标记为0的元素，包含1个标记为1的元素。并且标记为1的元素在匹配位置向量的放置位置与最佳匹配位置相对应。
S306：基于各个所述第二像素向量及其对应的所述匹配位置向量，训练神经网络模型。
将每对大小图像块所对应的第二像素向量及匹配位置向量作为神经网络模型的输入参数，对预先构建的神经网络模型进行训练。
本发明实施例中，选用三层尺度分别为128、64、32的全连接神经网络模型，激活函数为tanh函数。该神经网络模型的最后一层为25维的softmax回归网络。具体网络结构可参见附图6。
S105：在所述原始图像中，获取所述最优匹配位置的高频像素值，并将每一所述像素点的所述高频像素值与该像素点的所述低频像素值进行相加处理，以根据处理结果得到所述超分辨率重建图像。
原始图像中包含多个高频像素值，高频像素值即用于描述图像细节特征的像素点的像素值。当确定上采样图像L1中以一个像素点为中心点的一个第一尺寸图像块在其对应的第二尺寸图像块中的最佳匹配位置后，将原始图像中该最佳匹配位置的像素值输出为超分辨率重建图像中与该像素点对应的一个像素点的高频像素值。
由S102可知，超分辨率重建图像中该像素点的低频像素值已知，因此，将该像素点的高频像素值与低频像素值相加，可得出该像素点实际所对应的像素值。通过计算超分辨率重建图像中每个像素点的像素值，能够构建出基于原始图像的超分辨率重建图像。
作为本发明的一个实施例，如图7所示，上述S105具体包括：
S701：对所述原始图像进行下采样处理，得到下采样图像中的各个像素点。
下采样也称为取样或抽取，是上采样的逆过程。对原始图像L进行下采样处理，即对原始图像L进行缩小处理。执行缩小操作时，终端会在原始图像L中依照预设的抽取规则抽取多个像素点，以使缩小后的原始图像显示较少的图像信息。将下采样处理所得到的各个像素点所共同构成的一个图像输出为下采样图像L2。
S702：对所述下采样图像进行上采样处理，得到上采样图像中的各个像素点。
本发明实施例中，上采样处理的过程与上述S102中的上采样处理过程的实现相同，因此不再一一赘述。对下采样图像进行上采样处理后，将此次上采样处理所得到的各个像素点所共同构成的一个图像输出为上采样图像L3。上采样图像L3中的每个像素值仅具备原始图像L中的低频信息部分。
S703：对于原始图像中的每一像素点，获取所述原始图像以及所述上采样图像中分别与该像素点对应的第一像素值以及第二像素值，并对所述第一像素值以及第二像素值做差值处理，以得到所述原始图像中各个像素点的高频像素值。
原始图像L中的每一位置点均具有一个像素点。对于每一位置点上的一个像素点，将其像素值称为第一像素值。若上采样图像L3中包含该像素点，则将上采样图像L3中该像素点的像素值称为第二像素值。若上采样图像L3中不包含该像素点，则将与该像素点对应的第二像素值确定为空值。
基于同一像素点所得到的第一像素值与第二像素值，将该第一像素值减去该第二像素值，可得到原始图像L中该像素点的高频像素值。
S704：在所述原始图像的各个高频像素值中，确定与所述最优匹配位置对应的一个高频像素值。
在原始图像中，确定出最优匹配位置所对应的一个像素点，则将该像素点的像素值输出为超分辨率重建图像中与该像素点对应的一个像素点的高频像素值。
为了便于理解上述各个实施步骤，作为本发明的一个实施示意图，上述原始图像L、上采样图像L1、下采样图像L2、上采样图像L3以及超分辨率重建图像Lout的关系具体如图8所示。
本发明实施例中，通过对原始图像进行简单的采样处理，获取各个像素点的低频像素值，并应用训练好的神经网络模型快速地完成图像高频信息的检索，能够基于最优匹配位置来准确获取图像的高频像素值，使得在将超分辨率重建图像中每一像素点的高频像素值与低频像素值进行相加处理后，能够得到像素值更为准确的超分辨率图像，得到更好的图像重建效果。由于本发明实施例提供的超分辨率重建方法基于软件来实现，无须依赖造价较高的图像传感器，因而成本较低。同时，基于上述实现步骤可知，本发明实施例提供的超分辨率重建方法计算量较小，因此，提高了图像重建的速度，从而在实际应用中，能够实时完成高分辨率图像的重建任务，使得图像片源能够得以优化，由此提升了用户的观影体验。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的超分辨率重建方法，图9示出了本发明实施例提供的超分辨率重建装置的结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。
参照图9，该装置91包括：
第一获取单元911，用于获取原始图像。
上采样单元912，用于对所述原始图像进行上采样处理，得到超分辨率重建图像中各个像素点的低频像素值。
第二获取单元913，用于分别获取以每一所述像素点为中心的各个第一尺寸图像块，在所述原始图像中，确定与每一所述像素点分别对应的原始像素点，并分别获取以每一所述原始像素点为中心的各个第二尺寸图像块。
确定单元914，用于确定每一所述第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置。
重建单元915，用于在所述原始图像中，获取所述最优匹配位置的高频像素值，并将每一所述像素点的所述高频像素值与该像素点的所述低频像素值进行相加处理，以根据处理结果得到所述超分辨率重建图像。
可选地，所述确定单元914包括：
训练子单元，用于构建并训练基于多张训练图像的神经网络模型，所述神经网络模型用于对输入的第一像素向量进行处理，以输出最优匹配位置。
生成子单元，用于生成第一像素向量，所述第一像素向量中的各个元素分别为所述第一尺寸图像块中的各个像素值以及与该第一尺寸图像块对应的第二尺寸图像块中的各个像素值。
输出子单元，用于将所述第一像素向量输入所述神经网络模型，以输出所述第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置。
可选地，所述训练子单元具体用于：
获取多张训练图像；
基于超分辨率重建任务的目标放大比例，对所述训练图像进行缩小处理，以得到每一所述训练图像对应的缩小图；
在每一所述训练图像中，提取多个第一尺寸图像块，每一所述第一尺寸图像块分别以该训练图像的一个像素点为中心，并在与该训练图像对应的所述缩小图中，提取与每一第一尺寸图像块分别对应的第二尺寸图像块；
根据预设的图像匹配算法，分别确定每个第一尺寸图像块在其对应的第二尺寸图像块中的最佳匹配位置；
对于每一第一尺寸图像块及其对应的第二尺寸图像块，生成与其关联的第二像素向量，并根据所述最佳匹配位置，生成所述第二像素向量对应的匹配位置向量；
基于各个所述第二像素向量及其对应的所述匹配位置向量，训练神经网络模型。
可选地，所述训练子单元还用于：
对于每一第一尺寸图像块及其对应的第二尺寸图像块，获取该第一尺寸图像块以及该第二尺寸图像块中的各个像素值；
生成包含所述各个像素值的第二像素向量；
获取第一尺寸图像块在其对应的第二尺寸图像块中的各个匹配位置，分别生成与每个匹配位置对应的元素，其中，将最佳匹配位置对应的元素设置为第一数值，将其他匹配位置对应的元素设置为第二数值；
生成包含各个匹配位置所对应的元素的匹配位置向量。
可选地，所述重建单元915包括：
下采样子单元，用于对所述原始图像进行下采样处理，得到下采样图像中的各个像素点；
上采样子单元，用于对所述下采样图像进行上采样处理，得到上采样图像中的各个像素点；
差值计算子单元，用于对于原始图像中的每一像素点，获取所述原始图像以及所述上采样图像中分别与该像素点对应的第一像素值以及第二像素值，并对所述第一像素值以及第二像素值做差值处理，以得到所述原始图像中各个像素点的高频像素值；
确定子单元，用于在所述原始图像的各个高频像素值中，确定与所述最优匹配位置对应的一个高频像素值。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种超分辨率重建方法，其特征在于，包括：
获取原始图像；
对所述原始图像进行上采样处理，得到超分辨率重建图像中各个像素点的低频像素值；
分别获取以每一所述像素点为中心的各个第一尺寸图像块，在所述原始图像中，确定与每一所述像素点分别对应的原始像素点，并分别获取以每一所述原始像素点为中心的各个第二尺寸图像块；
确定每一所述第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置；
在所述原始图像中，获取所述最优匹配位置的高频像素值，并将每一所述像素点的所述高频像素值与该像素点的所述低频像素值进行相加处理，以根据处理结果得到所述超分辨率重建图像。
2.如权利要求1所述的超分辨率重建方法，其特征在于，所述确定每一所述第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置，包括：
构建并训练基于多张训练图像的神经网络模型，所述神经网络模型用于对输入的第一像素向量进行处理，以输出最优匹配位置；
生成第一像素向量，所述第一像素向量中的各个元素分别为所述第一尺寸图像块中的各个像素值以及与该第一尺寸图像块对应的第二尺寸图像块中的各个像素值；
将所述第一像素向量输入所述神经网络模型，以输出所述第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置。
3.如权利要求2所述的超分辨率重建方法，其特征在于，所述构建并训练基于多张训练图像的神经网络模型，包括：
获取多张训练图像；
基于超分辨率重建任务的目标放大比例，对所述训练图像进行缩小处理，以得到每一所述训练图像对应的缩小图；
在每一所述训练图像中，提取多个第一尺寸图像块，每一所述第一尺寸图像块分别以该训练图像的一个像素点为中心，并在与该训练图像对应的所述缩小图中，提取与每一第一尺寸图像块分别对应的第二尺寸图像块；
根据预设的图像匹配算法，分别确定每个第一尺寸图像块在其对应的第二尺寸图像块中的最佳匹配位置；
对于每一第一尺寸图像块及其对应的第二尺寸图像块，生成与其关联的第二像素向量，并根据所述最佳匹配位置，生成所述第二像素向量对应的匹配位置向量；
基于各个所述第二像素向量及其对应的所述匹配位置向量，训练神经网络模型。
4.如权利要求3所述的超分辨率重建方法，其特征在于，所述对于每一第一尺寸图像块及其对应的第二尺寸图像块，生成与其关联的第二像素向量，并根据所述最佳匹配位置，生成所述第二像素向量对应的匹配位置向量，包括：
对于每一第一尺寸图像块及其对应的第二尺寸图像块，获取该第一尺寸图像块以及该第二尺寸图像块中的各个像素值；
生成包含所述各个像素值的第二像素向量；
获取第一尺寸图像块在其对应的第二尺寸图像块中的各个匹配位置，分别生成与每个匹配位置对应的元素，其中，将最佳匹配位置对应的元素设置为第一数值，将其他匹配位置对应的元素设置为第二数值；
生成包含各个匹配位置所对应的元素的匹配位置向量。
5.如权利要求1所述的超分辨率重建方法，其特征在于，所述在所述原始图像中，获取所述最优匹配位置的高频像素值，包括：
对所述原始图像进行下采样处理，得到下采样图像中的各个像素点；
对所述下采样图像进行上采样处理，得到上采样图像中的各个像素点；
对于原始图像中的每一像素点，获取所述原始图像以及所述上采样图像中分别与该像素点对应的第一像素值以及第二像素值，并对所述第一像素值以及第二像素值做差值处理，以得到所述原始图像中各个像素点的高频像素值；
在所述原始图像的各个高频像素值中，确定与所述最优匹配位置对应的一个高频像素值。
6.一种超分辨率重建装置，其特征在于，包括：
第一获取单元，用于获取原始图像；
上采样单元，用于对所述原始图像进行上采样处理，得到超分辨率重建图像中各个像素点的低频像素值；
第二获取单元，用于分别获取以每一所述像素点为中心的各个第一尺寸图像块，在所述原始图像中，确定与每一所述像素点分别对应的原始像素点，并分别获取以每一所述原始像素点为中心的各个第二尺寸图像块；
确定单元，用于确定每一所述第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置；
重建单元，用于在所述原始图像中，获取所述最优匹配位置的高频像素值，并将每一所述像素点的所述高频像素值与该像素点的所述低频像素值进行相加处理，以根据处理结果得到所述超分辨率重建图像。
7.如权利要求6所述的超分辨率重建装置，其特征在于，所述确定单元包括：
训练子单元，用于构建并训练基于多张训练图像的神经网络模型，所述神经网络模型用于对输入的第一像素向量进行处理，以输出最优匹配位置；
生成子单元，用于生成第一像素向量，所述第一像素向量中的各个元素分别为所述第一尺寸图像块中的各个像素值以及与该第一尺寸图像块对应的第二尺寸图像块中的各个像素值；
输出子单元，用于将所述第一像素向量输入所述神经网络模型，以输出所述第一尺寸图像块在其对应的第二尺寸图像块中的最优匹配位置。
8.如权利要求7所述的超分辨率重建装置，其特征在于，所述训练子单元具体用于：
获取多张训练图像；
基于超分辨率重建任务的目标放大比例，对所述训练图像进行缩小处理，以得到每一所述训练图像对应的缩小图；
在每一所述训练图像中，提取多个第一尺寸图像块，每一所述第一尺寸图像块分别以该训练图像的一个像素点为中心，并在与该训练图像对应的所述缩小图中，提取与每一第一尺寸图像块分别对应的第二尺寸图像块；
根据预设的图像匹配算法，分别确定每个第一尺寸图像块在其对应的第二尺寸图像块中的最佳匹配位置；
对于每一第一尺寸图像块及其对应的第二尺寸图像块，生成与其关联的第二像素向量，并根据所述最佳匹配位置，生成所述第二像素向量对应的匹配位置向量；
基于各个所述第二像素向量及其对应的所述匹配位置向量，训练神经网络模型。
9.如权利要求8所述的超分辨率重建装置，其特征在于，所述训练子单元还用于：
对于每一第一尺寸图像块及其对应的第二尺寸图像块，获取该第一尺寸图像块以及该第二尺寸图像块中的各个像素值；
生成包含所述各个像素值的第二像素向量；
获取第一尺寸图像块在其对应的第二尺寸图像块中的各个匹配位置，分别生成与每个匹配位置对应的元素，其中，将最佳匹配位置对应的元素设置为第一数值，将其他匹配位置对应的元素设置为第二数值；
生成包含各个匹配位置所对应的元素的匹配位置向量。
10.如权利要求6所述的超分辨率重建装置，其特征在于，所述重建单元包括：
下采样子单元，用于对所述原始图像进行下采样处理，得到下采样图像中的各个像素点；
上采样子单元，用于对所述下采样图像进行上采样处理，得到上采样图像中的各个像素点；
差值计算子单元，用于对于原始图像中的每一像素点，获取所述原始图像以及所述上采样图像中分别与该像素点对应的第一像素值以及第二像素值，并对所述第一像素值以及第二像素值做差值处理，以得到所述原始图像中各个像素点的高频像素值；
确定子单元，用于在所述原始图像的各个高频像素值中，确定与所述最优匹配位置对应的一个高频像素值。
CN201710330449.8A 2017-05-11 2017-05-11 超分辨率重建方法及装置 Active CN108876716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710330449.8A CN108876716B (zh) 2017-05-11 2017-05-11 超分辨率重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710330449.8A CN108876716B (zh) 2017-05-11 2017-05-11 超分辨率重建方法及装置

Publications (2)

Publication Number Publication Date
CN108876716A true CN108876716A (zh) 2018-11-23
CN108876716B CN108876716B (zh) 2020-09-11

Family

ID=64319443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710330449.8A Active CN108876716B (zh) 2017-05-11 2017-05-11 超分辨率重建方法及装置

Country Status (1)

Country Link
CN (1) CN108876716B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727316A (zh) * 2019-01-04 2019-05-07 京东方科技集团股份有限公司 虚拟现实图像的处理方法及其系统
CN110049242A (zh) * 2019-04-18 2019-07-23 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN110930338A (zh) * 2019-11-29 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
CN111010509A (zh) * 2019-12-05 2020-04-14 Oppo广东移动通信有限公司 图像处理方法、终端、图像处理系统和计算机可读存储介质
CN113362249A (zh) * 2021-06-24 2021-09-07 平安普惠企业管理有限公司 文字图像合成方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639937A (zh) * 2009-09-03 2010-02-03 复旦大学 一种基于人工神经网络的超分辨率方法
CN103379351A (zh) * 2012-04-28 2013-10-30 中国移动通信集团山东有限公司 一种视频处理方法及装置
CN104217203A (zh) * 2013-06-03 2014-12-17 支付宝（中国）网络技术有限公司 复杂背景卡面信息识别方法及系统
CN106548452A (zh) * 2016-11-25 2017-03-29 阿依瓦（北京）技术有限公司 一种图像增强设备和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101639937A (zh) * 2009-09-03 2010-02-03 复旦大学 一种基于人工神经网络的超分辨率方法
CN103379351A (zh) * 2012-04-28 2013-10-30 中国移动通信集团山东有限公司 一种视频处理方法及装置
CN104217203A (zh) * 2013-06-03 2014-12-17 支付宝（中国）网络技术有限公司 复杂背景卡面信息识别方法及系统
CN106548452A (zh) * 2016-11-25 2017-03-29 阿依瓦（北京）技术有限公司 一种图像增强设备和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
I-LING CHUNG等: "Applying neural network on image up-sampling to promote the efficiency of texture matching", 《2016 INTERNATIONAL CONFERENCE ON APPLIED SYSTEM INNOVATION(ICASI)》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727316A (zh) * 2019-01-04 2019-05-07 京东方科技集团股份有限公司 虚拟现实图像的处理方法及其系统
CN109727316B (zh) * 2019-01-04 2024-02-02 京东方科技集团股份有限公司 虚拟现实图像的处理方法及其系统
CN110049242A (zh) * 2019-04-18 2019-07-23 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN110930338A (zh) * 2019-11-29 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
CN110930338B (zh) * 2019-11-29 2023-06-23 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
CN111010509A (zh) * 2019-12-05 2020-04-14 Oppo广东移动通信有限公司 图像处理方法、终端、图像处理系统和计算机可读存储介质
CN111010509B (zh) * 2019-12-05 2022-02-18 Oppo广东移动通信有限公司 图像处理方法、终端、图像处理系统和计算机可读存储介质
CN113362249A (zh) * 2021-06-24 2021-09-07 平安普惠企业管理有限公司 文字图像合成方法、装置、计算机设备及存储介质
CN113362249B (zh) * 2021-06-24 2023-11-24 广州云智达创科技有限公司 文字图像合成方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN108876716B (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
Lan et al. MADNet: a fast and lightweight network for single-image super resolution
Fan et al. Balanced two-stage residual networks for image super-resolution
CN108876716A (zh) 超分辨率重建方法及装置
US20100124383A1 (en) Systems and methods for resolution-invariant image representation
Hayat Super-resolution via deep learning
Xie et al. Deep coordinate attention network for single image super‐resolution
Li et al. Deep learning methods in real-time image super-resolution: a survey
Huang et al. Single image super-resolution via multiple mixture prior models
Sheng et al. Cross-view recurrence-based self-supervised super-resolution of light field
Li et al. A two-channel convolutional neural network for image super-resolution
Zuo et al. Residual dense network for intensity-guided depth map enhancement
CN112132739A (zh) 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
Liu et al. Multi-scale residual hierarchical dense networks for single image super-resolution
Yung et al. Efficient feature-based image registration by mapping sparsified surfaces
Bastanfard et al. Toward image super-resolution based on local regression and nonlocal means
Feng et al. Guided filter‐based multi‐scale super‐resolution reconstruction
Liu et al. Single image super-resolution using a deep encoder–decoder symmetrical network with iterative back projection
Zhang et al. Satellite image super-resolution based on progressive residual deep neural network
Fu et al. Image super-resolution using TV priori guided convolutional network
CN114283152A (zh) 图像处理、图像处理模型的训练方法、装置、设备及介质
Chen et al. Face super resolution based on parent patch prior for VLQ scenarios
Yuan et al. Depth map super-resolution via low-resolution depth guided joint trilateral up-sampling
Shi et al. Symmetric uncertainty-aware feature transmission for depth super-resolution
CN116469172A (zh) 一种多时间尺度下的骨骼行为识别视频帧提取方法及系统
Yue et al. Remote-sensing image super-resolution using classifier-based generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 516006 TCL technology building, No.17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province

Applicant after: TCL Technology Group Co.,Ltd.

Address before: 516006 Guangdong province Huizhou Zhongkai hi tech Development Zone No. nineteen District

Applicant before: TCL RESEARCH AMERICA Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant