CN112801879A - 图像超分辨率重建方法、装置、电子设备及存储介质 - Google Patents

图像超分辨率重建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112801879A
CN112801879A CN202110178044.3A CN202110178044A CN112801879A CN 112801879 A CN112801879 A CN 112801879A CN 202110178044 A CN202110178044 A CN 202110178044A CN 112801879 A CN112801879 A CN 112801879A
Authority
CN
China
Prior art keywords
image
reconstructed
channel
interpolation
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110178044.3A
Other languages
English (en)
Other versions
CN112801879B (zh
Inventor
程志鹏
王�琦
潘兴浩
雷健
丁丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bravo Technology Co ltd
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
Beijing Bravo Technology Co ltd
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bravo Technology Co ltd, China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd, MIGU Culture Technology Co Ltd filed Critical Beijing Bravo Technology Co ltd
Priority to CN202110178044.3A priority Critical patent/CN112801879B/zh
Publication of CN112801879A publication Critical patent/CN112801879A/zh
Application granted granted Critical
Publication of CN112801879B publication Critical patent/CN112801879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像超分辨率重建方法、装置、电子设备及存储介质；方法包括：对待重建图像中的UV通道的数据进行插值放大；根据待重建图像中的Y通道的数据，为待重建图像中的像素点建立索引，根据索引确定所述像素点所对应的插值模板；其中，所述索引包括用于表示图像块中的图像边缘位置信息的第四参数；根据待重建图像中的像素点所对应的插值模板，对待重建图像中的Y通道的数据进行插值放大；将经过插值放大后的Y通道的数据与经过插值放大后的UV通道的数据进行合并，得到超分辨重建后的图像。本发明能减少计算量，有效抑制对直线边缘放大时产生的振铃效应。

Description

图像超分辨率重建方法、装置、电子设备及存储介质
技术领域
本发明涉及图像增强技术领域，尤其涉及一种图像超分辨率重建方法、装置、电子设备及存储介质。
背景技术
在电子图像应用领域中，高分辨率图像能够向用户提供更多的细节，因此在医疗、导航、计算机视觉等多个领域都有着广泛的用途。
由于图像采集装置会受到技术、价格、拍摄条件等外部因素的制约，因此由图像采集装置所拍摄的图像的分辨率未必能够满足分辨率要求。此时需要增强图像的分辨率。
超分辨率(Super-Resolution)技术通过硬件或软件的方法提高原有图像的分辨率。具体的说，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。
目前业界比较好的超分辨率重建方法都是基于深度学习的方法，但是基于深度学习的方法普遍存在运算量大的问题，对硬件要求较高，移动设备较难实现实时的超分辨率重建效果。美国谷歌公司推出的RAISR(Rapid and Accurate Image Super-Resolution，快速、精确的超分辨率技术)方法，能利用机器学习，把低分辨率图片转为高分辨率图片。它的效果能达到甚至超过现在的超分辨率解决方案，同时速度提升大约10至100倍，且能够在普通的移动设备上运行。
但现有的RAISR方法对待处理图像的直线边缘做放大时会产生振铃效应(振铃效应表现为输出图像的灰度剧烈变化处会产生震荡)。此外，现有的RAISR方法的运算量依然偏大。
发明内容
针对现有技术中所存在的问题，本发明提供一种图像超分辨率重建方法、装置、电子设备及存储介质。
第一方面，本发明提供一种图像超分辨重建方法，包括：
对待重建图像中的UV通道的数据进行插值放大；
根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点建立索引，根据所述索引确定所述像素点所对应的插值模板；其中，所述索引包括用于表示图像块中的图像边缘位置信息的第一参数；
根据所述待重建图像中的像素点所对应的插值模板，对所述待重建图像中的Y通道的数据进行插值放大；
将经过插值放大后的Y通道的数据与经过插值放大后的UV通道的数据进行合并，得到超分辨重建后的图像。
根据本发明提供的一种图像超分辨重建方法，所述根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点建立索引，根据所述索引确定所述像素点所对应的插值模板，包括：
为所述待重建图像建立Y通道的水平方向的梯度图和垂直方向的梯度图；
基于预设的窗口对所述待重建图像在Y通道的水平方向的梯度图和垂直方向的梯度图进行特征提取，确定所述待重建图像在所述窗口内的特征矩阵系数；
根据所述特征矩阵系数，计算所述待重建图像中的像素点的索引；其中，所述索引包括：用于表示图像块中的图像边缘位置信息的第一参数，用于表示图像块的边缘强度的第二参数，用于表示图像块中的交叉的两个边缘的强度的比值的第三参数以及用于表示图像块中的图像边缘方向的余弦值的第四参数；
根据所述待重建图像中的像素点的索引，从预先训练的插值模板查找表中确定所述像素点所对应的插值模板。
根据本发明提供的一种图像超分辨重建方法，所述根据所述特征矩阵系数，计算所述待重建图像中的像素点的索引，包括：
根据所述特征矩阵系数，计算用于表示图像块中的图像边缘位置信息的第一参数；其计算公式为：
k＝min(max(axc1+ays1+2,0),3)；
其中，
Figure BDA0002940613120000031
Figure BDA0002940613120000032
k为用于表示图像块中的图像边缘位置信息的第一参数；a、b和c均为特征矩阵系数，其中a＝BoxBlurm×m(Gx·Gx),b＝BoxBlurm×m(Gx·Gy)，c＝BoxBlurm×m(Gy·Gy)，BoxBlurm×m表示做窗口大小为m×m的均值滤波，Gx为待重建图像Y通道上的水平方向的梯度图，Gy为待重建图像Y通道上的垂直方向的梯度图；ε为一个预先设定的数值；Δ＝(a-c)2+4b2；
Figure BDA0002940613120000033
[ax,ay]＝PatchCenterm(Gx,Gy)；
PatchCenterm(Gx,Gy)＝[XaYa]；
其中，
Xa(x,y)＝P(x,y)-x；
Ya(x,y)＝S(x,y)-y；
Figure BDA0002940613120000034
Ax(x,y)＝x·A(x,y)；
Ay(x,y)＝y·A(x,y)；
A(x,y)＝|Gx(x,y)|+|Gy(x,y)|。
根据本发明提供的一种图像超分辨重建方法，所述根据所述特征矩阵系数，计算所述待重建图像中的像素点的索引，包括：
根据所述特征矩阵系数，计算用于表示图像块的边缘强度的第二参数，其计算公式为：
s＝a+c；
其中，s为用于表示图像块的边缘强度的第二参数；a和c均为特征矩阵系数，其中a＝BoxBlurm×m(Gx·Gx),c＝BoxBlurm×m(Gy·Gy)，BoxBlurm×m表示做窗口大小为m×m的均值滤波，Gx为待重建图像Y通道上的水平方向的梯度图，Gy为待重建图像Y通道上的垂直方向的梯度图；
根据所述特征矩阵系数，计算用于表示图像块中的交叉的两个边缘的强度的比值的第三参数，其计算公式为：
Figure BDA0002940613120000041
其中，h为用于表示图像块中的交叉的两个边缘的强度的比值的第三参数；ε为一个预先设定的数值；Δ＝(a-c)2+4b2，b为特征矩阵系数，b＝BoxBlurm×m(Gx·Gy)；
根据所述特征矩阵系数，计算用于表示图像块中的图像边缘方向的余弦值的第四参数，其计算公式为：
Figure BDA0002940613120000042
其中，
Figure BDA0002940613120000043
g为用于表示图像块中的图像边缘方向的余弦值的第四参数。
根据本发明提供的一种图像超分辨重建方法，所述根据所述待重建图像中的像素点的索引，从预先训练得到的插值模板查找表中确定所述像素点所对应的插值模板，包括：
对所述像素点的索引进行索引量化；
基于经过量化后的索引，从预先训练得到的插值模板查找表中确定所述像素点所对应的插值模板。
根据本发明提供的一种图像超分辨重建方法，所述根据所述待重建图像中的像素点所对应的插值模板，对所述待重建图像中的Y通道的数据进行插值放大，包括：
对于待重建图像上的第一像素点，按照插值放大公式进行插值处理，得到与所述第一像素点相对应的r×r个像素点；其中，所述第一像素点为待重建图像上的任意一个像素点；所述插值放大公式为：
Figure BDA0002940613120000051
Δx＝0,1,…,r-1；
Δy＝0,1,…,r-1。
其中，x、y为所述第一像素点的坐标；Δx、Δy为与所述第一像素点相对应的r×r个像素点中任意一个像素点的坐标；Y表示YUV的Y通道；Z是经过插值放大后的Y；W为第一像素点所对应的插值模板的模板系数，W＝H(Δx,Δy,k,qg,qs,qh)，H表示插值模板查找表；k为所述第一参数；qg为量化后的第四参数；qs为量化后的第二参数；qh为量化后的第三参数。
根据本发明提供的一种图像超分辨重建方法，方法还包括：
将待重建图像转换为三通道分离的YUV图像。
第二方面，本发明提供一种图像超分辨重建装置，包括：
UV通道数据插值放大模块，用于对待重建图像中的UV通道的数据进行插值放大；
插值模板确定模块，用于根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点建立索引，根据所述索引确定所述像素点所对应的插值模板；其中，所述索引包括用于表示图像块中的图像边缘位置信息的第一参数；
Y通道数据插值放大模块，用于根据所述待重建图像中的像素点所对应的插值模板，对所述待重建图像中的Y通道的数据进行插值放大；
合并模块，用于将经过插值放大后的Y通道的数据与经过插值放大后的UV通道的数据进行合并，得到超分辨重建后的图像。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面所述图像超分辨重建方法的步骤。
第三方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面所述图像超分辨重建方法的步骤。
本发明实施例提供的图像超分辨率重建方法、装置、电子设备及存储介质，只对待重建图像中的Y通道进行复杂的插值操作，UV通道采用传统的插值方法，可以在主观感受接近的情况下，减少2/3的运算量；通过增加图像边缘的位置信息作为索引量，使得在同一个插值窗口内的像素，离边缘越远的像素，边缘的权值就越小，有效抑制对直线边缘放大时产生的振铃效应。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的图像超分辨率重建方法的流程图；
图2为本发明提供的图像超分辨重建装置的结构示意图；
图3为本发明所涉及的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的图像超分辨率重建方法的流程图，如图1所示，本发明提供的图像超分辨率重建方法，包括：
步骤101、对待重建图像中的UV通道的数据进行插值放大。
待重建图像是指要进行图像超分辨率重建的图像。在本实施例中，所述待重建图像的数据格式为YUV格式。其中，“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；“U”和“V”表示色度(Chrominance或Chroma)，其作用是描述影像色彩及饱和度，用于指定像素的颜色。
在本实施例中，对待重建图像中的UV通道的数据进行插值放大可采用双三次插值(Bicubic interpolation)方法。在其他实施例中，也可以采用其他类型的插值方法。
步骤102、根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点建立索引，根据所述索引确定所述像素点所对应的插值模板。
在本发明中，索引用于在预先训练的插值模板查找表中查找像素点所对应的插值模板。
插值模板用于描述插值操作时所采用的模板系数。插值模板查找表描述了索引与插值模板之间的对应关系，在本实施例中，插值模板查找表是预先训练完成的，因此可直接使用。
在本实施例中，根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点所建立的索引包括四种参数，具体为：用于表示图像块中的图像边缘位置信息的第一参数，用于表示图像块的边缘强度的第二参数，用于表示图像块中的交叉的两个边缘的强度的比值的第三参数以及用于表示图像块中的图像边缘方向的余弦值的第四参数。
在现有的RAISR中，由于没有考虑图像块中的图像边缘位置信息，同一插值窗口内的像素边缘的权值是一样的，因此在远离强边缘的地方就容易出现振铃效应。而本发明所构建的索引新增加了用于表示图像块中的图像边缘位置信息的参数k，即在本发明中，索引考虑了图像块中的图像边缘位置信息。这使得在同一个插值窗口内的像素，离边缘越远的像素，边缘的权值就越小。这能够有效抑制对直线边缘放大时产生的振铃效应。
步骤103、根据所述待重建图像中的像素点所对应的插值模板，对所述待重建图像中的Y通道的数据进行插值放大。
在得到像素点所对应的插值模板后，从插值模板中选取模板系数，根据所述模板系数做插值处理，得到像素点所对应的r×r个像素点，其中r为放大倍数。对待重建图像中的每个像素点均做上述处理，也就实现了对所述待重建图像中的Y通道的数据做插值放大。
步骤104、将经过插值放大后的Y通道的数据与经过插值放大后的UV通道的数据进行合并，得到经过插值放大后的YUV数据。
如何将经过插值放大后的Y通道的数据与经过插值放大后的UV通道的数据进行合并是本领域技术人员的公知常识，因此不在本步骤中做进一步的描述。
本发明提供的图像超分辨重建方法只对待重建图像中的Y通道进行复杂的插值操作，UV通道采用传统的插值方法，可以在主观感受接近的情况下，减少2/3的运算量；通过增加图像边缘的位置信息作为索引量，使得在同一个插值窗口内的像素，离边缘越远的像素，边缘的权值就越小，有效抑制对直线边缘放大时产生的振铃效应。
基于上述任一实施例，在本实施例中，所述根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点建立索引，根据所述索引确定所述像素点所对应的插值模板，包括：
为所述待重建图像建立Y通道的水平方向的梯度图和垂直方向的梯度图；
基于预设的窗口对所述待重建图像在Y通道的水平方向的梯度图和垂直方向的梯度图进行特征提取，确定所述待重建图像在所述窗口内的特征矩阵系数；
根据所述特征矩阵系数，计算所述待重建图像中的像素点的索引。
建立梯度图的相应计算公式如下：
Gx(x,y)＝Y(x,y)-Y(x-1,y)；
Gy(x,y)＝Y(x,y)-Y(x,y-1)。
其中，Y(x,y)为Y通道上(x,y)点的灰度值。
待重建图像中的边缘像素可进行镜像处理。镜像处理的计算公式为：
Figure BDA0002940613120000081
在该计算公式中，t和s均为变量。
将镜像处理的计算公式用于待重建图像，待重建图像经过镜像处理后的表达式为：
Figure BDA0002940613120000091
其中，
Figure BDA0002940613120000092
表示经过镜像处理后的待重建图像在Y通道上的灰度值；w表示待重建图像的宽度，h表示待重建图像的高度。
根据镜像处理的计算公式可以知道，在镜像处理的过程中，对于待重建图像中的非边缘像素，未进行任何变换，而待重建图像中的边缘像素，对像素值做变换，因此可以将以上得到的经过镜像处理后的待重建图像在Y通道上的灰度值代入梯度图的计算公式中，得到待重建图像Y通道上的水平方向的梯度图Gx和垂直方向的梯度图Gy。
在为所述待重建图像建立Y通道的水平方向的梯度图和垂直方向的梯度图之后，利用预设的窗口进行特征提取，确定所述待重建图像在所述窗口内的特征矩阵系数。
窗口用于设定一次操作时所涉及的像素。在本实施例中，可将窗口的大小设置为5×5。在其他实施例中，也可根据实际需要对窗口的大小进行调整。
当预设窗口大小为5×5时，预设窗口内的特征矩阵系数的计算公式如下：
a＝BoxBlur5×5(Gx·Gx)；
b＝BoxBlur5×5(Gx·Gy)；
c＝BoxBlur5×5(Gy·Gy)。
其中，Gx·Gx表示梯度图Gx中的像素点与梯度图Gx中的像素点逐个相乘；Gx·Gy表示梯度图Gx中的像素点与梯度图Gy中的像素点逐个相乘；Gy·Gy表示梯度图Gy中的像素点与梯度图Gy中的像素点逐个相乘。
BoxBlur5×5表示做窗口大小为5×5的均值滤波，其定义为：
Figure BDA0002940613120000093
在现有的RAISR算法中，对待重建图像进行特征提取时，需要将待重建图像先放大到超分的尺寸，如超分2倍，再进行特征提取。而在本发明中，在原始的待重建图像上直接选用5x5的窗口进行特征提取，可以达到RAISR算法11x11窗口才能达到的效果(超分后11x11的窗口对应的原始图就是5x5)。
在得到预设窗口内的特征矩阵系数后，可进一步计算待重建图像中各个像素点的索引。
在本发明中，像素点的索引包括四方面的内容，其表达式为[k g s h]；其中，s表示图像块的边缘强度，h表示图像块中的交叉的两个边缘的强度的比值，g表示图像块中的图像边缘方向的余弦值，k表示图像块中的图像边缘的位置。其中的图像块是指待重建图像中与所述预设的窗口所对应的图像块。具体的说，这些参数的计算方式为：
(1)s＝a+c。
(2)
Figure BDA0002940613120000101
其中，Δ＝(a-c)2+4b2。
(3)
Figure BDA0002940613120000102
其中，
Figure BDA0002940613120000103
(4)k＝min(max(axc1+ays1+2,0),3)；
其中，
Figure BDA0002940613120000104
Figure BDA0002940613120000105
[ax,ay]＝PatchCenter5(Gx,Gy)。
在上述公式中，ε代表一个很小的数字，在本实施例中，取ε＝10-10。PatchCenter5(Gx,Gy)定义如下：
PatchCenter5(Gx,Gy)＝[XaYa]；
其中，
Xa(x,y)＝P(x,y)-x；
Ya(x,y)＝S(x,y)-y；
Figure BDA0002940613120000111
Ax(x,y)＝x·A(x,y)；
Ay(x,y)＝y·A(x,y)；
A(x,y)＝|Gx(x,y)|+|Gy(x,y)|。
参照上述公式，可计算出待重建图像中各个像素点的索引。
从上述描述可以看出，在本发明中，除了增加关于图像边缘位置信息的索引外，对其他三个索引的计算公式也做了改进，这使得在精度不变的情况下，运算量大幅降低。
在为待重建图像中的像素点计算索引后，可根据待重建图像中像素点的索引，确定像素点所对应的插值模板。
首先，对像素点的索引进行索引量化。具体包括：
步骤S1、根据索引中的k值大小确定变量[g s h]的概率分布，进而将g、s和h三个变量分别等概率的分成4个区间，2个区间以及2个区间。
在预先的训练过程中，已经根据一批低分辨率图像以及对应的高分辨率图像，建立了k值与三元组[g s h]的概率分布的对应关系。因此在本步骤中，根据索引中的k值大小可以确定三元组[g s h]的概率分布。
以参数g为例，g的取值范围是[-1,1]。假设根据训练过程可以知道：k的取值为k1时，g在[-1,0)、[0,0.3)、[0.3,0.5)、[0.5,1]四个区间内的概率分别为25％；假设k的取值为k2时，g在[-1,-0.8)、[-0.8,0)、[0,0.7)、[0.7,1]四个区间内的概率分别为25％；假设k的取值为k3时，g在[-1,-0.2)、[-0.2,0.1)、[0.1,0.5)、[0.5,1]四个区间内的概率分别为25％。
在本实施例中，根据之前的步骤，知道k的取值为k2，那么就可以知道变量g可被等概率分成四个区间：[-1,-0.8)、[-0.8,0)、[0,0.7)、[0.7,1]。
步骤S2、根据变量g、s和h各自的区间，将索引中的g、s和h的值进行量化。
如g量化的区间为[g0 g1 g2 g3]，s的量化区间为[s0 s1]，h的量化区间为[h0 h1]。那么g、s、h的量化规则如下：
Figure BDA0002940613120000121
Figure BDA0002940613120000122
Figure BDA0002940613120000123
其中，qg、qs和qh为量化后的值。
以上是对像素点的索引进行索引量化的过程说明。
基于经过量化后的索引，可从插值模板查找表中得到对应的插值模板。
本实施例中所采用的插值模板查找表是预先训练的。在训练过程中，可根据一批低分辨率图像以及对应的高分辨率图像训练插值模板查找表。插值模板查找表的训练方法与RAISR中所采用的训练方法相类似，因此不在本实施例中做进一步说明。
插值模板查找表可记为H，其大小为r2×w2×4×2×2×w2；其中，r为放大倍数，w为窗口的大小，在本实施例中，w的值为5。
在得到插值模板后，选用插值模板的模板系数W，模板系数W的表达式为：
W＝H(Δx,Δy,k,qg,qs,qh)。
其中，W的大小与窗口的大小相关，在本实施例中，窗口的大小为5×5，因此W为一个5×5的矩阵。
待重建图像在经过重建后，会放大r倍，即待重建图像上的一个像素点经过重建后会变成r×r个像素点，(Δx,Δy)表示r×r个像素点中任意一个像素点的坐标。结合前述模板系数W的表达式可以知道，待重建图像中的每个像素点能够得到对应的r×r个模板系数W。
本发明提供的图像超分辨重建方法在计算索引时，不仅增加了关于图像边缘位置信息的索引，对其他三个索引的计算公式也做了改进，这使得在精度不变的情况下，运算量大幅降低。
基于上述任一实施例，在本实施例中，所述根据所述待重建图像中的像素点所对应的插值模板，对所述待重建图像中的Y通道的数据进行插值放大，包括：
对于待重建图像上的第一像素点，按照插值放大公式进行插值处理，得到与所述第一像素点相对应的r×r个像素点；其中，所述第一像素点为待重建图像上的任意一个像素点；所述插值放大公式为：
Figure BDA0002940613120000131
Δx＝0,1,…,r-1；
Δy＝0,1,…,r-1。
其中，x、y为所述第一像素点的坐标；Δx、Δy为与所述第一像素点相对应的r×r个像素点中任意一个像素点的坐标；Y表示YUV的Y通道；Z是经过插值放大后的Y；W为第一像素点所对应的插值模板的模板系数，W＝H(Δx,Δy,k,qg,qs,qh)，H表示插值模板查找表；k为所述第一参数；qg为量化后的第四参数；qs为量化后的第二参数；qh为量化后的第三参数。
本发明提供的图像超分辨重建方法只对待重建图像中的Y通道进行复杂的插值操作，UV通道采用传统的插值方法，可以在主观感受接近的情况下，减少2/3的运算量。
基于上述任一实施例，在本实施例中，方法还包括：
将待重建图像转换为三通道分离的YUV图像。
在之前的实施例中，待重建图像默认为YUV图像。但在实际应用中，待重建图像的数据格式未必是YUV图像，也有可能是其他色彩模式的图像，如RGB图像、LAB等。
因此在本实施例中，可将非YUV格式的待重建图像转换为三通道分离的YUV图像，然后再对UV通道的数据以及V通道的数据分别做插值放大。
如何将非YUV格式的待重建图像转换为三通道分离的YUV图像是本领域技术人员的公知常识，因此不在此处做进一步说明。
本发明提供的图像超分辨重建方法通过将非YUV格式的待重建图像转换为三通道分离的YUV图像，扩大了本发明方法的适用范围。
基于上述任一实施例，图2为本发明提供的图像超分辨重建装置的结构示意图，如图2所示，本发明提供的图像超分辨重建装置，包括：
UV通道数据插值放大模块201，用于对待重建图像中的UV通道的数据进行插值放大；
插值模板确定模块202，用于根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点建立索引，根据所述索引确定所述像素点所对应的插值模板；其中，所述索引包括用于表示图像块中的图像边缘位置信息的第一参数；
Y通道数据插值放大模块203，用于根据所述待重建图像中的像素点所对应的插值模板，对所述待重建图像中的Y通道的数据进行插值放大；
合并模块204，用于将经过插值放大后的Y通道的数据与经过插值放大后的UV通道的数据进行合并，得到超分辨重建后的图像。
本发明提供的图像超分辨重建装置只对待重建图像中的Y通道进行复杂的插值操作，UV通道采用传统的插值方法，可以在主观感受接近的情况下，减少2/3的运算量；通过增加图像边缘的位置信息作为索引量，使得在同一个插值窗口内的像素，离边缘越远的像素，边缘的权值就越小，有效抑制对直线边缘放大时产生的振铃效应。
图3为本发明所涉及的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：
对待重建图像中的UV通道的数据进行插值放大；
根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点建立索引，根据所述索引确定所述像素点所对应的插值模板；其中，所述索引包括用于表示图像块中的图像边缘位置信息的第一参数；
根据所述待重建图像中的像素点所对应的插值模板，对所述待重建图像中的Y通道的数据进行插值放大；
将经过插值放大后的Y通道的数据与经过插值放大后的UV通道的数据进行合并，得到超分辨重建后的图像。
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为PC机，还可以为其他设备，只要其结构中包括如图3所示的处理器310、通信接口320、存储器330和通信总线340，其中处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信，且处理器310可以调用存储器330中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
对待重建图像中的UV通道的数据进行插值放大；
根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点建立索引，根据所述索引确定所述像素点所对应的插值模板；其中，所述索引包括用于表示图像块中的图像边缘位置信息的第一参数；
根据所述待重建图像中的像素点所对应的插值模板，对所述待重建图像中的Y通道的数据进行插值放大；
将经过插值放大后的Y通道的数据与经过插值放大后的UV通道的数据进行合并，得到超分辨重建后的图像。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
对待重建图像中的UV通道的数据进行插值放大；
根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点建立索引，根据所述索引确定所述像素点所对应的插值模板；其中，所述索引包括用于表示图像块中的图像边缘位置信息的第一参数；
根据所述待重建图像中的像素点所对应的插值模板，对所述待重建图像中的Y通道的数据进行插值放大；
将经过插值放大后的Y通道的数据与经过插值放大后的UV通道的数据进行合并，得到超分辨重建后的图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像超分辨重建方法，其特征在于，包括：
对待重建图像中的UV通道的数据进行插值放大；
根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点建立索引，根据所述索引确定所述像素点所对应的插值模板；其中，所述索引包括用于表示图像块中的图像边缘位置信息的第一参数；
根据所述待重建图像中的像素点所对应的插值模板，对所述待重建图像中的Y通道的数据进行插值放大；
将经过插值放大后的Y通道的数据与经过插值放大后的UV通道的数据进行合并，得到超分辨重建后的图像。
2.根据权利要求1所述的图像超分辨重建方法，其特征在于，所述根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点建立索引，根据所述索引确定所述像素点所对应的插值模板，包括：
为所述待重建图像建立Y通道的水平方向的梯度图和垂直方向的梯度图；
基于预设的窗口对所述待重建图像在Y通道的水平方向的梯度图和垂直方向的梯度图进行特征提取，确定所述待重建图像在所述窗口内的特征矩阵系数；
根据所述特征矩阵系数，计算所述待重建图像中的像素点的索引；其中，所述索引包括：用于表示图像块中的图像边缘位置信息的第一参数，用于表示图像块的边缘强度的第二参数，用于表示图像块中的交叉的两个边缘的强度的比值的第三参数以及用于表示图像块中的图像边缘方向的余弦值的第四参数；
根据所述待重建图像中的像素点的索引，从预先训练的插值模板查找表中确定所述像素点所对应的插值模板。
3.根据权利要求2所述的图像超分辨重建方法，其特征在于，所述根据所述特征矩阵系数，计算所述待重建图像中的像素点的索引，包括：
根据所述特征矩阵系数，计算用于表示图像块中的图像边缘位置信息的第一参数；其计算公式为：
k＝min(max(axc1+ays1+2，0)，3)；
其中，
Figure FDA0002940613110000021
Figure FDA0002940613110000022
k为用于表示图像块中的图像边缘位置信息的第一参数；a、b和c均为特征矩阵系数，其中a＝BoxBlurm×m(Gx·Gx)，b＝BoxBlurm×m(Gx·Gy)，c＝BoxBlurm×m(Gy·Gy)，BoxBlurm×m表示做窗口大小为m×m的均值滤波，Gx为待重建图像Y通道上的水平方向的梯度图，Gy为待重建图像Y通道上的垂直方向的梯度图；ε为一个预先设定的数值；Δ＝(a-c)2+4b2；
Figure FDA0002940613110000023
[ax，ay]＝PatchCenterm(Gx，Gy)；
PatchCenterm(Gx，Gy)＝[Xa Ya]；
其中，
Xa(x，y)＝P(x，y)-x；
Ya(x，y)＝S(x，y)-y；
Figure FDA0002940613110000024
Ax(x，y)＝x·A(x，y)；
Ay(x，y)＝y·A(x，y)；
A(x，y)＝|Gx(x，y)|+|Gy(x，y)|。
4.根据权利要求2所述的图像超分辨重建方法，其特征在于，所述根据所述特征矩阵系数，计算所述待重建图像中的像素点的索引，包括：
根据所述特征矩阵系数，计算用于表示图像块的边缘强度的第二参数，其计算公式为：
S＝a+c；
其中，s为用于表示图像块的边缘强度的第二参数；a和c均为特征矩阵系数，其中a＝BoxBlurm×m(Gx·Gx)，c＝BoxBlurm×m(Gy·Gy)，BoxBlurm×m表示做窗口大小为m×m的均值滤波，Gx为待重建图像Y通道上的水平方向的梯度图，Gy为待重建图像Y通道上的垂直方向的梯度图；
根据所述特征矩阵系数，计算用于表示图像块中的交叉的两个边缘的强度的比值的第三参数，其计算公式为：
Figure FDA0002940613110000031
其中，h为用于表示图像块中的交叉的两个边缘的强度的比值的第三参数；ε为一个预先设定的数值；Δ＝(a-c)2+4b2，b为特征矩阵系数，b＝BoxBlurm×m(Gx·Gy)；
根据所述特征矩阵系数，计算用于表示图像块中的图像边缘方向的余弦值的第四参数，其计算公式为：
Figure FDA0002940613110000032
其中，
Figure FDA0002940613110000033
g为用于表示图像块中的图像边缘方向的余弦值的第四参数。
5.根据权利要求2所述的图像超分辨重建方法，其特征在于，所述根据所述待重建图像中的像素点的索引，从预先训练得到的插值模板查找表中确定所述像素点所对应的插值模板，包括：
对所述像素点的索引进行索引量化；
基于经过量化后的索引，从预先训练得到的插值模板查找表中确定所述像素点所对应的插值模板。
6.根据权利要求3所述的图像超分辨重建方法，其特征在于，所述根据所述待重建图像中的像素点所对应的插值模板，对所述待重建图像中的Y通道的数据进行插值放大，包括：
对于待重建图像上的第一像素点，按照插值放大公式进行插值处理，得到与所述第一像素点相对应的r×r个像素点；其中，所述第一像素点为待重建图像上的任意一个像素点；所述插值放大公式为：
Figure FDA0002940613110000041
Δx＝0，1，...，r-1；
Δy＝0，1，...，r-1。
其中，x、y为所述第一像素点的坐标；Δx、Δy为与所述第一像素点相对应的r×r个像素点中任意一个像素点的坐标；Y表示YUV的Y通道；Z是经过插值放大后的Y；W为第一像素点所对应的插值模板的模板系数，W＝H(Δx，Δy，k，qg，qs，qh)，H表示插值模板查找表；k为所述第一参数；qg为量化后的第四参数；qs为量化后的第二参数；qh为量化后的第三参数。
7.根据权利要求1至6任一项所述的图像超分辨重建方法，其特征在于，方法还包括：
将待重建图像转换为三通道分离的YUV图像。
8.一种图像超分辨重建装置，其特征在于，包括：
UV通道数据插值放大模块，用于对待重建图像中的UV通道的数据进行插值放大；
插值模板确定模块，用于根据所述待重建图像中的Y通道的数据，为所述待重建图像中的像素点建立索引，根据所述索引确定所述像素点所对应的插值模板；其中，所述索引包括用于表示图像块中的图像边缘位置信息的第一参数；
Y通道数据插值放大模块，用于根据所述待重建图像中的像素点所对应的插值模板，对所述待重建图像中的Y通道的数据进行插值放大；
合并模块，用于将经过插值放大后的Y通道的数据与经过插值放大后的UV通道的数据进行合并，得到超分辨重建后的图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述图像超分辨重建方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述图像超分辨重建方法的步骤。
CN202110178044.3A 2021-02-09 2021-02-09 图像超分辨率重建方法、装置、电子设备及存储介质 Active CN112801879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110178044.3A CN112801879B (zh) 2021-02-09 2021-02-09 图像超分辨率重建方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110178044.3A CN112801879B (zh) 2021-02-09 2021-02-09 图像超分辨率重建方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112801879A true CN112801879A (zh) 2021-05-14
CN112801879B CN112801879B (zh) 2023-12-08

Family

ID=75814970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110178044.3A Active CN112801879B (zh) 2021-02-09 2021-02-09 图像超分辨率重建方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112801879B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084752A (zh) * 2019-05-06 2019-08-02 电子科技大学 一种基于边缘方向和k均值聚类的图像超分辨重建方法
WO2024051298A1 (zh) * 2022-09-09 2024-03-14 华为技术有限公司 一种图像处理方法、装置及计算设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295192A (zh) * 2013-05-08 2013-09-11 西安电子科技大学 基于gpu加速的图像实时超分辨重建方法
CN107527321A (zh) * 2017-08-22 2017-12-29 维沃移动通信有限公司 一种图像重建方法、终端及计算机可读存储介质
US20180005361A1 (en) * 2016-07-01 2018-01-04 Analytical Mechanics Associates, Inc. Super-resolution systems and methods
CN109685717A (zh) * 2018-12-14 2019-04-26 厦门理工学院 图像超分辨率重建方法、装置及电子设备
CN110062282A (zh) * 2019-03-18 2019-07-26 北京奇艺世纪科技有限公司 一种超分辨率视频重建方法、装置及电子设备
CN110084752A (zh) * 2019-05-06 2019-08-02 电子科技大学 一种基于边缘方向和k均值聚类的图像超分辨重建方法
US20190287216A1 (en) * 2018-03-19 2019-09-19 Mitsubishi Electric Research Laboratories, Inc. Systems and Methods for Multi-Spectral Image Super-Resolution
CN110675318A (zh) * 2019-09-10 2020-01-10 中国人民解放军国防科技大学 一种基于主结构分离的稀疏表示图像超分辨率重建方法
CN111402143A (zh) * 2020-06-03 2020-07-10 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295192A (zh) * 2013-05-08 2013-09-11 西安电子科技大学 基于gpu加速的图像实时超分辨重建方法
US20180005361A1 (en) * 2016-07-01 2018-01-04 Analytical Mechanics Associates, Inc. Super-resolution systems and methods
CN107527321A (zh) * 2017-08-22 2017-12-29 维沃移动通信有限公司 一种图像重建方法、终端及计算机可读存储介质
US20190287216A1 (en) * 2018-03-19 2019-09-19 Mitsubishi Electric Research Laboratories, Inc. Systems and Methods for Multi-Spectral Image Super-Resolution
CN109685717A (zh) * 2018-12-14 2019-04-26 厦门理工学院 图像超分辨率重建方法、装置及电子设备
CN110062282A (zh) * 2019-03-18 2019-07-26 北京奇艺世纪科技有限公司 一种超分辨率视频重建方法、装置及电子设备
CN110084752A (zh) * 2019-05-06 2019-08-02 电子科技大学 一种基于边缘方向和k均值聚类的图像超分辨重建方法
CN110675318A (zh) * 2019-09-10 2020-01-10 中国人民解放军国防科技大学 一种基于主结构分离的稀疏表示图像超分辨率重建方法
CN111402143A (zh) * 2020-06-03 2020-07-10 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王琦; 谢淑翠; 王至琪: "基于稀疏表示的图像超分辨率重建算法", 《现代电子技术》, vol. 42, no. 3, pages 45 - 48 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084752A (zh) * 2019-05-06 2019-08-02 电子科技大学 一种基于边缘方向和k均值聚类的图像超分辨重建方法
WO2024051298A1 (zh) * 2022-09-09 2024-03-14 华为技术有限公司 一种图像处理方法、装置及计算设备

Also Published As

Publication number Publication date
CN112801879B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
EP3816928A1 (en) Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
US6807300B1 (en) Noise reduction method utilizing color information, apparatus, and program for digital image processing
Hung et al. Fast image interpolation using the bilateral filter
CN110136055B (zh) 图像的超分辨率方法和装置、存储介质、电子装置
CN110570356A (zh) 图像处理方法和装置、电子设备及存储介质
CN112801879B (zh) 图像超分辨率重建方法、装置、电子设备及存储介质
CN112132836A (zh) 视频图像裁剪方法、装置、电子设备及存储介质
CN110944176B (zh) 图像帧降噪方法和计算机存储介质
CN106934806A (zh) 一种基于结构清晰度的无参考图失焦模糊区域分割方法
WO2021115403A1 (zh) 一种图像的处理方法及装置
CN110930327A (zh) 基于级联深度残差网络的视频去噪方法
CN111353955A (zh) 一种图像处理方法、装置、设备和存储介质
CN113744294B (zh) 图像处理方法及相关装置
CN111724312A (zh) 一种处理图像的方法及终端
Singh et al. Content adaptive single image interpolation based Super Resolution of compressed images
CN110545414B (zh) 一种图像锐化方法
CN113096014B (zh) 视频超分处理方法、电子设备及存储介质
CN106887024B (zh) 照片的处理方法及处理系统
WO2020241337A1 (ja) 画像処理装置
CN110009563B (zh) 图像处理方法和装置、电子设备及存储介质
KR20070119482A (ko) 이미지 리샘플링 방법
CN111784733A (zh) 图像处理方法、装置、终端和计算机可读存储介质
Georgis et al. Single-image super-resolution using low complexity adaptive iterative back-projection
Qi et al. Image super resolution reconstruction algorithm based on sparse representation and the UV chroma processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant