CN113313632A - 一种图像重建方法、系统及相关设备 - Google Patents

一种图像重建方法、系统及相关设备 Download PDF

Info

Publication number
CN113313632A
CN113313632A CN202110659715.8A CN202110659715A CN113313632A CN 113313632 A CN113313632 A CN 113313632A CN 202110659715 A CN202110659715 A CN 202110659715A CN 113313632 A CN113313632 A CN 113313632A
Authority
CN
China
Prior art keywords
image
data
reconstructed
brightness data
image brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110659715.8A
Other languages
English (en)
Inventor
郭春磊
罗小伟
李�荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Tianjin Co Ltd
Original Assignee
Spreadtrum Communications Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Tianjin Co Ltd filed Critical Spreadtrum Communications Tianjin Co Ltd
Priority to CN202110659715.8A priority Critical patent/CN113313632A/zh
Publication of CN113313632A publication Critical patent/CN113313632A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，尤其涉及一种图像重建方法、系统及相关设备。其中，该方法包括：获取待重建图像数据；将所述待重建图像数据拆分为图像亮度数据和图像色度数据；将所述图像亮度数据输入图像重建模型，所述图像重建模型包括残差网络，所述残差网络包含多个串联连接的残差模块，所述图像重建模型用于基于多个所述残差模块对所述图像亮度数据进行逐级重建，并对所述重建后的图像亮度数据进行像素排序，得到第一重建图像亮度数据；对所述图像色度数据进行插值计算得到重建图像色度数据；基于所述第一重建图像亮度数据和所述重建图像色度数据，得到重建图像数据，所述重建图像数据的分辨率大于所述待重建图像数据的分辨率。

Description

一种图像重建方法、系统及相关设备
【技术领域】
本发明涉及图像处理技术领域，尤其涉及一种图像重建方法、系统及相关设备。
【背景技术】
图像分辨率通常是指每英寸图像内包含的像素点数量，图像分辨率在一定程度上可以表征图像存储的信息量。每英寸图像内包含的像素点数量越多，则图像中存储的信息量越大，图像看起来就越清晰。而想要提高图像的分辨率，当前一种可行的方式为提高拍摄设备的硬件，从而可以直接得到高分辨率的图像，但此种方法成本较高。另一种方法则是将低分辨率的图像经过图像重建，从而得到高分辨率的图像，即超分辨率技术。但现有的超分辨率技术中，往往采用深度训练模型进行图像重建。其中，需要先对原始图像进行下采样，从而将原始图像拆分为多个特征块，并对多个特征块分别输入深度训练模型中进行重建，最后采用上采样模块对多个重建后的特征块进行重新组合，得到高分辨率的图像。采用此种方法时，由于需要对多个特征快进行分别重建，所以在构建深度训练模型时需要设置较多的二维卷积层，从而导致深度模型对于行缓存空间(line buffer)的需求量较高，因此需要使用更大的芯片，造成功耗以及成本的增加。
【发明内容】
为了解决上述问题，本发明实施例提供了一种图像重建方法、系统及设备。通过构建图像重建模型，并采用图像重建模型对待重建图像数据的亮度数据进行具体重建，从而降低图像重建模型结构的复杂程度以及运算时间。
第一方面，本发明实施例提供一种图像重建方法，包括：
获取待重建图像数据；
将所述待重建图像数据拆分为图像亮度数据和图像色度数据；
将所述图像亮度数据输入图像重建模型，所述图像重建模型包括残差网络，所述残差网络包含多个串联连接的残差模块，所述图像重建模型用于基于多个所述残差模块对所述图像亮度数据进行逐级重建，并对所述重建后的图像亮度数据进行像素排序，得到第一重建图像亮度数据；
对所述图像色度数据进行插值计算得到重建图像色度数据；
基于所述第一重建图像亮度数据和所述重建图像色度数据，得到重建图像数据，所述重建图像数据的分辨率大于所述待重建图像数据的分辨率。
本发明实施例中，通过采用图像重建模型对待重建图像的图像亮度数据进行复杂重建，并采用插值计算对图像色度数据进行重建，并分别对重建后的图像亮度数据和图像色度数据进行组合，从而得到完整的高分辨率的图像重建数据。
在一种可能的实现方式中，对所述重建后的图像亮度数据进行像素排序，得到第一重建图像亮度数据，包括：
确定所述图像亮度数据中每个像素点的坐标值；
根据所述坐标值对所述图像亮度数据中的各个像素点的位置进行重新排列；
根据重新排序的结果，确定所述第一重建图像亮度数据。
在一种可能的实现方式中，基于所述第一重建图像亮度数据和所述重建图像色度数据，得到重建图像数据，包括：
对所述图像亮度数据进行插值计算，得到第二重建图像亮度数据；
对所述第一重建图像亮度数据和所述第二重建图像亮度数据进行组合，得到第三重建图像亮度数据；
基于所述第三重建图像亮度数据和所述重建图像色度数据，得到所述重建图像数据。
在一种可能的实现方式中对所述第一重建图像亮度数据和所述第二重建图像亮度数据进行组合，得到第三重建图像亮度数据，包括：
获取所述第一重建图像亮度数据和第二重建图像亮度数据中每个像素点的坐标值；
分别对所述第一重建图像亮度数据和所述第二重建图像亮度数据中坐标值相同的像素信息点进行叠加，得到所述第三重建图像亮度数据。
在一种可能的实现方式中，所述图像重建模型的训练方法包括：
获取目标图像集，所述目标图像集包含多张图像；
提取所述每张图像对应的第一图像亮度数据；
对所述每张图像对应的第一图像亮度数据进行下采样处理，得到所述每张图像对应的第二图像亮度数据；
根据所述第一图像亮度数据和所述第二图像亮度数据构建训练数据集，所述第一图像亮度数据的分辨率大于所述第二图像亮度数据的分辨率；
将所述训练数据集输入所述图像重建模型进行迭代训练，以使所述图像重建模型更新模型中的参数以学习到低分辨率图像亮度数据和高分辨率图像亮度数据之间的映射关系。
在一种可能的实现方式中，还包括：
获取对所述待重建图像的重建倍率信息；
根据所述重建倍率信息调整所述图像重建模型中所述残差模块的数量。
第二方面，本发明实施例提供一种图像重建系统，包括：
获取模块，用于获取待重建图像数据；
拆分模块，用于将所述待重建图像数据拆分为图像亮度数据和图像色度数据；
处理模块，用于将所述图像亮度数据输入图像重建模型，所述图像重建模型包括残差网络，所述残差网络包含多个串联连接的残差模块，所述图像重建模型用于基于多个所述残差模块对所述图像亮度数据进行逐级重建，并对所述重建后的图像亮度数据进行像素排序，得到第一重建图像亮度数据；
所述处理模块，还用于对所述图像色度数据进行插值计算得到重建图像色度数据；
所述处理模块，还用于基于所述第一重建图像亮度数据和所述重建图像色度数据，得到重建图像数据，所述重建图像数据的分辨率大于所述待重建图像数据的分辨率。
在一种可能的实现方式中，对所述重建后的图像亮度数据进行像素排序，得到第一重建图像亮度数据，包括：
确定所述图像亮度数据中每个像素点的坐标值；
根据所述坐标值对所述图像亮度数据中的各个像素点的位置进行重新排列；
根据重新排序的结果，确定所述第一重建图像亮度数据。
第三方面，本发明实施例提供一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面所述的方法。
应当理解的是，本发明实施例的第二～四方面与本发明实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种图像重建方法的流程图；
图2为本发明实施例提供的一种图像重建模型的结构示意图；
图3为本发明实施例提供的另一种图像重建模型的结构示意图；
图4为本发明实施例提供的另一种图像重建方法的流程图；
图5为本发明实施例提供的另一种图像重建模型的结构示意图；
图6为本发明实施例提供的另一种图像重建方法的流程图；
图7为本发明实施例提供的一种图像重建系统的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
【具体实施方式】
为了更好的理解本说明书的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
本发明实施例中，通过使用由残差网络构建的图像重建模型来对待重建图像的图像亮度数据进行复杂重建，并采用插值计算法队图像的图像色度数据进行重建，从而得到完整的重建后的图像数据，减少了图像重建模型的计算量，从而降低图像重建模型的复杂程度与重建时间。
图1为本发明实施例提供的一种图像重建方法的流程图。如图1所示，该方法包括：
步骤101，获取待重建图像数据。其中，在获取到待重建图像时，可以先对待重建图像进行预处理，预处理的步骤为：将待重建图像从红、绿、蓝三原色(Red、Green、Blue，RGB)空间转换至亮度和色度(YCbCr)空间，所得即为待重建图像数据。
步骤102，将待重建图像数据拆分为图像亮度数据和图像色度数据。由于所述待重建图像数据的色域空间为YCbCr空间。则可以将待重建图像数据拆解为Y通道的数据和CbCr通道的数据，其中Y通道的数据即为图像亮度数据，CbCr通道的数据即为图像色度数据。
步骤103，将图像亮度数据输入图像重建模型，图像重建模型包括残差网络，残差网络包含多个串联连接的残差模块，图像重建模型用于基于多个残差模块对所述图像亮度数据进行逐级重建，并对重建后的图像亮度数据进行像素排序，得到第一重建图像亮度数据。
本发明实施例提供了一种图像重建模型的结构示意图。如图2所示，该图像重建模型为一个采用残差连接方法的卷积神经网络模型，由三个3×3的卷积层、若干个激活层、一个残差组和一个像素重排序(PixelShuffle)模块采用残差连接的方法连接而成。其中，残差组由多个残差块(Residual Block)构成，如图3所示，每个残差块中由两个1×K的水平方向的卷积层和两个激活层采用残差连接的方式连接而成。优选的，所述激活层的激活函数可以为Relu激活函数。通过采用多个残差块构成的残差组来构建图像重建模型，不仅可以避免图像重建模型发生梯度消失或梯度爆炸等情况，还可以降低模型中3×3、5×5以及7×7的卷积层数量，进而降低图像重建模型对于行缓存(line buffer)的需求。当图像重建模型对于行缓存的需求降低后，图像重建模型对于芯片的硬件要求也就对应降低，从而达到简化模型，节省硬件成本的效果。
则上述步骤103的图像重建过程具体为：如图2所示，图像亮度数据被输入图像重建模型后，首先经过一个3x3的卷积层，该卷积层用于初步提取图像亮度数据的数据特征。之后经过Relu激活函数的激活层，激活层将非线性特征引入数据特征中。从而在一定程度上避免图像重建模型的梯度性消失或爆炸。之后由残差组中串联连接的多个残差块依次更新提取到的数据特征。即，前一个残差块的输出为下一个残差块的输入。通过采用残差连接的方式，进一步避免了图像重建模型中可能出现的梯度消失或梯度爆炸等情况。之后由两个3×3的卷积层对数据特征进行整理，并将数据特征输出给像素重排序模块，像素重排序模块首先根据数据特征确定图像亮度数据中每个像素点的坐标值，之后根据坐标值对图像亮度数据中的各个像素点的位置进行重新排列。根据重新排序的结果，确定第一重建图像亮度数据。即，经过图像重建模型重建后的高分辨率的图像亮度数据。其中，各个3×3卷积层可以对特征数据的通道数进行扩充或缩减等操作，具体的，各个3×3卷积层可以通过改变卷积核数量来实现对特征数据的通道数进行扩充或缩减等操作。3×3卷积层对于数据特征通道的放大倍数以及缩小倍数可以为常见的32以及64等，但应保证输入给像素重排序模块的数据特征的通道数为重建倍率(超分因子)的平方。例如，超分因子为×2，则输入给像素重排序模块的数据特征的通道数应为22个，即4个通道。
步骤104，对图像色度数据进行插值计算得到重建图像色度数据。其中，插值运算可以为最邻近插值法、双三次差值法以及双线性插值法等。由于人眼对于纹理信息(图像亮度信息)的敏感程度要高于对颜色信息(色度信息)的敏感程度，因此可以用插值计算对图像色度数据中的像素点信息进行扩充，得到高分辨率的重建图像色度数据。
步骤105，基于第一重建图像亮度数据和重建图像色度数据，得到重建图像数据，所述重建图像数据的分辨率大于所述待重建图像数据的分辨率。其中，可以对高分辨率的第一重建图像亮度数据和重建色度数据进行组合，得到高分辨率的YCbCr空间的重建图像数据。之后可以将YCbCr空间的重建图像数据转换为RGB空间的重建图像数据，从而完成图像重建过程。
在一些实施例中，还可以对图像亮度数据进行差值计算，再将所得结果与图像重建模型输出的第一重建图像亮度数据进行组合，之后再与重建图像色度数据进行组合，得到重建图像输入。如图4所示，该方法处理步骤包括：
步骤401，对图像亮度数据进行插值计算，得到第二重建图像亮度数据。
步骤402，对第一重建图像亮度数据和第二重建图像亮度数据进行组合，得到第三重建图像亮度数据。图5示出了另一种图像重建模型的结构示意图，如图5所示，将待重建图像数据的图像亮度数据(LRY)输入图像重建模型之后，通过将上方卷积通路得到的第一重建图像亮度数据(HRC)和下方插值通路得到的第二重建图像亮度数据(HRI)进行相加，从而得到第三重建图像亮度数据(HRY)。
在一些实施例中，可以获取对待重建图像的重建倍率信息，并根据待重建图像的重建倍率信息调整图像重建模型中残差模块的数量。可选的，还可以根据待重建图像的重建倍率信息调整残差模块中1×K的水平方向的卷积层的K值。可选的，经过多次试验后，残差模块的数量的较优取值为5、8或10。K的取值可以为3、5或7。本发明实施例中，可以根据重建倍率来便利的调整模型的复杂度，无需做其它调整，便于硬件实现。
在一些实施例中，对第一重建图像亮度数据和第二重建图像亮度数据进行组合具体包括：获取第一重建图像亮度数据和第二重建图像亮度数据中每个像素点的坐标值。分别对第一重建图像亮度数据和第二重建图像亮度数据中坐标值相同的像素信息点进行叠加，得到所述第三重建图像亮度数据。其中，该过程可以看作以低频亮度数据(第二重建图像亮度数据)为“框架”，将高频亮度数据(第一重建图像亮度数据)作为“细节”，按照像素点的坐标依次填充到第二重图像建亮度数据中，最终获得完整的高分辨率的亮度数据(第三重建图像亮度数据)。
步骤403，基于第三重建图像亮度数据和重建图像色度数据，得到重建图像数据。
在一些实施例中，可以构建训练数据集来对图像重建模型进行训练，如图6所示，训练过程可以包括：
步骤601，获取目标图像集，目标图像集包含多张图像。其中，可以通过对目标图像集中的每张图像进行旋转，反转等操作，以扩充目标图像集的样本数量。
步骤602，提取每张图像对应的第一图像亮度数据。
步骤603，对每张图像对应的第一图像亮度数据进行下采样处理，得到每张图像对应的第二图像亮度数据。其中，下采样处理主要是为了生成与每张图像的第一图像亮度数据对应的低分辨率的图像亮度数据，原理为将原始图像s×s窗口内的图像变成一个像素，这个像素点的值就是该窗口内所有像素的均值。每张图像分别存在第一图像亮度数据和第二图像亮度数据，并且一一对应。由此得到了高分辨率的第一图像亮度数据和与之对应的低分辨率的第二图像亮度数据。
步骤604，根据第一图像亮度数据和第二图像亮度数据构建训练数据集，第一图像亮度数据的分辨率大于所述第二图像亮度数据的分辨率。其中，可以将同一目标图像对应的第一图像亮度数据和第二图像亮度数据划分为同一组，并进行训练。
步骤605，将训练数据集输入图像重建模型进行迭代训练，以使图像重建模型更新模型中的参数以学习到低分辨率图像亮度数据和高分辨率图像亮度数据之间的映射关系。
对应上述图像重建方法，本发明实施例提供一种图像重建系统，如图7所示，该系统包括：获取模块701、拆分模块702、和处理模块703。
获取模块701，用于获取待重建图像数据。
拆分模块702，用于将待重建图像数据拆分为图像亮度数据和图像色度数据。
处理模块703，用于将图像亮度数据输入图像重建模型，图像重建模型包括残差网络，残差网络包含多个串联连接的残差模块，图像重建模型用于基于多个残差模块对图像亮度数据进行逐级重建，并对重建后的图像亮度数据进行像素排序，得到第一重建图像亮度数据。
处理模块703，还用于对图像色度数据进行插值计算得到重建图像色度数据。
处理模块703，还用于基于第一重建图像亮度数据和重建图像色度数据，得到重建图像数据，重建图像数据的分辨率大于待重建图像数据的分辨率。
在一些实施例中，对重建后的图像亮度数据进行像素排序，得到第一重建图像亮度数据，包括：
确定图像亮度数据中每个像素点的坐标值。
根据坐标值对图像亮度数据中的各个像素点的位置进行重新排列。
根据重新排序的结果，确定第一重建图像亮度数据。
图7所示实施例提供的图像重建系统可用于执行本说明书图1～图6所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
图8为本发明实施例提供的一种电子设备的结构示意图，如图8所示，上述电子设备可以包括至少一个处理器；以及与上述处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，上述处理器调用上述程序指令能够执行本说明书图1～图6所示实施例提供的图像重建方法。
如图8所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器810、通信接口820和存储器830，连接不同系统组件(包括存储器830、通信接口820和处理单元810)的通信总线840。
通信总线840表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器830可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)和/或高速缓存存储器。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器830可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本说明书各实施例的功能。
具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器830中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本说明书所描述的实施例中的功能和/或方法。
处理器810通过运行存储在存储器830中的程序，从而执行各种功能应用以及数据处理，例如实现本说明书图1～图6所示实施例提供的图像重建方法。
本说明书实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本说明书图1～图6所示实施例提供的图像重建方法。
上述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnly Memory；以下简称：ROM)、可擦式可编程只读存储器(Erasable Programmable ReadOnly Memory；以下简称：EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本说明书的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本说明书的实施例所属技术领域的技术人员所理解。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是，本说明书实施例中所涉及的设备可以包括但不限于个人计算机(Personal Computer；以下简称：PC)、个人数字助理(Personal Digital Assistant；以下简称：PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、MP3显示器、MP4显示器等。
在本说明书所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本说明书各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，连接器，或者网络装置等)或处理器(Processor)执行本说明书各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (10)

1.一种图像重建方法，其特征在于，包括：
获取待重建图像数据；
将所述待重建图像数据拆分为图像亮度数据和图像色度数据；
将所述图像亮度数据输入图像重建模型，所述图像重建模型包括残差网络，所述残差网络包含多个串联连接的残差模块，所述图像重建模型用于基于多个所述残差模块对所述图像亮度数据进行逐级重建，并对所述重建后的图像亮度数据进行像素排序，得到第一重建图像亮度数据；
对所述图像色度数据进行插值计算得到重建图像色度数据；
基于所述第一重建图像亮度数据和所述重建图像色度数据，得到重建图像数据，所述重建图像数据的分辨率大于所述待重建图像数据的分辨率。
2.根据权利要求1所述的方法，其特征在于，对所述重建后的图像亮度数据进行像素排序，得到第一重建图像亮度数据，包括：
确定所述图像亮度数据中每个像素点的坐标值；
根据所述坐标值对所述图像亮度数据中的各个像素点的位置进行重新排列；
根据重新排序的结果，确定所述第一重建图像亮度数据。
3.根据权利要求1所述的方法，其特征在于，基于所述第一重建图像亮度数据和所述重建图像色度数据，得到重建图像数据，包括：
对所述图像亮度数据进行插值计算，得到第二重建图像亮度数据；
对所述第一重建图像亮度数据和所述第二重建图像亮度数据进行组合，得到第三重建图像亮度数据；
基于所述第三重建图像亮度数据和所述重建图像色度数据，得到所述重建图像数据。
4.根据权利要求3所述的方法，其特征在于，对所述第一重建图像亮度数据和所述第二重建图像亮度数据进行组合，得到第三重建图像亮度数据，包括：
获取所述第一重建图像亮度数据和第二重建图像亮度数据中每个像素点的坐标值；
分别对所述第一重建图像亮度数据和所述第二重建图像亮度数据中坐标值相同的像素信息点进行叠加，得到所述第三重建图像亮度数据。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述图像重建模型的训练方法包括：
获取目标图像集，所述目标图像集包含多张图像；
提取所述每张图像对应的第一图像亮度数据；
对所述每张图像对应的第一图像亮度数据进行下采样处理，得到所述每张图像对应的第二图像亮度数据；
根据所述第一图像亮度数据和所述第二图像亮度数据构建训练数据集，所述第一图像亮度数据的分辨率大于所述第二图像亮度数据的分辨率；
将所述训练数据集输入所述图像重建模型进行迭代训练，以使所述图像重建模型更新模型中的参数以学习到低分辨率图像亮度数据和高分辨率图像亮度数据之间的映射关系。
6.根据权利要求5所述的方法，其特征在于，还包括：
获取对所述待重建图像的重建倍率信息；
根据所述重建倍率信息调整所述图像重建模型中所述残差模块的数量。
7.一种图像重建系统，其特征在于，包括：
获取模块，用于获取待重建图像数据；
拆分模块，用于将所述待重建图像数据拆分为图像亮度数据和图像色度数据；
处理模块，用于将所述图像亮度数据输入图像重建模型，所述图像重建模型包括残差网络，所述残差网络包含多个串联连接的残差模块，所述图像重建模型用于基于多个所述残差模块对所述图像亮度数据进行逐级重建，并对所述重建后的图像亮度数据进行像素排序，得到第一重建图像亮度数据；
所述处理模块，还用于对所述图像色度数据进行插值计算得到重建图像色度数据；
所述处理模块，还用于基于所述第一重建图像亮度数据和所述重建图像色度数据，得到重建图像数据，所述重建图像数据的分辨率大于所述待重建图像数据的分辨率。
8.根据权利要求7所述的系统，其特征在于，对所述重建后的图像亮度数据进行像素排序，得到第一重建图像亮度数据，包括：
确定所述图像亮度数据中每个像素点的坐标值；
根据所述坐标值对所述图像亮度数据中的各个像素点的位置进行重新排列；
根据重新排序的结果，确定所述第一重建图像亮度数据。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
CN202110659715.8A 2021-06-11 2021-06-11 一种图像重建方法、系统及相关设备 Pending CN113313632A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110659715.8A CN113313632A (zh) 2021-06-11 2021-06-11 一种图像重建方法、系统及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110659715.8A CN113313632A (zh) 2021-06-11 2021-06-11 一种图像重建方法、系统及相关设备

Publications (1)

Publication Number Publication Date
CN113313632A true CN113313632A (zh) 2021-08-27

Family

ID=77378886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110659715.8A Pending CN113313632A (zh) 2021-06-11 2021-06-11 一种图像重建方法、系统及相关设备

Country Status (1)

Country Link
CN (1) CN113313632A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170148139A1 (en) * 2015-11-25 2017-05-25 Heptagon Micro Optics Pte. Ltd. Super-resolution image reconstruction using high-frequency band extraction
CN108734659A (zh) * 2018-05-17 2018-11-02 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN111461983A (zh) * 2020-03-31 2020-07-28 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN111784571A (zh) * 2020-04-13 2020-10-16 北京京东尚科信息技术有限公司 一种提高图像分辨率的方法、装置
CN111951164A (zh) * 2020-08-11 2020-11-17 哈尔滨理工大学 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN112734646A (zh) * 2021-01-19 2021-04-30 青岛大学 一种基于特征通道划分的图像超分辨率重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170148139A1 (en) * 2015-11-25 2017-05-25 Heptagon Micro Optics Pte. Ltd. Super-resolution image reconstruction using high-frequency band extraction
CN108734659A (zh) * 2018-05-17 2018-11-02 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN111461983A (zh) * 2020-03-31 2020-07-28 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法
CN111784571A (zh) * 2020-04-13 2020-10-16 北京京东尚科信息技术有限公司 一种提高图像分辨率的方法、装置
CN111951164A (zh) * 2020-08-11 2020-11-17 哈尔滨理工大学 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN112734646A (zh) * 2021-01-19 2021-04-30 青岛大学 一种基于特征通道划分的图像超分辨率重建方法

Similar Documents

Publication Publication Date Title
CN110136066B (zh) 面向视频的超分辨率方法、装置、设备和存储介质
Choi et al. A deep convolutional neural network with selection units for super-resolution
CN109472270B (zh) 图像风格转换方法、装置及设备
WO2021109876A1 (zh) 图像处理方法、装置、设备及存储介质
CN108022212B (zh) 高分辨率图片生成方法、生成装置及存储介质
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN109146788A (zh) 基于深度学习的超分辨率图像重建方法和装置
CN110533594B (zh) 模型训练方法、图像重建方法、存储介质及相关设备
CN111105352A (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
JP7482253B2 (ja) 画像処理方法、装置、コンピュータ機器及び記憶媒体
CN108154474A (zh) 一种超分辨率图像重构方法、装置、介质及设备
RU2697928C1 (ru) Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее
CN110992265A (zh) 图像处理方法及模型、模型的训练方法及电子设备
WO2016133730A1 (en) Systems and methods for reducing memory bandwidth using low quality tiles
CN112997479B (zh) 跨阶段跳跃连接处理图像的方法、系统和计算机可读介质
CN113034358A (zh) 一种超分辨率图像处理方法以及相关装置
CN112991171B (zh) 图像处理方法、装置、电子设备及存储介质
Cao et al. New architecture of deep recursive convolution networks for super-resolution
KR20050108365A (ko) 썸네일 이미지를 생성하고 리사이즈 이미지의 이미지품질을 향상시키는 장치 및 방법
CN113939845A (zh) 提高图像色彩质量的方法、系统和计算机可读介质
CN112889084B (zh) 提高图像的颜色质量的方法、系统和计算机可读介质
CN112241934B (zh) 一种图像处理方法以及相关设备
CN115797176A (zh) 一种图像超分辨率重建方法
CN111161386A (zh) 超声图像的渲染方法、装置及超声设备
CN109102463B (zh) 一种超分辨率图像重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210827

RJ01 Rejection of invention patent application after publication