CN111553840A - 图像超分辨的模型训练和处理方法、装置、设备和介质 - Google Patents
图像超分辨的模型训练和处理方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN111553840A CN111553840A CN202010280199.3A CN202010280199A CN111553840A CN 111553840 A CN111553840 A CN 111553840A CN 202010280199 A CN202010280199 A CN 202010280199A CN 111553840 A CN111553840 A CN 111553840A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- model
- output result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 96
- 238000003672 processing method Methods 0.000 title claims description 20
- 238000012545 processing Methods 0.000 claims abstract description 134
- 238000000034 method Methods 0.000 claims abstract description 104
- 230000006870 function Effects 0.000 claims description 80
- 230000015654 memory Effects 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 16
- 238000006731 degradation reaction Methods 0.000 claims description 9
- 238000007405 data analysis Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 25
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 description 47
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003704 image resize Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像超分辨的模型训练和处理方法、装置、设备和介质，涉及图像处理技术领域，尤其涉及计算机视觉技术。具体实现方案为：获取样本对，所述样本对包括清晰度顺序增强的第一清晰图像、至少一个第二清晰图像和第三清晰图像；将所述样本对的第一清晰图像作为输入图像，输入超分辨模型中进行训练，其中，超分辨模型包括级联的至少两个子模型，样本对中的第二清晰图像和第三清晰图像，分别作为各子模型的输出图像的结果监督图像；如果确定超分辨模型的输出图像满足损失函数要求，则确定超分辨率图像训练完成。通过图像超分辨模块的级联，以及由原始样本所生成的每一级输出结果的结果监督图像，改善图像超分辨的处理效果。
Description
技术领域
本申请实施例涉及图像处理技术领域，具体涉及计算机视觉技术。
背景技术
图像超分辨技术，是图像处理技术的一种具体应用方式。所谓图像超分辨处理，是将低分辨率图像处理成为高分辨率图像。对于数码相机拍摄焦距不同造成图像分辨率不同等问题，可以通过图像超分辨处理有效得到解决。
现有技术采用机器学习模型来实现图像超分辨处理，其中，如何能够保持高分辨率图像的内容细节和高频纹理，是一项具有挑战的任务。
为了提高机器学习模型的超分辨处理能力，传统的方法是将模型加深或加宽，以增加模型计算量和模型参数的方法来提升模型效果。但是这样处理的性价比较低，超分辨处理效果并未随着计算量和参数量的增加而有显著提升。
发明内容
本申请实施例提供了一种图像超分辨的模型训练和处理方法、装置、设备和介质，以改善图像超分辨的处理效果。
第一方面，本申请实施例公开了一种图像超分辨模型的训练方法，该方法包括：
获取样本对，所述样本对包括清晰度顺序增强的第一清晰图像、至少一个第二清晰图像和第三清晰图像；
将所述样本对的第一清晰图像作为输入图像，输入超分辨模型中进行训练，其中，所述超分辨模型包括级联的至少两个子模型，所述样本对中的第二清晰图像和第三清晰图像，分别作为各子模型的输出图像的结果监督图像；
如果确定所述超分辨模型的输出图像满足损失函数要求，则确定所述超分辨率图像训练完成。
上述申请中的一个实施例具有如下优点或有益效果：将原始的第一清晰图像输入到由多个子模型级联而成的超分辨模型中，实现对原始第一清晰图像的多级处理，根据每个子模型的输出图像与样本对中不同清晰度的结果监督图像之间的差别，确定每一级子模型的模型参数，根据超分辨模型的损失函数确定超分辨率图像训练完成。改进了现有技术中，将模型加深或加宽，以增加模型计算量和模型参数的方法，提高图像超分辨处理的效率，改善图像超分辨的处理效果。
另外，根据本申请上述实施例的图像超分辨模型的训练方法，还可以具有如下附加的技术特征：
可选的，获取样本对包括：
获取对应的第一清晰图像和第三清晰图像；
将所述第三清晰图像进行退化处理，以产生至少一个所述第二清晰图像。
上述申请中的一个实施例具有如下优点或有益效果：由第三清晰图像退化得到第二清晰图像，避免第二清晰图像的细节缺失，保证第二清晰图像对对应子模型输出结果的监督作用，提高超分辨模型的图像处理的训练精度。
可选的，获取对应的第一清晰图像和第三清晰图像包括：
获取对应的第一分辨率图像和第三分辨率图像；
将所述第一分辨率图像进行分辨率调整，以产生与所述第三分辨率图像具有相同分辨率的第一清晰图像，所述第三分辨率图像作为所述第三清晰图像。
上述申请中的一个实施例具有如下优点或有益效果：将第一清晰图像调整为与第三清晰图像相同的分辨率，避免超分辨训练时，由于分辨率不同造成误差，提高图像超分辨处理的准确性。
可选的，所述超分辨模型的子模型为U-net模型，所述U-net模型包括至少一个降采样卷积单元和至少一个上采样卷积单元，相邻卷积单元之间设置有残差单元，所述残差单元用于处理前一级卷积单元的输出结果，并输入下一级卷积单元。
上述申请中的一个实施例具有如下优点或有益效果：通过U-net模型中的多个降采样卷积单元和上采样卷积单元，以及每个卷积单元之间的残差单元，提高对图像超分辨处理的精度，有利于改善图像超分辨的处理效果。
可选的，所述残差单元中设置有注意力机制单元。
上述申请中的一个实施例具有如下优点或有益效果：通过加入注意力机制，避免重要特征的遗漏，并弱化次要特征，提高图像超分辨的处理效率。
可选的，所述残差单元的数据处理过程包括：
将前一级卷积单元的输出结果输入所述残差单元的卷积模块；
将所述卷积模块的输出结果通过所述注意力机制单元进行处理，以产生特征权重图谱；
将所述卷积模块的输出结果结合所述特征权重图谱，以产生注意处理后输出结果；
将所述注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算，作为所述残差单元的输出结果。
上述申请中的一个实施例具有如下优点或有益效果：通过残差网络中的注意力机制单元将超分辨模型中卷积单元的输入图像进行处理，找出权重大的图像特征。
可选的，将所述注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算之前，还包括：
对所述注意处理后输出结果，结合纠正系数进行调整；其中，所述纠正系数的取值范围是0至1之间。
上述申请中的一个实施例具有如下优点或有益效果：将注意处理后输出结果按纠正系数进行缩小，改善图像超分辨处理的效果。
可选的，确定所述超分辨模型的输出图像满足损失函数要求包括：
在训练过程中，结合各子模型的损失函数，作为总损失函数；其中，每个子模型的损失函数，用于处理所述子模型的输出结果与结果监督图像之间的损失关系；
根据所述总损失函数确定所述超分辨模型是否满足收敛要求。
上述申请中的一个实施例具有如下优点或有益效果：将各子模型的损失函数结合为总损失函数，根据总损失函数确定超分辨模型是否训练完成，实现对超分辨模型中各子模型训练结果的全面判断。
可选的，在训练过程中，结合各子模型的损失函数，作为总损失函数包括：
在训练过程中，将各子模型的损失函数进行加权合并，以作为所述总损失函数。
上述申请中的一个实施例具有如下优点或有益效果：根据各子模型损失函数的权重进行损失函数的结合，提高根据损失函数判断超分辨模型训练结果的精确性。
可选的，所述第二清晰图像的数量为两个，所述超分辨模型包括三级子模型。
上述申请中的一个实施例具有如下优点或有益效果：将超分辨模型分为三级，既节约模型训练的时间，又改善图像超分辨处理的效果，提高了图像超分辨处理的性价比。
第二方面，本申请实施例公开了一种图像超分辨处理方法，该方法包括：
将第一分辨率图像进行分辨率调整，以产生第一清晰图像；
将所述第一清晰图像输入超分辨模型，其中，所述超分辨模型包括级联的至少两个子模型；
通过所述超分辨模型的处理，输出第三清晰图像，其中，所述第三清晰图像的分辨率与所述第一清晰图像的分辨率相同。
上述申请中的一个实施例具有如下优点或有益效果：通过调整第一分辨率图像，得到第一清晰图像，并将第一清晰图像输入超分辨模型中，逐级提高为第三清晰图像，减少第三清晰图像分辨率和清晰度的损失，提高图像超分辨处理的质量。
另外，根据本申请上述实施例的图像超分辨模型的训练方法，还可以具有如下附加的技术特征：
可选的，所述超分辨模型的子模型为U-net模型，所述U-net模型包括至少一个降采样卷积单元和至少一个上采样卷积单元，相邻卷积单元之间设置有残差单元，所述残差单元用于处理前一级卷积单元的输出结果，并输入下一级卷积单元。
上述申请中的一个实施例具有如下优点或有益效果：通过U-net模型中的多个降采样卷积单元和上采样卷积单元，以及每个卷积单元之间的残差单元，提高对图像超分辨处理的精度，有利于改善图像超分辨的处理效果。
可选的，所述残差单元中设置有注意力机制单元。
上述申请中的一个实施例具有如下优点或有益效果：通过加入注意力机制，避免重要特征的遗漏，并弱化次要特征，提高图像超分辨的处理效果。
可选的，所述残差单元的数据处理过程包括：
将前一级卷积单元的输出结果输入所述残差单元的卷积模块；
将所述卷积模块的输出结果通过所述注意力机制单元进行处理，以产生特征权重图谱；
将所述卷积模块的输出结果结合所述特征权重图谱，以产生注意处理后输出结果；
将所述注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算，作为所述残差单元的输出结果。
上述申请中的一个实施例具有如下优点或有益效果：
可选的，将所述注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算之前，还包括：
对所述注意处理后输出结果，结合纠正系数进行调整；其中，所述纠正系数的取值范围是0至1之间。
上述申请中的一个实施例具有如下优点或有益效果：将注意处理后输出结果按纠正系数进行缩小，改善图像超分辨处理的效果。
可选的，所述第二清晰图像的数量为两个，所述超分辨模型包括三级子模型。
上述申请中的一个实施例具有如下优点或有益效果：将超分辨模型分为三级，既节约模型训练的时间，又改善图像超分辨处理的效果，提高了图像超分辨处理的性价比。
第三方面，本申请实施例公开了一种图像超分辨模型的训练装置，该装置包括：
样本对获取模块，用于所述样本对包括清晰度顺序增强的第一清晰图像、至少一个第二清晰图像和第三清晰图像；
样本对训练模块，用于将所述样本对的第一清晰图像作为输入图像，输入超分辨模型中进行训练，其中，所述超分辨模型包括级联的至少两个子模型，所述样本对中的第二清晰图像和第三清晰图像，分别作为各子模型的输出图像的结果监督图像；
训练完成确定模块，用于如果确定所述超分辨模型的输出图像满足损失函数要求，则确定所述超分辨率图像训练完成。
第四方面，本申请实施例公开了一种图像超分辨处理装置，该装置包括：
第一清晰图像生成模块，用于将第一分辨率图像进行分辨率调整，以产生第一清晰图像；
第一清晰图像输入模块，用于将所述第一清晰图像输入超分辨模型，其中，所述超分辨模型包括级联的至少两个子模型；
第三清晰图像输出模块，用于通过所述超分辨模型的处理，输出第三清晰图像，其中，所述第三清晰图像的分辨率与所述第一清晰图像的分辨率相同。
第五方面，本申请实施例公开了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面的图像超分辨模型的训练方法或第二方面的图像超分辨处理方法。
第六方面，本申请实施例公开了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行第一方面的图像超分辨模型的训练方法或第二方面的图像超分辨处理方法。
上述申请中的一个实施例具有如下优点或有益效果：将原始的第一清晰图像输入到由多个子模型级联而成的超分辨模型中，实现对原始第一清晰图像的多级处理，根据每个子模型的输出图像与样本对中不同清晰度的结果监督图像之间的差别，确定每一级子模型的模型参数，根据超分辨模型的损失函数确定超分辨率图像训练完成。改进了现有技术中，将模型加深或加宽，以增加模型计算量和模型参数的方法，提高图像超分辨处理的效率，改善图像超分辨的处理效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例提供的一种图像超分辨模型的训练方法的流程示意图；
图2是根据本申请第一实施例提供的U-net子模型的结构示意图；
图3A是根据本申请第一实施例提供的残差单元数据处理的流程示意图；
图3B是根据本申请第一实施例提供的残差单元数据处理的另一流程示意图；
图4是根据本申请第二实施例提供的一种图像超分辨模型的训练方法的流程示意图；
图5是根据本申请第二实施例提供的超分辨模型的工作流程示意图；
图6是根据本申请第三实施例提供的一种图像超分辨处理方法的流程示意图；
图7是根据本申请第四实施例提供的一种图像超分辨模型的训练装置的结构框图；
图8是根据本申请第五实施例提供的一种图像超分辨处理装置的结构框图；
图9是用来实现本申请实施例的图像超分辨模型的训练方法的电子设备的框图；
图10是用来实现本申请实施例的图像超分辨处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
第一实施例
图1是根据本申请第一实施例提供的一种图像超分辨模型的训练方法的流程示意图，本实施例用于对第一清晰图像进行超分辨处理的模型训练的情况，该方法可以由一种图像超分辨模型的训练装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于具体计算能力的电子设备中。如图1所示，本实施例提供的一种图像超分辨模型的训练方法可以包括：
S110、获取样本对，样本对包括清晰度顺序增强的第一清晰图像、至少一个第二清晰图像和第三清晰图像。
其中，第一清晰图像、第二清晰图像和第三清晰图像为具有相同分辨率但不同清晰度的同一内容的图像，第二清晰图像的清晰度位于第一清晰图像与第三清晰图像的清晰度之间。第一清晰图像可以是低清晰图像，第二清晰图像可以是中间清晰图像，第三清晰图像可以是高清晰图像。
本实施例中，可选的，获取样本对包括：获取对应的第一清晰图像和第三清晰图像；将第三清晰图像进行退化处理，以产生至少一个第二清晰图像。
具体的，样本对中包括清晰度顺序增强的低清晰图像、至少一个中间清晰图像和高清晰图像。其中，中间清晰图像由高清晰图像进行退化处理得到，即用户只需采集低清晰图像和高清晰图像的样本，再根据高清晰图像生成中间清晰图像。可以对高清晰图像进行不同级别的退化处理，例如，将高清晰图片进行3倍的上下采样退化，生成第一中间清晰图像，再将高清晰图片进行2倍的上下采样退化，生成第二中间清晰图像，第二中间清晰图像的清晰度高于第一中间清晰图像的清晰度。中间清晰图像的数量可以视超分辨模型的子模型数量而定，例如，超分辨模型中子模型有三个，则中间清晰图像的数量为两个。这样设置的有益效果在于，由高清晰图像退化得到中间清晰图像，增加样本数量，避免中间清晰图像的细节缺失，保证中间清晰图像对对应子模型输出结果的监督作用，提高超分辨模型的图像处理的训练精度。
本实施例中，可选的，获取对应的第一清晰图像和第三清晰图像包括：获取对应的第一分辨率图像和第三分辨率图像；将第一分辨率图像进行分辨率调整，以产生与第三分辨率图像具有相同分辨率的第一清晰图像，第三分辨率图像作为第三清晰图像。
具体的，第一分辨率比第三分辨率低，第一分辨率图像可以是低分辨率图像，第三分辨率图像可以是高分辨率图像。用户在收集低清晰图像和高清晰图像时，可以采集低分辨率图像和高分辨率图像。高分辨率图像即对应为高清晰图像，低清晰图像为低分辨率图像进行分辨率调整后，生成的与高分辨率图像具有相同分辨率的图像。例如，可以采用线性插值方式，将真实的低分辨率图像resize(调整大小)成为与高分辨率图像相同分辨率的图像。这样设置的有益效果在于，将低清晰图像调整为与高清晰图像相同的分辨率，避免超分辨训练时，由于分辨率不同造成误差，实现了得到高分辨率的高清图像的效果，提高图像超分辨处理的准确性。
S120、将样本对的第一清晰图像作为输入图像，输入超分辨模型中进行训练，其中，超分辨模型包括级联的至少两个子模型，样本对中的第二清晰图像和第三清晰图像，分别作为各子模型的输出图像的结果监督图像。
其中，样本对中的低清晰图像为超分辨模型的输入图像，超分辨模型获取低清晰图像，输出清晰度高的图像。超分辨模型可以由至少两个子模型级联而成，每一级子模型可以得到一个输出图像，样本对中的中间清晰图像和高清晰图像作为结果监督图像，分别与对应清晰度级别的子模型的输出图像进行比较，确定每一级子模型的训练效果。例如，超分辨模型中存在两级子模型，中间清晰图像为第一级子模型的结果监督图像，高清晰图像为第二级子模型的结果监督图像。对应于中间清晰图像和高清晰图像，可以使用MSE(MeanSquare Error，均方误差)方法进行距离衡量，以确定每个子模型的输出图像与对应结果监督图像的差距。
本实施例中，可选的，超分辨模型的子模型为U-net模型，U-net模型包括至少一个降采样卷积单元和至少一个上采样卷积单元，相邻卷积单元之间设置有残差单元，残差单元用于处理前一级卷积单元的输出结果，并输入下一级卷积单元。
具体的，超分辨模型的子模型可以是U-net模型，则超分辨模型为由至少两个U-net模型级联而成的模型。每个U-net子模型中包括至少一个降采样卷积单元和至少一个上采样卷积单元，用于对该U-net子模型的输入图像进行超分辨处理。图2为本发明实施例中U-net子模型的结构示意图。图2中包括三个降采样卷积单元201和三个上采样卷积单元202。三个降采样卷积单元201所处理的图像分辨率逐级下降，每个降采样卷积单元201的输出结果作为下一个降采样卷积单元201的输入结果。三个上采样卷积单元202处理的图像分辨率逐级增加，每个上采样卷积单元202的输出结果作为下一个上采样卷积单元202的输入结果。
降采样卷积单元201会将输出结果传输给同分辨率的上采样卷积单元 202。上采样卷积单元202对从前一级卷积单元获得的输入数据进行上采样卷积处理，然后将上采样卷积结果与降采样卷积单元201传输的输出结果进行拼接，向下一层卷积单元传输。最后一层上采样卷积单元202的输出结果作为当前U-net模型最后的输出图像。
在U-net子模型中，相邻卷积单元之间设置有残差单元203，残差单元203用于处理前一级卷积单元的输出结果，并将处理后的输出结果输入到下一级卷积单元。例如，可以在两个降采样卷积单元201之间，降采样卷积单元201和上采样卷积单元202、以及两个上采样卷积单元202之间设置残差单元203。
这样设置的有益效果在于，通过级联的超分辨模型，解决了传统方法中，将模型加深或加宽来增加模型计算量和模型参数，所导致的计算量大和计算效率低的问题。根据U-net模型中的多个降采样卷积单元和上采样卷积单元，以及每个卷积单元之间的残差单元，提高对图像超分辨处理的精度，有利于改善图像超分辨的处理效果。
本实施例中，可选的，残差单元中设置有注意力机制单元。
具体的，可以采用带有se(Squeeze-and-Excitation，挤压激励)结构的通道残差结构，在正常的残差单元的最后一个卷积层串联一个CA (Channel Attention，注意力通道)单元，实现通道的权重的放大和缩小。这样设置的有益效果在于，提升对残差单元中关键信息的注意，弱化非关键信息，避免重要信息丢失，同时提高计算效率。
本实施例中，可选的，残差单元的数据处理过程包括：将前一级卷积单元的输出结果输入残差单元的卷积模块；将卷积模块的输出结果通过注意力机制单元进行处理，以产生特征权重图谱；将卷积模块的输出结果结合特征权重图谱，以产生注意处理后输出结果；将注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算，作为残差单元的输出结果。
具体的，如图3A所示，残差单元203中可以存在至少一个卷积模块 2031，在超分辨模型的子模型中，残差单元203中的第一个卷积模块2031 接收前一级卷积单元的输出结果，经过残差单元203中各个卷积模块2031 的计算后，将卷积模块2031的输出结果传输给最后一个卷积模块2031所串联的注意力机制单元(CA)2032。注意力机制单元2032根据卷积模块 2031的输出结果生成特征权证图谱2033，特征权证图谱2033可以表示图像中各特征的权重，确定输出结果中不同特征的重要性。根据特征权重图谱2033，结合卷积模块2032的输出结果，得到注意力机制单元2032在注意处理后输出结果，具体通过叉乘方式进行结合。将注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算，具体可以是加和在一起，作为残差单元203的输出结果。
本实施例中，可选的，将注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算之前，还包括：对注意处理后输出结果，结合纠正系数进行调整；其中，纠正系数的取值范围是0至1之间。如图3B所示，由纠正系统单元2034提供纠正系数。
具体的，根据纠正系数对注意处理后输出结果进行调整，纠正系数的取值范围为0至1，用于缩小注意处理后输出结果，将调整后的注意处理输出结果。纠正系数可以是在模型训练过程中可以学习的模型参数。
S130、如果确定超分辨模型的输出图像满足损失函数要求，则确定超分辨率图像训练完成。
其中，在得到超分辨模型的输出图像后，将超分辨模型的子模型的输出图像与样本对中的中间清晰图像和高清晰图像进行分别比较，根据中间清晰图像和高清晰图像，计算超分辨模型的输出图像的损失函数。如果确定超分辨模型的输出图像满足预设的损失函数要求，则说明超分辨模型的输出图像损失较小，确定超分辨率图像模型训练完成；如果确定超分辨模型的输出图像不满足损失函数要求，则不满足要求，需要继续对模型进行训练。
上述申请中的一个实施例具有如下优点或有益效果：将原始的第一清晰图像输入到由多个子模型级联而成的超分辨模型中，实现对原始第一清晰图像的多级处理，根据每个子模型的输出图像与样本对中不同清晰度的结果监督图像之间的差别，确定每一级子模型的模型参数，根据超分辨模型的损失函数确定超分辨率图像训练完成。改进了现有技术中，将模型加深或加宽，以增加模型计算量和模型参数的方法，提高图像超分辨处理的效率，改善图像超分辨的处理效果。
第二实施例
图4是根据本申请第二实施例提供的一种图像超分辨模型的训练方法的流程示意图，本实施例为上述实施例的进一步优化。如图4所示，本实施例提供的一种图像超分辨模型的训练方法可以包括：
S410、获取样本对，样本对包括清晰度顺序增强的第一清晰图像、至少一个第二清晰图像和第三清晰图像。
其中，样本对中的中间清晰图像的数量与超分辨模型的级数有关，且比超分辨模型的级数少一。
本实施例中，可选的，第二清晰图像的数量为两个，所述超分辨模型包括三级子模型。
具体的，中间清晰图像中包括第一中间清晰图像和第二中间清晰图像，超分辨模型包括第一级子模型、第二级子模型和第三级子模型。这样设置的有益效果在于，将超分辨模型分为三级，改进了现有技术中对将模型加深或加宽的方法，既节约模型训练的时间，提高计算效率，又实现图像超分辨的高效处理，提高了图像超分辨模型处理的性价比。
S420、将样本对的第一清晰图像作为输入图像，输入超分辨模型中进行训练，其中，超分辨模型包括级联的至少两个子模型，样本对中的第二清晰图像和第三清晰图像，分别作为各子模型的输出图像的结果监督图像。
其中，低清晰图像为第一级子模型的输入图像，第一中间清晰图像为第一级子模型输出图像的结果监督图像，第二中间清晰图像为第二级子模型输出图像的结果监督图像，高清晰图像为第三级子模型输出图像的结果监督图像。
S430、在训练过程中，结合各子模型的损失函数，作为总损失函数；其中，每个子模型的损失函数，用于处理子模型的输出结果与结果监督图像之间的损失关系。
其中，超分辨模型的每个子模型都可以输出一个输出图像，且输出图像的清晰度比该子模型输入图像的清晰度高。例如，第一级子模型的输出图像为第一级输出图像，根据第一级输出图像与第一中间清晰图像的差别，通过损失函数来确定子模型的输出结果与结果监督图像之间的损失关系。图5为超分辨模型的工作流程示意图。图5中的超分辨模型可以是CDSR (级联深超分辨网络，Cascade Deep Super-Resolution Network)模型，输入图像为低清晰图像，低清晰图像通过第一级子模型10，得到第一级输出图像。第一级输出图像输入第二级子模型20，得到第二级输出图像。第二级输出图像输入第三级子模型30，得到第三级输出图像。其中，子模型可以是U-net模型，也可以是UDSR(U-net深超分辨网络，U-netDeep Super-Resolution Network)模型。在得到第一级输出图像后，可采用第一损失函数确定第一级输出图像和第一中间清晰图像G1之间的损失关系。在得到第二级输出图像后，采用第二损失函数确定第二级输出图像和第二中间清晰图像之间的损失关系。在得到第三级输出图像后，采用第三损失函数确定第三级输出图像和高清晰图像之间的损失关系。在实施例中，优选是将三个损失函数进行结合，得到超分辨模型的总损失函数。
本实施例中，可选的，在训练过程中，结合各子模型的损失函数，作为总损失函数包括：在训练过程中，将各子模型的损失函数进行加权合并，以作为总损失函数。
具体的，不同子模型的损失函数可以设置不同的权重，根据权重对各子模型的损失函数进行加权合并，得到总损失函数。例如，三级子模型的权重比可以是2:3:5。这样设置的有益效果在于，可以考虑到每一级子模型对最终输出结果的影响，并根据不同子模型的权重，进行损失函数的结合，提高根据损失函数判断超分辨模型训练结果的精确性。
S440、根据总损失函数确定超分辨模型是否满足收敛要求。
其中，若超分辨模型的输出图像满足总损失函数要求，则超分辨模型的最终输出图像在预期范围内，超分辨模型满足收敛要求，该超分辨模型训练成功；若超分辨模型的输出图像没有满足总损失函数要求，则超分辨模型训练失败，根据损失函数对超分辨模型反向传播，实现模型的优化。
上述申请中的一个实施例具有如下优点或有益效果：将原始的第一清晰图像输入到由多个子模型级联而成的超分辨模型中，实现对原始第一清晰图像的多次训练，计算每个子模型的输出与样本对中不同清晰度的结果监督图像之间的损失函数，确定每一级子模型的训练效果，将各级损失函数结合为总损失函数，根据超分辨模型的总损失函数确定超分辨模型训练完成。改进了现有技术中，将模型加深或加宽，以增加模型计算量和模型参数的方法，提高图像超分辨处理的效率，以及根据总损失函数判断超分辨模型训练结果的精确性，改善图像超分辨的处理效果。
第三实施例
图6是根据本申请第三实施例提供的一种图像超分辨处理方法的流程示意图，本实施例用于根据第一清晰图像生成第三清晰图像的情况，该方法可以由一种图像超分辨处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于具备计算能力的电子设备中。如图6所示，本实施例提供的一种图像超分辨处理方法可以包括：
S610、将第一分辨率图像进行分辨率调整，以产生第一清晰图像。
其中，低分辨率图像为原始图像，对低分辨率图像进行分辨率调整，可以采用线性插值的方法，将低分辨率图像调整(resize)为高分辨率的低清晰图像。
S620、将第一清晰图像输入超分辨模型，其中，超分辨模型包括级联的至少两个子模型。
其中，低清晰图像为超分辨模型的输入图像，超分辨模型包括至少两个子模型。
本实施例中，可选的，超分辨模型的子模型为U-net模型，U-net模型包括至少一个降采样卷积单元和至少一个上采样卷积单元，相邻卷积单元之间设置有残差单元，残差单元用于处理前一级卷积单元的输出结果，并输入下一级卷积单元。
具体的，超分辨模型可以由至少两个U-net子模型级联而成，上一级 U-net子模型的输出为下一级U-net子模型的输入。U-net子模型中包括至少一个降采样卷积单元和至少一个上采样卷积单元，用于提高U-net子模型的输入图像的清晰度。在U-net子模型中，相邻卷积单元之间设置有残差单元，用于处理该U-net子模型中上一级卷积单元的输出结果，并将处理后的输出结果传输给该U-net子模型中下一级卷积单元，提高图像卷积的质量。
本实施例中，可选的，残差单元中设置有注意力机制单元。
具体的，在残差单元的最后一个卷积模块后串联注意力机制单元，通过注意力机制单元，提取残差单元中卷积模块输出结果中的关键信息，弱化非关键信息，实现对图像中重要特征的提取，提高图像超分辨的效率。
本实施例中，可选的，残差单元的数据处理过程包括：将前一级卷积单元的输出结果输入残差单元的卷积模块；将卷积模块的输出结果通过注意力机制单元进行处理，以产生特征权重图谱；将卷积模块的输出结果结合特征权重图谱，以产生注意处理后输出结果；将注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算，作为残差单元的输出结果。
本实施例中，可选的，将注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算之前，还包括：对注意处理后输出结果，结合纠正系数进行调整；其中，纠正系数的取值范围是0至1之间。
上述超分辨模型可采用前述实施例所训练形成的超分辨模型。
S630、通过超分辨模型的处理，输出第三清晰图像，其中，第三清晰图像的分辨率与第一清晰图像的分辨率相同。
其中，超分辨模型获取低清晰图像，经过各子模型的处理，得到高清晰图像。例如，超分辨模型中存在三级子模型，第一级子模型和第二级子模型可以分别生成第一级输出图像和第二级输出图像，第二级输出图像的清晰度高于第一级输出图像。第三级子模型将第二级子模型的第二级输出图像作为输入图像，进一步提高图像清晰度，最终得到与低清晰图像分辨率一致的高清晰图像。
上述申请中的一个实施例具有如下优点或有益效果：通过调整第一分辨率图像，得到第三分辨率的第一清晰图像，并将第一清晰图像输入超分辨模型中，逐级提高为第三清晰图像，减少第三清晰图像分辨率和清晰度的损失，提高图像超分辨处理的质量。
第四实施例
图7是根据本申请第四实施例提供的一种图像超分辨模型的训练装置的结构示意图，可执行本申请实施例所提供的图像超分辨模型的训练方法，具备执行方法相应的功能模块和有益效果。如图7所示，该装置700可以包括：
样本对获取模块701，用于所述样本对包括清晰度顺序增强的第一清晰图像、至少一个第二清晰图像和第三清晰图像；
样本对训练模块702，用于将样本对的第一清晰图像作为输入图像，输入超分辨模型中进行训练，其中，超分辨模型包括级联的至少两个子模型，样本对中的第二清晰图像和第三清晰图像，分别作为各子模型的输出图像的结果监督图像；
训练完成确定模块703，用于如果确定超分辨模型的输出图像满足损失函数要求，则确定超分辨率图像训练完成。
可选的，样本对获取模块701，包括：
图像获取单元，用于获取对应的第一清晰图像和第三清晰图像；
第二清晰图像生成单元，用于将第三清晰图像进行退化处理，以产生至少一个第二清晰图像。
可选的，图像获取单元，具体用于：
获取对应的第一分辨率图像和第三分辨率图像；
将第一分辨率图像进行分辨率调整，以产生与第三分辨率图像具有相同分辨率的第一清晰图像，第三分辨率图像作为第三清晰图像。
可选的，超分辨模型的子模型为U-net模型，U-net模型包括至少一个降采样卷积单元和至少一个上采样卷积单元，相邻卷积单元之间设置有残差单元，残差单元用于处理前一级卷积单元的输出结果，并输入下一级卷积单元。
可选的，残差单元中设置有注意力机制单元。
可选的，残差单元的数据处理过程包括：
将前一级卷积单元的输出结果输入残差单元的卷积模块；
将卷积模块的输出结果通过注意力机制单元进行处理，以产生特征权重图谱；
将卷积模块的输出结果结合特征权重图谱，以产生注意处理后输出结果；
将注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算，作为残差单元的输出结果。
可选的，该装置还包括：
输出结果调整模块，用于对注意处理后输出结果，结合纠正系数进行调整；其中，纠正系数的取值范围是0至1之间。
可选的，训练完成确定模块703，包括：
总损失函数确定单元，用于在训练过程中，结合各子模型的损失函数，作为总损失函数；其中，每个子模型的损失函数，用于处理子模型的输出结果与结果监督图像之间的损失关系；
超分辨模型确定单元，用于根据总损失函数确定超分辨模型是否满足收敛要求。
可选的，总损失函数确定单元，具体用于：
在训练过程中，将各子模型的损失函数进行加权合并，以作为总损失函数。
可选的，第二清晰图像的数量为两个，超分辨模型包括三级子模型。
上述申请中的一个实施例具有如下优点或有益效果：将原始的第一清晰图像输入到由多个子模型级联而成的超分辨模型中，实现对原始第一清晰图像的多次训练，根据每个子模型的输出与样本对中不同清晰度的结果监督图像之间的差别，确定每一级子模型的训练效果，根据超分辨模型的损失函数确定超分辨率图像训练完成。改进了现有技术中，将模型加深或加宽，以增加模型计算量和模型参数的方法，提高图像超分辨处理的效率，改善图像超分辨的处理效果。
第五实施例
图8是根据本申请第五实施例提供的一种图像超分辨处理装置的结构示意图，可执行本申请实施例所提供的图像超分辨处理方法，具备执行方法相应的功能模块和有益效果。如图8所示，该装置800可以包括：
第一清晰图像生成模块801，用于将第一分辨率图像进行分辨率调整，以产生第一清晰图像；
第一清晰图像输入模块802，用于将第一清晰图像输入超分辨模型，其中，超分辨模型包括级联的至少两个子模型；
第三清晰图像输出模块803，用于通过超分辨模型的处理，输出第三清晰图像，其中，第三清晰图像的分辨率与第一清晰图像的分辨率相同。
可选的，超分辨模型的子模型为U-net模型，U-net模型包括至少一个降采样卷积单元和至少一个上采样卷积单元，相邻卷积单元之间设置有残差单元，残差单元用于处理前一级卷积单元的输出结果，并输入下一级卷积单元。
可选的，残差单元中设置有注意力机制单元。
可选的，残差单元的数据处理过程包括：
将前一级卷积单元的输出结果输入残差单元的卷积模块；
将卷积模块的输出结果通过注意力机制单元进行处理，以产生特征权重图谱；
将卷积模块的输出结果结合特征权重图谱，以产生注意处理后输出结果；
将注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算，作为残差单元的输出结果。
可选的，该装置还包括：
输出结果调整模块，用于对注意处理后输出结果，结合纠正系数进行调整；其中，纠正系数的取值范围是0至1之间。
可选的，第二清晰图像的数量为两个，超分辨模型包括三级子模型。
上述申请中的一个实施例具有如下优点或有益效果：通过调整第一分辨率图像，得到第一清晰图像，并将第一清晰图像输入超分辨模型中，逐级提高为第三清晰图像，减少第三清晰图像分辨率和清晰度的损失，提高图像超分辨处理的质量。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的图像超分辨模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901 为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像超分辨模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像超分辨模型的训练方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像超分辨模型的训练方法对应的程序指令/模块。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像超分辨模型的训练方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像超分辨模型的训练方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至图像超分辨模型的训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像超分辨模型的训练方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904 可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与图像超分辨模型的训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED) 显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和 /或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，将原始的第一清晰图像输入到由多个子模型级联而成的超分辨模型中，实现对原始第一清晰图像的多次训练，根据每个子模型的输出与样本对中不同清晰度的结果监督图像之间的差别，确定每一级子模型的训练效果，根据超分辨模型的损失函数确定超分辨率图像训练完成。改进了现有技术中，将模型加深或加宽，以增加模型计算量和模型参数的方法，提高图像超分辨处理的效率，改善图像超分辨的处理效果。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图10所示，是根据本申请实施例的图像超分辨处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示，该电子设备包括：一个或多个处理器1001、存储器1002，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器 1001为例。
存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像超分辨处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像超分辨处理方法。
存储器1002作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像超分辨处理方法对应的程序指令/模块。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像超分辨处理方法。
存储器1002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像超分辨处理方法的电子设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1002可选包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至图像超分辨处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像超分辨处理方法的电子设备还可以包括：输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004 可以通过总线或者其他方式连接，图10中以通过总线连接为例。
输入装置1003可接收输入的数字或字符信息，以及产生与图像超分辨处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和 /或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过调整第一分辨率图像，得到第一清晰图像，并将第一清晰图像输入超分辨模型中，逐级提高为第三清晰图像，减少第三清晰图像分辨率和清晰度的损失，提高图像超分辨处理的质量。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (20)
1.一种图像超分辨模型的训练方法，其特征在于，包括：
获取样本对，所述样本对包括清晰度顺序增强的第一清晰图像、至少一个第二清晰图像和第三清晰图像；
将所述样本对的第一清晰图像作为输入图像，输入超分辨模型中进行训练，其中，所述超分辨模型包括级联的至少两个子模型，所述样本对中的第二清晰图像和第三清晰图像，分别作为各子模型的输出图像的结果监督图像；
如果确定所述超分辨模型的输出图像满足损失函数要求，则确定所述超分辨率图像训练完成。
2.根据权利要求1所述的方法，其特征在于，获取样本对包括：
获取对应的第一清晰图像和第三清晰图像；
将所述第三清晰图像进行退化处理，以产生至少一个所述第二清晰图像。
3.根据权利要求2所述的方法，其特征在于，获取对应的第一清晰图像和第三清晰图像包括：
获取对应的第一分辨率图像和第三分辨率图像；
将所述第一分辨率图像进行分辨率调整，以产生与所述第三分辨率图像具有相同分辨率的第一清晰图像，所述第三分辨率图像作为所述第三清晰图像。
4.根据权利要求1所述的方法，其特征在于，所述超分辨模型的子模型为U-net模型，所述U-net模型包括至少一个降采样卷积单元和至少一个上采样卷积单元，相邻卷积单元之间设置有残差单元，所述残差单元用于处理前一级卷积单元的输出结果，并输入下一级卷积单元。
5.根据权利要求4所述的方法，其特征在于，所述残差单元中设置有注意力机制单元。
6.根据权利要求5所述的方法，其特征在于，所述残差单元的数据处理过程包括：
将前一级卷积单元的输出结果输入所述残差单元的卷积模块；
将所述卷积模块的输出结果通过所述注意力机制单元进行处理，以产生特征权重图谱；
将所述卷积模块的输出结果结合所述特征权重图谱，以产生注意处理后输出结果；
将所述注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算，作为所述残差单元的输出结果。
7.根据权利要求6所述的方法，其特征在于，将所述注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算之前，还包括：
对所述注意处理后输出结果，结合纠正系数进行调整；其中，所述纠正系数的取值范围是0至1之间。
8.根据权利要求1所述的方法，其特征在于，确定所述超分辨模型的输出图像满足损失函数要求包括：
在训练过程中，结合各子模型的损失函数，作为总损失函数；其中，每个子模型的损失函数，用于处理所述子模型的输出结果与结果监督图像之间的损失关系；
根据所述总损失函数确定所述超分辨模型是否满足收敛要求。
9.根据权利要求8所述的方法，其特征在于，在训练过程中，结合各子模型的损失函数，作为总损失函数包括：
在训练过程中，将各子模型的损失函数进行加权合并，以作为所述总损失函数。
10.根据权利要求1所述的方法，其特征在于，所述第二清晰图像的数量为两个，所述超分辨模型包括三级子模型。
11.一种图像超分辨处理方法，其特征在于，包括：
将第一分辨率图像进行分辨率调整，以产生第一清晰图像；
将所述第一清晰图像输入超分辨模型，其中，所述超分辨模型包括级联的至少两个子模型；
通过所述超分辨模型的处理，输出第三清晰图像，其中，所述第三清晰图像的分辨率与所述第一清晰图像的分辨率相同。
12.根据权利要求11所述的方法，其特征在于，所述超分辨模型的子模型为U-net模型，所述U-net模型包括至少一个降采样卷积单元和至少一个上采样卷积单元，相邻卷积单元之间设置有残差单元，所述残差单元用于处理前一级卷积单元的输出结果，并输入下一级卷积单元。
13.根据权利要求12所述的方法，其特征在于，所述残差单元中设置有注意力机制单元。
14.根据权利要求13所述的方法，其特征在于，所述残差单元的数据处理过程包括：
将前一级卷积单元的输出结果输入所述残差单元的卷积模块；
将所述卷积模块的输出结果通过所述注意力机制单元进行处理，以产生特征权重图谱；
将所述卷积模块的输出结果结合所述特征权重图谱，以产生注意处理后输出结果；
将所述注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算，作为所述残差单元的输出结果。
15.根据权利要求14所述的方法，其特征在于，将所述注意处理后输出结果，与前一级卷积单元的输出结果，进行残差计算之前，还包括：
对所述注意处理后输出结果，结合纠正系数进行调整；其中，所述纠正系数的取值范围是0至1之间。
16.根据权利要求11所述的方法，其特征在于，所述第二清晰图像的数量为两个，所述超分辨模型包括三级子模型。
17.一种图像超分辨模型的训练装置，其特征在于，包括：
样本对获取模块，用于所述样本对包括清晰度顺序增强的第一清晰图像、至少一个第二清晰图像和第三清晰图像；
样本对训练模块，用于将所述样本对的第一清晰图像作为输入图像，输入超分辨模型中进行训练，其中，所述超分辨模型包括级联的至少两个子模型，所述样本对中的第二清晰图像和第三清晰图像，分别作为各子模型的输出图像的结果监督图像；
训练完成确定模块，用于如果确定所述超分辨模型的输出图像满足损失函数要求，则确定所述超分辨率图像训练完成。
18.一种图像超分辨处理装置，其特征在于，包括：
第一清晰图像生成模块，用于将第一分辨率图像进行分辨率调整，以产生第一清晰图像；
第一清晰图像输入模块，用于将所述第一清晰图像输入超分辨模型，其中，所述超分辨模型包括级联的至少两个子模型；
第三清晰图像输出模块，用于通过所述超分辨模型的处理，输出第三清晰图像，其中，所述第三清晰图像的分辨率与所述第一清晰图像的分辨率相同。
19.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的图像超分辨模型的训练方法或权利要求11-16中任一项所述的图像超分辨处理方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的图像超分辨模型的训练方法或权利要求11-16中任一项所述的图像超分辨处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010280199.3A CN111553840B (zh) | 2020-04-10 | 2020-04-10 | 图像超分辨的模型训练和处理方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010280199.3A CN111553840B (zh) | 2020-04-10 | 2020-04-10 | 图像超分辨的模型训练和处理方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553840A true CN111553840A (zh) | 2020-08-18 |
| CN111553840B CN111553840B (zh) | 2023-06-27 |
Family
ID=72003912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010280199.3A Active CN111553840B (zh) | 2020-04-10 | 2020-04-10 | 图像超分辨的模型训练和处理方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553840B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488947A (zh) * | 2020-12-04 | 2021-03-12 | 北京字跳网络技术有限公司 | 模型训练和图像处理方法、装置、设备和计算机可读介质 |
| CN113362229A (zh) * | 2021-07-06 | 2021-09-07 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、图像处理方法、装置及设备 |
| CN113610713A (zh) * | 2021-08-13 | 2021-11-05 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频超分辨方法及装置 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101345870A (zh) * | 2008-09-04 | 2009-01-14 | 上海交通大学 | 低码率视频超分辨率重构的编码装置和解码装置 |
| US20110221966A1 (en) * | 2010-03-10 | 2011-09-15 | Chunghwa Picture Tubes, Ltd. | Super-Resolution Method for Image Display |
| US20120299906A1 (en) * | 2011-05-24 | 2012-11-29 | Derek Shiell | Model-Based Face Image Super-Resolution |
| WO2014179681A1 (en) * | 2013-05-03 | 2014-11-06 | Sunnybrook Health Sciences Centre | Systems and methods for super-resolution ultrasound imaging |
| CN107689034A (zh) * | 2017-08-16 | 2018-02-13 | 清华-伯克利深圳学院筹备办公室 | 一种神经网络的训练方法、去噪方法及装置 |
| US20190156182A1 (en) * | 2017-10-30 | 2019-05-23 | Preferred Networks, Inc. | Data inference apparatus, data inference method and non-transitory computer readable medium |
| CN109872276A (zh) * | 2019-01-29 | 2019-06-11 | 北京字节跳动网络技术有限公司 | 用于生成图像超分辨率模型的方法和装置 |
| CN109949255A (zh) * | 2017-12-20 | 2019-06-28 | 华为技术有限公司 | 图像重建方法及设备 |
| CN110163237A (zh) * | 2018-11-08 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 模型训练及图像处理方法、装置、介质、电子设备 |
| US20190311463A1 (en) * | 2016-11-01 | 2019-10-10 | Capital Normal University | Super-resolution image sensor and producing method thereof |
| CN110322403A (zh) * | 2019-06-19 | 2019-10-11 | 怀光智能科技（武汉）有限公司 | 一种基于生成对抗网络的多监督图像超分辨重建方法 |
| CN110533594A (zh) * | 2019-08-30 | 2019-12-03 | Oppo广东移动通信有限公司 | 模型训练方法、图像重建方法、存储介质及相关设备 |
| CN110647936A (zh) * | 2019-09-20 | 2020-01-03 | 北京百度网讯科技有限公司 | 视频超分辨率重建模型的训练方法、装置和电子设备 |
| WO2020009749A1 (en) * | 2018-07-03 | 2020-01-09 | Nanotronics Imaging, Inc. | Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging |
| CN110689482A (zh) * | 2019-09-18 | 2020-01-14 | 中国科学技术大学 | 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法 |
| CN110706157A (zh) * | 2019-09-18 | 2020-01-17 | 中国科学技术大学 | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 |
| CN110766612A (zh) * | 2019-12-26 | 2020-02-07 | 杭州知衣科技有限公司 | 一种基于深度学习的图像超分辨率方法 |
| CN114332709A (zh) * | 2021-12-29 | 2022-04-12 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、存储介质以及电子设备 |
-
2020
- 2020-04-10 CN CN202010280199.3A patent/CN111553840B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101345870A (zh) * | 2008-09-04 | 2009-01-14 | 上海交通大学 | 低码率视频超分辨率重构的编码装置和解码装置 |
| US20110221966A1 (en) * | 2010-03-10 | 2011-09-15 | Chunghwa Picture Tubes, Ltd. | Super-Resolution Method for Image Display |
| US20120299906A1 (en) * | 2011-05-24 | 2012-11-29 | Derek Shiell | Model-Based Face Image Super-Resolution |
| WO2014179681A1 (en) * | 2013-05-03 | 2014-11-06 | Sunnybrook Health Sciences Centre | Systems and methods for super-resolution ultrasound imaging |
| US20190311463A1 (en) * | 2016-11-01 | 2019-10-10 | Capital Normal University | Super-resolution image sensor and producing method thereof |
| CN107689034A (zh) * | 2017-08-16 | 2018-02-13 | 清华-伯克利深圳学院筹备办公室 | 一种神经网络的训练方法、去噪方法及装置 |
| US20190156182A1 (en) * | 2017-10-30 | 2019-05-23 | Preferred Networks, Inc. | Data inference apparatus, data inference method and non-transitory computer readable medium |
| CN109949255A (zh) * | 2017-12-20 | 2019-06-28 | 华为技术有限公司 | 图像重建方法及设备 |
| WO2020009749A1 (en) * | 2018-07-03 | 2020-01-09 | Nanotronics Imaging, Inc. | Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging |
| CN110163237A (zh) * | 2018-11-08 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 模型训练及图像处理方法、装置、介质、电子设备 |
| CN109872276A (zh) * | 2019-01-29 | 2019-06-11 | 北京字节跳动网络技术有限公司 | 用于生成图像超分辨率模型的方法和装置 |
| CN110322403A (zh) * | 2019-06-19 | 2019-10-11 | 怀光智能科技（武汉）有限公司 | 一种基于生成对抗网络的多监督图像超分辨重建方法 |
| CN110533594A (zh) * | 2019-08-30 | 2019-12-03 | Oppo广东移动通信有限公司 | 模型训练方法、图像重建方法、存储介质及相关设备 |
| CN110689482A (zh) * | 2019-09-18 | 2020-01-14 | 中国科学技术大学 | 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法 |
| CN110706157A (zh) * | 2019-09-18 | 2020-01-17 | 中国科学技术大学 | 一种基于身份先验生成对抗网络的人脸超分辨率重建方法 |
| CN110647936A (zh) * | 2019-09-20 | 2020-01-03 | 北京百度网讯科技有限公司 | 视频超分辨率重建模型的训练方法、装置和电子设备 |
| CN110766612A (zh) * | 2019-12-26 | 2020-02-07 | 杭州知衣科技有限公司 | 一种基于深度学习的图像超分辨率方法 |
| CN114332709A (zh) * | 2021-12-29 | 2022-04-12 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、存储介质以及电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| GAO HONGXIA: "Multi-frame super-resolution reconstruction based on global motion estimation using a novel CNN descriptor", 《OPTOELECTRONICS LETTERS》 * |
| GAO HONGXIA: "Multi-frame super-resolution reconstruction based on global motion estimation using a novel CNN descriptor", 《OPTOELECTRONICS LETTERS》, 1 November 2019 (2019-11-01), pages 468 - 475, XP036950355, DOI: 10.1007/s11801-019-8208-0 * |
| 董猛: "基于注意力残差卷积网络的视频超分辨率重构", 《长春理工大学学报（自然科学版）》 * |
| 董猛: "基于注意力残差卷积网络的视频超分辨率重构", 《长春理工大学学报（自然科学版）》, vol. 43, no. 1, 28 February 2020 (2020-02-28), pages 83 - 88 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488947A (zh) * | 2020-12-04 | 2021-03-12 | 北京字跳网络技术有限公司 | 模型训练和图像处理方法、装置、设备和计算机可读介质 |
| CN113362229A (zh) * | 2021-07-06 | 2021-09-07 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、图像处理方法、装置及设备 |
| CN113362229B (zh) * | 2021-07-06 | 2022-07-22 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、图像处理方法、装置及设备 |
| CN113610713A (zh) * | 2021-08-13 | 2021-11-05 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频超分辨方法及装置 |
| CN113610713B (zh) * | 2021-08-13 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频超分辨方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553840B (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111182254B (zh) | 一种视频处理方法、装置、设备及存储介质 | |
| CN111553840B (zh) | 图像超分辨的模型训练和处理方法、装置、设备和介质 | |
| US20210390296A1 (en) | Optical character recognition method and apparatus, electronic device and storage medium | |
| CN111507914A (zh) | 人脸修复模型的训练方法、修复方法、装置、设备和介质 | |
| CN111553282A (zh) | 用于检测车辆的方法和装置 | |
| CN111327926B (zh) | 视频插帧方法、装置、电子设备及存储介质 | |
| US11810384B2 (en) | Method and apparatus for recognizing text content and electronic device | |
| CN110648294A (zh) | 图像修复方法、装置及电子设备 | |
| CN115409855B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN111932464A (zh) | 超分辨率模型使用和训练方法、装置、设备及介质 | |
| CN113365110A (zh) | 模型训练、视频插帧方法，装置，设备以及存储介质 | |
| CN110766089A (zh) | 超网络的模型结构采样方法、装置以及电子设备 | |
| CN111539897A (zh) | 用于生成图像转换模型的方法和装置 | |
| EP4123595A2 (en) | Method and apparatus of rectifying text image, training method and apparatus, electronic device, and medium | |
| CN112529058A (zh) | 图像生成模型训练方法和装置、图像生成方法和装置 | |
| CN111833391A (zh) | 图像深度信息的估计方法及装置 | |
| CN116129101A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN115578261A (zh) | 图像处理方法、深度学习模型的训练方法、装置 | |
| CN115330851A (zh) | 单目深度估计方法、装置、电子设备、存储介质及车辆 | |
| CN112819874B (zh) | 深度信息处理方法、装置、设备、存储介质以及程序产品 | |
| CN111539922B (zh) | 基于多任务网络的单目深度估计与表面法向量估计方法 | |
| CN112529154A (zh) | 图像生成模型训练方法和装置、图像生成方法和装置 | |
| CN113610856A (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN113160045B (zh) | 模型训练方法、超分辨率方法、装置、电子设备及介质 | |
| CN113160044B (zh) | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |