CN113706390A - 图像转换模型训练方法和图像转换方法、设备及介质 - Google Patents
图像转换模型训练方法和图像转换方法、设备及介质 Download PDFInfo
- Publication number
- CN113706390A CN113706390A CN202111268757.5A CN202111268757A CN113706390A CN 113706390 A CN113706390 A CN 113706390A CN 202111268757 A CN202111268757 A CN 202111268757A CN 113706390 A CN113706390 A CN 113706390A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- resolution
- image conversion
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 355
- 238000012549 training Methods 0.000 title claims abstract description 263
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000009466 transformation Effects 0.000 claims description 44
- 238000013145 classification model Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 18
- 238000011426 transformation method Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 244000025254 Cannabis sativa Species 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像转换模型训练方法和图像转换方法、设备及介质，适用于人工智能技术领域。该方法包括：获取多组第一图像训练集，各第一图像训练集包括多张低分辨率图像以及各低分辨率图像对应的高分辨率图像；将多组第一图像训练集，分别输入至图像转换网络中，训练图像转换网络，得到多个初始图像转换模型；初始图像转换模型用于将低分辨率图像转换为高分辨率图像；对多个初始图像转换模型进行融合，生成目标图像转换模型。采用该方法可以缩短模型训练的时间，降低对计算机设备的计算资源的耗费。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种图像转换模型训练方法和图像转换方法、设备及介质。
背景技术
随着超高清产业的快速发展，大部分视频软件都具有超高分辨率如2K、4K的视频源。对于最新拍摄的电影或者手机拍摄的视频，随着相机技术的发展都具有较高的分辨率，而对于一些老电影或者较早时期拍摄的珍贵视频，受限于当时的拍摄技术影像分辨率通常很低，视频较为模糊。将这些影像视频通过4K超分算法复原为4K超清影像，增强影像中的细节，提高每帧图像的识别能力和识别精度，有助于这些影像的重新上映，珍贵视频的复原保存。
现有技术中，通常将低分辨率的视频输入至深度卷积神经网络模型，然后输出4K超清影像。
然而，由于上述深度卷积神经网络模型在训练过程中耗费计算资源很大，模型训练时间超长，因此，难以满足目前市场要求。
发明内容
有鉴于此，本发明实施例提供了一种图像转换模型训练方法和图像转换方法、设备及介质，以解决现有技术中深度卷积神经网络模型在训练过程中耗费计算资源很大，模型训练时间超长的问题。
根据第一方面，本发明实施例提供了一种图像转换模型训练方法，该方法包括：获取多组第一图像训练集，各第一图像训练集包括多张低分辨率图像以及各低分辨率图像对应的高分辨率图像；将多组第一图像训练集，分别输入至图像转换网络中，训练图像转换网络，得到多个初始图像转换模型；初始图像转换模型用于将低分辨率图像转换为高分辨率图像；对多个初始图像转换模型进行融合，生成目标图像转换模型。
在本申请实施例中，获取多组第一图像训练集，并将多组第一图像训练集，分别输入至图像转换网络中，训练图像转换网络，得到多个初始图像转换模型。然后，对多个初始图像转换模型进行融合，生成目标图像转换模型。与现有技术中利用大量数据集训练一个较大模型相比，上述方法，获取多个第一图像训练集训练多个初始图像转换模型，可以缩短模型训练的时间，降低对计算机设备的计算资源的耗费。此外，对多个初始图像转换模型进行融合，生成目标图像转换模型。还可以保证生成的目标图像转换模型的精度较高，且避免了训练一个模型会发生过拟合的情况。因此，解决了现有技术中深度卷积神经网络模型在训练过程中耗费计算资源很大，模型训练时间超长的问题。
结合第一方面，在第一方面第一实施方式中，对多个初始图像转换模型进行融合，生成目标图像转换模型，包括：获取各初始图像转换模型的权重信息以及参数信息；根据各初始图像转换模型的权重信息以及参数信息，对各初始图像转换模型的参数信息进行加权求和，得到初始参数信息；根据初始参数信息，生成目标图像转换模型，其中，目标图像转化模型与各初始图像转换模型的模型结构相同。
在本申请实施例中，获取各初始图像转换模型的权重信息以及参数信息；根据各初始图像转换模型的权重信息以及参数信息，对各初始图像转换模型的参数信息进行加权求和，得到初始参数信息；根据初始参数信息，生成目标图像转换模型。上述方法中，将多个初始图像转换模型融合生成目标图像转换模型，提高了目标图像转换模型的泛化能力以及预测能力，且避免了单个模型在训练过程中容易过拟合的问题。
结合第一方面第一实施方式，在第一方面第二实施方式中，根据初始参数信息，生成目标图像转换模型，包括：根据初始参数信息，生成预图像转换模型，预图像转换模型与各初始图像转换模型的模型结构相同；获取第二图像训练集；第二图像训练集中包括多张低分辨率图像以及低分辨率图像对应的高分辨率图像；将第二图像训练集输入至预图像转换模型中，对预图像转换模型的参数进行调整，得到目标图像转换模型。
在本申请实施例中，根据初始参数信息，生成预图像转换模型，并获取第二图像训练集；将第二图像训练集输入至预图像转换模型中，对预图像转换模型的参数进行调整，得到目标图像转换模型。上述方法，通过对预图像转换模型进行二次训练，从而提高了目标图像转换模型的准确性，保证得到的目标图像转换模型的精度。
结合第一方面第一实施方式，在第一方面第三实施方式中，获取各初始图像转换模型的权重信息，包括：对各初始图像转换模型进行测试，获取各初始图像转换模型的精度；根据各初始图像转换模型的精度，确定各初始图像转换模型对应的权重信息。
在本申请实施例中，对各初始图像转换模型进行测试，获取各初始图像转换模型的精度；根据各初始图像转换模型的精度，确定各初始图像转换模型对应的权重信息。从而可以保证各初始图像转换模型对应的权重信息的准确性。
结合第一方面，在第一方面第四实施方式中，获取多组第一图像训练集，包括：获取第三图像训练集，第三图像训练集中包括多张低分辨率图像以及各低分辨图像对应的高分辨率图像；第三图像训练集中图像的数量大于第一图像训练集中图像的数量；将第三图像训练集输入至分类模型，利用分类模型对第三图像训练集中各图像的场景进行识别，确定第三图像训练集中各图像的场景；根据第三图像训练集中各图像的场景，将不同场景的多张图像分为一组，得到多组第一图像训练集。
在本申请实施例中，获取第三图像训练集，将第三图像训练集输入至分类模型，利用分类模型对第三图像训练集中各图像的场景进行识别，确定第三图像训练集中各图像的场景；根据第三图像训练集中各图像的场景，将不同场景的多张图像分为一组，得到多组第一图像训练集。从而可以保证各组第一图像训练集中包括各种场景，保证了各组第一图像训练集场景的复杂度，进而保证利用各第一图像训练集训练得到的初始图像转换模型的准确性。
根据第二方面，本发明实施例提供了一种图像转换方法，该方法包括：获取待处理的低分辨率图像；将低分辨率图像切分为多块低分辨率子图像；其中，多块低分辨率子图像之间有重叠像素；将多块低分辨子图像分别输入至目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像；目标图像转换模型根据第一方面任一所述的图像转换模型训练方法训练得到；对多块高分辨率子图像进行拼接，生成高分辨率图像。
在本申请实施例中，获取待处理的低分辨率图像；将低分辨率图像切分为多块低分辨率子图像；从而可以减少低分辨率图像的尺寸，使得目标图像转换模型在对低分辨率子图像进行处理时，减少对计算机设备计算资源的耗费。将多块低分辨子图像分别输入至目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像；对多块高分辨率子图像进行拼接，生成高分辨率图像。上述方法不仅可以减少对计算机设备计算资源的耗费，还可以节省时间，提高高分辨率图像的质量。
结合第二方面，在第二方面第一实施方式中，对多块高分辨率子图像进行拼接，生成高分辨率图像，包括：获取多块高分辨率子图像之间的重叠像素；对重叠像素的像素值进行求平均运算，将计算得到的像素值作为重叠像素的像素值；根据各像素的位置，对重叠像素和不重叠的像素进行拼接生成高分辨率图像。
在本申请实施例中，获取多块高分辨率子图像之间的重叠像素，对重叠像素的像素值进行求平均运算，将计算得到的像素值作为重叠像素的像素值。从而可以保证多块高分辨率子图像在像素重叠部分的过渡比较顺滑平整，避免了图像拼接时出现拼接处像素断裂的情况。根据各像素的位置，对重叠像素和不重叠的像素进行拼接生成高分辨率图像，保证了生成的高分辨率图像的清晰度。
结合第二方面，在第二方面第二实施方式中，将多块低分辨子图像分别输入至目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像，包括：将多块低分辨子图像分别输入至多个目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像。
在本申请实施例中，计算机设备将多块低分辨子图像分别输入至多个目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像，从可以避免将多块低分辨子图像分别输入至同一个目标图像转换模型中，导致目标图像转换模型运行时间较长，从而节省了时间。
根据第三方面，本发明实施例提供了一种图像转换模型训练装置，该装置包括：
第一获取模块，用于获取多组第一图像训练集，各第一图像训练集包括多张低分辨率图像以及各低分辨率图像对应的高分辨率图像；
训练模块，用于将多组第一图像训练集，分别输入至图像转换网络中，训练图像转换网络，得到多个初始图像转换模型；初始图像转换模型用于将低分辨率图像转换为高分辨率图像；
融合模块，用于对多个初始图像转换模型进行融合，生成目标图像转换模型。
结合第三方面，在第三方面第一实施方式中，上述融合模块，包括：
获取单元，用于获取各初始图像转换模型的权重信息以及参数信息；
加权求和单元，用于根据各初始图像转换模型的权重信息以及参数信息，对各初始图像转换模型的参数信息进行加权求和，得到初始参数信息；
生成单元，用于根据初始参数信息，生成目标图像转换模型，其中，目标图像转化模型与各初始图像转换模型的模型结构相同。
结合第三方面第一实施方式，在第三方面第二实施方式中，上述生成单元，具体用于根据初始参数信息，生成预图像转换模型，预图像转换模型与各初始图像转换模型的模型结构相同；获取第二图像训练集；第二图像训练集中包括多张低分辨率图像以及低分辨率图像对应的高分辨率图像；将第二图像训练集输入至预图像转换模型中，对预图像转换模型的参数进行调整，得到目标图像转换模型。
结合第三方面第一实施方式，在第三方面第三实施方式中，上述获取单元，具体用于对各初始图像转换模型进行测试，获取各初始图像转换模型的精度；根据各初始图像转换模型的精度，确定各初始图像转换模型对应的权重信息。
结合第三方面，在第三方面第四实施方式中，上述第一获取模块，具体用于获取第三图像训练集，第三图像训练集中包括多张低分辨率图像以及各低分辨图像对应的高分辨率图像；第三图像训练集中图像的数量大于第一图像训练集中图像的数量；将第三图像训练集输入至分类模型，分类模型对第三图像训练集中各图像的场景进行识别，确定第三图像训练集中各图像的场景；根据第三图像训练集中各图像的场景，将不同场景的多张图像分为一组，得到多组第一图像训练集。
根据第四方面，本发明实施例提供了一种图像转换装置，该装置包括第二获取模块，用于获取待处理的低分辨率图像；
切分模块，用于将低分辨率图像切分为多块低分辨率子图像；其中，多块低分辨率子图像之间有重叠像素；
输入模块，用于将多块低分辨子图像分别输入至目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像；目标图像转换模型根据第一方面任一的方法训练得到；
拼接模块，用于对多块高分辨率子图像进行拼接，生成高分辨率图像。
结合第四方面，在第四方面第一实施方式中，上述拼接模块，具体用于获取多块高分辨率子图像之间的重叠像素；对重叠像素的像素值进行求平均运算，将计算得到的像素值作为重叠像素的像素值；根据各像素的位置，对重叠像素和不重叠的像素进行拼接生成高分辨率图像。
结合第四方面，在第四方面第二实施方式中，上述输入模块，具体用于将多块低分辨子图像分别输入至多个目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像。
根据第五方面，本发明实施例提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中的图像转换模型训练方法以及第二方面或者第二方面的任意一种实施方式中的图像转换方法。
根据第六方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行第一方面或者第一方面的任意一种实施方式中的图像转换模型训练方法以及第二方面或者第二方面的任意一种实施方式中的图像转换方法。
根据第五方面，本发明实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行第一方面或者第一方面的任意一种实施方式中的图像转换模型训练方法以及第二方面或者第二方面的任意一种实施方式中的图像转换方法。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了一个实施例中图像转换模型训练方法的步骤流程图；
图2示出了另一个实施例中图像转换模型训练方法的步骤流程图；
图3示出了另一个实施例中图像转换模型训练方法的步骤流程图；
图4示出了另一个实施例中图像转换模型训练方法的步骤流程图；
图5示出了另一个实施例中图像转换模型训练方法的步骤流程图；
图6示出了另一个实施例中图像转换方法的步骤流程图；
图7示出了另一个实施例中图像转换方法的步骤流程图；
图8示出了另一个实施例中图像转换模型训练以及图像转换方法的步骤流程图；
图9示出了另一个实施例中图像转换模型训练以及图像转换方法的框架图；
图10示出了另一个实施例中图像转换模型训练装置的结构框图；
图11示出了一个实施例中图像转换模型训练装置的结构框图；
图12示出了一个实施例中图像转换装置的结构框图；
图13示出了一个实施例计算机设备为服务器时的内部结构图；
图14示出了一个实施例计算机设备为终端时的内部结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请实施例提供的图像转换模型训练的方法，其执行主体可以是图像转换模型训练的装置，该图像转换模型训练的装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部，其中，该计算机设备可以是服务器或者终端，其中，本申请实施例中的服务器可以为一台服务器，也可以为由多台服务器组成的服务器集群，也可以是云平台。本申请实施例中的终端可以是智能手机、个人电脑、平板电脑、可穿戴设备以及智能机器人等其他智能硬件设备。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。
在本申请一个实施例中，提供了一种图像转换模型训练方法，如图1所示，以该方法应用于计算机设备为例进行说明，包括以下内容：
101，获取多组第一图像训练集。
其中，各第一图像训练集包括多张低分辨率图像以及各低分辨率图像对应的高分辨率图像。
具体地，计算机设备可以接收用户输入的多组第一图像训练集，也可以接收其他设备发送的多组第一图像训练集，还可以对多张不同的图像进行拆分，生成多组第一图像训练集。
本申请实施例对计算机设备获取到多组第一图像训练集的方式不做具体限定。
102，将多组第一图像训练集，分别输入至图像转换网络中，训练图像转换网络，得到多个初始图像转换模型。
其中，初始图像转换模型用于将低分辨率图像转换为高分辨率图像。
具体地，计算机设备将多组第一图像训练集输入至图像转换网络中，然后根据多组第一图像训练集中包括的多张低分辨率图像以及各低分辨率图像对应的高分辨率图像对图像转换网络进行训练，经过多次迭代训练，得到多个初始图像转换模型。
其中，需要说明的是，图像转换网络可以是EDSR（Enhanced Deep ResidualNetwork，增强深度超分辨率网络），也可以是机器学习网络模型，或是其他网络模型，机器学习网络模型可以是DNN（Deep Neural Networks，深度神经网络）、CNN（ConvolutionalNeural Networks，卷积神经网络）、RNN（Recurrent Neural Network，循环神经网络）等，在图像转换网络是CNN时，其可以是V-Net模型、U-Net模型、生成式对抗网络GenerativeAdversarial Nets模型等。本申请实施例对图像转换网络的类型不做具体限定。
其中，当图像转换网络为EDSR网络时，由于EDSR网络是一种多尺度深度超分辨率网络模型算法，其在减小模型大小的同时实现了比当前其他算法模型更好的性能，能够保证本发明系统生成的高分辨率图像的细节质量。
103，对多个初始图像转换模型进行融合，生成目标图像转换模型。
具体地，计算机设备可以对得到的多个初始图像转换模型的参数信息进行融合处理，生成目标图像转换模型。
其中，融合处理的方式可以是对多个初始图像转换模型参数信息进行加权融合，也可以是对多个初始图像转换模型参数信息进行求均值融合，本申请实施对多个初始图像转换模型的参数信息进行融合处理的方式不做具体限定。
在本申请实施例中，获取多组第一图像训练集，并将多组第一图像训练集，分别输入至图像转换网络中，训练图像转换网络，得到多个初始图像转换模型。然后，对多个初始图像转换模型进行融合，生成目标图像转换模型。与现有技术中利用大量数据集训练一个较大模型相比，上述方法，获取多个第一图像训练集训练多个初始图像转换模型，可以缩短模型训练的时间，降低对计算机设备的计算资源的耗费。此外，对多个初始图像转换模型进行融合，生成目标图像转换模型。还可以保证生成的目标图像转换模型的精度较高，且避免了训练一个模型会发生过拟合的情况。因此，解决了现有技术中深度卷积神经网络模型在训练过程中耗费计算资源很大，模型训练时间超长的问题。
在本申请一个实施例中，如图2所示，上述103中的“对多个初始图像转换模型进行融合，生成目标图像转换模型”，可以包括以下内容：
201，获取各初始图像转换模型的权重信息以及参数信息。
具体地，计算机设备对各初始图像转换模型进行读取，从而获取到各初始图像转换模型的参数信息。
在一种可选的实施方式中，计算机设备可以接收用户输入的各初始图像转换模型的权重信息，从而获取各初始图像转换模型的权重信息。
在另一种可选的实施方式中，计算机设备还可以根据各初始图像转换模型的精度确定各初始图像转换模型的权重信息。
202，根据各初始图像转换模型的权重信息以及参数信息，对各初始图像转换模型的参数信息进行加权求和，得到初始参数信息。
具体地，计算机设备可以根据各初始图像转换模型的权重信息以及参数信息，将各初始图像转换模型的参数信息乘以相应的权重之后再相加，得到初始参数信息。
其中，计算机设备可以利用如下公式（1）计算初始参数信息：
其中，
为各初始图像转换模型的权重信息，
为各初始图像转换模型的
参数信息。
203，根据初始参数信息，生成目标图像转换模型。
其中，目标图像转化模型与各初始图像转换模型的模型结构相同
在一种可选的实施方式中，计算机设备可以根据生成的初始参数信息，对其中一个初始图像转换模型的参数信息进行修改，得到目标图像转换模型。
在另一种可选的实施方式中，计算机设备还可以对生成的初始参数信息进行优化，生成目标图像转换模型。
在本申请实施例中，获取各初始图像转换模型的权重信息以及参数信息；根据各初始图像转换模型的权重信息以及参数信息，对各初始图像转换模型的参数信息进行加权求和，得到初始参数信息；根据初始参数信息，生成目标图像转换模型。上述方法中，将多个初始图像转换模型融合生成目标图像转换模型，提高了目标图像转换模型的泛化能力以及预测能力，且避免了单个模型在训练过程中容易过拟合的问题。
在本申请一个实施例中，如图3所示，上述203中的“根据初始参数信息，生成目标图像转换模型”，可以包括以下内容：
301，根据初始参数信息，生成预图像转换模型。
其中，预图像转换模型与各初始图像转换模型的模型结构相同。
具体地，计算机设备可以根据初始参数信息，对其中一个初始图像转换模型的参数信息进行修改，生成预图像转换模型。
302，获取第二图像训练集。
其中，第二图像训练集中包括多张低分辨率图像以及低分辨率图像对应的高分辨率图像。
具体地，计算机设备可以接收用户输入的第二图像训练集，也可以接收其他设备发送的第二图像训练集，还可以从多组第一图像训练集中筛选至少一组第一图像训练集，作为第二图像训练集。本申请实施例对计算机设备获取到第二图像训练集的方式不做具体限定。
303，将第二图像训练集输入至预图像转换模型中，对预图像转换模型的参数进行调整，得到目标图像转换模型。
具体地，计算机设备将第二图像训练集输入至预图像转换模型中，预图像转换模型对第二图像训练集中的图像进行特征提取，并将提取后的特征与高分辨率图像进行对比，生成损失函数，根据损失函数的结果，调整预图像转换模型的参数，经过多轮迭代训练，直至模型收敛，得到目标图像转换模型。
在本申请实施例中，根据初始参数信息，生成预图像转换模型，预图像转换模型与各初始图像转换模型的模型结构相同；获取第二图像训练集；第二图像训练集中包括多张低分辨率图像以及低分辨率图像对应的高分辨率图像；将第二图像训练集输入至预图像转换模型中，对预图像转换模型的参数进行调整，得到目标图像转换模型。上述方法，通过对预图像转换模型进行二次训练，提高了目标图像转换模型的准确性，保证得到的目标图像转换模型的精度。
在本申请一个实施例中，如图4所示，上述201中的“获取各初始图像转换模型的权重信息”，可以包括以下内容：
401，对各初始图像转换模型进行测试，获取各初始图像转换模型的精度。
具体地，计算机设备可以获取多组图像测试集，其中，图像测试集中包括多张低分辨率图像以及各低分辨图像对应的高分辨率图像。
计算机设备将同一组图像测试集分别输入至各初始图像转换模型，对各初始图像转换模型的精度进行测试。在本申请实施例中，计算机设备利用同一组图像测试集测试各初始图像转换模型，从而可以减少测试结果的误差。
为了保证得到的各初始图像转换模型的精度的准确性，计算机设备还可以利用多组图像测试集分别测试各初始图像转换模型，并将测试结果进行求平均，得到各初始图像转换模型的精度。
402，根据各初始图像转换模型的精度，确定各初始图像转换模型对应的权重信息。
具体地，初始图像转换模型的精度与各初始图像转换模型对应的权重信息成正比，初始图像转换模型的精度越高，初始图像转换模型对应的权重越大。其中，所有初始图像转换模型的权重加和为1。
在一种可选的实施方式中，计算机设备可以对各初始图像转换模型的精度进行排序，并根据排序结果，精度最大的初始图像转换模型权重最大，精度最小的初始图像转换模型权重最小，确定各初始图像转换模型对应的权重信息。
在另一种可选的实施方式中，计算机设备可以对各初始图像转换模型的精度进行占比分配，然后根据各初始图像转换模型的精度占比分配结果，分配各初始图像转换模型的权重，占比最大的初始图像转换模型权重最大，占比最小的初始图像转换模型权重最小，确定各初始图像转换模型对应的权重信息。
在本申请实施例中，对各初始图像转换模型进行测试，获取各初始图像转换模型的精度；根据各初始图像转换模型的精度，确定各初始图像转换模型对应的权重信息。从而可以保证各初始图像转换模型对应的权重信息的准确性。
在本申请一个实施例中，如图5所示，上述101中的“获取多组第一图像训练集”，可以包括以下内容：
501，获取第三图像训练集。
其中，第三图像训练集中包括多张低分辨率图像以及各低分辨图像对应的高分辨率图像；第三图像训练集中图像的数量大于第一图像训练集中图像的数量。
具体地，计算机设备可以接收用户输入的第三图像训练集，也可以接收其他设备发送的第三图像训练集。本申请实施例对计算机设备获取到第三图像训练集的方式不做具体限定。
502，将第三图像训练集输入至分类模型，利用分类模型对第三图像训练集中各图像的场景进行识别，确定第三图像训练集中各图像的场景。
具体地，计算机设备可以将第三图像训练集中的图像输入至分类模型中，分类模型对第三图像训练集中各图像进行特征提取，根据提取后的特征对第三图像训练集中各图像的场景进行识别，确定第三图像训练集中各图像的场景。
其中，分类方法可以如下公式（2）所示：
其中，X为输入的第三图像训练集中的图像，W为分类模型参数，b为常量矩阵，
为激活函数，Y为输出的分类结果。
在本申请一种可选的实施方式中，分类模型可以是机器学习网络模型，当然也可以是其他网络模型，机器学习网络模型可以是DNN（Deep Neural Networks，深度神经网络）、CNN（Convolutional Neural Networks，卷积神经网络）、RNN（Recurrent NeuralNetwork，循环神经网络）等，在分类模型是CNN时，其可以是V-Net模型、U-Net模型、生成式对抗网络Generative Adversarial Nets模型等。本申请实施例对分类模型的类型不做具体限定。
503，根据第三图像训练集中各图像的场景，将不同场景的多张图像分为一组，得到多组第一图像训练集。
具体地，计算机设备根据分类模型输出的第三图像训练集中各图像的场景，将每个场景下的图像划分为多组训练集，不同场景下的训练集进行组合，生成多组第一图像训练集。
示例性的，假设第三图像训练集中包括12张图像，分类模型对12张图像的场景进行识别，并根据12张图像的场景分类三类，其中一类为天空场景、另一类为建筑物场景、还有一类为草地场景，计算机设备分别将天空场景的图像、建筑物场景的图像和草地场景的图像分为多份，然后分别从天空场景的图像、建筑物场景的图像和草地场景的图像中取一份生成一组第一图像训练集，也就是说第一图像训练集中集包括天空场景的图像、建筑物场景的图像，还包括草地场景的图像。
在本申请实施例中，获取第三图像训练集，将第三图像训练集输入至分类模型，利用分类模型对第三图像训练集中各图像的场景进行识别，确定第三图像训练集中各图像的场景；根据第三图像训练集中各图像的场景，将不同场景的多张图像分为一组，得到多组第一图像训练集。从而可以保证各组第一图像训练集中包括各种场景，保证了各组第一图像训练集场景的复杂度，进而保证利用各第一图像训练集训练得到的初始图像转换模型的准确性。
为了解决现有技术中深度卷积神经网络模型在训练过程中耗费计算资源很大，模型训练时间超长的问题，本申请实施例提供了一种图像转换的方法。
需要说明的是，本申请实施例提供的图像转换的方法，其执行主体可以是图像转换的装置，该图像转换的装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部，其中，该计算机设备可以是服务器或者终端，其中，本申请实施例中的服务器可以为一台服务器，也可以为由多台服务器组成的服务器集群，还可以是云平台。本申请实施例中的终端可以是智能手机、个人电脑、平板电脑、可穿戴设备以及智能机器人等其他智能硬件设备。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。
在本申请一个实施例中，提供了一种图像转换方法，如图6所示，以该方法应用于计算机设备为例进行说明，包括以下内容：
601，获取待处理的低分辨率图像。
其中，待处理的低分辨率图像可以是一张，也可以是多张，此外，待处理的低分辨率图像还可以是一个低分辨率视频。本申请实施例对待处理的低分辨率图像的数量不做具体限定。
具体地，计算机设备可以接收用户输入的待处理的低分辨率图像，也可以接收其他设备发送的待处理的低分辨率图像。
602，将低分辨率图像切分为多块低分辨率子图像。
其中，多块低分辨率子图像之间有重叠像素。
具体地，计算机设备可以根据低分辨率图像的大小以及低分辨率图像中各像素的位置，首先对低分辨率图像进行复制，生成多张低分辨率图像。然后计算机设备对复制得到的各张低分辨率图像进行裁剪，裁剪成多块低分辨率子图像。
示例性的，假设低分辨率图像的大小为3×5，即3行像素乘以5列像素，计算机设备可以首先对低分辨率图像进行复制，复制成三张低分辨率图像，然后对两张低分辨率图像进行裁剪，保留第一张低分辨率图像中的1-3行中的第1-2列像素，保留第二张低分辨率图像中的1-3行中的第2-4列像素，保留第三张低分辨率图像中的1-3行中的第4-5列像素，从而得到多块低分辨率子图像。
603，将多块低分辨子图像分别输入至目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像。
其中，目标图像转换模型根据上述实施例中任一的方法训练得到。
具体地，计算机设备将切分后的多块低分辨子图像分别输入至目标图像转换模型中，目标图像转换模型对多块低分辨子图像进行特征提取，对提取后的特征进行处理，输出多块低分辨子图像对应的高分辨率子图像。
604，对多块高分辨率子图像进行拼接，生成高分辨率图像。
在一种可选的实施方式中，计算机设备可以根据多块高分辨率子图像在原始低分辨率图像中的位置进行拼接，然后对多块高分辨率子图像的重叠部分进行融合，生成高分辨率图像。
在另一种可选的实施方式中，计算机设备可以将多块高分辨率子图像中分辨率最高的一块图像作为基准高分辨率子图像，然后将其他高分辨率子图像中与基准高分辨率子图像重叠部分裁剪掉，然后根据基准高分辨率子图像与裁剪后的其他高分辨率子图像进行拼接，生成高分辨率图像。
需要说明的是，如果待处理的低分辨率图像为多张，那么计算机设备在对多块高分辨率子图像进行拼接，生成高分辨率图像的过程中，需要获取到多张待处理的低分辨率图像的标识信息，然后根据各张图像是标识信息进行多块高分辨率子图像进行拼接。
此外，若多张待处理的低分辨率图像为一个低分辨率视频，那么计算机设备在生成高分辨率图像之后，还需要根据视频中的帧序号对高分辨率图像进行排序，从而生成高分辨率视频。
在本申请实施例中，获取待处理的低分辨率图像；将低分辨率图像切分为多块低分辨率子图像；从而可以减少低分辨率图像的尺寸，使得目标图像转换模型在对低分辨率子图像进行处理时，减少对计算机设备计算资源的耗费。将多块低分辨子图像分别输入至目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像；对多块高分辨率子图像进行拼接，生成高分辨率图像。上述方法不仅可以减少对计算机设备计算资源的耗费，还可以节省时间，提高高分辨率图像的质量。
在本申请一个实施例中，如图7所示，上述604中的“对多块高分辨率子图像进行拼接，生成高分辨率图像”，可以包括以下内容：
701，获取多块高分辨率子图像之间的重叠像素。
具体地，由于同一张低分辨率图像中的多块低分辨率子图像之间有重叠像素，那么同一张低分辨率图像转换后生成的多块高分辨率子图像之间也有重叠像素。
一种可选的实施方式中，计算机设备可以根据多块高分辨率子图像中各像素对应的原始低分辨率图像中的位置，确定多块高分辨率子图像之间的重叠像素。
示例性的，假设同一张低分辨率图像中切分为3块低分辨率子图像，3块低分辨率子图像经过目标图像转化模型的转换之后，生成3块高分辨率子图像。其中，该低分辨率图像的大小为3×5，即3行像素乘以5列像素。第一块高分辨率子图像中各像素对应的原始低分辨率图像中的位置为第1-3行中的第1-2列，第二块高分辨率子图像中各像素对应的原始低分辨率图像中的位置为第1-3行中的第2-4列；第三块高分辨率子图像中各像素对应的原始低分辨率图像中的位置为第1-3行中的第4-5列。由此可知，第一块高分辨率子图像和第二块高分辨率子图像之间重叠的像素为第1-3行中的第2列的3个像素；第二块高分辨率子图像和第三块高分辨率子图像之间重叠的像素为第1-3行中的第4列的3个像素。
在另一种可选的实施方式中，计算机设备还可以将多块高分辨率子图像根据原始低分辨率图像中各像素的位置进行合并，合并之后就可以确定多块高分辨率子图像之间的重叠像素。
702，对重叠像素的像素值进行求平均运算，将计算得到的像素值作为重叠像素的像素值。
具体地，为了保证多块高分辨率子图像在像素重叠部分的过渡比较顺滑平整，计算机设备可以首先获取各重叠像素的像素值，然后根据重叠的情况，对重叠像素的像素值进行求平均值，并将计算得到的像素值作为重叠像素的像素值。
示例性的，基于上述例子，假设第一块高分辨率子图像和第二块高分辨率子图像之间重叠的像素为原始低分辨率图像中第1-3行中的第2列的3个像素。则计算机设备分别获取第一块高分辨率子图像在第1-3行中的第2列的3个像素的像素值以及第二块高分辨率子图像在第1-3行中的第1列的3个像素的像素值，然后计算机设备计算第一块高分辨率子图像在第1行第2列的像素的像素值与第二块高分辨率子图像在第1行第1列的像素的像素值的平均值，并将计算得到的平均值作为融合后的高分辨率子图像在第1行第2列的像素的像素值。然后，计算机设备计算第一块高分辨率子图像在第2行第2列的像素的像素值与第二块高分辨率子图像在第2行第1列的像素的像素值的平均值，并将计算得到的平均值作为融合后的高分辨率子图像在第2行第2列的像素的像素值；然后，计算机设备计算第一块高分辨率子图像在第3行第2列的像素的像素值与第二块高分辨率子图像在第3行第1列的像素的像素值的平均值，并将计算得到的平均值作为融合后的高分辨率子图像在第3行第2列的像素的像素值，从而计算得到重叠像素的像素值。
其中，计算公式可以如下：
；
其中，
表示重叠像素融合后的像素值，
表示各高分辨率
子图像的重叠像素的像素值；n表示同一像素发生重叠的高分辨率子图像的数量。
703，根据各像素的位置，对重叠像素和不重叠的像素进行拼接生成高分辨率图像。
具体地，计算机设备在计算得到重叠像素的像素值之后，根据各像素在原始低分辨率图像中的位置，将各高分辨率子图像中不重叠的像素和融合后的重叠像素进行拼接，从而生成高分辨率图像。
在本申请实施例中，获取多块高分辨率子图像之间的重叠像素，对重叠像素的像素值进行求平均运算，将计算得到的像素值作为重叠像素的像素值。从而可以保证多块高分辨率子图像在像素重叠部分的过渡比较顺滑平整，避免了图像拼接时出现拼接处像素断裂的情况。根据各像素的位置，对重叠像素和不重叠的像素进行拼接生成高分辨率图像，保证了生成的高分辨率图像的清晰度。
在本申请一个实施例中，如图7所示，上述603中的“将多块低分辨子图像分别输入至目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像”，可以包括以下内容：
将多块低分辨子图像分别输入至多个目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像。
在一种可选的实施方式中，计算机设备可以在多个虚拟机中均存储目标图像转换模型，然后计算机设备可以将多块低分辨率子图像分别输入至多个虚拟机对应的多个目标图像转换模型中。每个目标图像转换模型均输出低分辨子图像对应的高分辨率子图像。
在另一种可选的实施方式中，计算机设备内存储着多个目标图像转换模型，并将多块低分辨子图像分别输入至多个目标图像转换模型中。计算机设备利用多个线程分别执行多个目标图像转换模型，每个目标图像转换模型均输出低分辨子图像对应的高分辨率子图像。
在本申请实施例中，计算机设备将多块低分辨子图像分别输入至多个目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像，从可以避免将多块低分辨子图像分别输入至同一个目标图像转换模型中，导致目标图像转换模型运行时间较长，从而节省了时间。
为了更好的解释本申请实施例提供的图像转换模型训练方法以及图像转换方法，如图8所示，本申请实施例提供了一种图像转换模型训练以及图像转换方法的整体流程图，可以包括如下步骤：
801，获取第三图像训练集。
802，将第三图像训练集输入至分类模型，利用分类模型对第三图像训练集中各图像的场景进行识别，确定第三图像训练集中各图像的场景。
803，根据第三图像训练集中各图像的场景，将不同场景的多张图像分为一组，得到多组第一图像训练集。
804，将多组第一图像训练集，分别输入至图像转换网络中，训练图像转换网络，得到多个初始图像转换模型。
805，对各初始图像转换模型进行测试，获取各初始图像转换模型的精度。
806，根据各初始图像转换模型的精度，确定各初始图像转换模型对应的权重信息，并获取各初始图像转换模型的参数信息。
807，根据各初始图像转换模型的权重信息以及参数信息，对各初始图像转换模型的参数信息进行加权求和，得到初始参数信息。
808，根据初始参数信息，生成预图像转换模型。
809，获取第二图像训练集。
810，将第二图像训练集输入至预图像转换模型中，对预图像转换模型的参数进行调整，得到目标图像转换模型。
811，获取待处理的低分辨率图像。
812，将低分辨率图像切分为多块低分辨率子图像。
813，将多块低分辨子图像分别输入至多个目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像。
814，获取多块高分辨率子图像之间的重叠像素。
815，对重叠像素的像素值进行求平均运算，将计算得到的像素值作为重叠像素的像素值。
816，根据各像素的位置，对重叠像素和不重叠的像素进行拼接生成高分辨率图像。
在本申请一个可选的实施方式中，如图9所示，为上述图像转换模型训练以及图像转换方法的整体框架图。具体地，以云平台为计算机设备。云平台获取图像训练集，并通过训练集分类场景任务分发装置，将图像训练集拆分为多组。将拆分后的多组图像训练集分发至多个主机，其中，每个主机中包括多个虚拟机，分别将各组图像训练集输入至虚拟机中的EDSR网络中，利用EDSR模型训练装置，训练EDSR网络得到多个初始EDSR模型。然后，利用预训练模型整合优化装置将多个初始EDSR模型进行融合，生成最优预训练模型。然后，云平台获取待处理的低分辨率视频，利用视频帧预处理装置对低分辨率视频进行处理，然后将预处理后的低分辨率视频输入至最优预训练模型，输出转换后的视频。然后，利用4K视频后处理装置对转换后的视频进行处理，生成4K视频。
需要说明的是，图9中的各装置均为虚拟装置，执行软件流程。
应该理解的是，虽然图1-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
相应地，请参考图10，本发明实施例提供一种图像转换模型训练装置1000，上述图像转换模型训练装置1000，包括：
第一获取模块1010，用于获取多组第一图像训练集，各第一图像训练集包括多张低分辨率图像以及各低分辨率图像对应的高分辨率图像。
训练模块1020，用于将多组第一图像训练集，分别输入至图像转换网络中，训练图像转换网络，得到多个初始图像转换模型；初始图像转换模型用于将低分辨率图像转换为高分辨率图像。
融合模块1030，用于对多个初始图像转换模型进行融合，生成目标图像转换模型。
在本申请一个实施例中，如图11所示，上述融合模块1030，包括：
获取单元1031，用于获取各初始图像转换模型的权重信息以及参数信息。
加权求和单元1032，用于根据各初始图像转换模型的权重信息以及参数信息，对各初始图像转换模型的参数信息进行加权求和，得到初始参数信息。
生成单元1033，用于根据初始参数信息，生成目标图像转换模型，其中，目标图像转化模型与各初始图像转换模型的模型结构相同。
在本申请一个实施例中，上述生成单元1033，具体用于根据初始参数信息，生成预图像转换模型，预图像转换模型与各初始图像转换模型的模型结构相同；获取第二图像训练集；第二图像训练集中包括多张低分辨率图像以及低分辨率图像对应的高分辨率图像；将第二图像训练集输入至预图像转换模型中，对预图像转换模型的参数进行调整，得到目标图像转换模型。
在本申请一个实施例中，上述获取单元1031，具体用于对各初始图像转换模型进行测试，获取各初始图像转换模型的精度；根据各初始图像转换模型的精度，确定各初始图像转换模型对应的权重信息。
在本申请一个实施例中，上述第一获取模块1010，具体用于获取第三图像训练集，第三图像训练集中包括多张低分辨率图像以及各低分辨图像对应的高分辨率图像；第三图像训练集中图像的数量大于第一图像训练集中图像的数量；将第三图像训练集输入至分类模型，利用分类模型对第三图像训练集中各图像的场景进行识别，确定第三图像训练集中各图像的场景；根据第三图像训练集中各图像的场景，将不同场景的多张图像分为一组，得到多组第一图像训练集。
相应地，请参考图12，本发明实施例提供了一种图像转换装置1200，该装置包括：
第二获取模块1210，用于获取待处理的低分辨率图像。
切分模块1220，用于将低分辨率图像切分为多块低分辨率子图像；其中，多块低分辨率子图像之间有重叠像素。
输入模块1230，用于将多块低分辨子图像分别输入至目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像；目标图像转换模型根据第一方面任一的方法训练得到。
拼接模块1240，用于对多块高分辨率子图像进行拼接，生成高分辨率图像。
在本申请一个实施例中，上述拼接模块1240，具体用于获取多块高分辨率子图像之间的重叠像素；对重叠像素的像素值进行求平均运算，将计算得到的像素值作为重叠像素的像素值；根据各像素的位置，对重叠像素和不重叠的像素进行拼接生成高分辨率图像。
在本申请一个实施例中，上述输入模块1230，具体用于将多块低分辨子图像分别输入至多个目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像转换模型训练方法以及图像转换方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像转换模型训练以及图像转换数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像转换模型训练方法以及图像转换方法。
本领域技术人员可以理解，图13和14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本申请一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取多组第一图像训练集，各第一图像训练集包括多张低分辨率图像以及各低分辨率图像对应的高分辨率图像；将多组第一图像训练集，分别输入至图像转换网络中，训练图像转换网络，得到多个初始图像转换模型；初始图像转换模型用于将低分辨率图像转换为高分辨率图像；对多个初始图像转换模型进行融合，生成目标图像转换模型。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取各初始图像转换模型的权重信息以及参数信息；根据各初始图像转换模型的权重信息以及参数信息，对各初始图像转换模型的参数信息进行加权求和，得到初始参数信息；根据初始参数信息，生成目标图像转换模型，其中，目标图像转化模型与各初始图像转换模型的模型结构相同。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据初始参数信息，生成预图像转换模型，预图像转换模型与各初始图像转换模型的模型结构相同；获取第二图像训练集；第二图像训练集中包括多张低分辨率图像以及低分辨率图像对应的高分辨率图像；将第二图像训练集输入至预图像转换模型中，对预图像转换模型的参数进行调整，得到目标图像转换模型。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：
对各初始图像转换模型进行测试，获取各初始图像转换模型的精度；根据各初始图像转换模型的精度，确定各初始图像转换模型对应的权重信息。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取第三图像训练集，第三图像训练集中包括多张低分辨率图像以及各低分辨图像对应的高分辨率图像；第三图像训练集中图像的数量大于第一图像训练集中图像的数量；将第三图像训练集输入至分类模型，利用分类模型对第三图像训练集中各图像的场景进行识别，确定第三图像训练集中各图像的场景；根据第三图像训练集中各图像的场景，将不同场景的多张图像分为一组，得到多组第一图像训练集。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：获取待处理的低分辨率图像；将低分辨率图像切分为多块低分辨率子图像；其中，多块低分辨率子图像之间有重叠像素；将多块低分辨子图像分别输入至目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像；目标图像转换模型根据第一方面任一的方法训练得到；对多块高分辨率子图像进行拼接，生成高分辨率图像。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取多块高分辨率子图像之间的重叠像素；对重叠像素的像素值进行求平均运算，将计算得到的像素值作为重叠像素的像素值；根据各像素的位置，对重叠像素和不重叠的像素进行拼接生成高分辨率图像。
在本申请一个实施例中，处理器执行计算机程序时还实现以下步骤：
将多块低分辨子图像分别输入至多个目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像。
在本申请一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取多组第一图像训练集，各第一图像训练集包括多张低分辨率图像以及各低分辨率图像对应的高分辨率图像；将多组第一图像训练集，分别输入至图像转换网络中，训练图像转换网络，得到多个初始图像转换模型；初始图像转换模型用于将低分辨率图像转换为高分辨率图像；对多个初始图像转换模型进行融合，生成目标图像转换模型。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取各初始图像转换模型的权重信息以及参数信息；根据各初始图像转换模型的权重信息以及参数信息，对各初始图像转换模型的参数信息进行加权求和，得到初始参数信息；根据初始参数信息，生成目标图像转换模型，其中，目标图像转化模型与各初始图像转换模型的模型结构相同。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据初始参数信息，生成预图像转换模型，预图像转换模型与各初始图像转换模型的模型结构相同；获取第二图像训练集；第二图像训练集中包括多张低分辨率图像以及低分辨率图像对应的高分辨率图像；将第二图像训练集输入至预图像转换模型中，对预图像转换模型的参数进行调整，得到目标图像转换模型。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对各初始图像转换模型进行测试，获取各初始图像转换模型的精度；根据各初始图像转换模型的精度，确定各初始图像转换模型对应的权重信息。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取第三图像训练集，第三图像训练集中包括多张低分辨率图像以及各低分辨图像对应的高分辨率图像；第三图像训练集中图像的数量大于第一图像训练集中图像的数量；将第三图像训练集输入至分类模型，利用分类模型对第三图像训练集中各图像的场景进行识别，确定第三图像训练集中各图像的场景；根据第三图像训练集中各图像的场景，将不同场景的多张图像分为一组，得到多组第一图像训练集。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取待处理的低分辨率图像；将低分辨率图像切分为多块低分辨率子图像；其中，多块低分辨率子图像之间有重叠像素；将多块低分辨子图像分别输入至目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像；目标图像转换模型根据第一方面任一的方法训练得到；对多块高分辨率子图像进行拼接，生成高分辨率图像。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取多块高分辨率子图像之间的重叠像素；对重叠像素的像素值进行求平均运算，将计算得到的像素值作为重叠像素的像素值；根据各像素的位置，对重叠像素和不重叠的像素进行拼接生成高分辨率图像。
在本申请一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将多块低分辨子图像分别输入至多个目标图像转换模型中，输出多块低分辨子图像对应的高分辨率子图像。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random AccessMemory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种图像转换模型训练方法，其特征在于，所述方法包括：
获取多组第一图像训练集，各所述第一图像训练集包括多张低分辨率图像以及各所述低分辨率图像对应的高分辨率图像；
将多组所述第一图像训练集，分别输入至图像转换网络中，训练所述图像转换网络，得到多个初始图像转换模型；所述初始图像转换模型用于将低分辨率图像转换为高分辨率图像；
对多个所述初始图像转换模型进行融合，生成所述目标图像转换模型。
2.根据所述1所述的方法，其特征在于，所述对多个所述初始图像转换模型进行融合，生成所述目标图像转换模型，包括：
获取各所述初始图像转换模型的权重信息以及参数信息；
根据各所述初始图像转换模型的权重信息以及参数信息，对各所述初始图像转换模型的参数信息进行加权求和，得到初始参数信息；
根据所述初始参数信息，生成所述目标图像转换模型，其中，所述目标图像转化模型与各所述初始图像转换模型的模型结构相同。
3.根据权要求2所述的方法，其特征在于，所述根据所述初始参数信息，生成所述目标图像转换模型，包括：
根据所述初始参数信息，生成预图像转换模型，所述预图像转换模型与各所述初始图像转换模型的模型结构相同；
获取第二图像训练集；所述第二图像训练集中包括多张低分辨率图像以及低分辨率图像对应的高分辨率图像；
将所述第二图像训练集输入至所述预图像转换模型中，对所述预图像转换模型的参数进行调整，得到所述目标图像转换模型。
4.根据权利要求2所述的方法，其特征在于，所述获取各所述初始图像转换模型的权重信息，包括：
对各所述初始图像转换模型进行测试，获取各所述初始图像转换模型的精度；
根据各所述初始图像转换模型的精度，确定各所述初始图像转换模型对应的权重信息。
5.根据权利要求1所述的方法，其特征在于，所述获取多组第一图像训练集，包括：
获取第三图像训练集，所述第三图像训练集中包括多张低分辨率图像以及各所述低分辨图像对应的高分辨率图像；所述第三图像训练集中图像的数量大于所述第一图像训练集中图像的数量；
将所述第三图像训练集输入至分类模型，利用所述分类模型对所述第三图像训练集中各图像的场景进行识别，确定所述第三图像训练集中各图像的场景；
根据所述第三图像训练集中各图像的场景，将不同场景的多张图像分为一组，得到多组第一图像训练集。
6.一种图像转换方法，其特征在于，所述方法包括：
获取待处理的低分辨率图像；
将所述低分辨率图像切分为多块低分辨率子图像；其中，所述多块低分辨率子图像之间有重叠像素；
将多块所述低分辨子图像分别输入至目标图像转换模型中，输出多块所述低分辨子图像对应的高分辨率子图像；所述目标图像转换模型根据权利要求1-5任一所述的方法训练得到；
对多块所述高分辨率子图像进行拼接，生成高分辨率图像。
7.根据权利要求6所述的方法，其特征在于，所述对多块所述高分辨率子图像进行拼接，生成高分辨率图像，包括：
获取多块所述高分辨率子图像之间的重叠像素；
对所述重叠像素的像素值进行求平均运算，将计算得到的像素值作为所述重叠像素的像素值；
根据各像素的位置，对所述重叠像素和不重叠的像素进行拼接生成所述高分辨率图像。
8.根据权利要求6所述的方法，其特征在于，所述将多块所述低分辨子图像分别输入至目标图像转换模型中，输出多块所述低分辨子图像对应的高分辨率子图像，包括：
将多块所述低分辨子图像分别输入至多个目标图像转换模型中，输出多块所述低分辨子图像对应的高分辨率子图像。
9.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-5中任一项所述的图像转换模型训练方法以及权利要求6-8中任一项所述的图像转换方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的图像转换模型训练方法以及权利要求6-8中任一项所述的图像转换方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111268757.5A CN113706390A (zh) | 2021-10-29 | 2021-10-29 | 图像转换模型训练方法和图像转换方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111268757.5A CN113706390A (zh) | 2021-10-29 | 2021-10-29 | 图像转换模型训练方法和图像转换方法、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113706390A true CN113706390A (zh) | 2021-11-26 |
Family
ID=78647499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111268757.5A Pending CN113706390A (zh) | 2021-10-29 | 2021-10-29 | 图像转换模型训练方法和图像转换方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706390A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331821A (zh) * | 2021-12-29 | 2022-04-12 | 中国人民解放军火箭军工程大学 | 一种图像转换方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845341A (zh) * | 2016-12-15 | 2017-06-13 | 南京积图网络科技有限公司 | 一种基于虚拟号牌的无牌车辆识别方法 |
| CN106991665A (zh) * | 2017-03-24 | 2017-07-28 | 中国人民解放军国防科学技术大学 | 基于cuda图像融合并行计算的方法 |
| CN109376615A (zh) * | 2018-09-29 | 2019-02-22 | 苏州科达科技股份有限公司 | 用于提升深度学习网络预测性能的方法、装置及存储介质 |
| CN110378472A (zh) * | 2019-07-24 | 2019-10-25 | 苏州浪潮智能科技有限公司 | 一种深度神经网络模型的数据并行训练方法、装置及设备 |
| CN110909756A (zh) * | 2018-09-18 | 2020-03-24 | 苏宁 | 用于医学图像识别的卷积神经网络模型训练方法和装置 |
| CN111753911A (zh) * | 2020-06-28 | 2020-10-09 | 北京百度网讯科技有限公司 | 用于融合模型的方法和装置 |
| CN112101172A (zh) * | 2020-09-08 | 2020-12-18 | 平安科技（深圳）有限公司 | 基于权重嫁接的模型融合的人脸识别方法及相关设备 |
| CN112749511A (zh) * | 2021-01-15 | 2021-05-04 | 中冶建筑研究总院有限公司 | 建筑结构可靠性诊断的智能分析方法 |
| CN112862681A (zh) * | 2021-01-29 | 2021-05-28 | 中国科学院深圳先进技术研究院 | 一种超分辨率方法、装置、终端设备及存储介质 |
| KR20210116922A (ko) * | 2020-03-18 | 2021-09-28 | 에스케이텔레콤 주식회사 | 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치 |
-
2021
- 2021-10-29 CN CN202111268757.5A patent/CN113706390A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845341A (zh) * | 2016-12-15 | 2017-06-13 | 南京积图网络科技有限公司 | 一种基于虚拟号牌的无牌车辆识别方法 |
| CN106991665A (zh) * | 2017-03-24 | 2017-07-28 | 中国人民解放军国防科学技术大学 | 基于cuda图像融合并行计算的方法 |
| CN110909756A (zh) * | 2018-09-18 | 2020-03-24 | 苏宁 | 用于医学图像识别的卷积神经网络模型训练方法和装置 |
| CN109376615A (zh) * | 2018-09-29 | 2019-02-22 | 苏州科达科技股份有限公司 | 用于提升深度学习网络预测性能的方法、装置及存储介质 |
| CN110378472A (zh) * | 2019-07-24 | 2019-10-25 | 苏州浪潮智能科技有限公司 | 一种深度神经网络模型的数据并行训练方法、装置及设备 |
| KR20210116922A (ko) * | 2020-03-18 | 2021-09-28 | 에스케이텔레콤 주식회사 | 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치 |
| CN111753911A (zh) * | 2020-06-28 | 2020-10-09 | 北京百度网讯科技有限公司 | 用于融合模型的方法和装置 |
| CN112101172A (zh) * | 2020-09-08 | 2020-12-18 | 平安科技（深圳）有限公司 | 基于权重嫁接的模型融合的人脸识别方法及相关设备 |
| CN112749511A (zh) * | 2021-01-15 | 2021-05-04 | 中冶建筑研究总院有限公司 | 建筑结构可靠性诊断的智能分析方法 |
| CN112862681A (zh) * | 2021-01-29 | 2021-05-28 | 中国科学院深圳先进技术研究院 | 一种超分辨率方法、装置、终端设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 大饼博士X: "分布式机器学习系统笔记（一）——模型并行，数据并行，参数平均，ASGD", 《HTTPS://XUBIN.BLOG.CSDN.NET/ARTICLE/DETAILS/74781605》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331821A (zh) * | 2021-12-29 | 2022-04-12 | 中国人民解放军火箭军工程大学 | 一种图像转换方法及系统 |
| CN114331821B (zh) * | 2021-12-29 | 2023-09-22 | 中国人民解放军火箭军工程大学 | 一种图像转换方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | SGDNet: An end-to-end saliency-guided deep neural network for no-reference image quality assessment | |
| US10936911B2 (en) | Logo detection | |
| CN111241985B (zh) | 一种视频内容识别方法、装置、存储介质、以及电子设备 | |
| US11983903B2 (en) | Processing images using self-attention based neural networks | |
| US20220222796A1 (en) | Image processing method and apparatus, server, and storage medium | |
| US11030750B2 (en) | Multi-level convolutional LSTM model for the segmentation of MR images | |
| CN114339409B (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| US20230326173A1 (en) | Image processing method and apparatus, and computer-readable storage medium | |
| CN112580660B (zh) | 图像处理方法、装置、计算机设备和可读存储介质 | |
| US11625813B2 (en) | Automatically removing moving objects from video streams | |
| WO2022194079A1 (zh) | 天空区域分割方法、装置、计算机设备和存储介质 | |
| CN115205150A (zh) | 图像的去模糊方法、装置、设备、介质及计算机程序产品 | |
| CN113838134B (zh) | 图像关键点检测方法、装置、终端和存储介质 | |
| Weng et al. | Boosting event stream super-resolution with a recurrent neural network | |
| CN113706390A (zh) | 图像转换模型训练方法和图像转换方法、设备及介质 | |
| US11934958B2 (en) | Compressing generative adversarial neural networks | |
| WO2024041108A1 (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| Wu et al. | Incorporating transformer designs into convolutions for lightweight image super-resolution | |
| CN116363641A (zh) | 一种图像处理方法、装置及电子设备 | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| WO2022127603A1 (zh) | 一种模型处理方法及相关装置 | |
| Jayageetha et al. | Medical image quality assessment using CSO based deep neural network | |
| CN116823869A (zh) | 背景替换的方法和电子设备 | |
| CN111382753A (zh) | 光场语义分割方法、系统、电子终端及存储介质 | |
| JP2019125128A (ja) | 情報処理装置、制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211126 |