CN110135464B - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110135464B CN110135464B CN201910314002.0A CN201910314002A CN110135464B CN 110135464 B CN110135464 B CN 110135464B CN 201910314002 A CN201910314002 A CN 201910314002A CN 110135464 B CN110135464 B CN 110135464B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- image processing
- processing model
- result information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
Abstract
本发明公开了一种图像处理方法、装置、电子设备及存储介质，包括：将待处理的第一图像输入预先训练完成的图像处理模型中，获取所述图像处理模型输出的第二图像，其中，所述第二图像较所述第一图像大第一倍数，所述第二图像的分辨率为所述第一图像的分辨率的第二倍数，所述第一倍数小于第二倍数。由于在本发明实施例中，基于图像处理模型可以确定第二图像，其中，第二图像较第一图像大第一倍数，第二图像的分辨率为第一图像的分辨率的第二倍数，第一倍数小于第二倍数，由于第一图像的分辨率的放大倍数大于尺寸的放大倍数，因此得到的第二图像的清晰度相较于第一图像更高。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
目前，图像采集设备的使用越来越普遍，图像采集设备在采集图像时，由于场景中的光线或者其他可能会影响到图像清晰度的因素，可能会导致采集到的图像清晰度较低，或者有的图像中的部分区域做了模糊化处理，这些都会影响用户查看图像中的细节或者影响到用户正常使用图像。因此现在亟需一种提高图像清晰度的方案。
发明内容
本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质，用以解决现有技术中图像清晰度较低的问题。
本发明实施例提供了一种图像处理方法，所述方法包括：
将待处理的第一图像输入预先训练完成的图像处理模型中，获取所述图像处理模型输出的第二图像，其中，所述第二图像较所述第一图像大第一倍数，所述第二图像的分辨率为所述第一图像的分辨率的第二倍数，所述第一倍数小于第二倍数。
进一步地，预先对所述图像处理模型进行训练的过程包括：
针对训练集中的每个第三图像，将该第三图像输入图像处理模型，获取所述图像处理模型输出的第四图像；将该第三图像和该第四图像输入到预先训练完成的辨别模型中，获取所述辨别模型输出的该第四图像的第一辨别结果信息，其中所述第一辨别结果信息为真实图像或虚假图像；
根据每个第一辨别结果信息，对所述图像处理模型进行训练。
进一步地，预先对所述图像处理模型进行训练的过程包括：
针对训练集中的每个第五图像，将该第五图像输入所述图像处理模型，获取所述图像处理模型输出的第六图像；将该第五图像和该第六图像输入预先训练完成的辨别模型，如果辨别模型输出该第六图像的辨别结果信息为真实图像，将所述第六图像输入所述图像处理模型的反向模型中，获取所述反向模型输出的第七图像；
根据每个第五图像和第七图像的相似度，对所述图像处理模型进行训练。
进一步地，预先对所述辨别模型进行训练的过程包括：
获取训练集中每对样本图像组，其中该对样本图像组中包含第八图像及该第八图像对应的标注信息为真实图像或虚假图像的第九图像，其中该标注信息为真实图像的第九图像较该第八图像大第一倍数，该标注信息为真实图像的第九图像的分辨率为该第八图像的分辨率的第二倍数；
针对所述每对样本图像组，将该样本图像组中的第八图像及对应的第九图像输入所述辨别模型，获取所述辨别模型输出的该第九图像的第二辨别结果信息；其中所述第二辨别结果信息为真实图像或虚假图像；
根据每个第九图像对应的标注信息和第二辨别结果信息，对所述辨别模型进行训练。
另一方面，本发明实施例提供了一种图像处理装置，所述装置包括：
输入模块，用于将待处理的第一图像输入预先训练完成的图像处理模型中；
获取模块，用于获取所述图像处理模型输出的第二图像，其中，所述第二图像较所述第一图像大第一倍数，所述第二图像的分辨率为所述第一图像的分辨率的第二倍数，所述第一倍数小于第二倍数。
进一步地，所述装置还包括：
第一训练模块，用于针对训练集中的每个第三图像，将该第三图像输入图像处理模型，获取所述图像处理模型输出的第四图像；将该第三图像和该第四图像输入到预先训练完成的辨别模型中，获取所述辨别模型输出的该第四图像的第一辨别结果信息，其中所述第一辨别结果信息为真实图像或虚假图像；根据每个第一辨别结果信息，对所述图像处理模型进行训练。
进一步地，所述装置还包括：
第二训练模块，用于针对训练集中的每个第五图像，将该第五图像输入所述图像处理模型，获取所述图像处理模型输出的第六图像；将该第五图像和该第六图像输入预先训练完成的辨别模型，如果辨别模型输出该第六图像的辨别结果信息为真实图像，将所述第六图像输入所述图像处理模型的反向模型中，获取所述反向模型输出的第七图像；根据每个第五图像和第七图像的相似度，对所述图像处理模型进行训练。
进一步地，所述装置还包括：
第三训练模块，用于获取训练集中每对样本图像组，其中该对样本图像组中包含第八图像及该第八图像对应的标注信息为真实图像或虚假图像的第九图像，其中该标注信息为真实图像的第九图像较该第八图像大第一倍数，该标注信息为真实图像的第九图像的分辨率为该第八图像的分辨率的第二倍数；针对所述每对样本图像组，将该样本图像组中的第八图像及对应的第九图像输入所述辨别模型，获取所述辨别模型输出的该第九图像的第二辨别结果信息；其中所述第二辨别结果信息为真实图像或虚假图像；根据每个第九图像对应的标注信息和第二辨别结果信息，对所述辨别模型进行训练。
另一方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质，所述方法包括：将待处理的第一图像输入预先训练完成的图像处理模型中，获取所述图像处理模型输出的第二图像，其中，所述第二图像较所述第一图像大第一倍数，所述第二图像的分辨率为所述第一图像的分辨率的第二倍数，所述第一倍数小于第二倍数。
由于在本发明实施例中，电子设备中预先训练完成有图像处理模型，在获取到待处理的第一图像后，将第一图像输入预先训练完成的图像处理模型，基于图像处理模型可以确定第二图像，其中，第二图像较第一图像大第一倍数，第二图像的分辨率为第一图像的分辨率的第二倍数，第一倍数小于第二倍数，由于第一图像的分辨率的放大倍数大于尺寸的放大倍数，因此得到的第二图像的清晰度相较于第一图像更高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例2提供的图像处理模型的训练过程示意图；
图2为本发明实施例3提供的图像处理模型的训练过程示意图；
图3为本发明实施例4提供的辨别模型的训练过程示意图；
图4为本发明实施例5提供的图像处理装置结构示意图；
图5为本发明实施例6提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
本发明实施例提供了一种图像处理方法，所述方法包括：
将待处理的第一图像输入预先训练完成的图像处理模型中，获取所述图像处理模型输出的第二图像，其中，所述第二图像较所述第一图像大第一倍数，所述第二图像的分辨率为所述第一图像的分辨率的第二倍数，所述第一倍数小于第二倍数。
本发明实施例提供的图像处理方法应用于电子设备，该电子设备可以是PC、平板电脑等设备，也可以是图像采集设备。在本发明实施例中，将待处理的图像作为第一图像。为了提高第一图像的清晰度，电子设备中保存有预先训练完成的图像处理模型，电子设备将第一图像输入到该预先训练完成的图像处理模型中，图像处理模型对第一图像进行处理，输出第二图像。其中，第二图像的尺寸为第一图像的尺寸的第一倍数，第二图像的分辨率为第一图像的分辨率的第二倍数，第一倍数和第二倍数为大于1的数值，且第一倍数小于第二倍数。需要说明的是，本发明实施例中的图像处理模型可以是深度神经网络模型中的任意一种网络模型，例如，该图像处理模型可以为视觉几何组网络(Visual GeometryGroup Network，VGG)模型、深度残差神经网络模型，密度网络模型、U型卷积神经网络模型或设计者自行设计的网络模型等。
另外，在实际应用场景中，当需要对图像进行处理，提高图像的分辨率时，可以直接将待处理的图像输入到图像处理模型中，输出相较于该图像清晰度更高的图像；也可以将待处理的图像按照预设的分割规则进行分割，得到每个子图像，然后将待处理的子图像输入到图像处理模型中，输出相较于该子图像清晰度更高的子图像，将输出的子图像进行缩放处理后，再按照预设的组合规则将图像处理模型输出的每个子图像组合为一张图像。
由于本发明实施例中得到的第二图像较第一图像大第一倍数，第二图像的分辨率为第一图像的分辨率的第二倍数，第一倍数小于第二倍数，也就是说第一图像的分辨率的放大倍数大于尺寸的放大倍数，因此得到的第二图像的清晰度相较于第一图像更高。
实施例2：
为了保证图像处理模型的准确性，在上述实施例的基础上，在本发明实施例中，预先对所述图像处理模型进行训练的过程包括：
针对训练集中的每个第三图像，将该第三图像输入图像处理模型，获取所述图像处理模型输出的第四图像；将该第三图像和该第四图像输入到预先训练完成的辨别模型中，获取所述辨别模型输出的该第四图像的第一辨别结果信息，其中所述第一辨别结果信息为真实图像或虚假图像；
根据每个第一辨别结果信息，对所述图像处理模型进行训练。
本发明实施例提供了一种对图像处理模型进行训练的方法，在本发明实施例中，结合预先训练完成的辨别模型对该图像处理模型进行训练。其中，辨别模型可以是深度神经网络模型中的任意一种网络模型。
预先训练完成的分辨模型的功能是识别第四图像相对于第三图像是否为真实图像，首先要考虑第三图像和第四图像的内容，其次是第四图像相对于第三图像的尺寸放大倍数和分辨率放大倍数，根据第三图像和第四图像内容是否相似，以及尺寸放大倍数和分辨率放大倍数确定输出哪种辨别结果信息。具体的，如果识别第三图像和第四图像内容相似，并且第四图像相对于第三图像的尺寸放大倍数为第一倍数，分辨率放大倍数为第二倍数，则输出该第四图像为真实图像的辨别结果信息；如果识别第三图像和第四图像内容不相似，或者第四图像相对于第三图像的尺寸放大倍数不是第一倍数，或者分辨率放大倍数不是第二倍数，则输出该第四图像为虚假图像的辨别结果信息。
在本发明实施例中，对训练集中的第三图像的内容或类型不作限制，训练集中的第三图像，可以是现有的图像数据库中的图像，也可以是用户自行拍摄的图像。为了保证训练的图像处理模型的准确性，训练集中的第三图像的数量需要比较大，例如可以为20万张、30万张等，在此不对第三图像的数量进行限定。
图1为本发明实施例提供的图像处理模型的训练过程示意图，具体的，如图1所示，针对训练集中的每张第三图像，将该第三图像输入到图像处理模型中，图像处理模型输出该第三图像对应的第四图像。然后将该第三图像和第四图像输入到预先训练完成的辨别模型中。辨别模型会识别该第四图像是真实图像还是虚假图像并输出，也就是输出该第四图像的第一辨别结果信息。
辨别模型可以输出每个第四图像的第一辨别结果信息，也就是输出每个第四图像是真实图像还是虚假图像的信息，然后根据每个第一辨别结果信息，对图像处理模型进行训练。具体的，电子设备中可以保存预设的第一准确率阈值，当辨别模型输出每个第一辨别结果信息后，统计第一辨别结果信息为真实图像的占比，当第一辨别结果信息为真实图像的占比超过预设的第一准确率阈值时，认为图像处理模型训练完成。预设的第一准确率阈值可以是85％、90％、95％等。
由于辨别模型的功能为如果识别第三图像和第四图像内容相似，并且第四图像相对于第三图像的尺寸放大倍数为第一倍数，分辨率放大倍数为第二倍数，则输出该第四图像为真实图像的辨别结果信息；如果识别第三图像和第四图像内容不相似，或者第四图像相对于第三图像的尺寸放大倍数不是第一倍数，或者分辨率放大倍数不是第二倍数，则输出该第四图像为虚假图像的辨别结果信息。因此，基于训练完成的辨别模型训练图像处理模型，辨别模型对图像处理模型输出的第四图像的辨别结果信息为真实图像的占比超过预设的第一准确率阈值时，此时可以认为图像处理模型输出的第四图像相对于输入的第三图像的尺寸增大了第一倍数，分辨率提高了第二倍数，并且第四图像和第三图像的内容是相似的。在实际应用训练完成的图像处理模型时，可以保证基于图像处理模型得到的第二图像较待处理的第一图像大第一倍数，第二图像的分辨率为第一图像的分辨率的第二倍数，第一倍数小于第二倍数，也就是说第一图像的分辨率的放大倍数大于尺寸的放大倍数，因此得到的第二图像的清晰度相较于第一图像更高，并且第二图像和第一图像的内容相似。
实施例3：
为了保证图像处理模型的准确性，在上述各实施例的基础上，在本发明实施例中，预先对所述图像处理模型进行训练的过程包括：
针对训练集中的每个第五图像，将该第五图像输入所述图像处理模型，获取所述图像处理模型输出的第六图像；将该第五图像和该第六图像输入预先训练完成的辨别模型，如果辨别模型输出该第六图像的辨别结果信息为真实图像，将所述第六图像输入所述图像处理模型的反向模型中，获取所述反向模型输出的第七图像；
根据每个第五图像和第七图像的相似度，对所述图像处理模型进行训练。
本发明实施例提供了另一种对图像处理模型进行训练的方法，在本发明实施例中，结合图像处理模型的反向模型以及预先训练完成的辨别模型对该图像处理模型进行训练。其中，反向模型和图像处理模型为同一种网络模型。图像处理模型与反向模型的功能恰好相反。图像处理模型的功能是对输入图像进行尺寸和分辨率的放大，输出清晰度更高的图像；而反向模型的功能是对输入图像进行尺寸和分辨率的缩小，输出清晰度更低的图像。
结合反向模型对图像处理模型进行训练遵循的原则是图像重构原则，即反向模型输出的图像需要与图像处理模型输入的图像尽可能相同。
预先训练完成的分辨模型的功能是识别第六图像相对于第五图像是否为真实图像，首先要考虑第五图像和第六图像的内容，其次是第六图像相对于第五图像的尺寸放大倍数和分辨率放大倍数，根据第五图像和第六图像内容是否相似，以及尺寸放大倍数和分辨率放大倍数确定输出哪种辨别结果信息。具体的，如果识别第六图像和第五图像内容相似，并且第六图像相对于第五图像的尺寸放大倍数为第一倍数，分辨率放大倍数为第二倍数，则输出该第六图像为真实图像的辨别结果信息；如果识别第六图像和第五图像内容不相似，或者第六图像相对于第五图像的尺寸放大倍数不是第一倍数，或者分辨率放大倍数不是第二倍数，则输出该第六图像为虚假图像的辨别结果信息。因此，在本发明实施例中，将图像处理模型输出的第六图像输入预先训练完成的辨别模型中，当辨别模型输出该第六图像的辨别结果信息为真实图像时，可以确定该第六图像相对于第五图像的尺寸放大倍数为第一倍数，分辨率放大倍数为第二倍数。
图2为本发明实施例提供的图像处理模型的训练过程示意图，具体的，如图2所示，针对训练集中的每个第五图像，需要说明的是，本发明实施例中的训练集中的第五图像可以与上述实施例中的第三图像相同，也可以不同。将该第五图像输入到图像处理模型中，图像处理模型输出第六图像；然后将该第六图像输入到预先训练完成的辨别模型中，该训练完成的辨别模型用于输出该第六图像的辨别结果信息，如果辨别模型输出该第六图像的辨别结果信息为真实图像，然后再将该第六图像输入反向模型中，反向模型输出第七图像。
预先训练完成的分辨模型的功能是识别第六图像相对于第五图像是否为真实图像，首先要考虑第五图像和第六图像的内容，其次是第六图像相对于第五图像的尺寸放大倍数和分辨率放大倍数，根据第五图像和第六图像内容是否相似，以及尺寸放大倍数和分辨率放大倍数确定输出哪种辨别结果信息。具体的，如果识别第五图像和第六图像内容相似，并且第六图像相对于第五图像的尺寸放大倍数为第一倍数，分辨率放大倍数为第二倍数，则输出该第六图像为真实图像的辨别结果信息；如果识别第五图像和第六图像内容不相似，或者第六图像相对于第五图像的尺寸放大倍数不是第一倍数，或者分辨率放大倍数不是第二倍数，则输出该第六图像为虚假图像的辨别结果信息。因此，在本发明实施例中，将图像处理模型输出的第六图像输入预先训练完成的辨别模型中，当辨别模型输出该第六图像的辨别结果信息为真实图像时，可以确定该第六图像相对于第五图像的尺寸放大倍数为第一倍数，分辨率放大倍数为第二倍数。
如果辨别模型输出第六图像的辨别结果信息为真实图像，再将第六图像输入图像处理模型的反向模型中，获取反向模型输出的第七图像，电子设备确定该第五图像和第七图像的相似度。其中，确定两幅图像的相似度的过程为现有技术，在本发明实施例中，对该过程不作赘述。
确定出每个第五图像和第七图像的相似度后，根据每个第五图像和第七图像的相似度对图像处理模型进行训练。具体的，电子设备中可以保存预设的相似度阈值和第二准确率阈值。预设的相似度阈值可以是90％、95％等。预设的第二准确率阈值和预设的第一准确率阈值可以相同或不同。确定出每个第五图像和第七图像的相似度后，统计相似度大于预设的相似度阈值的占比，判断相似度大于预设的相似度阈值的占比是否超过预设的第二准确率阈值，如果是，认为图像处理模型训练完成。
由于辨别模型的功能为如果识别第六图像和第五图像内容相似，并且第六图像相对于第五图像的尺寸放大倍数为第一倍数，分辨率放大倍数为第二倍数，则输出该第六图像为真实图像的辨别结果信息；如果识别第六图像和第五图像内容不相似，或者第六图像相对于第五图像的尺寸放大倍数不是第一倍数，或者分辨率放大倍数不是第二倍数，则输出该第六图像为虚假图像的辨别结果信息。因此，基于训练完成的辨别模型以及反向模型训练图像处理模型，能够保证输出的图像相对于输入的图像的尺寸增大了第一倍数，分辨率提高了第二倍数。
实施例4：
为了保证辨别模型的准确性，在上述各实施例的基础上，在本发明实施例中，预先对所述辨别模型进行训练的过程包括：
获取训练集中每对样本图像组，其中该对样本图像组中包含第八图像及该第八图像对应的标注信息为真实图像或虚假图像的第九图像，其中标注信息为真实图像的第九图像较该第八图像大第一倍数，标注信息为真实图像的第九图像的分辨率为该第八图像的分辨率的第二倍数；
针对所述每对样本图像组，将该样本图像组中的第八图像及对应的第九图像输入所述辨别模型，获取所述辨别模型输出的该第九图像的第二辨别结果信息；其中所述第二辨别结果信息为真实图像或虚假图像；
根据每个第九图像对应的标注信息和第二辨别结果信息，对所述辨别模型进行训练。
在对该辨别模型进行训练时，需要获取样本图像，并对每个样本图像进行标注，具体的，在预先对每个样本图像进行标注时，用户根据每个样本图像是否真实，给每个样本图像标注一个标识信息，该标识信息可以标识样本图像是真实图像还是虚假图像。
图3为本发明实施例提供的辨别模型的训练过程示意图，具体的，训练集中包含样本图像组，其中，样本图像组中包含相对较模糊的第八图像以及该第八图像对应的标注信息为真是图像或虚假图像的第九图像。需要说明的是，标注信息为真实图像的第九图像为预先保存的清晰度较高的图像，并且标注信息为真实图像的第九图像较该第八图像大第一倍数，分辨率为该第八图像的分辨率的第二倍数，并且标注信息为真实图像的第九图像与该第八图像内容相似。标注信息为虚假图像的第九图像为基于第八图像生产的第九图像。例如，可以将第八图像的尺寸放大第三倍数得到标注信息为虚假图像的第九图像，或者将第八图像的分辨率放大第四倍数得到标注信息为虚假图像的第九图像，其中，第三倍数和第四倍数不能与第一倍数和第二倍数完全相同。也可以如图3所示，将第八图像输入到图像处理模型，将图像处理模型输出的图像作为标注信息为虚假图像的第九图像，此时需要保证图像处理模型的参数不变。
分辨模型的功能是识别每个样本图像组中的第九图像相对于第八图像是否为真实图像，首先要考虑第八图像和第九图像的内容，其次是第九图像相对于第八图像的尺寸放大倍数和分辨率放大倍数，根据第八图像和第九图像内容是否相似，以及尺寸放大倍数和分辨率放大倍数确定输出哪种辨别结果信息。具体的，如果识别第九图像和第八图像内容相似，并且第九图像相对于第八图像的尺寸放大倍数为第一倍数，分辨率放大倍数为第二倍数，则输出该第九图像为真实图像的辨别结果信息；如果识别第九图像和第八图像内容不相似，或者第九图像相对于第八图像的尺寸放大倍数不是第一倍数，或者分辨率放大倍数不是第二倍数，则输出该第九图像为虚假图像的辨别结果信息。
在对辨别模型进行训练时，针对每对样本图像组，将该样本图像组中的第八图像和第九图像输入辨别模型。其中，将第八图像和标注信息为真实图像的第九图像输入辨别模型时，期望辨别模型输出第九图像为真实图像的辨别结果信息，这一步的目的是训练辨别模型以分辨真实图像；将第八图像和标注信息为虚假图像的第九图像输入辨别模型时，期望辨别模型输出第九图像为虚假图像的辨别结果信息，这一步的目的是训练辨别模型以分辨虚假图像。
针对每对样本图像组，将该样本图像组中的第八图像及对应的第九图像输入辨别模型，辨别模型输出的该第九图像的第二辨别结果信息；根据每个第九图像对应的标注信息和第二辨别结果信息，对辨别模型进行训练。具体的，电子设备中保存预设的第三准确率阈值，预设的第三准确率阈值和预设的第一准确率阈值可以相同或不同。辨别模型输出每个第九图像的第二辨别结果信息后，统计第二辨别结果信息与标注信息相同的第九图像的占比，当第二辨别结果信息与标注信息相同的第九图像的占比超过预设的第三准确率阈值时，认为辨别模型训练完成。
在本发明实施例中，图像处理模型输出的图像相对于输入图像尺寸增大的第一倍数以及分辨率提高的第二倍数，取决于对辨别模型训练时，样本中标注信息为真实图像的第九图像相对于第八图像的尺寸和分辨率提高的倍数。例如，样本中标注信息为真实图像的第九图像相对于第八图像的尺寸的增大倍数为2，分辨率的提高倍数为4，则图像处理模型输出的图像相对于输入图像尺寸增大的第一倍数为2，分辨率提高的第二倍数为4。
实施例5：
图4为本发明实施例提供的图像处理装置结构示意图，该装置包括：
输入模块41，用于将待处理的第一图像输入预先训练完成的图像处理模型中；
获取模块42，用于获取所述图像处理模型输出的第二图像，其中，所述第二图像较所述第一图像大第一倍数，所述第二图像的分辨率为所述第一图像的分辨率的第二倍数，所述第一倍数小于第二倍数。
所述装置还包括：
第一训练模块43，用于针对训练集中的每个第三图像，将该第三图像输入图像处理模型，获取所述图像处理模型输出的第四图像；将该第三图像和该第四图像输入到预先训练完成的辨别模型中，获取所述辨别模型输出的该第四图像的第一辨别结果信息，其中所述第一辨别结果信息为真实图像或虚假图像；根据每个第一辨别结果信息，对所述图像处理模型进行训练。
所述装置还包括：
第二训练模块44，用于针对训练集中的每个第五图像，将该第五图像输入所述图像处理模型，获取所述图像处理模型输出的第六图像；将该第五图像和该第六图像输入预先训练完成的辨别模型，如果辨别模型输出该第六图像的辨别结果信息为真实图像，将所述第六图像输入所述图像处理模型的反向模型中，获取所述反向模型输出的第七图像；根据每个第五图像和第七图像的相似度，对所述图像处理模型进行训练。
所述装置还包括：
第三训练模块45，用于获取训练集中每对样本图像组，其中该对样本图像组中包含第八图像及该第八图像对应的标注信息为真实图像或虚假图像的第九图像，其中该标注信息为真实图像的第九图像较该第八图像大第一倍数，该标注信息为真实图像的第九图像的分辨率为该第八图像的分辨率的第二倍数；针对所述每对样本图像组，将该样本图像组中的第八图像及对应的第九图像输入所述辨别模型，获取所述辨别模型输出的该第九图像的第二辨别结果信息；其中所述第二辨别结果信息为真实图像或虚假图像；根据每个第九图像对应的标注信息和第二辨别结果信息，对所述辨别模型进行训练。
实施例6：
在上述各实施例的基础上，本发明实施例中还提供了一种电子设备，如图5所示，包括：处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信；
所述存储器503中存储有计算机程序，当所述程序被所述处理器501执行时，使得所述处理器501执行如下步骤：
将待处理的第一图像输入预先训练完成的图像处理模型中，获取所述图像处理模型输出的第二图像，其中，所述第二图像较所述第一图像大第一倍数，所述第二图像的分辨率为所述第一图像的分辨率的第二倍数，所述第一倍数小于第二倍数。
基于同一发明构思，本发明实施例中还提供了一种电子设备，由于上述电子设备解决问题的原理与图像处理方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口502用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时，实现将待处理的第一图像输入预先训练完成的图像处理模型中，获取所述图像处理模型输出的第二图像，其中，所述第二图像较所述第一图像大第一倍数，所述第二图像的分辨率为所述第一图像的分辨率的第二倍数，所述第一倍数小于第二倍数。由于在本发明实施例中，电子设备中预先训练完成有图像处理模型，在获取到待处理的第一图像后，将第一图像输入预先训练完成的图像处理模型，基于图像处理模型可以确定第二图像，其中，第二图像较第一图像大第一倍数，第二图像的分辨率为第一图像的分辨率的第二倍数，第一倍数小于第二倍数，由于第一图像的分辨率的放大倍数大于尺寸的放大倍数，因此得到的第二图像的清晰度相较于第一图像更高。
实施例7：
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
将待处理的第一图像输入预先训练完成的图像处理模型中，获取所述图像处理模型输出的第二图像，其中，所述第二图像较所述第一图像大第一倍数，所述第二图像的分辨率为所述第一图像的分辨率的第二倍数，所述第一倍数小于第二倍数。
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与图像处理方法相似，因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序，计算机程序被处理器执行时实现将待处理的第一图像输入预先训练完成的图像处理模型中，获取所述图像处理模型输出的第二图像，其中，所述第二图像较所述第一图像大第一倍数，所述第二图像的分辨率为所述第一图像的分辨率的第二倍数，所述第一倍数小于第二倍数。由于在本发明实施例中，电子设备中预先训练完成有图像处理模型，在获取到待处理的第一图像后，将第一图像输入预先训练完成的图像处理模型，基于图像处理模型可以确定第二图像，其中，第二图像较第一图像大第一倍数，第二图像的分辨率为第一图像的分辨率的第二倍数，第一倍数小于第二倍数，由于第一图像的分辨率的放大倍数大于尺寸的放大倍数，因此得到的第二图像的清晰度相较于第一图像更高。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (4)
1.一种图像处理方法，其特征在于，所述方法包括：
将待处理的第一图像输入预先训练完成的图像处理模型中，获取所述图像处理模型输出的第二图像，其中，所述第二图像的尺寸为所述第一图像的尺寸的第一倍数，所述第二图像的分辨率为所述第一图像的分辨率的第二倍数，所述第一倍数小于第二倍数；
其中，预先对所述图像处理模型进行训练的过程包括：
针对训练集中的每个第三图像，将该第三图像输入图像处理模型，获取所述图像处理模型输出的第四图像；将该第三图像和该第四图像输入到预先训练完成的辨别模型中，获取所述辨别模型输出的该第四图像的第一辨别结果信息，其中所述第一辨别结果信息为真实图像或虚假图像；根据每个第一辨别结果信息，对所述图像处理模型进行训练；或，
针对训练集中的每个第五图像，将该第五图像输入所述图像处理模型，获取所述图像处理模型输出的第六图像；将该第五图像和该第六图像输入预先训练完成的辨别模型，如果辨别模型输出该第六图像的辨别结果信息为真实图像，将所述第六图像输入所述图像处理模型的反向模型中，获取所述反向模型输出的第七图像；根据每个第五图像和第七图像的相似度，对所述图像处理模型进行训练；
其中，预先对所述辨别模型进行训练的过程包括：
获取训练集中每对样本图像组，其中该对样本图像组中包含第八图像及该第八图像对应的标注信息为真实图像或虚假图像的第九图像，其中该标注信息为真实图像的第九图像的尺寸为该第八图像的尺寸的第一倍数，该标注信息为真实图像的第九图像的分辨率为该第八图像的分辨率的第二倍数；针对所述每对样本图像组，将该样本图像组中的第八图像及对应的第九图像输入所述辨别模型，获取所述辨别模型输出的该第九图像的第二辨别结果信息；其中所述第二辨别结果信息为真实图像或虚假图像；根据每个第九图像对应的标注信息和第二辨别结果信息，对所述辨别模型进行训练。
2.一种图像处理装置，其特征在于，所述装置包括：
输入模块，用于将待处理的第一图像输入预先训练完成的图像处理模型中；
获取模块，用于获取所述图像处理模型输出的第二图像，其中，所述第二图像的尺寸为所述第一图像的尺寸的第一倍数，所述第二图像的分辨率为所述第一图像的分辨率的第二倍数，所述第一倍数小于第二倍数；
所述装置还包括：
第一训练模块，用于针对训练集中的每个第三图像，将该第三图像输入图像处理模型，获取所述图像处理模型输出的第四图像；将该第三图像和该第四图像输入到预先训练完成的辨别模型中，获取所述辨别模型输出的该第四图像的第一辨别结果信息，其中所述第一辨别结果信息为真实图像或虚假图像；根据每个第一辨别结果信息，对所述图像处理模型进行训练；或，
第二训练模块，用于针对训练集中的每个第五图像，将该第五图像输入所述图像处理模型，获取所述图像处理模型输出的第六图像；将该第五图像和该第六图像输入预先训练完成的辨别模型，如果辨别模型输出该第六图像的辨别结果信息为真实图像，将所述第六图像输入所述图像处理模型的反向模型中，获取所述反向模型输出的第七图像；根据每个第五图像和第七图像的相似度，对所述图像处理模型进行训练；
所述装置还包括：
第三训练模块，用于获取训练集中每对样本图像组，其中该对样本图像组中包含第八图像及该第八图像对应的标注信息为真实图像或虚假图像的第九图像，其中该标注信息为真实图像的第九图像的尺寸为该第八图像的尺寸的第一倍数，该标注信息为真实图像的第九图像的分辨率为该第八图像的分辨率的第二倍数；针对所述每对样本图像组，将该样本图像组中的第八图像及对应的第九图像输入所述辨别模型，获取所述辨别模型输出的该第九图像的第二辨别结果信息；其中所述第二辨别结果信息为真实图像或虚假图像；根据每个第九图像对应的标注信息和第二辨别结果信息，对所述辨别模型进行训练。
3.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1所述的方法步骤。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910314002.0A CN110135464B (zh) | 2019-04-18 | 2019-04-18 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910314002.0A CN110135464B (zh) | 2019-04-18 | 2019-04-18 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110135464A CN110135464A (zh) | 2019-08-16 |
| CN110135464B true CN110135464B (zh) | 2021-05-11 |
Family
ID=67570337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910314002.0A Active CN110135464B (zh) | 2019-04-18 | 2019-04-18 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110135464B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449774A (zh) * | 2021-06-02 | 2021-09-28 | 北京鹰瞳科技发展股份有限公司 | 眼底图像质量控制方法、装置、电子设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256571A (zh) * | 2017-05-15 | 2017-10-17 | 北京理工大学 | 一种基于深度学习与自适应差分盒的分形维数估计方法 |
| CN109242771B (zh) * | 2018-08-16 | 2023-04-28 | 广州视源电子科技股份有限公司 | 一种超分辨率图像重建方法及装置、计算机可读存储介质和计算机设备 |
| CN109214989B (zh) * | 2018-09-04 | 2019-08-13 | 四川大学 | 基于多方向特征预测先验的单幅图像超分辨率重建方法 |
| CN109360153B (zh) * | 2018-10-26 | 2023-05-02 | 北京金山云网络技术有限公司 | 图像处理方法、超分辨率模型生成方法、装置及电子设备 |
| CN109410141B (zh) * | 2018-10-26 | 2021-03-02 | 北京金山云网络技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
-
2019
- 2019-04-18 CN CN201910314002.0A patent/CN110135464B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110135464A (zh) | 2019-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110111334B (zh) | 一种裂缝分割方法、装置、电子设备及存储介质 | |
| CN108021806B (zh) | 一种恶意安装包的识别方法和装置 | |
| CN109034069B (zh) | 用于生成信息的方法和装置 | |
| CN112860841B (zh) | 一种文本情感分析方法、装置、设备及存储介质 | |
| JP2020533654A (ja) | ホログラフィック偽造防止コードの検査方法及び装置 | |
| CN111275491A (zh) | 一种数据处理方法及装置 | |
| CN116128894A (zh) | 图像分割方法、装置及电子设备 | |
| CN116129224A (zh) | 检测模型的训练方法、分类方法、装置及电子设备 | |
| CN110135464B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN113378852A (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| CN112668640A (zh) | 一种文本图像质量评估方法、装置、设备及介质 | |
| CN111523322A (zh) | 需求文档质量评价模型训练方法及需求文档质量评价方法 | |
| CN111222051A (zh) | 一种趋势预测模型的训练方法及装置 | |
| CN114241411B (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
| CN113808192B (zh) | 一种户型图生成方法、装置、设备及存储介质 | |
| CN112801045B (zh) | 一种文本区域检测方法、电子设备及计算机存储介质 | |
| CN112071331B (zh) | 语音文件修复方法、装置、计算机设备及存储介质 | |
| CN114065858A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
| CN113221907A (zh) | 一种车辆部件分割方法、装置、设备及存储介质 | |
| CN113836297A (zh) | 文本情感分析模型的训练方法及装置 | |
| CN112785601A (zh) | 一种图像分割方法、系统、介质及电子终端 | |
| CN116309274B (zh) | 图像中小目标检测方法、装置、计算机设备及存储介质 | |
| CN114445763A (zh) | 一种人群数量确定方法、装置、设备和介质 | |
| CN115512194A (zh) | 图像目标的检测方法、装置及终端设备 | |
| CN114332928A (zh) | 一种图像分割方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |