CN110740350A - 图像处理方法、装置、终端设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、终端设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110740350A CN110740350A CN201911058970.6A CN201911058970A CN110740350A CN 110740350 A CN110740350 A CN 110740350A CN 201911058970 A CN201911058970 A CN 201911058970A CN 110740350 A CN110740350 A CN 110740350A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- target
- compressed
- compressed image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 77
- 238000003672 processing method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims description 97
- 238000000034 method Methods 0.000 claims description 90
- 238000013527 convolutional neural network Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 230000008439 repair process Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像处理方法、装置、终端设备及计算机可读存储介质，涉及图像处理技术领域，服务端获取待处理的原始图像，对原始图像进行分辨率调整后，得到压缩图像，其中，压缩图像的分辨率小于原始图像的分辨率，然后将压缩图像发送至客户端；客户端获取服务端发送的该压缩图像，将该压缩图像的分辨率调整至目标分辨率，得到第一中间图像，其中，目标分辨率大于压缩图像的分辨率；对该第一中间图像进行图像修复处理，获得目标图像。这样在保证客户端的图像画质的基础上，提高了服务端到客户端的图像数据传输的效率，节省了服务端的带宽资源，从而提高了用户体验。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置、终端设备及计算机可读存储介质。
背景技术
客户端(Client)或称为用户端，是指与服务器相对应，为客户提供本地服务的程序。服务端(Server)为客户端(Client)提供资源，保存客户端数据等，客户端可以从服务端获取图像数据。
目前，图像在服务端进行编码后，直接传输到客户端，并且由客户端进行解码和显示。随着移动终端客户量的快速增长，一种能够更高效地实现服务端到客户端的图像数据传输的需求与日俱增。
发明内容
本发明的目的在于提供一种图像处理方法、装置、终端设备及计算机可读存储介质，以在保证客户端的图像画质的基础上，提高服务端到客户端的图像数据传输的效率，节省服务端的带宽资源，从而提高用户体验。
第一方面，本发明提供了一种图像处理方法，包括：
获取服务端发送的压缩图像；其中，所述压缩图像为所述服务端对待发送的原始图像进行分辨率调整后得到的图像，所述压缩图像的分辨率小于所述原始图像的分辨率；
将所述压缩图像的分辨率调整至目标分辨率，得到第一中间图像；其中，所述目标分辨率大于所述压缩图像的分辨率；
对所述第一中间图像进行图像修复处理，获得目标图像；其中，所述目标图像相对于所述原始图像的峰值信噪比大于所述第一中间图像相对于所述原始图像的峰值信噪比。
进一步地，所述将所述压缩图像的分辨率调整至目标分辨率，得到第一中间图像，包括：
获取与所述目标分辨率对应的目标上采样倍数；其中，所述目标上采样倍数为预先设置好的上采样倍数，或者为通过对所述压缩图像对应的传输数据流中携带的倍数标识进行识别得到的，或者为通过对所述压缩图像的图像名称进行解析得到的；
对所述压缩图像进行所述目标上采样倍数的上采样处理，得到所述目标分辨率下的第一中间图像。
进一步地，所述对所述第一中间图像进行图像修复处理，获得目标图像，包括：
将所述第一中间图像输入至修复模型，并获得所述修复模型输出的所述目标图像；其中，所述修复模型用于对输入的图像进行图像修复。
进一步地，所述目标上采样倍数为预先设置好的上采样倍数；所述将所述第一中间图像输入至修复模型，并获得所述修复模型输出的目标图像，包括：
将所述第一中间图像输入至预先训练好的卷积神经网络模型，并获得所述卷积神经网络模型输出的目标图像，其中，训练所述卷积神经网络模型所使用的第二训练图像是对第一训练图像基于所述目标上采样倍数进行分辨率调整后得到的。
进一步地，训练所述卷积神经网络模型所使用的第二训练图像是对第一训练图像基于所述目标上采样倍数和第一插值法进行分辨率调整后得到的；
所述对所述压缩图像进行所述目标上采样倍数的上采样处理，得到所述目标分辨率下的第一中间图像，包括：
采用第二插值法对所述压缩图像进行所述目标上采样倍数的上采样处理，得到第一中间图像；其中，所述第二插值法的插值维度大于所述第一插值法的插值维度。
进一步地，所述目标分辨率等于所述原始图像的分辨率；所述第一插值法包括双线性插值法，所述第二插值法包括三线性插值法。
进一步地，在所述将所述第一中间图像输入至修复模型之前，所述方法还包括：
获取多个第一训练图像；
对每个所述第一训练图像均进行以下处理：对所述第一训练图像进行分辨率调整，得到第二训练图像，并对所述第二训练图像进行所述目标上采样倍数的上采样处理，得到第二中间图像；其中，所述第一训练图像的分辨率和所述第二中间图像的分辨率均大于所述第二训练图像的分辨率；
利用各所述第一训练图像和对应的第二中间图像对待训练的初始修复模型进行训练，得到训练好的所述修复模型。
第二方面，本发明还提供了一种图像处理方法，包括：
获取待处理的原始图像；
对所述原始图像进行分辨率调整，得到压缩图像；其中，所述压缩图像的分辨率小于所述原始图像的分辨率；
将所述压缩图像发送至客户端，以使所述客户端对所述压缩图像进行目标分辨率的分辨率调整和图像修复处理，得到目标图像；其中，所述目标分辨率大于所述压缩图像的分辨率。
进一步地，所述将所述压缩图像发送至客户端，包括：
在所述压缩图像的清晰度大于或等于预设的清晰度阈值的情况下，将所述压缩图像发送至客户端。
进一步地，所述清晰度阈值包括信噪比阈值，在将所述压缩图像发送至客户端之前，所述方法还包括：
将所述压缩图像的分辨率调整至所述目标分辨率，得到第一中间图像；
对所述第一中间图像进行图像修复处理，得到目标图像；
计算得到所述目标图像相对于所述原始图像的峰值信噪比；
判断所述峰值信噪比是否大于或等于所述信噪比阈值；
如果是，确定所述压缩图像的清晰度大于或等于所述清晰度阈值。
第三方面，本发明提供了一种图像处理装置，包括：
第一获取模块，用于获取服务端发送的压缩图像；其中，所述压缩图像为所述服务端对待发送的原始图像进行分辨率调整后得到的图像，所述压缩图像的分辨率小于所述原始图像的分辨率；
第一调整模块，用于将所述压缩图像的分辨率调整至目标分辨率，得到第一中间图像；其中，所述目标分辨率大于所述压缩图像的分辨率；
图像修复模块，用于对所述第一中间图像进行图像修复处理，获得目标图像；其中，所述目标图像相对于所述原始图像的峰值信噪比大于所述第一中间图像相对于所述原始图像的峰值信噪比。
第四方面，本发明还提供了一种图像处理装置，包括：
第二获取模块，用于获取待处理的原始图像；
第二调整模块，用于对所述原始图像进行分辨率调整，得到压缩图像；其中，所述压缩图像的分辨率小于所述原始图像的分辨率；
图像发送模块，用于将所述压缩图像发送至客户端，以使所述客户端对所述压缩图像进行目标分辨率的分辨率调整和图像修复处理，得到目标图像；其中，所述目标分辨率大于所述压缩图像的分辨率。
第五方面，本发明提供了一种终端设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面或第二方面提供的方法。
第六方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第二方面提供的方法。
本发明提供的图像处理方法、装置、终端设备及计算机可读存储介质中，服务端获取待处理的原始图像，对原始图像进行分辨率调整后，得到压缩图像，其中，压缩图像的分辨率小于原始图像的分辨率，然后将压缩图像发送至客户端；客户端获取服务端发送的该压缩图像，将该压缩图像的分辨率调整至目标分辨率，得到第一中间图像，其中，目标分辨率大于压缩图像的分辨率；对该第一中间图像进行图像修复处理，获得目标图像；其中，目标图像相对于原始图像的峰值信噪比大于第一中间图像相对于原始图像的峰值信噪比。由于服务端发送至客户端的压缩图像的分辨率小于原始图像的分辨率，因此在图像传输过程中，压缩图像占用的带宽资源小于原始图像占用的带宽资源；而客户端通过对该压缩图像进行分辨率的提升和图像修复，能够降低修复得到的目标图像的画质损伤，从而保证得到的目标图像的图像画质。因此与直接传输原始图像相比，本发明实施例提供的图像处理方法、装置、终端设备及计算机可读存储介质，在保证客户端的图像画质的基础上，提高了服务端到客户端的图像数据传输的效率，节省了服务端的带宽资源，从而提高了用户体验。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程示意图；
图2为本发明实施例提供的另一种图像处理方法的流程示意图；
图3为本发明实施例提供的一种图像处理方法中修复模型的训练流程示意图；
图4为本发明实施例提供的另一种图像处理方法的流程示意图；
图5为本发明实施例提供的另一种图像处理方法的流程示意图；
图6为本发明实施例提供的另一种图像处理方法的流程示意图；
图7为本发明实施例提供的一种图像处理装置的结构示意图；
图8为本发明实施例提供的另一种图像处理装置的结构示意图；
图9为本发明实施例提供的另一种图像处理装置的结构示意图；
图10为本发明实施例提供的一种终端设备的结构示意图；
图11为本发明实施例提供的一种图像处理系统的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
智能电视(客户端)，是具有全开放式平台，搭载了操作系统，用户在欣赏普通电视内容的同时，可自行安装和卸载各类应用软件，持续对功能进行扩充和升级的新电视产品。在用户使用智能电视过程中，当电视暂停一段时间时，智能电视会自动播放电视画报，这些电视画报是从智能电视对应的服务端获取的。随着智能电视的普及，使用智能电视的用户数量越来越多，一种能够更高效地实现服务端到诸如智能电视的客户端的图像数据传输的需求与日俱增。
图像压缩是利用图像数据的冗余来减少表示图像所需的比特数。图像数据的快速增加使得传送、存储、处理都非常困难，因此可以对图像数据进行有效的压缩，达到更高效的传输数据的目的。图像超分辨率重建(Super-Resolution Image Reconstruction)是指利用低质量、低分辨率图像来产生高质量、高分辨率图像。图像超分辨率重建可以基于深度学习进行。深度学习(deep learning)是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。
发明人经研究发现，现有的服务端到客户端的传输方案并没有利用图像超分辨率重建技术，在压缩比方面依然存在大量提升的空间。基于此，本发明实施例提供的一种图像处理方法、装置、终端设备及计算机可读存储介质，通过服务端与客户端在图像压缩和图像超分辨率重建方面的协同处理，可以在保证客户端的图像画质的基础上，提高服务端到客户端的图像数据传输的效率，节省服务端的带宽资源。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像处理方法进行详细介绍。
本发明实施例提供了一种图像处理方法，该方法由诸如智能电视的客户端执行。本实施例中，通过分辨率调整和图像修复处理进行图像超分辨率重建，这样可以使得图像压缩的压缩比能得到大幅提升。参见图1所示的一种图像处理方法的流程示意图，该方法包括以下几个步骤：
步骤S102，获取服务端发送的压缩图像；其中，压缩图像为服务端对待发送的原始图像进行分辨率调整后得到的图像，压缩图像的分辨率小于原始图像的分辨率。
客户端接收服务端发送的压缩图像，该压缩图像可以是服务端对待发送的原始图像进行预设下采样倍数的下采样处理后得到的。该预设下采样倍数为服务端与客户端预先约定好的，预设下采样倍数可以根据实际的业务场景设置，例如，预设下采样倍数为2倍或4倍。
步骤S104，将压缩图像的分辨率调整至目标分辨率，得到第一中间图像；其中，目标分辨率大于压缩图像的分辨率。
目标分辨率可以等于原始图像的分辨率，也可以大于或小于原始图像的分辨率。压缩图像分辨率的调整可以通过上采样处理实现。上采样处理时的目标上采样倍数是与目标分辨率对应的，若目标分辨率等于原始图像的分辨率，则目标上采样倍数等于服务端对待发送的原始图像进行下采样处理时的预设下采样倍数。
上述目标上采样倍数可以是服务端与客户端通过协议约定好的，也可以写在压缩图像对应的传输数据流中，还可以通过命名的方式写在压缩图像的图像名称中。基于此，在一种可能的实现方式中，步骤S104可以通过如下过程实现：获取与目标分辨率对应的目标上采样倍数；其中，目标上采样倍数为预先设置好的上采样倍数，或者为通过对压缩图像对应的传输数据流中携带的倍数标识进行识别得到的，或者为通过对压缩图像的图像名称进行解析得到的；对压缩图像进行该目标上采样倍数的上采样处理，得到目标分辨率下的第一中间图像。
例如，当目标上采样倍数为2倍时，客户端对该压缩图像进行2倍的上采样处理，得到第一中间图像。
步骤S106，对第一中间图像进行图像修复处理，获得目标图像；其中，目标图像相对于原始图像的峰值信噪比大于第一中间图像相对于原始图像的峰值信噪比。
峰值信噪比(Peak Signal to Noise Ratio，PSNR)表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值，单位dB。峰值信噪比为图像清晰度的一种表征方式，这里通过对第一中间图像进行图像修复处理，使得目标图像的清晰度更高。
在一些可能的实施例中，步骤S106可以通过如下过程实现：将第一中间图像输入至修复模型，并获得修复模型输出的目标图像；其中，修复模型用于对输入的图像进行图像修复。修复模型可以是预先训练好的，修复模型的训练过程与对压缩图像的实际处理过程相对应，使得与压缩图像只进行上采样处理的方式相比，通过训练好的修复模型对第一中间图像的处理，能够得到恢复更多细节的目标图像。
可选地，上述目标上采样倍数为预先设置好的上采样倍数，上述修复模型可以采用卷积神经网络模型，训练卷积神经网络模型所使用的第二训练图像是对第一训练图像基于该目标上采样倍数进行分辨率调整后得到的。具体地，卷积神经网络模型是基于卷积神经网络(Convolutional Neural Network，CNN))搭建的模型；卷积神经网络是一种前馈神经网络，它由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成，同时也包括关联权重和池化层。卷积神经网络是深度学习的代表算法之一，在图像方面能够给出更好的结果。
本发明实施例中，客户端首先获取服务端发送的压缩图像，该压缩图像是对原始图像进行分辨率调整后得到的，压缩图像的分辨率小于原始图像的分辨率；然后将该压缩图像的分辨率调整至目标分辨率，得到第一中间图像，其中，目标分辨率大于压缩图像的分辨率；最后对该第一中间图像进行图像修复处理，获得目标图像。由于服务端发送至客户端的压缩图像的分辨率小于原始图像的分辨率，因此在图像传输过程中，压缩图像占用的带宽资源小于原始图像占用的带宽资源；而客户端通过对该压缩图像进行分辨率的提升和图像修复，能够降低修复得到的目标图像的画质损伤，从而保证得到的目标图像的图像画质。因此与直接传输原始图像相比，本发明实施例提供的图像处理方法，在保证客户端的图像画质的基础上，提高了服务端到客户端的图像数据传输的效率，节省了服务端的带宽资源，从而提高了用户体验。
在图1的基础上，本发明实施例还提供了另一种图像处理方法，该方法对上采样处理过程中的上采样方式进行了限定：该方法中目标上采样倍数为预先设置好的上采样倍数，修复模型采用卷积神经网络模型，训练卷积神经网络模型所使用的第二训练图像是对第一训练图像基于目标上采样倍数和第一插值法进行分辨率调整后得到的，而实际对压缩图像进行上采样处理时采用第二差值法，且第二插值法的插值维度大于第一插值法的插值维度。参见图2所示的另一种图像处理方法的流程示意图，该方法包括如下步骤：
步骤S202，接收服务端发送的压缩图像。
步骤S204，采用第二插值法对压缩图像进行目标上采样倍数的上采样处理，得到第一中间图像；其中，第二插值法的插值维度大于第一插值法的插值维度。
可选地，第一插值法可以但不限于为双线性插值法，第二插值法可以但不限于为三线性插值法(又称为双三次插值法)。
步骤S206，将第一中间图像输入至预先训练好的卷积神经网络模型，并获得卷积神经网络模型输出的目标图像。
训练卷积神经网络模型所使用的第二训练图像是对第一训练图像基于目标上采样倍数和第一插值法进行分辨率调整后得到的，而基于第一插值法处理得到的图像(目标图像)清晰度小于基于第二插值法处理得到的图像清晰度，因此第一插值法对卷积神经网络模型的训练要求更高。这样通过在训练时营造更加艰难、恶劣的训练环境，使得实际应用卷积神经网络模型时目标图像的修复效果更好。与训练和应用时均采用第二插值法相比，应用本实施例提供的方法得到的目标图像具有更好的边缘效果，图像纹理更清晰，主观效果更好。
在一个示例性的验证实验中，训练卷积神经网络模型时所使用的第二训练图像是对第一训练图像基于双线性差值法进行分辨率调整后得到的，实际应用卷积神经网络模型时所使用的第一中间图像是采用三线性插值法进行上采样处理得到的，这种情况下，传输图像的大小可以从394KB(原始图像的大小)下降到282KB(压缩图像的大小)，压缩比可以达到75％，并且应用本实施例提供的图像处理方法输出的目标图像和原始图像在主观质量上基本一致。
本实施例中，训练卷积神经网络模型所使用的第二训练图像是对第一训练图像基于目标上采样倍数和第一插值法进行分辨率调整后得到的，而客户端对压缩图像进行上采样处理时采用第二差值法，且第二插值法的插值维度大于第一插值法的插值维度，使得相比于训练和应用时均采用第二插值法，应用本实施例提供的方法得到目标图像的纹理更锐利，从而可以更好地满足用户对同画质的需求。本实施例提供的方法，在尽可能接近原画质，达到同等主观效果的基础上，实现了更高效的服务端到客户端图像的传输。
为了便于理解上述修复模型的训练过程，本发明实施例还提供了一种修复模型的训练方式，参见图3所示的一种图像处理方法中修复模型的训练流程示意图，该修复模型的训练过程如下步骤S302至步骤S306所示：
步骤S302，获取多个第一训练图像。
为了提高修复模型的训练效果，第一训练图像优选高高清图像，高清图像的分辨率大于预设分辨率阈值。该预设分辨率阈值可以根据实际需求设置，这里不作限定。需要说明的是，本发明对高清图像的获取途径或获取手段不作限定，例如可以通过网络获取，也可以通过本地上传。
经图像超分辨率重建的目标图像的主观效果受到训练集和修复模型的表达能力两方面影响。可选地，在训练集方面，可以在初始训练集中加入各种类型的高清图像，而没有带有噪声等的低质量图像；初始训练集包含图像类型丰富多样，并控制训练集各图像类型的比例，人造图像比例不宜过大。例如，可以在初始训练集中加入轮廓锐利的高清动漫图像、高清人脸图像以及文字图像、动物图像和风景图像等高清图像。初始训练集涵盖的范围越广，修复模型学习到的纹理越多，从而能够更好地处理不同类型的图像。
基于上述内容，在一些可能的实施方式中，上述步骤S302包括：获取多个图像类型的分辨率大于预设分辨率阈值的高分辨率训练图像；其中，图像类型包括自然图像和人造图像，自然图像包括人脸、风景、夜景和动物中的一种或多种，人造图像包括动漫和/或文字；自然图像与人造图像的比例大于预设比例阈值。
上述预设比例阈值可以根据需要设置。优选地，该预设比例阈值大于1，使得轮廓锐利的人造图像比例相对较小，以提高修复模型的训练效果。另外，自然图像和人造图像各自所包含的各个小类之间的比例也可以适当调整，例如可以根据需要适当人脸、风景、夜景和动物四种图像类型之间的比例。
下面通过步骤S304对初始训练集做预处理，得到最终的训练集。
步骤S304，对每个第一训练图像均进行以下处理：对第一训练图像进行分辨率调整，得到第二训练图像，并对第二训练图像进行上述目标上采样倍数的上采样处理，得到第二中间图像；其中，第一训练图像的分辨率和第二中间图像的分辨率均大于第二训练图像的分辨率。
这里对第一训练图像进行分辨率调整时所采用的下采样倍数与服务端对待发送的原始图像进行分辨率调整时的下采样倍数相同，目标上采样倍数也与实际输入训练好的修复模型中的第一中间图像所采用的目标上采样倍数相同。可选地，可以采用双线性插值法对初始训练集中的各个高分辨率训练图像进行2倍的下采样处理(这里的2倍仅为示例)，得到低分辨率的第二训练图像，并采用双线性插值法对该第二训练图像进行2倍的上采样处理，得到第二中间图像。
将初始训练集中的各个第一训练图像和对应的第二中间图像作为最终的训练集。
步骤S306，利用各第一训练图像和对应的第二中间图像对待训练的初始修复模型进行训练，得到训练好的修复模型。
通过训练过程使得从修复模型输出的修复图像尽量接近原图(第一训练图像)。
上述修复模型在训练过程中学习如何将低清晰度图像尽可能地映射到高清晰度图像。修复模型并不需要每次进行图像处理时均进行训练，修复模型可以是在该客户端预先训练好的，也可以是在其他设备上训练好后部署在该客户端上的。
本实施例中，选取多个第一训练图像，并基于该多个第一训练图像得到对应的第二中间图像，最终基于该多个第一训练图像和对应的第二中间图像实现了对修复模型的训练。
本发明实施例还提供了一种图像处理方法，该方法由服务端执行。参见图4所示的另一种图像处理方法的流程示意图，该方法包括如下步骤：
步骤S402，获取待处理的原始图像。
在一些可能的实现方式中，可以接收本地上传的原始图像，或者接收其他客户端发送的原始图像，将这些原始图像作为待处理的原始图像。
步骤S404，对原始图像进行分辨率调整，得到压缩图像；其中，压缩图像的分辨率小于原始图像的分辨率。
具体实现时，可以对原始图像进行预设下采样倍数的下采样处理，得到压缩图像。这里的预设下采样倍数可以为服务端与客户端预先约定好的，预设下采样倍数可以根据实际的业务场景设置。
步骤S406，将压缩图像发送至客户端，以使客户端对压缩图像进行目标分辨率的分辨率调整和图像修复处理，得到目标图像；其中，目标分辨率大于压缩图像的分辨率。
本发明实施例中，服务端获取待处理的原始图像，对该原始图像进行分辨率调整，得到压缩图像；其中，压缩图像的分辨率小于原始图像的分辨率；将压缩图像发送至客户端，以使客户端对压缩图像进行目标分辨率的分辨率调整和图像修复处理，得到目标图像；其中，目标分辨率大于压缩图像的分辨率。由于服务端发送至客户端的压缩图像的分辨率小于原始图像的分辨率，因此在图像传输过程中，压缩图像占用的带宽资源小于原始图像占用的带宽资源；而客户端通过对该压缩图像进行分辨率的提升和图像修复，能够降低修复得到的目标图像的画质损伤，从而保证得到的目标图像的图像画质。因此与直接传输原始图像相比，本发明实施例提供的图像处理方法，在保证客户端的图像画质的基础上，提高了服务端到客户端的图像数据传输的效率，节省了服务端的带宽资源，从而提高了用户体验。
在图4的基础上，本发明实施例还提供了另一种图像处理方法，该方法中考虑到了过于复杂、纹理信息过多的图像不适于进行压缩处理(下采样处理)。参见图5所示的另一种图像处理方法的流程示意图，该方法包括如下步骤：
步骤S502，获取待处理的原始图像。
步骤S504，对上述原始图像进行预设下采样倍数的下采样处理，得到压缩图像。
步骤S506，在压缩图像的清晰度大于或等于预设的清晰度阈值的情况下，将压缩图像发送至客户端。
在一种可能的实现方式中，压缩图像的清晰度由峰值信噪比来表征，此时预设的清晰度阈值可以为预设的信噪比阈值，信噪比阈值可以根据实际需求设置，例如，根据原始图像的图像类型设置信噪比阈值，诸如自然图像对应的信噪比阈值为35dB，人造图像对应的信噪比阈值为40dB。
基于此，在执行将压缩图像发送至客户端的步骤之前，上述方法还包括：将压缩图像的分辨率调整至目标分辨率，得到第一中间图像；对第一中间图像进行图像修复处理，得到目标图像；计算得到目标图像相对于原始图像的峰值信噪比；判断该峰值信噪比是否大于或等于信噪比阈值；如果是，确定压缩图像的清晰度大于或等于清晰度阈值，之后执行将压缩图像发送至客户端的步骤；如果否，确定压缩图像的清晰度小于清晰度阈值，之后直接将原始图像发送至客户端，以保证客户端的图像画质。
本实施例中，在发送客户端之前先验证了压缩图像的清晰度是否满足要求(大于或等于预设的清晰度阈值)，只有满足要求时才发送给客户端，也即考虑到了过于复杂、纹理信息过多的图像经过压缩后会丢失信息的情形，从而保证了客户端的图像画质。
为了便于理解，参见图6所示的另一种图像处理方法的流程示意图，图6中主要示出了服务端与客户端的交互过程，具体包括如下步骤：
步骤S602，服务端获取待处理的原始图像。
步骤S604，服务端对原始图像进行分辨率调整，得到压缩图像。
其中，压缩图像的分辨率小于原始图像的分辨率。
步骤S606，服务端将压缩图像发送至客户端。
步骤S608，客户端将压缩图像的分辨率调整至目标分辨率，得到第一中间图像。
其中，目标分辨率大于压缩图像的分辨率。
步骤S610，对第一中间图像进行图像修复处理，获得目标图像。
其中，目标图像相对于原始图像的峰值信噪比大于第一中间图像相对于原始图像的峰值信噪比。
本发明实施例提供的图像处理方法，通过服务端与客户端的协同处理，在保证客户端的图像画质的基础上，提高了服务端到客户端的图像数据传输的效率，节省了服务端的带宽资源，从而提高了用户体验。
本发明实施例还提供了一种图像处理装置，该图像处理装置应用于客户端，主要用于执行本发明实施例上述内容所提供的应用于客户端的图像处理方法，以下对本发明实施例提供的图像处理装置做具体介绍。
参见图7所示的一种图像处理装置的结构示意图，该装置包括：
第一获取模块72，用于获取服务端发送的压缩图像；其中，压缩图像为服务端对待发送的原始图像进行分辨率调整后得到的图像，压缩图像的分辨率小于原始图像的分辨率；
第一调整模块74，用于将压缩图像的分辨率调整至目标分辨率，得到第一中间图像；其中，目标分辨率大于压缩图像的分辨率；
图像修复模块76，用于对第一中间图像进行图像修复处理，获得目标图像；其中，目标图像相对于原始图像的峰值信噪比大于第一中间图像相对于原始图像的峰值信噪比。
本发明实施例中，第一获取模块72获取服务端发送的压缩图像，该压缩图像是对原始图像进行分辨率调整后得到的，压缩图像的分辨率小于原始图像的分辨率；第一调整模块74将该压缩图像的分辨率调整至目标分辨率，得到第一中间图像，其中，目标分辨率大于压缩图像的分辨率；图像修复模块76对该第一中间图像进行图像修复处理，获得目标图像。由于服务端发送至客户端的压缩图像的分辨率小于原始图像的分辨率，因此在图像传输过程中，压缩图像占用的带宽资源小于原始图像占用的带宽资源；而客户端通过对该压缩图像进行分辨率的提升和图像修复，能够降低修复得到的目标图像的画质损伤，从而保证得到的目标图像的图像画质。因此与直接传输原始图像相比，本发明实施例提供的图像处理装置，在保证客户端的图像画质的基础上，提高了服务端到客户端的图像数据传输的效率，节省了服务端的带宽资源，从而提高了用户体验。
可选地，上述第一调整模块74具体用于：获取与目标分辨率对应的目标上采样倍数；其中，目标上采样倍数为预先设置好的上采样倍数，或者为通过对压缩图像对应的传输数据流中携带的倍数标识进行识别得到的，或者为通过对压缩图像的图像名称进行解析得到的；对压缩图像进行目标上采样倍数的上采样处理，得到目标分辨率下的第一中间图像。
可选地，上述图像修复模块76具体用于：将第一中间图像输入至修复模型，并获得修复模型输出的目标图像；其中，修复模型用于对输入的图像进行图像修复。
进一步地，上述目标上采样倍数为预先设置好的上采样倍数；上述图像修复模块76还用于：将第一中间图像输入至预先训练好的卷积神经网络模型，并获得卷积神经网络模型输出的目标图像，其中，训练卷积神经网络模型所使用的第二训练图像是对第一训练图像基于目标上采样倍数进行分辨率调整后得到的。
进一步地，训练卷积神经网络模型所使用的第二训练图像是对第一训练图像基于目标上采样倍数和第一插值法进行分辨率调整后得到的；上述第一调整模块74还用于：采用第二插值法对压缩图像进行目标上采样倍数的上采样处理，得到第一中间图像；其中，第二插值法的插值维度大于第一插值法的插值维度。
可选地，上述目标分辨率等于原始图像的分辨率；上述第一插值法包括双线性插值法，上述第二插值法包括三线性插值法。
参见图8所示的另一种图像处理装置的结构示意图，在图7的基础上，上述装置还包括训练模块82，用于：获取多个第一训练图像；
对每个第一训练图像均进行以下处理：对第一训练图像进行分辨率调整，得到第二训练图像，并对第二训练图像进行目标上采样倍数的上采样处理，得到第二中间图像；其中，第一训练图像的分辨率和第二中间图像的分辨率均大于第二训练图像的分辨率；
利用各第一训练图像和对应的第二中间图像对待训练的初始修复模型进行训练，得到训练好的修复模型。
本实施例所提供的装置，其实现原理及产生的技术效果和前述应用于客户端的方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述应用于客户端的方法实施例中相应内容。
本发明实施例还提供了一种图像处理装置，该图像处理装置应用于服务端，主要用于执行本发明实施例上述内容所提供的应用于服务端的图像处理方法，以下对本发明实施例提供的图像处理装置做具体介绍。
参见图9所示的另一种图像处理装置的结构示意图，该装置包括：
第二获取模块92，用于获取待处理的原始图像；
第二调整模块94，用于对原始图像进行分辨率调整，得到压缩图像；其中，压缩图像的分辨率小于原始图像的分辨率；
图像发送模块96，用于将压缩图像发送至客户端，以使客户端对压缩图像进行目标分辨率的分辨率调整和图像修复处理，得到目标图像；其中，目标分辨率大于压缩图像的分辨率。
本发明实施例中，第二获取模块92获取待处理的原始图像，第二调整模块94对该原始图像进行分辨率调整，得到压缩图像；其中，压缩图像的分辨率小于原始图像的分辨率；图像发送模块96将压缩图像发送至客户端，以使客户端对压缩图像进行目标分辨率的分辨率调整和图像修复处理，得到目标图像；其中，目标分辨率大于压缩图像的分辨率。由于服务端发送至客户端的压缩图像的分辨率小于原始图像的分辨率，因此在图像传输过程中，压缩图像占用的带宽资源小于原始图像占用的带宽资源；而客户端通过对该压缩图像进行分辨率的提升和图像修复，能够降低修复得到的目标图像的画质损伤，从而保证得到的目标图像的图像画质。因此与直接传输原始图像相比，本发明实施例提供的图像处理装置，在保证客户端的图像画质的基础上，提高了服务端到客户端的图像数据传输的效率，节省了服务端的带宽资源，从而提高了用户体验。
可选地，上述图像发送模块96具体用于：在压缩图像的清晰度大于或等于预设的清晰度阈值的情况下，将压缩图像发送至客户端。
进一步地，上述清晰度阈值包括信噪比阈值，上述装置还包括分别与第二调整模块94和图像发送模块96连接的验证模块，该验证模块用于：将压缩图像的分辨率调整至目标分辨率，得到第一中间图像；对第一中间图像进行图像修复处理，得到目标图像；计算得到目标图像相对于原始图像的峰值信噪比；判断该峰值信噪比是否大于或等于信噪比阈值；如果是，确定压缩图像的清晰度大于或等于清晰度阈值。
本实施例所提供的装置，其实现原理及产生的技术效果和前述应用于服务端的方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述应用于服务端的方法实施例中相应内容。
本发明实施例还提供了一种终端设备(客户端或服务端)，该终端设备包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行该计算机程序时实现前述实施例所提供的图像处理方法。
其中，客户端的存储器中存储有支持处理器执行前述应用于客户端的图像处理方法的计算机程序，处理器执行该计算机程序时实现前述应用于客户端的图像处理方法。服务端的存储器中存储有支持处理器执行前述应用于服务端的图像处理方法的计算机程序，处理器执行该计算机程序时实现前述应用于服务端的图像处理方法。
参见图10，本发明实施例还提供一种终端设备100，包括：处理器10，存储器11，总线12和通信接口13，所述处理器10、通信接口13和存储器11通过总线12连接；处理器10用于执行存储器11中存储的可执行模块，例如计算机程序。
其中，存储器11可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口13(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线12可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器11用于存储程序，所述处理器10在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器10中，或者由处理器10实现。
处理器10可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器10中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器10可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器11，处理器10读取存储器11中的信息，结合其硬件完成上述方法的步骤。
本发明实施例还提供一种图像处理系统，如图11所示，该图像处理系统包括上述的客户端110和上述的服务端120，客户端110与服务端120连接。
需要说明的是，一个服务端120可以连接一个或多个客户端110，图11中仅示例性地示出了一个客户端110。
本实施例所提供的系统，其实现原理及产生的技术效果和前述方法实施例(包括应用于客户端的方法实施例和应用于服务端的方法实施例)相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例所提供的进行图像处理方法的计算机程序产品，包括存储有计算机程序的计算机可读存储介质，该计算机程序被处理器运行时执行前面方法实施例中所述的应用于客户端的图像处理方法或者应用于服务端的图像处理方法。而该存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。具体实现可参见方法实施例，在此不再赘述。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (14)
1.一种图像处理方法，其特征在于，包括：
获取服务端发送的压缩图像；其中，所述压缩图像为所述服务端对待发送的原始图像进行分辨率调整后得到的图像，所述压缩图像的分辨率小于所述原始图像的分辨率；
将所述压缩图像的分辨率调整至目标分辨率，得到第一中间图像；其中，所述目标分辨率大于所述压缩图像的分辨率；
对所述第一中间图像进行图像修复处理，获得目标图像；其中，所述目标图像相对于所述原始图像的峰值信噪比大于所述第一中间图像相对于所述原始图像的峰值信噪比。
2.根据权利要求1所述的方法，其特征在于，所述将所述压缩图像的分辨率调整至目标分辨率，得到第一中间图像，包括：
获取与所述目标分辨率对应的目标上采样倍数；其中，所述目标上采样倍数为预先设置好的上采样倍数，或者为通过对所述压缩图像对应的传输数据流中携带的倍数标识进行识别得到的，或者为通过对所述压缩图像的图像名称进行解析得到的；
对所述压缩图像进行所述目标上采样倍数的上采样处理，得到所述目标分辨率下的第一中间图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一中间图像进行图像修复处理，获得目标图像，包括：
将所述第一中间图像输入至修复模型，并获得所述修复模型输出的所述目标图像；其中，所述修复模型用于对输入的图像进行图像修复。
4.根据权利要求3所述的方法，其特征在于，所述目标上采样倍数为预先设置好的上采样倍数；所述将所述第一中间图像输入至修复模型，并获得所述修复模型输出的目标图像，包括：
将所述第一中间图像输入至预先训练好的卷积神经网络模型，并获得所述卷积神经网络模型输出的目标图像，其中，训练所述卷积神经网络模型所使用的第二训练图像是对第一训练图像基于所述目标上采样倍数进行分辨率调整后得到的。
5.根据权利要求4所述的方法，其特征在于，训练所述卷积神经网络模型所使用的第二训练图像是对第一训练图像基于所述目标上采样倍数和第一插值法进行分辨率调整后得到的；
所述对所述压缩图像进行所述目标上采样倍数的上采样处理，得到所述目标分辨率下的第一中间图像，包括：
采用第二插值法对所述压缩图像进行所述目标上采样倍数的上采样处理，得到第一中间图像；其中，所述第二插值法的插值维度大于所述第一插值法的插值维度。
6.根据权利要求5所述的方法，其特征在于，所述目标分辨率等于所述原始图像的分辨率；所述第一插值法包括双线性插值法，所述第二插值法包括三线性插值法。
7.根据权利要求3所述的方法，其特征在于，在所述将所述第一中间图像输入至修复模型之前，所述方法还包括：
获取多个第一训练图像；
对每个所述第一训练图像均进行以下处理：对所述第一训练图像进行分辨率调整，得到第二训练图像，并对所述第二训练图像进行所述目标上采样倍数的上采样处理，得到第二中间图像；其中，所述第一训练图像的分辨率和所述第二中间图像的分辨率均大于所述第二训练图像的分辨率；
利用各所述第一训练图像和对应的第二中间图像对待训练的初始修复模型进行训练，得到训练好的所述修复模型。
8.一种图像处理方法，其特征在于，包括：
获取待处理的原始图像；
对所述原始图像进行分辨率调整，得到压缩图像；其中，所述压缩图像的分辨率小于所述原始图像的分辨率；
将所述压缩图像发送至客户端，以使所述客户端对所述压缩图像进行目标分辨率的分辨率调整和图像修复处理，得到目标图像；其中，所述目标分辨率大于所述压缩图像的分辨率。
9.根据权利要求8所述的方法，其特征在于，所述将所述压缩图像发送至客户端，包括：
在所述压缩图像的清晰度大于或等于预设的清晰度阈值的情况下，将所述压缩图像发送至客户端。
10.根据权利要求9所述的方法，其特征在于，所述清晰度阈值包括信噪比阈值，在将所述压缩图像发送至客户端之前，所述方法还包括：
将所述压缩图像的分辨率调整至所述目标分辨率，得到第一中间图像；
对所述第一中间图像进行图像修复处理，得到目标图像；
计算得到所述目标图像相对于所述原始图像的峰值信噪比；
判断所述峰值信噪比是否大于或等于所述信噪比阈值；
如果是，确定所述压缩图像的清晰度大于或等于所述清晰度阈值。
11.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取服务端发送的压缩图像；其中，所述压缩图像为所述服务端对待发送的原始图像进行分辨率调整后得到的图像，所述压缩图像的分辨率小于所述原始图像的分辨率；
第一调整模块，用于将所述压缩图像的分辨率调整至目标分辨率，得到第一中间图像；其中，所述目标分辨率大于所述压缩图像的分辨率；
图像修复模块，用于对所述第一中间图像进行图像修复处理，获得目标图像；其中，所述目标图像相对于所述原始图像的峰值信噪比大于所述第一中间图像相对于所述原始图像的峰值信噪比。
12.一种图像处理装置，其特征在于，包括：
第二获取模块，用于获取待处理的原始图像；
第二调整模块，用于对所述原始图像进行分辨率调整，得到压缩图像；其中，所述压缩图像的分辨率小于所述原始图像的分辨率；
图像发送模块，用于将所述压缩图像发送至客户端，以使所述客户端对所述压缩图像进行目标分辨率的分辨率调整和图像修复处理，得到目标图像；其中，所述目标分辨率大于所述压缩图像的分辨率。
13.一种终端设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的方法，或者，执行所述计算机程序时实现权利要求8-10中任一项所述的方法。
14.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-7中任一项所述的方法或权利要求8-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911058970.6A CN110740350B (zh) | 2019-10-31 | 2019-10-31 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911058970.6A CN110740350B (zh) | 2019-10-31 | 2019-10-31 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110740350A true CN110740350A (zh) | 2020-01-31 |
| CN110740350B CN110740350B (zh) | 2021-12-21 |
Family
ID=69270561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911058970.6A Active CN110740350B (zh) | 2019-10-31 | 2019-10-31 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110740350B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325692A (zh) * | 2020-02-21 | 2020-06-23 | 厦门美图之家科技有限公司 | 画质增强方法、装置、电子设备和可读存储介质 |
| CN111667411A (zh) * | 2020-06-12 | 2020-09-15 | 深圳天度物联信息技术有限公司 | 一种图像传输方法、装置、电子设备及存储介质 |
| CN111681167A (zh) * | 2020-06-03 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 画质调整方法和装置、存储介质及电子设备 |
| CN112291477A (zh) * | 2020-11-03 | 2021-01-29 | 浙江大华技术股份有限公司 | 多媒体信息处理方法、装置、存储介质及电子装置 |
| CN116416134A (zh) * | 2023-04-04 | 2023-07-11 | 阿里巴巴（中国）有限公司 | 图像超分处理方法、系统、设备、存储介质和程序产品 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102801955A (zh) * | 2011-08-17 | 2012-11-28 | 南京金柏图像技术有限公司 | 一种基于局部高清的数字视频传输方法 |
| CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
| CN106791927A (zh) * | 2016-12-23 | 2017-05-31 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频增强与传输方法 |
| JP2017520871A (ja) * | 2014-06-12 | 2017-07-27 | エー２ゼットロジックス，インコーポレーテッド | 画像データ内の間引きされた色チャネルの送信、受信、及び復元を行うシステム及び方法 |
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
| CN109922339A (zh) * | 2017-12-12 | 2019-06-21 | 四川大学 | 结合多采样率下采样和超分辨率重建技术的图像编码框架 |
| CN110390636A (zh) * | 2019-06-19 | 2019-10-29 | 深圳慧源创新科技有限公司 | 无人机超、高清图片或视频数据的模拟变焦方法 |
-
2019
- 2019-10-31 CN CN201911058970.6A patent/CN110740350B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102801955A (zh) * | 2011-08-17 | 2012-11-28 | 南京金柏图像技术有限公司 | 一种基于局部高清的数字视频传输方法 |
| JP2017520871A (ja) * | 2014-06-12 | 2017-07-27 | エー２ゼットロジックス，インコーポレーテッド | 画像データ内の間引きされた色チャネルの送信、受信、及び復元を行うシステム及び方法 |
| CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
| CN106791927A (zh) * | 2016-12-23 | 2017-05-31 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频增强与传输方法 |
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
| CN109922339A (zh) * | 2017-12-12 | 2019-06-21 | 四川大学 | 结合多采样率下采样和超分辨率重建技术的图像编码框架 |
| CN110390636A (zh) * | 2019-06-19 | 2019-10-29 | 深圳慧源创新科技有限公司 | 无人机超、高清图片或视频数据的模拟变焦方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325692A (zh) * | 2020-02-21 | 2020-06-23 | 厦门美图之家科技有限公司 | 画质增强方法、装置、电子设备和可读存储介质 |
| CN111325692B (zh) * | 2020-02-21 | 2023-06-13 | 厦门美图之家科技有限公司 | 画质增强方法、装置、电子设备和可读存储介质 |
| CN111681167A (zh) * | 2020-06-03 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 画质调整方法和装置、存储介质及电子设备 |
| CN111667411A (zh) * | 2020-06-12 | 2020-09-15 | 深圳天度物联信息技术有限公司 | 一种图像传输方法、装置、电子设备及存储介质 |
| CN112291477A (zh) * | 2020-11-03 | 2021-01-29 | 浙江大华技术股份有限公司 | 多媒体信息处理方法、装置、存储介质及电子装置 |
| CN112291477B (zh) * | 2020-11-03 | 2022-06-14 | 浙江大华技术股份有限公司 | 多媒体信息处理方法、装置、存储介质及电子装置 |
| CN116416134A (zh) * | 2023-04-04 | 2023-07-11 | 阿里巴巴（中国）有限公司 | 图像超分处理方法、系统、设备、存储介质和程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110740350B (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110740350A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN111681167B (zh) | 画质调整方法和装置、存储介质及电子设备 | |
| US11250595B2 (en) | Tiled image compression using neural networks | |
| CN111970513A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN110072119B (zh) | 一种基于深度学习网络的内容感知视频自适应传输方法 | |
| KR20210018668A (ko) | 딥러닝 신경 네트워크를 사용하여 다운샘플링을 수행하는 이미지 처리 시스템 및 방법, 영상 스트리밍 서버 시스템 | |
| CN111510739B (zh) | 一种视频传输方法及装置 | |
| KR101805550B1 (ko) | 프리젠테이션 가상화를 위한 화면 부호화 방법 및 서버 | |
| CN113673675A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
| WO2023246923A1 (zh) | 视频编码方法、解码方法、电子设备及存储介质 | |
| CN112053408A (zh) | 基于深度学习的人脸图像压缩方法及装置 | |
| CN115409716B (zh) | 视频处理方法、装置、存储介质及设备 | |
| WO2022011571A1 (zh) | 视频处理方法、装置、设备、解码器、系统及存储介质 | |
| CN115100043B (zh) | 一种基于深度学习的hdr图像重建方法 | |
| JP2020028111A (ja) | 画像処理方法、画像処理装置、画像処理システム、およびプログラム | |
| WO2019130794A1 (ja) | 映像処理装置 | |
| CN112637609B (zh) | 图像实时传输方法、发送端及接收端 | |
| CN111553961B (zh) | 线稿对应色图的获取方法和装置、存储介质和电子装置 | |
| WO2019225344A1 (ja) | 符号化装置、画像補間システム及び符号化プログラム | |
| CN115358916B (zh) | 换脸图像的生成方法、装置、计算机设备及可读存储介质 | |
| CN116708793B (zh) | 视频的传输方法、装置、设备及存储介质 | |
| Xiong et al. | Deep feature compression with collaborative coding of image texture | |
| WO2023123497A1 (en) | Collaborative video processing mechanism and methods of operating the same | |
| JP2010198203A (ja) | 情報処理装置及びプログラム | |
| CN114071188A (zh) | 处理视频数据的方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |