CN110636289B - 图像数据传输方法、系统、装置、电子设备及存储介质 - Google Patents
图像数据传输方法、系统、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110636289B CN110636289B CN201910928008.7A CN201910928008A CN110636289B CN 110636289 B CN110636289 B CN 110636289B CN 201910928008 A CN201910928008 A CN 201910928008A CN 110636289 B CN110636289 B CN 110636289B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- network
- super
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本申请实施例提供的图像数据传输方法、系统、装置、电子设备及存储介质，涉及信息处理技术领域，通过在服务端对待处理图像进行降采样，并在对待处理图像输入预先训练的超分辨率模型进行超分辨率恢复，根据超分辨率恢复后的图像和待处理图像计算残差信息，将降采样后的图像和残差信息发送给客户端，可以节省带宽，在客户端将所述降采样后的图像输入与服务端相同的预先训练的超分辨率模型对所述降采样后的图像进行超分辨率恢复，得到超分辨率恢复后的图像，根据所述残差信息对所述超分辨率恢复后的图像进行补偿，得到最终图像，通过残差信息来进行图像补偿，得到最终图像，可以在尽可能减少图像失真的情况下节省带宽。
Description
技术领域
本申请涉及信息处理技术领域，特别是涉及图像数据传输方法、系统、装置、电子设备及存储介质。
背景技术
随着技术发展，图像应用越来越广泛，目前图像数据信息量十分巨大，图像数据信息传送过程中占用大量传输带宽，为了节省带宽占用，在图像传输过程中需要对图像进行压缩处理。传统的图像传输技术，先在服务端进行图像压缩，然后将压缩后的图像传输到客户端，由客户端进行解压和显示。
传统的图像传输技术，如果图像压缩太少，会导致图像信息量过大，占用过多传输带宽，无法有效通过图像压缩起到节省带宽的效果，而如果图像压缩太多，则会导致图像过度失真，严重影响客户端的用户体验。
发明内容
本申请实施例的目的在于提供图像数据传输方法、系统、装置、电子设备、存储介质及包含指令的计算机程序产品，以实现在尽可能减少图像失真的情况下节省带宽。具体技术方案如下：
第一方面，本申请实施例提供了一种图像数据传输方法，应用于服务端，包括：
对待处理图像进行降采样，得到降采样后的图像；
将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；
计算所述超分辨率恢复后的图像与所述待处理图像的差值，得到残差信息；
发送所述降采样后的图像和所述残差信息，以使客户端按照所述降采样后的图像和所述残差信息恢复所述待处理图像。
可选的，所述待处理图像的分辨率与所述超分辨率恢复后的图像的分辨率相同。
可选的，所述预先训练的超分辨率模型的训练步骤，包括：
获取样本图像和超分辨率模型；
对所述样本图像进行降采样，得到降采样后的样本图像；
将所述样本图像和所述降采样后的样本图像输入所述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
可选的，所述超分辨率模型，包括：金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层。
可选的，所述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，所述残差块网络包括多个残差块，所述上采样层网络包括多个上采样层，所述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应所述金字塔卷积网络的不同卷积层，所述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同。
可选的，所述将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像，包括：
将所述降采样后的图像输入所述金字塔卷积网络，通过所述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
将各所述金字塔卷积网络图像输入所述残差块网络，通过所述金字塔卷积网络的各卷积层各自对应的所述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
分别将各所述残差块图像输入所述上采样层网络中所述残差块对应的上采样层进行上采样，得到多个上采样图像；
将各所述上采样图像输入所述连接层进行连接，得到连接后的图像；
将所述连接后的图像输入所述第一卷积层进行卷积，得到第一图像；
将所述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
将所述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
将所述第一图像和所述第二图像通过所述运算层相加，得到超分辨率恢复后的图像。
可选的，所述金字塔卷积网络中的卷积层步长均不相同。
可选的，所述残差块包括残差块卷积层，激活层，空洞卷积层，注意力机制层，残差块运算层。
第二方面，本申请实施例提供了一种图像数据传输方法，应用于客户端，包括：
接收降采样后的图像和残差信息，所述残差信息为服务端利用预先训练的超分辨率模型得到的；
将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；
根据所述残差信息对所述超分辨率恢复后的图像进行补偿，得到最终图像。
可选的，所述预先训练的超分辨率模型的训练步骤，包括：
获取样本图像和超分辨率模型；
对所述样本图像进行降采样，得到降采样后的样本图像；
将所述样本图像和所述降采样后的样本图像输入所述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
可选的，所述超分辨率模型，包括：
金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层。
可选的，所述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，所述残差块网络包括多个残差块，所述上采样层网络包括多个上采样层，所述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应所述金字塔卷积网络的不同卷积层，所述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同。
可选的，所述将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像，包括：
将所述降采样后的图像输入所述金字塔卷积网络，通过所述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
将各所述金字塔卷积网络图像输入所述残差块网络，通过所述金字塔卷积网络的各卷积层各自对应的所述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
分别将各所述残差块图像输入所述上采样层网络中所述残差块对应的上采样层进行上采样，得到多个上采样图像；
将各所述上采样图像输入所述连接层进行连接，得到连接后的图像；
将所述连接后的图像输入所述第一卷积层进行卷积，得到第一图像；
将所述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
将所述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
将所述第一图像和所述第二图像通过所述运算层相加，得到超分辨率恢复后的图像。
可选的，所述金字塔卷积网络中的卷积层步长均不相同。
可选的，所述残差块包括残差块卷积层，激活层，空洞卷积层，注意力机制层，残差块运算层。
第三方面，本申请实施例提供了一种图像数据传输系统，包括：
服务端，客户端；
所述服务端用于对待处理图像进行降采样，得到降采样后的图像；将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；计算所述超分辨率恢复后的图像与所述待处理图像的差值，得到残差信息；发送所述降采样后的图像和所述残差信息，以使客户端按照所述降采样后的图像和所述残差信息恢复所述待处理图像。
所述客户端用于接收所述服务端发送的所述降采样后的图像和所述残差信息；将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；根据所述残差信息对所述超分辨率恢复后的图像进行补偿，得到最终图像。
第四方面，本申请实施例提供了一种图像数据传输装置，应用于服务端，包括：
降采样模块，用于对待处理图像进行降采样，得到降采样后的图像；
恢复模块，用于将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；
计算模块，用于计算所述超分辨率恢复后的图像与所述待处理图像的差值，得到残差信息；
发送模块，用于发送所述降采样后的图像和所述残差信息，以使客户端按照所述降采样后的图像和所述残差信息恢复所述待处理图像。
可选的，所述待处理图像的分辨率与所述超分辨率恢复后的图像的分辨率相同。
可选的，所述装置还包括：
训练模块，所述训练模块用于：
获取样本图像和超分辨率模型；
对所述样本图像进行降采样，得到降采样后的样本图像；
将所述样本图像和所述降采样后的样本图像输入所述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
可选的，所述超分辨率模型包括：金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层。
可选的，所述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，所述残差块网络包括多个残差块，所述上采样层网络包括多个上采样层，所述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应所述金字塔卷积网络的不同卷积层，所述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同。
可选的，所述恢复模块具体用于：
将所述降采样后的图像输入所述金字塔卷积网络，通过所述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
将各所述金字塔卷积网络图像输入所述残差块网络，通过所述金字塔卷积网络的各卷积层各自对应的所述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
分别将各所述残差块图像输入所述上采样层网络中所述残差块对应的上采样层进行上采样，得到多个上采样图像；
将各所述上采样图像输入所述连接层进行连接，得到连接后的图像；
将所述连接后的图像输入所述第一卷积层进行卷积，得到第一图像；
将所述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
将所述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
将所述第一图像和所述第二图像通过所述运算层相加，得到超分辨率恢复后的图像。
可选的，所述金字塔卷积网络中的卷积层步长均不相同。
可选的，所述残差块包括残差块卷积层，激活层，空洞卷积层，注意力机制层，残差块运算层。
第五方面，本申请实施例提供了一种图像数据传输装置，应用于客户端，包括：
接收模块，用于接收降采样后的图像和残差信息，所述残差信息为服务端利用预先训练的超分辨率模型得到的；
恢复模块，用于将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；
补偿模块，用于根据所述残差信息对所述超分辨率恢复后的图像进行补偿，得到最终图像。
可选的，所述装置还包括：
训练模块，所述训练模块用于：
获取样本图像和超分辨率模型；
对所述样本图像进行降采样，得到降采样后的样本图像；
将所述样本图像和所述降采样后的样本图像输入所述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
可选的，所述超分辨率模型包括：
金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层。
可选的，所述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，所述残差块网络包括多个残差块，所述上采样层网络包括多个上采样层，所述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应所述金字塔卷积网络的不同卷积层，所述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同。
可选的，所述恢复模块具体用于：
将所述降采样后的图像输入所述金字塔卷积网络，通过所述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
将各所述金字塔卷积网络图像输入所述残差块网络，通过所述金字塔卷积网络的各卷积层各自对应的所述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
分别将各所述残差块图像输入所述上采样层网络中所述残差块对应的上采样层进行上采样，得到多个上采样图像；
将各所述上采样图像输入所述连接层进行连接，得到连接后的图像；
将所述连接后的图像输入所述第一卷积层进行卷积，得到第一图像；
将所述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
将所述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
将所述第一图像和所述第二图像通过所述运算层相加，得到超分辨率恢复后的图像。
可选的，所述金字塔卷积网络中的卷积层步长均不相同。
可选的，所述残差块包括残差块卷积层，激活层，空洞卷积层，注意力机制层，残差块运算层。
第六方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，
所述处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的任一项所述的图像数据传输方法。
第七方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，
所述处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第二方面任一所述的任一项所述的图像数据传输方法。
第八方面，本申请实施例提供了一种存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的任一所述的图像数据传输方法。
第九方面，本申请实施例提供了一种存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面任一所述的任一所述的图像数据传输方法。
第十方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的图像数据传输方法。
第十一方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面任一所述的图像数据传输方法。
本申请实施例提供的图像数据传输方法、系统、装置、电子设备、存储介质及包含指令的计算机程序产品，通过在服务端对待处理图像进行降采样，并在对待处理图像输入预先训练的超分辨率模型进行超分辨率恢复，根据超分辨率恢复后的图像和待处理图像计算残差信息，将降采样后的图像和残差信息发送给客户端，以使客户端根据降采样后的图像和残差信息对图像进行恢复，通过发送降采样后的图像和残差信息而非待处理图像可以节省带宽，同时，发送残差信息给客户端以使客户端利用残差信息进行补偿得到最终图像可以尽可能的减少图像失真；在客户端将所述降采样后的图像输入与服务端相同的预先训练的超分辨率模型对所述降采样后的图像进行超分辨率恢复，得到超分辨率恢复后的图像，根据所述残差信息对所述超分辨率恢复后的图像进行补偿，得到最终图像，通过残差信息来进行图像补偿，得到最终图像，利用残差信息对对所述超分辨率恢复后的图像进行补偿可以尽可能减少图像失真，同时，从服务端获取降采样后的图像和残差信息而非待处理图像可以节省带宽。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的图像数据传输方法的第一种示意图；
图2为本申请实施例的图像数据传输方法的得到超分辨率恢复后的图像的一种示意图；
图3为本申请实施例的残差块的一种示意图；
图4为本申请实施例的图像数据传输方法的第二种示意图；
图5为本申请实施例的图像数据传输系统的一种示意图；
图6为本申请实施例的图像数据传输装置的第一种示意图；
图7为本申请实施例的图像数据传输装置的第二种示意图；
图8为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例公开了一种图像数据传输方法、系统、装置、电子设备、存储介质及包含指令的计算机程序产品，以下分别进行说明。
本申请实施例提供了图像数据传输方法，应用于服务端，参见图1，图1为本申请实施例的图像数据传输方法的第一种示意图，包括如下步骤：
步骤110，对待处理图像进行降采样，得到降采样后的图像。
本申请实施例的图像数据传输方法应用于服务端，具体的，该服务端为电子设备。
在服务端对上述待处理图像进行降采样处理，以达到对上述待处理图像数据传输的目的；其中，降采样方法可以为Bicubic(双三次插值)方法，也可以为Bilinear(双线性)方法。降采样倍数为多倍，例如为2倍，例如：上述待处理图像为2w*2h的图像P，采用Bicubic方法通过2倍降采样对图像P进行处理，得到w*h的图像Q。
步骤120，将上述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像。
将上述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像，其中，上述超分辨率恢复后的图像的分辨率大于上述降采样后的图像的分辨率。
在一种可能的实施方式中，上述待处理图像的分辨率与上述超分辨率恢复后的图像的分辨率相同。
预先训练的超分辨率模型可以为预先训练的深度学习网络，比如卷积神经网络或者递归神经网络中的任一种，或者为非深度学习网络方法。
使用上述预先训练的超分辨率模型进行对上述降采样后的图像进行超分辨率恢复，使得超分辨率恢复后的图像的分辨率和待处理图像的分辨率相同。例如：上述待处理图像为2w*2h的图像P，采用Bicubic方法通过2倍降采样对图像P进行处理，得到w*h的图像Q，将图像Q输入预先训练的超分辨率模型进行超分辨率恢复，预先训练的超分辨率模型需要对图像Q进行2倍的超分辨率恢复，得到2w*2h的图像O。
在一种可能的实施方式中，上述预先训练的超分辨率模型的训练步骤，包括：
获取样本图像和超分辨率模型；
对上述样本图像进行降采样，得到降采样后的样本图像；
将上述样本图像和上述降采样后的样本图像输入上述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
例如，样本图像为X，大小为w*h，超分辨率模型为改进的卷积神经网络，样本图像X采用Bicubic方法将图像进行2倍降采样，得到降采样后的样本图像Y，大小为
将样本图像X及降采样后的样本图像Y输入预先训练的超分辨率模型进行训练，得到预先训练的超分辨率模型。
在一种可能的实施方式中，上述超分辨率模型，包括：金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层。
超分辨率模型采用深度学习神经网络中改进的卷积神经网络，包括：金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层。改进的卷积神经网络中采用金字塔卷积神经网络，金字塔卷积网络中的各个卷积层对输入的图像进行特征提取，得到多种尺度的特征图。采用金字塔卷积网络可以从多种尺度对图像进行理解和处理，这样就可以既兼顾高清图像的细节信息，又可以考虑到高清图像的一些全局信息，可以尽可能减少图像失真。
在一种可能的实施方式中，上述金字塔卷积网络中的卷积层步长均不相同。
金字塔卷积网络包括多个卷积层，金字塔卷积网络中的卷积层步长均不相同，这样输入金字塔卷积网络后，金字塔卷积网络中的各个卷积层对输入的图像进行特征提取，得到多种尺度的特征图。采用金字塔卷积网络可以从多种尺度对图像进行理解和处理，这样就可以既兼顾高清图像的细节信息，又可以考虑到高清图像的一些全局信息，可以尽可能减少图像失真。例如，上述金字塔卷积网络包括3个卷积层。
在一种可能的实施方式中，上述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，上述残差块网络包括多个残差块，上述上采样层网络包括多个上采样层，上述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应上述金字塔卷积网络的不同卷积层，上述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同。
例如，上述金字塔卷积网络包括3个卷积层，分别为J1、J2、J3，则上述残差块网络包含3个残差块，分别为C1、C2、C3，上述上采样层网络包括3个上采样层，分别为S1、S2、S3。
在一种可能的实施方式中，上述将上述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像，包括：
步骤一，将上述降采样后的图像输入上述金字塔卷积网络，通过上述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
步骤二，将各上述金字塔卷积网络图像输入上述残差块网络，通过上述金字塔卷积网络的各卷积层各自对应的上述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
步骤三，分别将各上述残差块图像输入上述上采样层网络中上述残差块对应的上采样层进行上采样，得到多个上采样图像；
步骤四，将各上述上采样图像输入上述连接层进行连接，得到连接后的图像；
步骤五，将上述连接后的图像输入上述第一卷积层进行卷积，得到第一图像；
步骤六，将上述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
步骤七，将上述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
步骤八，将上述第一图像和上述第二图像通过上述运算层相加，得到超分辨率恢复后的图像。
例如，参见图2，图2为本申请实施例的图像数据传输方法的得到超分辨率恢复后的图像的一种示意图，上述待处理图像为2w*2h的图像P，采用Bicubic方法通过2倍降采样对图像P进行处理，得到w*h的图像Q。上述金字塔卷积网络包括3个卷积层，分别为J1、J2、J3，则上述残差块网络包含3个残差块，分别为C1、C2、C3，上述上采样层网络包括3个上采样层，分别为S1、S2、S3，其中J1与C1对应，C1与S1对应，J2与C2对应，C2与S2对应，J3与C3对应，C3与S3对应，上述第一卷积层为J4，第二卷积层为J5，第一上采样层为S4。
其中：
J1的卷积核大小为3×3，步长为1×1；
J2的卷积核大小为3×3，步长为2×2；
J3的卷积核大小为3×3，步长为4×4；
J4的卷积核大小为3×3，步长为1×1；
J5的卷积核大小为3×3，步长为1×1；
S1的上采样倍数为2，S2的上采样倍数为4，S3的上采样倍数为8，S4的上采样倍数为2。
将Q输入上述金字塔卷积网络，通过上述金字塔卷积网络的3个卷积层J1、J2、J3分别进行卷积操作，分别得到多个金字塔卷积网络图像a1、a2、a3，其中a1大小为w*h，a2大小为
a3大小为
将a1输入上述残差块网络中的残差块C1进行特征提取，得到残差块图像b1，将a2输入上述残差块网络中的残差块C2进行特征提取，得到残差块图像b2，将a3输入上述残差块网络中的残差块C3，进行特征提取，得到残差块图像b3，其中b1大小为w*h，b2大小为
b3大小为
将b1输入上述上采样层网络中的上采样层S1进行上采样，得到上采样图像c1，将b2输入上述上采样层网络中的上采样层S2进行上采样，得到上采样图像c2，将b3输入上述上采样层网络中的上采样层S3，进行特征提取，得到上采样图像c3，上采样方法可以为pixel shuffle(像素洗牌方法)，其中c1大小为2w*2h，c2大小为2w*2h，c3大小为2w*2h。
将上述上采样图像c1、c2、c3输入上述连接层L进行连接，使得c1、c2、c3通道数相加，连接算法可以为concat算法，也可以是add算法，max算法等，得到连接后的图像d，d的大小为2w*2h。
将上述连接后的图像d输入上述第一卷积层J4进行卷积操作，得到第一图像M，M的大小为2w*2h。
将上述降采样后的图像Q输入第二卷积层J5进行卷积操作，得到第二卷积层图像f，f的大小为w*h；
将上述第二卷积层图像输入第一上采样层S4进行上采样，得到第二图像N，N的大小为2w*2h；
将上述第一图像M和上述第二图像N通过上述运算层Y相加，得到超分辨率恢复后的图像O，O的大小为2w*2h。
通过预先训练的超分辨率模型进行超分辨率恢复，可以得到超分辨率恢复后的图像，使得到超分辨率恢复后的图像和待处理图像分辨率相同。
在一种可能的实施方式中，上述残差块包括残差块卷积层，激活层，空洞卷积层，注意力机制层，残差块运算层。
将上述金字塔卷积网络图像输入所述残差块中的残差块卷积层进行卷积，得到残差块第一特征图，将上述残差块第一特征图输入残差块中的激活层进行激活，得到残差块第二特征图，将上述残差块第二特征图输入残差块中的空洞卷积层进行空洞卷积，得到残差块第三特征图，最后将上述残差块第二特征图输入残差块中的注意力机制层对特征图赋予权重，得到残差块第四特征图，将上述金字塔卷积网络图像与上述残差块第四特征图输入残差块中的残差块运算层进行像素相加，得到残差块图像，其中空洞卷积层中空洞卷积系统根据金字塔卷积网络的层数设置的。
例如，参见图3，图3为本申请实施例的残差块的一种示意图，将a1输入上述残差块网络中的残差块C1进行特征提取，a1输入残差块C1的残差块卷积层301进行卷积，得到特征图a11，然后经过激活层302，根据预设的激活值进行激活，得到特征图a12，通过空洞卷积层303进行空洞卷积得到特征图a13，最后经过注意力机制层304对特征图a13赋予权重，得到特征图a14，将特征图a14与a1输入残差块运算层305进行像素相加，得到残差块图像b1。其中空洞卷积层中空洞卷积系统根据金字塔卷积网络的层数设置的。
采用空洞卷积可以从多种尺度对图像进行理解和处理，这样就可以既兼顾高清图像的细节信息，又可以考虑到高清图像的一些全局信息，注意力机制的引入，可以加强对特征图特征的捕获，可以尽可能减少图像失真。
步骤130，计算上述超分辨率恢复后的图像与上述待处理图像的差值，得到残差信息。
例如，将上述超分辨率恢复后的图像O与上述待处理图像的差值P进行计算，得到残差信息Z。
步骤140，发送上述降采样后的图像和上述残差信息，以使客户端按照上述降采样后的图像和上述残差信息恢复上述待处理图像。
将上述降采样后的图像和上述残差信息发送给客户端，以使客户端按照上述降采样后的图像和上述残差信息恢复上述待处理图像。具体的，可以将上述残差信息利用压缩技术，比如SAO(Sample adaptive offset，样点自适应补偿技术)对上述降采样后的图像和/或上述残差信息进行压缩，得到压缩后的降采样后的图像和/或压缩后的残差信息，将压缩后的降采样后的图像和/或压缩后的残差信息发送给客户端。发送上述降采样后的图像和/或上述残差信息可以节省带宽。
本申请实施例提供的图像数据传输方法，通过在服务端对待处理图像进行降采样，并在对待处理图像输入预先训练的超分辨率模型进行超分辨率恢复，根据超分辨率恢复后的图像和待处理图像计算残差信息，将降采样后的图像和残差信息发送给客户端，以使客户端根据降采样后的图像和残差信息对图像进行恢复，通过发送降采样后的图像和残差信息可以节省带宽，同时，发送残差信息给客户端以使客户端利用残差信息进行补偿获得最终图像可以尽可能的减少图像失真。
本申请实施例提供了图像数据传输方法，应用于客户端，参见图4，图4为本申请实施例的图像数据传输方法的第二种示意图，包括如下步骤：
步骤410，接收降采样后的图像和残差信息，上述残差信息为服务端利用预先训练的超分辨率模型得到的。
本申请实施例的图像数据传输方法应用于客户端，具体的，该客户端为电子设备。
客户端接收来自服务端发送的降采样后的图像和残差信息，上述降采样后的图像为服务端对待处理图片降采样后得到的，上述残差信息为服务端利用预先训练的超分辨率模型得到的。如果服务端将降采样后的图像和/或残差信息压缩后发送至客户端，客户端接收到压缩信息后，需要对压缩信息进行解压，得到降采样后的图像和/或残差信息。
步骤420，将上述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像。
客户端的预先训练的超分辨率模型和服务端的预先训练的超分辨率模型相同，具体的，超分辨率模型经过训练后，得到预先训练的超分辨率模型，生成一个动态链接库，动态链接库中包含预先训练的超分辨率模型的网络结构和参数等全部信息，将动态链接库同时部署在服务端和客户端，例如将动态链接库为集成在一个安装程序中，然后将安装程序同时安装在服务端和客户端。
因为服务端和客户端采用相同的预先训练的超分辨率模型，所以将上述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像，与在服务端进行的超分辨恢复步骤相同。具体的，在上述应用于服务端的方法已经表述过，此处不再赘述。
步骤430，根据上述残差信息对上述超分辨率恢复后的图像进行补偿，得到最终图像。
根据上述残差信息对上述超分辨率恢复后的图像进行补偿，得到最终图像，可以尽可能减少图像失真。
在一种可能的实施方式中，上述预先训练的超分辨率模型的训练步骤，包括：
获取样本图像和超分辨率模型；
对上述样本图像进行降采样，得到降采样后的样本图像；
将上述样本图像和上述降采样后的样本图像输入上述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
在一种可能的实施方式中，上述超分辨率模型，包括：
金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层。
在一种可能的实施方式中，上述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，上述残差块网络包括多个残差块，上述上采样层网络包括多个上采样层，上述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应上述金字塔卷积网络的不同卷积层，上述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同。
在一种可能的实施方式中，上述将上述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像，包括：
将上述降采样后的图像输入上述金字塔卷积网络，通过上述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
将各上述金字塔卷积网络图像输入上述残差块网络，通过上述金字塔卷积网络的各卷积层各自对应的上述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
分别将各上述残差块图像输入上述上采样层网络中上述残差块对应的上采样层进行上采样，得到多个上采样图像；
将各上述上采样图像输入上述连接层进行连接，得到连接后的图像；
将上述连接后的图像输入上述第一卷积层进行卷积，得到第一图像；
将上述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
将上述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
将上述第一图像和上述第二图像通过上述运算层相加，得到超分辨率恢复后的图像。
在一种可能的实施方式中，上述金字塔卷积网络中的卷积层步长均不相同。
在一种可能的实施方式中，上述残差块包括残差块卷积层，激活层，空洞卷积层，注意力机制层，残差块运算层。
本申请实施例提供的图像数据传输方法，通过在客户端将上述降采样后的图像输入与服务端相同的预先训练的超分辨率模型对上述降采样后的图像进行超分辨率恢复，得到超分辨率恢复后的图像，根据上述残差信息对上述超分辨率恢复后的图像进行补偿，得到最终图像，通过残差信息来进行图像补偿，得到最终图像，利用残差信息对对所述超分辨率恢复后的图像进行补偿可以尽可能减少图像失真，同时，从服务端获取降采样后的图像和残差信息而非待处理图像可以节省带宽。
本申请实施例提供了图像数据传输系统，参见图5，图5为本申请实施例的图像数据传输系统的一种示意图，包括：
服务端310，客户端320；
上述服务端310用于对待处理图像进行降采样，得到降采样后的图像；将上述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；计算上述超分辨率恢复后的图像与上述待处理图像的差值，得到残差信息；发送上述降采样后的图像和上述残差信息，以使客户端按照上述降采样后的图像和上述残差信息恢复上述待处理图像。
上述客户端320用于接收上述服务端发送的上述降采样后的图像和上述残差信息；将上述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；根据上述残差信息对上述超分辨率恢复后的图像进行补偿，得到最终图像。
在上述服务端310输入图像，大小为w*h，将输入的图像经过n倍降采样，得到降采样后的图像，大小为(w/n)*(h/n)，将降采样后的图像(w/n)*(h/n)输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像，大小为w*h，计算上述超分辨率恢复后的图像与上述待处理图像的差值，得到残差信息，大小为w*h，将降采样后的图像(w/n)*(h/n)和残差信息w*h从上述服务端310发送至上述客户端320，上述客户端320接收上述服务端310发送的上述降采样后的图像和上述残差信息；在上述客户端320将上述降采样后的图像(w/n)*(h/n)输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像，超分辨率恢复后的图像大小为w*h；根据上述残差信息对上述超分辨率恢复后的图像进行补偿，得到最终图像。
可选的，服务端310还用于执行上述任一应用于服务端的图像数据传输方法。
可选的，客户端320还用于执行上述任一应用于客户端的图像数据传输方法。
本申请实施例提供的图像数据传输系统，通过在服务端对待处理图像进行降采样，并在对待处理图像输入预先训练的超分辨率模型进行超分辨率恢复，根据超分辨率恢复后的图像和待处理图像计算残差信息，将降采样后的图像和残差信息发送给客户端，可以节省带宽。通过在客户端将上述降采样后的图像输入与服务端相同的预先训练的超分辨率模型对上述降采样后的图像进行超分辨率恢复，得到超分辨率恢复后的图像，根据上述残差信息对上述超分辨率恢复后的图像进行补偿，得到最终图像，通过残差信息来进行图像补偿，得到最终图像，可以在尽可能减少图像失真的情况下节省带宽。
本申请实施例提供了图像数据传输装置，应用于服务端，参见图6，图6为本申请实施例的图像数据传输装置的第一种示意图，包括：
降采样模块510，用于对待处理图像进行降采样，得到降采样后的图像；
恢复模块520，用于将上述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；
计算模块530，用于计算上述超分辨率恢复后的图像与上述待处理图像的差值，得到残差信息；
发送模块540，用于发送上述降采样后的图像和上述残差信息，以使客户端按照上述降采样后的图像和上述残差信息恢复上述待处理图像。
在一种可能的实施方式中，上述装置还包括：
训练模块，上述训练模块用于：
获取样本图像和超分辨率模型；
对上述样本图像进行降采样，得到降采样后的样本图像；
将上述样本图像和上述降采样后的样本图像输入上述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
在一种可能的实施方式中，上述恢复模块520包括：金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层。
在一种可能的实施方式中，上述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，上述残差块网络包括多个残差块，上述上采样层网络包括多个上采样层，上述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应上述金字塔卷积网络的不同卷积层，上述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同。
在一种可能的实施方式中，上述恢复模块具体用于：
将上述降采样后的图像输入上述金字塔卷积网络，通过上述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
将各上述金字塔卷积网络图像输入上述残差块网络，通过上述金字塔卷积网络的各卷积层各自对应的上述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
分别将各上述残差块图像输入上述上采样层网络中上述残差块对应的上采样层进行上采样，得到多个上采样图像；
将各上述上采样图像输入上述连接层进行连接，得到连接后的图像；
将上述连接后的图像输入上述第一卷积层进行卷积，得到第一图像；
将上述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
将上述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
将上述第一图像和上述第二图像通过上述运算层相加，得到超分辨率恢复后的图像。
在一种可能的实施方式中，上述金字塔卷积网络中的卷积层步长均不相同。
在一种可能的实施方式中，上述残差块包括残差块卷积层，激活层，空洞卷积层，注意力机制层，残差块运算层。
本申请实施例提供了图像数据传输装置，应用于客户端，参见图7，图7为本申请实施例的图像数据传输装置的第二种示意图，包括：
接收模块610，用于接收降采样后的图像和残差信息，上述残差信息为服务端利用预先训练的超分辨率模型得到的；
恢复模块620，用于将上述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；
补偿模块630，用于根据上述残差信息对上述超分辨率恢复后的图像进行补偿，得到最终图像。
在一种可能的实施方式中，上述装置还包括：
训练模块，上述训练模块用于：
获取样本图像和超分辨率模型；
对上述样本图像进行降采样，得到降采样后的样本图像；
将上述样本图像和上述降采样后的样本图像输入上述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
在一种可能的实施方式中，上述恢复模块620包括：金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层。
在一种可能的实施方式中，上述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，上述残差块网络包括多个残差块，上述上采样层网络包括多个上采样层，上述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应上述金字塔卷积网络的不同卷积层，上述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同。
在一种可能的实施方式中，上述恢复模块具体用于：
将上述降采样后的图像输入上述金字塔卷积网络，通过上述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
将各上述金字塔卷积网络图像输入上述残差块网络，通过上述金字塔卷积网络的各卷积层各自对应的上述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
分别将各上述残差块图像输入上述上采样层网络中上述残差块对应的上采样层进行上采样，得到多个上采样图像；
将各上述上采样图像输入上述连接层进行连接，得到连接后的图像；
将上述连接后的图像输入上述第一卷积层进行卷积，得到第一图像；
将上述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
将上述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
将上述第一图像和上述第二图像通过上述运算层相加，得到超分辨率恢复后的图像。
在一种可能的实施方式中，上述金字塔卷积网络中的卷积层步长均不相同。
在一种可能的实施方式中，上述残差块包括残差块卷积层，激活层，空洞卷积层，注意力机制层，残差块运算层。
本申请实施例还提供了一种电子设备，参见图8，图8为本申请实施例的电子设备的一种示意图，包括：处理器810、通信接口820、存储器830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信，
上述存储器830，用于存放计算机程序；
上述处理器810，用于执行上述存储器830存放的计算机程序时，实现如下步骤：
对待处理图像进行降采样，得到降采样后的图像；
将上述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；
计算上述超分辨率恢复后的图像与上述待处理图像的差值，得到残差信息；
发送上述降采样后的图像和上述残差信息，以使客户端按照上述降采样后的图像和上述残差信息恢复上述待处理图像。
可选的，处理器810，用于执行存储器830上所存放的程序时，还可以实现上述任一应用于服务端的图像数据传输方法。
本申请实施例还提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，
上述存储器，用于存放计算机程序；
上述处理器，用于执行上述存储器存放的计算机程序时，实现如下步骤：
获取样本图像和超分辨率模型；
对上述样本图像进行降采样，得到降采样后的样本图像；
将上述样本图像和上述降采样后的样本图像输入上述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
可选的，处理器用于执行存储器上所存放的程序时，还可以实现上述任一应用于客户端的图像数据传输方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请实施例中，还提供了一种存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的应用于服务端的图像数据传输方法。
在本申请实施例中，还提供了一种存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的应用于客户端的图像数据传输方法。
在本申请实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的应用于服务端的图像数据传输方法。
在本申请实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的应用于客户端的图像数据传输方法。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (16)
1.一种图像数据传输方法，其特征在于，应用于服务端，包括：
对待处理图像进行降采样，得到降采样后的图像；
将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；
计算所述超分辨率恢复后的图像与所述待处理图像的差值，得到残差信息；
发送所述降采样后的图像和所述残差信息，以使客户端按照所述降采样后的图像和所述残差信息恢复所述待处理图像；
所述超分辨率模型，包括：金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层；
所述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，所述残差块网络包括多个残差块，所述上采样层网络包括多个上采样层，所述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应所述金字塔卷积网络的不同卷积层，所述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同；
所述将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像，包括：
将所述降采样后的图像输入所述金字塔卷积网络，通过所述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
将各所述金字塔卷积网络图像输入所述残差块网络，通过所述金字塔卷积网络的各卷积层各自对应的所述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
分别将各所述残差块图像输入所述上采样层网络中所述残差块对应的上采样层进行上采样，得到多个上采样图像；
将各所述上采样图像输入所述连接层进行连接，得到连接后的图像；
将所述连接后的图像输入所述第一卷积层进行卷积，得到第一图像；
将所述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
将所述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
将所述第一图像和所述第二图像通过所述运算层相加，得到超分辨率恢复后的图像。
2.根据权利要求1所述的方法，其特征在于，所述待处理图像的分辨率与所述超分辨率恢复后的图像的分辨率相同。
3.根据权利要求1所述的方法，其特征在于，所述预先训练的超分辨率模型的训练步骤，包括：
获取样本图像和超分辨率模型；
对所述样本图像进行降采样，得到降采样后的样本图像；
将所述样本图像和所述降采样后的样本图像输入所述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
4.根据权利要求1所述的方法，其特征在于，所述金字塔卷积网络中的卷积层步长均不相同。
5.根据权利要求1所述的方法，其特征在于，所述残差块包括残差块卷积层，激活层，空洞卷积层，注意力机制层，残差块运算层。
6.一种图像数据传输方法，其特征在于，应用于客户端，包括：
接收降采样后的图像和残差信息，所述残差信息为服务端利用预先训练的超分辨率模型得到的；
将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；
根据所述残差信息对所述超分辨率恢复后的图像进行补偿，得到最终图像；
所述超分辨率模型，包括：
金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层；
所述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，所述残差块网络包括多个残差块，所述上采样层网络包括多个上采样层，所述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应所述金字塔卷积网络的不同卷积层，所述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同；
所述将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像，包括：
将所述降采样后的图像输入所述金字塔卷积网络，通过所述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
将各所述金字塔卷积网络图像输入所述残差块网络，通过所述金字塔卷积网络的各卷积层各自对应的所述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
分别将各所述残差块图像输入所述上采样层网络中所述残差块对应的上采样层进行上采样，得到多个上采样图像；
将各所述上采样图像输入所述连接层进行连接，得到连接后的图像；
将所述连接后的图像输入所述第一卷积层进行卷积，得到第一图像；
将所述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
将所述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
将所述第一图像和所述第二图像通过所述运算层相加，得到超分辨率恢复后的图像。
7.根据权利要求6所述的方法，其特征在于，所述预先训练的超分辨率模型的训练步骤，包括：
获取样本图像和超分辨率模型；
对所述样本图像进行降采样，得到降采样后的样本图像；
将所述样本图像和所述降采样后的样本图像输入所述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
8.根据权利要求6所述的方法，其特征在于，所述金字塔卷积网络中的卷积层步长均不相同。
9.根据权利要求6所述的方法，其特征在于，所述残差块包括残差块卷积层，激活层，空洞卷积层，注意力机制层，残差块运算层。
10.一种图像数据传输系统，其特征在于，包括：
服务端，客户端；
所述服务端用于对待处理图像进行降采样，得到降采样后的图像；将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；计算所述超分辨率恢复后的图像与所述待处理图像的差值，得到残差信息；发送所述降采样后的图像和所述残差信息，以使客户端按照所述降采样后的图像和所述残差信息恢复所述待处理图像；
所述客户端用于接收所述服务端发送的所述降采样后的图像和所述残差信息；将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；根据所述残差信息对所述超分辨率恢复后的图像进行补偿，得到最终图像；
所述超分辨率模型，包括：金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层；
所述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，所述残差块网络包括多个残差块，所述上采样层网络包括多个上采样层，所述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应所述金字塔卷积网络的不同卷积层，所述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同；
所述将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像，包括：
将所述降采样后的图像输入所述金字塔卷积网络，通过所述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
将各所述金字塔卷积网络图像输入所述残差块网络，通过所述金字塔卷积网络的各卷积层各自对应的所述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
分别将各所述残差块图像输入所述上采样层网络中所述残差块对应的上采样层进行上采样，得到多个上采样图像；
将各所述上采样图像输入所述连接层进行连接，得到连接后的图像；
将所述连接后的图像输入所述第一卷积层进行卷积，得到第一图像；
将所述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
将所述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
将所述第一图像和所述第二图像通过所述运算层相加，得到超分辨率恢复后的图像。
11.一种图像数据传输装置，其特征在于，应用于服务端，包括：
降采样模块，用于对待处理图像进行降采样，得到降采样后的图像；
恢复模块，用于将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；
计算模块，用于计算所述超分辨率恢复后的图像与所述待处理图像的差值，得到残差信息；
发送模块，用于发送所述降采样后的图像和所述残差信息，以使客户端按照所述降采样后的图像和所述残差信息恢复所述待处理图像；
所述超分辨率模型包括：金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层；
所述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，所述残差块网络包括多个残差块，所述上采样层网络包括多个上采样层，所述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应所述金字塔卷积网络的不同卷积层，所述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同；
所述恢复模块具体用于：
将所述降采样后的图像输入所述金字塔卷积网络，通过所述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
将各所述金字塔卷积网络图像输入所述残差块网络，通过所述金字塔卷积网络的各卷积层各自对应的所述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
分别将各所述残差块图像输入所述上采样层网络中所述残差块对应的上采样层进行上采样，得到多个上采样图像；
将各所述上采样图像输入所述连接层进行连接，得到连接后的图像；
将所述连接后的图像输入所述第一卷积层进行卷积，得到第一图像；
将所述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
将所述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
将所述第一图像和所述第二图像通过所述运算层相加，得到超分辨率恢复后的图像。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
训练模块，所述训练模块用于：
获取样本图像和超分辨率模型；
对所述样本图像进行降采样，得到降采样后的样本图像；
将所述样本图像和所述降采样后的样本图像输入所述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
13.一种图像数据传输装置，其特征在于，应用于客户端，包括：
接收模块，用于接收降采样后的图像和残差信息，所述残差信息为服务端利用预先训练的超分辨率模型得到的；
恢复模块，用于将所述降采样后的图像输入预先训练的超分辨率模型进行超分辨率恢复，得到超分辨率恢复后的图像；
补偿模块，用于根据所述残差信息对所述超分辨率恢复后的图像进行补偿，得到最终图像；
所述超分辨率模型包括：
金字塔卷积网络，残差块网络，上采样层网络，连接层，第一卷积层，第二卷积层，第一上采样层，运算层；
所述金字塔卷积网络采用多层金字塔结构，包括多个卷积层，所述残差块网络包括多个残差块，所述上采样层网络包括多个上采样层，所述残差块网络包括的残差块个数与金字塔卷积网络的卷积层的个数相同，不同的残差块对应所述金字塔卷积网络的不同卷积层，所述上采样层网络包括的上采样层个数与金字塔卷积网络的卷积层的个数相同；
所述恢复模块具体用于：
将所述降采样后的图像输入所述金字塔卷积网络，通过所述金字塔卷积网络的多个卷积层分别进行卷积操作，分别得到多个金字塔卷积网络图像；
将各所述金字塔卷积网络图像输入所述残差块网络，通过所述金字塔卷积网络的各卷积层各自对应的所述残差块对相应的金字塔卷积网络图像进行特征提取，得到多个残差块图像；
分别将各所述残差块图像输入所述上采样层网络中所述残差块对应的上采样层进行上采样，得到多个上采样图像；
将各所述上采样图像输入所述连接层进行连接，得到连接后的图像；
将所述连接后的图像输入所述第一卷积层进行卷积，得到第一图像；
将所述降采样后的图像输入第二卷积层进行卷积操作，得到第二卷积层图像；
将所述第二卷积层图像输入第一上采样层进行上采样，得到第二图像；
将所述第一图像和所述第二图像通过所述运算层相加，得到超分辨率恢复后的图像。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括：
训练模块，所述训练模块用于：
获取样本图像和超分辨率模型；
对所述样本图像进行降采样，得到降采样后的样本图像；
将所述样本图像和所述降采样后的样本图像输入所述超分辨率模型中进行训练，得到预先训练的超分辨率模型。
15.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，
所述处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5中任一项所述的图像数据传输方法。
16.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，
所述处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求6-9中任一项所述的图像数据传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910928008.7A CN110636289B (zh) | 2019-09-27 | 2019-09-27 | 图像数据传输方法、系统、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910928008.7A CN110636289B (zh) | 2019-09-27 | 2019-09-27 | 图像数据传输方法、系统、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110636289A CN110636289A (zh) | 2019-12-31 |
| CN110636289B true CN110636289B (zh) | 2021-11-05 |
Family
ID=68973450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910928008.7A Active CN110636289B (zh) | 2019-09-27 | 2019-09-27 | 图像数据传输方法、系统、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110636289B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476730B (zh) * | 2020-03-31 | 2024-02-13 | 珠海格力电器股份有限公司 | 一种图像修复的处理方法及装置 |
| CN111754406B (zh) * | 2020-06-22 | 2024-02-23 | 北京大学深圳研究生院 | 图像分辨率处理方法、装置、设备及可读存储介质 |
| CN114584805A (zh) * | 2020-11-30 | 2022-06-03 | 华为技术有限公司 | 视频传输方法、服务器、终端和视频传输系统 |
| CN112637609B (zh) * | 2020-12-18 | 2023-03-17 | 上海壁仞智能科技有限公司 | 图像实时传输方法、发送端及接收端 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014114635A1 (en) * | 2013-01-24 | 2014-07-31 | Thomson Licensing | Method and apparatus for performing super-resolution of single images |
| CN106791927A (zh) * | 2016-12-23 | 2017-05-31 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频增强与传输方法 |
| CN107018422A (zh) * | 2017-04-27 | 2017-08-04 | 四川大学 | 基于深度卷积神经网络的静止图像压缩方法 |
| CN108428212A (zh) * | 2018-01-30 | 2018-08-21 | 中山大学 | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 |
| US10755425B2 (en) * | 2018-02-05 | 2020-08-25 | Intel Corporation | Automatic tuning of image signal processors using reference images in image processing environments |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9760977B2 (en) * | 2013-03-27 | 2017-09-12 | Thomson Licensing | Method and apparatus for generating a super-resolved image from a single image |
-
2019
- 2019-09-27 CN CN201910928008.7A patent/CN110636289B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014114635A1 (en) * | 2013-01-24 | 2014-07-31 | Thomson Licensing | Method and apparatus for performing super-resolution of single images |
| CN106791927A (zh) * | 2016-12-23 | 2017-05-31 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频增强与传输方法 |
| CN107018422A (zh) * | 2017-04-27 | 2017-08-04 | 四川大学 | 基于深度卷积神经网络的静止图像压缩方法 |
| CN108428212A (zh) * | 2018-01-30 | 2018-08-21 | 中山大学 | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 |
| US10755425B2 (en) * | 2018-02-05 | 2020-08-25 | Intel Corporation | Automatic tuning of image signal processors using reference images in image processing environments |
Non-Patent Citations (1)
| Title |
|---|
| Image Super-resolution via Dual-State Recurrent Network;Wei Han; et al;《2018 IEEE/CVF/ Conference on Computer Vision and Pattern Recognition》;20180623;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110636289A (zh) | 2019-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110636289B (zh) | 图像数据传输方法、系统、装置、电子设备及存储介质 | |
| Boroumand et al. | Deep learning for detecting processing history of images | |
| CN112396115B (zh) | 基于注意力机制的目标检测方法、装置及计算机设备 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN110570356B (zh) | 图像处理方法和装置、电子设备及存储介质 | |
| WO2022111355A1 (zh) | 车牌识别方法及装置、存储介质、终端 | |
| CN110544214A (zh) | 一种图像修复方法、装置及电子设备 | |
| CN110766632A (zh) | 基于通道注意力机制和特征金字塔的图像去噪方法 | |
| WO2016019484A1 (en) | An apparatus and a method for providing super-resolution of a low-resolution image | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| CN111402128A (zh) | 一种基于多尺度金字塔网络的图像超分辨率重建方法 | |
| CN108876716B (zh) | 超分辨率重建方法及装置 | |
| CN111932480A (zh) | 去模糊视频恢复方法、装置、终端设备以及存储介质 | |
| EP3977396A1 (en) | Method, system, and computer-readable medium for improving color quality of images | |
| CN111754406B (zh) | 图像分辨率处理方法、装置、设备及可读存储介质 | |
| CN114170438A (zh) | 神经网络训练的方法、电子设备及计算机存储介质 | |
| CN112889084B (zh) | 提高图像的颜色质量的方法、系统和计算机可读介质 | |
| CN115147284A (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
| CN115936992A (zh) | 一种轻量级Transformer的垃圾图像超分辨方法及系统 | |
| CN111161386A (zh) | 超声图像的渲染方法、装置及超声设备 | |
| CN115880516A (zh) | 图像分类方法、图像分类模型训练方法及相关设备 | |
| CN112561826A (zh) | 基于人工智能的图像去模糊方法、装置、设备及存储介质 | |
| CN111429388B (zh) | 一种图像处理方法、装置和终端设备 | |
| CN116757962A (zh) | 一种图像去噪方法、装置 | |
| CN116071279A (zh) | 图像处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |