CN116708832A - 图像放大及图像缩小方法、装置、设备和存储介质 - Google Patents
图像放大及图像缩小方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116708832A CN116708832A CN202310763127.8A CN202310763127A CN116708832A CN 116708832 A CN116708832 A CN 116708832A CN 202310763127 A CN202310763127 A CN 202310763127A CN 116708832 A CN116708832 A CN 116708832A
- Authority
- CN
- China
- Prior art keywords
- image
- reversible
- data
- depth
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000003860 storage Methods 0.000 title claims abstract description 29
- 230000002441 reversible effect Effects 0.000 claims abstract description 144
- 238000009826 distribution Methods 0.000 claims description 76
- 230000009466 transformation Effects 0.000 claims description 58
- 238000013528 artificial neural network Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 23
- 230000006835 compression Effects 0.000 claims description 22
- 238000007906 compression Methods 0.000 claims description 22
- 230000009467 reduction Effects 0.000 claims description 20
- 238000000354 decomposition reaction Methods 0.000 claims description 16
- 230000003321 amplification Effects 0.000 claims description 15
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 21
- 230000000875 corresponding effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012614 Monte-Carlo sampling Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本发明实施例适用于计算机技术领域，提供了一种图像放大及图像缩小方法、装置、设备和存储介质，其中，图像缩小方法应用于虚拟桌面的编码端，该方法包括：获取虚拟桌面原始数据；通过深度可逆算法对虚拟桌面原始数据的分辨率进行压缩，获得压缩图像；对压缩图像进行编码，得到编码数据；将编码数据发送给解码端。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像放大及图像缩小方法、装置、设备和存储介质。
背景技术
在视频传输时，高分辨率、高帧率的屏幕图像在传输时需要较大的码流，带宽成本较高。目前，为了降低带宽成本，编码端会对图像进行压缩，图像在压缩时会损失原始图像的一些细节，从而导致压缩之后的图像放大回原始尺寸后画质降低。
发明内容
为了解决上述问题，本发明实施例提供了一种图像放大及图像缩小方法、装置、设备和存储介质，以至少解决相关技术中缩小图像放大回原始尺寸时画质降低的问题。
本发明的技术方案是这样实现的：
一方面，本发明实施例提供了一种图像缩小方法，应用于虚拟桌面的编码端，该方法包括：
获取虚拟桌面原始数据；
通过深度可逆算法对所述虚拟桌面原始数据的分辨率进行压缩，获得压缩图像；
对所述压缩图像进行编码，得到编码数据；
将所述编码数据发送给解码端。
在上述方案中，所述通过深度可逆算法对所述虚拟桌面原始数据的分辨率进行压缩，获得压缩图像，包括：
通过深度可逆神经网络的小波变换层对所述虚拟桌面原始数据进行小波变换，得到所述虚拟桌面原始数据的每一帧图像的压缩图像和高频损失信息；所述深度可逆神经网络包括小波变换层、可逆层和小波逆变换层。
在上述方案中，所述通过深度可逆神经网络的小波变换层对所述虚拟桌面原始数据进行小波变换，包括：
对所述虚拟桌面原始数据进行小波分解，得到低频子图像和高频子图像；
对所述低频子图像进行量化，得到所述压缩图像。
在上述方案中，所述解码端用于对所述编码数据进行解码，并通过所述深度可逆算法对解码数据的分辨率进行可逆放大，获得待显示图像
另一方面，本发明实施例提供了一种图像放大方法，应用于虚拟桌面的解码端，该方法包括：
接收来自编码端的编码数据；
对所述编码数据进行解码，获得解码数据；
通过深度可逆算法对所述解码数据的分辨率进行可逆放大，获得待显示图像。
在上述方案中，所述通过深度可逆算法对所述解码数据的分辨率进行可逆放大，获得待显示图像，包括：
基于深度可逆神经网络的可逆层确定所述解码数据中的每一帧压缩图像的高频损失信息；所述深度可逆神经网络包括小波变换层、可逆层和小波逆变换层；所述可逆层由高斯分布信息构成；所述每一帧压缩图像的高频损失信息服从所述高斯分布信息；
基于所述每一帧压缩图像的高频损失信息，对所述每一帧压缩图像的分辨率进行放大。
在上述方案中，所述基于所述每一帧压缩图像的高频损失信息，对所述每一帧压缩图像的分辨率进行放大，包括：
基于所述小波逆变换层对所述压缩图像和所述压缩图像对应的高频损失信息进行小波逆变换，得到所述压缩图像对应的待显示图像。
在上述方案中，所述基于深度可逆神经网络的可逆层确定所述解码数据中的每一帧压缩图像的高频损失信息，包括：
基于所述可逆层对所述高斯分布信息进行高斯采样，得到每一帧压缩图像的高频损失信息。
在上述方案中，在通过深度可逆算法对所述解码数据的分辨率进行可逆放大之前，所述方法还包括：
接收所述高斯分布信息；所述高斯分布信息基于虚拟桌面原始数据进行小波分解后的高频损失信息得到
另一方面，本发明实施例提供了一种图像缩小装置，该装置包括：
获取模块，用于获取虚拟桌面原始数据；
压缩模块，用于通过深度可逆算法对所述虚拟桌面原始数据的分辨率进行压缩，获得压缩图像；
编码模块，用于对所述压缩图像进行编码，得到编码数据；
发送模块，用于将所述编码数据发送给解码端。
另一方面，本发明实施例提供了一种图像放大装置，该装置包括：
接收模块，用于接收来自编码端的编码数据；
解码模块，用于对所述编码数据进行解码，获得解码数据；
放大模块，用于通过深度可逆算法对所述解码数据的分辨率进行可逆放大，获得待显示图像。
另一方面，本发明实施例提供了一种编码设备，包括处理器、通信接口和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行本发明实施例第一方面提供的图像缩小方法的步骤
另一方面，本发明实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序。所述计算机程序被处理器执行时实现如本发明实施例第一方面提供的图像缩小方法的步骤。
另一方面，本发明实施例提供了一种解码设备，包括处理器、通信接口和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行本发明实施例第二方面提供的图像放大方法的步骤。
另一方面，本发明实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序。所述计算机程序被处理器执行时实现如本发明实施例第二方面提供的图像放大方法的步骤。
本发明实施例的编码端通过获取虚拟桌面原始数据，通过深度可逆算法对虚拟桌面原始数据的分辨率进行压缩，获得压缩图像。对压缩图像进行编码，得到编码数据，将编码数据发送给解码端。本实施例通过深度可逆算法对虚拟桌面原始数据的分辨率进行降低，使得虚拟桌面原始数据的压缩图像能够在解码端实现可逆放大，能够将压缩图像复原回原始分辨率，保证了待显示图像的显示效果。
附图说明
图1是本发明实施例提供的一种图像编码流程的示意图；
图2是本发明实施例提供的一种图像缩小方法的实现流程示意图；
图3是本发明实施例提供的一种深度可逆神经网络的结构示意图；
图4是本发明实施例提供的一种图像放大方法的实现流程示意图；
图5是本发明实施例提供的一种图像处理流程的示意图；
图6是本发明实施例提供的另一种图像处理流程的示意图；
图7是本发明实施例提供的一种训练高斯分布的流程示意图；
图8是本发明实施例提供的一种图像放大流程的示意图；
图9是本发明实施例提供的一种图像缩小装置的示意图；
图10是本发明实施例提供的一种图像放大装置的示意图；
图11是本发明一实施例提供的编码设备的示意图。
图12是本发明一实施例提供的解码设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着编码技术的发展，高分辨率、高帧率和移动弱网办公逐渐成为虚拟云卓面架构(VDI，VirtualDesktopInfrastructure)桌面云应用的趋势。VDI虚拟桌面基础架构是使用虚拟机器提供和管理虚拟桌面的虚拟化解决方案，VDI将桌面环境托管在一个集中的服务器上，并应要求部署给终端使用者，使用者使用端点装置(如笔记本，平板电脑等)可通过网络访问虚拟桌面环境。
业界对VDI桌面云屏幕图像编码的码率要求逐渐变高，即希望尽可能地降低码率，以满足不同场景下的码率传输需求。在VDI桌面云使用过程中，高分辨率、高帧率的屏幕图像在传输时需要较大的码流，带宽成本急剧上升，而在广域网弱网办公场景下，由于网络状况不佳，容易出现画质模糊，锯齿等现象。这些问题使得客户成本增加，使用体验较差，造成了客户流失。
如图1所示，相关技术常用的编码方案是：原始图像在服务端进行编码，编码得到对应的压缩码流数据，码流数据通过网络传输至客户端。客户端接收到码流后，对压缩码流数据进行解码，得到解码图像，该解码图像与原始图像分辨率一致，该解码图像再进行显示。该方案对带宽成本要求较高，且在高分辨率、高帧率以及移动弱网办公场景的体验较差，容易出现画面卡顿、画质较差的情况。
图像缩小与放大是一个对称的问题，图像缩小会损失原始图像的一些细节，而从缩小之后的图像放大回原始的图像，由于过程一般不可逆，即放大回的图像存在多个解，很难找到与原始图像一样的解，导致图像放大回原始尺寸后画质降低。如何在图像放大的求解过程中，加一些约束限制或者额外先验信息，将图像缩小过程丢失的信息补充回来，使得放大后的图像与原始图像尽可能地一致，是本发明实施例方案的重点。
针对上述相关技术的缺点，本发明实施例提供了一种图像缩小方法和图像放大方法，能够使压缩图像放大回原始分辨率，保证放大图像的画质。为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图2是本发明实施例提供的一种图像压缩方法的实现流程示意图，所述图像压缩方法应用于虚拟桌面的编码端，编码设备可以是服务器，虚拟桌面(例如VDI)将桌面环境托管在该服务器上，所述服务器可以是实体的设备，也可以是部署在云端的虚拟化设备。解码设备(如手机，笔记本，平板电脑等)可通过网络访问桌面环境。
参考图2，图像缩小方法包括：
S201，获取虚拟桌面原始数据。
关于桌面虚拟化技术的实现，通常是用户在远程客户端登录到服务器，服务器调用虚拟桌面传输协议，将虚拟桌面原始数据传输给客户端。
这里，虚拟桌面原始数据指虚拟桌面的桌面图像数据，客户端指解码端。
S202，通过深度可逆算法对所述虚拟桌面原始数据的分辨率进行压缩，获得压缩图像。
深度可逆算法：基于深度学习将图像的分辨率从高分辨率缩小至低分辨率，缩小的低分辨率图像可以可逆地放大至原始的高分辨率图像。
通过深度可逆算法可以实现编码端对虚拟桌面原始数据的分辨率进行压缩，而解码端可以将压缩图像可逆放大至原始的高分辨率图像。
相关技术通常使用降采样来实现图像的分辨率的降低，在降采样的过程中存在着信息的丢失，以至于无法很好地还原回原图。针对该缺陷，本实施例采用深度可逆算法实现图像分辨率的压缩，深度可逆算法能够获取图像压缩时的丢失信息，从而能将压缩图像可逆放大回原始分辨率，得到待显示图像。
深度可逆算法可以基于深度可逆神经网络实现，在一实施例中，深度可逆神经网络可以是可逆神经网络(InvertibleNN，INN)模型，基于INN模型可以实现图像的压缩和可逆放大。
本实施例可以在深度可逆算法中使用小波变换对虚拟桌面原始数据的分辨率进行压缩，由小波变换可以得到原图的一个低频分量和三个不同方向的高频分量。这里的低频分量与降采样得到的低分辨率结果是一样的，而高频分量则是在降采样过程中被丢失的信息。通过深度可逆算法得到高频分量的分布(例如高斯分布)，在对压缩图像可逆放大时，解码端可以使用深度可逆算法从该分布中获取高频分量，然后使用小波逆变换还原回原始分辨率。
S203，对所述压缩图像进行编码，得到编码数据。
S204，将所述编码数据发送给解码端。
根据预设的编码格式对压缩图像进行编码，将编码数据发送给解码端，使得解码端对编码数据进行解码，然后通过深度可逆算法对解码数据的分辨率进行可逆放大，得到待显示图像。将压缩图像编码后发送给解码端，可以进一步减少数据的传输量，提高数据的传输效率，使得解码端能够实时显示虚拟桌面图像。
其中，所述解码端用于对所述编码数据进行解码，并通过所述深度可逆算法对解码数据的分辨率进行可逆放大，获得待显示图像。
本发明实施例的编码端通过获取虚拟桌面原始数据，通过深度可逆算法对虚拟桌面原始数据的分辨率进行压缩，获得压缩图像。对压缩图像进行编码，得到编码数据，将编码数据发送给解码端。本实施例通过深度可逆算法对虚拟桌面原始数据的分辨率进行降低，使得虚拟桌面原始数据的压缩图像能够在解码端实现可逆放大，能够将压缩图像复原回原始分辨率，保证了待显示图像的显示效果。
其次，相关技术所需的带宽或码率，为原始图像编码得到的码流数据。而本实施例所需要的带宽或码率，为压缩图像编码得到的码流数据。由于待编码的数据量从原始图像降低至压缩图像，减少的数据量和压缩的倍数成正相关。因此，本实施例所采用的方案可以在不降低画质的前提下，可以大大节省带宽或码率需求。
在一实施例中，所述通过深度可逆算法对所述虚拟桌面原始数据的分辨率进行压缩，获得压缩图像，包括：
通过深度可逆神经网络的小波变换层对所述虚拟桌面原始数据进行小波变换，得到所述虚拟桌面原始数据的每一帧图像的压缩图像和高频损失信息；所述深度可逆神经网络包括小波变换层、可逆层和小波逆变换层。
本实施例中，深度可逆算法通过深度可逆神经网络实现，深度可逆神经网络可以是INN网络模型。
图3是本发明实施例提供的一种深度可逆神经网络的结构示意图，如图3所示，深度可逆神经网络包括小波变换层、可逆层和小波逆变换层。
其中，小波变换层对虚拟桌面原始数据进行小波变换，得到虚拟桌面原始数据的每一帧图像的压缩图像和高频损失信息。
在本实施例中，小波变换层可以采用哈尔变换(HarrTransform)内核执行离散小波变换(DiscreteWaveletTransform，DWT)，以获取虚拟桌面原始数据的低频子图像和高频子图像。低频子图像为压缩图像，高频子图像为丢弃的信息。
基于小波变换的图像压缩处理过程是：小波变换将原始图像分解成4个子图，其中1个为近似图像，3个为小波系数矩阵。对应本实施例，近似图像就是压缩图像，3个小波系数矩阵就是高频损失信息。直观地看小波变换，近似图像就是对原图的一个低分辨率的近似，保留图像的整体特征。而小波系数矩阵是低分辨率图像和原图之间的差异，就是高频的信号，也就是图像的细节。
图像小波变换可以采用二维小波变换快速算法，就是不断将上一级图像分解成4个子图。以原图像为初始信号，经过一组高通和低通滤波器，将原始信号分解成4个子图，即一个低频子图(LL)和3个高频子图(HL、LH、HH)。对于一个图像来说，低频子图保留了原始图像的大部分信息，而高频子图主要包含原始图像的轮廓等细节信息。其中，LL是近似图像，HL是水平细节图像，LH是垂直细节图像，HH是对角细节图像。这叫作一级小波分解，这种分解可以针对上一级的低频子图像迭代，理论上可以进行无限级分解，但是在图像压缩上，需要考虑重构图像的质量，所以分解级数不宜过多，例如可以采用3级小波分解。
在一实施例中，所述通过深度可逆神经网络的小波变换层对所述虚拟桌面原始数据进行小波变换，包括：
对所述虚拟桌面原始数据进行小波分解，得到低频子图像和高频子图像；
对所述低频子图像进行量化，得到所述压缩图像。
小波变换将虚拟桌面原始数据分解为低频子图像和高频子图像，图像进行小波变换后，对于一个图像来说，表现一个图像主要的部分是低频部分，低频子图像包含了大部分的图像信息，所以可以充分利用这一小波变换后的特性，本实施例对低频子图像进行量化，不保留高频子图像，以实现图像信息的有效压缩。
量化是一个降低精度，将每个变换后的像素用有限的信号来表示的过程。采用不同的量化值对原数据进行分段近似表示，目的是减少每个码字的编码比特数。对于图像上所呈现的信息，人眼根据其视觉特性会具有不同的分辨率，也就是说可以在保证视频图像重构质量的同时，舍弃对人眼视觉效果影响不大的信息。精度的高低取决于量化步长的长短，若量化步长越长，则精度越低，压缩效果较之越好，反之效果越差。
对应地，对压缩图像进行编码，即将量化后的数据转换成二进制码流，以便更好地存储和传输。
图4是本发明实施例提供的一种图像放大方法的实现流程示意图，所述图像放大方法应用于解码端，解码端可以是部署有VDI桌面云的解码设备，解码设备可以是台式电脑、笔记本电脑、手机等。
参考图4，图像放大方法包括：
S401，接收来自编码端的编码数据。
参考上述实施例，编码端将压缩图像编码后发送给解码端，解码端接收来自编码端的编码数据。
编码端通过深度可逆算法对虚拟桌面原始数据的分辨率进行压缩，获得压缩图像。
S402，对所述编码数据进行解码，获得解码数据。
采用预设的解码格式，对编码数据进行解码，获得解码数据。
S403，通过深度可逆算法对所述解码数据的分辨率进行可逆放大，获得待显示图像。
深度可逆算法：基于深度学习将图像的分辨率从高分辨率缩小至低分辨率，缩小的低分辨率图像可以可逆地放大至原始的高分辨率图像。
编码端通过深度可逆算法可以实现编码端对虚拟桌面原始数据的分辨率进行压缩，而解码端可以通过深度可逆算法将压缩图像可逆放大至原始的高分辨率图像。
相关技术通常使用降采样来实现图像的分辨率的降低，在降采样的过程中存在着信息的丢失，以至于无法很好地还原回原图。针对该缺陷，本实施例采用深度可逆算法实现图像分辨率的压缩，深度可逆算法能够获取图像压缩时的丢失信息，从而能将压缩图像可逆放大回原始分辨率，得到待显示图像。
深度可逆算法可以基于深度可逆神经网络实现，在一实施例中，深度可逆神经网络可以是INN模型，基于INN模型可以实现图像的压缩和可逆放大。
本实施例可以在深度可逆算法中使用小波变换对虚拟桌面原始数据的分辨率进行压缩，由小波变换可以得到原图的一个低频分量和三个不同方向的高频分量。这里的低频分量与降采样得到的低分辨率结果是一样的，而高频分量则是在降采样过程中被丢失的信息。通过深度可逆算法可以得到高频分量的分布，解码端在对压缩图像可逆放大时，解码端可以使用深度可逆算法从该高频分量的分布中获取压缩图像对应的高频分量，然后使用小波逆变换还原回原始分辨率。
本发明实施例的解码端通过获取来自编码端的编码数据，对编码数据进行解码，获得解码数据，通过深度可逆算法对解码数据的分辨率进行可逆放大，获得待显示图像。本实施例通过深度可逆算法实现了压缩图像分辨率的可逆放大，能够将虚拟桌面原始数据的压缩图像复原回原始分辨率，保证了待显示图像的显示效果。
其次，相关技术所需的带宽或码率，为原始图像编码得到的码流数据。而本实施例所需要的带宽或码率，为压缩图像编码得到的码流数据。由于待编码的数据量从原始图像降低至压缩图像，减少的数据量和压缩的倍数成正相关。因此，本实施例所采用的方案可以在不降低画质的前提下，可以大大节省带宽或码率需求。
在一实施例中，所述通过深度可逆算法对所述解码数据的分辨率进行可逆放大，获得待显示图像，包括：
基于深度可逆神经网络的可逆层确定所述解码数据中的每一帧压缩图像的高频损失信息；所述深度可逆神经网络包括小波变换层、可逆层和小波逆变换层；所述可逆层由高斯分布信息构成；所述每一帧压缩图像的高频损失信息服从所述高斯分布信息；
基于所述每一帧压缩图像的高频损失信息，对所述每一帧压缩图像的分辨率进行放大。
本实施例中，可逆层由高斯分布信息构成，每一帧压缩图像的高频损失信息服从可逆层的高斯分布信息。因此，在对压缩图像的分辨率进行可逆放大时，从可逆层的高斯分布信息中获取压缩图像的高频损失信息，进而还原回原始分辨率。
在一实施例中，在通过深度可逆算法对所述解码数据的分辨率进行可逆放大之前，所述方法还包括：
接收所述高斯分布信息；所述高斯分布信息基于虚拟桌面原始数据进行小波分解后的高频损失信息得到。
这里，所述高斯分布信息可以由第三方训练装置确定并发送给解码端，也可以是编码端确定并发送给解码端的。
不管是第三方训练装置还是编码端，都需要根据虚拟桌面原始数据来确定高斯分布信息。要注意的是，这里的虚拟桌面原始数据并不是上述方法实施例中的虚拟桌面原始数据。
第三方训练装置或编码端对虚拟桌面原始数据进行小波变换，得到虚拟桌面原始数据的每一帧图像的压缩图像和高频损失信息，然后基于每一帧图像的高频损失信息，确定得到可逆层对应的高斯分布信息，最后将可逆层对应的高斯分布信息发送给所述解码端，以使解码端可以通过深度可逆算法对解码数据的分辨率进行可逆放大。
压缩图像结合高频损失信息，可以还原出原始分辨率的图像。但是为了实现数据的快速传输，显然无法在存储、传输低分辨率图像时还附带这些本应被丢失的信息。而如果没有这些高频损失信息，又无法还原出原始分辨率的图像。
对此，可以预先在第三方训练装置或编码端对虚拟桌面原始数据进行小波变换，得到虚拟桌面原始数据中的每一帧图像的高频损失信息。由于不同图像在压缩时，高频损失信息都不一样，而高频损失信息又不能每张图片都进行保存。因此，假设不同图像小波变换后得到的高频损失信息都服从高斯分布，在获得每一帧图像的高频损失信息后，将这些高频损失信息作为样本数据，根据样本数据计算高斯分布的标准差和均值，从而得到高斯分布的概率密度函数。
解码端将接收到的高斯分布信息确定为可逆层对应的高斯分布信息，虚拟桌面原始数据经小波分解后得到的高频损失信息都服从该高斯分布。
在通过深度可逆算法对所述解码数据的分辨率进行可逆放大之前，本实施例预先获取可逆层的高斯分布。这样，后续编码端在对虚拟桌面原始数据进行小波变换后，高频损失信息可以放心被丢弃，不需要将高频损失信息也发送到解码端。解码端从高斯分布中进行采样，利用采样的高斯分布数据来模拟丢失的高频所述信息，从而可以还原出原始分辨率的图像，保证了待显示图像的显示效果。
这里，在确定高斯分布信息时，本实施例需要使用到虚拟桌面原始数据经小波变换后的高频损失信息，分解得到的压缩图像无需发送给解码端。
高斯分布又叫正态分布，若随机变量x服从一个数学期望μ，方差σ2的正态分布，记为N(μ，σ2)，其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度，当μ＝0，σ＝1时的正态分布是标准正态分布。正态随机变量服从的分布就是正态分布，记作X-N(μ，σ2)，读作X服从N(μ，σ2)，或X服从正态分布。
高斯分布有两个参数，即期望μ和标准差σ，σ2为方差，高斯分布是具有两个参数μ和σ2的连续型随机变量的分布，第一参数μ是服从高斯分布的随机变量的均值，第二个参数σ2是此随机变量的方差，所以高斯分布记作N(μ，σ2)。
在实际应用中，可以使用matlab软件或python软件来生成高斯分布信息，将得到的每一帧图像的高频损失信息输入软件，软件可以根据内置的函数自动生成高斯分布的函数，并绘制高斯分布曲线。
在一实施例中，所述基于深度可逆神经网络的可逆层确定所述解码数据中的每一帧压缩图像的高频损失信息，包括：
基于所述可逆层对所述高斯分布信息进行高斯采样，得到每一帧压缩图像的高频损失信息。
这里，可以对高斯分布信息进行采样，得到每一帧压缩图像的高频损失信息。常见的高斯采样方法有逆变换法、拒绝采样法、重要性采样法、马尔科夫蒙特卡罗采样法等。本实施例不对具体采用方法进行限定，可以选择任意一种采用方法。
在一实施例中，所述高频损失信息包括：解码图像对应的原始图像中的噪声。
高频损失信息主要包含原始图像的轮廓、噪声等细节信息，在压缩图像的分辨率时，将这些信息删除，有利于提高图像压缩的倍数。
编码端无需将每一帧压缩图像的高频损失信息都发送给解码端，解码端可以从高斯分布中采样，使用采样的高斯分布数据来模拟高频损失信息，再进行小波逆变换，从而可以将压缩图像还原回原始分辨率。
在一实施例中，所述基于所述每一帧压缩图像的高频损失信息，对所述每一帧压缩图像的分辨率进行放大，包括：
基于所述小波逆变换层对所述压缩图像和所述压缩图像对应的高频损失信息进行小波逆变换，得到所述压缩图像对应的待显示图像。
在图像重建中，压缩图像保留了完整的图像基础信息，可以作为低频分量，而其对应的高频分量可以通过从高斯分布中采样得到，对低频分量和高频分量进行小波逆变换就可以得到原始分辨率图像。
小波逆变换过程与小波变换过程是相反的，小波逆变换过程可描述为：首先对小波变换结果的每一列进行一维离散小波逆变换，再对变换所得数据的每一行进行一维离散小波逆变换，即可重构得到放大图像。
在实际应用中，可以用wrcoef2函数来重构图像，wrcoef2函数是用来重建一幅图像的系数，其实就是根据小波分解之后的系数来重建其对应的图像，重建好的图像的分辨率与原始图像一致。
由于放大图像时使用了高频损失信息，所以放大图像的分辨率与原始图像一致，保证了待显示图像在显示屏幕上的显示效果。
参考图5，图5是本发明实施例提供的一种图像处理流程的示意图。在服务端，对原始图像进行缩小，得到缩小图像。这里，服务端对应编码端，原始图像即虚拟桌面原始数据。对缩小图像进行编码，编码得到对应的压缩码流数据，码流数据通过网络传输至客户端。客户端对应解码端，客户端接收到码流后，对压缩码流数据进行解码，得到解码图像，对解码图像进行放大，得到放大图像，该放大图像再进行显示。
其中，由于由于图像缩小过程中会丢失信息，会使得放大时无法还原回原始图像。如果能令所有缩小图像的丢失信息服从一个简单分布，那么就可以放心丢失信息了，需要它时再采样就好了。
对此，可以使用小波变换来对原始图像进行处理，参考图6，图6是本发明实施例提供的另一种图像处理流程的示意图。在编码端(服务端)，原始图像经过小波变换，分解得到缩小图像和高频损失信息，对缩小图像进行编码，将码流发送给解码端(客户端)。解码端接收到码流后进行解码，得到解码图像，解码图像经过小波逆变换进行放大，重构得到放大图像。
其中，原始图像经小波变换分解得到的高频损失信息服从高斯分布，解码端可以从高斯分布中采样得到缩小图像的高频损失信息，从而通过小波逆变换进行可逆放大，还原回原始图像。
参考图7，图7是本发明实施例提供的一种训练高斯分布的流程示意图。为了实现可逆缩放，本实施例预先在编码端训练得到高频损失信息对应的高斯分布，对虚拟桌面训练数据中的每一帧原始图像进行小波变换，得到每一帧图像的低频图像和高频信息。低频图像是压缩图像，高频信息是高频损失信息。高频信息通过可逆网络结构可以得到一个高斯分布信息，可逆网络结构对应可逆层，可逆网络结构的作用主要是生成高斯分布信息和进行高斯分布采用，这里可逆网络结构的作用是根据不同图像的高频信息生成高斯分布信息。
本实施例中，低频图像和高频信息相互独立，所有的高频信息服从一个高斯分布，那么在后续图像压缩时，高频写下就可以被安全地丢弃，需要它时再采样就好了。
参考图8，图8是本发明实施例提供的一种图像放大流程的示意图。解码端接收编码端接收到的编码数据，对编码数据进行解码，得到解码图像(解码图像为低频图像)。然后通过可逆网络结构对高斯分布信息进行采样，将采样数据作为解码图像的高频信息。可逆网络结构在这里的作用是用于进行高斯采用，将高斯分布的采样数据作为解码图像对应的高频信息。最后高频信息和低频图像通过小波逆变换，得到放大图像。本实施例在正向过程中将高频信息舍弃，在反向过程中采用高斯分布的采样数据作为辅助变量帮助恢复原始分辨率。所以放大图像的分辨率可以与原始图像一致，能够减少画质损失，能够在保证解码端画质不降的前提下，明显降低带宽成本。
本实施例可以应用在VDI桌面云屏幕图像编码中，在VDI屏幕图像的编码端，在进行编码前，通过小波变换实现VDI屏幕图像分辨率的压缩，减少待编码的数据量。对压缩后的VDI屏幕图像进行编码，形成码流并通过网络发送传输至解码端。在解码端，对传输的码流进行解码，解码得到压缩的VDI屏幕图像，通过小波逆变换实现屏幕图像可逆放大还原。整个过程保证放大还原的屏幕图像和原始屏幕图像分辨率一致，即实现可逆缩放。码率节省的程度与可逆缩小的倍数正相关，可逆缩小的倍数越大，码率节省的越多。本实施例可以满足高分辨率、高帧率以及广域网弱网办公环境下对带宽码率的需求。本实施例在保证客户端画质不降的前提下，可以明显降低带宽成本。能够提高公司VDI产品的核心竞争力，提升客户体验。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
需要说明的是，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
另外，在本发明实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
参考图9，图9是本发明实施例提供的一种图像缩小装置的示意图，该装置包括：
获取模块，用于获取虚拟桌面原始数据；
压缩模块，用于通过深度可逆算法对所述虚拟桌面原始数据的分辨率进行压缩，获得压缩图像；
编码模块，用于对所述压缩图像进行编码，得到编码数据；
发送模块，用于将所述编码数据发送给解码端。
在一实施例中，所述压缩模块通过深度可逆算法对所述虚拟桌面原始数据的分辨率进行压缩，具体用于：
通过深度可逆神经网络的小波变换层对所述虚拟桌面原始数据进行小波变换，得到所述虚拟桌面原始数据的每一帧图像的压缩图像和高频损失信息；所述深度可逆神经网络包括小波变换层、可逆层和小波逆变换层。
在一实施例中，所述压缩模块通过深度可逆神经网络的小波变换层对所述虚拟桌面原始数据进行小波变换，具体用于：
对所述虚拟桌面原始数据进行小波分解，得到低频子图像和高频子图像；
对所述低频子图像进行量化，得到所述压缩图像。
在一实施例中，所述解码端用于对所述编码数据进行解码，并通过所述深度可逆算法对解码数据的分辨率进行可逆放大，获得待显示图像。
参考图10，图10是本发明实施例提供的一种图像放大装置的示意图，该装置包括：
接收模块，用于接收来自编码端的编码数据；
解码模块，用于对所述编码数据进行解码，获得解码数据；
放大模块，用于通过深度可逆算法对所述解码数据的分辨率进行可逆放大，获得待显示图像。
在一实施例中，所述放大模块通过深度可逆算法对所述解码数据的分辨率进行可逆放大，获得待显示图像，具体用于：
基于深度可逆神经网络的可逆层确定所述解码数据中的每一帧压缩图像的高频损失信息；所述深度可逆神经网络包括小波变换层、可逆层和小波逆变换层；所述可逆层由高斯分布信息构成；所述每一帧压缩图像的高频损失信息服从所述高斯分布信息；
基于所述每一帧压缩图像的高频损失信息，对所述每一帧压缩图像的分辨率进行放大。
在一实施例中，所述放大模块基于所述每一帧压缩图像的高频损失信息，对所述每一帧压缩图像的分辨率进行放大，具体用于：
基于所述小波逆变换层对所述压缩图像和所述压缩图像对应的高频损失信息进行小波逆变换，得到所述压缩图像对应的待显示图像。
在一实施例中，所述放大模块基于深度可逆神经网络的可逆层确定所述解码数据中的每一帧压缩图像的高频损失信息，具体用于：
基于所述可逆层对所述高斯分布信息进行高斯采样，得到每一帧压缩图像的高频损失信息。
在一实施例中，所述接收模块还用于：
接收所述高斯分布信息；所述高斯分布信息基于虚拟桌面原始数据进行小波分解后的高频损失信息得到。
实际应用时，所述获取模块、压缩模块、编码模块和发送模块可通过编码设备中的处理器，比如中央处理器(CPU，CentralProcessingUnit)、数字信号处理器(DSP，DigitalSignal Processor)、微控制单元(MCU，MicrocontrollerUnit)或可编程门阵列(FPGA，Field－ProgrammableGateArray)等实现。所述接收模块、解码模块和放大模块可通过解码设备中的处理器实现。
需要说明的是：上述实施例提供的图像放大装置在进行图像放大时，仅以上述各模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的模块完成，即将装置的内部结构划分成不同的模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像放大装置与图像放大方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述图像放大装置可以是镜像文件形式，该镜像文件被执行后，可以以容器或者虚拟机的形式运行，以实现本申请所述的图像放大方法。当然也不局限为镜像文件形式，只要能够实现本申请所述的图像放大方法的一些软件形式都在本申请的保护范围之内。
基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种编码设备。图11为本申请实施例编码设备的硬件组成结构示意图，如图11所示，编码设备包括：
通信接口，能够与其它设备比如解码设备等进行信息交互；
处理器，与所述通信接口连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述编码设备侧一个或多个技术方案提供的方法。而所述计算机程序存储在存储器上。
本申请实施例中的存储器用于存储各种类型的数据以支持编码设备的操作。这些数据的示例包括：用于在编码设备上操作的任何计算机程序。
当然，实际应用时，编码设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图11中将各种总线都标为总线系统。
本申请实施例还提供了一种解码设备。图12为本申请实施例解码设备的硬件组成结构示意图，如图12所示，解码设备包括：
通信接口，能够与其它设备比如编码设备等进行信息交互；
处理器，与所述通信接口连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述解码设备侧一个或多个技术方案提供的方法。而所述计算机程序存储在存储器上。
本申请实施例中的存储器用于存储各种类型的数据以支持解码设备的操作。这些数据的示例包括：用于在解码设备上操作的任何计算机程序。
当然，实际应用时，解码设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图12中将各种总线都标为总线系统。
上述编码设备或解码设备可以是集群形式，比如是云计算平台形式，所谓云计算平台是采用计算虚拟化、网络虚拟化、存储虚拟化技术把多个独立的服务器物理硬件资源组织成池化资源的一种业务形态，它是一种基于虚拟化技术发展基础上软件定义资源的结构，可以提供虚拟机、容器等形态的资源能力。通过消除硬件与操作系统之间的固定关系，依赖网络的连通统一资源调度，然后提供所需要的虚拟资源和服务，是一种新型的IT，软件交付模式，具备灵活，弹性，分布式，多租户，按需等特点。
目前的云计算平台支持几种服务模式：
SaaS(SoftwareasaService，软件即服务)：云计算平台用户无需购买软件，而改为租用部署于云计算平台的软件，用户无需对软件进行维护，软件服务提供商会全权管理和维护软件；
PaaS(PlatformasaService，平台即服务)：云计算平台用户(此时通常为软件开发商)可以在云计算平台提供的架构上建设新的应用，或者扩展已有的应用，同时却不必购买开发、质量控制或生产服务器；
IaaS(InfrastructureasaService，基础架构即服务)：云计算平台通过互联网提供了数据中心、基础架构硬件和软件资源，IaaS模式下的云计算平台可以提供服务器、操作系统、磁盘存储、数据库和/或信息资源。
可以理解，存储器可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，ReadOnlyMemory)、可编程只读存储器(PROM，ProgrammableRead-OnlyMemory)、可擦除可编程只读存储器(EPROM，ErasableProgrammableRead-OnlyMemory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasableProgrammableRead-OnlyMemory)、磁性随机存取存储器(FRAM，ferromagneticrandomaccessmemory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，CompactDiscRead-OnlyMemory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，RandomAccess Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，StaticRandomAccessMemory)、同步静态随机存取存储器(SSRAM，SynchronousStaticRandomAccessMemory)、动态随机存取存储器(DRAM，DynamicRandomAccessMemory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronousDynamicRandomAccessMemory)、增强型同步动态随机存取存储器(ESDRAM，EnhancedSynchronousDynamicRandomAccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLinkDynamicRandomAccessMemory)、直接内存总线随机存取存储器(DRRAM，DirectRambusRandomAccessMemory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的程序，结合其硬件完成前述方法的步骤。
可选地，所述处理器执行所述程序时实现本申请实施例的各个方法中由编码设备或解码设备实现的相应流程，为了简洁，在此不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的第一存储器，上述计算机程序可由编码设备的处理器执行，以完成前述图像缩小方法所述步骤。
本申请实施例还提供了一种计算机存储介质，包括存储计算机程序的第二存储器，上述计算机程序可由解码设备的处理器执行，以完成前述图像放大方法所述步骤。
计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、FlashMemory、磁表面存储器、光盘、或CD-ROM等存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
另外，在本申请实例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种图像缩小方法，应用于虚拟桌面的编码端，其特征在于，包括：
获取虚拟桌面原始数据；
通过深度可逆算法对所述虚拟桌面原始数据的分辨率进行压缩，获得压缩图像；
对所述压缩图像进行编码，得到编码数据；
将所述编码数据发送给解码端。
2.如权利要求1所述的方法，其特征在于，所述通过深度可逆算法对所述虚拟桌面原始数据的分辨率进行压缩，获得压缩图像，包括：
通过深度可逆神经网络的小波变换层对所述虚拟桌面原始数据进行小波变换，得到所述虚拟桌面原始数据的每一帧图像的压缩图像和高频损失信息；所述深度可逆神经网络包括小波变换层、可逆层和小波逆变换层。
3.如权利要求2所述的方法，其特征在于，所述通过深度可逆神经网络的小波变换层对所述虚拟桌面原始数据进行小波变换，包括：
对所述虚拟桌面原始数据进行小波分解，得到低频子图像和高频子图像；
对所述低频子图像进行量化，得到所述压缩图像。
4.如权利要求1所述的方法，其特征在于，所述解码端用于对所述编码数据进行解码，并通过所述深度可逆算法对解码数据的分辨率进行可逆放大，获得待显示图像。
5.一种图像放大方法，应用于虚拟桌面的解码端，其特征在于，包括：
接收来自编码端的编码数据；
对所述编码数据进行解码，获得解码数据；
通过深度可逆算法对所述解码数据的分辨率进行可逆放大，获得待显示图像。
6.如权利要求5所述的方法，其特征在于，所述通过深度可逆算法对所述解码数据的分辨率进行可逆放大，获得待显示图像，包括：
基于深度可逆神经网络的可逆层确定所述解码数据中的每一帧压缩图像的高频损失信息；所述深度可逆神经网络包括小波变换层、可逆层和小波逆变换层；所述可逆层由高斯分布信息构成；所述每一帧压缩图像的高频损失信息服从所述高斯分布信息；
基于所述每一帧压缩图像的高频损失信息，对所述每一帧压缩图像的分辨率进行放大。
7.如权利要求6所述的方法，其特征在于，所述基于所述每一帧压缩图像的高频损失信息，对所述每一帧压缩图像的分辨率进行放大，包括：
基于所述小波逆变换层对所述压缩图像和所述压缩图像对应的高频损失信息进行小波逆变换，得到所述压缩图像对应的待显示图像。
8.如权利要求6所述的方法，其特征在于，所述基于深度可逆神经网络的可逆层确定所述解码数据中的每一帧压缩图像的高频损失信息，包括：
基于所述可逆层对所述高斯分布信息进行高斯采样，得到每一帧压缩图像的高频损失信息。
9.如权利要求6所述的方法，其特征在于，在通过深度可逆算法对所述解码数据的分辨率进行可逆放大之前，所述方法还包括：
接收所述高斯分布信息；所述高斯分布信息基于虚拟桌面原始数据进行小波分解后的高频损失信息得到。
10.一种图像缩小装置，其特征在于，包括：
获取模块，用于获取虚拟桌面原始数据；
压缩模块，用于通过深度可逆算法对所述虚拟桌面原始数据的分辨率进行压缩，获得压缩图像；
编码模块，用于对所述压缩图像进行编码，得到编码数据；
发送模块，用于将所述编码数据发送给解码端。
11.一种图像放大装置，其特征在于，包括：
接收模块，用于接收来自编码端的编码数据；
解码模块，用于对所述编码数据进行解码，获得解码数据；
放大模块，用于通过深度可逆算法对所述解码数据的分辨率进行可逆放大，获得待显示图像。
12.一种编码设备，包括存储器、处理器、通信接口以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的图像缩小方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1至4任一项所述图像缩小方法。
14.一种解码设备，包括存储器、处理器、通信接口以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求5-9所述的图像放大方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求5-9所述的图像放大方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310763127.8A CN116708832A (zh) | 2023-06-26 | 2023-06-26 | 图像放大及图像缩小方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310763127.8A CN116708832A (zh) | 2023-06-26 | 2023-06-26 | 图像放大及图像缩小方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116708832A true CN116708832A (zh) | 2023-09-05 |
Family
ID=87839017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310763127.8A Pending CN116708832A (zh) | 2023-06-26 | 2023-06-26 | 图像放大及图像缩小方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116708832A (zh) |
-
2023
- 2023-06-26 CN CN202310763127.8A patent/CN116708832A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102520957B1 (ko) | 인코딩 장치, 디코딩 장치 및 이의 제어 방법 | |
| KR101805550B1 (ko) | 프리젠테이션 가상화를 위한 화면 부호화 방법 및 서버 | |
| EP3806462A1 (en) | Image encoding and decoding method , related device and storage medium | |
| US8977068B2 (en) | Transform space difference compression | |
| CN116668741A (zh) | 云桌面的显示方法、图像显示方法、设备和存储介质 | |
| CN110545446B (zh) | 一种桌面图像编码、解码方法、相关装置及存储介质 | |
| WO2020093769A1 (zh) | 在图片中嵌入信息的方法和装置 | |
| EP3063937B1 (en) | Chroma down-conversion and up-conversion processing | |
| US20170201759A1 (en) | Method and device for image encoding and image decoding | |
| CN116708832A (zh) | 图像放大及图像缩小方法、装置、设备和存储介质 | |
| CN113228665A (zh) | 用于处理配置数据的方法、设备、计算机程序和计算机可读介质 | |
| CN110572677A (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
| CN111316644A (zh) | 图像的编码方法、解码方法及所适用的设备、系统 | |
| CN110958460B (zh) | 一种视频存储方法、装置、电子设备及存储介质 | |
| CN110636295B (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
| CN106664387B (zh) | 一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质 | |
| CN111886862B (zh) | 用于图像压缩的几何变换 | |
| CN108933945B (zh) | 一种gif图片的压缩方法、装置及存储介质 | |
| US8244071B2 (en) | Non-dyadic spatial scalable wavelet transform | |
| CN116708793B (zh) | 视频的传输方法、装置、设备及存储介质 | |
| US20230016302A1 (en) | Task-oriented dynamic mesh compression using occupancy networks | |
| CN117237259B (zh) | 基于多模态融合的压缩视频质量增强方法及装置 | |
| CN117596426A (zh) | 一种低码率传输方法、服务器、系统及存储介质 | |
| WO2023285997A1 (en) | Task-oriented dynamic mesh compression using occupancy networks | |
| CN114339226A (zh) | 一种提高画面的流畅度的方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |