CN111935483B - 一种视频图像无损编解码方法及系统 - Google Patents

一种视频图像无损编解码方法及系统 Download PDF

Info

Publication number
CN111935483B
CN111935483B CN202011045011.3A CN202011045011A CN111935483B CN 111935483 B CN111935483 B CN 111935483B CN 202011045011 A CN202011045011 A CN 202011045011A CN 111935483 B CN111935483 B CN 111935483B
Authority
CN
China
Prior art keywords
image
images
initial sampling
decoding
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011045011.3A
Other languages
English (en)
Other versions
CN111935483A (zh
Inventor
范文一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan zeta cloud Technology Co.,Ltd.
Original Assignee
Beijing Zettakit Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zettakit Technology Co ltd filed Critical Beijing Zettakit Technology Co ltd
Priority to CN202011045011.3A priority Critical patent/CN111935483B/zh
Publication of CN111935483A publication Critical patent/CN111935483A/zh
Application granted granted Critical
Publication of CN111935483B publication Critical patent/CN111935483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种视频图像无损编解码方法，包括：S1：将原始视频图像拆分为大小相等的两个初始采样图像，其中通过对原始视频图像进行下采样得到第一初始采样图像，并利用所述第一初始采样图像丢失的图像信息生成第二初始采样图像；S2：使用硬件编码器对两个初始采样图像进行编码、发送；S3：使用硬件解码器对接收的编码结果进行解码，得到两个解码采样图像；S4：将两个解码采样图像重新组合还原，生成无损色彩空间图像。本发明还涉及一种视频图像无损编解码系统。本发明通过一定的算法和架构，使得视频的编解码过程既可以利用硬件编解码器，也可以实现无损色域，进而在远程图形传输协议中，可实现超低延迟的传输同时具备无损色彩、高帧率的特性。

Description

一种视频图像无损编解码方法及系统
技术领域
本发明涉及视频编解码领域，尤其涉及一种视频图像无损编解码方法及系统。
背景技术
视频编码技术在众多行业具有非常广泛的用途，例如影视、动画、电视台、媒体等。视频编码技术可将原始视频数据量大大缩小，而保持人眼可接受的清晰度。视频编码技术发展之初主要用于狭义上的视频领域，随着云计算技术的发展，视频编码技术在虚拟桌面的远程图形传输协议中得到广泛应用，可有效提升远程桌面图形体验。
在虚拟桌面架构中，远程图形传输协议十分重要。而随着GPU虚拟化技术的发展，远程图形传输协议可以使用GPU内置的硬件编解码器提升图形的帧率，减少编解码延迟，提升用户体验。
随着流媒体、影视等行业的发展，高清晰度的视频在使用CPU进行编解码时通常会带来很高的CPU使用率，影响计算机的性能。为了解决CPU编解码能力较弱的问题，GPU厂商推出了集成在GPU内部的硬件编解码器，有效解决了这个问题。GPU内置的硬件编解码器通常为独立的ASIC芯片，例如NVIDIA的NVENC/NVDEC、AMD的VCE、Intel的QuickSync。
由于硬件视频编解码器设计初衷是针对视频应用领域，大部分场景使用有损色域格式即可满足人眼的观看需求，同时可以节约存储空间或网络流量。所以目前GPU中主流硬件编解码器均只支持有损色域编解码方式，即YUV420/NV12/YUV422等格式。而在虚拟桌面架构中，为了实现低延迟的远程图形传输协议，需要在服务器端使用硬件编码，客户端使用硬件解码。远程桌面获得的源图像通常为RGB或YUV444等格式。针对一些专业场景，需要精确的色彩显示，此时需要使用无损的色彩空间YUV444色彩空间或RGB色彩空间，由于硬件格式与需求格式不一致，无法直接利用硬件编解码器。业内通常使用的方法是将源图像色彩空间进行下采样，例如将YUV444转换为NV12格式，进行有损色域的硬件编解码。而在对色彩精度有极高要求的专业场景，只能利用CPU进行编解码操作，会极大的引入延迟，影响图形帧率，客户体验难以接受。
发明内容
本发明的发明目的在于提供一种视频图像无损编解码方法及系统，以解决不具备无损色域处理能力的硬件编码器无法实现无损色域编解码的问题。
本发明提供一种视频图像无损编解码方法，包括：
S1：将原始视频图像拆分为大小相等的两个初始采样图像，其中通过对原始视频图像进行下采样得到第一初始采样图像，并利用所述第一初始采样图像丢失的图像信息生成第二初始采样图像；
S2：使用硬件编码器对两个初始采样图像进行编码、发送；
S3：使用硬件解码器对接收的编码结果进行解码，得到两个解码采样图像；
S4：将两个解码采样图像重新组合还原，生成无损色彩空间图像。
更进一步的，所述步骤S2中，将两个初始采样图像分别输入硬件编码器的两路编码上下文，得到分离的两个编码结果；以及
所述步骤S3中，所述硬件解码器也使用两路解码上下文对两个编码结果分别解码以得到两个解码采样图像。
更进一步的，所述步骤S2中，将两个初始采样图像合成为一个双倍宽度或高度的合成图像，再将所述合成图像输入硬件编码器的一路编码上下文中进行编码，得到一个编码结果；以及
所述步骤S3中，所述硬件解码器仅使用一路解码器上下文对所述一个编码结果进行解码，然后将解码结果分离以得到两个解码采样图像。
更进一步的，所述步骤S1中，基于YUV格式对原始视频图像进行拆分，将YUV444格式的原始视频图像拆分为YUV420格式的两个初始采样图像。
更进一步的，所述步骤S1包括以下子步骤：
假设所述原始空间图像为i，其高度为H，宽度为W，所述两个初始采样图像分别为a和b，YUV格式的图像中Y分量为亮度，U分量为色度，V分量为浓度，x和y分别为矩阵横坐标和纵坐标，则转换算法如下：
对于图像a：
Ya(xY,yY)=Yi(xY,yY)
其中，xY值域为[0,W-1]，yY值域为[0,H-1]；
Ua(xU,yU)=Ui(2xU,2yU)
其中，xU值域为[0,W/2-1]，yU值域为[0,H/2-1]；
Va(xV,yV)=Vi(2xV,2yV)
其中，xV值域为[0,W/2-1]，yV值域为[0,H/2-1]；
对于图像b：
Yb(xY,yY)=Ui(xY,2yY+1)
Yb(xY,H/2+yY)=Vi(xY,2yY+1)
其中，xY值域为[0,W-1]，yY值域为[0,H/2-1]；
Ub(xU,yU)=Ui(2xU+1,4yU)
Ub(xU,H/4+yU)=Vi(2xU+1,4yU)
Vb(xV,yV)=Ui(2xV+1,4yV+2)
Vb(xV,H/4+yV)=Vi(2xV+1,4yV+2)
其中，xU和xV值域为[0,W/2-1]，yU和yV值域为[0,H/4-1]。
更进一步的，所述步骤S4中，通过以下逆转换算法将两个解码采样图像重新组合还原：
假设所述解码后的空间图像为i’，其高度为H，宽度为W，所述两个解码后的采样图像分别为a’和b’，
对于图像a’：
Yi’(xY’,yY’)=Ya’(xY’,yY’)
其中，xY’值域为[0,W-1]，yY’值域为[0,H-1]；
Ui’(2xU’,2yU’)=Ua’(xU’,yU’)
其中，xU’值域为[0,W/2-1]，yU’值域为[0,H/2-1]；
Vi’(2xV’,2yV’)=Va’(xV’,yV’)
其中，xV’值域为[0,W/2-1]，yV’值域为[0,H/2-1]；
对于图像b’：
Ui’(xU’,2yU’+1)=Yb’(xU’,yU’)
Vi’(xV’,2yV’+1)=Yb’(xV’,H/2+yV’)
其中，xU’和xV’值域为[0,W-1]，yU’和yV’值域为[0,H/2-1]；
Ui’(2xU’+1,4yU’)=Ub’(xU’,yU’)
Vi’(2xV’+1,4yV’)=Ub’(xV’,H/4+yV’)
Ui’(2xU’+1,4yU’+2)=Vb’(xU’,yU’)
Vi’(2xV’+1,4yV’+2)=Vb’(xV’,H/4+yV’)
其中，xU’和xV’值域为[0,W/2-1]，yU’和yV’值域为[0,H/4-1]。
更进一步的，所述方法是基于CUDA框架或OpenCL框架的interop互操作方式实现的。
本发明的另一目的是提供一种视频图像无损编解码系统，包括：
图像转换装置，用于将原始视频图像拆分为大小相等的两个初始采样图像，其中通过对原始视频图像进行下采样得到第一初始采样图像，并利用所述第一初始采样图像丢失的图像信息生成第二初始采样图像；
硬件编码器，用于对两个初始采样图像进行编码、发送；
硬件解码器，用于对接收的编码结果进行解码，得到两个解码采样图像；
图像还原装置，用于将两个解码采样图像重新组合还原，生成无损色彩空间图像。
另外，本发明还提供了一种用于实现权利要求1-7所述视频图像无损编解码方法的视频图像编码系统，包括：
图像转换装置，用于将原始视频图像拆分为大小相等的两个初始采样图像，其中通过对原始视频图像进行下采样得到第一初始采样图像，并利用所述第一初始采样图像丢失的图像信息生成第二初始采样图像；
硬件编码器，用于对两个初始采样图像进行编码、发送。
另外，本发明还提供了一种用于实现权利要求1-7所述视频图像无损编解码方法的视频图像解码系统，包括：
硬件解码器，用于对接收的编码结果进行解码，得到两个解码采样图像；
图像还原装置，用于将两个解码采样图像重新组合还原，生成无损色彩空间图像。
与现有技术相比，本发明的有益效果是通过一定的算法和架构，使得视频的编解码过程既可以利用硬件编解码器，也可以实现无损色域，进而在远程图形传输协议中，可实现超低延迟的传输同时具备无损色彩、高帧率的特性。这使得利用GPU虚拟化技术的虚拟桌面架构可以满足绝大部分的行业客户。真正做到与本地工作站或PC机一致的使用体验，减少使用虚拟桌面架构带来的体验退化问题，使得虚拟桌面架构可以进一步提高用户的生产力。
附图说明
图1为本发明的一种视频图像无损编解码方法流程图；
图2为本发明的一种视频图像无损编解码方法详细流程图；
图3为本发明的一种视频图像无损编解码系统流程示例图；
图4为本发明的一种视频图像无损编解码系统流程示例图；
图5为本发明的一种视频图像无损编解码系统流程示例图。
具体实施方式
下面将结合附图以及实施例对本发明做更进一步详细的解释说明，需要说明的是，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
如图1所示，为本发明的一种视频图像无损编解码方法流程图，本方法包括：
S1：将原始视频图像拆分为大小相等的两个初始采样图像，其中通过对原始视频图像进行下采样得到第一初始采样图像，并利用所述第一初始采样图像丢失的图像信息生成第二初始采样图像；
S2：使用硬件编码器对两个初始采样图像进行编码、发送；
S3：使用硬件解码器对接收的编码结果进行解码，得到两个解码采样图像；
S4：将两个解码采样图像重新组合还原，生成无损色彩空间图像。
本方法通过一定的算法和架构，使得不具备无损色域处理能力的硬件编解码器，可以实现无损色域的编解码能力，而无需修改硬件。
通过使用CUDA和OpenCL等通用GPU计算框架，在GPU内部以内部互操作（interop）的方式完成图形的计算、转换、编码和解码的操作过程。内部互操作是指GPU的不同接口类型（例如CUDA接口和NVENC接口之间、CUDA接口和DirectX接口之间）之间的互操作，通过内部互操作，可以将数据在GPU的不同接口之间直接进行计算，全过程无CPU的干预，避免了大量数据在内存和显存之间拷贝，进而编解码的性能得以保障。
如图2所示，为本发明的一种视频图像无损编解码方法详细流程图。下面将结合图2对每个方法步骤做详细的描述。
在所述步骤S1中，将原始空间图像拷贝至GPU帧缓存区域，使用转换算法将原始视频图像拆分为大小相等的两个初始采样图像，其中通过对原始视频图像进行下采样得到第一初始采样图像，并利用所述第一初始采样图像丢失的图像信息生成第二初始采样图像。
此处，本发明的原理是使用转换算法φ将原始的YUV4:4:4无损色彩空间图像i转换为等价的两个YUV4:2:0采样格式的图像a和b,此种格式的图像为可被硬件编码器接受的YUV420/NV12格式。具体是指基于YUV格式对原始视频图像进行转换，对原始视频图像的色彩分量进行下采样得到一个初始采样图像，将所述下采样丢失的分量信息分别存放到另一个初始采样图像的各个分量中。本方法中转换算法的设计满足硬件编码器的算法需要，例如针对H.264和H.265等编码格式会区分I帧、P帧和B帧。编码算法可根据相邻图像的变化量进行编码，得到P帧和B帧，也可以根据单个图像帧的内部特征进行压缩。所以转换算法需要使得转换结果 a 和 b 尽可能保留原始图像 i 的特征，使得编码算法可以有效压缩输入图像，提高编码质量。以YUV格式为例，转换算法φ的计算过程如下：
对于图像a：
Ya(xY,yY)=Yi(xY,yY)
其中，xY值域为[0,W-1]，yY值域为[0,H-1]；
Ua(xU,yU)=Ui(2xU,2yU)
其中，xU值域为[0,W/2-1]，yU值域为[0,H/2-1]；
Va(xV,yV)=Vi(2xV,2yV)
其中，xV值域为[0,W/2-1]，yV值域为[0,H/2-1]；
对于图像b：
Yb(xY,yY)=Ui(xY,2yY+1)
Yb(xY,H/2+yY)=Vi(xY,2yY+1)
其中，xY值域为[0,W-1]，yY值域为[0,H/2-1]；
Ub(xU,yU)=Ui(2xU+1,4yU)
Ub(xU,H/4+yU)=Vi(2xU+1,4yU)
Vb(xV,yV)=Ui(2xV+1,4yV+2)
Vb(xV,H/4+yV)=Vi(2xV+1,4yV+2)
其中，xU和xV值域为[0,W/2-1]，yU和yV值域为[0,H/4-1]。
上述转换算法的算式中，Y分量代表亮度，U分量和V分量为色彩分量，转换算法实际上是对YUV各分量的矩阵运算。设原始图像 i 的高度为H，宽度为W，矩阵坐标从0开始，设为(x, y)，YUV分量角标代表对应图像的分量，例如Ya代表图像a的Y分量。
至此，可得到等价的两个初始采样图像a和b，然后通过步骤S2使用硬件编码器对两个初始采样图像进行编码，得到编码结果进行发送。
在所述步骤S2中，需先设定编码器的编码参数，对编码器进行初始化，然后使用硬件编码器对图像a和b同时进行编码操作，通过interop内部互操作方式将图像a和b分别输入编码器的两路编码上下文中，得到编码后的数据结果c。然后使用远程图形传输协议或其他方式通过以太网发送数据结果c。若将编码过程记作E，则有：c=E(φ(i))，其中φ(i)=a+b。
在所述步骤S3中，使用硬件解码器对接收的编码结果进行解码，得到解码后的两个采样图像。客户端首先初始化解码器参数并创建解码器的实例，设置解码输出结果的位置为某一个分配的显存，然后进行解码过程，得到解码后的图像a’和b’，若将解码过程记作D，则有：i’=φ(D(c))，其中D(c)=a’+b’。
在所述步骤S4中，使用转换算法的逆算法将解码后的两个采样图像重新组合还原，生成解码后的无损色彩空间图像。
本步骤中所述转换算法的逆算法记为φ’，与转换算法原理相同，且逆算法φ’与转换算法φ互为逆运算，满足将1个4:4:4图像与2个4:2:0图像互相可转换。逆算法φ’的计算过程如下：
对于图像a’：
Yi’(xY’,yY’)=Ya’(xY’,yY’)
其中，xY’值域为[0,W-1]，yY’值域为[0,H-1]；
Ui’(2xU’,2yU’)=Ua’(xU’,yU’)
其中，xU’值域为[0,W/2-1]，yU’值域为[0,H/2-1]；
Vi’(2xV’,2yV’)=Va’(xV’,yV’)
其中，xV’值域为[0,W/2-1]，yV’值域为[0,H/2-1]；
对于图像b’：
Ui’(xU’,2yU’+1)=Yb’(xU’,yU’)
Vi’(xV’,2yV’+1)=Yb’(xV’,H/2+yV’)
其中，xU’和xV’值域为[0,W-1]，yU’和yV’值域为[0,H/2-1]；
Ui’(2xU’+1,4yU’)=Ub’(xU’,yU’)
Vi’(2xV’+1,4yV’)=Ub’(xV’,H/4+yV’)
Ui’(2xU’+1,4yU’+2)=Vb’(xU’,yU’)
Vi’(2xV’+1,4yV’+2)=Vb’(xV’,H/4+yV’)
其中，xU’和xV’值域为[0,W/2-1]，yU’和yV’值域为[0,H/4-1]。
其中，转换算法φ和转换算法的逆算法φ’中，图像a相当于是标准的YUV444到YUV420格式图像的转换结果，主要对源图像i的U和V分量进行下采样。而经过YUV444到YUV420的转换后，实际上图像a相比于源图像i丢失了3/4的U分量和V分量信息。而转换算法φ将这部分丢失的分量信息存放到图像b的Y、U、V的分量当中。转换后的结果中，图像b中的U和V各分量数值保持和源图像i相关性。此时H.264、H.265等编码算法依然可以对图像b进行有效的编码。算法φ’则与上述过程相反，将解码后的a’和b’重新合成为i’，此时i’依然具备近似于源图像i的信息，从而在解码后色彩信息没有损失，得到了色彩无损的图像效果。
下面将结合具体实施例说明本方法的流程内容，在本方法中，主要例举使用CUDA框架和OpenCL框架实现转换算法φ和和转换算法的逆算法φ’的kernel函数，使用GPU的interop方式与GPU的编解码器进行交互。
（一）使用CUDA框架：
S1：首先，需将原始空间图像i拷贝到GPU的帧缓存区域，原始图像可以存在于内存中，也可以存在于显存之中。对于CUDA框架，即为cudaMemory类型的显存。首先在GPU显存中分配一块显存M1，对于原始图像存在于内存中的场景，可直接使用cudaMemcpy方法拷贝到显存M1。对于远程桌面图形传输协议的场景，通常原始图像在进行抓取操作后，会以DirectX Surface或OpenGL Texture的形态存在于显存，此时可以使用CUDA、DirectX或OpenGL的interop，通过使用其中的cudaMemcpy方法将源图像拷贝到显存M1，方便应用CUDA的kernel函数进行下一步的转换操作。
然后，应用转换算法φ得到等价的两个初始采样图像a和b。在GPU显存中分配一块显存M2。将显存M1和M2的地址、原始图像i的高度、宽度作为算法φ的参数，使用算法φ对应的kernel函数对存在于显存M1中的原始图像i进行转换，得到采样图像a和b并存放在M2。
S2：使用硬件编码器对两个初始采样图像进行编码，得到编码结果进行发送。首先设定编码参数，以H264编码格式为例，设定输入色彩空间为YUV420，根据需要，设定对应的H264 Profile、码率等其他必要参数，然后使用NvEncInitializeEncoder函数初始化编码器，进行编码操作，通过CUDA和NVENC编码器的interop方式，使用NvEncRegisterResource接口将显存M2中的数据作为NVENC编码器的输入数据，从而可以将初始采样图像a和b分别输入NVENC编码器的两路编码上下文中，再调用NvEncEncodePicture函数得到编码结果c。可选的，如果此时使用远程图形传输协议，可将c拷贝到内存，通过以太网发送到客户端。
S3：客户端使用硬件解码器对接收的编码结果进行解码，得到解码后的两个采样图像。首先初始化解码器参数，设定解码格式为H264，色彩空间为YUV420，创建好NVDEC解码器的实例。使用cudaMallocPitch在GPU显存中分配一块显存M1，设置解码输出结果到显存M1。然后进行解码过程，将编码结果c解码，得到解码后的图像a’和b’。将图像a’和b’存放到显存M1。
S4：使用转换算法的逆算法将解码后的两个采样图像重新组合还原，生成解码后的无损色彩空间图像。即使用cudaMallocPitch函数在GPU显存中分配一块显存M2，将显存M1和M2的地址、源图像i的高度、宽度作为算法φ’的参数，使用算法φ’对应的kernel函数对存在于显存M1中的图像a’和b’进行合成，得到结果i’存放到M2，即为解码合成后的图像。
可选的，如果希望对解码后的无损色彩空间图像i’进行显示，由于解码后的i’依然存在于cudaMemory存储器中，此时可使用CUDA与图形接口的interop方式，将i’导入到OpenGL或Direct3D的纹理或表面中，使用图形接口直接显示解码后的无损色彩空间图像i’。
（二）使用OpenCL框架：
S1：首先，需将原始空间图像i拷贝到GPU的帧缓存区域。原始图像可以存在于内存中，也可以本身就存在于显存之中。对于OpenCL框架，即为cl_mem变量表示的一段显存。首先使用clCreateBuffer函数在GPU显存中分配一块显存M1，对于原始图像存在于内存中的场景，可直接使用clEnqueueCopyBuffer函数拷贝到显存M1。对于远程桌面图形传输协议的场景，通常原始图像在进行抓取操作后，会以DirectX Surface或OpenGL Texture的形态存在于显存，此时可以使用OpenCL、DirectX或OpenGL的interop方法，使用诸如clCreateFromD3D11Texture2DKHR的API得到指向原始图像对应的显存M1的cl_mem，方便应用OpenCL框架的kernel函数进行下一步的转换操作。
然后，应用转换算法φ得到等价的两个初始采样图像a和b。在GPU显存中分配一块显存M2。将显存M1和M2的地址、源图像i的高度、宽度作为算法φ的参数，使用算法φ对应的kernel函数对存在于显存M1中的源图像i进行转换，得到图像a和b并存放在M2。
S2：使用硬件编码器对两个初始采样图像进行编码，得到编码结果进行发送。首先设定编码参数，以H264编码格式为例，设定输入色彩空间为YUV420，根据需要，设定对应的H264 Profile、码率等其他必要参数，使用GPU厂商对应的编码器API初始化编码器。然后进行编码操作，使用OpenCL和对应厂商编码器的interop方式，使用M2作为编码器的输入数据，从而可以将图像a和b分别输入两路编码上下文中，再调用编码器的API得到编码结果c。可选的，如果此时使用远程图形传输协议，可将c拷贝到内存，通过以太网发送到客户端。
S3：客户端使用硬件解码器对接收的编码结果进行解码，得到解码后的两个采样图像。首先初始化解码器参数，设定解码格式为H264，色彩空间为YUV420，使用对应GPU厂商解码器的API创建好解码器的实例。使用clCreateBuffer函数在GPU显存中分配一块显存M1，设置解码输出结果到显存M1。然后进行解码过程，将编码结果c解码，得到解码后的图像a’和b’。将图像a’和b’存放到显存M1。
S4：使用转换算法的逆算法将解码后的两个采样图像重新组合还原，生成解码后的无损色彩空间图像。即使用clCreateBuffer函数在GPU显存中分配一块显存M2，将显存M1和M2的地址、源图像i的高度、宽度作为算法φ’的参数，使用算法φ’对应的kernel函数对存在于显存M1中的图像a’和b’进行合成，得到结果i’并存放在M2，即为解码合成后的图像。
可选的，如果希望对解码后的图像i’进行显示，由于解码后的i’依然存在于cl_mem，此时可使用OpenCL框架与图形接口的interop方式，将i’导入到OpenGL或Direct3D的纹理或表面中，使用图形接口直接显示i’。
上述两种实施例中，利用CUDA框架和OpenCL框架的编解码有两种使用硬件编解码器的方式：
第一种是上述实施例中使用的编解码方式，是将采样图像a和b分别输入硬件编码器的两路编码上下文，得到分离的编码结果c1和c2。对应的解码过程也需要使用两路解码上下文对c1和c2分别解码。此方法优点是不会降低支持的源图像分辨率，缺点是会占用多路硬件编解码器资源。在硬件编解码器限制编解码上下文数量时不宜使用。
第二种，是将图像a和b合成为一个双倍宽度或高度的图像A，再将A输入硬件编码器的一路编码上下文中进行编码。得到一个编码结果c。对应的解码过程只需使用一路解码器上下文解码，需要将解码后的结果分离得到a’和b’。此方法优点是只占用一路硬件编解码器的上下文，缺点是原始空间图像最大支持的分辨率会降低一半的宽度或高度。
本发明使得编解码过程既可以利用硬件编解码器，也可以实现无损色域，进而在远程图形传输协议中，可实现超低延迟的传输同时具备无损色彩、高帧率的特性。这使得利用GPU虚拟化技术的虚拟桌面架构可以满足绝大部分的行业客户。真正做到与本地工作站或PC机一致的使用体验，减少使用虚拟桌面架构带来的体验退化问题，使得虚拟桌面架构可以进一步提高用户的生产力。
本发明描述的方法可应用于zVision桌面传输协议的服务端和客户端，分别提供基于GPU硬件编解码器的无损色域编码和解码能力，从而用户可以获得高精度的色彩视觉。提升了色彩精度后，用户在进行模型设计、卫星影像处理、三维建模、点云处理时可以得到更为精确的作业结果。进而在工业设计、建筑设计、影视非编、地理信息等行业中，基于本发明优化的zVision得到更广泛的应用，产品体验更好。
本发明还提供一种视频编解码器色域的扩展系统，包括：
图像转换装置，用于将原始视频图像拆分为大小相等的两个初始采样图像，其中通过对原始视频图像进行下采样得到第一初始采样图像，并利用所述第一初始采样图像丢失的图像信息生成第二初始采样图像；
硬件编码器，用于对两个初始采样图像进行编码、发送；
硬件解码器，用于对接收的编码结果进行解码，得到两个解码采样图像；
图像还原装置，用于将两个解码采样图像重新组合还原，生成无损色彩空间图像。
如图3所示，为本发明一种视频图像无损编解码系统流程示例图，本系统中的图像转换装置利用上述视频编解码器色域的扩展方法中的转换算法将原始空间图像转换为等价的两个初始采样图像发送给编码装置；所述编码装置用于使用CUDA框架或OpenCL框架的interop交互方式将两个初始采样图像分别输入编码器的两路编码上下文中，得到编码结果，通过传输装置发送给客户端；客户端的传输装置接收到编码结果，将编码结果传输给解码装置；所述解码装置通过解码操作将编码结果转换为两个采样图样，将所述两个采样图像发送给图像还原装置；所述图像还原装置通过转换算法的逆算法将解码后的两个采样图像进行还原转化，生成无损的色彩空间图像。
另外，本发明还提供了一种视频图像编码系统，如图4所示，包括：
图像转换装置，用于将原始视频图像拆分为大小相等的两个初始采样图像，其中通过对原始视频图像进行下采样得到第一初始采样图像，并利用所述第一初始采样图像丢失的图像信息生成第二初始采样图像；
硬件编码器，用于对两个初始采样图像进行编码、发送。
另外，本发明也提供了一种视频图像解码系统，如图5所示，包括：
硬件解码器，用于对接收的编码结果进行解码，得到两个解码采样图像；
图像还原装置，用于将两个解码采样图像重新组合还原，生成无损色彩空间图像。
本系统的具体实施过程已在上述方法中进行了详细的描述与说明，故在此不再赘述。本系统同样可利用硬件编解码器实现无损色域，达到与上述方法所述的同等有益效果。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (9)

1.一种视频图像无损编解码方法，其特征在于，包括：
S1：将原始视频图像拆分为大小相等的两个初始采样图像，其中通过对原始视频图像进行下采样得到第一初始采样图像，并利用所述第一初始采样图像丢失的图像信息生成第二初始采样图像；
S2：使用硬件编码器对两个初始采样图像进行编码、发送；
S3：使用硬件解码器对接收的编码结果进行解码，得到两个解码采样图像；
S4：将两个解码采样图像重新组合还原，生成无损色彩空间图像；
所述步骤S1中是基于YUV格式对原始视频图像进行拆分，将YUV444格式的原始视频图像拆分为YUV420格式的两个初始采样图像，其中通过对原始视频图像的U和V分量进行下采样得到第一初始采样图像，并将所述第一初始采样图像丢失的U和V分量信息存放到第二初始采样图像的Y、U、V分量中以生成第二初始采样图像。
2.根据权利要求1所述的视频图像无损编解码方法，其特征在于，所述步骤S2中，将两个初始采样图像分别输入硬件编码器的两路编码上下文，得到分离的两个编码结果；以及
所述步骤S3中，所述硬件解码器也使用两路解码上下文对两个编码结果分别解码以得到两个解码采样图像。
3.根据权利要求1所述的视频图像无损编解码方法，其特征在于，所述步骤S2中，将两个初始采样图像合成为一个双倍宽度或高度的合成图像，再将所述合成图像输入硬件编码器的一路编码上下文中进行编码，得到一个编码结果；以及
所述步骤S3中，所述硬件解码器仅使用一路解码器上下文对所述一个编码结果进行解码，然后将解码结果分离以得到两个解码采样图像。
4.根据权利要求1所述的视频图像无损编解码方法，其特征在于，所述步骤S1包括以下子步骤：
假设原始空间图像为i，其高度为H，宽度为W，所述两个初始采样图像分别为a和b，YUV格式的图像中Y分量为亮度，U分量为色度，V分量为浓度，x和y分别为矩阵横坐标和纵坐标，则转换算法如下：
对于图像a：
Ya(xY,yY)＝Yi(xY,yY)
其中，xY值域为[0,W-1]，yY值域为[0,H-1]；
Ua(xU,yU)＝Ui(2xU,2yU)
其中，xU值域为[0,W/2-1]，yU值域为[0,H/2-1]；
Va(xV,yV)＝Vi(2xV,2yV)
其中，xV值域为[0,W/2-1]，yV值域为[0,H/2-1]；
对于图像b：
Yb(xY,yY)＝Ui(xY,2yY+1)
Yb(xY,H/2+yY)＝Vi(xY,2yY+1)
其中，xY值域为[0,W-1]，yY值域为[0,H/2-1]；
Ub(xU,yU)＝Ui(2xU+1,4yU)
Ub(xU,H/4+yU)＝Vi(2xU+1,4yU)
Vb(xV,yV)＝Ui(2xV+1,4yV+2)
Vb(xV,H/4+yV)＝Vi(2xV+1,4yV+2)
其中，xU和xV值域为[0,W/2-1]，yU和yV值域为[0,H/4-1]。
5.根据权利要求4所述的视频图像无损编解码方法，其特征在于，所述步骤S4中，通过以下逆转换算法将两个解码采样图像重新组合还原：
假设所述解码后的空间图像为i’，其高度为H，宽度为W，所述两个解码后的采样图像分别为a’和b’，
对于图像a’：
Yi’(xY’,yY’)＝Ya’(xY’,yY’)
其中，xY’值域为[0,W-1]，yY’值域为[0,H-1]；
Ui’(2xU’,2yU’)＝Ua’(xU’,yU’)
其中，xU’值域为[0,W/2-1]，yU’值域为[0,H/2-1]；
Vi’(2xV’,2yV’)＝Va’(xV’,yV’)
其中，xV’值域为[0,W/2-1]，yV’值域为[0,H/2-1]；
对于图像b’：
Ui’(xU’,2yU’+1)＝Yb’(xU’,yU’)
Vi’(xV’,2yV’+1)＝Yb’(xV’,H/2+yV’)
其中，xU’和xV’值域为[0,W-1]，yU’和yV’值域为[0,H/2-1]；
Ui’(2xU’+1,4yU’)＝Ub’(xU’,yU’)
Vi’(2xV’+1,4yV’)＝Ub’(xV’,H/4+yV’)
Ui’(2xU’+1,4yU’+2)＝Vb’(xU’,yU’)
Vi’(2xV’+1,4yV’+2)＝Vb’(xV’,H/4+yV’)
其中，xU’和xV’值域为[0,W/2-1]，yU’和yV’值域为[0,H/4-1]。
6.根据权利要求1所述的视频图像无损编解码方法，其特征在于，所述方法是基于CUDA框架或OpenCL框架的interop互操作方式实现的。
7.一种用于实现权利要求1-6中任一权利要求所述视频图像无损编解码方法的视频图像编码系统，其特征在于，包括：
图像转换装置，用于将原始视频图像拆分为大小相等的两个初始采样图像，其中通过对原始视频图像进行下采样得到第一初始采样图像，并利用所述第一初始采样图像丢失的图像信息生成第二初始采样图像；
硬件编码器，用于对两个初始采样图像进行编码、发送；其中
所述图像转换装置是基于YUV格式对原始视频图像进行拆分，将YUV444格式的原始视频图像拆分为YUV420格式的两个初始采样图像，其中通过对原始视频图像的U和V分量进行下采样得到第一初始采样图像，并将所述第一初始采样图像丢失的U和V分量信息存放到第二初始采样图像的Y、U、V分量中以生成第二初始采样图像。
8.一种用于实现权利要求1-6中任一权利要求所述视频图像无损编解码方法的视频图像解码系统，其特征在于，包括：
硬件解码器，用于对接收的编码结果进行解码，得到两个解码采样图像；
图像还原装置，用于将两个解码采样图像重新组合还原，生成无损色彩空间图像。
9.一种视频图像无损编解码系统，其特征在于，包括：
图像转换装置，用于将原始视频图像拆分为大小相等的两个初始采样图像，其中通过对原始视频图像进行下采样得到第一初始采样图像，并利用所述第一初始采样图像丢失的图像信息生成第二初始采样图像；
硬件编码器，用于对两个初始采样图像进行编码、发送；
硬件解码器，用于对接收的编码结果进行解码，得到两个解码采样图像；
图像还原装置，用于将两个解码采样图像重新组合还原，生成无损色彩空间图像；其中
所述图像转换装置是基于YUV格式对原始视频图像进行拆分，将YUV444格式的原始视频图像拆分为YUV420格式的两个初始采样图像，其中通过对原始视频图像的U和V分量进行下采样得到第一初始采样图像，并将所述第一初始采样图像丢失的U和V分量信息存放到第二初始采样图像的Y、U、V分量中以生成第二初始采样图像。
CN202011045011.3A 2020-09-29 2020-09-29 一种视频图像无损编解码方法及系统 Active CN111935483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011045011.3A CN111935483B (zh) 2020-09-29 2020-09-29 一种视频图像无损编解码方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011045011.3A CN111935483B (zh) 2020-09-29 2020-09-29 一种视频图像无损编解码方法及系统

Publications (2)

Publication Number Publication Date
CN111935483A CN111935483A (zh) 2020-11-13
CN111935483B true CN111935483B (zh) 2021-02-02

Family

ID=73335159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011045011.3A Active CN111935483B (zh) 2020-09-29 2020-09-29 一种视频图像无损编解码方法及系统

Country Status (1)

Country Link
CN (1) CN111935483B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113573059B (zh) * 2021-09-23 2022-03-01 中兴通讯股份有限公司 图像显示方法、装置、存储介质及电子装置
CN114827620A (zh) * 2022-07-01 2022-07-29 深圳市东微智能科技股份有限公司 图像处理方法、装置、设备与介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102196256B (zh) * 2010-03-11 2013-03-27 中国科学院微电子研究所 一种视频编码方法及装置
US8625666B2 (en) * 2010-07-07 2014-01-07 Netzyn, Inc. 4:4:4 color space video with 4:2:0 color space video encoders and decoders systems and methods
EP2456204A1 (en) * 2010-11-18 2012-05-23 Koninklijke Philips Electronics N.V. Method and apparatus for encoding or generating an image
US9749646B2 (en) * 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
CN106162180A (zh) * 2016-06-30 2016-11-23 北京奇艺世纪科技有限公司 一种图像编解码方法及装置
CN109451323A (zh) * 2018-12-14 2019-03-08 上海国茂数字技术有限公司 一种无损图像编码方法及装置
CN109951715B (zh) * 2019-02-25 2020-09-22 北京新兴东方航空装备股份有限公司 一种基于h.264的yuv444图像编解码方法
CN111447442B (zh) * 2020-03-13 2022-12-06 浙江大华技术股份有限公司 帧内编码方法、帧内解码方法、设备以及介质

Also Published As

Publication number Publication date
CN111935483A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
US10939087B2 (en) Systems and method for virtual reality video conversion and streaming
CN109983757B (zh) 全景视频回放期间的视图相关操作
US9075560B2 (en) Real-time compression with GPU/CPU
US8520734B1 (en) Method and system for remotely communicating a computer rendered image sequence
US7076735B2 (en) System and method for network transmission of graphical data through a distributed application
CN105677279B (zh) 桌面区域共享方法、系统及相应的共享端和观看端
US8633940B2 (en) Method and system for texture compression in a system having an AVC decoder and a 3D engine
US9426476B2 (en) Video stream
EP3920131A1 (en) Re-projecting flat projections of pictures of panoramic video for rendering by application
US8396122B1 (en) Video codec facilitating writing an output stream in parallel
CN111935483B (zh) 一种视频图像无损编解码方法及系统
US10200707B2 (en) Video bit stream decoding
US10440360B2 (en) Video processing system
WO2021057097A1 (zh) 图像渲染和编码方法及相关装置
US7760936B1 (en) Decompressing image-based data compressed using luminance
US20160005379A1 (en) Image Generation
US9335964B2 (en) Graphics server for remotely rendering a composite image and method of use thereof
US20120218292A1 (en) System and method for multistage optimized jpeg output
US8594441B1 (en) Compressing image-based data using luminance
CN115941965A (zh) 云桌面编码方法、重建方法、显示方法和显示系统
US20210337222A1 (en) Generating multi-pass-compressed-texture images for fast delivery
KR102669366B1 (ko) 비디오 처리 시스템
CN116489132A (zh) 虚拟桌面数据传输方法、服务器、客户端和存储介质
CN117834903A (zh) 一种jpeg图像序列并行解码和渲染方法
GB2610004A (en) Integrating a decoder for hierachical video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 430050 No. 1, 14 / F, HUAFA Siji phase II office building, No. 19, Meilin East Road, Hanyang District, Wuhan City, Hubei Province

Patentee after: Wuhan zeta cloud Technology Co.,Ltd.

Address before: 100041 room a-0572, 2nd floor, building 3, yard 30, Shixing street, Shijingshan District, Beijing

Patentee before: BEIJING ZETTAKIT TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A video image lossless encoding and decoding method and system

Effective date of registration: 20210823

Granted publication date: 20210202

Pledgee: Bank of China Limited Wuhan Hanyang sub branch

Pledgor: Wuhan zeta cloud Technology Co.,Ltd.

Registration number: Y2021420000077

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220822

Granted publication date: 20210202

Pledgee: Bank of China Limited Wuhan Hanyang sub branch

Pledgor: Wuhan zeta cloud Technology Co.,Ltd.

Registration number: Y2021420000077

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A kind of video image lossless encoding and decoding method and system

Effective date of registration: 20220824

Granted publication date: 20210202

Pledgee: Bank of China Limited Wuhan Hanyang sub branch

Pledgor: Wuhan zeta cloud Technology Co.,Ltd.

Registration number: Y2022420000273

PE01 Entry into force of the registration of the contract for pledge of patent right
CB03 Change of inventor or designer information

Inventor after: Zha Qian

Inventor after: Fan Wenyi

Inventor before: Fan Wenyi

CB03 Change of inventor or designer information