CN108711191A - 一种视频处理方法和vr设备 - Google Patents
一种视频处理方法和vr设备 Download PDFInfo
- Publication number
- CN108711191A CN108711191A CN201810531264.8A CN201810531264A CN108711191A CN 108711191 A CN108711191 A CN 108711191A CN 201810531264 A CN201810531264 A CN 201810531264A CN 108711191 A CN108711191 A CN 108711191A
- Authority
- CN
- China
- Prior art keywords
- texture picture
- video frame
- frame image
- filled
- target video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 title claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施例提供了一种视频处理方法和虚拟现实VR设备，VR设备可以获取目标视频帧图像，通过格式转换模块，创建目标视频帧图像对应的纹理图片，根据图像解码模块输出的目标视频帧图像的解码数据，对纹理图片进行填充，得到三幅已填充纹理图片，然后，通过GPU，根据三幅已填充纹理图片中记录的每一像素点的图像信息，计算对应的RGBA格式的视频数据，得到目标视频帧图像对应的RGBA格式的视频数据。基于上述处理，VR设备可以利用GPU得到目标视频帧图像的RGBA格式的视频数据，可以降低VR设备的CPU的负载，进而使得VR设备可支持较高分辨率的视频资源，提高用户体验。
Description
技术领域
本发明涉及视频处理技术领域，特别是涉及一种视频处理方法和VR设备。
背景技术
随着计算机网络技术的快速发展，设备在传输视频资源时，通常会对视频资源进行压缩编码。在VR(Virtual Reality，虚拟现实)开发领域，VR设备需要对接收到的视频资源进行解码，然后才可以显示该视频资源。现有技术中，在对视频资源进行解码后，VR设备需要基于自身的CPU(Central Processing Unit，中央处理器)将YUV格式的视频资源转换为RGBA格式，然后VR设备可以显示RGBA格式的视频资源。
然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：
对于现有的VR设备，通常是CPU在解码线程中进行视频资源YUV格式到RGBA格式的转换。当视频资源的分辨率达到720P以上时，CPU的数据计算量较大，可能会导致CPU占有率较高，使得VR设备在播放该视频资源时会出现卡顿现象。可见，基于现有技术中的视频处理方法，VR设备可能无法支持720P以上的高分辨率的视频资源，进而降低了VR设备的用户体验。
发明内容
本发明实施例的目的在于提供一种视频处理方法和VR设备，以使VR设备可支持较高分辨率的视频资源，提高VR设备的用户体验。具体技术方案如下：
第一方面，为了达到上述目的，本发明实施例公开了一种视频处理方法，所述方法应用于VR设备，所述方法包括：
获取目标视频帧图像，其中，所述目标视频帧图像为YUV格式；
通过格式转换模块，创建所述目标视频帧图像对应的纹理图片；
根据图像解码模块输出的所述目标视频帧图像的解码数据，对所述纹理图片进行填充，得到三幅已填充纹理图片，其中，所述三幅已填充纹理图片分别表示所述目标视频帧图像的Y通道、U通道和V通道的图像信息；
通过GPU，根据所述三幅已填充纹理图片中记录的每一像素点的图像信息，计算对应的RGBA格式的视频数据，得到所述目标视频帧图像对应的RGBA格式的视频数据。
可选的，所述根据图像解码模块输出的所述目标视频帧图像的解码数据，对所述纹理图片进行填充，得到三幅已填充纹理图片，包括：
根据所述纹理图片中各像素点的坐标，确定所述纹理图片中的冗余像素点；
删除所述纹理图片中的冗余像素点，得到待填充纹理图片；
将图像解码模块输出的所述目标视频帧图像的解码数据，填充至所述待填充纹理图片中，得到三幅已填充纹理图片。
可选的，当所述目标视频帧图像的格式为I420格式时，所述创建所述目标视频帧图像对应的纹理图片，包括：
创建三幅格式为Alpha 8的纹理图片，作为所述目标视频帧图像的纹理图片。
可选的，所述根据图像解码模块输出的所述目标视频帧图像的解码数据，对所述纹理图片进行填充，得到三幅已填充纹理图片，包括：
将图像解码模块输出的所述目标视频帧图像的Y通道、U通道和V通道的解码数据，分别填充至每一格式为Alpha 8的纹理图片中，得到三幅已填充纹理图片。
可选的，当所述目标视频帧图像的格式为NV12格式时，所述创建所述目标视频帧图像对应的纹理图片，包括：
创建一幅格式为Alpha8的纹理图片和一幅格式为RGBA4444的纹理图片，作为所述目标视频帧图像的纹理图片。
可选的，所述根据图像解码模块输出的所述目标视频帧图像的解码数据，对所述纹理图片进行填充，得到三幅已填充纹理图片，包括：
将图像解码模块输出的所述目标视频帧图像的Y通道的解码数据填充至格式为Alpha 8的纹理图片中，并将所述图像解码模块输出的所述目标视频帧图像的UV通道的解码数据填充至格式为RGBA4444的纹理图片中；
将已填充所述目标视频帧图像的UV通道的解码数据的格式为RGBA4444的纹理图片，拆分为两幅等大小的纹理图片；
将拆分得到的纹理图片和已填充所述目标视频帧图像的Y通道的解码数据的格式为Alpha 8的纹理图片，确定为三幅已填充纹理图片。
第二方面，为了达到上述目的，本发明实施例公开了一种VR设备，所述VR设备包括获取模块、格式转换模块、图像解码模块、填充模块和GPU，其中：
所述获取模块，用于获取目标视频帧图像，其中，所述目标视频帧图像为YUV格式；
所述格式转换模块，用于创建所述目标视频帧图像对应的纹理图片；
所述图像解码模块，用于对所述目标视频帧图像进行解码；
所述填充模块，用于根据所述图像解码模块输出的所述目标视频帧图像的解码数据，对所述纹理图片进行填充，得到三幅已填充纹理图片，其中，所述三幅已填充纹理图片分别表示所述目标视频帧图像的Y通道、U通道和V通道的图像信息；
所述GPU，用于根据所述三幅已填充纹理图片中记录的每一像素点的图像信息，计算对应的RGBA格式的视频数据，得到所述目标视频帧图像对应的RGBA格式的视频数据。
可选的，所述填充模块，具体用于根据所述纹理图片中各像素点的坐标，确定所述纹理图片中的冗余像素点；
删除所述纹理图片中的冗余像素点，得到待填充纹理图片；
将图像解码模块输出的所述目标视频帧图像的解码数据，填充至所述待填充纹理图片中，得到三幅已填充纹理图片。
可选的，当所述目标视频帧图像的格式为I420格式时，所述格式转换模块，具体用于创建三幅格式为Alpha 8的纹理图片，作为所述目标视频帧图像的纹理图片。
可选的，所述填充模块，具体用于将所述图像解码模块输出的所述目标视频帧图像的Y通道、U通道和V通道的解码数据，分别填充至每一格式为Alpha 8的纹理图片中，得到三幅已填充纹理图片。
可选的，当所述目标视频帧图像的格式为NV12格式时，所述格式转换模块，具体用于创建一幅格式为Alpha8的纹理图片和一幅格式为RGBA4444的纹理图片，作为所述目标视频帧图像的纹理图片。
可选的，所述填充模块，具体用于将所述图像解码模块输出的所述目标视频帧图像的Y通道的解码数据填充至格式为Alpha 8的纹理图片中，并将所述图像解码模块输出的所述目标视频帧图像的UV通道的解码数据填充至格式为RGBA4444的纹理图片中；
将已填充所述目标视频帧图像的UV通道的解码数据的格式为RGBA4444的纹理图片，拆分为两幅等大小的纹理图片；
将拆分得到的纹理图片和已填充所述目标视频帧图像的Y通道的解码数据的格式为Alpha 8的纹理图片，确定为三幅已填充纹理图片。
本发明实施例提供的一种视频处理方法和VR设备，可以获取目标视频帧图像，通过格式转换模块，创建目标视频帧图像对应的纹理图片，根据图像解码模块输出的目标视频帧图像的解码数据，对纹理图片进行填充，得到三幅已填充纹理图片，然后通过GPU，根据三幅已填充纹理图片中记录的每一像素点的图像信息，计算对应的RGBA格式的视频数据，得到目标视频帧图像对应的RGBA格式的视频数据。基于上述处理，VR设备可以利用GPU根据三幅已填充纹理图片中记录的每一像素点的图像信息，得到目标视频帧图像对应的RGBA格式的视频数据，而不是利用CPU直接对目标视频帧进行转换，可以提高数据计算速率，降低VR设备的CPU的负载，进而使得VR设备可支持较高分辨率的视频资源，提高用户体验。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种视频处理系统的框架图；
图2为本发明实施例提供的一种视频处理方法的流程图；
图3为本发明实施例提供的一种获取已填充纹理图片方法的流程图；
图4为本发明实施例提供的一种VR设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
现有技术中，在对视频资源进行解码后，VR设备需要基于自身的CPU将YUV格式的视频资源转换为RGBA格式。然而，对于现有的VR设备，当视频资源的分辨率达到720P以上时，可能会导致VR设备的CPU占有率较高，使得VR设备在播放该视频资源时出现卡顿现象。由以上可见，基于现有技术中的视频处理方法，VR设备可能无法支持720P以上的高分辨率的视频资源，进而降低了VR设备的用户体验。
为了解决上述问题，本发明实施例提供了一种视频处理方法和VR设备，VR设备可以获取目标视频帧图像，并通过格式转换模块，创建目标视频帧图像对应的纹理图片，根据图像解码模块输出的目标视频帧图像的解码数据，对纹理图片进行填充，得到三幅已填充纹理图片，然后，VR设备可以通过GPU，根据三幅已填充纹理图片中记录的每一像素点的图像信息，计算对应的RGBA格式的视频数据，得到目标视频帧图像对应的RGBA格式的视频数据。基于上述处理，VR设备可以利用GPU根据三幅已填充纹理图片中记录的每一像素点的图像信息，得到目标视频帧图像对应的RGBA格式的视频数据，而不是利用CPU直接对目标视频帧进行转换，可以提高数据计算速率，降低VR设备的CPU的负载，进而使得VR设备可支持较高分辨率的视频资源，提高用户体验。
参见图1，图1为本发明实施例提供的一种视频处理系统的框架图，该系统可以应用于VR设备，该系统可以包括：SDK(Software Development Kit，软件开发工具包)、格式转换模块和VR播放模块。其中，SDK可以用于对目标视频帧图像进行解码；格式转换模块可以为VR设备接收到的目标视频帧图像创建对应的纹理图片，并将创建的纹理图片发送至VR播放模块，VR播放模块可以接收格式转换模块创建的纹理图片，并根据SDK输出的目标视频帧图像的解码数据，对纹理图片进行填充，并将已填充纹理图片返回至格式转换模块。格式转换模块可以接收已填充纹理图片，生成目标视频帧图像对应的RGBA格式的视频数据。
参见图2，图2为本发明实施例提供的一种视频处理方法的流程图，方法可以应用于VR设备，VR设备可以包括GPU、格式转换模块和图像解码模块，其中，格式转换模块中可以配置有统一体Unity程序，Unity程序可以支持现有的VR设备中的多种操作平台。例如，安卓平台、IOS(Iphone Operating System苹果操作系统)平台或其他平台，使得该方法可以实现跨平台的视频处理，图像解码模块中可以配置有SDK。该方法可以包括以下步骤：
S201：获取目标视频帧图像。
其中，目标视频帧图像为YUV格式。
在实施中，当VR需要显示视频图像时，可以通过网络或者其他接入设备获取需要显示的视频图像中的每一视频帧图像(即目标视频帧图像)。
S202：通过格式转换模块，创建目标视频帧图像对应的纹理图片。
其中，该目标视频帧图像对应的纹理图片通常为多个，纹理图片可以用来记录目标视频帧图像Y(亮度信息)、U(色度信号)和V(色度信号)三个通道的图像信息。
在实施中，当VR设备获取目标视频帧图像后，可以通过格式转换模块，创建该目标视频帧图像对应的纹理图片。具体的，当VR设备获取目标视频帧图像后，可以首先确定该目标视频帧图像的格式，并获取该目标视频帧图像的分辨率大小，针对不同格式的目标视频帧图像，VR设备可以通过格式转换模块，采取不同的方式为该目标视频帧创建对应的纹理图片。其中，该目标视频帧图像对应的纹理图片的分辨率大小与该目标视频帧图像的分辨率大小相同，目标视频帧图像的格式可以为I420格式、NV12格式或其他格式。
S203：根据图像解码模块输出的目标视频帧图像的解码数据，对纹理图片进行填充，得到三幅已填充纹理图片。
其中，三幅已填充纹理图片可以分别表示目标视频帧图像的Y通道、U通道和V通道的图像信息。
在实施中，VR设备获取到目标视频帧图像后，可以通过图像解码模块，对该目标视频帧图像进行解码，得到该目标视频帧图像对应的解码数据。然后，VR设备可以将解码数据中Y通道、U通道和V通道的图像信息，分别填充到该目标视频帧对应的纹理图片中，并根据填充结果，得到三幅已填充纹理图片。
S204：通过GPU，根据三幅已填充纹理图片中记录的每一像素点的图像信息，计算对应的RGBA格式的视频数据，得到目标视频帧图像对应的RGBA格式的视频数据。
在实施中，VR设备可以通过GPU，根据三幅已填充纹理图片中记录的每一像素点的Y通道、U通道和V通道的图像信息，以及预设的YUV格式至RGB格式的转换算法，分别计算该像素点的R值、G值和B值，然后，可以根据预设的A值，得到目标视频帧图像对应的RGBA格式的视频数据，通常，预设A值可以为1，表示该像素点完全不透明。预设的YUV格式至RGB格式的转换算法可以为现有技术中YUV格式与RGB格式的转换公式，在此不再赘述。具体的，GPU可以根据Shader(着色器)计算RGBA格式的视频数据。
由以上可见，基于本发明实施例的视频处理方法，可以利用GPU根据三幅已填充纹理图片中记录的每一像素点的图像信息，得到目标视频帧图像对应的RGBA格式的视频数据，而不是利用CPU直接对目标视频帧进行转换，可以提高数据计算速率，降低VR设备的CPU的负载，进而使得VR设备可支持较高分辨率的视频资源，提高用户体验。
可选的，VR设备还可以根据目标视频帧图像，删除纹理图片中的冗余像素点。相应的，S203可以包括以下步骤：
S2031：根据纹理图片中各像素点的坐标，确定纹理图片中的冗余像素点。
其中，设备在传输视频资源时，为了提高编码的计算效率，通常会在该视频资源的视频帧图像中添加冗余像素点，以实现该视频帧图像中的像素点的个数为2的整数次幂。例如，某一视频帧图像为125像素点×64像素点，设备在对该视频帧图像进行编码时，可以在该视频帧图像中添加冗余像素点，以将该视频帧图像补为128像素点×64像素点的视频帧图像。
在实施中，当VR获取目标视频帧图像后，可以解析目标视频帧图像，确定目标视频帧图像中的冗余像素点的坐标(第一坐标)，然后，VR设备可以在该目标视频帧对应的每一纹理图片中，确定出第一坐标对应的像素点(即纹理图片中的冗余像素点)。
S2032：删除纹理图片中的冗余像素点，得到待填充纹理图片。
在实施中，针对该目标视频帧图像的每一纹理图片，VR设备可以删除纹理图片中的冗余像素点，得到对应的待填充纹理图片。
S2033：将图像解码模块输出的目标视频帧图像的解码数据，填充至待填充纹理图片中，得到三幅已填充纹理图片。
在实施中，VR设备获取待填充纹理图片后，可以将该目标视频帧图像对应的解码数据中Y通道、U通道和V通道的图像信息，分别填充至对应的待填充纹理图片中，得到三幅已填充纹理图片。
由以上可见，基于本发明实施例的视频处理方法，VR设备可以删除纹理图片中的冗余像素点，进而可以根据已删除冗余像素点的已填充纹理图片，得到目标视频帧图像对应的RGBA格式的视频数据，能够提高视频处理的精确度。
可选的，针对不同格式的目标视频帧图像，本发明实施例提供了以下两种视频处理方法。
一、当目标视频帧图像的格式为I420格式时，创建目标视频帧图像对应的纹理图片，可以包括以下步骤：创建三幅格式为Alpha 8的纹理图片，作为目标视频帧图像的纹理图片。
在实施中，当VR设备判断目标视频帧图像的格式为I420格式时，由于I420格式的目标视频帧图像是一种三平面模式，即分为Y平面、U平面和V平面，在记录Y通道、U通道和V通道的图像信息时，Y通道、U通道和V通道的图像信息都以独立的平面进行记录。VR设备可以通过格式转换模块，创建三幅Alpha8格式的纹理图片，分别用于表示该目标视频帧图像的Y通道、U通道和V通道的图像信息。其中，Alpha 8格式的纹理图片每个像素点需要占用8bit的内存。
相应的，S203可以包括以下处理步骤：将图像解码模块输出的目标视频帧图像的Y通道、U通道和V通道的解码数据，分别填充至每一格式为Alpha 8的纹理图片中，得到三幅已填充纹理图片。
在实施中，VR设备可以将图像解码模块输出的目标视频帧图像的Y通道、U通道和V通道的解码数据，分别填充至每一格式为Alpha 8的纹理图片中，进而可以得到三幅已填充纹理图片。
二、当目标视频帧图像的格式为NV12格式时，创建目标视频帧图像对应的纹理图片，可以包括以下步骤：创建一幅格式为Alpha8的纹理图片和一幅格式为RGBA4444的纹理图片，作为目标视频帧图像的纹理图片。
在实施中，当VR设备判断目标视频帧图像的格式为NV12格式时，由于NV12格式的目标视频帧图像是一种两平面模式，在记录Y通道、U通道和V通道的图像信息时，U通道和V通道的图像信息为交替存储，即可分为Y和UV两个平面，因此，VR设备可以通过格式转换模块，创建一幅Alpha 8格式的纹理图片，用于表示该目标视频帧图像的Y通道的图像信息，一幅RGBA4444格式的纹理图片，用于表示该目标帧图像的UV通道的图像信息。其中，RGBA4444格式的纹理图片每个像素点需要占用4×4＝16bit的内存。
相应的，S203可以包括以下处理步骤：将图像解码模块输出的目标视频帧图像的Y通道的解码数据填充至格式为Alpha 8的纹理图片中，并将图像解码模块输出的目标视频帧图像的UV通道的解码数据填充至格式为RGBA4444的纹理图片中；将已填充目标视频帧图像的UV通道的解码数据的格式为RGBA4444的纹理图片，拆分为两幅等大小的纹理图片；将拆分得到的纹理图片和已填充目标视频帧图像的Y通道的解码数据的格式为Alpha 8的纹理图片，确定为三幅已填充纹理图片。
在实施中，VR设备可以将图像解码模块输出的目标视频帧图像的Y通道的解码数据填充至格式为Alpha 8的纹理图片中，用于表示目标视频帧图像的Y通道的图像信息。同时，VR设备可以将图像解码模块输出的目标视频帧图像的UV通道的解码数据填充至格式为RGBA4444的纹理图片中，然后，VR设备可以将已填充目标视频帧图像的UV通道的解码数据的格式为RGBA4444的纹理图片，拆分为两幅等大小的纹理图片，分别用于表示目标视频帧图像的U通道和V通道的图像信息，得到三幅已填充纹理图片。
由以上可见，VR设备可以采取不同的视频处理方法，能够适用于不同格式的目标视频帧图像，进而可以提高用户体验。
与图2方法实施例相对应，参见图4，图4为本发明实施例提供的一种VR设备的结构图，VR设备可以包括获取模块401、格式转换模块402、图像解码模块403、填充模块404和GPU405，其中：
所述获取模块401，用于获取目标视频帧图像，其中，所述目标视频帧图像为YUV格式；
所述格式转换模块402，用于创建所述目标视频帧图像对应的纹理图片；
所述图像解码模块403，用于对所述目标视频帧图像进行解码；
所述填充模块404，用于根据所述图像解码模块403输出的所述目标视频帧图像的解码数据，对所述纹理图片进行填充，得到三幅已填充纹理图片，其中，所述三幅已填充纹理图片分别表示所述目标视频帧图像的Y通道、U通道和V通道的图像信息；
所述GPU405，用于根据所述三幅已填充纹理图片中记录的每一像素点的图像信息，计算对应的RGBA格式的视频数据，得到所述目标视频帧图像对应的RGBA格式的视频数据。
可选的，所述填充模块404，具体用于根据所述纹理图片中各像素点的坐标，确定所述纹理图片中的冗余像素点；
删除所述纹理图片中的冗余像素点，得到待填充纹理图片；
将所述图像解码模块输出的所述目标视频帧图像的解码数据，填充至所述待填充纹理图片中，得到三幅已填充纹理图片。
可选的，当所述目标视频帧图像的格式为I420格式时，所述格式转换模块402，具体用于创建三幅格式为Alpha 8的纹理图片，作为所述目标视频帧图像的纹理图片。
可选的，所述填充模块404，具体用于将所述图像解码模块输出的所述目标视频帧图像的Y通道、U通道和V通道的解码数据，分别填充至每一格式为Alpha 8的纹理图片中，得到三幅已填充纹理图片。
可选的，当所述目标视频帧图像的格式为NV12格式时，所述格式转换模块402，具体用于创建一幅格式为Alpha8的纹理图片和一幅格式为RGBA4444的纹理图片，作为所述目标视频帧图像的纹理图片。
可选的，所述填充模块404，具体用于将所述图像解码模块输出的所述目标视频帧图像的Y通道的解码数据填充至格式为Alpha 8的纹理图片中，并将所述图像解码模块输出的所述目标视频帧图像的UV通道的解码数据填充至格式为RGBA4444的纹理图片中；
将已填充所述目标视频帧图像的UV通道的解码数据的格式为RGBA4444的纹理图片，拆分为两幅等大小的纹理图片；
将拆分得到的纹理图片和已填充所述目标视频帧图像的Y通道的解码数据的格式为Alpha 8的纹理图片，确定为三幅已填充纹理图片。
由以上可见，基于本发明实施例的VR设备，可以利用GPU根据三幅已填充纹理图片中记录的每一像素点的图像信息，得到目标视频帧图像对应的RGBA格式的视频数据，而不是利用CPU直接对目标视频帧进行转换，可以提高数据计算速率，降低VR设备的CPU的负载，进而使得VR设备可支持较高分辨率的视频资源，提高用户体验。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于VR设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
Claims (12)
1.一种视频处理方法，其特征在于，所述方法应用于虚拟现实VR设备，所述方法包括：
获取目标视频帧图像，其中，所述目标视频帧图像为YUV格式；
通过格式转换模块，创建所述目标视频帧图像对应的纹理图片；
根据图像解码模块输出的所述目标视频帧图像的解码数据，对所述纹理图片进行填充，得到三幅已填充纹理图片，其中，所述三幅已填充纹理图片分别表示所述目标视频帧图像的Y通道、U通道和V通道的图像信息；
通过GPU，根据所述三幅已填充纹理图片中记录的每一像素点的图像信息，计算对应的RGBA格式的视频数据，得到所述目标视频帧图像对应的RGBA格式的视频数据。
2.根据权利要求1所述的方法，其特征在于，所述根据图像解码模块输出的所述目标视频帧图像的解码数据，对所述纹理图片进行填充，得到三幅已填充纹理图片，包括：
根据所述纹理图片中各像素点的坐标，确定所述纹理图片中的冗余像素点；
删除所述纹理图片中的冗余像素点，得到待填充纹理图片；
将图像解码模块输出的所述目标视频帧图像的解码数据，填充至所述待填充纹理图片中，得到三幅已填充纹理图片。
3.根据权利要求1所述的方法，其特征在于，当所述目标视频帧图像的格式为I420格式时，所述创建所述目标视频帧图像对应的纹理图片，包括：
创建三幅格式为Alpha 8的纹理图片，作为所述目标视频帧图像的纹理图片。
4.根据权利要求3所述的方法，其特征在于，所述根据图像解码模块输出的所述目标视频帧图像的解码数据，对所述纹理图片进行填充，得到三幅已填充纹理图片，包括：
将图像解码模块输出的所述目标视频帧图像的Y通道、U通道和V通道的解码数据，分别填充至每一格式为Alpha 8的纹理图片中，得到三幅已填充纹理图片。
5.根据权利要求1所述的方法，其特征在于，当所述目标视频帧图像的格式为NV12格式时，所述创建所述目标视频帧图像对应的纹理图片，包括：
创建一幅格式为Alpha8的纹理图片和一幅格式为RGBA4444的纹理图片，作为所述目标视频帧图像的纹理图片。
6.根据权利要求5所述的方法，其特征在于，所述根据图像解码模块输出的所述目标视频帧图像的解码数据，对所述纹理图片进行填充，得到三幅已填充纹理图片，包括：
将图像解码模块输出的所述目标视频帧图像的Y通道的解码数据填充至格式为Alpha8的纹理图片中，并将所述图像解码模块输出的所述目标视频帧图像的UV通道的解码数据填充至格式为RGBA4444的纹理图片中；
将已填充所述目标视频帧图像的UV通道的解码数据的格式为RGBA4444的纹理图片，拆分为两幅等大小的纹理图片；
将拆分得到的纹理图片和已填充所述目标视频帧图像的Y通道的解码数据的格式为Alpha 8的纹理图片，确定为三幅已填充纹理图片。
7.一种虚拟现实VR设备，其特征在于，所述VR设备包括获取模块、格式转换模块、图像解码模块、填充模块和图像处理器GPU，其中：
所述获取模块，用于获取目标视频帧图像，其中，所述目标视频帧图像为YUV格式；
所述格式转换模块，用于创建所述目标视频帧图像对应的纹理图片；
所述图像解码模块，用于对所述目标视频帧图像进行解码；
所述填充模块，用于根据所述图像解码模块输出的所述目标视频帧图像的解码数据，对所述纹理图片进行填充，得到三幅已填充纹理图片，其中，所述三幅已填充纹理图片分别表示所述目标视频帧图像的Y通道、U通道和V通道的图像信息；
所述GPU，用于根据所述三幅已填充纹理图片中记录的每一像素点的图像信息，计算对应的RGBA格式的视频数据，得到所述目标视频帧图像对应的RGBA格式的视频数据。
8.根据权利要求7所述的VR设备，其特征在于，
所述填充模块，具体用于根据所述纹理图片中各像素点的坐标，确定所述纹理图片中的冗余像素点；
删除所述纹理图片中的冗余像素点，得到待填充纹理图片；
将图像解码模块输出的所述目标视频帧图像的解码数据，填充至所述待填充纹理图片中，得到三幅已填充纹理图片。
9.根据权利要求7所述的VR设备，其特征在于，当所述目标视频帧图像的格式为I420格式时，所述格式转换模块，具体用于创建三幅格式为Alpha 8的纹理图片，作为所述目标视频帧图像的纹理图片。
10.根据权利要求9所述的VR设备，其特征在于，所述填充模块，具体用于将所述图像解码模块输出的所述目标视频帧图像的Y通道、U通道和V通道的解码数据，分别填充至每一格式为Alpha 8的纹理图片中，得到三幅已填充纹理图片。
11.根据权利要求7所述的VR设备，其特征在于，当所述目标视频帧图像的格式为NV12格式时，所述格式转换模块，具体用于创建一幅格式为Alpha8的纹理图片和一幅格式为RGBA4444的纹理图片，作为所述目标视频帧图像的纹理图片。
12.根据权利要求11所述的VR设备，其特征在于，所述填充模块，具体用于将所述图像解码模块输出的所述目标视频帧图像的Y通道的解码数据填充至格式为Alpha 8的纹理图片中，并将所述图像解码模块输出的所述目标视频帧图像的UV通道的解码数据填充至格式为RGBA4444的纹理图片中；
将已填充所述目标视频帧图像的UV通道的解码数据的格式为RGBA4444的纹理图片，拆分为两幅等大小的纹理图片；
将拆分得到的纹理图片和已填充所述目标视频帧图像的Y通道的解码数据的格式为Alpha 8的纹理图片，确定为三幅已填充纹理图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810531264.8A CN108711191A (zh) | 2018-05-29 | 2018-05-29 | 一种视频处理方法和vr设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810531264.8A CN108711191A (zh) | 2018-05-29 | 2018-05-29 | 一种视频处理方法和vr设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108711191A true CN108711191A (zh) | 2018-10-26 |
Family
ID=63869842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810531264.8A Pending CN108711191A (zh) | 2018-05-29 | 2018-05-29 | 一种视频处理方法和vr设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108711191A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859309A (zh) * | 2019-01-14 | 2019-06-07 | 仲恺农业工程学院 | 一种实现仿真教学的物联网教学信息处理系统及方法 |
| CN111093096A (zh) * | 2019-12-25 | 2020-05-01 | 广州酷狗计算机科技有限公司 | 视频编码方法及装置、存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103607581A (zh) * | 2013-08-01 | 2014-02-26 | 广东本致数码科技有限公司 | 基于三维图像视频监控图像显示方法 |
| US8947449B1 (en) * | 2012-02-21 | 2015-02-03 | Google Inc. | Color space conversion between semi-planar YUV and planar YUV formats |
| CN105791764A (zh) * | 2015-03-19 | 2016-07-20 | 广州市三川田文化科技股份有限公司 | 一种基于三维图像视频监控图像显示方法 |
| CN106228581A (zh) * | 2016-08-01 | 2016-12-14 | 武汉斗鱼网络科技有限公司 | 通过gpu将像素格式由argb转换为nv12的方法及系统 |
-
2018
- 2018-05-29 CN CN201810531264.8A patent/CN108711191A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8947449B1 (en) * | 2012-02-21 | 2015-02-03 | Google Inc. | Color space conversion between semi-planar YUV and planar YUV formats |
| CN103607581A (zh) * | 2013-08-01 | 2014-02-26 | 广东本致数码科技有限公司 | 基于三维图像视频监控图像显示方法 |
| CN105791764A (zh) * | 2015-03-19 | 2016-07-20 | 广州市三川田文化科技股份有限公司 | 一种基于三维图像视频监控图像显示方法 |
| CN106228581A (zh) * | 2016-08-01 | 2016-12-14 | 武汉斗鱼网络科技有限公司 | 通过gpu将像素格式由argb转换为nv12的方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859309A (zh) * | 2019-01-14 | 2019-06-07 | 仲恺农业工程学院 | 一种实现仿真教学的物联网教学信息处理系统及方法 |
| CN111093096A (zh) * | 2019-12-25 | 2020-05-01 | 广州酷狗计算机科技有限公司 | 视频编码方法及装置、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2020201708B2 (en) | Techniques for encoding, decoding and representing high dynamic range images | |
| US11388442B2 (en) | Point cloud encoding method, point cloud decoding method, encoder, and decoder | |
| JP2016226001A (ja) | デコーダおよび復号方法 | |
| BR102013020622B1 (pt) | Codificador e método | |
| US12120328B2 (en) | Transmission device of point cloud data and method performed by transmission device, and reception device of point cloud data and method performed by reception device | |
| CN108711191A (zh) | 一种视频处理方法和vr设备 | |
| CN105144726A (zh) | 指示媒体内容的样本的标称范围的定制数据 | |
| CN104104954A (zh) | 用于图形应用的基于瓦片的压缩与解压缩 | |
| CN110572664A (zh) | 一种新的bmp图像压缩方法及系统 | |
| EP4451691A1 (en) | Transmission device for point cloud data and method performed by transmission device, and reception device for point cloud data and method performed by reception device | |
| KR20240093609A (ko) | 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법 | |
| KR20240090298A (ko) | 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법 | |
| WO2020057338A1 (zh) | 点云编码方法和编码器 | |
| CN116708800A (zh) | 图像编码与解码方法、装置及系统 | |
| KR20240125607A (ko) | 포인트 클라우드 데이터의 전송 장치와 이 전송 장치에서 수행되는 방법 및, 포인트 클라우드 데이터의 수신 장치와 이 수신 장치에서 수행되는 방법 | |
| CN118355667A (zh) | 点云数据的发送装置和由发送装置执行的方法及点云数据的接收装置和由接收装置执行的方法 | |
| JP2007531078A (ja) | ３次元メッシュ情報の符号化及び復号化方法並びにその装置 | |
| CN118614067A (zh) | 点云数据的发送装置、由发送装置执行的方法、点云数据的接收装置和由接收装置执行的方法 | |
| CN117643062A (zh) | 点云数据的发送装置和由发送装置执行的方法及点云数据的接收装置和由接收装置执行的方法 | |
| CN118214872A (zh) | 一种超高清无损图像编解码方法和系统 | |
| BR102013020614B1 (pt) | Decodificador e método |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181026 |
|
| RJ01 | Rejection of invention patent application after publication |