CN113411660B - 视频数据的处理方法、装置和电子设备 - Google Patents
视频数据的处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN113411660B CN113411660B CN202110004509.3A CN202110004509A CN113411660B CN 113411660 B CN113411660 B CN 113411660B CN 202110004509 A CN202110004509 A CN 202110004509A CN 113411660 B CN113411660 B CN 113411660B
- Authority
- CN
- China
- Prior art keywords
- video
- parameter
- custom
- processing
- image post
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 14
- 239000000872 buffer Substances 0.000 claims abstract description 235
- 238000012805 post-processing Methods 0.000 claims abstract description 153
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims description 45
- 238000012546 transfer Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000000306 component Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000006992 Color Vision Defects Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000007254 color blindness Diseases 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Generation (AREA)
Abstract
本申请的实施例提供了一种视频数据的处理方法、装置和电子设备，本申请涉及云技术领域。本申请实施例中的视频数据的处理方法包括获取用于对视频数据的原始视频帧进行图像后处理的视频参数，原始视频帧通过对视频数据进行解码得到；将视频参数设置给预创建的自定义屏幕缓冲区；将自定义屏幕缓冲区中的视频参数转存至预创建的自定义绘图纹理缓冲区，以使图像后处理模块从自定义绘图纹理缓冲区中获取视频参数，并执行图像后处理的操作。本申请实施例的技术方案能适应图像后处理模块所获取的数据需要逐帧对应的视频播放场景，显著提高了视频播放的效果。
Description
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种视频数据的处理方法、装置和电子设备。
背景技术
随着移动网络技术的发展，传统的视频播放功能也不断推出许多个性化的功能，例如超分辨率、色盲和臻彩世界等。
在基于安卓平台的终端设备上实现上述个性化功能时，一般的数据处理流程为先通过播放器解码视频数据，然后通过图像后处理模块对解码得到的解码数据做进一步的数据处理，最后进行显示。
具体的，可以通过硬件解码器MediaCodec将解码数据转存到绘图纹理缓冲区SurfaceTexture，再由绘图纹理缓冲区传递给图像后处理模块。图像后处理模块与播放器之间通过绘图纹理缓冲区来连接承载数据。而图像后处理模块在进行数据处理时，还需要获取进行图像后处理的视频参数，这些视频参数一般通过消息事件回调的方式被传递至图像后处理模块，由于视频参数和解码数据是异步传递，导致图像后处理模块所获取的数据不是逐帧对应的，因此相关技术中的方法存在无法适应图像后处理模块所获取的数据需要逐帧对应的视频播放场景的技术问题。
发明内容
本申请的实施例提供了一种视频数据的处理方法、装置、电子设备和介质，可以解决已有存在的无法适应图像后处理模块所获取的数据需要逐帧对应的视频播放场景的技术问题。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供了一种视频数据的处理方法，包括：获取用于对视频数据的原始视频帧进行图像后处理的视频参数，所述原始视频帧通过对所述视频数据进行解码得到；将所述视频参数设置给预创建的自定义屏幕缓冲区；将所述自定义屏幕缓冲区中的视频参数转存至预创建的自定义绘图纹理缓冲区，以使所述图像后处理模块从所述自定义绘图纹理缓冲区中获取所述视频参数，并执行图像后处理的操作。
根据本申请实施例的一个方面，提供了一种视频数据的处理装置，包括：获取单元，用于获取用于对视频数据的原始视频帧进行图像后处理的视频参数，所述原始视频帧通过对所述视频数据进行解码得到；设置单元，用于将所述视频参数设置给预创建的自定义屏幕缓冲区；第一转存单元，用于将所述自定义屏幕缓冲区中的视频参数转存至预创建的自定义绘图纹理缓冲区，以使所述图像后处理模块从所述自定义绘图纹理缓冲区中获取所述视频参数，并执行图像后处理的操作。
在本申请的一些实施例中，基于前述方案，所述视频数据的处理装置还包括：检测单元，用于若检测到对所述视频数据进行解码得到的所述原始视频帧，则生成视频参数回调通知；所述第一转存单元被配置为：将所述自定义屏幕缓冲区中的所述视频参数转发至预创建的自定义绘图纹理缓冲区；发送所述视频参数回调通知至所述图像后处理模块，以使所述图像后处理模块基于所述视频参数回调通知从所述自定义绘图纹理缓冲区中获取所述视频参数，并执行图像后处理的操作。
在本申请的一些实施例中，基于前述方案，所述视频数据的处理装置还包括：第一渲染单元，用于若检测到对所述视频数据进行解码得到的所述原始视频帧，则将所述原始视频帧渲染至所述自定义屏幕缓冲区；第二转存单元，用于将所述自定义屏幕缓冲区中的所述原始视频帧转存至所述自定义绘图纹理缓冲区；第二渲染单元，用于对所述自定义绘图纹理缓冲区中的所述原始视频帧进行纹理转换，生成纹理数据，以使所述图像后处理模块从所述自定义绘图纹理缓冲区中获取所述纹理数。
在本申请的一些实施例中，基于前述方案，所述第一转存单元被配置为：发送所述视频参数回调通知至所述图像后处理模块，以使所述图像后处理模块在接收到所述视频参数回调通知时，从所述自定义绘图纹理缓冲区中获取所述纹理数据和所述视频参数，并基于所述纹理数据和所述视频参数执行图像后处理的操作。
在本申请的一些实施例中，基于前述方案，所述视频数据的处理装置还包括：第一创建单元，用于通过所述图像后处理模块创建自定义绘图纹理缓冲区；第二创建单元，用于基于创建的自定义绘图纹理缓冲区创建自定义屏幕缓冲区；第三创建单元，用于创建所述自定义屏幕缓冲区与所述自定义绘图纹理缓冲区之间的参数桥接函数、第一参数接口以及第二参数接口，所述参数桥接函数用于将所述视频参数从所述自定义屏幕缓冲区转存至所述自定义绘图纹理缓冲区，所述第一参数接口是向所述自定义屏幕缓冲区进行视频参数设置的参数接口，所述第二参数接口为所述图像后处理模块从所述自定义绘图纹理缓冲区中获取视频参数的参数接口；初始化单元，用于初始化播放器，并关联所述播放器以及所述自定义屏幕缓冲区，以使得所述播放器对所述视频数据进行解码生成原始视频帧并将所述原始视频帧渲染至所述自定义屏幕缓冲区，以及使得所述播放器获取用于对所述原始视频帧进行图像后处理的视频参数并将所述视频参数设置给所述自定义屏幕缓冲区。
在本申请的一些实施例中，基于前述方案，所述第一创建单元被配置为：通过所述图像后处理模块获取待创建的自定义绘图纹理缓冲区的纹理标识；创建与所述纹理标识具有对应关系的自定义绘图纹理缓冲区。
在本申请的一些实施例中，基于前述方案，所述第三创建单元被配置为：确定用于对所述原始视频帧进行图像后处理的视频参数的参数类型；创建与所述参数类型具有对应关系的参数桥接函数、第一参数接口以及第二参数接口。
在本申请的一些实施例中，基于前述方案，所述视频参数包括以下参数中的一个或多个：所述原始视频帧的宽高参数、对所述原始视频帧进行图像增强处理的属性参数或所述原始视频帧中的人脸坐标参数。
根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的视频数据的处理方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的视频数据的处理方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的视频数据的处理方法。
在本申请的一些实施例所提供的技术方案中，通过预创建的自定义屏幕缓冲区以及自定义绘图纹理缓冲区，使得图像后处理模块可以从传输原始视频帧的数据通道中获取视频参数，由此保证图像后处理模块所获取的视频参数是与原始视频帧是逐帧对应的，从而可以适应图像后处理模块所获取的数据需要逐帧对应的视频播放场景，由此可以显著提高视频播放的效果，提升用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了一种安卓平台图像后处理的数据传递流程示意图。
图2示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
图3示出了根据本申请的一个实施例的视频数据的处理方法的流程图。
图4示出了根据本申请的一个实施例的图像后处理模块的数据传递流程示意图。
图5示出了根据本申请的一个实施例中的视频数据的处理方法的步骤S330的具体流程图。
图6示出了根据本申请的一个实施例中的视频数据的处理方法的流程图。
图7示出了根据本申请的一个实施例中的视频数据的处理方法的流程图。
图8示出了根据本申请的一个实施例中的视频数据的处理方法的步骤S710的具体流程图。
图9示出了根据本申请的一个实施例中的视频数据的处理方法的步骤S730的具体流程图。
图10示出了根据本申请的一个实施例的视频数据的处理装置的框图。
图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)Surface，安卓平台下的原始缓冲区(raw buffer)的句柄，对应了一块屏幕缓冲区，每个窗口(window)对应一个Surface，任何视图(View)都要画在Surface的画布(Canvas)上，可以认为Android中的Surface就是一个用来画图形(graphics)或图像(image)的地方，是用来管理显示内容的数据的。
2)SurfaceTexture，是安卓平台上做渲染的核心组件，它是Surface和OpenGL ES纹理的组合，用于提供输出到GLES纹理的Surface。从安卓渲染系统上来说，SurfaceTexture是一个BufferQueue的消费者，当生产方将新的原始缓冲区排入队列时，onFrameAvailable()回调通知需要调用的。然后，需要调用的原始视频帧调用updateTexImage()，这会释放SurfaceTexture中先前已占有的缓冲区，从队列中获取新的原始缓冲区中的数据并执行EGL调用，从而使OpenGL ES纹理可将此缓冲区作为外部纹理使用。
3)MediaCodec，安卓平台下的硬件解码器，可用于解码压缩视频帧数据。
图1示出了一种安卓平台图像后处理的数据传递流程示意图，基于安卓平台的客户端包括播放器(Player)和图像后处理模块，在实际实施时，图像后处理模块根据纹理标识(ID，Identification)创建绘图纹理缓冲区(SurfaceTexture)，然后基于绘图纹理缓冲区生成屏幕缓冲区(Surface)，当屏幕缓冲区(Surface)缓存有对视频数据进行解码处理生成的原始视频帧时，onFrameAvailable()回调通知需要图像后处理模块，屏幕缓冲区(Surface)将原始视频帧转换为纹理数据，绘图纹理缓冲区(SurfaceTexture)从屏幕缓冲区(Surface)中获取纹理数据，图像后处理模块通过从绘图纹理缓冲区(SurfaceTexture)获取对应的纹理数据，并基于获取的纹理数据执行图像后处理的操作。
由于安卓平台的局限性，绘图纹理缓冲区只会保存部分原始视频帧数据，例如显示时间戳(PTS，Presentation Time Stamp)数据和旋转矩阵数据，但是图像后处理可能需要更多进行图像后处理的视频参数，如原始视频帧的宽高参数、对原始视频帧进行图像增强处理的属性参数以及原始视频帧中的人脸坐标参数。进行图像后处理的视频参数是以异步通信的方式被传递至图像后处理模块的，由于图像后处理模块所获取的视频参数和从绘图纹理缓冲区传递的数据不是同一个通道的，因此使得图像后处理模块所获取的数据不是逐帧对应的。
图2示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
如图2所示，系统架构可以包括客户端201、网络202和服务器203。客户端201和服务器203之间通过网络202连接，并基于网络202进行数据交互，该网络可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
应该理解，图2中的客户端201、网络202和服务器203的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端201、网络202和服务器203。比如客户端201可以是智能手机、平板电脑等，但并不局限于此。而服务器203可以是多个服务器组成的服务器集群等。
可选地，服务器203可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云数据库、云存储、网络服务等基础云计算服务的云服务器。
客户端201获取用于对视频数据的原始视频帧进行图像后处理的视频参数，该原始视频帧通过对视频数据进行解码得到；将视频参数设置给预创建的自定义屏幕缓冲区；将自定义屏幕缓冲区中的视频参数转存至预创建的自定义绘图纹理缓冲区，以使图像后处理模块从自定义绘图纹理缓冲区中获取视频参数，并执行图像后处理的操作。
以上可以看出，通过预创建的自定义屏幕缓冲区以及自定义绘图纹理缓冲区，使得图像后处理模块可以从传输原始视频帧的数据通道中获取视频参数，由此保证图像后处理模块所获取的视频参数是与原始视频帧是逐帧对应的，从而可以适应图像后处理模块所获取的数据需要逐帧对应的视频播放场景，由此可以显著提高视频播放的效果，提升用户体验。
需要说明的是，本申请实施例所提供的视频数据的处理方法一般由客户端201执行，相应地，视频数据的处理装置一般设置于客户端201中。以下对本申请实施例的技术方案的实现细节进行详细阐述。
图3示出了根据本申请的一个实施例的视频数据的处理方法的流程图，图4示出了根据本申请的一个实施例的图像后处理模块的数据传递流程示意图，该视频数据的处理方法可以由客户端来执行，该客户端可以是图1中所示的客户端201。参照图3所示，该视频数据的处理方法至少包括步骤S310至步骤S330，以下结合图3以及图4对这些步骤进行详细描述。
在步骤S310中，获取用于对视频数据的原始视频帧进行图像后处理的视频参数，原始视频帧是通过对视频数据进行解码处理所得到的。
在本申请的一个实施例中，视频数据指的是经过压缩的视频数据，如通过某种视频格式进行封装的视频文件或视频流，原始视频帧是对视频数据进行解码得到的图像帧数据。
在本申请的一个实施例中，客户端具体可以是通过播放器对经过压缩的视频数据进行解码处理而生成原始视频帧的，播放器为客户端中进行解码处理的虚拟功能模块。
在本申请的一个实施例中，图像后处理是指原始视频帧在显示前所进行的图像处理流程，它由客户端中的图像后处理模块来实现，图像后处理模块作为客户端中进行图像后处理的虚拟功能模块。
在本申请的一个实施例中，视频参数是指在图像后处理模块进行图像处理流程所需要用到的参数。
可选地，视频参数包括以下参数中的一个或多个：原始视频帧的宽高参数、对原始视频帧进行图像增强处理的属性参数以及原始视频帧中的人脸坐标参数。
在本申请的一个实施例中，依据视频播放场景的不同，进行图像后处理的视频参数存在差异，比如在超分辨率的视频播放场景中，视频参数可以包括视频的宽高参数。比如在图像增强的场景中，视频参数可以包括进行图像增强处理的各种属性参数，例如图像的最大亮度参数、图像的平均亮度参数以及图像的最小亮度参数等。又比如在视频播放的弹幕遮挡场景中，视频参数可以包括原始视频帧中的人脸坐标参数。
可以理解，在以上几个视频播放场景进行结合的情况下，视频参数可以包括对应视频播放场景中的多个参数。当然，除了以上描述到的一些具体的视频参数外，视频参数还可以包括在图像后处理模块进行图像处理流程所需要用到的其它参数，在此不作具体限定。
在步骤S320中，将视频参数设置给预创建的自定义屏幕缓冲区。
在本申请的一个实施例中，播放器对视频数据进行解码得到原始视频帧后，将其存储于自身的屏幕缓冲区(Surface)中。自定义屏幕缓冲区(SelfSurface)为自定义的Surface，它继承了Surface的全部属性，自定义屏幕缓冲区除了可以缓存原始视频帧，还可以缓存对原始视频帧进行图像后处理的视频参数。在对播放器进行初始化时，还需要实现配置播放器与自定义屏幕缓冲区之间的关联关系，以使得播放器在对视频数据进行解码得到原始视频帧后，去获取用于对该原始视频帧进行图像后处理的视频参数，并且将所获取的视频参数设置给自定义屏幕缓冲区，以实现对视频参数的中转。
在步骤S330中，将自定义屏幕缓冲区中的视频参数转存至预创建的自定义绘图纹理缓冲区，以使图像后处理模块从自定义绘图纹理缓冲区中获取视频参数，并执行图像后处理的操作。
在本申请的一个实施例中，由于图像后处理模块只能识别绘图纹理缓冲区(SurfaceTexture)而不能识别自定义屏幕缓冲区(SelfSurface)，因此需要将自定义屏幕缓冲区中的视频参数转发至绘图纹理缓冲区。而现有的绘图纹理缓冲区是不能存放视频参数的，为了便于通过传输原始视频帧的数据通道来传输视频参数，可以通过预先创建自定义绘图纹理缓冲区(SelfSurfaceTexture)，自定义绘图纹理缓存为自定义的SurfaceTexture，它继承了SurfaceTexture的全部属性，因此，可以用于存放原始视频帧。此外，自定义绘图纹理缓冲区还可以用于存放其他参数，例如视频参数。可以理解的是，根据实际需要，还可以为自定义绘图纹理缓冲区设置自定义的参数接口，以便于基于这些参数接口来实现视频参数的传递。
在本申请的一个实施例中，当视频参数被转存至预创建的自定义绘图纹理缓冲区后，图像后处理模块可以从自定义绘图纹理缓冲区中获取视频参数，并根据获取的视频参数执行图像后处理的操作。如在视频播放的弹幕遮挡场景中，视频参数为原始视频帧中的人脸坐标参数，在显示弹幕时，为了避免弹幕对人脸进行遮挡，在图像后处理流程时，需要执行将位于该原始视频帧中的人脸坐标位置处的弹幕进行屏蔽处理的操作。
以上可以看出，通过预创建的自定义屏幕缓冲区以及自定义绘图纹理缓冲区，使得图像后处理模块可以从传输原始视频帧的数据通道中获取视频参数，由此保证图像后处理模块所获取的视频参数是与原始视频帧是逐帧对应的，从而可以适应图像后处理模块所获取的数据需要逐帧对应的视频播放场景，由此可以显著提高视频播放的效果，提升用户体验。
在本申请的一个实施例中，视频数据的处理方法还可以包括：若检测到对视频数据进行解码得到的原始视频帧，则生成视频参数回调通知。
图5示出了根据本申请的一个实施例中的视频数据的处理方法的步骤S330的具体流程图，如图5所示，步骤S330具体可以包括步骤S510至步骤S520，详细描述如下。
在步骤S510中，将自定义屏幕缓冲区中的视频参数转发至预创建的自定义绘图纹理缓冲区。
在步骤S520中，发送视频参数回调通知至图像后处理模块，以使图像后处理模块基于视频参数回调通知从自定义绘图纹理缓冲区中获取视频参数，并执行图像后处理的操作。
在本申请的一个实施例中，视频参数回调通知作为通知图像后处理模块从自定义绘图纹理缓冲区中获取视频参数的一种通知消息，该通知在检测到播放器对视频数据进行解码得到的原始视频帧时所预生成。
在本申请的一个实施例中，视频参数回调通知可以为预先建立的一种回调通知，在自定义屏幕缓冲区中的视频参数转发至预创建的自定义绘图纹理缓冲区后，该视频参数回调通知可以通过(onFrameAvailable)可调用接口被发送至图像后处理模块。
在本申请的一个实施例中，视频参数回调通知也可以为预先建立的一种专用通知消息。
图像后处理模块在接收到视频参数回调通知后，从自定义绘图纹理缓冲区中获取视频参数，进而可以基于视频参数执行图像后处理的操作。
以上可以看出，在检测到对视频数据进行解码得到的原始视频帧时，可以生成视频参数回调通知，并将该生成的视频参数回调通知发送至图像后处理模块，以使得图像后处理模块可以及时获取进行图像后处理的视频参数。
图6示出了根据本申请的一个实施例中的视频数据的处理方法的流程图，如图6所示，本实施例中的视频数据的处理方法还可以包括步骤S610至步骤S630，详细描述如下。
在步骤S610中，若检测到对视频数据进行解码得到的原始视频帧，则将原始视频帧渲染至自定义屏幕缓冲区。
在本申请的一个实施例中，播放器在对视频数据解码得到原始视频帧后，将其渲染至预创建的自定义屏幕缓冲区。
在本申请的一个实施例中，在播放器对视频数据进行解码前，需要对解码器进行初始化，实现相关参数配置，关联播放器和自定义屏幕缓冲区，使得播放器将解码得到的原始视频帧渲染至自定义屏幕缓冲区，作为原始视频帧的中转。
在步骤S620中，将自定义屏幕缓冲区中的原始视频帧转存至自定义绘图纹理缓冲区。
在本申请的一个实施例中，由于图像后处理模块只能识别自定义绘图纹理缓冲区而不能识别自定义屏幕缓冲区，因此需要先将自定义屏幕缓冲区中的原始视频帧转存至预创建的自定义绘图纹理缓冲区，进而便于在自定义绘图纹理缓冲区对原始视频帧进行处理。
在步骤S630中，对自定义绘图纹理缓冲区中的原始视频帧进行纹理转换，生成纹理数据，以使图像后处理模块从自定义绘图纹理缓冲区中获取纹理数据。
在本申请的一个实施例中，为了使得图像后处理模块能对原始视频帧进行图像后处理，还需要对自定义屏幕缓冲区中的原始视频帧进行纹理转换生成纹理数据，在根据原始视频帧生成纹理数据时，具体是将原始视频帧渲染至一个预定表面纹理中进而生成纹理数据，以便于图像后处理模块可以根据纹理数据在显示屏中播放原始视频帧，进而实现视频播放。
可选地，在本申请的一个实施例中，步骤S520具体可以包括：发送视频参数回调通知至图像后处理模块，以使图像后处理模块在接收到视频参数回调通知时，从自定义绘图纹理缓冲区中获取纹理数据和视频参数，并基于纹理数据和视频参数执行图像后处理的操作。
图像后处理模块在接收到视频参数回调通知时，可以自定义绘图纹理缓冲区中一并获取纹理数据和视频参数，并基于纹理数据和视频参数执行图像后处理的操作，进而实现基于每一帧原始视频帧对应的纹理数据以及对该帧原始视频帧对应的视频参数执行图像后处理的操作。
图6所示实施例的技术方案中，在视频数据解码所得到的每一帧的原始视频帧时，将对该原始视频帧进行图像后处理的视频参数以及对应的原始视频帧均缓存至自定义绘图纹理缓冲区中，并将视频参数以及原始视频帧被转存至图像后处理模块可以识别的自定义绘图纹理缓冲区中，在自定义绘图纹理缓冲区中对原始视频帧进行纹理转换得到纹理数据，从而使得由此保证图像后处理模块所获取的纹理数据和进行图像后处理的视频参数是逐帧对应的，进而可以有效适应图像后处理模块所获取的数据需要逐帧对应的视频播放场景，有效提高视频播放的效果，提升用户体验。
在本申请的一个实施例中，如图7所示，图7示出了根据本申请的一个实施例中的视频数据的处理方法的流程图，具体可以包括如下步骤S710至步骤S740，详细介绍如下。
在步骤S710中，通过图像后处理模块创建自定义绘图纹理缓冲区。
在本申请的一个实施例中，为了实现图像后处理模块在同一个数据通道中获取纹理数据和视频参数，需要通过图像后处理模块预先创建自定义绘图纹理缓冲区和自定义屏幕缓冲区。
参考图8，图8示出了根据本申请的一个实施例中的视频数据的处理方法的步骤S710的具体流程图，具体可以包括如下步骤S810至步骤S820，详细介绍如下。
在步骤S810中，通过图像后处理模块获取待创建的自定义绘图纹理缓冲区的纹理标识。
在步骤S820中，创建与纹理标识具有对应关系的自定义绘图纹理缓冲区。
在本申请的一个实施例中，在自定义绘图纹理缓冲区时，具体可以先初始化开放式图形库(OpenGL，0pen Graphics Library)上下文，生成待创建的自定义绘图纹理缓冲区的纹理标识(ID，Identification)。上述纹理ID可根据EGL生成，其中EGL为图形渲染API(如OpenGLES(OpenGL forEmbedded Systems))与本地平台窗口系统的一层接口，可用于创建纹理ID，纹理ID与所创建的绘图纹理缓冲区具有对应关系，而预先在该对应关系中添加纹理ID与自定义绘图纹理缓冲区之间的对应关系，进而可以使得图像后处理模块根据所创建得到的纹理ID来创建与该纹理ID具有对应关系的自定义绘图纹理缓冲区。
还请继续参考图7，在步骤S720中，基于创建的自定义绘图纹理缓冲区创建自定义屏幕缓冲区。
在本申请的一个实施例中，创建得到自定义绘图纹理缓冲区，再根据所创建的自定义绘图纹理缓冲区生成自定义屏幕缓冲区，进而实现自定义屏幕缓冲区的创建。
在步骤S730中，创建自定义屏幕缓冲区与自定义绘图纹理缓冲区之间的参数桥接函数、第一参数接口以及第二参数接口，第一参数接口为播放器向自定义屏幕缓冲区进行视频参数设置的参数接口，第二参数接口为图像后处理模块从自定义绘图纹理缓冲区中获取视频参数的参数接口。
在本申请的一个实施例中，在创建自定义屏幕缓冲区和自定义绘图纹理缓冲区后，还需要进一步创建自定义屏幕缓冲区与自定义绘图纹理缓冲区之间的参数桥接函数、第一参数接口以及第二参数接口。第一参数接口为播放器向自定义屏幕缓冲区进行视频参数设置的参数接口，用于实现播放器对自定义屏幕缓冲区之间的参数设置，例如播放器可通过第一参数接口将视频参数设置到自定义屏幕缓冲区中；参数桥接函数用于将视频参数从自定义屏幕缓冲区转转存发至自定义绘图纹理缓冲区；第二参数接口为图像后处理模块从自定义绘图纹理缓冲区中获取视频参数的参数接口，用于实现图像后处理模块和自定义绘图纹理缓冲区之间的参数传递，例如图像后处理模块可通过第二参数接口从自定义绘图纹理缓冲区中获取的视频参数，并存储至自身的绘图纹理缓冲区中。
参考图9，图9示意性示出了根据本申请的一个实施例中的视频数据的处理方法的步骤S730的具体流程图，具体可以包括如下步骤S910至步骤S920，详细介绍如下。
在步骤S910中，确定用于对原始视频帧进行图像后处理的视频参数的参数类型。
在步骤S920中，创建与参数类型具有对应关系的参数桥接函数、第一参数接口以及第二参数接口。
在本申请的一个实施例中，对于不同参数类型的视频参数，需要为其创建对应的参数桥接函数、第一参数接口以及第二参数接口，为了根据进行图像后处理的视频参数来创建自定义屏幕缓冲区与自定义绘图纹理缓冲区之间的参数桥接函数、第一参数接口以及第二参数接口，需要预先根据不同参数类型的视频参数与参数桥接函数、第一参数接口以及第二参数接口这三者之间的映射关系，建立映射关系表。在确定用于对原始视频帧进行图像后处理的视频参数的参数类型后，则根据预先建立的映射关系表，创建与确定的参数类型具有对应关系的参数桥接函数、第一参数接口以及第二参数接口。
还请继续参考图7，在步骤S740中，初始化播放器并关联播放器以及自定义屏幕缓冲区，以使得播放器对对视频数据进行解码生成原始视频帧并将原始视频帧渲染至自定义屏幕缓冲区，以及使得播放器获取用于对原始视频帧进行图像后处理的视频参数并将视频参数设置给自定义屏幕缓冲区。
在本申请的一个实施例中，播放器在初始化过程中，进行相关参数配置，并关联播放器以及自定义屏幕缓冲区，以使得播放器对视频数据进行解码生成原始视频帧，并使得播放器将对视频数据进行解码所生成的原始视频帧渲染至自定义屏幕缓冲区。此外，还使得播放器获取用于对原始视频帧进行图像后处理的视频参数，并将获取的视频参数设置给自定义屏幕缓冲区，实现对原始视频帧和视频参数的中转。
在本申请的一个实施例中，在初始化播放器将视频参数设置给预创建的自定义屏幕缓冲区时，具体可以是基于第一参数接口将视频参数设置给预创建的自定义屏幕缓冲区，进而实现视频参数的中转。
在本申请的一个实施例中，将自定义屏幕缓冲区中的视频参数转存至至预创建的自定义绘图纹理缓冲区，具体可以是参数桥接函数将自定义屏幕缓冲区中的视频参数转存至预创建的自定义绘图纹理缓冲区的。
在本申请的一个实施例中，图像后处理模块在接收到视频参数回调通知，可以基于第二参数接口从自定义绘图纹理缓冲区中获取视频参数，此外，还从自定义绘图纹理缓冲区中获取纹理数据，进而实从自定义绘图纹理缓冲区中获取所需要的纹理数据和视频参数。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的视频数据的处理方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的视频数据的处理方法的实施例。
图10示出了根据本申请的一个实施例的视频数据的处理装置的框图。
参照图10所示，根据本申请的一个实施例的视频数据的处理装置1000，包括：获取单元1010、设置单元1020以及转存单元1030。其中，获取单元1010，用于获取用于对视频数据的原始视频帧进行图像后处理的视频参数，所述原始视频帧通过对所述视频数据进行解码得到；设置单元1020，用于将所述视频参数设置给预创建的自定义屏幕缓冲区；转存单元1030，用于将所述自定义屏幕缓冲区中的视频参数转存至预创建的自定义绘图纹理缓冲区，以使所述图像后处理模块从所述自定义绘图纹理缓冲区中获取所述视频参数，并执行图像后处理的操。
在本申请的一些实施例中，基于前述方案，所述视频数据的处理装置还包括：检测单元，用于若检测到对所述视频数据进行解码得到的所述原始视频帧，则生成视频参数回调通知；所述转存单元1030被配置为：将所述自定义屏幕缓冲区中的所述视频参数转发至预创建的自定义绘图纹理缓冲区；发送所述视频参数回调通知至所述图像后处理模块，以使所述图像后处理模块基于所述视频参数回调通知从所述自定义绘图纹理缓冲区中获取所述视频参数，并执行图像后处理的操。
在本申请的一些实施例中，基于前述方案，所述视频数据的处理装置还包括：第一渲染单元，用于若检测到对所述视频数据进行解码得到的所述原始视频帧，则将所述原始视频帧渲染至所述自定义屏幕缓冲区；转存单元，用于将所述自定义屏幕缓冲区中的所述原始视频帧转存至所述自定义绘图纹理缓冲区；第二渲染单元，用于对所述自定义绘图纹理缓冲区中的所述原始视频帧进行纹理转换，生成纹理数据，以使所述图像后处理模块从所述自定义绘图纹理缓冲区中获取所述纹理数。
在本申请的一些实施例中，基于前述方案，所述第一转存单元1030被配置为：发送所述视频参数回调通知至所述图像后处理模块，以使所述图像后处理模块在接收到所述视频参数回调通知时，从所述自定义绘图纹理缓冲区中获取所述纹理数据和所述视频参数，并基于所述纹理数据和所述视频参数执行图像后处理的操作。
在本申请的一些实施例中，基于前述方案，所述视频数据的处理装置还包括：第一创建单元，用于通过所述图像后处理模块创建自定义绘图纹理缓冲区；第二创建单元，用于基于创建的自定义绘图纹理缓冲区创建自定义屏幕缓冲区；第三创建单元，用于创建所述自定义屏幕缓冲区与所述自定义绘图纹理缓冲区之间的参数桥接函数、第一参数接口以及第二参数接口，所述参数桥接函数用于将所述视频参数从所述自定义屏幕缓冲区转存至所述自定义绘图纹理缓冲区，所述第一参数接口是向所述自定义屏幕缓冲区进行视频参数设置的参数接口，所述第二参数接口为所述图像后处理模块从所述自定义绘图纹理缓冲区中获取视频参数的参数接口；初始化单元，用于初始化播放器，并关联所述播放器以及所述自定义屏幕缓冲区，以使得所述播放器对所述视频数据进行解码生成原始视频帧并将所述原始视频帧渲染至所述自定义屏幕缓冲区，以及使得所述播放器获取用于对所述原始视频帧进行图像后处理的视频参数并将所述视频参数设置给所述自定义屏幕缓冲区。
在本申请的一些实施例中，基于前述方案，所述第一创建单元被配置为：通过所述图像后处理模块获取待创建的自定义绘图纹理缓冲区的纹理标识；创建与所述纹理标识具有对应关系的自定义绘图纹理缓冲区。
在本申请的一些实施例中，基于前述方案，所述第三创建单元被配置为：确定用于对所述原始视频帧进行图像后处理的视频参数的参数类型；创建与所述参数类型具有对应关系的参数桥接函数、第一参数接口以及第二参数接口。
在本申请的一些实施例中，基于前述方案，所述视频参数包括以下参数中的一个或多个：所述原始视频帧的宽高参数、对所述原始视频帧进行图像增强处理的属性参数或所述原始视频帧中的人脸坐标参数。
本申请实施例提出的视频数据的处理装置，通过预创建的自定义屏幕缓冲区以及自定义绘图纹理缓冲区，使得图像后处理模块可以从传输原始视频帧的数据通道中获取视频参数，由此保证图像后处理模块所获取的视频参数是与原始视频帧是逐帧对应的，从而可以适应图像后处理模块所获取的数据需要逐帧对应的视频播放场景，由此可以显著提高视频播放的效果，提升用户体验。
图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图11示出的电子设备的计算机系统1100仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，计算机系统1100包括中央处理单元(Central Processing Unit，CPU)1101，其可以根据存储在只读存储器(Read-Only Memory，ROM)1102中的程序或者从储存部分1108加载到随机访问存储器(Random Access Memory，RAM)1103中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1103中，还存储有系统操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(Input/Output，I/O)接口1105也连接至总线1104。
以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1107；包括硬盘等的储存部分1108；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入储存部分1108。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (12)
1.一种视频数据的处理方法，其特征在于，包括：
获取用于对视频数据的原始视频帧进行图像后处理的视频参数，所述原始视频帧通过对所述视频数据进行解码得到；
将所述视频参数设置给预创建的自定义屏幕缓冲区；
若检测到对所述视频数据进行解码得到的所述原始视频帧，则生成视频参数回调通知，并将所述原始视频帧渲染至所述自定义屏幕缓冲区；
将所述自定义屏幕缓冲区中的所述视频参数转发至预创建的自定义绘图纹理缓冲区；
将所述自定义屏幕缓冲区中的所述原始视频帧转存至所述自定义绘图纹理缓冲区；
对所述自定义绘图纹理缓冲区中的所述原始视频帧进行纹理转换，生成纹理数据；
发送所述视频参数回调通知至图像后处理模块，以使所述图像后处理模块在接收到所述视频参数回调通知时，从所述自定义绘图纹理缓冲区中获取所述纹理数据和所述视频参数，并基于所述纹理数据和所述视频参数执行图像后处理的操作。
2.根据权利要求1所述的视频数据的处理方法，其特征在于，所述视频数据的处理方法，还包括：
通过所述图像后处理模块创建自定义绘图纹理缓冲区；
基于创建的自定义绘图纹理缓冲区创建自定义屏幕缓冲区；
创建所述自定义屏幕缓冲区与所述自定义绘图纹理缓冲区之间的参数桥接函数、第一参数接口以及第二参数接口，所述参数桥接函数用于将所述视频参数从所述自定义屏幕缓冲区转存至所述自定义绘图纹理缓冲区，所述第一参数接口是向所述自定义屏幕缓冲区进行视频参数设置的参数接口，所述第二参数接口为所述图像后处理模块从所述自定义绘图纹理缓冲区中获取视频参数的参数接口；
初始化播放器，并关联所述播放器以及所述自定义屏幕缓冲区，以使得所述播放器对所述视频数据进行解码生成原始视频帧并将所述原始视频帧渲染至所述自定义屏幕缓冲区，以及使得所述播放器获取用于对所述原始视频帧进行图像后处理的视频参数并将所述视频参数设置给所述自定义屏幕缓冲区。
3.根据权利要求2所述的视频数据的处理方法，其特征在于，通过所述图像后处理模块创建自定义绘图纹理缓冲区，包括：
通过所述图像后处理模块获取待创建的自定义绘图纹理缓冲区的纹理标识；
创建与所述纹理标识具有对应关系的自定义绘图纹理缓冲区。
4.根据权利要求2所述的视频数据的处理方法，其特征在于，创建所述自定义屏幕缓冲区与所述自定义绘图纹理缓冲区之间的参数桥接函数、第一参数接口以及第二参数接口，包括：
确定用于对所述原始视频帧进行图像后处理的视频参数的参数类型；
创建与所述参数类型具有对应关系的参数桥接函数、第一参数接口以及第二参数接口。
5.根据权利要求1所述的视频数据的处理方法，其特征在于，所述视频参数包括以下参数中的一个或多个：所述原始视频帧的宽高参数、对所述原始视频帧进行图像增强处理的属性参数以及所述原始视频帧中的人脸坐标参数。
6.一种视频数据的处理装置，其特征在于，包括：
获取单元，用于获取用于对视频数据的原始视频帧进行图像后处理的视频参数，所述原始视频帧通过对所述视频数据进行解码得到；
设置单元，用于将所述视频参数设置给预创建的自定义屏幕缓冲区；
第一转存单元，用于若检测到对所述视频数据进行解码得到的所述原始视频帧，则生成视频参数回调通知，并将所述原始视频帧渲染至所述自定义屏幕缓冲区；将所述自定义屏幕缓冲区中的所述视频参数转发至预创建的自定义绘图纹理缓冲区；将所述自定义屏幕缓冲区中的所述原始视频帧转存至所述自定义绘图纹理缓冲区；对所述自定义绘图纹理缓冲区中的所述原始视频帧进行纹理转换，生成纹理数据；发送所述视频参数回调通知至图像后处理模块，以使所述图像后处理模块在接收到所述视频参数回调通知时，从所述自定义绘图纹理缓冲区中获取所述纹理数据和所述视频参数，并基于所述纹理数据和所述视频参数执行图像后处理的操作。
7.根据权利要求6所述的视频数据的处理装置，其特征在于，所述视频数据的处理装置还包括：
第一创建单元，用于通过所述图像后处理模块创建自定义绘图纹理缓冲区；
第二创建单元，用于基于创建的自定义绘图纹理缓冲区创建自定义屏幕缓冲区；
第三创建单元，用于创建所述自定义屏幕缓冲区与所述自定义绘图纹理缓冲区之间的参数桥接函数、第一参数接口以及第二参数接口，所述参数桥接函数用于将所述视频参数从所述自定义屏幕缓冲区转存至所述自定义绘图纹理缓冲区，所述第一参数接口是向所述自定义屏幕缓冲区进行视频参数设置的参数接口，所述第二参数接口为所述图像后处理模块从所述自定义绘图纹理缓冲区中获取视频参数的参数接口；
初始化单元，用于初始化播放器，并关联所述播放器以及所述自定义屏幕缓冲区，以使得所述播放器对所述视频数据进行解码生成原始视频帧并将所述原始视频帧渲染至所述自定义屏幕缓冲区，以及使得所述播放器获取用于对所述原始视频帧进行图像后处理的视频参数并将所述视频参数设置给所述自定义屏幕缓冲区。
8.根据权利要求7所述的视频数据的处理装置，其特征在于，所述第一创建单元被配置为：通过所述图像后处理模块获取待创建的自定义绘图纹理缓冲区的纹理标识；创建与所述纹理标识具有对应关系的自定义绘图纹理缓冲区。
9.根据权利要求8所述的视频数据的处理装置，其特征在于，所述第三创建单元被配置为：确定用于对所述原始视频帧进行图像后处理的视频参数的参数类型；创建与所述参数类型具有对应关系的参数桥接函数、第一参数接口以及第二参数接口。
10.根据权利要求6所述的视频数据的处理装置，其特征在于，所述视频参数包括以下参数中的一个或多个：所述原始视频帧的宽高参数、对所述原始视频帧进行图像增强处理的属性参数或所述原始视频帧中的人脸坐标参数。
11.一种计算机可读介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的视频数据的处理方法。
12.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的视频数据的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110004509.3A CN113411660B (zh) | 2021-01-04 | 2021-01-04 | 视频数据的处理方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110004509.3A CN113411660B (zh) | 2021-01-04 | 2021-01-04 | 视频数据的处理方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113411660A CN113411660A (zh) | 2021-09-17 |
| CN113411660B true CN113411660B (zh) | 2024-02-09 |
Family
ID=77675712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110004509.3A Active CN113411660B (zh) | 2021-01-04 | 2021-01-04 | 视频数据的处理方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113411660B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113923507B (zh) * | 2021-12-13 | 2022-07-22 | 北京蔚领时代科技有限公司 | Android端的低延迟视频渲染方法及装置 |
| CN114915829B (zh) * | 2022-04-22 | 2024-02-06 | 北京优锘科技有限公司 | 基于ogre三维渲染引擎播放视频的方法、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107888970A (zh) * | 2017-11-29 | 2018-04-06 | 天津聚飞创新科技有限公司 | 视频处理方法、装置、嵌入式设备及存储介质 |
| CN109819317A (zh) * | 2019-01-07 | 2019-05-28 | 北京奇艺世纪科技有限公司 | 一种视频处理方法、装置、终端和存储介质 |
| CN109922360A (zh) * | 2019-03-07 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置及存储介质 |
| CN110147512A (zh) * | 2019-05-16 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 播放器预加载、运行方法、装置、设备及介质 |
| CN110620954A (zh) * | 2018-06-20 | 2019-12-27 | 北京优酷科技有限公司 | 用于硬解的视频处理方法和装置 |
-
2021
- 2021-01-04 CN CN202110004509.3A patent/CN113411660B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107888970A (zh) * | 2017-11-29 | 2018-04-06 | 天津聚飞创新科技有限公司 | 视频处理方法、装置、嵌入式设备及存储介质 |
| CN110620954A (zh) * | 2018-06-20 | 2019-12-27 | 北京优酷科技有限公司 | 用于硬解的视频处理方法和装置 |
| CN109819317A (zh) * | 2019-01-07 | 2019-05-28 | 北京奇艺世纪科技有限公司 | 一种视频处理方法、装置、终端和存储介质 |
| CN109922360A (zh) * | 2019-03-07 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置及存储介质 |
| CN110147512A (zh) * | 2019-05-16 | 2019-08-20 | 腾讯科技（深圳）有限公司 | 播放器预加载、运行方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113411660A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220007083A1 (en) | Method and stream-pushing client for processing live stream in webrtc | |
| CN113542757B (zh) | 云应用的图像传输方法、装置、服务器及存储介质 | |
| CN113457160B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| WO2022257699A1 (zh) | 图像画面显示方法、装置、设备、存储介质及程序产品 | |
| US20100060652A1 (en) | Graphics rendering system | |
| CN112235604B (zh) | 渲染方法及装置、计算机可读存储介质、电子设备 | |
| EP3311565B1 (en) | Low latency application streaming using temporal frame transformation | |
| CN113411660B (zh) | 视频数据的处理方法、装置和电子设备 | |
| CN110290398B (zh) | 视频下发方法、装置、存储介质及电子设备 | |
| WO2022033131A1 (zh) | 基于json数据格式的动画渲染方法 | |
| CN113655975B (zh) | 图像显示方法、装置、电子设备和介质 | |
| CN111464828A (zh) | 虚拟特效显示方法、装置、终端及存储介质 | |
| CN112843676A (zh) | 数据处理方法、装置、终端、服务器及存储介质 | |
| CN113411661B (zh) | 用于记录信息的方法、装置、设备、存储介质及程序产品 | |
| CN114222185B (zh) | 视频播放方法、终端设备及存储介质 | |
| CN115767181A (zh) | 直播视频流渲染方法、装置、设备、存储介质及产品 | |
| CN112954452B (zh) | 视频生成方法、装置、终端及存储介质 | |
| CN114268796A (zh) | 视频流处理的方法及装置 | |
| CN112565869B (zh) | 一种视频重定向的窗口融合方法、装置及设备 | |
| CN110891195B (zh) | 花屏图像的生成方法、装置、设备和存储介质 | |
| CN109091866B (zh) | 显示控制方法、装置、计算机可读介质及电子设备 | |
| CN116966546A (zh) | 图像处理方法、装置、介质、设备和程序产品 | |
| CN117065357A (zh) | 媒体数据处理方法、装置、计算机设备和存储介质 | |
| CN111866508B (zh) | 视频处理方法、装置、介质及电子设备 | |
| CN113836455A (zh) | 特效渲染方法、装置、设备、存储介质及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40051389 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |