CN110620954A - 用于硬解的视频处理方法和装置 - Google Patents
用于硬解的视频处理方法和装置 Download PDFInfo
- Publication number
- CN110620954A CN110620954A CN201810638085.4A CN201810638085A CN110620954A CN 110620954 A CN110620954 A CN 110620954A CN 201810638085 A CN201810638085 A CN 201810638085A CN 110620954 A CN110620954 A CN 110620954A
- Authority
- CN
- China
- Prior art keywords
- hard
- data
- decoded
- player
- notification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 32
- 238000009877 rendering Methods 0.000 claims description 30
- 238000007781 pre-processing Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000012805 post-processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开公开了用于硬解的视频处理方法和装置。该方法包括：播放器将视频帧的待解码数据发送至硬解码器；硬解码器对所述待解码数据进行解码，并在解码完成后发送第一通知至所述播放器；所述播放器监听到所述第一通知后，发送第二通知至当前业务对应的硬渲染器；接收到所述第二通知的硬渲染器对解码后数据进行渲染。根据本公开，为播放器提供了解码后数据的后处理入口，使得视频截图、视频增强以及全景视频等业务可以在硬解方案中落地。
Description
技术领域
本公开涉及视频处理领域，尤其涉及用于硬解的视频处理方法和装置。
背景技术
近年来，用户对高分辨率的视频需求越来越旺盛，传统的软解方案需要CPU(Central Processing Unit的简称，中央处理器)进行运算，使得CPU的负载加大，耗电大幅增加，在1080P、超清等视频上容易引起的卡顿，其导致的发热等问题也不容忽视。
因此，部分视频客户端(例如安卓视频客户端)采用硬解方案，其采用诸如GPU(Graphics Processing Unit的简称，图形处理器)的专用硬件来执行视频解码等功能，减少了CPU的运算量，为系统节约了很多资源开销，有利于解决发热问题，并且可以降低耗电量，降低CPU使用率，使得视频播放更加流畅。
但现有安卓视频客户端的硬解方案也存在缺陷，例如软解具有大量画面输出补偿及画质增强技术，而硬解这方面做得还远远不够，诸如视频截取、视频增强和全景视频等业务难以在现有的硬解方案中落地，局限了播放器的行为，影响了播放器的完整性，其应用受到了较大限制。
发明内容
有鉴于此，本公开提出了一种改进的视频处理方法和装置。
根据本公开的一方面，提供了一种用于硬解的视频处理方法，包括：播放器将视频帧的待解码数据发送至硬解码器；硬解码器对所述待解码数据进行解码，并在解码完成后发送第一通知至所述播放器；所述播放器监听到所述第一通知后，发送第二通知至当前业务对应的硬渲染器；接收到所述第二通知的硬渲染器对解码后数据进行渲染。
在一种可能的实现方式中，所述接收到所述第二通知的硬渲染器对解码后数据进行渲染包括下列中的一者：先对所述解码后数据进行预处理，再对经预处理的数据进行渲染；直接对所述解码后数据进行渲染。
在一种可能的实现方式中，所述预处理为下列中的一者：视频数据增强，全景视频预处理。
在一种可能的实现方式中，所述方法还包括：所述播放器发送截图指令至截图模块；截图模块对解码后数据进行旋转操作并存储旋转后的数据。
在一种可能的实现方式中，所述硬解码器对所述待解码数据进行解码包括：所述硬解码器将解码后数据填充到开放图形库(Open Graphics Library)的纹理(texture)。
在一种可能的实现方式中，所述接收到所述第二通知的硬渲染器对解码后数据进行渲染包括：所述硬渲染器对填充到开放图形库的纹理中的所述解码后数据进行渲染。
在一种可能的实现方式中，所述方法还包括：在将视频帧的待解码数据发送至所述硬解码器前，所述播放器指示所述硬渲染器和所述硬解码器进行相应配置。
根据本公开的一方面，提供了一种用于硬解的视频处理装置，包括：播放器，被配置为将视频帧的待解码数据发送至硬解码器；硬解码器，被配置为对所述待解码数据进行解码，并在解码完成后发送第一通知至所述播放器；所述播放器还被配置为监听到所述第一通知后，发送第二通知至当前业务对应的硬渲染器；硬渲染器，被配置为接收到所述第二通知后对解码后数据进行渲染。
在一种可能的实现方式中，所述接收到所述第二通知的硬渲染器对解码后数据进行渲染包括下列中的一者：先对所述解码后数据进行预处理，再对经预处理的数据进行渲染；直接对所述解码后数据进行渲染。
在一种可能的实现方式中，所述预处理为下列中的一者：视频数据增强，全景视频预处理。
在一种可能的实现方式中，所述装置还包括截图模块，其中：所述播放器还被配置为发送截图指令至截图模块；所述截图模块被配置为对解码后数据进行旋转操作并存储旋转后的数据。
在一种可能的实现方式中，所述硬解码器对所述待解码数据进行解码包括：所述硬解码器将解码后数据填充到开放图形库(Open Graphics Library)的纹理(texture)。
在一种可能的实现方式中，所述接收到所述第二通知的硬渲染器对解码后数据进行渲染包括：所述硬渲染器对填充到开放图形库的纹理中的所述解码后数据进行渲染。
在一种可能的实现方式中，在将视频帧的待解码数据发送至所述硬解码器前，所述播放器还被配置为指示所述硬渲染器和所述硬解码器进行相应配置。
根据本公开的一方面，提供了一种用于硬解的视频处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。
根据本公开的一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
现有硬解方案中，调用系统接口后会自动控制渲染，即解码后直接对数据进行渲染，没有针对解码后数据的后处理(即针对解码后数据的处理)入口，无法针对不同业务对解码后数据进行相应后处理。本公开中，通过将视频解码和视频渲染分离，从而可根据业务对解码后数据进行相应后处理，使得视频截图、视频增强以及全景视频等业务可以在硬解方案中落地。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开一个实施例的用于硬解的视频处理方法的流程图。
图2示出现有硬解方案的时序示意图。
图3示出根据本公开一个示例性实施例的硬解方案的时序示意图。
图4示出根据本公开一个示例性应用示例的硬解方案流程图。
图5示出根据本公开一个实施例的用于硬解的视频处理装置的结构框图。
图6示出根据本公开一个实施例的用于硬解的视频处理装置的结构框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例/示例性”意为“用作例子、实施例或说明性”。这里作为“示例/示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出根据本公开一个实施例的用于硬解的视频处理方法的流程图。该方法可以在安卓客户端中实施如图1所示，该方法包括：
步骤102，播放器将视频帧的待解码数据发送至硬解码器；
步骤104，硬解码器对所述待解码数据进行解码，并在解码完成后发送第一通知至所述播放器；
步骤106，所述播放器监听到所述第一通知后，发送第二通知至当前业务对应的硬渲染器；
步骤108，接收到所述第二通知的硬渲染器对解码后数据进行渲染。
现有硬解方案中，播放器调用系统接口后会自动控制渲染，即解码后直接对数据进行渲染，没有针对解码后数据的后处理入口，无法针对不同业务对解码后数据进行相应后处理。本公开的上述实施例中，通过将视频解码和视频渲染分离，并根据业务对解码后数据进行相应后处理，从而使得视频截图、视频增强以及全景视频等业务可以在硬解方案中落地。上述实施例中，硬解码器和硬渲染器可以在诸如GPU的专用硬件上运行。
在一种可能的实现方式中，所述接收到所述第二通知的硬渲染器对解码后数据进行渲染包括下列中的一者：先对所述解码后数据进行预处理，再对经预处理的数据进行渲染；直接对所述解码后数据进行渲染。例如，所述预处理可以是视频数据增强或者全景视频预处理。
可以根据本领域技术人员认为适用的任意技术手段实现视频数据增强或者全景视频预处理。例如，可以通过脚本对解码后数据的每个像素点进行处理，以实现视频增强；例如，可以将解码后数据作为数据源进行建模，以实现全景视频的预处理。例如，可采用开放图形库(Open Graphics Library，简称OpenGL)来实现上述预处理。
在一种可能的实现方式中，所述方法还可以包括：所述播放器发送截图指令至截图模块；截图模块对解码后数据进行旋转操作并存储旋转后的数据。根据是否等完成截图后再返回相应应用程序，截图方式可分为同步方式和异步方式，这两种方式都是较为常见的处理思路。应用程序后续可直接调用存储的旋转后的数据。
诸如软解方案的现有技术中，当需要使用截图数据时，安卓客户端应用程序通常只能读取原始图像的镜像，然后在JAVA层对所读取的数据进行旋转操作，这严重影响了诸如截取GIF和短视频等业务的实时性和性能。根据本实现方式，可以在诸如GPU中并行完成图像旋转，为需要采用截图的应用程序提供了遍历，有利于提升其性能。
图2示出现有硬解方案的时序示意图。如图所示，播放器202通过Java本地接口(Java Native Interface，简称JNI)指示硬渲染器206进行配置。之后，播放器202通过JNI发送待解码数据至硬解码器204。硬解码器204对待解码数据进行解码，然后硬渲染器206直接对解码后数据进行渲染。在这一硬解方案中，由于没有提供播放器202可控的后处理接口，使得播放器202无法根据业务对解码后数据进行相应后处理，使得类似视频截取、视频增强、全景视频等业务难以落地。
图3示出根据本公开一个实施例的硬解方案的时序示意图。如图所示，播放器202通过JNI初始化硬解，指示当前业务对应的硬渲染器306进行配置。配置成功后，硬渲染器306经由JNI通知播放器302。当播放器302监听到该消息后，可通过JNI指示硬解码器304进行配置，并通过JNI发送待解码数据至硬解码器304，以及通过JNI监听硬解码器304是否返回上述第一通知。当监听到所述第一通知，表明解码完成，播放器302可经由JNI发送所述第二通知至硬渲染器306，以通知硬渲染器306对解码后数据进行渲染。
如图3所示，该系统可包括多个硬渲染器，不同硬渲染器可集成不同预处理以对应不同业务。例如，图3中的硬渲染器306可被配置为先对解码后数据进行视频数据增强，再对增强后的数据进行渲染；图3中的硬渲染器308可被配置为先对解码后数据进行全景视频预处理，在对经全景视频预处理后的数据进行渲染；图3中的硬渲染器310可被配置为直接对所述解码后数据进行渲染。
如图3所示，播放器302可通过JNI发送截图指令至截图模块312；截图模块312可对解码后数据进行旋转操作并存储旋转后的数据，从而在硬解方案中是实现视频截图。
本领域技术人员可以理解地是，本公开不用于限定不同模块的集成方式。例如，在一些实现方式中，可以不将预处理功能集成在硬渲染器中，而采用单独的模块实现相应的预处理功能；例如，在一些实现方式中，截图模块可以集成在硬渲染器中，等等。这些实现方式均在本公开的保护范围内。
在一种可能的实现方式中，步骤104中，所述硬解码器对所述待解码数据进行解码包括：硬解码器将解码后数据填充到开放图形库(Open Graphics Library，简称为OpenGL)的纹理(texture)。
在一种可能的实现方式中，步骤108中，所述接收到所述第二通知的硬渲染器对解码后数据进行渲染包括：所述硬渲染器对填充到OpenGL的texture中的解码后数据进行渲染。例如，硬渲染器/截图模块可以通过OpenGL提供的glReadPixel接口读取texture中的数据。
在一种可能的实现方式中，在将视频帧的待解码数据发送至所述硬解码器前，播放器可指示所述硬渲染器和所述硬解码器进行相应配置。
在根据本公开的实施例，硬解码器可以作为一个独立的模块来实现，硬渲染器也可以作为一个独立的模块来实现。在一个应用示例中，可以使用C++来实现所述硬解码器，并通过JNI将mediacodec(安卓端视频编解码标准API)方法加载到本地。例如，可以将硬解码器抽象为下述三个步骤：
(a)decoder->config(surface)//配置表面
(b)decoder->decode()//对待解码数据进行解码
(c)decoder->destroy()//解码完成
在现有硬解方案中，播放器的启动流程为：硬解码器->硬渲染器。在本应用示例中，可由硬渲染器来创建上述硬解码器中config()需要的表面(surface)，因此，播放器的启动流程为：硬渲染器->硬解码器->硬渲染器。可以将硬渲染器抽象为下述五个步骤：
(a)render->createOpenGLTexture()//创建OpenGL纹理
(b)render->createSurfaceTexture()//创建表面纹理
(c)render->createSurface()//创建表面
(d)render->display(texture)//显示纹理
(e)render->finish()//渲染完成
综合硬解码器和硬渲染器的工作步骤，本应用示例的硬解流程如下：
S1.render->createOpenGLTexture()//创建OpenGL纹理
S2.render->createSurfaceTexture()//创建表面纹理
S3.render->createSurface()//创建表面
S4.decoder->config(surface)//配置表面
S5.decoder->decode()//对待解码数据进行解码
S6.render->display(texture)//显示纹理
S7.decoder->destroy()//解码完成
S8.render->finish()//渲染完成
本应用示例中，硬渲染器进行的相应配置，可以包括创建OpenGL的纹理、创建表面纹理以及创建表面，还可包括在创建OpenGL之前创建视频渲染引擎等。
本应用示例中，硬解码器进行的相应配置，可以包括配置表面等。
图4示出根据本公开一个示例性应用示例的硬解方案流程图。如图所示，首先，在播放器端，启动播放器(步骤402)，并初始化硬解，即指示相应硬渲染器进行配置(步骤404)。硬渲染器进行的配置可包括：创建视频渲染引擎(步骤406)、创建OpenGL纹理(步骤408)、创建表面纹理(步骤410)以及创建表面(步骤412)。硬渲染器可将是否初始化成功的消息告知播放器。在步骤414中，如果判断硬解初始化成功，则设置回调函数(步骤416)，例如SurfaceTexture回调函数，以便于在后续收到用于表明解码完成的第一通知后通知相应硬渲染器进行渲染；如果判断硬解初始化失败，则初始化软解(步骤418)。
在设置回调函数后，可指示硬解码器进行配置(步骤420)。硬解码器的配置可以包括配置表面(步骤422)。配置完成后，播放器发送待解码数据至硬解码器(步骤424)。硬解码器对待解码数据进行解码(426)，并对音视频数据进行同步(428)，然后向播放器发送用于表明解码完成的第一通知(步骤430)。解码后的数据可存储在OpenGL的纹理中。播放器监听到所述第一通知(步骤432)后，根据步骤416中设置的回调函数向相应硬渲染器发送第二通知(步骤434)。接到所述第二通知的硬渲染器对OpenGL的纹理中的解码后数据进行渲染(步骤436)，例如，可直接渲染，可对待解码数据进行视频数据增强后再进行渲染，或者对待解码数据进行全景视频预处理后再渲染等。不同的硬渲染器可对应不同的后处理策略，可根据业务在回调函数中设置当前调用哪个硬渲染器。
步骤438～步骤442对应于视频截图业务。播放器可发送截图指令至截图模块(步骤438)。截图模块对OpenGL的纹理中的解码后数据进行图像旋转(步骤440)，并保存旋转后的数据(步骤442)。
本领域技术人员可以理解的是，步骤438～步骤442与步骤434～步骤436是对应于不同业务的处理步骤，二者间没有必然的先后顺序。
图5示出根据本公开一个实施例的用于硬解的视频处理装置的结构框图。该装置可以应用于安卓客户端。如图所示，该装置包括播放器502，被配置为将视频帧的待解码数据发送至硬解码器；硬解码器504，被配置为对所述待解码数据进行解码，并在解码完成后发送第一通知至所述播放器；所述播放器还被配置为监听到所述第一通知后，发送第二通知至当前业务对应的硬渲染器506；硬渲染器506，被配置为接收到所述第二通知后对解码后数据进行渲染。本领域技术人员可以理解地是，根据需要，该装置可包括一个或多个硬渲染器506，不同硬渲染器可对应于不同业务。
在一种可能的实现方式中，所述接收到所述第二通知的硬渲染器506对解码后数据进行渲染包括下列中的一者：先对所述解码后数据进行预处理，再对经预处理的数据进行渲染；直接对所述解码后数据进行渲染。
在一种可能的实现方式中，所述预处理为下列中的一者：视频数据增强，全景视频预处理。
在一种可能的实现方式中，所述装置还包括截图模块(未示出)，其中：所述播放器502还被配置为发送截图指令至截图模块；所述截图模块被配置为对解码后数据进行旋转操作并存储旋转后的数据。
在一种可能的实现方式中，所述硬解码器504对所述待解码数据进行解码包括：所述硬解码器将解码后数据填充到开放图形库(Open Graphics Library)的纹理(texture)。
在一种可能的实现方式中，所述接收到所述第二通知的硬渲染器506对解码后数据进行渲染包括：所述硬渲染器506对填充到开放图形库的纹理中的所述解码后数据进行渲染。
在一种可能的实现方式中，在将视频帧的待解码数据发送至所述硬解码器504前，所述播放器502还被配置为指示所述硬渲染器和所述硬解码器进行相应配置。
硬解码器504和硬渲染器506等可统称为硬解模块，播放器502可通过JNI与硬解模块交互。
图6是根据一示例性实施例示出的一种用于硬解的视频处理装置800的框图。例如，装置800可以是客户端设备，例如安卓客户端设备。
参照图6，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。例如，处理组件802可以包括至少一个CPU以及至少一个GPU。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由装置800的处理器820执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (16)
1.一种用于硬解的视频处理方法，其特征在于，包括：
播放器将视频帧的待解码数据发送至硬解码器；
硬解码器对所述待解码数据进行解码，并在解码完成后发送第一通知至所述播放器；
所述播放器监听到所述第一通知后，发送第二通知至当前业务对应的硬渲染器；
接收到所述第二通知的硬渲染器对解码后数据进行渲染。
2.根据权利要求1所述的方法，其特征在于，所述接收到所述第二通知的硬渲染器对解码后数据进行渲染包括下列中的一者：
先对所述解码后数据进行预处理，再对经预处理的数据进行渲染；
直接对所述解码后数据进行渲染。
3.根据权利要求2所述的方法，其特征在于，所述预处理为下列中的一者：视频数据增强，全景视频预处理。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述播放器发送截图指令至截图模块；
截图模块对解码后数据进行旋转操作并存储旋转后的数据。
5.根据权利要求1所述的方法，其特征在于，所述硬解码器对所述待解码数据进行解码包括：
所述硬解码器将解码后数据填充到开放图形库(Open Graphics Library)的纹理(texture)。
6.根据权利要求5所述的方法，其特征在于，所述接收到所述第二通知的硬渲染器对解码后数据进行渲染包括：
所述硬渲染器对填充到开放图形库的纹理中的所述解码后数据进行渲染。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在将视频帧的待解码数据发送至所述硬解码器前，播放器指示所述硬渲染器和所述硬解码器进行相应配置。
8.一种用于硬解的视频处理装置，其特征在于，包括：
播放器，被配置为将视频帧的待解码数据发送至硬解码器；
硬解码器，被配置为对所述待解码数据进行解码，并在解码完成后发送第一通知至所述播放器；
所述播放器还被配置为监听到所述第一通知后，发送第二通知至当前业务对应的硬渲染器；
硬渲染器，被配置为接收到所述第二通知后对解码后数据进行渲染。
9.根据权利要求8所述的装置，其特征在于，所述接收到所述第二通知的硬渲染器对解码后数据进行渲染包括下列中的一者：
先对所述解码后数据进行预处理，再对经预处理的数据进行渲染；
直接对所述解码后数据进行渲染。
10.根据权利要求9所述的方法，其特征在于，所述预处理为下列中的一者：视频数据增强，全景视频预处理。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括截图模块，其中：
所述播放器还被配置为发送截图指令至截图模块；
所述截图模块被配置为对解码后数据进行旋转操作并存储旋转后的数据。
12.根据权利要求8所述的装置，其特征在于，所述硬解码器对所述待解码数据进行解码包括：
所述硬解码器将解码后数据填充到开放图形库(Open Graphics Library)的纹理(texture)。
13.根据权利要求12所述的装置，其特征在于，所述接收到所述第二通知的硬渲染器对解码后数据进行渲染包括：
所述硬渲染器对填充到开放图形库的纹理中的所述解码后数据进行渲染。
14.根据权利要求8所述的装置，其特征在于：
在将视频帧的待解码数据发送至所述硬解码器前，所述播放器还被配置为指示所述硬渲染器和所述硬解码器进行相应配置。
15.一种用于硬解的视频处理装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行根据权利要求1至7中任意一者所述的方法。
16.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810638085.4A CN110620954B (zh) | 2018-06-20 | 2018-06-20 | 用于硬解的视频处理方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810638085.4A CN110620954B (zh) | 2018-06-20 | 2018-06-20 | 用于硬解的视频处理方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110620954A true CN110620954A (zh) | 2019-12-27 |
| CN110620954B CN110620954B (zh) | 2021-11-26 |
Family
ID=68920985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810638085.4A Active CN110620954B (zh) | 2018-06-20 | 2018-06-20 | 用于硬解的视频处理方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110620954B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113038221A (zh) * | 2021-03-02 | 2021-06-25 | 海信电子科技(武汉)有限公司 | 一种双路视频播放方法及显示设备 |
| CN113411660A (zh) * | 2021-01-04 | 2021-09-17 | 腾讯科技（深圳）有限公司 | 视频数据的处理方法、装置和电子设备 |
| CN114222073A (zh) * | 2021-12-13 | 2022-03-22 | 北京百度网讯科技有限公司 | 视频输出方法、装置、电子设备和存储介质 |
| CN114845162A (zh) * | 2021-02-01 | 2022-08-02 | 北京字节跳动网络技术有限公司 | 视频播放方法、装置、电子设备及存储介质 |
| CN117041668A (zh) * | 2023-10-08 | 2023-11-10 | 海马云（天津）信息技术有限公司 | 优化终端渲染性能的方法和装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090031328A1 (en) * | 2002-04-15 | 2009-01-29 | Microsoft Corporation | Facilitating Interaction Between Video Renderers and Graphics Device Drivers |
| CN101710992A (zh) * | 2009-11-16 | 2010-05-19 | 乐视网信息技术（北京）股份有限公司 | 一种预解码高清播放器及播放方法 |
| CN102378053A (zh) * | 2010-08-11 | 2012-03-14 | 索尼公司 | 信息处理设备、信息处理方法和信息处理系统 |
| US20130129324A1 (en) * | 2011-05-26 | 2013-05-23 | Tinic Uro | Accelerating Video from an Arbitrary Graphical Layer |
| CN103135973A (zh) * | 2011-11-30 | 2013-06-05 | 腾讯科技（深圳）有限公司 | 一种界面引擎中的图形图像渲染方法和装置 |
| CN103686195A (zh) * | 2013-11-22 | 2014-03-26 | 华为技术有限公司 | 视频信息处理方法及设备 |
| CN103700385A (zh) * | 2012-09-27 | 2014-04-02 | 深圳市快播科技有限公司 | 媒体播放器和播放方法、硬件加速下的视频的后处理方法 |
| CN104837052A (zh) * | 2014-06-10 | 2015-08-12 | 腾讯科技（北京）有限公司 | 播放多媒体数据的方法及装置 |
| CN105678681A (zh) * | 2015-12-30 | 2016-06-15 | 广东威创视讯科技股份有限公司 | Gpu数据处理方法、gpu、pc架构处理器及gpu数据处理系统 |
| CN105933724A (zh) * | 2016-05-23 | 2016-09-07 | 福建星网视易信息系统有限公司 | 视频制作方法、装置及系统 |
| CN106598739A (zh) * | 2016-12-14 | 2017-04-26 | 合网络技术（北京）有限公司 | 视频渲染方法及装置 |
| CN106713937A (zh) * | 2016-12-30 | 2017-05-24 | 广州虎牙信息科技有限公司 | 视频播放控制方法、装置及终端设备 |
| CN108063971A (zh) * | 2017-12-25 | 2018-05-22 | 暴风集团股份有限公司 | 多媒体播放装置和方法 |
-
2018
- 2018-06-20 CN CN201810638085.4A patent/CN110620954B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090031328A1 (en) * | 2002-04-15 | 2009-01-29 | Microsoft Corporation | Facilitating Interaction Between Video Renderers and Graphics Device Drivers |
| CN101710992A (zh) * | 2009-11-16 | 2010-05-19 | 乐视网信息技术（北京）股份有限公司 | 一种预解码高清播放器及播放方法 |
| CN102378053A (zh) * | 2010-08-11 | 2012-03-14 | 索尼公司 | 信息处理设备、信息处理方法和信息处理系统 |
| US20130129324A1 (en) * | 2011-05-26 | 2013-05-23 | Tinic Uro | Accelerating Video from an Arbitrary Graphical Layer |
| CN103135973A (zh) * | 2011-11-30 | 2013-06-05 | 腾讯科技（深圳）有限公司 | 一种界面引擎中的图形图像渲染方法和装置 |
| CN103700385A (zh) * | 2012-09-27 | 2014-04-02 | 深圳市快播科技有限公司 | 媒体播放器和播放方法、硬件加速下的视频的后处理方法 |
| CN103686195A (zh) * | 2013-11-22 | 2014-03-26 | 华为技术有限公司 | 视频信息处理方法及设备 |
| CN104837052A (zh) * | 2014-06-10 | 2015-08-12 | 腾讯科技（北京）有限公司 | 播放多媒体数据的方法及装置 |
| CN105678681A (zh) * | 2015-12-30 | 2016-06-15 | 广东威创视讯科技股份有限公司 | Gpu数据处理方法、gpu、pc架构处理器及gpu数据处理系统 |
| CN105933724A (zh) * | 2016-05-23 | 2016-09-07 | 福建星网视易信息系统有限公司 | 视频制作方法、装置及系统 |
| CN106598739A (zh) * | 2016-12-14 | 2017-04-26 | 合网络技术（北京）有限公司 | 视频渲染方法及装置 |
| CN106713937A (zh) * | 2016-12-30 | 2017-05-24 | 广州虎牙信息科技有限公司 | 视频播放控制方法、装置及终端设备 |
| CN108063971A (zh) * | 2017-12-25 | 2018-05-22 | 暴风集团股份有限公司 | 多媒体播放装置和方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHETAN RAJ等: "Server side trick play for video streaming", 《2009 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 * |
| 陈熙: "基于Android移动平台视频监控终端的设计与实现", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113411660A (zh) * | 2021-01-04 | 2021-09-17 | 腾讯科技（深圳）有限公司 | 视频数据的处理方法、装置和电子设备 |
| CN113411660B (zh) * | 2021-01-04 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 视频数据的处理方法、装置和电子设备 |
| CN114845162A (zh) * | 2021-02-01 | 2022-08-02 | 北京字节跳动网络技术有限公司 | 视频播放方法、装置、电子设备及存储介质 |
| CN114845162B (zh) * | 2021-02-01 | 2024-04-02 | 北京字节跳动网络技术有限公司 | 视频播放方法、装置、电子设备及存储介质 |
| CN113038221A (zh) * | 2021-03-02 | 2021-06-25 | 海信电子科技(武汉)有限公司 | 一种双路视频播放方法及显示设备 |
| CN114222073A (zh) * | 2021-12-13 | 2022-03-22 | 北京百度网讯科技有限公司 | 视频输出方法、装置、电子设备和存储介质 |
| CN117041668A (zh) * | 2023-10-08 | 2023-11-10 | 海马云（天津）信息技术有限公司 | 优化终端渲染性能的方法和装置 |
| CN117041668B (zh) * | 2023-10-08 | 2023-12-08 | 海马云（天津）信息技术有限公司 | 优化终端渲染性能的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110620954B (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110620954B (zh) | 用于硬解的视频处理方法、装置和存储介质 | |
| EP3276976A1 (en) | Method, apparatus, host terminal, server and system for processing live broadcasting information | |
| CN106506448B (zh) | 直播显示方法、装置及终端 | |
| WO2020233511A1 (zh) | 一种应用启动方法、装置、计算机设备以及存储介质 | |
| CN107729522B (zh) | 多媒体资源片段截取方法及装置 | |
| CN107908447B (zh) | 应用切换方法、设备及虚拟现实设备 | |
| CN104869305B (zh) | 处理图像数据的方法及其装置 | |
| CN106598739B (zh) | 视频渲染方法及装置 | |
| KR101646958B1 (ko) | 변경된 영역들을 이용한 매체 인코딩 | |
| CN111790148B (zh) | 游戏场景中的信息交互方法、设备及计算机可读介质 | |
| CN104636106A (zh) | 图片显示方法和装置、终端设备 | |
| CN106991018B (zh) | 界面换肤的方法及装置 | |
| US11956531B2 (en) | Video sharing method and apparatus, electronic device, and storage medium | |
| CN113747199A (zh) | 视频编辑方法、装置、电子设备、存储介质及程序产品 | |
| CN112785672A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN106782576B (zh) | 音频混音方法及装置 | |
| CN110750961A (zh) | 一种文件格式转换方法、装置、计算机设备和存储介质 | |
| CN110750226A (zh) | 中控设备管理方法、装置、计算机设备和存储介质 | |
| CN108469991B (zh) | 多媒体数据处理方法及装置 | |
| CN112911337B (zh) | 用于配置终端设备的视频封面图片的方法和装置 | |
| CN109756783B (zh) | 海报的生成方法及装置 | |
| CN112188034A (zh) | 一种图像处理方法、装置、终端设备及介质 | |
| CN110333903B (zh) | 页面加载时长的确定方法及装置 | |
| CN113506229B (zh) | 神经网络训练和图像生成方法及装置 | |
| CN114779936A (zh) | 信息显示方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200521 Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Alibaba (China) Co.,Ltd. Address before: 100000 room 26, 9 Building 9, Wangjing east garden four, Chaoyang District, Beijing. Applicant before: BEIJING YOUKU TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |