CN108282686B - 视频画面处理方法、装置及电子设备 - Google Patents

视频画面处理方法、装置及电子设备 Download PDF

Info

Publication number
CN108282686B
CN108282686B CN201710040253.5A CN201710040253A CN108282686B CN 108282686 B CN108282686 B CN 108282686B CN 201710040253 A CN201710040253 A CN 201710040253A CN 108282686 B CN108282686 B CN 108282686B
Authority
CN
China
Prior art keywords
area
video
video picture
memory
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710040253.5A
Other languages
English (en)
Other versions
CN108282686A (zh
Inventor
马妙魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN201710040253.5A priority Critical patent/CN108282686B/zh
Priority to PCT/CN2018/073070 priority patent/WO2018133800A1/zh
Publication of CN108282686A publication Critical patent/CN108282686A/zh
Application granted granted Critical
Publication of CN108282686B publication Critical patent/CN108282686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例提供一种视频画面处理方法、装置及电子设备，所述方法包括：将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域；当需要重新创建视频窗口可视区域时，将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域。所述无需重新创建硬件解码器，可以直接将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域，解决了视频卡顿的问题，提高了用户体验。

Description

视频画面处理方法、装置及电子设备
技术领域
本发明涉及数据处理领域，具体而言，涉及一种视频画面处理方法、装置及电子设备。
背景技术
在Android系统中，采用硬件解码视频时，若出现将当前播放视频画面的播放器切换到后台，或者将全屏播放的视频画面最小化，又或者将全屏播放的视频画面进行小窗切换等情况时，会导致视频窗口可视区域的销毁，从而使得硬件解码器关闭，当将后台的播放器又重新切换回来时，或将最小化的视频画面全屏切换，又或是将小窗画面又重新切换为全屏画面时，需要重新创建视频窗口可视区域及硬件解码器，由于重新创建硬件解码器有一定的耗时，会导致视频卡顿，用户体验差。
发明内容
有鉴于此，本发明实施例的目的在于提供一种视频画面处理方法、装置及电子设备，以解决上述问题。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种视频画面处理方法，所述方法包括：将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域；当需要重新创建视频窗口可视区域时，将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域。
第二方面，本发明实施例提供了一种视频画面处理装置，所述装置包括：第一处理模块，用于将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域；第二处理模块，用于当需要重新创建视频窗口可视区域时，将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域。
第三方面，本发明实施例提供了一种电子设备，所述电子设备包括存储器及处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时以使所述处理器执行以下操作：将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域；当需要重新创建视频窗口可视区域时，将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域。
与现有技术相比，本发明实施例提供的一种视频画面处理方法、装置及电子设备，由于预先创建的内存渲染区域以及视频窗口可视区域，若出现当前播放视频画面的播放器切换到后台，或者将全屏播放的视频画面最小化，又或者将全屏播放的视频画面进行小窗切换等情况时，由于只会销毁视频窗口可视区域，而内存渲染区域并不会被销毁，因此硬件解码器并不会被关闭，且由于将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域，因此当需要重新创建视频窗口可视区域时，无需重新创建硬件解码器，可以直接将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域，解决了视频卡顿的问题，提高了用户体验。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例提供的电子设备的结构示意图。
图2是本发明第一实施例提供的一种视频画面处理方法的流程图。
图3是本发明第一实施例提供的一种视频画面处理方法中步骤S200的流程图。
图4是本发明第一实施例提供的一种视频画面处理方法中步骤S220的流程图。
图5是本发明第一实施例提供的一种视频画面处理方法中步骤S300的流程图。
图6是本发明第二实施例提供的一种视频画面处理方法的流程图。
图7是本发明实施例提供的一种视频画面处理装置的结构框图。
图8是本发明实施例提供的一种视频画面处理装置中第一处理模块的结构框图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1示出了一种可应用于本发明实施例中的电子设备100的结构框图。如图1所示，电子设备100包括存储器102、存储控制器104，一个或多个(图中仅示出一个)处理器106、外设接口108、射频模块110、音频模块112、触控屏幕114等。这些组件通过一条或多条通讯总线/信号线116相互通讯。
存储器102可用于存储软件程序以及模块，如本发明实施例中的视频画面处理方法及装置对应的程序指令/模块，处理器106通过运行存储在存储器102内的软件程序以及模块，从而执行各种功能应用以及数据处理，如本发明实施例提供的视频画面处理方法。
存储器102可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。处理器106以及其他可能的组件对存储器102的访问可在存储控制器104的控制下进行。
外设接口108将各种输入/输入装置耦合至处理器106以及存储器102。在一些实施例中，外设接口108，处理器106以及存储控制器104可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
射频模块110用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。
音频模块112向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
触控屏幕114在电子设备100与用户之间同时提供一个输出及输入界面。具体地，触控屏幕114向用户显示视频输出，这些视频输出的内容可包括文字、图形、视频及其任意组合。
可以理解，图1所示的结构仅为示意，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
本发明实施例提供的视频画面处理方法可以运行于图1所示的电子设备100中。该方法通过将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域，保证了视频的正常播放，并且由于预先创建内存渲染区域以及视频窗口可视区域，因此当出现当前播放视频画面的播放器切换到后台，或者将全屏播放的视频画面最小化，又或者将全屏播放的视频画面进行小窗切换等情况时，硬件解码器并不会被关闭，且由于将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域，因此当需要重新创建视频窗口可视区域时，无需重新创建硬件解码器，可以直接将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域，解决了视频卡顿的问题，提高了用户体验。下面对该视频画面处理方法进行详细说明。
图2示出了本发明实施例提供的一种视频画面处理方法的流程图，请参阅图2，该视频画面处理方法运行于上述电子设备中，所述方法包括：
步骤S200，将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域。
硬件解码器解码，是指不依赖于CPU的视频解码。作为一种实施方式，硬件解码器解码可以是通过GPU(Graphics Processing Unit，图像处理器)解码，硬件解码器可以是GPU解码时使用的解码单元。
硬件解码器解码的视频画面，是指电子设备将接收到的压缩视频流通过硬件解码器解码产生的视频画面。
将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域的实施方式也有多种。作为一种实施方式，可以将硬件解码器解码的每帧视频画面同时绘制到预先创建的内存渲染区域以及视频窗口可视区域。作为另一种实施方式，也可以将硬件解码器解码的每帧视频画面先绘制到该视频窗口可视区域，再将硬件解码器解码的视频画面绘制到该内存渲染区域。
作为又一种实施方式，请参阅图3，步骤S200可以包括：
步骤S210，将硬件解码器解码的每帧视频画面依次绘制到预先创建的内存渲染区域。
在安装有安卓操作系统的电子设备中，通常采用surface机制进行画面渲染。因此，作为一种实施方式，在安装有安卓操作系统的电子设备中，该内存渲染区域为surface渲染机制中的surface对象。其中，surface对象对应内存中一块区域，安卓操作系统的绘图操作可以作用于它，即安卓操作系统可以调用绘图操作将硬件解码器解码的每帧视频画面的数据依次绘制到surface对象对应的内存区域。当安卓操作系统调用绘图操作将一帧视频画面的数据绘制到surface对象时，此时该帧视频画面对于用户而言是不可见的。
预先创建内存渲染区域的方式也有多种。作为一种实施方式，可以调用malloc函数，开辟一块足够大小的内存区域，作为内存渲染区域。作为另一种实施方式，若该内存渲染区域为surface渲染机制中的surface对象，则可以根据surface渲染机制中创建surface对象的方式来预先创建的内存渲染区域。进一步的，若所述视频窗口可视区域为surface渲染机制中的GLSurfaceView对象，则在surface渲染机制中可以通过下述函数的调用来预先创建内存渲染区域：先创建GLSurfaceView对象，该GLSurfaceView对象包括一个GLSurfaceView渲染线程；调用该GLSurfaceView渲染线程的函数生成对应的TextureID；进一步的，调用创建SurfaceTexture对象的函数，并将该TextureID作为该函数的入口参数传入，生成一个SurfaceTexture对象；调用创建surface对象的函数，并将该SurfaceTexture对象作为该函数的入口参数传入，生成对应的surface对象。其中，该创建GLSurfaceView对象的函数，通过GLSurfaceView渲染线程的函数生成对应的TextureID的函数，创建SurfaceTexture对象的函数，以及创建surface对象的函数在安卓操作系统的surface渲染机制下都是可实现的，此处不再赘述。
步骤S220，将绘制到所述内存渲染区域的视频画面绘制到所述视频窗口可视区域。
作为一种实施方式，在安装安卓操作系统的电子设备中，该视频窗口可视区域可以为GLSurfaceView对象。其中，该GLSurfaceView对象内嵌另一块内存渲染区域surface对象，该GLSurfaceView对象内嵌的surface对象专门负责OpenGL的渲染。
将预先创建的内存渲染区域surface对象上的视频画面，首先绘制到GLSurfaceView对象内嵌的surface对象上，再通过调用GLSurfaceView.Renderer函数，将GLSurfaceView对象内嵌的surface对象上的视频画面显示出来。
进一步的，若所述视频窗口可视区域为GLSurfaceView对象，在创建GLSurfaceView对象时，会同时生成一个对应的GLSurfaceView渲染线程，在Android系统中，每个GLSurfaceView渲染线程对应一个唯一的识别号，也就是说该视频窗口可视区域对应一个唯一识别号，作为一种实施方式，请参阅图4，步骤220可以包括：
步骤S221，将所述内存渲染区域与所述唯一识别号绑定。
作为一种实施方式，该GLSurfaceView渲染线程对应的唯一的识别号，可以是调用该GLSurfaceView渲染线程的函数生成对应的TextureID。该内存渲染区域(surface对象)是根据该TextureID创建的。
作为一种实施方式，在安装安卓操作系统的电子设备中，可以调用attachToGLContext函数，将该TextureID与该surface对象绑定起来。若该surface对象是根据SurfaceTexture对象生成的，也可以调用attachToGLContext函数，将该TextureID与该SurfaceTexture对象绑定起来。可以理解的是，将该TextureID与该surface对象绑定起来，或是将该TextureID与该SurfaceTexture对象绑定起来，其实质都是为了后续渲染线程通过该唯一识别号寻找到对应的内存渲染区域。
步骤S222，根据所述唯一识别号，将绘制到所述内存渲染区域的当前视频画面绘制到视频窗口可视区域。
作为一种实施方式，该GLSurfaceView渲染线程调用绘图操作，并将该TextureID作为绘图操作的入口函数传入，实现将绘制到surface对象的当前视频画面绘制到该GLSurfaceView对象。
步骤S223，当在所述视频窗口可视区域的当前视频画面绘制完成，解除所述内存渲染区域与所述唯一识别号的绑定。
作为一种实施方式，在安装安卓操作系统的电子设备中，可以调用detachFromGLContext函数，将该TextureID与该surface对象解绑(或者该TextureID与该SurfaceTexture对象解绑)。。
可以理解的是，由于当出现将当前播放视频画面的播放器切换到后台，或者将全屏播放的视频画面最小化(对应GLSurfaceView隐藏)，又或者将全屏播放的视频画面进行小窗切换(对应视频GLSurfaceView从View树中移走)等情况时，视频窗口可视区域(GLSurfaceView对象)会被销毁，而当将后台的播放器又重新切换回来时，或将最小化的视频画面全屏切换，又或是将小窗画面又重新切换为全屏画面时，视频窗口可视区域(GLSurfaceView对象)又会被重建，不同GLSurfaceView渲染线程对应不同的唯一的识别号，因此，当GLSurfaceView对象不断的销毁和创建时，其对应的唯一识别号会不断改变。进一步的，由于后续渲染线程是通过该唯一识别号寻找到对应的内存渲染区域的，因此，每当根据所述唯一识别号，将绘制到所述内存渲染区域的当前视频画面绘制到视频窗口可视区域之前，都先将所述内存渲染区域与所述唯一识别号绑定，以使渲染线程根据所述唯一识别号，能够寻找到正确的内存渲染区域。当在所述视频窗口可视区域的当前视频画面绘制完成，解除所述内存渲染区域与所述唯一识别号的绑定，以保证下一次将绘制到所述内存渲染区域的当前视频画面绘制到视频窗口可视区域之前，能够重新进行最新的绑定。
步骤S300，当需要重新创建视频窗口可视区域时，将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域。
可以理解的是，当将后台的播放器又重新切换回来时，或将最小化的视频画面全屏切换(对应View设为可见)，又或是将小窗画面又重新切换为全屏画面(对应视频View添加回View树)时，都需要重新创建视频窗口可视区域。
请参阅图5，作为一种实施方式，所述新的视频窗口可视区域对应一个新的唯一识别号，步骤S300可以包括：
步骤S310，将所述内存渲染区域与所述新的唯一识别号绑定。
绑定的实施方式可以与步骤S221相似，此处不再赘述。
步骤S320，根据所述新的唯一识别号，将绘制到所述内存渲染区域的当前视频画面绘制到新的视频窗口可视区域。
步骤S320的实施方式可以与步骤S222相似，此处不再赘述。
步骤S330，当在所述新的视频窗口可视区域的当前视频画面绘制完成，解除所述内存渲染区域与所述新的唯一识别号的绑定。
解绑的实施方式可以与步骤S223相似，此处不再赘述。
可以理解的是，通过这种方式，使得每次重新创建视频窗口可视区域时，都是根据新的唯一识别号来寻找对应的内存渲染区域。
请参阅图6，下面以该视频窗口可视区域为GLSurfaceView对象，该内存渲染区域为surface对象对该视频画面处理方法的一种实施方式进行说明，该方法运行于安装有安卓系统的电子设备中。
步骤S401，预先创建GLSurfaceView对象，该GLSurfaceView对象包括一个GLSurfaceView渲染线程。
步骤S402，该GLSurfaceView渲染线程生成对应的TextureID。
步骤S403，根据该TextureID，生成一个SurfaceTexture对象。
步骤S404，根据该SurfaceTexture对象，生成对应的surface对象。
步骤S405，将该surface对象发送给视频播放器。
步骤S406，该视频播放器将硬件解码器解码的一帧视频画面绘制到该surface对象，绘制完成后，发送通知到该GLSurfaceView对象。
步骤S407，该GLSurfaceView对象接收到该通知，在该GLSurfaceView渲染线程内部调用安卓公开的接口函数attachToGLContext，将SurfaceTexture对象与该GLSurfaceView渲染线程生成的TextureID绑定起来。
步骤S408，该GLSurfaceView渲染线程根据TextureID，将绘制到surface对象上的视频画面绘制到该GLSurfaceView对象上。
步骤S409，当在该GLSurfaceView对象上的当前视频画面绘制完成，调用安卓公开的接口函数detachFromGLContext，解除SurfaceTexture对象与该TextureID的绑定。
步骤S410，当需要重新创建GLSurfaceView对象时，该重新创建的GLSurfaceView对象对应一个新的GLSurfaceView渲染线程，该新的GLSurfaceView渲染线程重新生成一个新的TextureID，调用安卓公开的接口函数attachToGLContext，将SurfaceTexture对象与该新的TextureID绑定起来，该新的GLSurfaceView渲染线程根据新的TextureID，将绘制到surface对象上的视频画面绘制到该新的GLSurfaceView对象上，当在该新的GLSurfaceView对象上的当前视频画面绘制完成，调用安卓公开的接口函数detachFromGLContext，解除SurfaceTexture对象与该新的TextureID的绑定。
本发明实施例提供的视频画面处理方法，由于预先创建的内存渲染区域以及视频窗口可视区域，若出现当前播放视频画面的播放器切换到后台，或者将全屏播放的视频画面最小化，又或者将全屏播放的视频画面进行小窗切换等情况时，由于只会销毁视频窗口可视区域，而内存渲染区域并不会被销毁，因此硬件解码器并不会被关闭，且由于将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域，因此当需要重新创建视频窗口可视区域时，无需重新创建硬件解码器，可以直接将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域，解决了视频卡顿的问题，提高了用户体验。
请参阅图7，是本发明实施例提供的视频画面处理装置500的功能模块示意图。所述视频画面处理装置500运行于所述电子设备100，所述视频画面处理装置500包括第一处理模块510及第二处理模块520。
第一处理模块510，用于将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域。
作为一种实施方式，所述视频窗口可视区域为GLSurfaceView对象，所述内存渲染区域为surface对象。
作为一种实施方式，请参阅图8，所述第一处理模块510可以包括第一绘制模块511及第二绘制模块512。
所述第一绘制模块511，用于将硬件解码器解码的每帧视频画面依次绘制到预先创建的内存渲染区域。
所述第二绘制模块512，用于将绘制到所述内存渲染区域的视频画面绘制到视频窗口可视区域。
作为一种实施方式，所述视频窗口可视区域对应一个唯一识别号，所述第二绘制模块512，具体用于将所述内存渲染区域与所述唯一识别号绑定；根据所述唯一识别号，将绘制到所述内存渲染区域的当前视频画面绘制到视频窗口可视区域；当在所述视频窗口可视区域的当前视频画面绘制完成，解除所述内存渲染区域与所述唯一识别号的绑定。
作为一种实施方式，所述视频窗口可视区域为GLSurfaceView对象，所述内存渲染区域为surface对象。所述GLSurfaceView对象包括一个GLSurfaceView渲染线程；所述唯一识别号是由所述GLSurfaceView渲染线程生成的TextureID；所述surface对象是根据该TextureID创建的。
第二处理模块520，用于当需要重新创建视频窗口可视区域时，将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域。
作为一种实施方式，所述新的视频窗口可视区域对应一个新的唯一识别号，所述第二处理模块520，具体用于将所述内存渲染区域与所述新的唯一识别号绑定；根据所述新的唯一识别号，将绘制到所述内存渲染区域的当前视频画面绘制到新的视频窗口可视区域；当在所述新的视频窗口可视区域的当前视频画面绘制完成，解除所述内存渲染区域与所述新的唯一识别号的绑定。
以上各模块可以是由软件代码实现，此时，上述的各模块可存储于电子设备100的存储器102内。以上各模块同样可以由硬件例如集成电路芯片实现。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本发明实施例所提供的视频画面处理装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种视频画面处理方法，其特征在于，所述方法包括：
将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域,使得当出现当前播放视频画面的播放器切换到后台，或者将全屏播放的视频画面最小化，或者将全屏播放的视频画面进行小窗切换等情况时，所述硬件解码器不会被关闭；
当需要重新创建视频窗口可视区域时，不重新创建硬件解码器，将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域。
2.根据权利要求1所述的方法，其特征在于，所述将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域，包括：
将硬件解码器解码的每帧视频画面依次绘制到预先创建的内存渲染区域；
将绘制到所述内存渲染区域的视频画面绘制到所述视频窗口可视区域。
3.根据权利要求2所述的方法，其特征在于，所述视频窗口可视区域对应一个唯一识别号，
所述将绘制到所述内存渲染区域的视频画面绘制到视频窗口可视区域，包括：
将所述内存渲染区域与所述唯一识别号绑定；
根据所述唯一识别号，将绘制到所述内存渲染区域的当前视频画面绘制到视频窗口可视区域；
当在所述视频窗口可视区域的当前视频画面绘制完成，解除所述内存渲染区域与所述唯一识别号的绑定。
4.根据权利要求3所述的方法，其特征在于，所述新的视频窗口可视区域对应一个新的唯一识别号，
所述将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域，包括：
将所述内存渲染区域与所述新的唯一识别号绑定；
根据所述新的唯一识别号，将绘制到所述内存渲染区域的当前视频画面绘制到新的视频窗口可视区域；
当在所述新的视频窗口可视区域的当前视频画面绘制完成，解除所述内存渲染区域与所述新的唯一识别号的绑定。
5.根据权利要求3或4所述的方法，其特征在于，所述视频窗口可视区域为GLSurfaceView对象，所述内存渲染区域为surface对象。
6.根据权利要求5所述的方法，其特征在于，所述GLSurfaceView对象包括一个GLSurfaceView渲染线程；所述唯一识别号是由所述GLSurfaceView渲染线程生成的TextureID；所述surface对象是根据该TextureID创建的。
7.一种视频画面处理装置，其特征在于，所述装置包括：
第一处理模块，用于将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域,使得当出现当前播放视频画面的播放器切换到后台，或者将全屏播放的视频画面最小化，或者将全屏播放的视频画面进行小窗切换等情况时，所述硬件解码器不会被关闭；
第二处理模块，用于当需要重新创建视频窗口可视区域时，不重新创建硬件解码器，将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域。
8.根据权利要求7所述的装置，其特征在于，所述第一处理模块包括第一绘制模块及第二绘制模块，
所述第一绘制模块，用于将硬件解码器解码的每帧视频画面依次绘制到预先创建的内存渲染区域；
所述第二绘制模块，用于将绘制到所述内存渲染区域的视频画面绘制到视频窗口可视区域。
9.根据权利要求8所述的装置，其特征在于，所述视频窗口可视区域对应一个唯一识别号，所述第二绘制模块，具体用于将所述内存渲染区域与所述唯一识别号绑定；根据所述唯一识别号，将绘制到所述内存渲染区域的当前视频画面绘制到视频窗口可视区域；当在所述视频窗口可视区域的当前视频画面绘制完成，解除所述内存渲染区域与所述唯一识别号的绑定。
10.根据权利要求9所述的装置，其特征在于，所述新的视频窗口可视区域对应一个新的唯一识别号，所述第二处理模块，具体用于将所述内存渲染区域与所述新的唯一识别号绑定；根据所述新的唯一识别号，将绘制到所述内存渲染区域的当前视频画面绘制到新的视频窗口可视区域；当在所述新的视频窗口可视区域的当前视频画面绘制完成，解除所述内存渲染区域与所述新的唯一识别号的绑定。
11.根据权利要求9或10所述的装置，其特征在于，所述视频窗口可视区域为GLSurfaceView对象，所述内存渲染区域为surface对象。
12.根据权利要求11所述的装置，其特征在于，所述GLSurfaceView对象包括一个GLSurfaceView渲染线程；所述唯一识别号是由所述GLSurfaceView渲染线程生成的TextureID；所述surface对象是根据该TextureID创建的。
13.一种电子设备，其特征在于，所述电子设备包括存储器及处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时以使所述处理器执行以下操作：
将硬件解码器解码的视频画面绘制到预先创建的内存渲染区域以及视频窗口可视区域；
当需要重新创建视频窗口可视区域时，将绘制在所述内存渲染区域上的视频画面绘制到新的视频窗口可视区域。
CN201710040253.5A 2017-01-18 2017-01-18 视频画面处理方法、装置及电子设备 Active CN108282686B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710040253.5A CN108282686B (zh) 2017-01-18 2017-01-18 视频画面处理方法、装置及电子设备
PCT/CN2018/073070 WO2018133800A1 (zh) 2017-01-18 2018-01-17 视频画面处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710040253.5A CN108282686B (zh) 2017-01-18 2017-01-18 视频画面处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108282686A CN108282686A (zh) 2018-07-13
CN108282686B true CN108282686B (zh) 2020-11-20

Family

ID=62801100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710040253.5A Active CN108282686B (zh) 2017-01-18 2017-01-18 视频画面处理方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN108282686B (zh)
WO (1) WO2018133800A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110891193B (zh) * 2018-09-11 2022-05-20 广州虎牙信息科技有限公司 直播视频处理方法、装置、终端及存储介质
CN111107415B (zh) * 2018-10-26 2023-06-23 青橙数科集团股份有限公司 一种直播间画中画播放方法、存储介质、电子设备及系统
CN111163345B (zh) * 2018-11-07 2021-11-26 杭州海康威视系统技术有限公司 一种图像渲染方法及装置
CN111954068B (zh) * 2019-05-14 2023-01-24 阿里巴巴集团控股有限公司 用于视频清晰度切换的方法、设备及电子设备
CN110602551A (zh) * 2019-08-22 2019-12-20 福建星网智慧科技股份有限公司 安卓框架层的媒体播放方法、播放器、设备及存储介质
CN110636372B (zh) * 2019-10-08 2022-02-25 未来电视有限公司 视频解码方法、视频播放装置、电子设备及存储介质
CN111432262B (zh) * 2020-02-24 2022-05-24 杭州海康威视数字技术股份有限公司 页面视频渲染方法及装置
CN112950757B (zh) * 2021-03-30 2023-03-14 上海哔哩哔哩科技有限公司 图像渲染方法及装置
CN113613057A (zh) * 2021-06-11 2021-11-05 杭州华橙软件技术有限公司 播放窗口切换方法、电子设备及存储介质
CN114339415B (zh) * 2021-12-23 2024-01-02 天翼云科技有限公司 客户端视频播放方法、装置、电子设备和可读介质
CN115908674A (zh) * 2022-11-30 2023-04-04 北京百度网讯科技有限公司 量子电路图渲染方法、装置、设备、存储介质及程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491452A (zh) * 2015-11-25 2016-04-13 浙江宇视科技有限公司 一种多视频窗口层级切换方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006368B (zh) * 2010-12-03 2013-06-19 重庆新媒农信科技有限公司 基于移动终端记忆卡缓存技术的流媒体音频文件播放方法
US8442388B1 (en) * 2011-11-23 2013-05-14 General Instrument Corporation System and method for recording video content
EP2798522A4 (en) * 2011-12-30 2015-08-05 Intel Corp SELECTIVE HARDWARE ACCELERATION IN VIDEO PLAYBACK SYSTEMS
CN103702169A (zh) * 2013-12-19 2014-04-02 上海高清数字科技产业有限公司 菜单显示方法
US9681086B2 (en) * 2014-03-12 2017-06-13 Google Inc. System and method for continuing playback in widget after app is backgrounded
CN104113704A (zh) * 2014-07-01 2014-10-22 深圳市欢创科技有限公司 一种游戏图像处理方法及装置
CN105187895B (zh) * 2015-09-17 2019-03-12 暴风集团股份有限公司 针对移动平台硬件加速播放视频的数据缓存方法及系统
CN105554575B (zh) * 2015-12-11 2019-12-03 北京元心科技有限公司 多系统中对媒体播放功能进行处理的方法及装置
CN105828195A (zh) * 2016-03-10 2016-08-03 乐视云计算有限公司 一种播放器的挂起恢复方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491452A (zh) * 2015-11-25 2016-04-13 浙江宇视科技有限公司 一种多视频窗口层级切换方法及装置

Also Published As

Publication number Publication date
CN108282686A (zh) 2018-07-13
WO2018133800A1 (zh) 2018-07-26

Similar Documents

Publication Publication Date Title
CN108282686B (zh) 视频画面处理方法、装置及电子设备
CN110166810B (zh) 视频渲染引擎切换方法、装置、设备及可读存储介质
US20140359685A1 (en) Video processing method, television dongle, control terminal, and system
CN108600800B (zh) 一种智能电视的开机方法及智能电视
TW201933875A (zh) 資訊展示方法和裝置
CN109151966B (zh) 终端控制方法、装置、终端设备及存储介质
US11070886B2 (en) Method and apparatus for looping a video file
KR20140030226A (ko) 글로벌 저작 시스템
CN108211352A (zh) 一种调节画质的方法及终端
CN109167890B (zh) 一种音画同步方法和装置及显示设备
CN107027068B (zh) 渲染方法、解码方法、播放多媒体数据流的方法及装置
CN109045694B (zh) 虚拟场景显示方法、装置、终端及存储介质
CN110401877B (zh) 视频播放的控制方法、装置、电子设备、及存储介质
CN112929678A (zh) 直播方法、装置、服务端及计算机可读存储介质
CN106610828B (zh) 基于Android系统的GIF动画播放方法及装置
CN104615432B (zh) 闪屏信息处理方法及客户端
CN109587561B (zh) 视频处理方法、装置、电子设备及存储介质
CN109688462B (zh) 降低设备功耗的方法、装置、电子设备及存储介质
CN111338628A (zh) 组件渲染方法及设备
CN109587555B (zh) 视频处理方法、装置、电子设备及存储介质
US8648870B1 (en) Method and apparatus for performing frame buffer rendering of rich internet content on display devices
US11513937B2 (en) Method and device of displaying video comments, computing device, and readable storage medium
CN109091866B (zh) 显示控制方法、装置、计算机可读介质及电子设备
CN113825022B (zh) 一种播放控制状态检测方法、装置、存储介质及电子设备
CN112153409B (zh) 直播方法、装置、直播接收端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200522

Address after: 310051 14th floor, Tower B, Pingyun Plaza, radio and television, No. 163, xipingyun Road, Huangpu Avenue, Tianhe District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 510627 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yun Lu Yun Ping B radio 14 floor tower square

Applicant before: GUANGZHOU UCWEB COMPUTER TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant