CN114845151A - 一种多屏同步显示方法、系统、终端设备和存储介质 - Google Patents

一种多屏同步显示方法、系统、终端设备和存储介质 Download PDF

Info

Publication number
CN114845151A
CN114845151A CN202210497538.2A CN202210497538A CN114845151A CN 114845151 A CN114845151 A CN 114845151A CN 202210497538 A CN202210497538 A CN 202210497538A CN 114845151 A CN114845151 A CN 114845151A
Authority
CN
China
Prior art keywords
image
media file
rendering
display device
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210497538.2A
Other languages
English (en)
Inventor
熊卫波
薛敏
张世鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BDstar Intelligent and Connected Vehicle Technology Co Ltd
Original Assignee
BDstar Intelligent and Connected Vehicle Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BDstar Intelligent and Connected Vehicle Technology Co Ltd filed Critical BDstar Intelligent and Connected Vehicle Technology Co Ltd
Priority to CN202210497538.2A priority Critical patent/CN114845151A/zh
Publication of CN114845151A publication Critical patent/CN114845151A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种多屏同步显示方法、系统、终端设备和存储介质，该同步方法获取待播放的多个媒体文件，将多个媒体文件合并为一个合成媒体文件，对合成媒体文件进行解码处理生成图像帧数据，对图像帧数据进行分割，得到对应于不同显示装置的多个帧图像，并对每个帧图像进行渲染处理，生成对应的渲染图像，将对应的渲染图像发送到对应的显示装置进行同步播放。不仅可以在系统未完全启动时可以实现快速展示多屏开机动画，还可以通过使用图形处理器进行单线程渲染，以降低对中央处理器的资源占用，从而释放更多的中央处理器资源来处理系统的其他任务。

Description

一种多屏同步显示方法、系统、终端设备和存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种多屏同步显示方法、系统、终端设备和存储介质。
背景技术
现有技术中，将多个将要播放的动画源文件同时在对应的多个屏幕上进行显示，需要通过不同的线程读取不同的源动画文件播放，但由于线程的创建、读取文件、完成解码、以及在生成渲染后的帧图像等操作受到系统的中央处理器调度时间不同步，中央处理器负载等因素的影响，将导致投屏的时机不同，多个显示屏幕之间很难达到完全同步的目的，并且需要在系统完全启动后才能实现多屏显示，显示速度较慢。
发明内容
有鉴于此，本申请实施例提供了一种多屏同步显示方法、系统、终端设备和存储介质，以解决现有技术中车辆的多个显示装置无法同步显示的问题。
第一方面，本申请实施例提供一种多屏同步显示方法，包括：
获取待播放的多个媒体文件，将所述多个媒体文件合并为一个合成媒体文件；
对所述合成媒体文件进行解码处理生成图像帧数据；
通过图像处理器对所述图像帧数据进行分割，得到对应于不同显示装置的多个帧图像，并对每个所述帧图像进行渲染处理，生成对应的渲染图像；
将所述对应的渲染图像发送到对应的显示装置进行同步播放。
在一些实施例中，所述将所述多个媒体文件合并为一个合成媒体文件，包括：
基于所述多个媒体文件对应的多个显示装置尺寸确定所述合成媒体文件的尺寸；
将所述多个媒体文件通过预设的合成工具进行合成，得到一个合成媒体文件。
在一些实施例中，每个所述媒体文件的帧数相同，且播放的时长相同。
在一些实施例中，所述对所述合成媒体文件进行解码处理生成图像帧数据，包括：
基于多媒体提取器对所述合成媒体文件进行解封装，得到视频帧；
基于媒体编解码器对所述视频帧进行解码，得到解码后的预设格式的图像帧数据并存放于缓存队列中。
在一些实施例中，所述通过图像处理器对所述图像帧数据进行分割，得到对应于不同显示装置的多个帧图像，包括：
基于图像处理器的开放图形库创建对应的片着色器和顶点着色器；
基于所述片着色器和所述顶点着色器按照每个显示装置的尺寸进行分割，生成对应的多个帧图像。
在一些实施例中，所述对每个所述帧图像进行渲染处理，生成对应的渲染图像，包括：
根据所述媒体文件的尺寸和用于对应播放的显示装置尺寸确定各个所述显示装置所需渲染的纹理坐标和顶点坐标；
根据所述纹理坐标和所述顶点坐标对每个显示装置对应的所述帧图像在所述图像处理器中进行渲染处理，生成存储在缓存区的多个渲染图像。
在一些实施例中，所述将所述对应的渲染图像发送到对应的显示装置进行同步播放，包括：
通过Surfaceflinger将缓存区的所述多个渲染图像发送至对应的多个设置有硬件混合渲染器的显示装置上进行同时显示。
第二方面，本申请实施例还提供一种多屏同步显示装置，所述装置包括：
媒体文件合成模块，用于获取待播放的多个媒体文件，将所述多个媒体文件合并为一个合成媒体文件；
解码模块，用于对所述合成媒体文件进行解码处理生成图像帧数据；
分割渲染模块，用于对所述图像帧数据进行分割，得到对应于不同显示装置的多个帧图像，并对每个所述帧图像进行渲染处理，生成对应的渲染图像；
显示模块，用于将所述对应的渲染图像发送到对应的显示装置进行同步播放。
第三方面，本申请实施例还提供一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行上述的多屏同步显示方法。
第四方面，本申请实施例还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述的多屏同步显示方法。
本申请的实施例具有如下有益效果：
本发明实施例公开了一种多屏同步显示方法、系统、终端设备和存储介质，该同步方法获取待播放的多个媒体文件，将多个媒体文件合并为一个合成媒体文件，对合成媒体文件进行解码处理生成图像帧数据，对图像帧数据进行分割，得到对应于不同显示装置的多个帧图像，并对每个帧图像进行渲染处理，生成对应的渲染图像，将对应的渲染图像发送到对应的显示装置进行同步播放。不仅可以在系统未完全启动时可以实现快速展示多屏开机动画，还可以通过使用图形处理器进行单线程渲染，以降低对中央处理器的资源占用，从而释放更多的中央处理器资源来处理系统的其他任务。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本申请实施例提出的一种多屏同步显示方法的流程示意图；
图2示出了本申请实施例提出的一种多屏同步显示方法的得到合成媒体文件流程示意图；
图3示出了本申请实施例提出的一种多屏同步显示方法的解码处理流程示意图；
图4示出了本申请实施例提出的一种多屏同步显示方法的分割渲染处理流程示意图；
图5示出了本申请实施例提出的一种多屏同步显示方法的分割渲染处理及显示的流程示意图；
图6示出了本申请实施例提出的一种多屏同步显示方法的显示装置与合成媒体的映射关系示意图；
图7示出了本申请实施例提供的一种多屏同步显示装置的结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
CPU：central processing unit，中央处理器；
GPU：graphics processing unit，图形处理器；
Framebuffer：帧图像；
MediaExtractor：多媒体提取器；
MediaCodec：媒体编解码器；
MediaCodecBuffer：媒体编解码器缓冲区；
Surfaceflinger：图形渲染管理系统；
Hardware Composer：硬件混合渲染器；
Renderengine：图形渲染引擎；
OpenGL：Open Graphics Library，开放图形库。
实施例1
如图1所示，本申请实施例提出一种多屏同步显示方法，该方法包括以下步骤：
S100：获取待播放的多个媒体文件，将所述多个媒体文件合并为一个合成媒体文件。
在本实施例中，获取将要在多个显示装置进行显示的对应的多个媒体文件，将获取的多个媒体文件合并为一个合成媒体文件，使得上述合成媒体文件的读取能够在同一个线程中载入。其中，多媒体文件为要播放的动画源文件，格式包括但不限于mp4格式、mpeg格式、wmv格式和avi格式。如图2所示，上述步骤S100包括以下子步骤：
子步骤S110：基于所述多个媒体文件对应的多个显示装置尺寸确定所述合成媒体文件的尺寸。
可以理解的是，将上述的多个媒体文件合并为一个合成媒体文件，并且每个多媒体文件的大小与对应的显示装置一一对应。换言之，将多个显示装置需要显示的内容合入到一个帧中，从而制作成一个视频。因此，每个显示装置对应的显示内容，即对应的多个媒体文件的帧数是相同的，且播放的时长相同，换言之，每个显示装置对应的显示内容应同时开始显示，同时结束显示。
此外，在制作合成媒体文件时，需要确定各个显示装置的物理大小和各个显示装置相应的分辨率，然后根据各个显示装置尺寸确定将要合成的合成媒体文件的尺寸。当多个媒体文件对应的显示装置大小不同时，需要对多个媒体文件的纵向分辨率或横向分辨率进行对应的调节，使其纵向或横向对应的分辨率相同，并以此确定合成媒体文件的尺寸。使得在得到合成媒体文件后，上述多个媒体文件的内容可以完整的在各个显示装置上进行显示。其中，显示装置的数量可以是两块、三块、四块及以上，即对应的显示装置的数量应为至少两块。
示范性的，若将要播放的三个媒体文件，其对应的三个显示装置的尺寸分别为384*1920、720*1920和720*1920时，合成媒体文件的视频整体尺寸应为1824*1920时。
子步骤S120：将所述多个媒体文件通过预设的合成工具进行合成，得到一个合成媒体文件。
在本实施例中，在确定待合成的合成媒体文件的尺寸后，将上述多个媒体文件通过预设的媒体合成工具合成一个类似九宫格的合成媒体文件。在合并得到合成媒体文件时，需要对多个多媒体文件进行对应的调节。目前大多数的媒体合成工具都可以进行多媒体文件的合成，例如，Adobe Premiere Pro软件等。其中，将多个媒体文件合成到一个媒体文件中与多媒体文件的读取能够在同一个线程中载入。
示范性的，若包括四个待显示的多媒体文件，可以将四个多媒体文件通过合成工具进行合并后形成一个类似于“田”字格的合成媒体文件，也可以将四个多媒体文件合成为沿纵向或横向依次排布的合成媒体文件，例如当四个多媒体文件合成为沿纵向依次排布的合成媒体文件时，若多媒体文件的横向分辨率大小不同，将对上述四个多媒体文件的横向分辨率进行调节，使得多媒体文件对应的横向分辨率相同。将四个媒体文件合并为类似九宫格的合成媒体文件时，将根据上述四个个显示装置中的最大分辨率对多媒体文件进行调节，使其对应的分辨率相同。
S200：对所述合成媒体文件进行解码处理生成图像帧数据。
可以理解的是，合成对应的合成媒体文件后，系统将读取该合成媒体文件，并对该合成媒体文件按照一帧一帧的方式完成解封处理，以生成对应的图像帧数据。其中，如图3所示，上述步骤S200包括以下子步骤：
子步骤S210：基于多媒体提取器对所述合成媒体文件进行解封装，得到视频帧。
在系统读取到合成媒体文件后，将通过多媒体提取器(MediaExtractor)对该合成媒体文件进行解封装操作得到对应的视频帧。换言之，需要对提取的合成媒体文件中的视频进行视频解析，将音频与视频进行分离，分别获取音视频流。其中，多媒体提取器在Android的音视频开发里主要负责提取视频或者音频中的信息和数据流，例如将视频文件剥离出音频与视频。
子步骤S220：基于媒体编解码器对所述视频帧进行解码，得到解码后的预设格式的图像帧数据并存放于缓存队列中。
在获得解封装后的视频帧后，通过媒体编解码器(MediaCodec)对上述视频帧，即音视频流进行解码处理，从而获得对应的图像帧数据，即获取到yuv格式的视频帧数据。将上述图像帧数据存储于媒体编解码器缓冲区(MediaCodecBuffer)的缓存队列中，以用于将上述图像帧数据发送至图形处理器中进行下一步处理，其中，媒体编解码器通过硬件加速解码和编码。
在本实施例中，只需要对一个合成媒体文件进行解码，故而仅需一个线程，可以更加简单高效地实现多个屏幕同时显示。
S300：通过图像处理器对所述图像帧数据进行分割，得到对应于不同显示装置的多个帧图像，并对每个所述帧图像进行渲染处理，生成对应的渲染图像。
在本实施例中，获取解码生成的图像帧数据后，将其送入图形处理器(GPU)中进行分割处理和渲染处理生成多个渲染图像。在本实施例中，分割等工作由高性能的图形处理器完成，可以保证显示装置进行显示的实时性和高效性。其中，如图4所示，上述步骤S300包括以下子步骤：
子步骤S310：基于图像处理器的开放图形库创建对应的片着色器和顶点着色器。
可以理解的是，如图5所示，在图形处理器中通过OpenGL SE基于CG语言创建对应的片着色器和顶点着色器，其中，CG语言(C for Graphics)是为GPU编程设计的高级着色器语言。
子步骤S320：基于所述片着色器和所述顶点着色器按照每个显示装置的尺寸进行分割，生成对应的多个帧图像。
按照各个显示装置的尺寸大小，在图形处理器中通过上述片着色器和顶点着色器对输入的图像帧数据进行计算、分割处理，从而生成上述各个显示装置相应的不同大小的多个帧图像。其中，上述进行分割处理的算法是根据实际情况变化的，主要是不同显示装置的尺寸，不同多媒体文件的排列，所需要的算法处理是不一样的。
子步骤S330：根据所述媒体文件的尺寸和用于对应播放的显示装置尺寸确定各个所述显示装置所需渲染的纹理坐标和顶点坐标。
在本实施例中，在图像处理器中各个显示装置所需要进行渲染的纹理坐标和顶点坐标根据合成媒体文件的实际视频尺寸以及各个显示装置尺寸确定。换言之，各个显示装置对应的纹理坐标和顶点坐标与上述多个媒体文件尺寸区域和各个屏幕相对应。
示范性的，各个显示装置与合成媒体文件对应的视频的映射关系如图6所示，当包括三个显示装置时，即第一显示装置A、第二显示装置B和第三显示装置C依次纵向排列，每一帧图像中均包括了与三个显示装置对应的显示内容，分别为第一屏a、第二屏b和第三屏c。例如，当第一显示装置的分辨率为384*1920，第二显示装置为720*1920，以及第三显示装置为720*1920，合成媒体文件的视频整体尺寸为1824*1920时，可以确定各个屏幕对应的所需要渲染的纹理坐标和顶点坐标。
子步骤S340：根据所述纹理坐标和所述顶点坐标对每个显示装置对应的所述帧图像在所述图像处理器中进行渲染处理，生成存储在缓存区的多个渲染图像。
在图形处理器中通过同一线程根据每个显示装置对应的纹理坐标和顶点坐标对相应的帧图像通过图形渲染引擎(renderengine)进行渲染处理，相当于进行串行渲染，完成对上述多个帧图像的渲染，从而生成对应的存储在缓存区的多个渲染图像。
S400：将所述对应的渲染图像发送到对应的显示装置进行同步播放。
可以理解的是，通过Surfaceflinger将缓存区的所述多个渲染图像发送至对应的多个设置有硬件混合渲染器(Hardware Composer)的显示装置上进行同时显示。
在本实施例中，每次处理一帧媒体文件中的视频数据。因为每一帧的视频数据中包含多个显示装置对应的渲染图像，将每一帧中各个对应的渲染图像显示到对应的显示装置上，保证了所有动画都能同步显示。
在本实施例中，通过将多个媒体文件合成一个文件，且在对该文件进行处理时仅在同一个线程中进行，再同时将生成的多个渲染图像投递到相应的多个显示装置中进行显示。不仅可以在系统未完全启动时，即在服务器、解码器等几个关键服务器启动时，就可以实现快速展示多屏开机动画，还可以通过使用图形处理器进行单线程渲染，以降低对中央处理器的资源占用，从而释放更多的中央处理器资源来处理系统的其他任务。
实施例2
基于上述实施例的障碍物轮廓检测方法，图7示出了本申请实施例提供的一种多屏同步显示装置10的结构示意图。
该多屏同步显示装置10包括：
媒体文件合成模块11，用于获取待播放的多个媒体文件，将所述多个媒体文件合并为一个合成媒体文件。
解码模块12，用于对所述合成媒体文件进行解码处理生成图像帧数据。
分割渲染模块13，用于对所述图像帧数据进行分割，得到对应于不同显示装置的多个帧图像，并对每个所述帧图像进行渲染处理，生成对应的渲染图像。
显示模块14，用于将所述对应的渲染图像发送到对应的显示装置进行同步播放。
上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。
此外，本申请还提出一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行上述实施例上述的多屏同步显示方法。
本申请实施例还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上执行时，实施上述的多屏同步显示方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种多屏同步显示方法，其特征在于，包括：
获取待播放的多个媒体文件，将所述多个媒体文件合并为一个合成媒体文件；
对所述合成媒体文件进行解码处理生成图像帧数据；
通过图像处理器对所述图像帧数据进行分割，得到对应于不同显示装置的多个帧图像，并对每个所述帧图像进行渲染处理，生成对应的渲染图像；
将所述对应的渲染图像发送到对应的显示装置进行同步播放。
2.根据权利要求1所述的多屏同步显示方法，其特征在于，所述将所述多个媒体文件合并为一个合成媒体文件，包括：
基于所述多个媒体文件对应的多个显示装置尺寸确定所述合成媒体文件的尺寸；
将所述多个媒体文件通过预设的合成工具进行合成，得到一个合成媒体文件。
3.根据权利要求1所述的多屏同步显示方法，其特征在于，每个所述媒体文件的帧数相同，且播放的时长相同。
4.根据权利要求1所述的多屏同步显示方法，其特征在于，所述对所述合成媒体文件进行解码处理生成图像帧数据，包括：
基于多媒体提取器对所述合成媒体文件进行解封装，得到视频帧；
基于媒体编解码器对所述视频帧进行解码，得到解码后的预设格式的图像帧数据并存放于缓存队列中。
5.根据权利要求1所述的多屏同步显示方法，其特征在于，所述通过图像处理器对所述图像帧数据进行分割，得到对应于不同显示装置的多个帧图像，包括：
基于图像处理器的开放图形库创建对应的片着色器和顶点着色器；
基于所述片着色器和所述顶点着色器按照每个显示装置的尺寸进行分割，生成对应的多个帧图像。
6.根据权利要求1或5所述的多屏同步显示方法，其特征在于，所述对每个所述帧图像进行渲染处理，生成对应的渲染图像，包括：
根据所述媒体文件的尺寸和用于对应播放的显示装置尺寸确定各个所述显示装置所需渲染的纹理坐标和顶点坐标；
根据所述纹理坐标和所述顶点坐标对每个显示装置对应的所述帧图像在所述图像处理器中进行渲染处理，生成存储在缓存区的多个渲染图像。
7.根据权利要求1所述的多屏同步显示方法，其特征在于，所述将所述对应的渲染图像发送到对应的显示装置进行同步播放，包括：
通过Surfaceflinger将缓存区的多个所述渲染图像发送至对应的多个设置有硬件混合渲染器的显示装置上进行同时显示。
8.一种多屏同步显示装置，其特征在于，所述装置包括：
媒体文件合成模块，用于获取待播放的多个媒体文件，将所述多个媒体文件合并为一个合成媒体文件；
解码模块，用于通过图像处理器对所述合成媒体文件进行解码处理生成图像帧数据；
分割渲染模块，用于对所述图像帧数据进行分割，得到对应于不同显示装置的多个帧图像，并对每个所述帧图像进行渲染处理，生成对应的渲染图像；
显示模块，用于将所述对应的渲染图像发送到对应的显示装置进行同步播放。
9.一种终端设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至7任一项所述的多屏同步显示方法。
10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7任一项所述的多屏同步显示方法。
CN202210497538.2A 2022-05-09 2022-05-09 一种多屏同步显示方法、系统、终端设备和存储介质 Pending CN114845151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210497538.2A CN114845151A (zh) 2022-05-09 2022-05-09 一种多屏同步显示方法、系统、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210497538.2A CN114845151A (zh) 2022-05-09 2022-05-09 一种多屏同步显示方法、系统、终端设备和存储介质

Publications (1)

Publication Number Publication Date
CN114845151A true CN114845151A (zh) 2022-08-02

Family

ID=82569241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210497538.2A Pending CN114845151A (zh) 2022-05-09 2022-05-09 一种多屏同步显示方法、系统、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN114845151A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116366900A (zh) * 2023-04-13 2023-06-30 北京优酷科技有限公司 同步显示方法、装置、终端及计算机存储介质
CN116703689A (zh) * 2022-09-06 2023-09-05 荣耀终端有限公司 一种着色器程序的生成方法、装置和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587431A (zh) * 2009-04-08 2009-11-25 广东威创视讯科技股份有限公司 一种可以跨屏实现多屏播放视频的方法
CN101789231A (zh) * 2009-01-22 2010-07-28 广东电子工业研究院有限公司 一种车载影音多媒体系统多视频源进行同时预览的方法及其装置
JP2013247582A (ja) * 2012-05-28 2013-12-09 Sharp Corp 映像合成方法、映像記録方法、映像合成装置、映像記録装置、映像表示システム
CN106371790A (zh) * 2016-10-12 2017-02-01 深圳市捷视飞通科技股份有限公司 基于fpga的双通道视频多画面分割显示方法及装置
CN106959833A (zh) * 2016-01-11 2017-07-18 华为终端（东莞）有限公司 多屏显示方法、移动终端和保护套
JP2020042125A (ja) * 2018-09-10 2020-03-19 日本放送協会 リアルタイム編集システム
CN113873345A (zh) * 2021-09-27 2021-12-31 中国电子科技集团公司第二十八研究所 一种分布式的超高清视频同步处理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789231A (zh) * 2009-01-22 2010-07-28 广东电子工业研究院有限公司 一种车载影音多媒体系统多视频源进行同时预览的方法及其装置
CN101587431A (zh) * 2009-04-08 2009-11-25 广东威创视讯科技股份有限公司 一种可以跨屏实现多屏播放视频的方法
JP2013247582A (ja) * 2012-05-28 2013-12-09 Sharp Corp 映像合成方法、映像記録方法、映像合成装置、映像記録装置、映像表示システム
CN106959833A (zh) * 2016-01-11 2017-07-18 华为终端（东莞）有限公司 多屏显示方法、移动终端和保护套
CN106371790A (zh) * 2016-10-12 2017-02-01 深圳市捷视飞通科技股份有限公司 基于fpga的双通道视频多画面分割显示方法及装置
JP2020042125A (ja) * 2018-09-10 2020-03-19 日本放送協会 リアルタイム編集システム
CN113873345A (zh) * 2021-09-27 2021-12-31 中国电子科技集团公司第二十八研究所 一种分布式的超高清视频同步处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703689A (zh) * 2022-09-06 2023-09-05 荣耀终端有限公司 一种着色器程序的生成方法、装置和电子设备
CN116703689B (zh) * 2022-09-06 2024-03-29 荣耀终端有限公司 一种着色器程序的生成方法、装置和电子设备
CN116366900A (zh) * 2023-04-13 2023-06-30 北京优酷科技有限公司 同步显示方法、装置、终端及计算机存储介质
CN116366900B (zh) * 2023-04-13 2024-03-19 神力视界(深圳)文化科技有限公司 同步显示方法、装置、终端、系统、介质及程序产品

Similar Documents

Publication Publication Date Title
US9077970B2 (en) Independent layered content for hardware-accelerated media playback
CN114845151A (zh) 一种多屏同步显示方法、系统、终端设备和存储介质
CN106611435B (zh) 动画处理方法和装置
EP1527599B1 (fr) Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video
US8159505B2 (en) System and method for efficient digital video composition
US7817900B2 (en) GPU timeline with render-ahead queue
US9317953B2 (en) Coordinated 2-dimensional and 3-dimensional graphics processing
KR101239029B1 (ko) 그래픽스 처리 시스템의 오프-스크린 표면을 위한 멀티-버퍼 지원
US20100060652A1 (en) Graphics rendering system
US20130128120A1 (en) Graphics Pipeline Power Consumption Reduction
CN113709554A (zh) 动画视频生成、直播间动画视频播放方法及装置
WO2022048098A1 (zh) 一种基于多显卡的游戏画面渲染方法和系统
CN110996150A (zh) 视频融合方法、电子设备及存储介质
CN112700519A (zh) 动画展示方法、装置、电子设备及计算机可读存储介质
CN112218148A (zh) 屏幕录制方法、装置、计算机设备和计算机可读存储介质
CN114598937A (zh) 动画视频生成、播放方法及装置
US8724029B2 (en) Accelerating video from an arbitrary graphical layer
CN114245137A (zh) 由gpu执行的视频帧处理方法和包括gpu的视频帧处理装置
CN113490047A (zh) 一种Android音视频播放方法
JPH11175220A (ja) リッチテキスト素材の表示方法及び映像情報提供システム
CN113301425A (zh) 视频播放方法、视频播放装置及电子设备
CN111526420A (zh) 一种视频渲染方法、电子设备及存储介质
CN115767161A (zh) 一种视频播放方法、装置、计算机设备及存储介质
CN115396674A (zh) 用于处理至少一个图像帧的方法、装置、介质及计算装置
CN117065357A (zh) 媒体数据处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination