CN112073648B - 视频多画面合成方法、装置、计算机设备和存储介质 - Google Patents

视频多画面合成方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112073648B
CN112073648B CN202010804694.XA CN202010804694A CN112073648B CN 112073648 B CN112073648 B CN 112073648B CN 202010804694 A CN202010804694 A CN 202010804694A CN 112073648 B CN112073648 B CN 112073648B
Authority
CN
China
Prior art keywords
video
frame rate
picture
video data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010804694.XA
Other languages
English (en)
Other versions
CN112073648A (zh
Inventor
许裕锋
全鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ifreecomm Technology Co ltd
Original Assignee
Ifreecomm Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ifreecomm Technology Co ltd filed Critical Ifreecomm Technology Co ltd
Priority to CN202010804694.XA priority Critical patent/CN112073648B/zh
Publication of CN112073648A publication Critical patent/CN112073648A/zh
Application granted granted Critical
Publication of CN112073648B publication Critical patent/CN112073648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请涉及一种视频多画面合成方法、装置、计算机设备和存储介质。所述方法包括：获取多于一个的视频终端各自的视频源数据。将视频源数据进行画面拼接，得到预设帧率的混合视频数据。确定每个视频终端的画面布局信息和适配帧率。针对每个视频终端，基于混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据。将目标视频数据传输到所适配的视频终端。采用本方法能够提升视频多画面清晰度。

Description

视频多画面合成方法、装置、计算机设备和存储介质
技术领域
本申请涉及视频会议技术领域，特别是涉及一种视频多画面合成方法、装置、计算机设备和存储介质。
背景技术
随着视频会议技术的发展，出现了多画面技术。一路视频流中包括两个或两个以上的场景，叫做多画面。通过多画面，参与各视频会议参与者均可以同时看到来自不同视频参与者的视频终端所对应的视频场景，便于视频会议的顺利举行。目前，视频多画面的合成通常是将来自各视频会场的多路不同帧率的视频画面，直接合成视频多画面。
然而，传统的视频多画面合成方法，将多路不同帧率的视频画面，直接合成视频多画面发送至各视频会场，这样合成的视频多画面中的各子画面内容模糊变形，且发生抖动，多画面清晰度较低，从而导致各视频会场难以看清视频多画面的内容。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升视频多画面清晰度的视频多画面合成方法、装置、计算机设备和存储介质。
一种视频多画面合成方法，所述方法包括：
获取多于一个的视频终端各自的视频源数据；
将所述视频源数据进行画面拼接，得到预设帧率的混合视频数据；
确定每个所述视频终端的画面布局信息和适配帧率；
针对每个视频终端，基于所述混合视频数据，并按照所述画面布局信息和所述适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据；
将所述目标视频数据传输到所适配的视频终端。
在其中一个实施例中，所述将所述视频源数据进行画面拼接，得到预设帧率的混合视频数据，包括：
将所述视频源数据分组，并分别将每组视频源数据进行画面拼接，得到每组对应的预设帧率的混合视频数据；
所述针对每个视频终端，基于所述混合视频数据，并按照所述画面布局信息和所述适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据，包括：
针对每个视频终端，基于所述画面布局信息确定待拼接画面所在的混合视频数据；
基于确定的混合视频数据，按照所述画面布局信息和所述适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据。
在其中一个实施例中，所述将所述视频源数据进行画面拼接，得到预设帧率的混合视频数据，包括：
基于所述视频源数据获得预设帧率的视频数据；
将预设帧率的视频数据进行画面拼接，得到预设帧率的混合视频数据。
在其中一个实施例中，所述将预设帧率的视频数据进行画面拼接，得到预设帧率的混合视频数据，包括：
获取与各视频数据对应的预设画面布局信息；所述预设画面布局信息包括预设画面位置信息和预设画面尺寸信息；
按照所述预设画面尺寸信息，将相应的视频数据进行画面缩放；
将经过画面缩放的视频数据按照相应的预设画面位置信息进行画面拼接，得到预设帧率的混合视频数据。
在其中一个实施例中，所述基于所述视频源数据获得预设帧率的视频数据，包括：
将所述视频源数据的原始帧率与预设帧率对比；
当所述原始帧率大于所述预设帧率时，将所述视频源数据进行丢帧处理，得到预设帧率的视频数据；
当所述原始帧率等于所述预设帧率时，将所述视频源数据直接确定为预设帧率的视频数据；
当所述原始帧率小于所述预设帧率时，将所述视频源数据进行帧复用处理，得到预设帧率的视频数据。
在其中一个实施例中，所述针对每个视频终端，基于所述混合视频数据，并按照所述画面布局信息和所述适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据，包括：
针对每个视频终端，按照所述画面布局信息从所述混合视频数据提取出待拼接画面所在的视频数据；
将提取的视频数据调整帧率为所述适配帧率；其中，当所述适配帧率小于所述预设帧率时，通过丢弃复用帧的方式调整帧率；
调整后的视频数据按照所述画面布局信息进行画面拼接，获得适配每个视频终端的目标视频数据。
一种视频多画面合成装置，所述装置包括：
获取模块，用于获取多于一个的视频终端各自的视频源数据；
拼接模块，用于将所述视频源数据进行画面拼接，得到预设帧率的混合视频数据；
确定模块，用于确定每个所述视频终端的画面布局信息和适配帧率；
所述拼接模块还用于针对每个视频终端，基于所述混合视频数据，并按照所述画面布局信息和所述适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据；
传输模块，用于将所述目标视频数据传输到所适配的视频终端。
一种计算机设备，包括第一视频处理芯片和第二视频处理芯片；所述第一视频处理芯片，用于获取多于一个的视频终端各自的视频源数据；将所述视频源数据进行画面拼接，得到预设帧率的混合视频数据；
所述第二视频处理芯片，用于确定每个所述视频终端的画面布局信息和适配帧率；针对每个视频终端，基于所述混合视频数据，并按照所述画面布局信息和所述适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据；将所述目标视频数据传输到所适配的视频终端。
在其中一个实施例中，所述计算机设备还包括分别与所述第一视频处理芯片和所述第二视频处理芯片连接的数据复制芯片；所述第一视频处理芯片与分组的视频源数据对应；所述第二视频处理芯片至少为两个；
所述第一视频处理芯片用于将相应组的视频源数据进行画面拼接，得到每组对应的预设帧率的混合视频数据；
所述数据复制芯片用于将所述混合视频数据复制并传输至所述第二视频处理芯片；
所述第二视频处理芯片，用于针对每个视频终端，基于所述画面布局信息确定待拼接画面所在的混合视频数据；基于确定的混合视频数据，按照所述画面布局信息和所述适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取多于一个的视频终端各自的视频源数据；
将所述视频源数据进行画面拼接，得到预设帧率的混合视频数据；
确定每个所述视频终端的画面布局信息和适配帧率；
针对每个视频终端，基于所述混合视频数据，并按照所述画面布局信息和所述适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据；
将所述目标视频数据传输到所适配的视频终端。
上述视频多画面合成方法、装置、计算机设备和存储介质，获取多于一个的视频终端各自的视频源数据。将视频源数据进行画面拼接，得到预设帧率的混合视频数据，使得混合视频数据包括视频终端对应的视频源数据。确定每个视频终端的画面布局信息和适配帧率。针对每个视频终端，基于混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据，使得目标视频数据可适配每一个参与视频的视频终端所支持的帧率。将目标视频数据传输到所适配的视频终端。这样，将来自各视频终端不同帧率的视频源数据，针对各视频终端进行帧率的适配后再进行画面拼接，避免了目标视频数据中的各子画面发生抖动，使得各子画面内容清晰，从而提升了各视频终端所接收到的视频多画面的清晰度。
附图说明
图1为一个实施例中视频多画面合成方法的应用场景图；
图2为一个实施例中视频多画面合成方法的流程示意图；
图3为一个实施例中的一种多画面拼接布局模式；
图4为一个实施例中视频多画面合成装置的结构框图；
图5为一个实施例中计算机设备的内部结构图；
图6为一个实施例中第一视频处理芯片拼接画面的流程示意图；
图7为一个实施例中第二视频处理芯片拼接画面的流程示意图；
图8为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的视频多画面合成方法，可以应用于如图1所示的应用环境中。该应用环境包括多于一个的视频终端102和服务器104。视频终端102与服务器104通过网络进行通信。其中，视频终端102具体可以包括台式终端或移动终端。移动终端具体可以包括手机、平板电脑和笔记本电脑等中的至少一种。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案相关的部分场景，并不构成对本申请方案应用环境的限定。
服务器104获取多于一个的视频终端102各自的视频源数据。服务器104将视频源数据进行画面拼接，得到预设帧率的混合视频数据。服务器104确定每个视频终端的画面布局信息和适配帧率。服务器104针对每个视频终端102，基于混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端102的目标视频数据。服务器104将目标视频数据传输到所适配的视频终端102。
在一个实施例中，如图2所示，提供了一种视频多画面合成方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
S202，获取多于一个的视频终端各自的视频源数据。
具体地，视频会议系统中可包括服务器和多于一个的视频终端。各视频终端中可内置有摄像头，各视频终端可通过摄像头采集对应视频场景的视频源数据。进而，服务器可获取多于一个的视频终端各自的视频源数据。
在一个实施例中，各视频终端也可与摄像设备进行通信连接。摄像设备采集对应视频场景的视频源数据之后，可将对应的视频源数据发送至所连接的视频终端。进而服务器可再从视频终端中获取视频源数据。其中，通信连接具体可以是有线连接或无线连接。无线连接可以是蓝牙连接或WiFi(Wireless Fidelity，无线局域网)连接。
在一个实施例中，视频终端具体可以是视频会议中所使用到的终端。视频源数据具体可以是来自视频会议中各视频会场的视频。来自视频会议中各视频会场的视频具体可以是具有不同帧率的视频，也可以是具有相同帧率的视频。
S204，将视频源数据进行画面拼接，得到预设帧率的混合视频数据。
其中，帧率是终端在每秒所显示的帧数。混合视频数据是进行第一次画面拼接之后，对应的多画面中包括多于一个视频场景的视频数据。
举例说明，服务器可获取3个不同路的视频终端各自的视频源数据A、B和C，这3个视频源数据各自对应的帧率分别是：A的帧率为10帧/秒，B的帧率为20帧/秒，C的帧率为30帧/秒。服务器在进行画面拼接的过程中，预设帧率为20帧/秒。按照预设帧率20帧/秒对这3个视频源数据进行画面拼接，即可得到预设帧率20帧/秒的混合视频数据。
S206，确定每个视频终端的画面布局信息和适配帧率。
其中，画面布局信息是每一个视频源数据所对应的画面，在混合视频数据对应的多画面中的布局模式，包括每一个画面的尺寸大小和所在位置。适配帧率是适配于各视频终端的帧率。
具体地，针对每个视频终端，服务器均适配有相应的画面布局信息和适配帧率。服务器可直接确定每个视频终端各自分别对应的画面布局信息和适配帧率。
在一个实施例中，画面布局信息所对应的画面布局模式可如图3所示。画面帧的尺寸信息为3840x2160。各视频源数据所对应的各画面的尺寸为图3中对应所标注的尺寸，各视频源数据所对应的各画面的位置为如图3中的每一个Video(视频)的所在位置。本实施例展示的仅为实际应用中的一种具体的画面布局模式，对画面布局信息不做具体限定。
S208，针对每个视频终端，基于混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据。
其中，目标视频数据是最终展示在各视频终端上的视频数据。目标视频数据所对应的多画面中包括对应的视频终端所选择的需要展示的视频源数据所对应的画面，且以画面布局信息对应的画面布局模式对各画面进行展示。
具体地，针对每个视频终端，服务器可获取对应的画面布局信息和适配帧率。服务器可按照对应的画面布局信息，对混合视频数据进行截取，对截取的各视频数据进行缩放处理，并进行画面重拼接，以获得适配每个视频终端的目标视频数据。
可以理解，适配的画面布局信息可使得所适配的视频终端个性化设置视频会议所需要的画面布局模式。适配帧率与所适配的视频终端所能支持的最佳帧率相等，使得按照画面布局信息和适配帧率进行画面重拼接得到的目标视频数据能够在对应视频终端无抖动、清晰展示。
S210，将目标视频数据传输到所适配的视频终端。
具体地，终端可对适配每个视频终端的目标视频数据进行编码，并通过对应的通信协议，将编码后的目标视频数据，传输到所适配的视频终端。
上述视频多画面合成方法中，获取多于一个的视频终端各自的视频源数据。将视频源数据进行画面拼接，得到预设帧率的混合视频数据，使得混合视频数据包括视频终端对应的视频源数据。确定每个视频终端的画面布局信息和适配帧率。针对每个视频终端，基于混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据，使得目标视频数据可适配每一个参与视频的视频终端所支持的帧率。将目标视频数据传输到所适配的视频终端。这样，将来自各视频终端不同帧率的视频源数据，针对各视频终端进行帧率的适配后再进行画面拼接，避免了目标视频数据中的各子画面发生抖动，使得各子画面内容清晰，从而提升了各视频终端所接收到的视频多画面的清晰度。
在一个实施例中，步骤S204，也就是将视频源数据进行画面拼接，得到预设帧率的混合视频数据的步骤，具体包括：将视频源数据分组，并分别将每组视频源数据进行画面拼接，得到每组对应的预设帧率的混合视频数据。
具体地，服务器可对获取到的多于一个的视频源数据进行分组。针对每组视频源数据，服务器可单独进行画面拼接，得到每组对应的预设帧率的混合视频数据。
举例说明，服务器可接收对应对7路视频终端的A～G视频源数据。服务器可将视频源数据A、B和C作为第一组视频源数据，将视频源数据D和E作为第二组视频源数据，将视频源数据F和G作为第三组视频源数据。服务器可对第一组的频源数据A、B和C，按照对应的预设帧率进行画面拼接，得到针对于第一组的混合视频数据。服务器可对第二组的频源数据D和E，按照对应的预设帧率进行画面拼接，得到针对于第二组的混合视频数据。服务器可对第三组的频源数据F和G，按照对应的预设帧率进行画面拼接，得到针对于第三组的混合视频数据。
在一个实施例中，步骤S208，也就是针对每个视频终端，基于混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据，具体包括：针对每个视频终端，基于画面布局信息确定待拼接画面所在的混合视频数据；基于确定的混合视频数据，按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据。
具体地，混合视频数据中包括每个视频终端所需要拼接的画面，针对每个视频终端，服务器可基于画面布局信息确定，并截取待拼接画面所在的混合视频数据。服务器可基于从确定的混合视频数据中截取的视频数据，按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据。
上述实施例中，通过将视频源数据分组，并分别将每组视频源数据进行画面拼接，以使得服务器可同时处理较多数量的视频终端所发送的视频源数据。通过基于画面布局信息确定待拼接画面所在的混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，以使得服务器可生成满足各个视频终端个性化需求的多画面，进而使得视频会议系统的容量更大，且更为灵活。
在一个实施例中，步骤S204，也就是将视频源数据进行画面拼接，得到预设帧率的混合视频数据的步骤，具体包括：基于视频源数据获得预设帧率的视频数据；将预设帧率的视频数据进行画面拼接，得到预设帧率的混合视频数据。
具体地，服务器可按照预设帧率对视频源数据进行相应的帧处理，得到预设帧率的视频数据。进而，服务器可将预设帧率的视频数据进行画面拼接，得到预设帧率的混合视频数据。
其中，帧处理具体可包括丢帧处理、帧复用处理以及保持帧处理。丢帧处理可将预设数量的帧丢弃，帧复用处理可将一定数量的帧复用一次或者多次。保持帧处理可保持帧的数量保持不变。
上述实施例中，通过将来自不同路视频终端的、且具备不同帧率的视频源数据，转换为具有与统一预设帧率的视频数据，进而再将预设帧率的视频数据进行画面拼接，得到预设帧率的混合视频数据。这样，可使得混合视频数据中的各视频数据的帧率相同，避免混合视频数据对应的多画面发生抖动。
在一个实施例中，将预设帧率的视频数据进行画面拼接，得到预设帧率的混合视频数据的步骤，具体包括：获取与各视频数据对应的预设画面布局信息；预设画面布局信息包括预设画面位置信息和预设画面尺寸信息；按照预设画面尺寸信息，将相应的视频数据进行画面缩放；将经过画面缩放的视频数据按照相应的预设画面位置信息进行画面拼接，得到预设帧率的混合视频数据。
其中，预设画面布局信息是服务器预先设置好的、用于第一次画面拼接的画面布局信息。预设画面位置信息是预设画面布局信息中用于表示各画面在画面帧中的位置的信息。预设画面尺寸信息是预设画面布局信息中用于表示各画面的尺寸大小的信息。
具体地，服务器可预先设置与各视频数据对应的预设画面布局信息。在接收到对应与各组的预设帧率的视频数据后，服务器可获取与各视频数据对应的预设画面布局信息。服务器可按照预设画面位置信息中的预设画面尺寸信息，将相应的视频数据进行画面缩放。进而，服务器可将经过画面缩放的视频数据按照相应的预设画面位置信息中的预设画面位置信息进行画面拼接，得到预设帧率的混合视频数据。
上述实施例中，通过确定预设画面布局信息的预设画面位置信息和预设画面尺寸信息。按照预设画面尺寸信息，对相应的视频数据进行画面缩放，并将经过画面缩放的视频数据按照相应的预设画面位置信息进行画面拼接。这样，可使得拼接得到的混合视频数据符合服务器预先设定的画面布局模式，便于进行服务器针对各视频终端进行适配的画面重拼接。
在一个实施例中，基于视频源数据获得预设帧率的视频数据的步骤，具体包括：将视频源数据的原始帧率与预设帧率对比；当原始帧率大于预设帧率时，将视频源数据进行丢帧处理，得到预设帧率的视频数据；当原始帧率等于预设帧率时，将视频源数据直接确定为预设帧率的视频数据；当原始帧率小于预设帧率时，将视频源数据进行帧复用处理，得到预设帧率的视频数据。
其中，视频源数据的原始帧率是各移动终端所对应的视频源数据的原始的帧率。
具体地，服务器可获取视频源数据所对应的原始帧率，并将视频源数据的原始帧率与服务器中的预设帧率对比，得到对应的对比结果。当对比结果表征原始帧率大于预设帧率时，服务器可将视频源数据进行丢帧处理，即在一秒之内丢弃预设数量的帧，得到预设帧率的视频数据。当对比结果表征原始帧率等于预设帧率时，服务器可将视频源数据直接确定为预设帧率的视频数据，此时不需要进行丢帧处理或帧复用处理，保持原来的帧的数量即可。当原始帧率小于预设帧率时，将视频源数据进行帧复用处理，即在一秒之内复用预设数量的帧，得到预设帧率的视频数据。
在一个实施例中，视频源数据的原始帧率具体可以通过视频源数据解码之后的图像帧所携带的时间戳进行计算得到。可以理解，任两个相邻的图像帧之间所相隔的时间差，即为对应的视频源数据的原始帧率。
上述实施例中，通过将视频源数据的原始帧率与预设帧率对比，并通过比对结果，确定对应的帧处理。这样，使得视频源数据的原始帧率与预设帧率始终保持一致，进一步防止画面抖动，使得多画面更清晰。
在一个实施例中，步骤S208，也就是针对每个视频终端，基于混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据的步骤，具体包括：针对每个视频终端，按照画面布局信息从混合视频数据提取出待拼接画面所在的视频数据；将提取的视频数据调整帧率为适配帧率；其中，当适配帧率小于预设帧率时，通过丢弃复用帧的方式调整帧率；调整后的视频数据按照画面布局信息进行画面拼接，获得适配每个视频终端的目标视频数据。
具体地，每个视频终端多对应的画面布局信息，可包括对应视频终端所需要的画面布局模式中指定的待拼接画面所在的视频数据。针对每个视频终端，服务器可按照画面布局信息从混合视频数据提取出待拼接画面所在的视频数据。服务器可将视频数据所对应的帧率与对应视频终端所支持的适配帧率进行比对。并根据比对结果，将提取的视频数据调整帧率为适配帧率。
在一个实施例中，当比对结果表征适配帧率小于预设帧率时，服务器可通过丢弃复用帧的方式调整帧率，即服务器可将帧类型为复用帧的图像帧丢弃，保留原始的图像帧，以将待拼接画面所在的视频数据的帧率复原为适配对应视频终端的帧率。服务器可将调整后的视频数据按照画面布局信息进行画面拼接，获得适配每个视频终端的目标视频数据。这样，使得目标视频数据的播放更加顺畅，多画面显示效果更好。
在一个实施例中，服务器可在进行帧处理时，对在一秒之内处理的各图像帧，进行帧序号赋值。针对未复用的图像帧，每处理一个图像帧，其对应的帧序号就递增1。针对复用的图像帧，首次使用时递增1，后续使用该图像帧就保持帧序号不变。进而，在后续判断帧类型时，即可通过图像帧所携带的帧序号进行判断。
上述实施例中，通过将提取的视频数据调整帧率为适配帧率，以适配于对应视频终端，保证了多画面的清晰度。当适配帧率小于预设帧率时，通过丢弃复用帧的方式调整帧率，以使得视频播放更流畅，提升了多画面显示效果。
应该理解的是，虽然图2的各个步骤按照顺序依次显示，但是这些步骤并不是必然按照顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种视频多画面合成装置400，包括：获取模块401、拼接模块402、确定模块403和传输模块404，其中：
获取模块401，用于获取多于一个的视频终端各自的视频源数据。
拼接模块402，用于将视频源数据进行画面拼接，得到预设帧率的混合视频数据。
确定模块403，用于确定每个视频终端的画面布局信息和适配帧率；
拼接模块402还用于针对每个视频终端，基于混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据。
传输模块404，用于将目标视频数据传输到所适配的视频终端。
在一个实施例中，拼接模块402还用于将视频源数据分组，并分别将每组视频源数据进行画面拼接，得到每组对应的预设帧率的混合视频数据。
在一个实施例中，拼接模块402还用于针对每个视频终端，基于画面布局信息确定待拼接画面所在的混合视频数据；基于确定的混合视频数据，按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据。
在一个实施例中，拼接模块402还用于基于视频源数据获得预设帧率的视频数据；将预设帧率的视频数据进行画面拼接，得到预设帧率的混合视频数据。
在一个实施例中，拼接模块402还用于获取与各视频数据对应的预设画面布局信息；预设画面布局信息包括预设画面位置信息和预设画面尺寸信息；按照预设画面尺寸信息，将相应的视频数据进行画面缩放；将经过画面缩放的视频数据按照相应的预设画面位置信息进行画面拼接，得到预设帧率的混合视频数据。
在一个实施例中，拼接模块402还用于将视频源数据的原始帧率与预设帧率对比；当原始帧率大于预设帧率时，将视频源数据进行丢帧处理，得到预设帧率的视频数据；当原始帧率等于预设帧率时，将视频源数据直接确定为预设帧率的视频数据；当原始帧率小于预设帧率时，将视频源数据进行帧复用处理，得到预设帧率的视频数据。
在一个实施例中，拼接模块402还用于针对每个视频终端，按照画面布局信息从混合视频数据提取出待拼接画面所在的视频数据；将提取的视频数据调整帧率为适配帧率；其中，当适配帧率小于预设帧率时，通过丢弃复用帧的方式调整帧率；调整后的视频数据按照画面布局信息进行画面拼接，获得适配每个视频终端的目标视频数据。
上述视频多画面合成装置，获取多于一个的视频终端各自的视频源数据。将视频源数据进行画面拼接，得到预设帧率的混合视频数据，使得混合视频数据包括视频终端对应的视频源数据。确定每个视频终端的画面布局信息和适配帧率。针对每个视频终端，基于混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据，使得目标视频数据可适配每一个参与视频的视频终端所支持的帧率。将目标视频数据传输到所适配的视频终端。这样，将来自各视频终端不同帧率的视频源数据，针对各视频终端进行帧率的适配后再进行画面拼接，避免了目标视频数据中的各子画面发生抖动，使得各子画面内容清晰，从而提升了各视频终端所接收到的视频多画面的清晰度。
关于视频多画面合成装置的具体限定可以参见上文中对于视频多画面合成方法的限定，在此不再赘述。上述视频多画面合成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备包括第一视频处理芯片和第二视频处理芯片；第一视频处理芯片，用于获取多于一个的视频终端各自的视频源数据；将视频源数据进行画面拼接，得到预设帧率的混合视频数据；第二视频处理芯片，用于确定每个视频终端的画面布局信息和适配帧率；针对每个视频终端，基于混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据；将目标视频数据传输到所适配的视频终端。
在一个实施例中，提供了一种计算机设备，该计算机设备还包括分别与第一视频处理芯片和第二视频处理芯片连接的数据复制芯片；第一视频处理芯片与分组的视频源数据对应；第二视频处理芯片至少为两个；第一视频处理芯片用于将相应组的视频源数据进行画面拼接，得到每组对应的预设帧率的混合视频数据；数据复制芯片用于将混合视频数据复制并传输至第二视频处理芯片；第二视频处理芯片，用于针对每个视频终端，基于画面布局信息确定待拼接画面所在的混合视频数据；基于确定的混合视频数据，按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据。
在一个实施例中，如图5所示，第一视频处理芯片具体可以是HI3536芯片，第二视频处理芯片具体可以是HI3531D芯片，数据复制芯片具体可以是FPGA(Field ProgrammableGate Array，现场可编程逻辑门阵列)芯片。如图5中的服务器包括3个HI3531D芯片和3个HI3531D芯片。各HI3531D芯片和HI3531D芯片各自可对应至少一个视频终端的视频源数据。FPGA芯片可将第一次拼接的各混合视频数据进行复制，并发送给对应的HI3531D芯片进行重拼接，以适配于各视频终端所支持的画面布局模式和帧率。需要强调的是，本实施例对第一视频处理芯片、第二视频处理芯片以及数据复制芯片均不做具体限定。
在一个实施例中，如图6所示，第一视频处理芯片包括至少一个的解码器(*为任一自然数)、第一缩放模块和第一画面拼接模块。解码器在接收到各视频终端发送的视频(Video)码流之后，对视频码流进行解码，得到图像帧。第一缩放模块可对解码后的图像帧进行对应的帧处理，以及等比缩放处理。进而第一画面拼接模块可对帧处理和缩放处理之后的图像帧进行画面拼接，并将拼接后的多画面输出至连接FPGA。
在一个实施例中，如图7所示，第二视频处理芯片包括至少一个的截取模块、第二缩放模块、第二画面拼接模块和编码器。第二视频处理芯片可从FPGA中获取混合视频数据，并通过截取模块对指定位置的图像进行截取。第二缩放模块可对截取的图像进行对应的帧处理，以及等比缩放处理。进而第二画面拼接模块可对帧处理和缩放处理之后的图像帧进行画面拼接，并通过编码器将拼接之后的多画面进行编码。服务器可将编码后的多画面发送给对应的视频终端。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是上述图1中的服务器8，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频多画面合成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频多画面合成方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取多于一个的视频终端各自的视频源数据；
将视频源数据进行画面拼接，得到预设帧率的混合视频数据；
确定每个视频终端的画面布局信息和适配帧率；
针对每个视频终端，基于混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据；
将目标视频数据传输到所适配的视频终端。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将视频源数据分组，并分别将每组视频源数据进行画面拼接，得到每组对应的预设帧率的混合视频数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
针对每个视频终端，基于画面布局信息确定待拼接画面所在的混合视频数据；
基于确定的混合视频数据，按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于视频源数据获得预设帧率的视频数据；
将预设帧率的视频数据进行画面拼接，得到预设帧率的混合视频数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取与各视频数据对应的预设画面布局信息；预设画面布局信息包括预设画面位置信息和预设画面尺寸信息；
按照预设画面尺寸信息，将相应的视频数据进行画面缩放；
将经过画面缩放的视频数据按照相应的预设画面位置信息进行画面拼接，得到预设帧率的混合视频数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将视频源数据的原始帧率与预设帧率对比；
当原始帧率大于预设帧率时，将视频源数据进行丢帧处理，得到预设帧率的视频数据；
当原始帧率等于预设帧率时，将视频源数据直接确定为预设帧率的视频数据；
当原始帧率小于预设帧率时，将视频源数据进行帧复用处理，得到预设帧率的视频数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
针对每个视频终端，按照画面布局信息从混合视频数据提取出待拼接画面所在的视频数据；
将提取的视频数据调整帧率为适配帧率；其中，当适配帧率小于预设帧率时，通过丢弃复用帧的方式调整帧率；
调整后的视频数据按照画面布局信息进行画面拼接，获得适配每个视频终端的目标视频数据。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取多于一个的视频终端各自的视频源数据；
将视频源数据进行画面拼接，得到预设帧率的混合视频数据；
确定每个视频终端的画面布局信息和适配帧率；
针对每个视频终端，基于混合视频数据，并按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据；
将目标视频数据传输到所适配的视频终端。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将视频源数据分组，并分别将每组视频源数据进行画面拼接，得到每组对应的预设帧率的混合视频数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
针对每个视频终端，基于画面布局信息确定待拼接画面所在的混合视频数据；
基于确定的混合视频数据，按照画面布局信息和适配帧率进行画面重拼接，获得适配每个视频终端的目标视频数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基于视频源数据获得预设帧率的视频数据；
将预设帧率的视频数据进行画面拼接，得到预设帧率的混合视频数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取与各视频数据对应的预设画面布局信息；预设画面布局信息包括预设画面位置信息和预设画面尺寸信息；
按照预设画面尺寸信息，将相应的视频数据进行画面缩放；
将经过画面缩放的视频数据按照相应的预设画面位置信息进行画面拼接，得到预设帧率的混合视频数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将视频源数据的原始帧率与预设帧率对比；
当原始帧率大于预设帧率时，将视频源数据进行丢帧处理，得到预设帧率的视频数据；
当原始帧率等于预设帧率时，将视频源数据直接确定为预设帧率的视频数据；
当原始帧率小于预设帧率时，将视频源数据进行帧复用处理，得到预设帧率的视频数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
针对每个视频终端，按照画面布局信息从混合视频数据提取出待拼接画面所在的视频数据；
将提取的视频数据调整帧率为适配帧率；其中，当适配帧率小于预设帧率时，通过丢弃复用帧的方式调整帧率；
调整后的视频数据按照画面布局信息进行画面拼接，获得适配每个视频终端的目标视频数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频多画面合成方法，其特征在于，所述方法包括：
在视频会议中，获取多于一个的视频终端各自的视频源数据；所述多于一个的视频终端是视频会议中不同视频会场所使用的终端；
按照预设帧率将所述视频源数据进行画面拼接，得到预设帧率的混合视频数据；
确定每个所述视频终端的画面布局信息和适配帧率；
针对每个视频终端，基于所述混合视频数据，并按照所述画面布局信息从所述混合视频数据提取出待拼接画面所在的视频数据；将提取的视频数据调整帧率为所述适配帧率；其中，当所述适配帧率小于所述预设帧率时，通过丢弃复用帧的方式调整帧率；调整后的视频数据按照所述画面布局信息进行画面拼接，获得适配每个视频终端的目标视频数据；
将所述目标视频数据传输到所适配的视频终端。
2.根据权利要求1所述的方法，其特征在于，所述按照预设帧率将所述视频源数据进行画面拼接，得到预设帧率的混合视频数据，包括：
将所述视频源数据分组，并按照预设帧率分别将每组视频源数据进行画面拼接，得到每组对应的预设帧率的混合视频数据；
所述方法还包括：
针对每个视频终端，基于所述画面布局信息从多组混合视频数据中确定待拼接画面所在的混合视频数据；
针对确定的混合视频数据，执行所述按照所述画面布局信息从所述混合视频数据提取出待拼接画面所在的视频数据。
3.根据权利要求1所述的方法，其特征在于，所述按照预设帧率将所述视频源数据进行画面拼接，得到预设帧率的混合视频数据，包括：
基于所述视频源数据获得预设帧率的视频数据；
将预设帧率的视频数据进行画面拼接，得到预设帧率的混合视频数据。
4.根据权利要求3所述的方法，其特征在于，所述将预设帧率的视频数据进行画面拼接，得到预设帧率的混合视频数据，包括：
获取与各视频数据对应的预设画面布局信息；所述预设画面布局信息包括预设画面位置信息和预设画面尺寸信息；
按照所述预设画面尺寸信息，将相应的视频数据进行画面缩放；
将经过画面缩放的视频数据按照相应的预设画面位置信息进行画面拼接，得到预设帧率的混合视频数据。
5.根据权利要求3或4所述的方法，其特征在于，所述基于所述视频源数据获得预设帧率的视频数据，包括：
将所述视频源数据的原始帧率与预设帧率对比；
当所述原始帧率大于所述预设帧率时，将所述视频源数据进行丢帧处理，得到预设帧率的视频数据；
当所述原始帧率等于所述预设帧率时，将所述视频源数据直接确定为预设帧率的视频数据；
当所述原始帧率小于所述预设帧率时，将所述视频源数据进行帧复用处理，得到预设帧率的视频数据。
6.根据权利要求5所述的方法，其特征在于，所述混合视频数据是进行第一次画面拼接之后，对应的多画面中包括多于一个视频场景的视频数据。
7.一种视频多画面合成装置，其特征在于，所述装置包括：
获取模块，用于在视频会议中，获取多于一个的视频终端各自的视频源数据；所述多于一个的视频终端是视频会议中不同视频会场所使用的终端；
拼接模块，用于按照预设帧率将所述视频源数据进行画面拼接，得到预设帧率的混合视频数据；
确定模块，用于确定每个所述视频终端的画面布局信息和适配帧率；
所述拼接模块还用于针对每个视频终端，基于所述混合视频数据，并按照所述画面布局信息从所述混合视频数据提取出待拼接画面所在的视频数据；将提取的视频数据调整帧率为所述适配帧率；其中，当所述适配帧率小于所述预设帧率时，通过丢弃复用帧的方式调整帧率；调整后的视频数据按照所述画面布局信息进行画面拼接，获得适配每个视频终端的目标视频数据；
传输模块，用于将所述目标视频数据传输到所适配的视频终端。
8.一种计算机设备，其特征在于，包括第一视频处理芯片和第二视频处理芯片；所述第一视频处理芯片，用于在视频会议中，获取多于一个的视频终端各自的视频源数据；按照预设帧率将所述视频源数据进行画面拼接，得到预设帧率的混合视频数据；所述多于一个的视频终端是视频会议中不同视频会场所使用的终端；
所述第二视频处理芯片，用于确定每个所述视频终端的画面布局信息和适配帧率；针对每个视频终端，基于所述混合视频数据，并按照所述画面布局信息从所述混合视频数据提取出待拼接画面所在的视频数据；将提取的视频数据调整帧率为所述适配帧率；其中，当所述适配帧率小于所述预设帧率时，通过丢弃复用帧的方式调整帧率；调整后的视频数据按照所述画面布局信息进行画面拼接，获得适配每个视频终端的目标视频数据；将所述目标视频数据传输到所适配的视频终端。
9.根据权利要求8所述的计算机设备，其特征在于，还包括分别与所述第一视频处理芯片和所述第二视频处理芯片连接的数据复制芯片；所述第一视频处理芯片与分组的视频源数据对应；所述第二视频处理芯片至少为两个；
所述第一视频处理芯片用于将相应组的视频源数据进行画面拼接，得到每组对应的预设帧率的混合视频数据；
所述数据复制芯片用于将多组混合视频数据复制并传输至所述第二视频处理芯片；
所述第二视频处理芯片，用于针对每个视频终端，基于所述画面布局信息从多组混合视频数据中确定待拼接画面所在的混合视频数据；针对确定的混合视频数据，执行所述按照所述画面布局信息从所述混合视频数据提取出待拼接画面所在的视频数据。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202010804694.XA 2020-08-12 2020-08-12 视频多画面合成方法、装置、计算机设备和存储介质 Active CN112073648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010804694.XA CN112073648B (zh) 2020-08-12 2020-08-12 视频多画面合成方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010804694.XA CN112073648B (zh) 2020-08-12 2020-08-12 视频多画面合成方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112073648A CN112073648A (zh) 2020-12-11
CN112073648B true CN112073648B (zh) 2023-02-17

Family

ID=73660918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010804694.XA Active CN112073648B (zh) 2020-08-12 2020-08-12 视频多画面合成方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112073648B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584084B (zh) * 2020-12-08 2023-09-05 广州虎牙科技有限公司 一种视频播放方法、装置、计算机设备和存储介质
CN114697567A (zh) * 2020-12-30 2022-07-01 西安诺瓦星云科技股份有限公司 多媒体数据压缩的方法、装置和视频拼接器
CN112822496B (zh) * 2021-01-28 2023-03-17 浙江大华技术股份有限公司 一种视频分析方法及装置
CN113141537A (zh) * 2021-04-02 2021-07-20 Oppo广东移动通信有限公司 视频插帧方法、装置、存储介质以及终端
CN113301295A (zh) * 2021-04-08 2021-08-24 上海艾策通讯科技股份有限公司 多画面视频数据处理方法、装置、计算机设备和存储介质
CN113163136A (zh) * 2021-04-27 2021-07-23 苏州视之芯信息科技有限公司 实时监控画面的拼接方法、系统及计算机可读存储介质
CN113923379B (zh) * 2021-09-30 2022-07-05 广州市保伦电子有限公司 一种自适应视窗的多画面合成方法及处理终端
CN114449309B (zh) * 2022-02-14 2023-10-13 杭州登虹科技有限公司 一种用于云导播的动图播放方法
CN116320218B (zh) * 2023-05-24 2023-08-29 深圳金智凌轩视讯技术有限公司 基于嵌入式计算机平台的多路视频合成分析处理管理系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374233B (zh) * 2008-10-23 2011-09-07 杭州华三通信技术有限公司 视频流帧率适配方法和装置及fpga芯片及视频流处理设备
EP2695388B1 (en) * 2011-04-07 2017-06-07 ActiveVideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US20170111532A1 (en) * 2012-01-12 2017-04-20 Kofax, Inc. Real-time processing of video streams captured using mobile devices
EP3576045B1 (en) * 2018-06-01 2020-05-20 Axis AB Correcting image overlay
CN110401820A (zh) * 2019-08-15 2019-11-01 北京迈格威科技有限公司 多路视频处理方法、装置、介质及电子设备
CN111107299A (zh) * 2019-12-05 2020-05-05 视联动力信息技术股份有限公司 一种多路视频合成的方法及装置
CN111405231B (zh) * 2020-03-03 2021-10-15 浙江华创视讯科技有限公司 视频会议方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN112073648A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN112073648B (zh) 视频多画面合成方法、装置、计算机设备和存储介质
CN106792092B (zh) 直播视频流分镜显示控制方法及其相应的装置
KR100400167B1 (ko) 영상 캡쳐 기능을 갖는 휴대형 단말기 및 그 구현 방법
TWI595786B (zh) 基於時間戳記的音訊與視訊處理方法及其系統
WO2016202887A1 (en) Providing low & high quality streams
WO2021147702A1 (zh) 一种视频处理方法及其装置
CN106303663B (zh) 直播处理方法和装置、直播服务器
CN106713942B (zh) 视频处理方法和装置
KR101821145B1 (ko) 영상 라이브 스트리밍 시스템
US10334293B2 (en) Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method
CN108683874B (zh) 一种视频会议注意力聚焦的方法及一种存储设备
WO2017193830A1 (zh) 视频切换方法、装置、系统及存储介质
CN113301295A (zh) 多画面视频数据处理方法、装置、计算机设备和存储介质
US8179421B2 (en) Image synthesizing device and method and computer readable medium
CN109413352B (zh) 视频数据的处理方法、装置、设备和存储介质
EP2538670A1 (en) Data processing unit and data encoding device
CN109862385B (zh) 直播的方法、装置、计算机可读存储介质及终端设备
CN114466145B (zh) 视频处理方法、装置、设备和存储介质
CN115550694A (zh) 用于多路数据流的传输的方法、装置、设备和介质
CN112437253B (zh) 一种视频拼接方法、装置、系统、计算机设备和存储介质
JP3672561B2 (ja) 動画像合成装置、動画像合成方法、及び動画像合成機能付き情報端末装置
CN112887635A (zh) 多画面拼接方法、装置、计算机设备和存储介质
CN112153412A (zh) 视频图像切换的控制方法、装置、计算机设备和存储介质
KR20160136163A (ko) 화상 통화 서비스 제공 장치 및 방법
CN114615522B (zh) 一种低时延的流媒体转码分发的处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant