CN117278778A - 一种图像处理方法、装置、拼接控制器及图像处理系统 - Google Patents

一种图像处理方法、装置、拼接控制器及图像处理系统 Download PDF

Info

Publication number
CN117278778A
CN117278778A CN202311162175.8A CN202311162175A CN117278778A CN 117278778 A CN117278778 A CN 117278778A CN 202311162175 A CN202311162175 A CN 202311162175A CN 117278778 A CN117278778 A CN 117278778A
Authority
CN
China
Prior art keywords
video
code stream
key frame
time stamp
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311162175.8A
Other languages
English (en)
Inventor
吴尚杰
朱明�
曹季
冯禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202311162175.8A priority Critical patent/CN117278778A/zh
Publication of CN117278778A publication Critical patent/CN117278778A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置、拼接控制器及图像处理系统，涉及到图像处理技术领域，上述方法包括：获取多路视频码流包，每一路视频码流包由一路视频信号压缩编码得到，各路视频信号的信号源不同；获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中；向播放端发送所述多轨码流包。本申请实施例实现了对超高分信号整体画面的输出。

Description

一种图像处理方法、装置、拼接控制器及图像处理系统
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、拼接控制器及图像处理系统。
背景技术
随着屏幕控制技术与信号处理技术的发展，监控中心、指挥中心等地应用LCD(Liquid Crystal Display，液晶显示器)液晶拼接屏/LED(light-emitting diode，发光二极管)显示屏，通过拼接控制器将多路信号投屏上墙共同展示，成为常见的技术应用场景。常见的实现方式是通过计算机的应用程序收集用户所需的信息，生成多路信号的可视化动态视图，将各视图通过拼接控制器进行拼接，然后上墙显示。
目前的应用中，所需显示的预览画面大多为来自超高分信号的超高分辨率(以下称超高分)图像，而由于公网网络带宽存在限制，会导致拼接后的超高分辨率图像的传输受限；此外单台电子设备预览拼接后的超高分辨率图像同样会受到分辨率的限制，因此如何顺利地输出拼接后的超高分图像，成为投屏预览的关键问题。
发明内容
本申请实施例的目的在于提供一种图像处理方法、装置、拼接控制器及图像处理系统，以实现对超高分信号整体画面的输出。具体技术方案如下：
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
获取多路视频码流包，其中，每一路所述视频码流包由一路视频信号压缩编码得到，各路所述视频信号的信号源不同；
获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中；
向播放端发送所述多轨码流包。
本申请的一个实施例中，所述获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，包括：
分别获取各路所述视频码流包中当前关键帧的时间戳；
确定当前共用时间戳，其中，当前共用时间戳为各当前关键帧的时间戳中的一个；
在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，将各当前关键帧合并到一个多轨码流包中。
本申请的一个实施例中，所述方法还包括：
在存在第一关键帧的情况下，获取所述第一关键帧所属的视频码流包中的下一帧关键帧作为当前关键帧；其中，第一关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳小于当前共用时间戳的当前关键帧；
和/或
在存在第二关键帧的情况下，将当前共用时间戳更新为所述第二关键帧的时间戳，并将第一视频码流包的下一帧关键帧作为当前关键帧；其中，第二关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳大于当前共用时间戳的当前关键帧；所述第一视频码流包为除所述第二关键帧所属的视频码流包外的其他视频码流包。
本申请的一个实施例中，在首次获取到各路所述视频码流包的情况下，所述分别获取各路所述视频码流包中当前关键帧的时间戳，包括：
分别将各路所述视频码流包解封装为编码视频帧数据；
分别获取各路所述编码视频帧数据中的第一帧关键帧的时间戳，其中，所述第一帧关键帧为首次获取到各路所述视频码流包时的当前关键帧；
所述确定当前共用时间戳，包括：
将最先获取到的视频码流包中的第一帧关键帧的时间戳作为当前共用时间戳。
本申请的一个实施例中，所述多轨码流包包括包头及多个轨道的视频帧数据，所述包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，其中，所述时间戳信息表示所述多轨码流包中的视频帧数据对应的当前共用时间戳，所述视频帧数据为超高分视频帧数据。
本申请的一个实施例中，所述在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，将各当前关键帧合并到一个多轨码流包中，包括：
在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，根据当前共用时间戳生成时间戳信息；
针对每一帧当前关键帧，获取该当前关键帧关联的非关键帧，生成该当前关键帧对应的轨道的视频帧数据；根据该当前关键帧所属的视频码流包，生成该当前关键帧对应的轨道的视频帧数据的显示位置信息；其中，该当前关键帧对应的轨道的视频帧数据包括该当前关键帧以及该当前关键帧关联的非关键帧；
根据所述时间戳信息及所述显示位置信息生成包头；
将所述包头及各当前关键帧对应的轨道的视频帧数据进行拼接，得到一个多轨码流包。
本申请的一个实施例中，所述获取多路视频码流包，包括：
获取多个输出子系统各自输出的视频码流包，其中，所述视频码流包由所述输出子系统对视频信号压缩编码得到，所述输出子系统还将所述视频信号输出给拼接屏进行显示；
或，
获取多个输入子系统各自输出的视频码流包，其中，所述视频码流包由所述输入子系统对视频信号压缩编码得到，所述输入子系统还将所述视频信号输出给输出子系统。
第二方面，本申请实施例提供了一种拼接控制器，所述拼接控制器包括主控子系统及多个输入子系统；
所述输入子系统用于：接收视频信号；对自身接收的视频信号进行压缩编码得到视频码流包；将自身的视频码流包发送给所述主控子系统；
所述主控子系统用于：获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，其中，各路所述视频信号的信号源不同；向播放端发送所述多轨码流包。
本申请的一个实施例中，所述拼接控制器还包括多个输出子系统，所述输入子系统与所述输出子系统一一对应；
所述输入子系统还用于：将接收的视频信号发送给自身对应的输出子系统；
所述主控子系统用于：生成同步控制信息，并将所述同步控制信息发送给各所述输出子系统；
所述输出子系统用于：根据所述同步控制信息，对所述视频信号进行时间同步，并输出给拼接屏中对应的显示区域。
本申请的一个实施例中，
所述主控子系统具体用于：分别获取各路所述视频码流包中当前关键帧的时间戳；确定当前共用时间戳，其中，当前共用时间戳为各当前关键帧的时间戳中的一个；在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，将各当前关键帧合并到一个多轨码流包中。
本申请的一个实施例中，所述主控子系统还用于：
在存在第一关键帧的情况下，获取所述第一关键帧所属的视频码流包中的下一帧关键帧作为当前关键帧；其中，第一关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳小于当前共用时间戳的当前关键帧；
和/或
在存在第二关键帧的情况下，将当前共用时间戳更新为所述第二关键帧的时间戳，并将第一视频码流包的下一帧关键帧作为当前关键帧；其中，第二关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳大于当前共用时间戳的当前关键帧；所述第一视频码流包为除所述第二关键帧所属的视频码流包外的其他视频码流包。
本申请的一个实施例中，在首次获取到各路所述视频码流包的情况下，所述主控子系统还用于：
分别将各路所述视频码流包解封装为编码视频帧数据；
分别获取各路所述编码视频帧数据中的第一帧关键帧的时间戳，其中，所述第一帧关键帧为首次获取到各路所述视频码流包时的当前关键帧；
所述确定当前共用时间戳，包括：
将最先获取到的视频码流包中的第一帧关键帧的时间戳作为当前共用时间戳。
本申请的一个实施例中，所述多轨码流包包括包头及多个轨道的视频帧数据，所述包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，其中，所述时间戳信息表示所述多轨码流包中的视频帧数据对应的当前共用时间戳，所述视频帧数据为超高分视频帧数据。
本申请的一个实施例中，所述主控子系统还用于：
在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，根据当前共用时间戳生成时间戳信息；
针对每一帧当前关键帧，获取该当前关键帧关联的非关键帧，生成该当前关键帧对应的轨道的视频帧数据；根据该当前关键帧所属的视频码流包，生成该当前关键帧对应的轨道的视频帧数据的显示位置信息；其中，该当前关键帧对应的轨道的视频帧数据包括该当前关键帧以及该当前关键帧关联的非关键帧；
根据所述时间戳信息及所述显示位置信息生成包头；
将所述包头及各当前关键帧对应的轨道的视频帧数据进行拼接，得到一个多轨码流包。
第三方面，本申请实施例提供了一种拼接控制器，所述拼接控制器包括主控子系统及多个输出子系统；
所述输出子系统用于：接收视频信号；对自身接收的视频信号进行压缩编码得到视频码流包；将自身的视频码流包发送给所述主控子系统；
所述主控子系统用于：获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，其中，各路所述视频信号的信号源不同；向播放端发送所述多轨码流包。
第四方面，本申请实施例提供了一种图像处理系统，包括：多个超高分服务器、上述任一所述的拼接控制器；所述超高分服务器与所述输入子系统一一对应；
所述超高分服务器，用于生成视频信号，并将所述视频信号发送给自身对应的输入子系统。
本申请的一个实施例中，所述图像处理系统还包括播放设备；
所述播放设备，用于解析所述多轨码流包得到各轨道的视频帧数据；对各轨道的视频帧数据进行解码得到各轨道的视频帧；将各轨道的视频帧进行拼接，得到至少一帧拼接帧；显示所述拼接帧。
本申请的一个实施例中，所述多轨码流包包括包头及多个轨道的视频帧数据，所述包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，其中，所述时间戳信息表示所述多轨码流包中的视频帧数据对应的当前共用时间戳，所述视频帧数据为超高分视频帧数据；
所述播放设备，具体用于解析当前的多轨码流包，得到时间戳信息、各轨道的视频帧数据的显示位置信息、各轨道的视频帧数据；对各轨道的视频帧数据进行解码得到各轨道的视频帧；根据各轨道的视频帧数据的显示位置信息，对各轨道中属于同一显示画面的视频帧数据进行拼接，得到至少一帧拼接帧；按照所述时间戳信息显示所述拼接帧。
第五方面，本申请实施例提供了一种图像处理装置，所述装置包括：
码流包获取模块，用于获取多路视频码流包，其中，每一路所述视频码流包由一路视频信号压缩编码得到，各路所述视频信号的信号源不同；
视频帧合并模块，用于获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中；
码流包发送模块，用于向播放端发送所述多轨码流包。
本申请的一个实施例中，所述视频帧合并模块，包括：
时间戳获取子模块，用于分别获取各路所述视频码流包中当前关键帧的时间戳；
时间戳确定子模块，用于确定当前共用时间戳，其中，当前共用时间戳为各当前关键帧的时间戳中的一个；
关键帧合并子模块，用于在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，将各当前关键帧合并到一个多轨码流包中。
本申请的一个实施例中，所述装置还包括：
第一关键帧获取模块，用于在存在第一关键帧的情况下，获取所述第一关键帧所属的视频码流包中的下一帧关键帧作为当前关键帧；其中，第一关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳小于当前共用时间戳的当前关键帧；
和/或
第二关键帧获取模块，用于在存在第二关键帧的情况下，将当前共用时间戳更新为所述第二关键帧的时间戳，并将第一视频码流包的下一帧关键帧作为当前关键帧；其中，第二关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳大于当前共用时间戳的当前关键帧；所述第一视频码流包为除所述第二关键帧所属的视频码流包外的其他视频码流包。
本申请的一个实施例中，在首次获取到各路所述视频码流包的情况下，所述时间戳获取子模块，具体用于：
分别将各路所述视频码流包解封装为编码视频帧数据；
分别获取各路所述编码视频帧数据中的第一帧关键帧的时间戳，其中，所述第一帧关键帧为首次获取到各路所述视频码流包时的当前关键帧；
所述时间戳确定子模块，具体用于：
将最先获取到的视频码流包中的第一帧关键帧的时间戳作为当前共用时间戳。
本申请的一个实施例中，所述多轨码流包包括包头及多个轨道的视频帧数据，所述包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，其中，所述时间戳信息表示所述多轨码流包中的视频帧数据对应的当前共用时间戳，所述视频帧数据为超高分视频帧数据。
本申请的一个实施例中，所述视频帧合并模块，具体用于：
在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，根据当前共用时间戳生成时间戳信息；
针对每一帧当前关键帧，获取该当前关键帧关联的非关键帧，生成该当前关键帧对应的轨道的视频帧数据；根据该当前关键帧所属的视频码流包，生成该当前关键帧对应的轨道的视频帧数据的显示位置信息；其中，该当前关键帧对应的轨道的视频帧数据包括该当前关键帧以及该当前关键帧关联的非关键帧；
根据所述时间戳信息及所述显示位置信息生成包头；
将所述包头及各当前关键帧对应的轨道的视频帧数据进行拼接，得到一个多轨码流包。
本申请的一个实施例中，所述码流包获取模块，具体用于获取多个输出子系统各自输出的视频码流包，其中，所述视频码流包由所述输出子系统对视频信号压缩编码得到，所述输出子系统还将所述视频信号输出给拼接屏进行显示；
或，
获取多个输入子系统各自输出的视频码流包，其中，所述视频码流包由所述输入子系统对视频信号压缩编码得到，所述输入子系统还将所述视频信号输出给输出子系统。
第六方面，本申请实施例提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的图像处理方法。
本申请实施例有益效果：
本申请实施例提供的图像处理方法，首先获取多路视频码流包，每一路视频码流包由一路视频信号压缩编码得到，各路视频信号的信号源不同。然后获取各路视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，再向播放端发送多轨码流包，多轨码流包中包括对属于同一显示画面的各路视频帧进行同步、拼接之后的视频帧画面。本申请实施例中视频码率包中包括的是经过压缩编码之后的视频信号，将多路视频码率包中属于同一显示画面的各视频帧合并到同一个多轨码流包中发送，相较于相关技术中直接在公网中传输拼接后的超高分视频信号，将信号以压缩码流的形式传输，传输通道所需的网络带宽较小，能够降低带宽的限制；并且因为对视频信号进行了压缩，能够减少因分辨率过高导致对电子设备硬件要求较高的情况，从而满足单台电子设备的预览要求。实现了超高分信号整体画面的输出。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1-1为本申请实施例提供的一种多路信号的可视化动态视图投屏上墙的示例图；
图1-2为本申请实施例提供的一种目前常见的超高分信号投屏方法的中心示例图；
图1-3为本申请实施例提供的一种目前常见的超高分信号投屏方法的拼控器示例图；
图1-4为本申请实施例提供的一种目前常见的超高分信号投屏方法的示例图；
图1-5为本申请实施例提供的实际应用中的需求示例图；
图2为本申请实施例提供的一种图像处理方法的流程示意图；
图3为本申请实施例提供的步骤S102的一种可能的实现方式；
图4为本申请实施例提供的步骤S201的一种可能的实现方式；
图5-1为本申请实施例提供的步骤S202的一种可能的实现方式；
图5-2为本申请实施例提供的一种对比时间戳的示例图；
图5-3为本申请实施例提供的一种处理当前关键帧的示例图；
图6-1为本申请实施例提供的一种拼接控制器的一种结构示意图；
图6-2为本申请实施例提供的一种拼接控制器内部的第一种处理流程示例图；
图6-3为本申请实施例提供的一种拼接控制器内部对多轨码流包的处理流程示例图；
图6-4为本申请实施例提供的一种拼接控制器内部的第二种处理流程示例图；
图6-5为本申请实施例提供的一种拼接控制器的另一种结构示意图；
图7-1为本申请实施例提供的一种图像处理系统的结构示意图；
图7-2为本申请实施例提供的一种播放设备的显示示例图；
图7-3为本申请实施例提供的一种多轨码流包的合并流程示例图；
图8为本申请实施例提供的一种图像处理装置的结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
示例性的，投屏预览如图1-1所示。随着监控/指挥中心等地的规模扩大，加之强调一网统管的处理原则，上述可视化动态视图一次性需要包含的信息越来越多，所需的图像分辨率更大、更清晰、质量更高，由于这样的可视化动态视图对处理器要求较高，计算机一块显卡或者一台计算机已无法生成完整图像，所以常采用一台计算机多块显卡或者多台一张显卡的计算机合力生成一张完整图像。多路信号中的图像通过多块显卡分块输出至拼接控制器(以下称拼控器)的多个数字接口上，然后经由拼接控制器实现整体拼接再上墙显示。
目前的应用中，所需显示的预览画面大多为来自超高分信号传输的超高分辨率(以下称超高分)图像。常见的超高分图像规格为分辨率16K，图像画质要求为YUV422->YUV444(无损画质)，通过四块4K60分辨率输出的显卡共同输出来实现，计算机和拼接控制器中均包括对四块显卡图像合成时的同步处理，常见的处理方式如图1-2、图1-3及图1-4所示。
图1-2和图1-3示出了第一种目前常见的超高分信号投屏方法，多个超高分服务器或者单台超高分服务器多块显卡通过机框式拼控器的输入板接入之后将图像拼接上墙，机框式拼控器内部是将输入板接入的多份超高清信号通过内部总线传递到大屏对接的输出板上，输出板之间对图像进行拼接同步，实现超高分信号投屏，内部总线传输的码流类型可以是无压缩裸数据或者经过输入板压缩的码流数据。
图1-4示出了第二种目前常见的超高分信号投屏方法，多个超高分服务器或者单台超高分服务器多块显卡通过分布式拼控输入盒子接入，输入盒子将接入的多份超高清信号通过内部交换机网络传递到大屏对接的输出盒子上，输出盒子之间对多个上述图像信号进行拼接同步实现上墙显示。内部交换机网络传输的码流类型可以是经过输入板压缩的码流数据，压缩率可以根据网络带宽选择较大压缩率的深压缩或者较小压缩率的浅压缩码流。
在这种情况下，实际应用中出现了新增需求，即上述拼接之后的超高分信号投屏上墙的完整图像，需要在另一台计算机或者平板电脑上预览等比例缩小的整体视图，或需要将等比例缩小后的整体视图通过公网发送至其他中心进行预览或上墙显示，如图1-5所示。
然而对于这种需求，由于公网网络带宽的限制，无法对非压缩的码流裸数据进行传输，但用于生成超高分辨率图像的超高分服务器在软件业务运行和图像生成渲染等方面已经消耗了较多资源，难以抽出更多的资源来处理图像的编解码。所以，目前尚且没有可实现的方案提出，能够实现超高分信号的整体画面在压缩的同时保证较为流畅的输出(示例性的，至少保证15帧/秒的输出速率)。
也就是说，在超高分信号投屏上墙的应用场景下，需要在另一台计算机或者平板电脑上预览等比例缩小的超高分信号的整体视图，或需要将等比例缩小后的整体视图通过公网发送至其他中心进行预览或上墙显示，然而由于公网网络带宽的限制，无法对非压缩的码流裸数据进行传输，但目前尚且没有可实现的方案提出，能够实现超高分信号的整体画面在压缩的同时保证较为流畅的输出。
为了解决上述问题中的至少一项，在本申请实施例的第一方面提供了一种图像处理方法，该图像处理方法可以通过电子设备执行，具体的，该电子设备可以为个人终端、服务器等。
以下，对本申请实施例的图像处理方法进行详细说明，参见图2，图2为本申请实施例提供的一种图像处理方法的流程示意图，包括：
步骤S101，获取多路视频码流包，其中，每一路所述视频码流包由一路视频信号压缩编码得到，各路所述视频信号的信号源不同。
本申请实施例的图像处理方法，可以应用于拼接控制器，具体可以为拼接控制器中的主控子系统。主控子系统获取多路视频码流包，而一路视频码流包是由一路视频信号压缩编码得到的。一个例子中，视频码流包可以是由输入子系统(或输入盒子)对视频信号压缩编码得到的；一个例子中，视频码流包可以是由输出子系统(或输出盒子)对视频信号压缩编码得到的。输入子系统或输出子系统对接收到的多路视频信号分别进行压缩编码，得到多路视频码流包。可以理解的是，输出子系统与拼接屏连接，用于将视频信号发送给拼接屏进行显示。输入子系统与输出子系统连接，用于接收超高分服务器等设备发送的视频信号，并将视频信号发送给输出子系统。
其中，各路所述视频信号的信号源不同。多路视频信号可以分别来自于不同的服务器传输，也可以来自于同一服务器的不同输入/输出路径传输。一个例子中，多路视频信号分别来自于不同的超高分服务器传输，各路视频信号均为超高分信号。
输出子系统或输入子系统在接收到各路视频信号之后，分别对各路视频信号进行压缩编码，即对各路视频信号分别进行压缩转码，得到各路视频信号对应的视频码流包，具体的，可以是利用视频压缩编码算法将视频信号转换为码流格式的数据文件，然后将数据文件封装得到视频码流包。示例性的，视频压缩编码算法可以采用H.264、MPEG-4、HEVC(均为一种视频压缩算法)来实现。
在一个可能的实施例中，各路视频信号可以同时进行编码，将各路视频信号的生成时间作为其对应的时间戳，封装在各自对应的视频码流包的封装头中，得到各路视频信号各自对应的多路视频码流包。
步骤S102，获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中。
获取各路视频码流包中视频帧的时间戳，视频帧的时间戳为该视频帧的生成时刻。根据时间戳的时间差将时间差较小(例如小于某个阈值)的视频帧确定为属于同一显示画面的视频帧，将属于同一显示画面的各视频帧进行拼接，合并到同一个多轨码流包中，所得到的多轨码流包中包括拼接之后的各视频帧。其中，同一显示画面可以理解为在后续显示过程中，在显示屏上作为同一帧进行显示的画面。
步骤S103，向播放端发送所述多轨码流包。
将多轨码流包发送至播放端，一个例子中，播放端在接收到多轨码流包后，可以直接对多轨码流包中的视频帧进行拼接，并将拼接之后的各视频帧进行预览播放。一个例子中，播放端在接收到多轨码流包后，还可以先将多轨码流包进行存储，当满足预览条件时在进行拼接预览。示例性的，播放端可以是个人终端、服务器等电子设备，也可以是通过公网连接的其他中心。
由上可见，本申请实施例提供的图像处理方法，首先获取多路视频码流包，每一路视频码流包由一路视频信号压缩编码得到，各路视频信号的信号源不同。然后获取各路视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，再向播放端发送多轨码流包，多轨码流包中包括对属于同一显示画面的各路视频帧进行同步、拼接之后的视频帧画面。本申请实施例中视频码率包中包括的是经过压缩编码之后的视频信号，将多路视频码率包中属于同一显示画面的各视频帧合并到同一个多轨码流包中发送，相较于相关技术中直接在公网中传输拼接后的超高分视频信号，将信号以压缩码流的形式传输，传输通道所需的网络带宽较小，能够降低带宽的限制；并且因为对视频信号进行了压缩，能够减少因分辨率过高导致对电子设备硬件要求较高的情况，从而满足单台电子设备的预览要求。实现了超高分信号整体画面的输出。
本申请的一个实施例中，如图3所示，上述步骤S102获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，包括：
步骤S201，分别获取各路所述视频码流包中当前关键帧的时间戳；
步骤S202，确定当前共用时间戳。
其中，当前共用时间戳为各当前关键帧的时间戳中的一个。
各路视频码流包中包括至少一帧视频帧，将该帧视频帧作为当前关键帧，当前关键帧的时间戳表示当前关键帧生成的时刻。
针对每一路视频码流包都获取其各自的当前关键帧的时间戳，然后在其中选取一个作为当前共用时间戳，示例性的，当前共用时间戳可以是在各当前关键帧的时间戳中随机选取的，此处不对选取方式进行限定。
步骤S203，在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，将各当前关键帧合并到一个多轨码流包中。
在得到当前共用时间戳之后，以当前共用时间戳作为基准，对比各路视频码流包的当前关键帧的时间戳与当前共用时间戳之间的时间差，时间差在预设时长范围内的各当前关键帧即为时间同步的视频帧，表示各当前关键帧为同一显示画面的各视频帧，则将时间同步各当前关键帧进行拼接合并，封装在一个多轨码流包中，当前共用时间戳作为多轨码流包的封装包头，表示多轨码流包中拼接合并得到的多轨码流的时间戳。
在各路视频信号为超高分信号的情况下，各路视频码流包中的各当前关键帧均为超高分信号压缩编码之后的视频码流，多轨码流包即为对各视频码流拼接之后的多轨码流。
预设时长范围为预先设定的时长范围，表示时差在该时长范围内的视频帧均属于同一显示画面，具体的，可以是0.1秒、0.3秒、0.5秒等。
由上可见，本申请实施例提供的图像处理方法，将确定为时间同步的各当前关键帧合并到一个多轨码流包中，所得到的多轨码流包中所包括的即为属于同一显示画面的各路视频帧拼接得到的多轨码流，相较于对超高分信号的直接拼接，能够在降低设备资源压力的情况下，实现对超高分信号整体画面的传输。
本申请的一个实施例中，上述方法还包括：
在存在第一关键帧的情况下，获取所述第一关键帧所属的视频码流包中的下一帧关键帧作为当前关键帧；其中，第一关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳小于当前共用时间戳的当前关键帧；
和/或
在存在第二关键帧的情况下，将当前共用时间戳更新为所述第二关键帧的时间戳，并将第一视频码流包的下一帧关键帧作为当前关键帧；其中，第二关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳大于当前共用时间戳的当前关键帧；所述第一视频码流包为除所述第二关键帧所属的视频码流包外的其他视频码流包。
第一关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳小于当前共用时间戳的当前关键帧，可以理解为第一关键帧的时间戳偏小。
在对比各当前关键帧的时间戳与当前共用时间戳的时候，若存在一个视频码流包的当前关键帧为时间戳偏小的第一关键帧，则丢弃第一关键帧，然后在其所属的视频码流包中选取下一帧关键帧作为当前关键帧，重新获取当前关键帧的时间戳，与当前共用时间戳进行对比。
第二关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳大于当前共用时间戳的当前关键帧，可以理解为第二关键帧的时间戳偏大。
在对比各当前关键帧的时间戳与当前共用时间戳的时候，若存在一个视频码流包的当前关键帧为时间戳偏大的第二关键帧，则将当前共用时间戳更新为第二关键帧的时间戳，以第二关键帧的时间戳作为时间同步的基准。将除第二关键帧所属的视频码流包外的其他视频码流包(第一视频码流包)的当前关键帧均丢弃，然后针对每一第一视频码流包，都选取下一帧关键帧作为当前关键帧，重新获取各当前关键帧的时间戳，与当前共用时间戳进行对比。
一个例子中，在各当前关键帧中即存在第一关键帧又存在第二关键帧的情况下，按照存在第二关键帧的处理方式执行。
在本申请实施例中，当存在第一关键帧和/或第二关键帧的情况下，需要按照上述方式重新确定当前关键帧，直至各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内。
由上可见，本申请实施例提供的图像处理方法，在对比各当前关键帧的时间戳与当前共用时间戳时，对时间戳偏小的当前关键帧进行丢弃，对时间戳偏大的当前关键帧则更新当前共用时间戳作为新的时间同步的基准，以提高码流合并过程中各视频帧的时间同步性。
本申请的一个实施例中，如图4所示，在首次获取到各路所述视频码流包的情况下，上述步骤S201分别获取各路所述视频码流包中当前关键帧的时间戳，包括：
步骤S301，分别将各路所述视频码流包解封装为编码视频帧数据；
步骤S302，分别获取各路所述编码视频帧数据中的第一帧关键帧的时间戳，其中，所述第一帧关键帧为首次获取到各路所述视频码流包时的当前关键帧；
上述步骤S202确定当前共用时间戳，包括：
步骤S303，将最先获取到的视频码流包中的第一帧关键帧的时间戳作为当前共用时间戳。
在首次获取到各路视频码流包的情况下，对各路视频码流包进行解封装，具体的，可以是在通过不同的输入路径获取到多路视频码流包之后，对各路视频码流包进行解封装为编码视频帧数据，解封装仅解析各路视频码流包的封装头中的时间戳，视频帧仍保留编码视频帧数据形式。
分别获取各路编码视频帧数据中的第一帧关键帧的时间戳，然后将其中最先获取到的第一帧关键帧的时间戳作为当前共用时间戳，当前共用时间戳应该是时间戳最早的第一帧关键帧的时间戳，以此为基准对各路编码视频帧数据进行时间同步。
由上可见，本申请实施例提供的图像处理方法，在获取各路视频码流包中当前关键帧的时间戳时，首先将各路视频码流包进行解封装，从各路视频码流包的封装头中获取第一帧关键帧的时间戳，基于此选取当前共用时间戳，其中的视频帧仍保留编码视频帧数据形式，降低计算资源压力，提高拼接合并视频码流的效率。
本申请的一个实施例中，所述多轨码流包包括包头及多个轨道的视频帧数据，所述包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，其中，所述时间戳信息表示所述多轨码流包中的视频帧数据对应的当前共用时间戳，所述视频帧数据为超高分视频帧数据。
多轨码流包中包括包头及多个轨道的视频帧数据，视频帧数据为编码视频帧数据形式，视频帧数据为超高分视频帧数据，包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，以使得播放端在接收到多轨码流包之后，按照表示多轨码流包中的视频帧数据对应当前共用时间戳的时间戳信息，将各轨道的视频帧数据基于各自对应的显示位置信息在播放端的对应位置上进行播放。
一个例子中，多轨码流包的包头中还可以包括每个轨道的视频帧数据的图像大小，图像大小用于表示视频帧的分辨率，具体的，多轨码流包中每一轨道的视频帧数据的图像大小可以是相同的。
由上可见，本申请实施例提供的图像处理方法，多轨码流包的包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，视频帧数据为超高分视频帧数据，以使得播放端在接收到多轨码流包之后基于此播放各轨道的视频帧数据，实现多轨道超高分视频帧数据的整体输出。
本申请的一个实施例中，如图5-1所示，上述步骤S202在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，将各当前关键帧合并到一个多轨码流包中，包括：
步骤S401，在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，根据当前共用时间戳生成时间戳信息；
步骤S402，针对每一帧当前关键帧，获取该当前关键帧关联的非关键帧，生成该当前关键帧对应的轨道的视频帧数据；根据该当前关键帧所属的视频码流包，生成该当前关键帧对应的轨道的视频帧数据的显示位置信息。
其中，该当前关键帧对应的轨道的视频帧数据包括该当前关键帧以及该当前关键帧关联的非关键帧；
步骤S403，根据所述时间戳信息及所述显示位置信息生成包头；
步骤S404，将所述包头及各当前关键帧对应的轨道的视频帧数据进行拼接，得到一个多轨码流包。
在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，表示各当前关键帧为属于同一显示画面的时间同步的视频帧，将当前共用时间戳作为多轨码流包的时间戳信息。然后，针对于时间同步的各当前关键帧，获取与其各自关联的非关键帧，可以理解的是，各路视频码流包中包括一帧或多帧视频帧，当前关键帧是作为对应的视频码流包时间戳基准的一帧视频帧，除此之外，视频码流包(编码视频帧数据)中还可以包括与当前关键帧关联的非关键帧。
在生成多轨码流包的过程中，首先生成包括当前关键帧及非关键帧的对应轨道的视频帧数据，再根据该当前关键帧所属的视频码流包，生成该当前关键帧对应的轨道的视频帧数据的显示位置信息，根据将时间戳信息和各显示位置信息生成多轨码流包的包头。
将包头及各当前关键帧对应的轨道的视频帧数据进行拼接封装，即可得到一个多轨码流包，多轨码流包中包括属于同一显示画面的多轨道视频帧数据，以及各轨道视频帧数据应该在播放端中显示所在的显示位置信息。
由上可见，本申请实施例提供的图像处理方法，通过当前共用时间戳确定时间同步的各当前关键帧，将各当前关键帧及与其关联的非关键帧生成对应轨道的视频帧数据，从而保证各轨道视频帧数据的完整性。同时将时间戳信息与显示位置信息封装在多轨码流包的包头中，以使得播放端在接收到多轨码流包之后能够根据显示位置信息播放各轨道视频帧数据。
一个例子中，对比各当前关键帧的时间戳与当前共用时间戳的过程如图5-2及图5-3所示，一份视频码流包中包括关键帧及非关键帧，对比关键帧与共有时间戳，将时间一致的(在预设时差范围内的)关键帧作为时间同步的、属于同一显示画面的视频帧进行合并得到多轨码流包，时间偏差不对即时差不在预设时差范围内的关键帧不进行合并，其中时间戳偏小的关键帧丢弃，出现时间戳偏大的关键帧则更新共用时间戳。
本申请的一个实施例中，视频码流包可以是输入子系统输出的，所述获取多路视频码流包，包括：获取多个输入子系统各自输出的视频码流包，其中，所述视频码流包由所述输入子系统对视频信号压缩编码得到，所述输入子系统还将所述视频信号输出给输出子系统。
拼接控制器可以包括主控子系统、多个输入子系统及多个输出子系统，例如图6-2所示，输入子系统在接收到外部输入的视频信号(例如，可以为超高分信号)后，可以将视频信号复制为两路，一路输出给输出子系统，另一路压缩编码后输出给主控子系统。可以理解的是，图6-2中输入子系统及输出子系统的数量仅为示意，实际场景中可以根据视频信号的路数进行设置。其中，DP(Display Port)与HDMI(High Definition MultimediaInterface)均为视频传输协议。
本申请的一个实施例中，视频码流包可以是输出子系统输出的，所述获取多路视频码流包，包括：获取多个输出子系统各自输出的视频码流包，其中，所述视频码流包由所述输出子系统对视频信号压缩编码得到，所述输出子系统还将所述视频信号输出给拼接屏进行显示；
拼接控制器可以包括主控子系统、多个输入子系统及多个输出子系统，例如图6-4所示，输出子系统在接收到输出子系统发送的视频信号后，可以将视频信号复制为两路，一路输出给显示屏进行上屏显示，另一路压缩编码后输出给主控子系统。可以理解的是，图6-4中输入子系统及输出子系统的数量仅为示意，实际场景中可以根据视频信号的路数进行设置。
可以理解的是，本申请中的视频信号可以为任意分辨率的视频信号，例如，超高分信号、高分信号或其他分辨率的信号，均在本申请的保护范围内。
参见图6-1，在本申请的第二方面，提供了一种拼接控制器的结构示意图，所述拼接控制器包括主控子系统501及多个输入子系统502；
所述输入子系统502用于：接收视频信号；对自身接收的视频信号进行压缩编码得到视频码流包；将自身的视频码流包发送给所述主控子系统；
所述主控子系统501用于：获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，其中，各路所述视频信号的信号源不同；向播放端发送所述多轨码流包。
由上可见，本申请实施例提供的拼接控制器，输入子系统对接收到的来自不同信号源的多路视频信号分别进行压缩编码，得到多路视频码流包，视频码流包即为对超高分信号压缩编码、封装之后的码流包。然后主控子系统获取各路视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，再向播放端发送多轨码流包，多轨码流包中包括对属于同一显示画面的各路视频帧进行同步、拼接之后的视频帧画面。本申请实施例将超高分视频信号压缩编码之后再进行拼接处理，相较于相关技术中直接在公网中传输拼接后的超高分视频信号，将信号以压缩码流的形式传输，传输通道所需的网络带宽较小，能够降低带宽的限制；并且因为对视频信号进行了压缩，能够减少因分辨率过高导致对电子设备硬件要求较高的情况，从而满足单台电子设备的预览要求。实现了超高分信号整体画面的输出。
本申请的一个实施例中，参见图6-1，所述拼接控制器还包括多个输出子系统503，所述输入子系统502与所述输出子系统503一一对应；
所述输入子系统502还用于：将接收的视频信号发送给自身对应的输出子系统503；
所述主控子系统501用于：生成同步控制信息，并将所述同步控制信息发送给各所述输出子系统503；
所述输出子系统503用于：根据所述同步控制信息，对所述视频信号进行时间同步，并输出给拼接屏中对应的显示区域。
接收的视频信号可以为超高分信号，输入子系统将接收到的多路视频信号发送给输出子系统，在主控子系统生成同步控制信息之后，输出子系统根据同步控制信息对各视频信号进行时间同步，然后将各视频信号分别输出给拼接屏中对应的显示区域，此时输出给拼接屏的视频信号是未经编码压缩过的原视频信号。
如图6-2所示，超高分信号1路和超高分信号2路分别通过DP/HDMI(高清多媒体接口)输入至输入子系统1和输入子系统2，输入子系统1和输入子系统2对两路超高分信号压缩编码之后的视频码流包发送给主控子系统，以使得主控子系统将属于同一显示画面的各视频帧合并到同一个多轨码流包中发送给播放端(客户端)；同时输入子系统1和输入子系统2将未经压缩编码的原超高分信号发送给输出子系统1和输出子系统2，输出子系统1和输出子系统2将超高分信号进行时间同步之后，通过HDMI发送给拼接屏中的LCD1和LCD2两块屏幕进行显示。
由上可见，本申请实施例提供的拼接控制器，在生成压缩编码后的多轨码流包转发给播放端的同时，还向拼接屏输出未经压缩编码过、仅进行时间同步之后的原视频信号，实现了同时多路视频信号的整体画面在原视频信号投向拼接屏上墙的同时，能够向播放端输出整体画面。
本申请还提供了一种拼接控制器，参见图6-5，所述拼接控制器包括主控子系统501及多个输出子系统503；
所述输出子系统503用于：接收视频信号；对自身接收的视频信号进行压缩编码得到视频码流包；将自身的视频码流包发送给所述主控子系统；
所述主控子系统501用于：获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，其中，各路所述视频信号的信号源不同；向播放端发送所述多轨码流包。
一个例子中，输出子系统接收的视频信号，可以是网络摄像机发送的。在其他可能的实施例中，输出子系统接收到的视频信号可以是输入子系统发送的，参见图6-1，在一种可能的实施方式中，所述拼接控制器还包括多个输入子系统502，所述输入子系统502与所述输出子系统503一一对应；
所述输入子系统502用于：将接收的视频信号发送给自身对应的输出子系统503；
所述主控子系统501用于：生成同步控制信息，并将所述同步控制信息发送给各所述输出子系统503；
所述输出子系统503还用于：根据所述同步控制信息，对所述视频信号进行时间同步，并输出给拼接屏中对应的显示区域。
接收的视频信号可以为超高分信号，输入子系统将接收到的多路视频信号发送给输出子系统，在主控子系统生成同步控制信息之后，输出子系统根据同步控制信息对各视频信号进行时间同步，然后将各视频信号分别输出给拼接屏中对应的显示区域，此时输出给拼接屏的视频信号是未经编码压缩过的原视频信号。
可以理解的是，图6-1及图6-5中输入子系统及输出子系统的数量仅为示意，实际场景中可以根据视频信号(超高分信号)的路数进行设置。
可以理解的是，无论是利用输入子系统将视频信号压缩编码为视频码流包，还是利用输出子系统将视频信号压缩编码为视频码流包，主控子系统生成多轨码流包的过程可以是相同的。
本申请的一个实施例中，所述主控子系统501具体用于：分别获取各路所述视频码流包中当前关键帧的时间戳；确定当前共用时间戳，其中，当前共用时间戳为各当前关键帧的时间戳中的一个；在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，将各当前关键帧合并到一个多轨码流包中。
由上可见，本申请实施例提供的拼接控制器，将确定为时间同步的各当前关键帧合并到一个多轨码流包中，所得到的多轨码流包中所包括的即为属于同一显示画面的各路视频帧拼接得到的多轨码流，相较于对超高分信号的直接拼接，能够在降低设备资源压力的情况下，实现对超高分信号整体画面的传输。
本申请的一个实施例中，所述主控子系统501还用于：
在存在第一关键帧的情况下，获取所述第一关键帧所属的视频码流包中的下一帧关键帧作为当前关键帧；其中，第一关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳小于当前共用时间戳的当前关键帧；
和/或
在存在第二关键帧的情况下，将当前共用时间戳更新为所述第二关键帧的时间戳，并将第一视频码流包的下一帧关键帧作为当前关键帧；其中，第二关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳大于当前共用时间戳的当前关键帧；所述第一视频码流包为除所述第二关键帧所属的视频码流包外的其他视频码流包。
由上可见，本申请实施例提供的拼接控制器，在对比各当前关键帧的时间戳与当前共用时间戳时，对时间戳偏小的当前关键帧进行丢弃，对时间戳偏大的当前关键帧则更新当前共用时间戳作为新的时间同步的基准，以提高码流合并过程中各视频帧的时间同步性。
本申请的一个实施例中，在首次获取到各路所述视频码流包的情况下，所述主控子系统501还用于：
分别将各路所述视频码流包解封装为编码视频帧数据；
分别获取各路所述编码视频帧数据中的第一帧关键帧的时间戳，其中，所述第一帧关键帧为首次获取到各路所述视频码流包时的当前关键帧；
所述确定当前共用时间戳，包括：
将最先获取到的视频码流包中的第一帧关键帧的时间戳作为当前共用时间戳。
由上可见，本申请实施例提供的拼接控制器，在获取各路视频码流包中当前关键帧的时间戳时，首先将各路视频码流包进行解封装，从各路视频码流包的封装头中获取第一帧关键帧的时间戳，基于此选取当前共用时间戳，其中的视频帧仍保留编码视频帧数据形式，降低计算资源压力，提高拼接合并视频码流的效率。
本申请的一个实施例中，所述多轨码流包包括包头及多个轨道的视频帧数据，所述包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，其中，所述时间戳信息表示所述多轨码流包中的视频帧数据对应的当前共用时间戳，所述视频帧数据为超高分视频帧数据。
由上可见，本申请实施例提供的拼接控制器，多轨码流包的包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，以使得播放端在接收到多轨码流包之后基于此播放各轨道的视频帧数据，实现多轨道超高分视频帧数据的整体输出。
一个例子中，拼接控制器中对视频信号进行压缩编码输出的流程如图6-3所示。本申请的一个实施例中，所述主控子系统501还用于：
在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，根据当前共用时间戳生成时间戳信息；
针对每一帧当前关键帧，获取该当前关键帧关联的非关键帧，生成该当前关键帧对应的轨道的视频帧数据；根据该当前关键帧所属的视频码流包，生成该当前关键帧对应的轨道的视频帧数据的显示位置信息；其中，该当前关键帧对应的轨道的视频帧数据包括该当前关键帧以及该当前关键帧关联的非关键帧；
根据所述时间戳信息及所述显示位置信息生成包头；
将所述包头及各当前关键帧对应的轨道的视频帧数据进行拼接，得到一个多轨码流包。
由上可见，本申请实施例提供的拼接控制器，通过当前共用时间戳确定时间同步的各当前关键帧，将各当前关键帧及与其关联的非关键帧生成对应轨道的视频帧数据，从而保证各轨道视频帧数据的完整性。同时将时间戳信息与显示位置信息封装在多轨码流包的包头中，以使得播放端在接收到多轨码流包之后能够根据显示位置信息播放各轨道视频帧数据。参见图7-1，在本申请的第三方面，提供了一种图像处理系统的结构示意图，包括：多个超高分服务器601、上文任一所述的拼接控制器602；所述超高分服务器与所述输入子系统502一一对应；
所述超高分服务器601，用于生成视频信号，并将所述视频信号发送给自身对应的输入子系统。
本申请的一个实施例中，所述图像处理系统还包括播放设备603；
所述播放设备603，用于解析所述多轨码流包得到各轨道的视频帧数据；对各轨道的视频帧数据进行解码得到各轨道的视频帧；将各轨道的视频帧进行拼接，得到至少一帧拼接帧；显示所述拼接帧。
本申请的一个实施例中，所述多轨码流包包括包头及多个轨道的视频帧数据，所述包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，其中，所述时间戳信息表示所述多轨码流包中的视频帧数据对应的当前共用时间戳，所述视频帧数据为超高分视频帧数据；
所述播放设备603，具体用于解析当前的多轨码流包，得到时间戳信息、各轨道的视频帧数据的显示位置信息、各轨道的视频帧数据；对各轨道的视频帧数据进行解码得到各轨道的视频帧；根据各轨道的视频帧数据的显示位置信息，对各轨道中属于同一显示画面的视频帧数据进行拼接，得到至少一帧拼接帧；按照所述时间戳信息显示所述拼接帧。
一个例子中，播放设备对拼接帧的显示如图7-2所示，同一显示画面中由图像1和图像2共同显示一阵拼接帧，图像1和图像1分别显示拼接帧中的一轨视频帧，各轨道视频帧在同一显示画面中的显示位置根据显示位置信息确定。
多轨码流包的合并过程如图7-3所示，由两个视频码流包(包括包头1、关键帧1、非关键帧1的普通码流包1和包括包头2、关键帧2、非关键帧2的普通码流包2)构成，每一视频码流包中的关键帧和非关键帧构成一轨道视频帧数据，即普通码流包1的关键帧1和非关键帧1构成轨道1的视频帧数据，普通码流包2的关键帧2和非关键帧2构成轨道2的视频帧数据。
由上可见，本申请实施例提供的图像处理系统，能够对多路视频信号进行压缩编码之后，进行拼接合并，生成多轨码流包，发送给播放设备，以使得播放设备对多轨码流包中的多轨视频帧数据进行播放，实现了对超高分信号整体画面的输出。
参见图8，本申请实施例还提供了一种图像处理装置，所述装置包括：
码流包获取模块801，用于获取多路视频码流包，其中，每一路所述视频码流包由一路视频信号压缩编码得到，各路所述视频信号的信号源不同；
视频帧合并模块802，用于获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中；
码流包发送模块803，用于向播放端发送所述多轨码流包。
由上可见，本申请实施例提供的图像处理装置，首先获取多路视频码流包，每一路视频码流包由一路视频信号压缩编码得到，各路视频信号的信号源不同。然后获取各路视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，再向播放端发送多轨码流包，多轨码流包中包括对属于同一显示画面的各路视频帧进行同步、拼接之后的视频帧画面。本申请实施例中视频码率包中包括的是经过压缩编码之后的视频信号，将多路视频码率包中属于同一显示画面的各视频帧合并到同一个多轨码流包中发送，相较于相关技术中投屏上墙时直接对超高分视频信号进行拼接处理，所需占用的资源较小，降低了实施本申请提供的图像处理方法的设备的资源压力。并且，将超高分信号以压缩码流的形式传输，传输通道所需的网络带宽较小，实现了超高分信号整体画面在保证传输速率的情况下的输出。
本申请的一个实施例中，所述视频帧合并模块802，包括：
时间戳获取子模块，用于分别获取各路所述视频码流包中当前关键帧的时间戳；
时间戳确定子模块，用于确定当前共用时间戳，其中，当前共用时间戳为各当前关键帧的时间戳中的一个；
关键帧合并子模块，用于在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，将各当前关键帧合并到一个多轨码流包中。
由上可见，本申请实施例提供的图像处理装置，将确定为时间同步的各当前关键帧合并到一个多轨码流包中，所得到的多轨码流包中所包括的即为属于同一显示画面的各路视频帧拼接得到的多轨码流，相较于对超高分信号的直接拼接，能够在降低设备资源压力的情况下，实现对超高分信号整体画面的传输。
本申请的一个实施例中，所述装置还包括：
第一关键帧获取模块，用于在存在第一关键帧的情况下，获取所述第一关键帧所属的视频码流包中的下一帧关键帧作为当前关键帧；其中，第一关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳小于当前共用时间戳的当前关键帧；
和/或
第二关键帧获取模块，用于在存在第二关键帧的情况下，将当前共用时间戳更新为所述第二关键帧的时间戳，并将第一视频码流包的下一帧关键帧作为当前关键帧；其中，第二关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳大于当前共用时间戳的当前关键帧；所述第一视频码流包为除所述第二关键帧所属的视频码流包外的其他视频码流包。
由上可见，本申请实施例提供的图像处理装置，在对比各当前关键帧的时间戳与当前共用时间戳时，对时间戳偏小的当前关键帧进行丢弃，对时间戳偏大的当前关键帧则更新当前共用时间戳作为新的时间同步的基准，以提高码流合并过程中各视频帧的时间同步性。
本申请的一个实施例中，在首次获取到各路所述视频码流包的情况下，所述时间戳获取子模块，具体用于：
分别将各路所述视频码流包解封装为编码视频帧数据；
分别获取各路所述编码视频帧数据中的第一帧关键帧的时间戳，其中，所述第一帧关键帧为首次获取到各路所述视频码流包时的当前关键帧；
所述时间戳确定子模块，具体用于：
将最先获取到的视频码流包中的第一帧关键帧的时间戳作为当前共用时间戳。
由上可见，本申请实施例提供的图像处理装置，在获取各路视频码流包中当前关键帧的时间戳时，首先将各路视频码流包进行解封装，从各路视频码流包的封装头中获取第一帧关键帧的时间戳，基于此选取当前共用时间戳，其中的视频帧仍保留编码视频帧数据形式，降低计算资源压力，提高拼接合并视频码流的效率。
本申请的一个实施例中，所述多轨码流包包括包头及多个轨道的视频帧数据，所述包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，其中，所述时间戳信息表示所述多轨码流包中的视频帧数据对应的当前共用时间戳，所述视频帧数据为超高分视频帧数据。
由上可见，本申请实施例提供的图像处理装置，多轨码流包的包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，视频帧数据为超高分视频帧数据，以使得播放端在接收到多轨码流包之后基于此播放各轨道的视频帧数据，实现多轨道超高分视频帧数据的整体输出。
本申请的一个实施例中，所述视频帧合并模块802，具体用于：
在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，根据当前共用时间戳生成时间戳信息；
针对每一帧当前关键帧，获取该当前关键帧关联的非关键帧，生成该当前关键帧对应的轨道的视频帧数据；根据该当前关键帧所属的视频码流包，生成该当前关键帧对应的轨道的视频帧数据的显示位置信息；其中，该当前关键帧对应的轨道的视频帧数据包括该当前关键帧以及该当前关键帧关联的非关键帧；
根据所述时间戳信息及所述显示位置信息生成包头；
将所述包头及各当前关键帧对应的轨道的视频帧数据进行拼接，得到一个多轨码流包。
由上可见，本申请实施例提供的图像处理装置，通过当前共用时间戳确定时间同步的各当前关键帧，将各当前关键帧及与其关联的非关键帧生成对应轨道的视频帧数据，从而保证各轨道视频帧数据的完整性。同时将时间戳信息与显示位置信息封装在多轨码流包的包头中，以使得播放端在接收到多轨码流包之后能够根据显示位置信息播放各轨道视频帧数据。
本申请实施例还提供了一种电子设备，如图9所示，包括:
存储器901，用于存放计算机程序；
处理器902，用于执行存储器901上所存放的程序时，实现上述任一图像处理方法步骤。
并且上述电子设备还可以包括通信总线和/或通信接口，处理器902、通信接口、存储器901通过通信总线完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像处理方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者固态硬盘Solid StateDisk(SSD)等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于拼接控制器、系统、电子设备及存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：
获取多路视频码流包，其中，每一路所述视频码流包由一路视频信号压缩编码得到，各路所述视频信号的信号源不同；
获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中；
向播放端发送所述多轨码流包。
2.根据权利要求1所述的方法，其特征在于，所述获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，包括：
分别获取各路所述视频码流包中当前关键帧的时间戳；
确定当前共用时间戳，其中，当前共用时间戳为各当前关键帧的时间戳中的一个；
在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，将各当前关键帧合并到一个多轨码流包中。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在存在第一关键帧的情况下，获取所述第一关键帧所属的视频码流包中的下一帧关键帧作为当前关键帧；其中，第一关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳小于当前共用时间戳的当前关键帧；
和/或
在存在第二关键帧的情况下，将当前共用时间戳更新为所述第二关键帧的时间戳，并将第一视频码流包的下一帧关键帧作为当前关键帧；其中，第二关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳大于当前共用时间戳的当前关键帧；所述第一视频码流包为除所述第二关键帧所属的视频码流包外的其他视频码流包。
4.根据权利要求2所述的方法，其特征在于，在首次获取到各路所述视频码流包的情况下，所述分别获取各路所述视频码流包中当前关键帧的时间戳，包括：
分别将各路所述视频码流包解封装为编码视频帧数据；
分别获取各路所述编码视频帧数据中的第一帧关键帧的时间戳，其中，所述第一帧关键帧为首次获取到各路所述视频码流包时的当前关键帧；
所述确定当前共用时间戳，包括：
将最先获取到的视频码流包中的第一帧关键帧的时间戳作为当前共用时间戳。
5.根据权利要求1所述的方法，其特征在于，所述多轨码流包包括包头及多个轨道的视频帧数据，所述包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，其中，所述时间戳信息表示所述多轨码流包中的视频帧数据对应的当前共用时间戳，所述视频帧数据为超高分视频帧数据。
6.根据权利要求2所述的方法，其特征在于，所述在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，将各当前关键帧合并到一个多轨码流包中，包括：
在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，根据当前共用时间戳生成时间戳信息；
针对每一帧当前关键帧，获取该当前关键帧关联的非关键帧，生成该当前关键帧对应的轨道的视频帧数据；根据该当前关键帧所属的视频码流包，生成该当前关键帧对应的轨道的视频帧数据的显示位置信息；其中，该当前关键帧对应的轨道的视频帧数据包括该当前关键帧以及该当前关键帧关联的非关键帧；
根据所述时间戳信息及所述显示位置信息生成包头；
将所述包头及各当前关键帧对应的轨道的视频帧数据进行拼接，得到一个多轨码流包。
7.根据权利要求1所述的方法，其特征在于，所述获取多路视频码流包，包括：
获取多个输出子系统各自输出的视频码流包，其中，所述视频码流包由所述输出子系统对视频信号压缩编码得到，所述输出子系统还将所述视频信号输出给拼接屏进行显示；
或，
获取多个输入子系统各自输出的视频码流包，其中，所述视频码流包由所述输入子系统对视频信号压缩编码得到，所述输入子系统还将所述视频信号输出给输出子系统。
8.一种拼接控制器，其特征在于，所述拼接控制器包括主控子系统及多个输入子系统；
所述输入子系统用于：接收视频信号；对自身接收的视频信号进行压缩编码得到视频码流包；将自身的视频码流包发送给所述主控子系统；
所述主控子系统用于：获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，其中，各路所述视频信号的信号源不同；向播放端发送所述多轨码流包。
9.根据权利要求8所述的拼接控制器，其特征在于，所述拼接控制器还包括多个输出子系统，所述输入子系统与所述输出子系统一一对应；
所述输入子系统还用于：将接收的视频信号发送给自身对应的输出子系统；
所述主控子系统用于：生成同步控制信息，并将所述同步控制信息发送给各所述输出子系统；
所述输出子系统用于：根据所述同步控制信息，对所述视频信号进行时间同步，并输出给拼接屏中对应的显示区域；
所述主控子系统具体用于：分别获取各路所述视频码流包中当前关键帧的时间戳；确定当前共用时间戳，其中，当前共用时间戳为各当前关键帧的时间戳中的一个；在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，将各当前关键帧合并到一个多轨码流包中；
在存在第一关键帧的情况下，获取所述第一关键帧所属的视频码流包中的下一帧关键帧作为当前关键帧；其中，第一关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳小于当前共用时间戳的当前关键帧；
和/或
在存在第二关键帧的情况下，将当前共用时间戳更新为所述第二关键帧的时间戳，并将第一视频码流包的下一帧关键帧作为当前关键帧；其中，第二关键帧为时间戳与当前共用时间戳的时间差不在预设时长范围内、且时间戳大于当前共用时间戳的当前关键帧；所述第一视频码流包为除所述第二关键帧所属的视频码流包外的其他视频码流包；
在首次获取到各路所述视频码流包的情况下，所述主控子系统还用于：
分别将各路所述视频码流包解封装为编码视频帧数据；
分别获取各路所述编码视频帧数据中的第一帧关键帧的时间戳，其中，所述第一帧关键帧为首次获取到各路所述视频码流包时的当前关键帧；
所述确定当前共用时间戳，包括：
将最先获取到的视频码流包中的第一帧关键帧的时间戳作为当前共用时间戳；
所述多轨码流包包括包头及多个轨道的视频帧数据，所述包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，其中，所述时间戳信息表示所述多轨码流包中的视频帧数据对应的当前共用时间戳，所述视频帧数据为超高分视频帧数据；
所述主控子系统还用于：
在各当前关键帧的时间戳与当前共用时间戳的时间差均在预设时长范围内时，根据当前共用时间戳生成时间戳信息；
针对每一帧当前关键帧，获取该当前关键帧关联的非关键帧，生成该当前关键帧对应的轨道的视频帧数据；根据该当前关键帧所属的视频码流包，生成该当前关键帧对应的轨道的视频帧数据的显示位置信息；其中，该当前关键帧对应的轨道的视频帧数据包括该当前关键帧以及该当前关键帧关联的非关键帧；
根据所述时间戳信息及所述显示位置信息生成包头；
将所述包头及各当前关键帧对应的轨道的视频帧数据进行拼接，得到一个多轨码流包。
10.一种拼接控制器，其特征在于，所述拼接控制器包括主控子系统及多个输出子系统；
所述输出子系统用于：接收视频信号；对自身接收的视频信号进行压缩编码得到视频码流包；将自身的视频码流包发送给所述主控子系统；
所述主控子系统用于：获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中，其中，各路所述视频信号的信号源不同；向播放端发送所述多轨码流包。
11.一种图像处理系统，其特征在于，包括：多个超高分服务器、权利要求8-10任一所述的拼接控制器；所述超高分服务器与所述输入子系统一一对应；
所述超高分服务器，用于生成视频信号，并将所述视频信号发送给自身对应的输入子系统。
12.根据权利要求11所述的系统，其特征在于，所述图像处理系统还包括播放设备；
所述播放设备，用于解析所述多轨码流包得到各轨道的视频帧数据；对各轨道的视频帧数据进行解码得到各轨道的视频帧；将各轨道的视频帧进行拼接，得到至少一帧拼接帧；显示所述拼接帧；
所述多轨码流包包括包头及多个轨道的视频帧数据，所述包头中包括时间戳信息以及每个轨道的视频帧数据的显示位置信息，其中，所述时间戳信息表示所述多轨码流包中的视频帧数据对应的当前共用时间戳，所述视频帧数据为超高分视频帧数据；
所述播放设备，具体用于解析当前的多轨码流包，得到时间戳信息、各轨道的视频帧数据的显示位置信息、各轨道的视频帧数据；对各轨道的视频帧数据进行解码得到各轨道的视频帧；根据各轨道的视频帧数据的显示位置信息，对各轨道中属于同一显示画面的视频帧数据进行拼接，得到至少一帧拼接帧；按照所述时间戳信息显示所述拼接帧。
13.一种图像处理装置，其特征在于，所述装置包括：
码流包获取模块，用于获取多路视频码流包，其中，每一路所述视频码流包由一路视频信号压缩编码得到，各路所述视频信号的信号源不同；
视频帧合并模块，用于获取各路所述视频码流包中视频帧的时间戳，并根据时间戳将属于同一显示画面的各视频帧合并到同一个多轨码流包中；
码流包发送模块，用于向播放端发送所述多轨码流包。
14.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法。
CN202311162175.8A 2023-09-08 2023-09-08 一种图像处理方法、装置、拼接控制器及图像处理系统 Pending CN117278778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311162175.8A CN117278778A (zh) 2023-09-08 2023-09-08 一种图像处理方法、装置、拼接控制器及图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311162175.8A CN117278778A (zh) 2023-09-08 2023-09-08 一种图像处理方法、装置、拼接控制器及图像处理系统

Publications (1)

Publication Number Publication Date
CN117278778A true CN117278778A (zh) 2023-12-22

Family

ID=89213443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311162175.8A Pending CN117278778A (zh) 2023-09-08 2023-09-08 一种图像处理方法、装置、拼接控制器及图像处理系统

Country Status (1)

Country Link
CN (1) CN117278778A (zh)

Similar Documents

Publication Publication Date Title
US20210099773A1 (en) Using gltf2 extensions to support video and audio data
US11638066B2 (en) Method, device and computer program for encapsulating media data into a media file
US10097790B2 (en) Carriage of PTP time reference data in a real-time video signal
CN112804256B (zh) 多媒体文件中轨道数据的处理方法、装置、介质及设备
US11558654B2 (en) System and method for operating a transmission network
KR20190065838A (ko) 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말
WO2024022317A1 (zh) 视频流的处理方法及装置、存储介质、电子设备
CN113691862B (zh) 视频处理方法、用于视频播放的电子设备和视频播放系统
CN117278778A (zh) 一种图像处理方法、装置、拼接控制器及图像处理系统
CN111669605A (zh) 多媒体数据与其关联互动数据的同步方法和装置
KR20140050522A (ko) 멀티비전 가상화 시스템 및 가상화 서비스 제공 방법
US11973820B2 (en) Method and apparatus for mpeg dash to support preroll and midroll content during media playback
US11799943B2 (en) Method and apparatus for supporting preroll and midroll during media streaming and playback
WO2024114519A1 (zh) 点云封装与解封装方法、装置、介质及电子设备
US20230224557A1 (en) Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties
US11588870B2 (en) W3C media extensions for processing DASH and CMAF inband events along with media using process@append and process@play mode
US20240129537A1 (en) Method and apparatus for signaling cmaf switching sets in isobmff
WO2022145215A1 (ja) 映像選択合成装置およびその制御方法、並びに、管理装置
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
CN112911346A (zh) 视频源同步方法及装置
CN115811620A (zh) 直播方法和系统
WO2022207962A1 (en) A method, an apparatus and a computer program product for processing media data
CN118233691A (zh) 一种多媒体文件的播放方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination