CN116962805A - 视频合成方法、装置、电子设备及可读存储介质 - Google Patents
视频合成方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116962805A CN116962805A CN202210806674.5A CN202210806674A CN116962805A CN 116962805 A CN116962805 A CN 116962805A CN 202210806674 A CN202210806674 A CN 202210806674A CN 116962805 A CN116962805 A CN 116962805A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- preset
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 51
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 22
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 16
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请涉及视频处理领域，提供一种视频合成方法、装置、电子设备及可读存储介质。所述视频合成方法包括：将目标摄像机的视频流作为时间戳标准流，根据所述时间戳标准流对预处理服务器接收到的视频流进行帧同步；根据预设视角数和预设输出分辨率，对帧同步后得到的目标图像进行降采样处理，得到待合成图像；根据所述待合成图像的时间戳以及所述预设视角数，对各所述待合成图像进行合成，得到多视角视频。本申请通过视频流帧同步，目标图像降采样以及图像合成，解决了现有多视角转播存在的多视角画面不同步的问题。
Description
技术领域
本申请涉及视频处理领域，具体涉及一种视频合成方法、装置、电子设备及可读存储介质。
背景技术
随着移动网络的普及，视频应用向着更高分辨率以及更多视角等方向发展。多视角的视频导播支持用户自由改变观看视角，突破了传统观看视频只有唯一视角的问题，在实际应用中，多视角视频导播需要同时处理多个角度拍摄的超高清视频，以及拼接多路视频画面，存在多视角视频画面不同步以及给服务器带来计算压力的问题。
发明内容
本申请实施例提供一种视频合成方法、装置、电子设备及可读存储介质，用以解决现有多视角转播存在的多视角画面不同步的技术问题。
第一方面，本申请实施例提供一种视频合成方法，包括：
将目标摄像机的视频流作为时间戳标准流，根据所述时间戳标准流对预处理服务器接收到的视频流进行帧同步；
根据预设视角数和预设输出分辨率，对帧同步后得到的目标图像进行降采样处理，得到待合成图像；
根据所述待合成图像的时间戳以及所述预设视角数，对各所述待合成图像进行合成，得到多视角视频。
在一个实施例中，所述将目标摄像机的视频流作为时间戳标准流的步骤之前包括：
确定参与视频合成的摄像机的数量与预设视角数相等，从各所述摄像机中选取目标摄像机。
在一个实施例中，所述根据所述时间戳标准流对预处理服务器接收到的视频流进行帧同步的步骤包括：
提取所述时间戳标准流中第一帧对应的第一时间戳；
确定预处理服务器接收到的目标视频流中的第二帧，其中，所述第二帧为所述目标视频流中与所述第一时间戳最接近的帧；
根据所述第二帧对应的第二时间戳以及所述第一时间戳，对所述目标视频流进行帧同步。
在一个实施例中，所述根据所述第二帧对应的第二时间戳以及所述第一时间戳，对所述目标视频流进行帧同步的步骤包括：
在所述第一时间戳与所述第二时间戳之间的差小于预设帧率对应的时间的情况下，对所述第二帧进行解码，完成所述第二帧的帧同步；
在所述第一时间戳与所述第二时间戳之间的差大于或等于预设帧率对应的时间的情况下，对所述第二帧进行画面填充，完成所述第二帧的帧同步。
在一个实施例中，所述根据预设视角数和预设输出分辨率，对帧同步后得到的目标图像进行降采样处理，得到待合成图像的步骤包括：
在帧同步后得到的目标图像的输出形式为n×m，所述预设输出分辨率为A×B，所述预设视角数为n×m的情况下，对所述目标图像进行降采样处理，得到的待合成图像的分辨率为
在一个实施例中，所述根据所述待合成图像的时间戳以及所述预设视角数，对各所述待合成图像进行合成，得到多视角视频的步骤包括：
从所述待合成图像中选取目标合成图像，其中，所述目标合成图像的数量与所述预设视角数相等，各所述目标合成图像对应的时间戳之间的差小于预设帧率对应的时间；
对各所述目标合成图像进行合成，得到多视角视频。
在一个实施例中，所述视频合成方法还包括：
所述预处理服务器接收到的视频流的数量与所述预处理服务器的性能成正比。
第二方面，本申请实施例提供一种视频合成装置，包括：
帧同步模块，用于将目标摄像机的视频流作为时间戳标准流，根据所述时间戳标准流对预处理服务器接收到的视频流进行帧同步；
降采样模块，用于根据预设视角数和预设输出分辨率，对帧同步后得到的目标图像进行降采样处理，得到待合成图像；
视频合成模块，用于根据所述待合成图像的时间戳以及所述预设视角数，对各所述待合成图像进行合成，得到多视角视频。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述计算机程序时实现第一方面所述的视频合成方法的步骤。
第四方面，本申请实施例提供一种可读存储介质，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的视频合成方法的步骤。
本申请实施例提供的视频合成方法、装置、电子设备及可读存储介质，通过将目标摄像机生成的视频流作为时间戳标准流，根据时间戳标准流对预处理服务器接收到的其他视频流进行帧同步，然后根据预设视角数和预设输出分辨率，对帧同步后得到的目标图像进行降采样处理，得到待合成图像，最后根据待合成图像的时间戳以及预设视角数，对各待合成图像进行合成得到多视角视频，通过视频流帧同步，目标图像降采样以及图像合成，解决了现有多视角转播存在的多视角画面不同步的问题。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的视频合成方法的流程示意图之一；
图2是本申请实施例提供的视频合成方法的流程示意图之二；
图3是本申请实施例提供的视频合成装置的结构示意图；
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参照图1，图1是本申请实施例中视频合成方法的流程示意图之一。本申请实施例提供的视频合成方法，可以包括：
步骤S100，将目标摄像机的视频流作为时间戳标准流，根据所述时间戳标准流对预处理服务器接收到的视频流进行帧同步；
具体地，本实施例以9路摄像机生成9个视角的视频，3个处理服务器，每个处理服务器处理3条视频流为例，对本实施例提供的视频合成方法进行说明，预先指定3个处理服务器中的一台服务器收到的一条(摄像机生成的)视频流作为时间戳标准流，该处理服务器为时间戳源分发服务器，其余两个处理服务器为本实施例中的预处理服务器。然后根据时间戳标准流对预处理服务器接收到的6条视频流，以及时间戳源分发服务器接收到的2条视频流进行帧同步。把时间戳标准流里面的每一帧的时间戳提取出来，生成时间戳序列。预处理服务器接收到时间戳序列后，将预处理服务器收到的8个视角的视频流进行逐帧同步检查，对于时间戳序列中每一帧对应的时间戳，找出对应8个视角对应的各视频流中最接近该帧时间戳的帧，如果两个帧时间戳之差小于预先设置的时间差阈值(即1/帧率对应的时间值)，就解码得到该帧对应的预设格式图像，如果两个帧时间戳之差大于或等于预先设置的时间差阈值，则填充该帧前一帧的画面或者空白画面，完成帧同步。
步骤S200，根据预设视角数和预设输出分辨率，对帧同步后得到的目标图像进行降采样处理，得到待合成图像；
具体地，解码得到各视频流中每帧对应的预设格式图像(即本实施例中的目标图像)后，需要对预设格式图像进行降采样处理，将预设格式图像降采样为目标分辨率，其中，各视频流原始输出的分辨率即是本实施例中的预设输出分辨率，目标分辨率由摄像机的视角数(即本实施例中的预设视角数)和预设输出分辨率确定，假设预设视角数为25，预设输出分辨率为8K(7680×4320)，则目标分辨率为1536×864，其中，25＝5×5，1536＝7680÷5，864＝4320÷5。对帧同步后得到的目标图像进行降采样处理后，得到待合成图像，假设预设视角数为9，则各视频流中每个时间点对应的目标图像和待合成图像数量为9。
步骤S300，根据所述待合成图像的时间戳以及所述预设视角数，对各所述待合成图像进行合成，得到多视角视频。
具体地，预处理服务器将降采样缩小后的多个待合成图像按从左到右的方式先拼接成一个子图，然后将子图的文件名命名为该子图帧对应的时间戳加预处理服务器的标识，然后将该子图的文件存放在存储池中，合成服务器根据时间戳序列，按时间顺序从存储池中读取子图文件，将所有属于同一个时间戳的子图文件查找出来，然后按文件名中预处理服务器的标识值，按从小到大的顺序，从上到下拼接成多视角图像，拼接所有时间戳的子图后得到多个多视角图像，最终得到多视角视频。
本实施例通过将目标摄像机生成的视频流作为时间戳标准流，根据时间戳标准流对预处理服务器接收到的其他视频流进行帧同步，然后根据预设视角数和预设输出分辨率，对帧同步后得到的目标图像进行降采样处理，得到待合成图像，最后根据待合成图像的时间戳以及预设视角数，对各待合成图像进行合成得到多视角视频，通过视频流帧同步，目标图像降采样以及图像合成，解决了现有多视角转播存在的多视角画面不同步的问题。
在一个实施例中，本申请实施例提供的视频合成方法，还可以包括：
步骤S10，确定参与视频合成的摄像机的数量与预设视角数相等，从各所述摄像机中选取目标摄像机。
具体地，本实施例以9路摄像机生成9个视角的视频，3个处理服务器，每个处理服务器处理3条视频流为例，对本实施例提供的视频合成方法进行说明，预先指定3个处理服务器中的一台服务器收到的一条摄像机(即本实施例中的目标摄像机)生成的视频流作为时间戳标准流，该处理服务器为时间戳源分发服务器，其余两个处理服务器为本实施例中的预处理服务器。
本实施例通过从多个摄像机中选取时间戳标准流对应的目标摄像机，为后续多视角画面同步奠定了基础。。
参照图2，图2是本申请实施例中视频合成方法的流程示意图之二，在一个实施例中，本申请实施例提供的视频合成方法，还可以包括：
步骤S110，提取所述时间戳标准流中第一帧对应的第一时间戳；
步骤S120，确定预处理服务器接收到的目标视频流中的第二帧，其中，所述第二帧为所述目标视频流中与所述第一时间戳最接近的帧；
步骤S130，根据所述第二帧对应的第二时间戳以及所述第一时间戳，对所述目标视频流进行帧同步。
具体地，根据时间戳标准流对预处理服务器接收到的6条视频流，以及时间戳源分发服务器接收到的2条视频流进行帧同步。把时间戳标准流里面的每一帧的时间戳提取出来，生成时间戳序列。预处理服务器接收到时间戳序列后，将预处理服务器收到的6个视角的视频流进行逐帧同步检查，对于时间戳序列中某一帧(即本实施例中的第一帧)对应的时间戳(即本实施例中的第一时间戳)，找出某个预处理服务器接收到的目标视频流中的第二帧，其中，第二帧对应的时间戳为目标视频流中与第一时间戳最接近的帧，如果第一帧和第二帧对应的时间戳之差小于预先设置的时间差阈值，就解码得到该帧对应的预设格式图像，如果第一帧和第二帧对应的时间戳之差大于或等于预先设置的时间差阈值，则填充该帧前一帧的画面或者空白画面，以完成帧同步。
本实施例通过时间戳标准流对目标视频流进行帧同步，解决了现有多视角转播存在的多视角画面不同步的问题。
在一个实施例中，本申请实施例提供的视频合成方法，还可以包括：
步骤S131，在所述第一时间戳与所述第二时间戳之间的差小于预设帧率对应的时间的情况下，对所述第二帧进行解码，完成所述第二帧的帧同步；
步骤S132，在所述第一时间戳与所述第二时间戳之间的差大于或等于预设帧率对应的时间的情况下，对所述第二帧进行画面填充，完成所述第二帧的帧同步。
具体地，把时间戳标准流里面的每一帧的时间戳提取出来，生成时间戳序列。预处理服务器接收到时间戳序列后，将预处理服务器收到的多个视角的视频流进行逐帧同步检查，对于时间戳序列中的第一帧对应的第一时间戳，找出某个预处理服务器接收到的目标视频流中的第二帧，其中，第二帧对应的时间戳为目标视频流中与第一时间戳最接近的帧，在第一帧对应的时间戳和第二帧对应的时间戳之差小于预先设置的时间差阈值的情况下，对第二帧进行解码，得到第二帧对应的预设格式图像，完成第二帧的帧同步；在第一帧对应的时间戳和第二帧对应的时间戳之差大于或等于预先设置的时间差阈值的情况下，使用第二帧的前一帧画面或者空白画面对第二帧进行画面填充，完成第二帧的帧同步。
本实施例通过时间戳标准流对目标视频流进行帧同步，解决了现有多视角转播存在的多视角画面不同步的问题。
在一个实施例中，本申请实施例提供的视频合成方法，还可以包括：
步骤S210，在帧同步后得到的目标图像的输出形式为n×m，所述预设输出分辨率为A×B，所述预设视角数为n×m的情况下，对所述目标图像进行降采样处理，得到的待合成图像的分辨率为
具体地，解码得到各视频流中每帧对应的目标图像后，需要对目标图像进行降采样处理，将目标图像降采样为目标分辨率，其中，各视频流原始输出的分辨率即是本实施例中的预设输出分辨率，目标分辨率由预设视角数和预设输出分辨率确定，假设预设视角数为12，目标图像的输出形式为4×3(即本实施例中的n×m)，预设输出分辨率为7680×4320(即本实施例中的A×B)，则目标分辨率为 其中，12＝4×3，1920＝7680÷4，1440＝4320÷3。对帧同步后得到的目标图像进行降采样处理后，得到待合成图像，假设预设视角数为12，则各视频流中每个时间点对应的目标图像和待合成图像数量为12。
本实施例通过对帧同步后得到的目标图像进行降采样处理，解决了现有多视角转播存在的多视角画面不同步的问题。
在一个实施例中，本申请实施例提供的视频合成方法，还可以包括：
步骤S310，从所述待合成图像中选取目标合成图像，其中，所述目标合成图像的数量与所述预设视角数相等，各所述目标合成图像对应的时间戳之间的差小于预设帧率对应的时间；
步骤S320，对各所述目标合成图像进行合成，得到多视角视频。
具体地，预处理服务器将降采样缩小后的多个待合成图像存放在存储池中，待合成图像的名称可以是待合成图像对应的时间戳加预处理服务器的标识值，然后将待合成图像存放在存储池中，合成服务器根据待合成图像对应的时间戳，按时间顺序从存储池中读取待合成图像，将所有属于同一个时间戳的待合成图像(即本实施例中的目标合成图像)查找出来，其中，目标合成图像的数量与预设视角数相等，各目标合成图像对应的时间戳之间的差小于预设帧率对应的时间，然后按名称中预处理服务器的标识值，按从小到大的顺序，从上到下拼接成多视角图像，拼接所有时间戳的待合成图像后得到多个多视角图像，最终得到多视角视频。
本实施例通过待合成图像的拼接，解决了现有多视角转播存在的多视角画面不同步的问题。
在一个实施例中，本申请实施例提供的视频合成方法，还可以包括：
步骤S400，所述预处理服务器接收到的视频流的数量与所述预处理服务器的性能成正比。
具体地，上述预处理服务器接收到的视频流的数量还与预处理服务器的性能成正比，假设摄像机数量与预设视角数为9，处理服务器数量为3(其中，1个时间戳源分发服务器和2个预处理服务器)，若3个处理服务器的性能按照从大到小的顺序为预处理服务器1，预处理服务器2以及时间戳源分发服务器，则时间戳源分发服务器处理的视频流数量为1，预处理服务器2处理的视频流数量为3，预处理服务器1处理的视频流数量为5。
本实施例通过预处理服务器的性能确定预处理服务器处理的视频流数量，解决了预处理服务器的性能瓶颈。
参考图3，图3是本申请实施例中视频合成装置的结构示意图，下面对本申请实施例提供的视频合成装置进行描述，下文描述的视频合成装置与上文描述的视频合成方法可相互对应参照。
帧同步模块301，用于将目标摄像机的视频流作为时间戳标准流，根据所述时间戳标准流对预处理服务器接收到的视频流进行帧同步；
降采样模块302，用于根据预设视角数和预设输出分辨率，对帧同步后得到的目标图像进行降采样处理，得到待合成图像；
视频合成模块303，用于根据所述待合成图像的时间戳以及所述预设视角数，对各所述待合成图像进行合成，得到多视角视频。
可选地，所述视频合成装置，还包括：
目标摄像机选取模块，用于确定参与视频合成的摄像机的数量与预设视角数相等，从各所述摄像机中选取目标摄像机。
可选地，所述帧同步模块，包括：
第一时间戳提取单元，用于提取所述时间戳标准流中第一帧对应的第一时间戳；
第二帧确定单元，用于确定预处理服务器接收到的目标视频流中的第二帧，其中，所述第二帧为所述目标视频流中与所述第一时间戳最接近的帧；
帧同步单元，用于根据所述第二帧对应的第二时间戳以及所述第一时间戳，对所述目标视频流进行帧同步。
可选地，所述帧同步单元，包括：
帧解码单元，用于在所述第一时间戳与所述第二时间戳之间的差小于预设帧率对应的时间的情况下，对所述第二帧进行解码，完成所述第二帧的帧同步；
帧填充单元，用于在所述第一时间戳与所述第二时间戳之间的差大于或等于预设帧率对应的时间的情况下，对所述第二帧进行画面填充，完成所述第二帧的帧同步。
可选地，所述降采样模块，包括：
降采样单元，用于在帧同步后得到的目标图像的输出形式为n×m，所述预设输出分辨率为A×B，所述预设视角数为n×m的情况下，对所述目标图像进行降采样处理，得到的待合成图像的分辨率为
可选地，所述视频合成模块，包括：
目标合成图像选取单元，用于从所述待合成图像中选取目标合成图像，其中，所述目标合成图像的数量与所述预设视角数相等，各所述目标合成图像对应的时间戳之间的差小于预设帧率对应的时间；
图像合成单元，用于对各所述目标合成图像进行合成，得到多视角视频。
可选地，所述视频合成装置，还包括：
视频流数量确定模块，用于所述预处理服务器接收到的视频流的数量与所述预处理服务器的性能成正比。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communication Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的计算机程序，以执行视频合成方法的步骤。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请实施例还提供一种可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的视频合成方法的步骤。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的视频合成方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种视频合成方法，其特征在于，包括：
将目标摄像机的视频流作为时间戳标准流，根据所述时间戳标准流对预处理服务器接收到的视频流进行帧同步；
根据预设视角数和预设输出分辨率，对帧同步后得到的目标图像进行降采样处理，得到待合成图像；
根据所述待合成图像的时间戳以及所述预设视角数，对各所述待合成图像进行合成，得到多视角视频。
2.根据权利要求1所述的视频合成方法，其特征在于，所述将目标摄像机的视频流作为时间戳标准流的步骤之前包括：
确定参与视频合成的摄像机的数量与预设视角数相等，从各所述摄像机中选取目标摄像机。
3.根据权利要求1所述的视频合成方法，其特征在于，所述根据所述时间戳标准流对预处理服务器接收到的视频流进行帧同步的步骤包括：
提取所述时间戳标准流中第一帧对应的第一时间戳；
确定预处理服务器接收到的目标视频流中的第二帧，其中，所述第二帧为所述目标视频流中与所述第一时间戳最接近的帧；
根据所述第二帧对应的第二时间戳以及所述第一时间戳，对所述目标视频流进行帧同步。
4.根据权利要求3所述的视频合成方法，其特征在于，所述根据所述第二帧对应的第二时间戳以及所述第一时间戳，对所述目标视频流进行帧同步的步骤包括：
在所述第一时间戳与所述第二时间戳之间的差小于预设帧率对应的时间的情况下，对所述第二帧进行解码，完成所述第二帧的帧同步；
在所述第一时间戳与所述第二时间戳之间的差大于或等于预设帧率对应的时间的情况下，对所述第二帧进行画面填充，完成所述第二帧的帧同步。
5.根据权利要求1所述的视频合成方法，其特征在于，所述根据预设视角数和预设输出分辨率，对帧同步后得到的目标图像进行降采样处理，得到待合成图像的步骤包括：
在帧同步后得到的目标图像的输出形式为n×m，所述预设输出分辨率为A×B，所述预设视角数为n×m的情况下，对所述目标图像进行降采样处理，得到的待合成图像的分辨率为
6.根据权利要求1所述的视频合成方法，其特征在于，所述根据所述待合成图像的时间戳以及所述预设视角数，对各所述待合成图像进行合成，得到多视角视频的步骤包括：
从所述待合成图像中选取目标合成图像，其中，所述目标合成图像的数量与所述预设视角数相等，各所述目标合成图像对应的时间戳之间的差小于预设帧率对应的时间；
对各所述目标合成图像进行合成，得到多视角视频。
7.根据权利要求1所述的视频合成方法，其特征在于，所述视频合成方法还包括：
所述预处理服务器接收到的视频流的数量与所述预处理服务器的性能成正比。
8.一种视频合成装置，其特征在于，包括：
帧同步模块，用于将目标摄像机的视频流作为时间戳标准流，根据所述时间戳标准流对预处理服务器接收到的视频流进行帧同步；
降采样模块，用于根据预设视角数和预设输出分辨率，对帧同步后得到的目标图像进行降采样处理，得到待合成图像；
视频合成模块，用于根据所述待合成图像的时间戳以及所述预设视角数，对各所述待合成图像进行合成，得到多视角视频。
9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的视频合成方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述视频合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210806674.5A CN116962805A (zh) | 2022-07-08 | 2022-07-08 | 视频合成方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210806674.5A CN116962805A (zh) | 2022-07-08 | 2022-07-08 | 视频合成方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116962805A true CN116962805A (zh) | 2023-10-27 |
Family
ID=88451708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210806674.5A Pending CN116962805A (zh) | 2022-07-08 | 2022-07-08 | 视频合成方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116962805A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117156300A (zh) * | 2023-10-30 | 2023-12-01 | 北原科技(深圳)有限公司 | 基于图像传感器的视频流合成方法和装置、设备、介质 |
-
2022
- 2022-07-08 CN CN202210806674.5A patent/CN116962805A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117156300A (zh) * | 2023-10-30 | 2023-12-01 | 北原科技(深圳)有限公司 | 基于图像传感器的视频流合成方法和装置、设备、介质 |
| CN117156300B (zh) * | 2023-10-30 | 2024-02-02 | 北原科技(深圳)有限公司 | 基于图像传感器的视频流合成方法和装置、设备、介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109690620B (zh) | 三维模型生成装置以及三维模型生成方法 | |
| US7260274B2 (en) | Techniques and systems for developing high-resolution imagery | |
| Köppel et al. | Temporally consistent handling of disocclusions with texture synthesis for depth-image-based rendering | |
| EP3681144B1 (en) | Video processing method and apparatus based on augmented reality, and electronic device | |
| EP2479976A1 (en) | Device, method, and program for processing image | |
| US20140002591A1 (en) | Apparatus, system, and method for temporal domain hole filling based on background modeling for view synthesis | |
| CN108882055B (zh) | 视频直播方法及系统、合成视频流的方法及装置 | |
| CN109714623B (zh) | 图像展示方法、装置、电子设备及计算机可读存储介质 | |
| CN111612878B (zh) | 将静态照片制作成三维效果视频的方法及装置 | |
| CN113225606B (zh) | 视频弹幕处理方法及装置 | |
| CN116962805A (zh) | 视频合成方法、装置、电子设备及可读存储介质 | |
| KR101982436B1 (ko) | 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법 | |
| KR20120129313A (ko) | 차이 정보를 사용한 3차원 영상 정보 전송 시스템 및 방법 | |
| CN102026012B (zh) | 平面视频立体化转换深度图生成方法和装置 | |
| CN107564084B (zh) | 一种动图合成方法、装置及存储设备 | |
| WO2024022086A1 (zh) | 基于三维显示的视频通信方法及系统 | |
| WO2012097020A1 (en) | Determining a stereo image from video | |
| WO2011134373A1 (zh) | 多路视频同步传输方法、装置及系统 | |
| CN108683900B (zh) | 一种图像数据处理方法及装置 | |
| US8090872B2 (en) | Visual media viewing system and method | |
| JP4329429B2 (ja) | 画像転送装置、画像転送方法、画像転送プログラム | |
| CN113126942A (zh) | 一种封面图片的显示方法、装置、电子设备及存储介质 | |
| KR101826463B1 (ko) | 동영상의 시간 축을 동기화하기 위한 방법 및 장치 | |
| KR101325129B1 (ko) | 멀티미디어 동영상 처리장치와 방법 및 동영상 처리를 위한 컴퓨터 프로그램 저장수단 | |
| CN112215761A (zh) | 图像处理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |