CN106131669B - 一种合并视频的方法及装置 - Google Patents

一种合并视频的方法及装置 Download PDF

Info

Publication number
CN106131669B
CN106131669B CN201610592046.6A CN201610592046A CN106131669B CN 106131669 B CN106131669 B CN 106131669B CN 201610592046 A CN201610592046 A CN 201610592046A CN 106131669 B CN106131669 B CN 106131669B
Authority
CN
China
Prior art keywords
video
video file
file
time point
sound characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610592046.6A
Other languages
English (en)
Other versions
CN106131669A (zh
Inventor
王军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201610592046.6A priority Critical patent/CN106131669B/zh
Publication of CN106131669A publication Critical patent/CN106131669A/zh
Priority to US15/651,129 priority patent/US10721545B2/en
Priority to DE102017116177.5A priority patent/DE102017116177A1/de
Application granted granted Critical
Publication of CN106131669B publication Critical patent/CN106131669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

本发明实施例公开了一种合并视频的方法，所述方法包括：获取至少两个视频文件；解析所述至少两个视频文件，分别获得与所述至少两个视频文件相对应的视频信号以及音频信号；从各个音频信号中确定出至少一个相同的声音特征；以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并。同时，本发明实施例还公开了一种合并视频的装置。

Description

一种合并视频的方法及装置
技术领域
本发明涉及音视频处理技术领域，具体涉及一种合并视频的方法及装置。
背景技术
目前，将多台电子设备中的视频合并到一个视频中的需求越来越高。例如，在拍摄视频时，为了更好地记录当时的场景，往往有多台电子设备对该场景中的一个或多个对象进行拍摄，在后续进行播放时需要先对多台电子设备中的视频进行整理合并，然后播放合并后的视频。
但是，现有的合成软件都是需要手工同步，且同步效果并不理想，如在同一画面中呈现的多个视频之间有延时，且延时时间较长。
发明内容
有鉴于此，本发明期望提供一种合并视频的方法及装置，至少能解决上述问题之一。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种合并视频的方法，所述方法包括：
获取至少两个视频文件；
解析所述至少两个视频文件，分别获得与所述至少两个视频文件相对应的视频信号以及音频信号；
从各个音频信号中确定出至少一个相同的声音特征；
以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并。
上述方案中，可选地，所述从各个音频信号中确定出至少一个相同的声音特征，包括：
获取与所述各个音频信号对应的音频数据；
从与所述各个音频信号对应的音频数据中确定出至少一个相同的声音特征。
上述方案中，可选地，所述以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并，包括：
根据所述至少一个相同的声音特征确定第一时间点；
以所述第一时间点为中心，同步所述至少两个视频文件中的视频数据以及音频数据。
上述方案中，可选地，所述以所述第一时间点为中心，同步所述至少两个视频文件中的视频数据以及音频数据，包括：
分别获取所述至少两个视频文件中与所述第一时间点所对应的一帧视频数据以及一帧音频数据，对所述至少两个视频文件中与所述第一时间点所对应的各帧视频数据以及各帧音频数据进行对齐；
以所述第一时间点为中心，确定M个第二时间点，分别获取所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据，对所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据进行对齐；其中，M为正整数。
上述方案中，可选地，所述方法还包括：
根据所述至少一个相同的声音特征确定第三时间点；其中，所述第三时间点对应的声音特征与所述第一时间点所对应的声音特征不同；
检测合并后的视频文件中第三时间点对应的声音特征是否对齐；如果未对齐，对所述至少两个视频文件进行重新合并。
上述方案中，可选地，所述方法还包括：
从所述至少两个视频文件中确定出主视频文件；
基于所述主视频文件对应的元数据以及其他视频文件对应的元数据，生成合并后的视频文件的元数据。
上述方案中，可选地，所述对所述至少两个视频文件进行合并，还包括：
控制各个视频数据对应的图像在显示屏幕的第一区域按照预设形式呈现。
上述方案中，可选地，所述方法还包括：
获取所述至少两个视频文件的格式；
判断所述至少两个视频文件的格式是否为预设格式；
如果不是，对所述至少两个视频文件的格式进行格式转换，使转换后的格式为预设格式。
本发明还提供了一种合并视频的装置，所述装置包括：
解码器，用于获取至少两个视频文件；解析所述至少两个视频文件，分别获得与所述至少两个视频文件相对应的视频信号以及音频信号；
处理器，用于从各个音频信号中确定出至少一个相同的声音特征；以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并。
上述方案中，可选地，所述处理器，还用于：
获取与所述各个音频信号对应的音频数据；
从与所述各个音频信号对应的音频数据中确定出至少一个相同的声音特征。
上述方案中，可选地，所述处理器，还用于：
根据所述至少一个相同的声音特征确定第一时间点；
以所述第一时间点为中心，同步所述至少两个视频文件中的视频数据以及音频数据。
上述方案中，可选地，所述处理器，还用于：
分别获取所述至少两个视频文件中与所述第一时间点所对应的一帧视频数据以及一帧音频数据，对所述至少两个视频文件中与所述第一时间点所对应的各帧视频数据以及各帧音频数据进行对齐；
以所述第一时间点为中心，确定M个第二时间点，分别获取所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据，对所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据进行对齐；其中，M为正整数。
上述方案中，可选地，所述装置还包括：
检测器，用于：根据所述至少一个相同的声音特征确定第三时间点；其中，所述第三时间点对应的声音特征与所述第一时间点所对应的声音特征不同；检测合并后的视频文件中第三时间点对应的声音特征是否对齐；如果未对齐，通知所述处理器对所述至少两个视频文件进行重新合并。
上述方案中，可选地，所述处理器，还用于：
从所述至少两个视频文件中确定出主视频文件；
基于所述主视频文件对应的元数据以及其他视频文件对应的元数据，生成合并后的视频文件的元数据。
上述方案中，可选地，所述处理器，还用于：
控制各个视频数据对应的图像在显示屏幕的第一区域按照预设形式呈现。
上述方案中，可选地，所述处理器，还用于：
获取所述至少两个视频文件的格式；
判断所述至少两个视频文件的格式是否为预设格式；
如果不是，对所述至少两个视频文件的格式进行格式转换，使转换后的格式为预设格式。
本发明提供的合并视频的方法及装置，获取至少两个视频文件；解析所述至少两个视频文件，分别获得与所述至少两个视频文件相对应的视频信号以及音频信号；从各个音频信号中确定出至少一个相同的声音特征；以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并。如此，相对于现有技术中仅仅采用同时开始录制视频而尽量使多个视频信号同步来说，至少能够解决因延时而导致的合并后的文件不同步问题。
附图说明
图1为本发明实施例合并视频的方法的实现流程示意图；
图2为本发明实施例提供的一种不同视频文件的音频数据在时间轴上对比示意图；
图3为本发明实施例提供的另一种不同视频文件的音频数据在时间轴上对比示意图；
图4为本发明实施例合并视频的装置的结构示意图一；
图5为本发明实施例合并视频的装置的结构示意图二。
具体实施方式
下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。
实施例一
图1为本发明实施例合并视频的方法的实现流程示意图，在本发明一个优选实施例中，所述合并视频的方法主要包括以下步骤：
步骤101：获取至少两个视频文件。
通常来说，视频文件既包括视频信号，又包括音频信号。对于同一个视频文件来说，从该视频文件解析出的视频信号与音频信号是同步的。
作为一种实施方式，所述至少两个视频文件是记录有在同一时间采集的针对同一场景的文件。
比如，为了更好地记录小朋友们参加夏令营的情景，在小朋友们乘坐的大巴车上，用一台电子设备录制大巴车里的小朋友们的活动情况；同时，用另一台电子设备也录制大巴车里的小朋友们的活动情况。而后期制作时，可以对这两台电子设备所获取的视频文件进行合并。
作为另一种实施方式，所述至少两个视频是记录有在同一时间所采集的针对不同场景的文件。
比如，为了更好地记录小朋友们参加夏令营的情景，在小朋友们乘坐的大巴车上，用一台电子设备录制大巴车里左边那排座位上的小朋友们的活动情况；用另一台电子设备录制大巴车里右边那排座位上的小朋友们的活动情况。而后期制作时，可以对这两台电子设备所获取的视频文件进行合并。
步骤102：解析所述至少两个视频文件，分别获得与所述至少两个视频文件相对应的视频信号以及音频信号。
作为一种可选实施方式，采用视频解码器对视频文件进行解码，获取与该视频文件相对应的视频信号以及音频信号。
这里，视频解码器如何对视频文件进行解码，属于现有技术，在此不再赘述。
在一实施例中，所述解析所述至少两个视频文件之前，还包括：
获取所述至少两个视频文件的格式；
判断所述至少两个视频文件的格式是否为预设格式；
如果不是，对所述至少两个视频文件的格式进行格式转换，使转换后的格式为预设格式。
这里，所述预设格式可以理解为视频解码器支持的格式。
如此，通过对多个视频文件的格式的统一，更有助于后续对视频文件进行解码，使得视频解码器对多个视频文件所采取的解析方法相同，减少因视频文件格式不同而导致的解码误差不一致的问题，为后续合并视频文件提供了很好的技术支撑。
步骤103：从各个音频信号中确定出至少一个相同的声音特征。
作为一种可选实施方式，所述从各个音频信号中确定出至少一个相同的声音特征，包括：
获取与所述各个音频信号对应的音频数据；
从与所述各个音频信号对应的音频数据中确定出至少一个相同的声音特征。
如此，能为后续对所述至少两个视频文件合并提供参考依据。
步骤104：以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并。
作为一种可选实施方式，所述以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并，包括：
根据所述至少一个相同的声音特征确定第一时间点；
以所述第一时间点为中心，同步所述至少两个视频文件中的视频数据以及音频数据。
如此，至少能保证合并后的视频文件中，该相同的声音特征所对应的视频数据的同步。
作为一种具体实施方式，所述以所述第一时间点为中心，同步所述至少两个视频文件中的视频数据以及音频数据，包括：
分别获取所述至少两个视频文件中与所述第一时间点所对应的一帧视频数据以及一帧音频数据，对所述至少两个视频文件中与所述第一时间点所对应的各帧视频数据以及各帧音频数据进行对齐；
以所述第一时间点为中心，确定M个第二时间点，分别获取所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据，对所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据进行对齐。
优选地，所述第二时间点也包含有所述至少两个视频文件中相同的声音特征。通常来说，所述第二时间点对应的声音特征，与所述第一时间点对应的声音特征，不是同一个声音特征。
其中，所述M为大于或等于1的正整数。
举例来说，电子设备A与电子设备B同时对同一场景下的多个人录像；电子设备A生成了视频文件a，电子设备B生成了视频文件b；如图2所示，对视频文件a解析时，在第5S对应的音频数据为“你好吗”；对视频文件b解析时，在第6S对应的音频数据也为“你好吗”；且“你好吗”为同一人在同一时刻发出的声音。可见，两台电子设备在进行录像时存在延时，若在合并视频文件时，不分析音频数据内容，而仅仅将两个视频文件按照各自记录的时间进行帧视频数据以及帧音频数据对齐，显然会使得合并后的视频文件不同步，存在延时。采用本实施例所述技术方案，需要将视频文件a解析出的第5S对应的一帧音频数据，与视频文件b解析出的第6S对应的一帧音频数据合并，并将视频文件a解析出的第5S对应的一帧视频数据，与视频文件b解析出的第6S对应的一帧视频数据对齐。如此，至少能保证合并后的视频文件中，该相同的声音特征所对应的视频数据的同步。
上述方案中，可选地，所述方法还包括：
根据所述至少一个相同的声音特征确定第三时间点；其中，所述第三时间点对应的声音特征与所述第一时间点所对应的声音特征不同；
检测合并后的视频文件中第三时间点对应的声音特征是否对齐；如果未对齐，对所述至少两个视频文件进行重新合并。
继续以上述例子来说明，电子设备A与电子设备B同时对同一场景下的多个人录像；电子设备A生成了视频文件a，电子设备B生成了视频文件b；如图3所示，对视频文件a解析时，在第5S对应的音频数据为“你好吗”；对视频文件b解析时，在第6S对应的音频数据也为“你好吗”；且“你好吗”为同一人在同一时刻发出的声音。对视频文件a解析时，在第7S对应的音频数据为“一起吃饭”；对视频文件b解析时，在第9S对应的音频数据也为“一起吃饭”；且“一起吃饭”为同一人在同一时刻发出的声音。显然，仅仅以“你好吗”为中心，将与“你好吗”对应的视频数据进行对齐后，然后以该点为中心，按序对其它视频数据以及音频数据进行对齐，仍会出现合并后的视频文件中某些视频数据以及音频数据不同步的问题；而该例子中，需要再将与“一起吃饭”对应的视频数据进行对齐后，然后以该点为中心，再继续检验，直至相同的声音特征所对应的视频数据均能同步。
如此，能够检验合并的视频文件是否实现了多个视频信号以及音频信号的同步，避免因解析时漏帧而引起的合并后的视频文件存在部分视频信号或音频信号不同步的问题，大大提高了视频文件合并的正确度。
上述方案中，可选地，所述方法还包括：
从所述至少两个视频文件中确定出主视频文件；
基于所述主视频文件对应的元数据以及其他视频文件对应的元数据，生成合并后的视频文件的元数据。
例如，所述元数据可以是指字幕。
作为一具体实施方式，所述基于所述主视频文件对应的元数据以及其他视频文件对应的元数据，生成合并后的视频文件的元数据，包括：
保留与所述主视频文件对应的元数据，删除与其他视频文件对应的元数据。
作为另一具体实施方式，所述基于所述主视频文件对应的元数据以及其他视频文件对应的元数据，生成合并后的视频文件的元数据，包括：
依据所述主视频文件对应的元数据以及所述其他视频文件对应的元数据，生成新的元数据。
这里，所述新的元数据可以是基于对主视频文件以及其他视频文件的元数据的概括或总结。
作为又一具体实施方式，所述基于所述主视频文件对应的元数据以及其他视频文件对应的元数据，生成合并后的视频文件的元数据，包括：
删除与所述主视频文件对应的元数据，保留与其他视频文件对应的全部或部分元数据。
上述方案中，可选地，所述对所述至少两个视频文件进行合并，还包括：
控制各个视频数据对应的图像在显示屏幕的第一区域按照预设形式呈现。
比如，所述预设形式可以是：层叠，例如从第一区域的左上角开始到右下角以堆叠的方式显示各个视频文件中的视频图像。
比如，所述预设形式可以是：平铺，例如自动调整窗口的大小并实现各个窗口以平铺的方式紧密填满显示屏幕的第一区域。
比如，所述预设形式可以是：嵌入，例如将一视频图像插入到另一视频图像中，呈现画中画的显示形式。
需要说明的是，所述预设形式并不限于上述所列举的这几种，可以根据实际剪辑需要，对各个视频图像进行编辑，在此不再赘述。
本实施例中，所述电子设备可以是能够录像的电子设备，如平板电脑、笔记本电脑、手机、电视等等。
在本发明实施例中，获取至少两个视频文件；解析所述至少两个视频文件，分别获得与所述至少两个视频文件相对应的视频信号以及音频信号；从各个音频信号中确定出至少一个相同的声音特征；以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并。如此，相对于现有技术中仅仅采用同时开始录制视频而尽量使多个视频信号同步来说，至少能够解决因延时而导致的合并后的文件不同步问题，无需增加硬件成本，即可实现多视频信号的同步。
实施例二
图4为本发明实施例提供的合并视频的装置的结构示意图一，如图4所示，所述装置包括：
解码器41，用于获取至少两个视频文件；解析所述至少两个视频文件，分别获得与所述至少两个视频文件相对应的视频信号以及音频信号；
处理器42，用于从各个音频信号中确定出至少一个相同的声音特征；以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并。
作为一种可选实施方式，所述处理器42，还用于：
获取与所述各个音频信号对应的音频数据；
从与所述各个音频信号对应的音频数据中确定出至少一个相同的声音特征。
作为一种可选实施方式，所述处理器42，还用于：
根据所述至少一个相同的声音特征确定第一时间点；
以所述第一时间点为中心，同步所述至少两个视频文件中的视频数据以及音频数据。
在一具体实施方式中，所述处理器42，还用于：
分别获取所述至少两个视频文件中与所述第一时间点所对应的一帧视频数据以及一帧音频数据，对所述至少两个视频文件中与所述第一时间点所对应的各帧视频数据以及各帧音频数据进行对齐；
以所述第一时间点为中心，确定M个第二时间点，分别获取所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据，对所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据进行对齐；其中，M为正整数。
上述方案中，可选地，所述装置还包括：
检测器43，用于：根据所述至少一个相同的声音特征确定第三时间点；其中，所述第三时间点对应的声音特征与所述第一时间点所对应的声音特征不同；检测合并后的视频文件中第三时间点对应的声音特征是否对齐；如果未对齐，通知所述处理器42对所述至少两个视频文件进行重新合并。
作为一种实施方式，所述处理器42，还用于：
从所述至少两个视频文件中确定出主视频文件；
基于所述主视频文件对应的元数据以及其他视频文件对应的元数据，生成合并后的视频文件的元数据。
作为一种实施方式，所述处理器42，还用于：
控制各个视频数据对应的图像在显示屏幕的第一区域按照预设形式呈现。
作为一种实施方式，所述处理器42，还用于：
获取所述至少两个视频文件的格式；
判断所述至少两个视频文件的格式是否为预设格式；
如果不是，对所述至少两个视频文件的格式进行格式转换，使转换后的格式为预设格式。
本领域技术人员应当理解，本发明实施例的电子设备中各处理模块的功能，可参照前述合并视频的方法的相关描述而理解，本发明实施例的合并视频的装置中各处理模块，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在电子设备上的运行而实现。
其中，所述处理器42在实际应用中，均可由合并视频的装置中的中央处理器(CPU，Central Processing Unit)、微处理器(MCU，Micro Controller Unit)、数字信号处理器(DSP，Digital Signal Processing)或可编程逻辑器件(PLC，Programmable LogicController)等实现。
本实施例所述合并视频的装置，相对于现有技术中仅仅采用同时开始录制视频而尽量使多个视频信号同步来说，至少能够解决因延时而导致的合并后的文件不同步问题，无需增加硬件成本，即可实现多视频信号的同步。
实施例三
图5为本发明实施例提供的合并视频的装置的结构示意图二，如图5所示，所述装置包括：
第一获取单元51，用于获取至少两个视频文件；
第二获取单元52，用于解析所述至少两个视频文件，分别获得与所述至少两个视频文件相对应的视频信号以及音频信号；
确定单元53，用于从各个音频信号中确定出至少一个相同的声音特征；
合并单元54，用于以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并。
作为一种可选实施方式，所述确定单元53，具体用于：
获取与所述各个音频信号对应的音频数据；
从与所述各个音频信号对应的音频数据中确定出至少一个相同的声音特征。
作为一种可选实施方式，所述合并单元53，还用于：
根据所述至少一个相同的声音特征确定第一时间点；
以所述第一时间点为中心，同步所述至少两个视频文件中的视频数据以及音频数据。
作为一种具体实施方式，所述确定单元53，具体用于：
分别获取所述至少两个视频文件中与所述第一时间点所对应的一帧视频数据以及一帧音频数据，对所述至少两个视频文件中与所述第一时间点所对应的各帧视频数据以及各帧音频数据进行对齐；
以所述第一时间点为中心，确定M个第二时间点，分别获取所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据，对所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据进行对齐；其中，M为正整数。
上述方案中，所述合并单元54，还用于：
根据所述至少一个相同的声音特征确定第三时间点；其中，所述第三时间点对应的声音特征与所述第一时间点所对应的声音特征不同；
检测合并后的视频文件中第三时间点对应的声音特征是否对齐；如果未对齐，对所述至少两个视频文件进行重新合并。
上述方案中，所述合并单元54，还用于：
从所述至少两个视频文件中确定出主视频文件；
基于所述主视频文件对应的元数据以及其他视频文件对应的元数据，生成合并后的视频文件的元数据。
上述方案中，所述合并单元54，还用于：
控制各个视频数据对应的图像在显示屏幕的第一区域按照预设形式呈现。
上述方案中，所述第二获取单元52，还用于：
获取所述至少两个视频文件的格式；
判断所述至少两个视频文件的格式是否为预设格式；
如果不是，对所述至少两个视频文件的格式进行格式转换，使转换后的格式为预设格式。
本领域技术人员应当理解，本发明实施例的合并视频的装置中各处理模块的功能，可参照前述合并视频的方法的相关描述而理解，本发明实施例的电子设备中各处理模块，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在电子设备上的运行而实现。
其中，所述第一获取单元51、第二获取单元52、确定单元53、合并单元54，在实际应用中，均可由电子设备中的中央处理器CPU、MCU、DSP或PLC等实现。
本实施例所述合并视频的装置，相对于现有技术中仅仅采用同时开始录制视频而尽量使多个视频信号同步来说，至少能够解决因延时而导致的合并后的文件不同步问题，无需增加硬件成本，即可实现多视频信号的同步。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法、装置和电子设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明实施例上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种合并视频的方法，其特征在于，所述方法包括：
获取至少两个视频文件；
解析所述至少两个视频文件，分别获得与所述至少两个视频文件相对应的视频信号以及音频信号；
从各个音频信号中确定出至少一个相同的声音特征；
以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并；
其中，所述以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并，包括：
根据所述至少一个相同的声音特征确定第一时间点；
以所述第一时间点为中心，同步所述至少两个视频文件中的视频数据以及音频数据；
所述方法还包括：
从所述至少两个视频文件中确定出主视频文件；
基于所述主视频文件对应的元数据以及其他视频文件对应的元数据，生成合并后的视频文件的元数据。
2.根据权利要求1所述的方法，其特征在于，所述从各个音频信号中确定出至少一个相同的声音特征，包括：
获取与所述各个音频信号对应的音频数据；
从与所述各个音频信号对应的音频数据中确定出至少一个相同的声音特征。
3.根据权利要求1所述的方法，其特征在于，所述以所述第一时间点为中心，同步所述至少两个视频文件中的视频数据以及音频数据，包括：
分别获取所述至少两个视频文件中与所述第一时间点所对应的一帧视频数据以及一帧音频数据，对所述至少两个视频文件中与所述第一时间点所对应的各帧视频数据以及各帧音频数据进行对齐；
以所述第一时间点为中心，确定M个第二时间点，分别获取所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据，对所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据进行对齐；其中，M为正整数。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述至少一个相同的声音特征确定第三时间点；其中，所述第三时间点对应的声音特征与所述第一时间点所对应的声音特征不同；
检测合并后的视频文件中第三时间点对应的声音特征是否对齐；如果未对齐，对所述至少两个视频文件进行重新合并。
5.根据权利要求1所述的方法，其特征在于，所述对所述至少两个视频文件进行合并，还包括：
控制各个视频数据对应的图像在显示屏幕的第一区域按照预设形式呈现。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述至少两个视频文件的格式；
判断所述至少两个视频文件的格式是否为预设格式；
如果不是，对所述至少两个视频文件的格式进行格式转换，使转换后的格式为预设格式。
7.一种合并视频的装置，其特征在于，所述装置包括：
解码器，用于获取至少两个视频文件；解析所述至少两个视频文件，分别获得与所述至少两个视频文件相对应的视频信号以及音频信号；
处理器，用于从各个音频信号中确定出至少一个相同的声音特征；以所述至少一个相同的声音特征为时间参考，对所述至少两个视频文件进行合并；
其中，所述处理器，还用于：
根据所述至少一个相同的声音特征确定第一时间点；
以所述第一时间点为中心，同步所述至少两个视频文件中的视频数据以及音频数据；
所述处理器，还用于：
从所述至少两个视频文件中确定出主视频文件；
基于所述主视频文件对应的元数据以及其他视频文件对应的元数据，生成合并后的视频文件的元数据。
8.根据权利要求7所述的装置，其特征在于，所述处理器，还用于：
获取与所述各个音频信号对应的音频数据；
从与所述各个音频信号对应的音频数据中确定出至少一个相同的声音特征。
9.根据权利要求7所述的装置，其特征在于，所述处理器，还用于：
分别获取所述至少两个视频文件中与所述第一时间点所对应的一帧视频数据以及一帧音频数据，对所述至少两个视频文件中与所述第一时间点所对应的各帧视频数据以及各帧音频数据进行对齐；
以所述第一时间点为中心，确定M个第二时间点，分别获取所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据，对所述至少两个视频文件中与所述M个第二时间点所对应的各帧视频数据以及各帧音频数据进行对齐；其中，M为正整数。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
检测器，用于：根据所述至少一个相同的声音特征确定第三时间点；其中，所述第三时间点对应的声音特征与所述第一时间点所对应的声音特征不同；检测合并后的视频文件中第三时间点对应的声音特征是否对齐；如果未对齐，通知所述处理器对所述至少两个视频文件进行重新合并。
11.根据权利要求7所述的装置，其特征在于，所述处理器，还用于：
控制各个视频数据对应的图像在显示屏幕的第一区域按照预设形式呈现。
12.根据权利要求7所述的装置，其特征在于，所述处理器，还用于：
获取所述至少两个视频文件的格式；
判断所述至少两个视频文件的格式是否为预设格式；
如果不是，对所述至少两个视频文件的格式进行格式转换，使转换后的格式为预设格式。
CN201610592046.6A 2016-07-25 2016-07-25 一种合并视频的方法及装置 Active CN106131669B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610592046.6A CN106131669B (zh) 2016-07-25 2016-07-25 一种合并视频的方法及装置
US15/651,129 US10721545B2 (en) 2016-07-25 2017-07-17 Method and device for combining videos
DE102017116177.5A DE102017116177A1 (de) 2016-07-25 2017-07-18 Verfahren und Gerät zum Kombinieren von Videos

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610592046.6A CN106131669B (zh) 2016-07-25 2016-07-25 一种合并视频的方法及装置

Publications (2)

Publication Number Publication Date
CN106131669A CN106131669A (zh) 2016-11-16
CN106131669B true CN106131669B (zh) 2019-11-26

Family

ID=57289529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610592046.6A Active CN106131669B (zh) 2016-07-25 2016-07-25 一种合并视频的方法及装置

Country Status (3)

Country Link
US (1) US10721545B2 (zh)
CN (1) CN106131669B (zh)
DE (1) DE102017116177A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019023967A1 (zh) * 2017-08-02 2019-02-07 深圳传音通讯有限公司 一种基于智能终端的视频录制方法及视频录制装置
CN109688433A (zh) * 2018-11-22 2019-04-26 深圳艺达文化传媒有限公司 基于画面的剪切视频方法及相关产品
CN110191368A (zh) * 2019-05-31 2019-08-30 北京奇艺世纪科技有限公司 视频数据采集及对齐方法、装置、电子设备及系统
CN110740379A (zh) * 2019-10-29 2020-01-31 曾虹恺 一种基于碎片视频自动生成完整视频的系统及方法
CN110971914B (zh) * 2019-11-22 2022-03-08 北京凯视达科技股份有限公司 一种在时间轴模式下动态节省视音频解码资源的方法
CN110890095A (zh) * 2019-12-26 2020-03-17 北京大米未来科技有限公司 语音检测方法、推荐方法、装置、存储介质和电子设备
CN115460446A (zh) * 2022-08-19 2022-12-09 上海爱奇艺新媒体科技有限公司 一种多路视频信号的对齐方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2450898A1 (en) * 2010-11-05 2012-05-09 Research in Motion Limited Mixed video compilation
CN104012106A (zh) * 2011-12-23 2014-08-27 诺基亚公司 使表示不同视点的视频对准

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111326B1 (en) * 2007-05-23 2012-02-07 Adobe Systems Incorporated Post-capture generation of synchronization points for audio to synchronize video portions captured at multiple cameras
US20100077289A1 (en) * 2008-09-08 2010-03-25 Eastman Kodak Company Method and Interface for Indexing Related Media From Multiple Sources
US9258459B2 (en) * 2012-01-24 2016-02-09 Radical Switchcam Llc System and method for compiling and playing a multi-channel video
US20150318020A1 (en) * 2014-05-02 2015-11-05 FreshTake Media, Inc. Interactive real-time video editor and recorder
US8917355B1 (en) * 2013-08-29 2014-12-23 Google Inc. Video stitching system and method
CN105809630B (zh) * 2014-12-30 2019-03-12 展讯通信(天津)有限公司 一种图像噪声过滤方法及系统
US20160365118A1 (en) * 2015-06-11 2016-12-15 Eran Steinberg Video editing system with multi-stakeholder control

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2450898A1 (en) * 2010-11-05 2012-05-09 Research in Motion Limited Mixed video compilation
CN104012106A (zh) * 2011-12-23 2014-08-27 诺基亚公司 使表示不同视点的视频对准

Also Published As

Publication number Publication date
US10721545B2 (en) 2020-07-21
DE102017116177A1 (de) 2018-01-25
US20180027308A1 (en) 2018-01-25
CN106131669A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
CN106131669B (zh) 一种合并视频的方法及装置
CN106162293B (zh) 一种视频声音与图像同步的方法及装置
CN101005574A (zh) 视频虚拟人手语编辑系统
TW200639770A (en) Display device and display method
CN101764921A (zh) 3g-sdi高清数字视频帧同步系统
CN105704579A (zh) 媒体播放中实时自动翻译字幕的方法和系统
CN109379619A (zh) 音画同步方法及装置
US10685642B2 (en) Information processing method
CN109167890A (zh) 一种音画同步方法和装置及显示设备
CN105721796A (zh) 一种视频字幕自动生成装置和方法
CN204968035U (zh) 一种远程审讯系统
US9301002B2 (en) Method for transmitting plurality of asynchronous digital signals
CN105380679B (zh) 超声成像设备的控制方法及系统
CN107277295A (zh) 视频同步处理装置及方法
KR20150037372A (ko) 영상표시장치, 컨텐츠 동기화 서버 및 그 동작방법
CN105847990B (zh) 播放媒体文件的方法和设备
CN203193773U (zh) 一种多媒体全景录制系统
CN105760126A (zh) 一种多屏文件共享方法及系统
CN107370975A (zh) 多通道动态录制系统及其方法
US20100091188A1 (en) Synchronization of secondary decoded media streams with a primary media stream
CN102231853B (zh) 节目处理方法和移动终端
JP5552993B2 (ja) Ｍｘｆ処理装置
CN202583671U (zh) 一种带有摄像机的投影仪
CN103731715A (zh) 能自动调节信号同步的电视接收机
CN204697215U (zh) 视频采集设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant