CN110971914B - 一种在时间轴模式下动态节省视音频解码资源的方法 - Google Patents
一种在时间轴模式下动态节省视音频解码资源的方法 Download PDFInfo
- Publication number
- CN110971914B CN110971914B CN201911157694.9A CN201911157694A CN110971914B CN 110971914 B CN110971914 B CN 110971914B CN 201911157694 A CN201911157694 A CN 201911157694A CN 110971914 B CN110971914 B CN 110971914B
- Authority
- CN
- China
- Prior art keywords
- video
- audio
- track
- time axis
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明涉及视音频文件处理技术领域,具体涉及一种在时间轴模式下动态节省视音频解码资源的方法,通过将不同视音频文件先分别解码到独立的母时间轴上和对应的子时间轴下,并对每个视音频文件采样,并在每个采样的片段上进行标记,通过对比不同视音频文件采样的画面和视频片段判断视音频文件是否来自于同一个解码文件,如果相同则关闭其中一个,从而节省解码资源的占用空间;同时,采样的片段上的对比标记上具有序号信息,因此相同序号的下的对比标记对应的采样片段应该是同一时间播放出来的,如果不是,则记录下时间差,通过在后续播放中进行补偿使得后续的相同序号的对比标记出现时间一致,从而解决视音频解码播放过程中的音画不同步的现象。
Description
技术领域
本发明涉及领域,具体是一种在时间轴模式下动态节省视音频解码资源的方法。
背景技术
作为一种视音频的编辑方式,时间轴为用户提供了很直观的节目编辑和控制能力。在时间轴模式下,用户可以将任意媒体资源通过拖拽的方式添加到时间轴的任意轨道上,也可以随意在时间轴上编辑媒体的各种属性,如播放起始点,播放时长,转场效果,视频特效,工作指令等等。基于时间轴编辑视音频时,整个节目内核是工作在同步模式下的,简单来讲,就是每个媒体的解码都将参考同一时钟。
现有的时间轴模式下的视音频解码为多个同步轨道同时对视音频进行解码和播
放,也就是说,资源管理器分别为多个同步轨道上的多个视音频资源分配独立的空间,哪怕多个轨道上的节目资源来自于同一个解码文件,因此会造成资源空间浪费;并且,现有的时间轴模式下解码并播放视频时,容易出现声音与画面不同步的现象,十分影响视频的试听体验。
发明内容
有鉴于此,本发明的目的是提供一种在时间轴模式下动态节省视音频解码资源的方法,可以节省视音频解码资源对时间轴的占用空间;同时,可以解决视频在播放过程中声音和画面不同步的现象。
本发明的一种在时间轴模式下动态节省视音频解码资源的方法,包括步骤:
步骤一:创建多个独立的母时间轴,将多个视音频文件分别对应解码在多个所述母时间轴上;
步骤二:在每条所述母时间轴下面创建多个子时间轴,并将每个视音频文件对应的视频、音频和其他信息分别对应解码至多个所述子时间轴上,所述子时间轴根据解码的资源的类型分别为视频轨道、音频轨道和其他轨道;
步骤三:在所述子时间轴上对视音频文件的视频轨道和音频轨道进行采样,并将采样到的每一帧画面和音频片段打上具有序号信息的对比标记;
步骤四:对每个所述母时间轴下对应的所述子时间轴下面的所有的所述对比标记对应的画面和音频片段进行相似度对比,并设置相似度阈值,如果对比相似度大于所述相似度阈值,则判断为同一个视音频文件;
步骤五:关闭后一个所述母时间轴的视音频文件,并将后一个所述母时间轴与前一个所述母时间轴对应共用同一个视音频文件;
步骤六:播放时,将所述视频轨道和音频轨道上的第一个所述对比标记和最后一个所述对比标记进行对齐,并将中间的所述对比标记的序号信息进行对齐播放。
进一步,所述其他轨道包括包含字幕信息的字幕轨道和包含马赛克信息的马赛克轨道。
进一步,所述对齐播放的步骤为:
当所述音频轨道和视频轨道上序号信息一致的所述对比标记在时间轴上的播放顺序出现时差 时,记录下所述时差并在后续的播放将较快的一条轨道上以 的比例进行降速播放,或者将较慢的一条轨道以 的比例进行提速播放,降速或者提速的轨道直到到达下一个所述对比标记时,再次进行对比;
进一步,对所属音频轨道和视频轨道采样的采样频率范围为:0.1-1Hz。
进一步,所述音频轨道和视频轨道采样的第一帧画面和第一段音频片段位于视频和音频的开始,最后一帧画面和最后一段音频片段位于视频和音频的末尾。
本发明的有益效果是:本发明的一种在时间轴模式下动态节省视音频解码资源的方法,通过将不同视音频文件先分别解码到独立的母时间轴上,并将每个视音频文件的视频、音频和其他信息分别解码在所述母时间轴下的子时间轴下,将每个视音频文件的视频和音频轨道进行采样并在每个采样的画面和音频段上打上具有序号信息的对比标记,通过对比不同视音频文件采样的画面和视频片段判断视音频文件是否来自于同一个解码文件,如果相同则关闭其中一个,从而节省解码资源的占用空间;同时,视频轨道和音频轨道上的对比标记上具有序号信息,因此相同序号的下的对比标记对应的采样片段应该是同一时间播放出来的,如果不是同一时间,则记录下时间差,通过在后续播放中进行补偿使得后续的相同序号的对比标记出现时间一致,从而解决视音频解码播放过程中的声音和画面不一致的现象。
附图说明
下面结合附图和实施例对本发明作进一步描述:
图1为本发明的工作流程图。
具体实施方式
如图1所示:本实施例的一种在时间轴模式下动态节省视音频解码资源的方法,包括步骤:
步骤一:创建多个独立的母时间轴,将多个视音频文件分别对应解码在多个所述母时间轴上;
步骤二:在每条所述母时间轴下面创建多个子时间轴,并将每个视音频文件对应的视频、音频和其他信息分别对应解码至多个所述子时间轴上,所述子时间轴根据解码的资源的类型分别为视频轨道、音频轨道和其他轨道;
步骤三:在所述子时间轴上对视音频文件的视频轨道和音频轨道进行采样,并将采样到的每一帧画面和音频片段打上具有序号信息的对比标记,对比标记通过电脑直接编辑在视音频文件里;
步骤四:对每个所述母时间轴下对应的所述子时间轴下面的所有的所述对比标记对应的画面和音频片段进行相似度对比,并设置相似度阈值,如果对比相似度大于所述相似度阈值,则判断为同一个视音频文件,图像的相似度对比可以通过SIFT算法进行计算,由于为现有技术,本实施例中故不赘述,音频片段的对比可直接通过比较解码出来的PCM音频数据编码对应值进行简单对比,由于有大量的采样数据数量,因此如果所有的PCM音频数据编码对应值有很高的相似度,便可以将其视为相同;当两条母时间轴对应的视音频文件的相似度超过90%,则可以进入步骤五;
步骤五:关闭后一个所述母时间轴的视音频文件,并将后一个所述母时间轴与前一个所述母时间轴对应共用同一个视音频文件,以节约视音频资源解码占用的空间,需要说明的是,关闭解码资源之后仍然会存在两条独立的母时间轴,在两天独立的母时间轴下对该视音频进行编辑之后会保存在同一个视音频文件里面;
步骤六:播放时,将所述视频轨道和音频轨道上的第一个所述对比标记和最后一个所述对比标记进行对齐,并将中间的所述对比标记的序号信息进行对齐播放,从而解决视音频文件在播放过程中声音和画面不同步的现象。
通过将不同视音频文件先分别解码到独立的母时间轴上,并将每个视音频文件的视频、音频和其他信息分别解码在所述母时间轴下的子时间轴下,将每个视音频文件的视频和音频轨道进行采样并在每个采样的画面和音频段上打上具有序号信息的对比标记,通过对比不同视音频文件采样的画面和视频片段判断视音频文件是否来自于同一个解码文件,如果相同则关闭其中一个,从而节省解码资源的占用空间;同时,视频轨道和音频轨道上的对比标记上具有序号信息,因此相同序号的下的对比标记对应的采样片段应该是同一时间播放出来的,如果不是同一时间,则记录下时间差,通过在后续播放中进行补偿使得后续的相同序号的对比标记出现时间一致,从而解决视音频解码播放过程中的声音和画面不一致的现象。
本实施例中,所述其他轨道包括包含字幕信息的字幕轨道和包含马赛克信息的马赛克轨道,在视频编辑中还可以包括其他特定信息的轨道。
本实施例中,所述对齐播放的步骤为:
当所述音频轨道和视频轨道上序号信息一致的所述对比标记在时间轴上的播放顺序出现时差 时,记录下所述时差 并在后续的播放将较快的一条轨道上以 的比例进行降速播放,或者将较慢的一条轨道以的比例进行提速播放,降速或者提速的轨道直到到达下一个所述对比标记时,再次进行对比;
本实施例中,对所属音频轨道和视频轨道采样的采样频率范围为:0.1-1Hz,也就是说,每1-10秒采样一帧画面和PCM音频数据段,如果采样率过高会增加运算压力,由于在解决音画不同步时会不断进行补偿修正,因此没有必要太过频繁地进行采样,采用0.1-1Hz的采样率会大大降低处理器的运算压力。
本实施例中,所述音频轨道和视频轨道采样的第一帧画面和第一段音频片段位于视频和音频的开始,最后一帧画面和最后一段音频片段位于视频和音频的末尾,避免在时间轴编辑模式下,视音频文件的开始和时间轴的开始不一致时,采样会受到影响。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种在时间轴模式下动态节省视音频解码资源的方法,其特征在于,包括步骤:
步骤一:创建多个独立的母时间轴,将多个视音频文件分别对应解码在多个所述母时间轴上;
步骤二:在每条所述母时间轴下面创建多个子时间轴,并将每个视音频文件对应的视频、音频和其他信息分别对应解码至多个所述子时间轴上,所述子时间轴根据解码的资源的类型分别为视频轨道、音频轨道和其他轨道;
步骤三:在所述子时间轴上对视音频文件的视频轨道和音频轨道进行采样,并将采样到的每一帧画面和音频片段打上具有序号信息的对比标记;
步骤四:对每个所述母时间轴下对应的所述子时间轴下面的所有的所述对比标记对应的画面和音频片段进行相似度对比,并设置相似度阈值,如果对比相似度大于所述相似度阈值,则判断为同一个视音频文件;
步骤五:关闭后一个所述母时间轴的视音频文件,并将后一个所述母时间轴与前一个所述母时间轴对应共用同一个视音频文件;
步骤六:播放时,将所述视频轨道和音频轨道上的第一个所述对比标记和最后一个所述对比标记进行对齐,并将中间的所述对比标记的序号信息进行对齐播放。
2.根据权利要求1所述的一种在时间轴模式下动态节省视音频解码资源的方法,其特征在于,所述其他轨道包括包含字幕信息的字幕轨道和包含马赛克信息的马赛克轨道。
4.根据权利要求1所述的一种在时间轴模式下动态节省视音频解码资源的方法,其特征在于,对所属音频轨道和视频轨道采样的采样频率范围为:0.1-1Hz。
5.根据权利要求1所述的一种在时间轴模式下动态节省视音频解码资源的方法,其特征在于,所述音频轨道和视频轨道采样的第一帧画面和第一段音频片段位于视频和音频的开始,最后一帧画面和最后一段音频片段位于视频和音频的末尾。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911157694.9A CN110971914B (zh) | 2019-11-22 | 2019-11-22 | 一种在时间轴模式下动态节省视音频解码资源的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911157694.9A CN110971914B (zh) | 2019-11-22 | 2019-11-22 | 一种在时间轴模式下动态节省视音频解码资源的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110971914A CN110971914A (zh) | 2020-04-07 |
CN110971914B true CN110971914B (zh) | 2022-03-08 |
Family
ID=70031281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911157694.9A Active CN110971914B (zh) | 2019-11-22 | 2019-11-22 | 一种在时间轴模式下动态节省视音频解码资源的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110971914B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101753946A (zh) * | 2009-12-22 | 2010-06-23 | 北京中星微电子有限公司 | 一种视频文件和音频文件的合并方法及系统 |
US8332767B1 (en) * | 2011-11-07 | 2012-12-11 | Jeffrey Beil | System and method for dynamic coordination of timelines having common inspectable elements |
CN106131669A (zh) * | 2016-07-25 | 2016-11-16 | 联想(北京)有限公司 | 一种合并视频的方法及装置 |
CN107231574A (zh) * | 2017-07-05 | 2017-10-03 | 北京辰安信息科技有限公司 | 视频播放方法和视频播放装置 |
CN108846106A (zh) * | 2018-06-21 | 2018-11-20 | 深圳大普微电子科技有限公司 | 一种判断多个音频中是否存在相同音频的方法和装置 |
CN109074827A (zh) * | 2016-05-04 | 2018-12-21 | 佳能欧洲股份有限公司 | 用于从多个视频片段生成复合视频流的方法和设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7623755B2 (en) * | 2006-08-17 | 2009-11-24 | Adobe Systems Incorporated | Techniques for positioning audio and video clips |
-
2019
- 2019-11-22 CN CN201911157694.9A patent/CN110971914B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101753946A (zh) * | 2009-12-22 | 2010-06-23 | 北京中星微电子有限公司 | 一种视频文件和音频文件的合并方法及系统 |
US8332767B1 (en) * | 2011-11-07 | 2012-12-11 | Jeffrey Beil | System and method for dynamic coordination of timelines having common inspectable elements |
CN109074827A (zh) * | 2016-05-04 | 2018-12-21 | 佳能欧洲股份有限公司 | 用于从多个视频片段生成复合视频流的方法和设备 |
CN106131669A (zh) * | 2016-07-25 | 2016-11-16 | 联想(北京)有限公司 | 一种合并视频的方法及装置 |
CN107231574A (zh) * | 2017-07-05 | 2017-10-03 | 北京辰安信息科技有限公司 | 视频播放方法和视频播放装置 |
CN108846106A (zh) * | 2018-06-21 | 2018-11-20 | 深圳大普微电子科技有限公司 | 一种判断多个音频中是否存在相同音频的方法和装置 |
Non-Patent Citations (1)
Title |
---|
数字视频编辑与处理;邵杰,邵静岚;《电子世界》;20160415;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110971914A (zh) | 2020-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2411979B1 (en) | Apparatus and method for editing | |
EP2136370B1 (en) | Systems and methods for identifying scenes in a video to be edited and for performing playback | |
JP4125140B2 (ja) | 情報処理装置、情報処理方法ならびにプログラム | |
EP1944770A2 (en) | System and method for video production | |
RU2367037C2 (ru) | Устройство записи данных, способ записи данных, устройство обработки данных, способ обработки данных, носитель записи программы, носитель записи данных | |
US20090150781A1 (en) | Video Editing Matched to Musical Beats | |
US20060236219A1 (en) | Media timeline processing infrastructure | |
US20060085732A1 (en) | Method and system for editing and using visual bookmarks | |
US7149365B2 (en) | Image information summary apparatus, image information summary method and image information summary processing program | |
JP2008219920A (ja) | テレビジョン・ニュース用オーディオビジュアル作業および対応するテキストのための編集システム | |
CN106658219A (zh) | 一种音效设置方法及系统 | |
CN112584208B (zh) | 一种基于人工智能的视频浏览编辑方法和系统 | |
US20160313970A1 (en) | Gapless media generation | |
CN106055643B (zh) | Mxf文件写入中断的续写方法 | |
US9251256B2 (en) | System and method for maintaining cue point data structure independent of recorded time-varying content | |
CN110971914B (zh) | 一种在时间轴模式下动态节省视音频解码资源的方法 | |
CN104822087B (zh) | 一种视频段的处理方法及装置 | |
EP1434436A1 (en) | Reproducer | |
US20030030661A1 (en) | Nonlinear editing method, nonlinear editing apparatus, program, and recording medium storing the program | |
WO2018196811A1 (zh) | 确定音视频中插播时段的方法和装置 | |
JP4401740B2 (ja) | 編集装置 | |
TW200603079A (en) | Data processor and data processing method, program and program recording medium, and data recording medium | |
CN114286179B (zh) | 视频编辑方法、设备和计算机可读存储介质 | |
US20220262407A1 (en) | Audio/video outroduction by reusing content from introduction and other parts | |
JP2006338779A (ja) | コンテンツ分割装置、コンテンツ復元装置、及びコンテンツ分割方法、コンテンツ復元方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 100089 1408, Building 29, yard 9, anningzhuang West Road, Haidian District, Beijing Applicant after: Beijing kaishida Technology Co.,Ltd. Address before: 100089 1408, Building 29, yard 9, anningzhuang West Road, Haidian District, Beijing Applicant before: BEIJING KYSTAR TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |