CN110971914B - 一种在时间轴模式下动态节省视音频解码资源的方法 - Google Patents

一种在时间轴模式下动态节省视音频解码资源的方法 Download PDF

Info

Publication number
CN110971914B
CN110971914B CN201911157694.9A CN201911157694A CN110971914B CN 110971914 B CN110971914 B CN 110971914B CN 201911157694 A CN201911157694 A CN 201911157694A CN 110971914 B CN110971914 B CN 110971914B
Authority
CN
China
Prior art keywords
video
audio
track
time axis
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911157694.9A
Other languages
English (en)
Other versions
CN110971914A (zh
Inventor
王维
张万忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kaishida Technology Co ltd
Original Assignee
Beijing Kaishida Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kaishida Technology Co ltd filed Critical Beijing Kaishida Technology Co ltd
Priority to CN201911157694.9A priority Critical patent/CN110971914B/zh
Publication of CN110971914A publication Critical patent/CN110971914A/zh
Application granted granted Critical
Publication of CN110971914B publication Critical patent/CN110971914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及视音频文件处理技术领域，具体涉及一种在时间轴模式下动态节省视音频解码资源的方法，通过将不同视音频文件先分别解码到独立的母时间轴上和对应的子时间轴下，并对每个视音频文件采样，并在每个采样的片段上进行标记，通过对比不同视音频文件采样的画面和视频片段判断视音频文件是否来自于同一个解码文件，如果相同则关闭其中一个，从而节省解码资源的占用空间；同时，采样的片段上的对比标记上具有序号信息，因此相同序号的下的对比标记对应的采样片段应该是同一时间播放出来的，如果不是，则记录下时间差，通过在后续播放中进行补偿使得后续的相同序号的对比标记出现时间一致，从而解决视音频解码播放过程中的音画不同步的现象。

Description

一种在时间轴模式下动态节省视音频解码资源的方法
技术领域
本发明涉及领域，具体是一种在时间轴模式下动态节省视音频解码资源的方法。
背景技术
作为一种视音频的编辑方式，时间轴为用户提供了很直观的节目编辑和控制能力。在时间轴模式下，用户可以将任意媒体资源通过拖拽的方式添加到时间轴的任意轨道上，也可以随意在时间轴上编辑媒体的各种属性，如播放起始点，播放时长，转场效果，视频特效，工作指令等等。基于时间轴编辑视音频时，整个节目内核是工作在同步模式下的，简单来讲，就是每个媒体的解码都将参考同一时钟。
现有的时间轴模式下的视音频解码为多个同步轨道同时对视音频进行解码和播
放，也就是说，资源管理器分别为多个同步轨道上的多个视音频资源分配独立的空间，哪怕多个轨道上的节目资源来自于同一个解码文件，因此会造成资源空间浪费；并且，现有的时间轴模式下解码并播放视频时，容易出现声音与画面不同步的现象，十分影响视频的试听体验。
发明内容
有鉴于此，本发明的目的是提供一种在时间轴模式下动态节省视音频解码资源的方法，可以节省视音频解码资源对时间轴的占用空间；同时，可以解决视频在播放过程中声音和画面不同步的现象。
本发明的一种在时间轴模式下动态节省视音频解码资源的方法，包括步骤：
步骤一：创建多个独立的母时间轴，将多个视音频文件分别对应解码在多个所述母时间轴上；
步骤二：在每条所述母时间轴下面创建多个子时间轴，并将每个视音频文件对应的视频、音频和其他信息分别对应解码至多个所述子时间轴上，所述子时间轴根据解码的资源的类型分别为视频轨道、音频轨道和其他轨道；
步骤三：在所述子时间轴上对视音频文件的视频轨道和音频轨道进行采样，并将采样到的每一帧画面和音频片段打上具有序号信息的对比标记；
步骤四：对每个所述母时间轴下对应的所述子时间轴下面的所有的所述对比标记对应的画面和音频片段进行相似度对比，并设置相似度阈值，如果对比相似度大于所述相似度阈值，则判断为同一个视音频文件；
步骤五：关闭后一个所述母时间轴的视音频文件，并将后一个所述母时间轴与前一个所述母时间轴对应共用同一个视音频文件；
步骤六：播放时，将所述视频轨道和音频轨道上的第一个所述对比标记和最后一个所述对比标记进行对齐，并将中间的所述对比标记的序号信息进行对齐播放。
进一步，所述其他轨道包括包含字幕信息的字幕轨道和包含马赛克信息的马赛克轨道。
进一步，所述对齐播放的步骤为：
根据采样率
Figure DEST_PATH_IMAGE001
得到采样的一帧画面和音频片段的间隔时间
Figure 573747DEST_PATH_IMAGE002
；
当所述音频轨道和视频轨道上序号信息一致的所述对比标记在时间轴上的播放顺序出现时差
Figure DEST_PATH_IMAGE003
时，记录下所述时差
Figure 707925DEST_PATH_IMAGE003
并在后续的播放将较快的一条轨道上以
Figure 836549DEST_PATH_IMAGE004
的比例进行降速播放，或者将较慢的一条轨道以
Figure DEST_PATH_IMAGE005
的比例进行提速播放，降速或者提速的轨道直到到达下一个所述对比标记时，再次进行对比；
重复上述步骤，直到
Figure 30770DEST_PATH_IMAGE003
＝0，所述音频轨道和视频轨道上的所述对比标记的序号信息对齐。
进一步，对所属音频轨道和视频轨道采样的采样频率范围为：0.1-1Hz。
进一步，所述音频轨道和视频轨道采样的第一帧画面和第一段音频片段位于视频和音频的开始，最后一帧画面和最后一段音频片段位于视频和音频的末尾。
本发明的有益效果是：本发明的一种在时间轴模式下动态节省视音频解码资源的方法，通过将不同视音频文件先分别解码到独立的母时间轴上，并将每个视音频文件的视频、音频和其他信息分别解码在所述母时间轴下的子时间轴下，将每个视音频文件的视频和音频轨道进行采样并在每个采样的画面和音频段上打上具有序号信息的对比标记，通过对比不同视音频文件采样的画面和视频片段判断视音频文件是否来自于同一个解码文件，如果相同则关闭其中一个，从而节省解码资源的占用空间；同时，视频轨道和音频轨道上的对比标记上具有序号信息，因此相同序号的下的对比标记对应的采样片段应该是同一时间播放出来的，如果不是同一时间，则记录下时间差，通过在后续播放中进行补偿使得后续的相同序号的对比标记出现时间一致，从而解决视音频解码播放过程中的声音和画面不一致的现象。
附图说明
下面结合附图和实施例对本发明作进一步描述：
图1为本发明的工作流程图。
具体实施方式
如图1所示：本实施例的一种在时间轴模式下动态节省视音频解码资源的方法，包括步骤：
步骤一：创建多个独立的母时间轴，将多个视音频文件分别对应解码在多个所述母时间轴上；
步骤二：在每条所述母时间轴下面创建多个子时间轴，并将每个视音频文件对应的视频、音频和其他信息分别对应解码至多个所述子时间轴上，所述子时间轴根据解码的资源的类型分别为视频轨道、音频轨道和其他轨道；
步骤三：在所述子时间轴上对视音频文件的视频轨道和音频轨道进行采样，并将采样到的每一帧画面和音频片段打上具有序号信息的对比标记，对比标记通过电脑直接编辑在视音频文件里；
步骤四：对每个所述母时间轴下对应的所述子时间轴下面的所有的所述对比标记对应的画面和音频片段进行相似度对比，并设置相似度阈值，如果对比相似度大于所述相似度阈值，则判断为同一个视音频文件，图像的相似度对比可以通过SIFT算法进行计算，由于为现有技术，本实施例中故不赘述，音频片段的对比可直接通过比较解码出来的PCM音频数据编码对应值进行简单对比，由于有大量的采样数据数量，因此如果所有的PCM音频数据编码对应值有很高的相似度，便可以将其视为相同；当两条母时间轴对应的视音频文件的相似度超过90％，则可以进入步骤五；
步骤五：关闭后一个所述母时间轴的视音频文件，并将后一个所述母时间轴与前一个所述母时间轴对应共用同一个视音频文件，以节约视音频资源解码占用的空间，需要说明的是，关闭解码资源之后仍然会存在两条独立的母时间轴，在两天独立的母时间轴下对该视音频进行编辑之后会保存在同一个视音频文件里面；
步骤六：播放时，将所述视频轨道和音频轨道上的第一个所述对比标记和最后一个所述对比标记进行对齐，并将中间的所述对比标记的序号信息进行对齐播放，从而解决视音频文件在播放过程中声音和画面不同步的现象。
通过将不同视音频文件先分别解码到独立的母时间轴上，并将每个视音频文件的视频、音频和其他信息分别解码在所述母时间轴下的子时间轴下，将每个视音频文件的视频和音频轨道进行采样并在每个采样的画面和音频段上打上具有序号信息的对比标记，通过对比不同视音频文件采样的画面和视频片段判断视音频文件是否来自于同一个解码文件，如果相同则关闭其中一个，从而节省解码资源的占用空间；同时，视频轨道和音频轨道上的对比标记上具有序号信息，因此相同序号的下的对比标记对应的采样片段应该是同一时间播放出来的，如果不是同一时间，则记录下时间差，通过在后续播放中进行补偿使得后续的相同序号的对比标记出现时间一致，从而解决视音频解码播放过程中的声音和画面不一致的现象。
本实施例中，所述其他轨道包括包含字幕信息的字幕轨道和包含马赛克信息的马赛克轨道，在视频编辑中还可以包括其他特定信息的轨道。
本实施例中，所述对齐播放的步骤为：
根据采样率
Figure 697375DEST_PATH_IMAGE001
得到采样的一帧画面和音频片段的间隔时间
Figure 467534DEST_PATH_IMAGE002
当所述音频轨道和视频轨道上序号信息一致的所述对比标记在时间轴上的播放顺序出现时差
Figure 824566DEST_PATH_IMAGE003
时，记录下所述时差
Figure 533896DEST_PATH_IMAGE003
并在后续的播放将较快的一条轨道上以
Figure 172950DEST_PATH_IMAGE004
的比例进行降速播放，或者将较慢的一条轨道以
Figure 993139DEST_PATH_IMAGE005
的比例进行提速播放，降速或者提速的轨道直到到达下一个所述对比标记时，再次进行对比；
重复上述步骤，直到
Figure 266994DEST_PATH_IMAGE003
＝0，所述音频轨道和视频轨道上的所述对比标记的序号信息对齐。
本实施例中，对所属音频轨道和视频轨道采样的采样频率范围为：0.1-1Hz，也就是说，每1-10秒采样一帧画面和PCM音频数据段，如果采样率过高会增加运算压力，由于在解决音画不同步时会不断进行补偿修正，因此没有必要太过频繁地进行采样，采用0.1-1Hz的采样率会大大降低处理器的运算压力。
本实施例中，所述音频轨道和视频轨道采样的第一帧画面和第一段音频片段位于视频和音频的开始，最后一帧画面和最后一段音频片段位于视频和音频的末尾，避免在时间轴编辑模式下，视音频文件的开始和时间轴的开始不一致时，采样会受到影响。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种在时间轴模式下动态节省视音频解码资源的方法，其特征在于,包括步骤：
步骤一：创建多个独立的母时间轴，将多个视音频文件分别对应解码在多个所述母时间轴上；
步骤二：在每条所述母时间轴下面创建多个子时间轴，并将每个视音频文件对应的视频、音频和其他信息分别对应解码至多个所述子时间轴上，所述子时间轴根据解码的资源的类型分别为视频轨道、音频轨道和其他轨道；
步骤三：在所述子时间轴上对视音频文件的视频轨道和音频轨道进行采样，并将采样到的每一帧画面和音频片段打上具有序号信息的对比标记；
步骤四：对每个所述母时间轴下对应的所述子时间轴下面的所有的所述对比标记对应的画面和音频片段进行相似度对比，并设置相似度阈值，如果对比相似度大于所述相似度阈值，则判断为同一个视音频文件；
步骤五：关闭后一个所述母时间轴的视音频文件，并将后一个所述母时间轴与前一个所述母时间轴对应共用同一个视音频文件；
步骤六：播放时，将所述视频轨道和音频轨道上的第一个所述对比标记和最后一个所述对比标记进行对齐，并将中间的所述对比标记的序号信息进行对齐播放。
2.根据权利要求1所述的一种在时间轴模式下动态节省视音频解码资源的方法，其特征在于，所述其他轨道包括包含字幕信息的字幕轨道和包含马赛克信息的马赛克轨道。
3.根据权利要求1所述的一种在时间轴模式下动态节省视音频解码资源的方法，其特征在于，所述对齐播放的步骤为:
根据采样率
Figure DEST_PATH_IMAGE002
得到采样的一帧画面和音频片段的间隔时间
Figure DEST_PATH_IMAGE004
；
当所述音频轨道和视频轨道上序号信息一致的所述对比标记在时间轴上的播放顺序出现时差
Figure DEST_PATH_IMAGE006
时，记录下所述时差
Figure 754070DEST_PATH_IMAGE006
并在后续的播放将较快的一条轨道上以
Figure DEST_PATH_IMAGE008
的比例进行降速播放，或者将较慢的一条轨道以
Figure DEST_PATH_IMAGE010
的比例进行提速播放，降速或者提速的轨道直到到达下一个所述对比标记时，再次进行对比；
重复上述步骤，直到
Figure 766151DEST_PATH_IMAGE006
＝0，所述音频轨道和视频轨道上的所述对比标记的序号信息对齐。
4.根据权利要求1所述的一种在时间轴模式下动态节省视音频解码资源的方法，其特征在于，对所属音频轨道和视频轨道采样的采样频率范围为：0.1-1Hz。
5.根据权利要求1所述的一种在时间轴模式下动态节省视音频解码资源的方法，其特征在于，所述音频轨道和视频轨道采样的第一帧画面和第一段音频片段位于视频和音频的开始，最后一帧画面和最后一段音频片段位于视频和音频的末尾。
CN201911157694.9A 2019-11-22 2019-11-22 一种在时间轴模式下动态节省视音频解码资源的方法 Active CN110971914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911157694.9A CN110971914B (zh) 2019-11-22 2019-11-22 一种在时间轴模式下动态节省视音频解码资源的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911157694.9A CN110971914B (zh) 2019-11-22 2019-11-22 一种在时间轴模式下动态节省视音频解码资源的方法

Publications (2)

Publication Number Publication Date
CN110971914A CN110971914A (zh) 2020-04-07
CN110971914B true CN110971914B (zh) 2022-03-08

Family

ID=70031281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911157694.9A Active CN110971914B (zh) 2019-11-22 2019-11-22 一种在时间轴模式下动态节省视音频解码资源的方法

Country Status (1)

Country Link
CN (1) CN110971914B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753946A (zh) * 2009-12-22 2010-06-23 北京中星微电子有限公司 一种视频文件和音频文件的合并方法及系统
US8332767B1 (en) * 2011-11-07 2012-12-11 Jeffrey Beil System and method for dynamic coordination of timelines having common inspectable elements
CN106131669A (zh) * 2016-07-25 2016-11-16 联想(北京)有限公司 一种合并视频的方法及装置
CN107231574A (zh) * 2017-07-05 2017-10-03 北京辰安信息科技有限公司 视频播放方法和视频播放装置
CN108846106A (zh) * 2018-06-21 2018-11-20 深圳大普微电子科技有限公司 一种判断多个音频中是否存在相同音频的方法和装置
CN109074827A (zh) * 2016-05-04 2018-12-21 佳能欧洲股份有限公司 用于从多个视频片段生成复合视频流的方法和设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623755B2 (en) * 2006-08-17 2009-11-24 Adobe Systems Incorporated Techniques for positioning audio and video clips

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753946A (zh) * 2009-12-22 2010-06-23 北京中星微电子有限公司 一种视频文件和音频文件的合并方法及系统
US8332767B1 (en) * 2011-11-07 2012-12-11 Jeffrey Beil System and method for dynamic coordination of timelines having common inspectable elements
CN109074827A (zh) * 2016-05-04 2018-12-21 佳能欧洲股份有限公司 用于从多个视频片段生成复合视频流的方法和设备
CN106131669A (zh) * 2016-07-25 2016-11-16 联想(北京)有限公司 一种合并视频的方法及装置
CN107231574A (zh) * 2017-07-05 2017-10-03 北京辰安信息科技有限公司 视频播放方法和视频播放装置
CN108846106A (zh) * 2018-06-21 2018-11-20 深圳大普微电子科技有限公司 一种判断多个音频中是否存在相同音频的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
数字视频编辑与处理;邵杰，邵静岚;《电子世界》;20160415;全文 *

Also Published As

Publication number Publication date
CN110971914A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
EP1247396B1 (en) System and method for video production
EP2411979B1 (en) Apparatus and method for editing
US7793208B2 (en) Video editing matched to musical beats
EP2136370B1 (en) Systems and methods for identifying scenes in a video to be edited and for performing playback
RU2367037C2 (ru) Устройство записи данных, способ записи данных, устройство обработки данных, способ обработки данных, носитель записи программы, носитель записи данных
US20080307309A1 (en) Three dimensional viewer for video
US20060236219A1 (en) Media timeline processing infrastructure
JP2004228779A (ja) 情報処理装置
JP2003179849A (ja) ビデオコラージュの作成方法および装置、ビデオコラージュ、ビデオコラージュ・ユーザ・インタフェース、ビデオコラージュ作成プログラム
US7149365B2 (en) Image information summary apparatus, image information summary method and image information summary processing program
JP2008219920A (ja) テレビジョン・ニュース用オーディオビジュアル作業および対応するテキストのための編集システム
CN106658219A (zh) 一种音效设置方法及系统
CN112584208B (zh) 一种基于人工智能的视频浏览编辑方法和系统
WO2016171900A1 (en) Gapless media generation
CN106055643B (zh) Mxf文件写入中断的续写方法
US9251256B2 (en) System and method for maintaining cue point data structure independent of recorded time-varying content
CN110971914B (zh) 一种在时间轴模式下动态节省视音频解码资源的方法
CN104822087B (zh) 一种视频段的处理方法及装置
EP1434436A1 (en) Reproducer
US20030030661A1 (en) Nonlinear editing method, nonlinear editing apparatus, program, and recording medium storing the program
JP4401740B2 (ja) 編集装置
KR20190100218A (ko) 오디오 또는 비디오에서 인터컷 시간 버킷을 결정하는 방법 및 디바이스
TW200603079A (en) Data processor and data processing method, program and program recording medium, and data recording medium
US20220262407A1 (en) Audio/video outroduction by reusing content from introduction and other parts
JP2006338779A (ja) コンテンツ分割装置、コンテンツ復元装置、及びコンテンツ分割方法、コンテンツ復元方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100089 1408, Building 29, yard 9, anningzhuang West Road, Haidian District, Beijing

Applicant after: Beijing kaishida Technology Co.,Ltd.

Address before: 100089 1408, Building 29, yard 9, anningzhuang West Road, Haidian District, Beijing

Applicant before: BEIJING KYSTAR TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant