CN110087116A - 多码率直播视频流剪辑方法、装置、终端及存储介质 - Google Patents

多码率直播视频流剪辑方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110087116A
CN110087116A CN201910194049.8A CN201910194049A CN110087116A CN 110087116 A CN110087116 A CN 110087116A CN 201910194049 A CN201910194049 A CN 201910194049A CN 110087116 A CN110087116 A CN 110087116A
Authority
CN
China
Prior art keywords
video stream
frame
frames
live video
synchronous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910194049.8A
Other languages
English (en)
Other versions
CN110087116B (zh
Inventor
杜艳青
周志尹
汪丹桂
王思杰
王玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
MIGU Video Technology Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
MIGU Video Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, MIGU Video Technology Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN201910194049.8A priority Critical patent/CN110087116B/zh
Publication of CN110087116A publication Critical patent/CN110087116A/zh
Application granted granted Critical
Publication of CN110087116B publication Critical patent/CN110087116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明实施例涉及信息处理技术领域，公开了一种多码率直播视频流剪辑方法、装置、终端及存储介质。本发明选择一直播视频流作为基准视频流，并在基准视频流中确定同步帧；在多码率直播视频流中除基准视频流外的其他直播视频流中，分别获取与同步帧对应的帧；根据获取的与同步帧对应的帧与同步帧的时间差，将其他直播视频流分别与基准视频流进行时间轴同步；根据基准视频流的剪辑参数对各码率直播视频流进行剪辑。从而实现了多码率视频的同步剪辑，提高视频剪辑的效率；另外，对剪辑得到的视频无需进行二次转码处理即可得到不同码率的剪辑短视频，避免了转码过程中计算错误，从而影响剪辑后的短视频的观看质量，提升了用户的观看体验。

Description

多码率直播视频流剪辑方法、装置、终端及存储介质
技术领域
本发明实施例涉及信息处理技术领域，特别涉及一种多码率直播视频流剪辑方法、装置、终端及存储介质。
背景技术
视频直播是利用互联网及流媒体技术进行直播，通过真实、生动的传播，营造出强烈的现场感，是一种新兴的网络社交方式。主要分为实时直播游戏、电影或电视剧，介绍产品知识及销售产品等。由于直播视频时间长，观众的注意力很容易发散，从而难以达到视频的宣传效果。为了便于观众准确且直接的抓到视频的重点，这时就需要对直播视频进行剪辑，将直播视频中的精彩部分快速分享给观众，以提升用户的观看体验。
发明人发现相关技术中至少存在如下问题：在针对多码率直播视频数据的剪辑过程中，通常将其中一个码率的视频剪辑，随后通过对生成的短视频二次转码，获得多个不同码率的剪辑后的短视频。在剪辑和转码的过程中需要额外的运算时间，无法达到直播短视频快速及时的分享给观众的目的，另外，在二次转码过程容易发生错误，从而影响输出的短视频的观看质量，影响用户的观看体验。
发明内容
本发明实施方式的目的在于提供一种多码率直播视频流剪辑方法、装置、终端及存储介质，在视频直播过程中，对多码率直播视频流同步剪辑，减少剪辑所需时间，提高视频剪辑的效率及准确性，从而提升用户的观看体验。
为解决上述技术问题，本发明的实施方式提供了一种多码率直播视频流剪辑方法，包括：选择一直播视频流作为基准视频流，并在基准视频流中确定同步帧；在多码率直播视频流中除基准视频流外的其他直播视频流中，分别获取与同步帧对应的帧；根据获取的与同步帧对应的帧与同步帧的时间差，将其他直播视频流分别与基准视频流进行时间轴同步；根据基准视频流的剪辑参数对各码率直播视频流进行剪辑。
本发明的实施方式还提供了一种多码率直播视频流剪辑装置，包括：选择模块，确定模块，获取模块，同步模块，剪辑模块；选择模块用于选择一直播视频流作为基准视频流；确定模块用于在选择模块选择的基准视频流中确定同步帧；获取模块用于在多码率直播视频流中除基准视频流外的其他直播视频流中，分别获取与同步帧对应的帧；同步模块用于根据获取模块获取的与同步帧对应的帧与同步帧的时间差，将其他直播视频流分别与基准视频流进行时间轴同步；剪辑模块用于根据基准视频流的剪辑参数对各码率直播视频流进行剪辑。
本发明的实施方式还提供了一种终端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述视频剪辑方法。
本发明的实施方式还提供了一种存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述多码率直播视频流剪辑方法。
本发明实施方式相对于现有技术而言，选择一直播视频流作为基准视频流，并在基准视频流中确定同步帧，在除基准视频流外其他直播视频流中获取与同步帧对应的帧，并根据对应的帧与同步帧的时间差，将其他直播视频流分别与基准视频流进行时间轴上的同步，根据对基准视频流的剪辑参数对各码率直播视频流进行剪辑，由于各码率直播视频流已经在时间轴上同步，也就是各个直播视频流在播放时间上保持一致，根据基准视频流的剪辑时间即可同时得到多个不同码率直播视频流剪辑后的短视频，所有的短视频的内容相同，这样的剪辑操作简单便于实现，同时得到多个短视频，无需对不同直播视频流单独剪辑可以节省剪辑的时间，提高了剪辑效率，满足直播短视频的时效性；另外，对剪辑得到的视频无需进行二次转码处理，即可得到不同码率的剪辑短视频，避免了转码过程中错误的发生，从而避免了影响剪辑后的短视频的观看质量，提高了用户的观看体验。
另外，分别获取与同步帧对应的帧，具体包括：获取同步帧的特征码及除基准视频流外的其他直播视频流中各帧的特征码；计算各帧的特征码与同步帧的特征码的匹配度；若匹配度大于预设阈值，则帧为与同步帧对应的帧。由于特征码是视频流中各帧特有的标识，不同帧具有不同的特征码，而不同码率的直播视频流中内容相同的部分特征码大致相同，获取匹配度大于预设阈值的帧作为同步帧对应的帧，这样做可以迅速判断出在各码率直播视频流中与同步帧相对应的帧，提高获取效率。由于所获取的同步帧对应的帧的特征码匹配度大于预设阈值，提高了获取同步帧对应的帧的准确性。
另外，在基准视频流中确定同步帧，具体包括：在基准视频流中随机选取多个同步帧；计算各帧的特征码与同步帧的特征码的匹配度，具体包括：在随机选取的多个同步帧中选取任一同步帧；计算各帧的特征码与选取的任一同步帧的特征码的匹配度；若在预设时间内未获取选取的任一同步帧对应的帧，则在剩余的随机选取的多个同步帧中重新选取任一同步帧，直到获取重新选取的任一同步帧对应的帧。这样做可以在同步帧选取不准确的情况下进行校正，保证同步帧选取的准确性。
另外，在将其他直播视频流分别与基准视频流进行时间轴同步之后，还包括：计算同步视频相位误差；若同步视频相位误差大于预设门限，则增大更新频率；若同步视频相位误差小于或等于预设门限，则减小更新频率。这样做可以避免实时进行同步操作，减少对各码率直播视频流的同步时间轴的操作，减少了设备的计算，提高了视频剪辑的效率。
另外，选择一直播视频流作为基准视频流，具体包括：选择码率最高的直播视频流作为基准视频流。码率越高，每秒编出的数据量就越大，所以在码率最高的直播视频流中挑选同步帧更容易准确的在其他码率的直播视频流中获得与其相对应的帧，便于各码率直播视频流在时间轴上实现同步。
另外，在获取同步帧的特征码及除基准视频流外的其他直播视频流中各帧的特征码之前，还包括：实时连续提取各码率直播视频流中的各帧的特征码；获取同步帧的特征码及除基准视频流外的其他直播视频流中各帧的特征码，具体包括：从提取的特征码中获取同步帧的特征码及各码率各帧的特征码。在视频实时播放的同时提取各码率直播视频流中各帧的特征码，在使用特征码匹配同步帧时直接获取，节省了提取特征码的时间，提高了同步各码率时间轴的效率，从而更快速的得到剪辑后的短视频。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式中的多码率直播视频流剪辑方法流程图；
图2是根据本发明第二实施方式中的多码率直播视频流剪辑方法流程图；
图3是根据本发明第三实施方式中的多码率直播视频流剪辑方法流程图；
图4是根据本发明第四实施方式中的多码率直播视频流剪辑装置结构示意图；
图5是根据本发明第五实施方式中的多码率直播视频流剪辑装置结构示意图；
图6是根据本发明第六实施方式中的终端结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种多码率直播视频流剪辑方法，包括：选择一直播视频流作为基准视频流，并在基准视频流中确定同步帧；在多码率直播视频流中除基准视频流外的其他直播视频流中，分别获取与同步帧对应的帧；根据获取的与同步帧对应的帧与同步帧的时间差，将其他直播视频流分别与基准视频流进行时间轴同步；根据基准视频流的剪辑参数对各码率直播视频流进行剪辑。这样做实现了多码率视频的同步剪辑，减少了剪辑所需时间，提高视频剪辑的效率；另外，对剪辑得到的视频无需进行二次转码处理，即可得到不同码率的剪辑短视频，避免了转码过程中计算错误，从而避免了影响剪辑后的短视频的观看质量，提升用户的观看体验。下面对本实施方式的视频剪辑方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。具体流程如图1所示。
步骤101，选择一直播视频流作为基准视频流。具体地说，为了满足不同用户对视频清晰度及流畅度的需求，在直播视频中通常设置多个码率的直播视频流，视频中的码率(比特率)是数据传输时单位时间传送的数据位数，单位为千位每秒，码率越大精度越高，也就是说画面的细节越丰富，视频画面质量越高。另一方面，由于画面细节丰富也就导致文件体积变大，需要较长时间对视频进行加载。多码率视频直播流的码率可以为360p、480p、720p或1080p等，本实施方式中选择的就是其中一个码率的直播视频流作为基准视频流，通常可以选取码率最高的直播流，这样做可以选取到数据丰富的直播视频流，便于之后步骤中对所选取的基准视频流的操作。
步骤102，在基准视频流中确定同步帧。具体地说，对基准视频流进行解码拆帧，并在预设时刻起，随机间隔一定时间取N帧作为同步帧，N可以为任意自然数，通常取3至5帧作为同步帧，这样同步帧确定的长度即保证了计算效率又避免了误差。在确定同步帧之后，可以结束对基准视频流的解码拆帧，在选取同步帧时再次对基准视频流进行解码拆帧。
步骤103，在除基准视频流外的其他直播视频流中分别获取同步帧对应的帧。具体地说，由于多码率直播视频流中播放的视频内容相同，所以在各码率直播视频流中均存在与基准视频流选取的同步帧内容相同的帧，在除基准视频流外的其他直播视频流中获取与同步帧内容相同的帧，从而实现各码率直播视频流同步。另外，由于同步帧是在码率最高的直播视频流中选取，每帧的内容更加丰富，所以更容易通过对比在低码率直播视频流中获取同步帧对应的帧，使得到的对应的帧更加准确。
步骤104，根据与同步帧对应的帧与同步帧的时间差，将其他直播视频流分别与基准视频流进行时间轴同步。具体地说，每个码率的直播视频流的各帧都有其特有的帧序号，根据帧序号可以直到该帧在直播视频流中所处于的位置，也就直到了该帧在直播视频流中所处的时间，计算同步帧在其直播视频流中所处的时间，并计算其余各码率直播视频流中同步帧对应的帧所处的时间，根据上述获得的时间即可得到时间差。
下面以一实例具体说明如何得到时间差：
假设基准视频流为S1，在基准视频流中确定的同步帧的帧序号为P1，将各码率直播视频流S2、S3…Sn进行解码拆帧操作，得到其他码率直播流中与同步帧对应的帧C24、C35、C44、C53……，其中，C24表示在直播视频流S2中与同步帧对应的帧，且在直播视频流S2中的帧序号为P4，C35表示在直播视频流S3中与同步帧对应的帧，且在直播视频流S3中的帧序号为P5，C44表示在直播视频流S4中与同步帧对应的帧，且在直播视频流S4中的帧序号为P4，以此类推。也就是说，通过对各码率直播视频流S2、S3…Sn进行解码拆帧操作，可以获得与同步帧对应的帧在每个直播流中的帧序号，如在S2中，为P4，在S3中，为P5，在S4中，为P4，在S5中，为P3……以此类推。通过将与同步帧对应的帧在直播流中的帧序号，与同步帧在基准视频流为S1中的帧序号相减，即可计算得到与同步帧对应的帧与同步帧的时间差，即DPk＝Pk-P1，k＝2,3…n，其中，DPk表示时间差，Pk表示与同步帧对应的帧在直播视频流Sk中的帧序号。可以理解为，直播视频流S2与基准视频流S1的时间差为DP2＝P4-P1；直播视频流S3与S1的时间差为DP3＝P5-P1；直播视频流S4与S1的时间差为DP4＝P4-P1，以此类推。
根据该时间差，对S2、S3、S4……后续直播视频流实施相对于S1的时间轴同步。经过该步骤，即可将所有直播视频流进行时间轴统一。
步骤105，根据基准视频流的剪辑参数对各码率直播视频流进行剪辑。具体地说，由于各码率直播视频流在时间轴上已经统一，并且是以基准视频流进行同步，所以只需获得基准视频流的剪辑参数，即可同步实现对各码率直播视频流的剪辑，同时得到各码率直播视频流剪辑后的短视频，减少了剪辑所需时间，提高视频剪辑的效率。
本发明实施方式相对于现有技术而言，选择一直播视频流作为基准视频流，并在基准视频流中确定同步帧，在除基准视频流外其他直播视频流中获取与同步帧对应的帧，并根据对应的帧与同步帧的时间差，将其他直播视频流分别与基准视频流进行时间轴上的同步，根据对基准视频流的剪辑参数对各码率直播视频流进行剪辑，即可同时得到多个不同码率的剪辑后的短视频，剪辑操作简单便于实现，节省了剪辑的时间，提高了剪辑效率，满足直播短视频的时效性；另外，对剪辑得到的视频无需进行二次转码处理，即可得到不同码率的剪辑短视频，避免了转码过程中错误的发生，从而避免了影响剪辑后的短视频的观看质量，提高了用户的观看体验。
本发明的第二实施方式涉及一种多码率直播视频流剪辑方法。第二实施方式在第一实施方式的基础上进行了细化，在本发明第二实施方式中具体通过特征码的匹配度，在除基准视频流外的其他直播视频流中分别获取同步帧对应的帧。具体流程如图2所示。
步骤201，实时连续提取各码率直播视频流中的各帧的特征码。具体地说，特征码是视频流中各帧特有的标识，不同帧具有不同的特征码，而不同码率的直播视频流中内容相同的部分特征码大致相同。在对各码率直播视频流进行解码拆帧的同时，实时提取各帧的特征码，在使用特征码匹配同步帧时可以在实时提取的特征码中直接获取，不需要进行提取的操作，从而节省了提取特征码的时间，从而更快速的得到剪辑后的短视频。在提取特征码时可以使用紧凑视觉特征算法(CDVS)，CDVS表示紧凑描述子，可以表示视频中某帧的特征，通过紧凑描述子的比较即可区分直播视频流的各帧。
如，针对同步帧X1、X2、X3使用CDVS进行提取，可获得其特征码C1、C2、C3。在此过程中，其他码率直播流一直在进行解码拆帧，对每一个码率的直播流的每一帧都实时使用CDVS连续提取其特征码。如，针对直播流S2，可提取出其特征码C21、C22、C23、C24……C2k，针对直播流S3，则可提取出其特征码C31、C32、C33、C34……C3k，以此类推，直到直播视频流Sn。
步骤202，选择一直播视频流作为基准视频流。
步骤203，在基准视频流中确定同步帧。
步骤202、203与第一实施方式中步骤101、102一致，在此不再赘述。
步骤204，获取同步帧的特征码及除基准视频流外的其他直播视频流中各帧的特征码。具体地说，在实时提取各码率直播视频流中各帧的特征码中获取同步帧的特征码及除基准视频流外的其他直播视频流中各帧的特征码，在获取了同步帧的特征码后，便无需对基准视频流进行解码拆帧，也就不需要获取基准视频流中除同步帧外的特征码，这样减少了特征码的提取操作，节省了时间，从而提高了获取特征码的效率。
步骤205，计算各帧的特征码与同步帧的特征码的匹配度。具体地说，针对每一码率的直播视频流，将其所有帧的特征码与同步帧的特征码进行比对，计算除基准视频流外其余各码率直播视频流中每一帧与同步帧的匹配度，这样做可以根据匹配度的大小直观发现与同步帧对应的帧。
步骤206，将匹配度大于预设阈值的帧作为与同步帧对应的帧。具体地说，匹配度越高，则说明两帧之间相差越小，该帧有极大概率为在其他码率中与同步帧相对应的帧。预设阈值可以取70％，即当获取的帧与同步帧的匹配度大于70％时，该帧即为所处码率直播视频流中与同步帧对应的帧。在实际应用中，如果获取到多个与同步帧的匹配度大于70％的帧时，可以选取匹配度最大的帧作为该码率直播视频流中与同步帧对应的帧。
步骤207，根据与同步帧对应的帧与同步帧的时间差，将其他直播视频流分别与基准视频流进行时间轴同步。
步骤208，根据基准视频流的剪辑参数对各码率直播视频流进行剪辑。
步骤207、208与第一实施方式中步骤104、105一致，在此不再赘述。
在本实施方式中，特征码是视频流中各帧特有的标识，不同帧具有不同的特征码，而不同码率的直播视频流中内容相同的部分特征码大致相同，获取匹配度大于预设阈值的帧作为同步帧对应的帧，这样做可以迅速判断出在各码率直播视频流中与同步帧相对应的帧，提高了其他直播视频流中与同步帧对应的帧的获取效率及准确性。
本发明的第三实施方式涉及一种多码率直播视频流剪辑方法。第三实施方式对第二实施方式做出了进一步的改进，主要改进之处在于：在基准视频流中确定多个同步帧。具体流程如图3所示。
步骤301，实时连续提取各码率直播视频流中的各帧的特征码。
步骤302，选择一直播视频流作为基准视频流。
步骤301、302与第一实施方式中步骤201、202一致，在此不再赘述。
步骤303，在基准视频流中确定多个同步帧。具体地说，在基准视频流中连续取多个同步帧，例如，在起始时间后一定时间间隔取3帧作为第一同步帧，以相同时间间隔重复取第二同步帧及第三同步帧等，在获取同步帧之后，结束对基准视频流的解码拆帧。
步骤304，选取任一同步帧。具体地说，在基准视频流中确定的多个同步帧中任意选取其一。
步骤305，获取选取的任一同步帧的特征码及除基准视频流外的其他直播视频流中某一帧的特征码。
步骤306，计算各帧的特征码与同步帧的特征码的匹配度。
步骤307，判断在预设时间内是否获取到各视频流中与同步帧对应的帧，若判断结果为是，则进入步骤308；若判断结果为否，则返回步骤304。具体地说，根据匹配度获取同步帧对应的帧只有在获取到所有视频流中与同步帧对应的帧之后，才可以将所有的直播视频流统一，才可以对所有的直播视频流同步剪辑，同时得到所有的剪辑后的短视频。当然，若无需对所有直播视频流进行剪辑的情况下，只需将所需剪辑的视频流与同步帧所对应的帧获取，即可满足需求。若未获得各视频流中与同步帧对应的帧，则说明选取的同步帧并不准确，无法在其余码率直播视频流中获取与其对应的帧，需要重新对同步帧进行选择这样做可以在同步帧选取不准确的情况下进行校正，保证同步帧选取的准确性。
步骤308，根据与同步帧对应的帧与同步帧的时间差，将其他直播视频流分别与基准视频流进行时间轴同步。
步骤309，根据基准视频流的剪辑参数对各码率直播视频流进行剪辑。
步骤308、309与第二实施方式中步骤207、208一致，在此不再赘述。
在实际应用中，通常在码率最高的直播流中选取三个同步帧X1、X2、X3，每个同步帧一般取3至5帧，获取每个同步帧的特征码C1、C2、C3。在同步帧中任选其一，如X1，其特征码C1，针对每一直播视频流，将该直播视频流中的每一帧的特征码与同步帧特征码C1比对，计算每一帧特征码和同步帧特征码的匹配度，例如，如针对直播流S2，计算其每个视频帧的特征码和C1的匹配度，从C21、C22、C23、C24……C2k，计算每一个视频帧的特征码和同步帧特征码C1的匹配度。，在预定时间内，如5秒内，按照码率不同，取该码率直播流中特征码和C1匹配度最高的，如其匹配度最高的特征码，其和C1的匹配度高于预设门限，如70％，即被认为在该码率直播流中检索到同步帧X1。如在S2直播流中，和同步帧C1匹配度最高的特征码为C24，且C24和C1的匹配度高于70％，则代表在S2中检测出和同步帧相同的帧。以此类推，在每一个码率的直播流中都进行比对，获得每一个码率的直播流中和同步帧相同的帧，如C35、C44、C53……如果在其他码率的直播流中未获得和同步帧相同的帧，则代表该同步帧选取不准确，则返回从同步帧X1、X2、X3中再选取一个同步帧，如X2，在每个码率的直播流视频帧中，对比和其特征码C2匹配度高于70％的帧，如依然在其他码率的直播流中未获得和同步帧相同的帧，则返回选取同步帧X3，使用其特征码C3进行比对。直到获取与同步帧对应的帧。在获取到各码率直播视频流中与同步帧相对应的帧后，将各码率直播视频流统一，在时间轴上进行同步，同步之后即可对所有码率直播视频流进行同步剪辑。
另外，在实际应用中需要对同步后的各码率直播视频流进行校准，以防随着时间的推移，各码率直播视频流出现同步误差，本实施方式中无需实时进行误差的矫正，只需根据上一次同步的结果，决定本次同步操作的时刻，实现对个码率直播视频流同步的动态调整。具体如下：
在将其他直播视频流分别与基准视频流进行时间轴同步之后，还包括：计算同步视频相位误差；若同步视频相位误差大于预设门限，则增大更新频率；若同步视频相位误差小于或等于预设门限，则减小更新频率。具体地说，可以设定同步校验变更步长范围(Tmin，Tmax)，如(1分，120分)，设定同步时间步长变更公式f(Tmin，Tmax，ΔErr)，ΔErr为当前检测所得视频相位误差变化量，f可以为线性，也可以为非线性，f的值域为(Tmin，Tmax)，当ΔErr小于某个门限Tth，如40ms时，f的输出逐步增大，反之，则逐步减小。从而减少了对各码率直播视频流的同步时间轴的操作，减少了设备的计算，提高了视频剪辑的效率。
在本实施方式中，对选取的同步帧进行判断及校正，从而可以根据正确的同步帧进行时间轴上的同步，提高了实现各码率直播视频流同步的可行性，保证各码率直播视频流的统一。另外，无需对同步后的各码率直播视频流进行实时校准，减少对各码率直播视频流的同步时间轴的操作，减少了设备的计算，提高了视频剪辑的效率。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第四实施方式涉及一种多码率直播视频流剪辑装置，如图4所示，包括：选择模块41，确定模块42，获取模块43，同步模块45，剪辑模块44；选择模块41用于选择一直播视频流作为基准视频流；确定模块42用于在选择模块选择的基准视频流中确定同步帧；获取模块43用于在多码率直播视频流中除基准视频流外的其他直播视频流中，分别获取与同步帧对应的帧；同步模块45用于根据获取模块获取的与同步帧对应的帧与同步帧的时间差，将其他直播视频流分别与基准视频流进行时间轴同步；剪辑模块44用于根据基准视频流的剪辑参数对各码率直播视频流进行剪辑。
在本实施方式中，选择一直播视频流作为基准视频流，并在基准视频流中确定同步帧，在除基准视频流外其他直播视频流中获取与同步帧对应的帧，并根据对应的帧与同步帧的时间差，将其他直播视频流分别与基准视频流进行时间轴上的同步，根据对基准视频流的剪辑参数对各码率直播视频流进行剪辑，即可同时得到多个不同码率的剪辑后的短视频，剪辑操作简单便于实现，节省了剪辑的时间，提高了剪辑效率，满足直播短视频的时效性；另外，对剪辑得到的视频无需进行二次转码处理，即可得到不同码率的剪辑短视频，避免了转码过程中错误的发生，从而避免了影响剪辑后的短视频的观看质量，提高了用户的观看体验。
不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第五实施方式涉及一种多码率直播视频流剪辑装置。第五实施方式与第三实施方式大致相同，主要区别之处在于：在第三实施方式中，获取模块用于在多码率直播视频流中除基准视频流外的其他直播视频流中，分别获取与同步帧对应的帧。而在本发明第四实施方式中将其具体进行说明，如图5所示。
获取模块43具体包括：特征码获取模块431，计算模块432，判断模块433；特征码获取模块431用于获取同步帧的特征码及除基准视频流外的其他直播视频流中各帧的特征码；计算模块432用于计算各帧的特征码与同步帧的特征码的匹配度；判断模块433用于在匹配度大于预设阈值时，获取与同步帧对应的帧。
在本实施方式中，特征码是视频流中各帧特有的标识，不同帧具有不同的特征码，而不同码率的直播视频流中内容相同的部分特征码大致相同，获取匹配度大于预设阈值的帧作为同步帧对应的帧，这样做可以迅速判断出在各码率直播视频流中与同步帧相对应的帧，提高获取效率。由于所获取的同步帧对应的帧的特征码匹配度大于预设阈值，提高了获取同步帧对应的帧的准确性。
由于第二实施方式与本实施方式相互对应，因此本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，在第二实施方式中所能达到的技术效果在本实施方式中也同样可以实现，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。
本发明第六实施方式涉及一种终端，如图6所示，包括至少一个处理器601；以及，与至少一个处理器601通信连接的存储器602；其中，存储器602存储有可被至少一个处理器601执行的指令，指令被至少一个处理器601执行，以使至少一个处理器601能够执行上述视频剪辑方法。
其中，存储器602和处理器601采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器601和存储器602的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器601。
处理器601负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器602可以被用于存储处理器601在执行操作时所使用的数据。
本发明第七实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种多码率直播视频流剪辑方法，其特征在于，包括：
选择一直播视频流作为基准视频流，并在所述基准视频流中确定同步帧；
在所述多码率直播视频流中除所述基准视频流外的其他直播视频流中，分别获取与所述同步帧对应的帧；
根据获取的所述与所述同步帧对应的帧与所述同步帧的时间差，将所述其他直播视频流分别与所述基准视频流进行时间轴同步；
根据所述基准视频流的剪辑参数对所述各码率直播视频流进行剪辑。
2.根据权利要求1所述的多码率直播视频流剪辑方法，其特征在于，所述分别获取与所述同步帧对应的帧，具体包括：
获取同步帧的特征码及所述除所述基准视频流外的其他直播视频流中各帧的特征码；
计算所述各帧的特征码与同步帧的特征码的匹配度；
若所述匹配度大于预设阈值，则所述帧为与所述同步帧对应的帧。
3.根据权利要求2所述的多码率直播视频流剪辑方法，其特征在于，所述在所述基准视频流中确定同步帧，具体包括：
在所述基准视频流中随机选取多个同步帧；
所述计算所述各帧的特征码与同步帧的特征码的匹配度，具体包括：
在所述随机选取的多个同步帧中任意确定一同步帧；
计算所述各帧的特征码与所述确定的同步帧的特征码的匹配度；
若在预设时间内未获取到与所述确定的同步帧对应的帧，则在剩余的所述随机选取的多个同步帧中重新任意确定一同步帧，直到获取到与所述确定的同步帧对应的帧。
4.根据权利要求1所述的多码率直播视频流剪辑方法，其特征在于，在所述将所述其他直播视频流分别与所述基准视频流进行时间轴同步之后，还包括：
计算同步视频相位误差；
若所述同步视频相位误差大于预设门限，则增大所述更新频率；
若所述同步视频相位误差小于或等于预设门限，则减小所述更新频率。
5.根据权利要求1所述的多码率直播视频流剪辑方法，其特征在于，所述选择一直播视频流作为基准视频流，具体包括：
选择码率最高的直播视频流作为所述基准视频流。
6.根据权利要求2至5中任一所述的多码率直播视频流剪辑方法，其特征在于，在所述获取同步帧的特征码及所述除所述基准视频流外的其他直播视频流中各帧的特征码之前，还包括：
实时连续提取各码率直播视频流中的各帧的特征码；
所述获取同步帧的特征码及所述除所述基准视频流外的其他直播视频流中各帧的特征码，具体包括：
从所述提取的特征码中获取同步帧的特征码及各码率各帧的特征码。
7.根据权利要求6所述的多码率直播视频流剪辑方法，其特征在于，还包括：
使用紧凑视觉特征算法提取所述特征码。
8.一种多码率直播视频流剪辑装置，其特征在于，包括：选择模块，确定模块，获取模块，同步模块，剪辑模块；
所述选择模块用于选择一直播视频流作为基准视频流；
所述确定模块用于在所述选择模块选择的基准视频流中确定同步帧；
所述获取模块用于在所述多码率直播视频流中除所述基准视频流外的其他直播视频流中，分别获取与所述同步帧对应的帧；
所述同步模块用于根据所述获取模块获取的所述与所述同步帧对应的帧与所述同步帧的时间差，将所述其他直播视频流分别与所述基准视频流进行时间轴同步；
所述剪辑模块用于根据所述基准视频流的剪辑参数对所述各码率直播视频流进行剪辑。
9.一种终端，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的多码率直播视频流剪辑方法。
10.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的多码率直播视频流剪辑方法。
CN201910194049.8A 2019-03-14 2019-03-14 多码率直播视频流剪辑方法、装置、终端及存储介质 Active CN110087116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910194049.8A CN110087116B (zh) 2019-03-14 2019-03-14 多码率直播视频流剪辑方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910194049.8A CN110087116B (zh) 2019-03-14 2019-03-14 多码率直播视频流剪辑方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN110087116A true CN110087116A (zh) 2019-08-02
CN110087116B CN110087116B (zh) 2022-03-04

Family

ID=67413218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910194049.8A Active CN110087116B (zh) 2019-03-14 2019-03-14 多码率直播视频流剪辑方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110087116B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712322A (zh) * 2021-01-21 2021-04-27 南京仁高隆软件科技有限公司 云通知业务运营平台及其通知方法
CN112752129A (zh) * 2019-10-31 2021-05-04 西安诺瓦星云科技股份有限公司 视频源同步输出方法、装置、系统和计算机可读存储介质
CN113542774A (zh) * 2021-06-04 2021-10-22 北京格灵深瞳信息技术股份有限公司 视频同步方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092446A (ja) * 1998-09-14 2000-03-31 Sony Corp テレビ番組の記録再生装置
CN1404302A (zh) * 2001-09-05 2003-03-19 北京中科大洋科技发展股份有限公司 一种使用双码率视频流制作电视节目的系统和方法
CN106713963A (zh) * 2016-11-28 2017-05-24 天脉聚源（北京）科技有限公司 一种对齐视频流的播放进度的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092446A (ja) * 1998-09-14 2000-03-31 Sony Corp テレビ番組の記録再生装置
CN1404302A (zh) * 2001-09-05 2003-03-19 北京中科大洋科技发展股份有限公司 一种使用双码率视频流制作电视节目的系统和方法
CN106713963A (zh) * 2016-11-28 2017-05-24 天脉聚源（北京）科技有限公司 一种对齐视频流的播放进度的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112752129A (zh) * 2019-10-31 2021-05-04 西安诺瓦星云科技股份有限公司 视频源同步输出方法、装置、系统和计算机可读存储介质
CN112712322A (zh) * 2021-01-21 2021-04-27 南京仁高隆软件科技有限公司 云通知业务运营平台及其通知方法
CN113542774A (zh) * 2021-06-04 2021-10-22 北京格灵深瞳信息技术股份有限公司 视频同步方法、装置、电子设备及存储介质
CN113542774B (zh) * 2021-06-04 2023-10-20 北京格灵深瞳信息技术股份有限公司 视频同步方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110087116B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
US11665378B2 (en) Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision
US11290770B2 (en) Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
EP3334175A1 (en) Streaming media and caption instant synchronization displaying and matching processing method, device and system
CN110087116B (zh) 多码率直播视频流剪辑方法、装置、终端及存储介质
EP2665261A1 (en) Content reproduction device, content reproduction method, delivery system, content reproduction program, recording medium, and data structure
WO2018014523A1 (zh) 一种媒体数据的获取方法和装置
CN106612452A (zh) 机顶盒音视频同步的方法及装置
US10021433B1 (en) Video-production system with social-media features
CN113852824A (zh) 视频转码方法、装置、电子设备和存储介质
US11792254B2 (en) Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action
CN108063973A (zh) 一种视频流解码方法及设备
TWI776165B (zh) 用於從內容呈現設備接收對補充內容的請求的方法、非暫時性電腦可讀儲存介質及計算系統
CN103491430A (zh) 流媒体数据处理方法和电子设备
WO2016090916A1 (zh) 码流传输方法和装置
US11381938B2 (en) Method and apparatus for providing unicast-based multimedia service
CN113630643A (zh) 媒体流收录方法、装置及计算机存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant