CN109074827A - 用于从多个视频片段生成复合视频流的方法和设备 - Google Patents

用于从多个视频片段生成复合视频流的方法和设备 Download PDF

Info

Publication number
CN109074827A
CN109074827A CN201780027920.4A CN201780027920A CN109074827A CN 109074827 A CN109074827 A CN 109074827A CN 201780027920 A CN201780027920 A CN 201780027920A CN 109074827 A CN109074827 A CN 109074827A
Authority
CN
China
Prior art keywords
frame
video clip
video
time
anchoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780027920.4A
Other languages
English (en)
Inventor
普雷本·H·尼尔森
约翰·马德森
克劳斯·克劳森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Europa NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Europa NV filed Critical Canon Europa NV
Publication of CN109074827A publication Critical patent/CN109074827A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/10—Arrangements for replacing or switching information during the broadcast or the distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

提供一种用于生成复合视频的方法和设备。该方法包括：获得各自包含帧内编码I帧和预测P帧的序列的主视频片段和次视频片段，该主视频片段具有第一优先级水平和第一拍摄时间间隔，以及该次视频片段具有第二优先级水平和第二拍摄时间间隔，第二优先级水平高于第一优先级水平并且第二拍摄时间间隔与第一拍摄时间间隔重叠。该方法还包括：使主视频片段和次视频片段时间对准；识别次视频片段的第一锚定I帧在主视频片段中的开始合并时间；以及在无需转码的情况下合并主视频片段和次视频片段的帧以生成复合视频，其中该复合视频包括主视频片段中的直到开始合并时间为止的帧、次视频片段的第一锚定I帧以及次视频片段中的在第一锚定I帧之后的帧。

Description

用于从多个视频片段生成复合视频流的方法和设备
背景技术
本发明涉及视频编辑，并且更特别地涉及在无需转码的情况下从多个压缩视频片段生成复合视频流，其中这些视频片段在时间上重叠。
存在如下的应用：需要将共享相同拍摄时间的视频片段合并在单个视频中，同时遵守所合并的片段的定时。存在例如按不同的质量对场景的给定视图的视频频段进行编码或者这些片段涉及相同场景的不同视图的情况，并且期望将所有这些不同片段无缝地处理为单个视频流。
在视频片段的合并之前对这些视频片段进行解码(解压缩)在资源方面是昂贵的，并且仍不能解决由于视频片段共享相同拍摄时间而出现的定时问题。
因此，需要在资源方面具有成本效益并且遵守多个视频的定时的用于从多个压缩视频生成复合视频的方式。
发明内容
根据本发明的第一方面，提供一种根据权利要求1所述的用于生成复合视频流的方法。
根据本发明的第二方面，提供一种根据权利要求10所述的用于生成复合视频流的设备。
本发明的另一方面涉及一种非暂时性计算机可读介质，其存储程序，所述程序在由监控和/或监视系统中的装置的处理单元执行的情况下，使所述装置进行以上定义的方法。
以上定义的非暂时性计算机可读介质和装置可以具有与关于以上定义的方法所阐述的特征和优点类似的特征和优点。
根据本发明的方法的至少一部分可以通过计算机来实现。因此，本发明可以采用完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)、或者组合在此通常均可称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。此外，本发明可以采用使计算机可用程序代码体现在介质中的任何有形表现介质中所体现的计算机程序产品的形式。
由于本发明可以以软件来实现，因此本发明可以体现为计算机可读代码以在任何适当载体介质上提供至可编程设备。有形载体介质可以包括诸如硬盘驱动器、磁带装置或固态存储器装置等的存储介质。瞬态载体介质可以包括诸如电气信号、电子信号、光学信号、声学信号、磁信号或者例如微波或RF信号的电磁信号等的信号。
附图说明
现在将仅通过示例的方式并且参考以下附图来说明本发明的实施例，其中：
图1示出监控系统的示例；
图2示出适合于体现本发明的实施例的计算机装置的硬件结构；
图3描述根据典型实施例的通过合并主视频和次视频的帧来生成复合视频；
图4是表示根据本发明的实施例的用于生成复合视频的方法的流程图；以及
图5示出在多个视频片段的情况下生成复合视频的实现示例。
具体实施方式
图1示出可以实现本发明的实施例的监控/监视系统100的示例。系统100包括管理服务器130、两个记录服务器151～152、存档服务器153和外围装置161～163。
外围装置161～163表示能够向系统馈送数据流的源装置。通常，外围装置是摄像机(例如，IP摄像机、PTZ摄像机、经由视频编码器连接的模拟摄像机)。外围装置也可以是任何其它类型，诸如音频装置、检测器等。
提供记录服务器以存储外围装置所生成的数据流(记录)，诸如摄像机所拍摄到的视频流等。记录服务器可以包括存储单元和附接至记录服务器的数据库。附接至记录服务器的数据库可以是位于与记录服务器相同的计算机装置中的本地数据库、或者位于记录服务器可访问的远程装置中的数据库。
被称为本地存储器或边缘存储器的存储单元165也可以与外围装置161相关联，以本地存储外围装置所生成的诸如视频等的数据流。边缘存储器与记录服务器的存储单元相比通常具有更低的容量，但可以用于存储最后拍摄到的高质量版本的数据序列，而较低质量版本被流传输到记录服务器。
可以将数据流分成数据片段，以便将该数据流存储在记录服务器的存储单元中或从记录服务器的存储单元读取该数据流。片段可以是任何大小。可以利用时间间隔[ts1,ts2]来标识片段，其中：ts1对应于片段开始的时间戳，并且ts2对应于片段结束的时间戳。时间戳可以对应于利用外围装置的拍摄时间或者第一记录服务器中的记录时间。还可以利用诸如序列号、轨编号或文件名等的任何其它合适的片段标识符来标识片段。
管理服务器130存储与监控/监视系统100的配置有关的信息，诸如警报的条件、所附接的外围装置(硬件)的详情、哪些数据流记录在哪个记录服务器中等。
提供管理客户端110以供管理员用于配置监控/监视系统100。管理客户端110显示用于与管理服务器上的管理软件交互的接口，以便配置该系统，例如添加新的外围装置(硬件)或者使外围装置从一个记录服务器移动到另一记录服务器。在管理客户端110处显示的接口还允许与管理服务器130交互，以控制应当经由网关170向外部网络180输入和输出哪些数据。
提供用户客户端111以供安保人员或其它用户使用，从而监视或回顾外围装置161～163的输出。用户客户端111显示用于与管理服务器上的管理软件交互的接口，以便查看来自外围装置161～163的图像/记录或者查看记录服务器151～152中所存储的视频素材。
存档服务器153用于存档记录服务器151～152中所存储的如下的较旧数据，这些较旧数据无需从记录服务器151～152立即可访问，但不期望被永久删除。
其它服务器也可以存在于系统100中。例如，在主记录服务器发生故障的情况下，可以提供故障转移记录服务器(未示出)。此外，可以提供移动服务器(未示出)以允许从移动装置(诸如托管移动客户端的移动电话或者使用web客户端从浏览器访问系统的笔记本电脑等)访问监控/监视系统。
管理客户端110和用户客户端111被配置为经由网络/总线121与管理服务器130、活动目录服务器140、多个记录和存档服务器151～153以及多个外围装置161～163进行通信。记录和存档服务器151～153经由网络/总线122与外围装置161～163进行通信。监控/监视系统100可以经由网关170向外部网络180输入和输出数据。
活动目录服务器140是用于控制例如从管理客户端110或用户客户端111向监控/监视系统100的用户登录和访问的认证服务器。
图2示出被配置为实现本发明的至少一个实施例的装置200的典型配置。装置200包括通信总线220，该通信总线220优选连接有以下组件：
诸如微处理器等的表示为CPU的中央处理单元231；
表示为RAM的随机存取存储器210，用于存储根据本发明实施例的方法的可执行代码以及被配置为记录实现根据本发明实施例的方法所需的变量和参数的寄存器；以及
输入/输出接口250，其被配置成使得装置200可以与其它装置进行通信。
可选地，装置200还可以包括数据存储部件232(诸如用于存储数据的硬盘等)和显示器240。
加载到RAM 210中并由CPU 231执行的可执行代码可以存储在只读存储器(未示出)中、硬盘232上或者可移除数字介质(未示出)上。
显示器240用于通常经由用户接口向用户传达信息。输入/输出端口250允许用户使用鼠标和键盘向装置200给出指示，从其它装置接收数据，并且经由网络发送数据。
客户端110～111、管理服务器130、活动目录140、记录服务器151～152和存档服务器153具有与图2所示的装置200一致的系统架构。大大简化了图2的描述，并且可以使用任何合适的计算机或处理装置架构。
图3描绘根据典型实施例的在给定装置处通过合并主视频301和次视频302的帧来生成复合视频303。
为了例示，考虑图1的监控/监视系统100，其中假定外围装置161是如下的照相机，该照相机被配置为拍摄视频，通过实现运动补偿(即，利用视频中的时间冗余)的视频编码器对所拍摄到的视频进行编码，并且传送具有不同压缩级别的两个压缩视频(例如高度压缩(较低质量)的视频和较少压缩(较高质量)的视频)。
注意，在编码器以不同的压缩级别(不同的编码率)或者以相同的压缩级别但以不同的编码参数(帧频、帧的空间分辨率等)传送多于两个的压缩视频的情况下，本发明的实施例同样适用。在利用不同编码器进行编码的和/或涵盖不同场景或视图的多个压缩视频的情况下，本发明的实施例同样适用。
使用运动补偿的视频编码器可以实现例如MPEG标准其中之一(MPEG-1、H.262/MPEG-2、H.263、H.264/MPEG-4AVC或H.265/HEVC)。因而，压缩视频包括帧内编码I帧(独立于所有其它图片进行编码的图片)和预测P帧(包含相对于先前解码的图片的运动补偿差异信息的图片)的序列。将帧分组成GOP(图片组)303。I帧表示GOP的开始。
在一个实现中，实现生成方法的装置(给定装置)在诸如管理服务器130等的监控/监视系统100内，并且具有计算机装置200的架构。
根据典型实施例，照相机161将高度压缩的视频流传输到监控/监视系统以存储在记录服务器151处以供进一步处理，并且将较少压缩的视频存储在其本地存储器165中以在需要的情况下供以后检索。主视频301可以对应于高度压缩的视频，因而可以从记录服务器151获得。次视频302可以对应于较少压缩的视频或其一部分，并且可以从照相机161的边缘存储器165获得。
通常，主视频301是作为RTP/RTSP流从照相机161接收到的。该协议将时间戳连同所发送的第一帧以及针对随后的帧的增量(偏移)时间一起传送。这允许通过参考311来定义该图所示的主视频的时间线。为了使主视频301的时间线与次视频302的时间线312相关联，选择监控/监视系统的本地时间作为共同时间参考(绝对时间线313)。为了容易进行该关联，在接收到视频帧时，即时将主视频301的时间线转换成绝对时间线。例如，在接收到主视频301的第一帧时，利用监控/监视系统的本地时间向该第一帧加时间戳，然后在接收到帧时添加增量值。然后，优选将这些帧存储到记录服务器151的存储单元内的给定持续时间[t0,t4]的片段(记录)中，并且将包括所计算出的时间戳的关联元数据存储在附接至记录服务器151的数据库中。这里，时间t0和t4是根据绝对时间线313给出的。为了例示，在图3中描绘从所接收到的主视频中提取的根据时间线311的对应时间t’0和t’4。
例如，根据给定装置的请求而接收到次视频302。在一个实现中，(例如，使用ONVIF命令)使照相机161处的时间与监控/监视系统处的本地时间同步。这允许已经根据绝对时间线313来表示边缘存储器中所存储的视频的时间线，即时间线312和313同步。如此，给定装置可以仅仅将时间间隔[t1,t3](其由此与[t”1,t”3]相同)的请求发送至照相机161，以在次视频302的帧的序列中检索根据绝对时间线313加时间戳的该时间间隔。
用于使主视频和次视频对准并由此使这两者的对应时间线关联的替代实现也是可以的。例如，可以进行主视频中的第一时间戳t’a与次视频中的第二时间戳t”a的对准(时移确定)。然后，对于任何时间b>a，可以根据主视频对次视频所用的时间线312进行插值：t”b＝t’b+(t”a-t’a)。必须将时间尺度的任何合适变化在直接比较之前应用于各时间戳值。
从较少压缩的视频中检索特定时间间隔[t1,t3]的一个动机是在事件的发生附近获得较高质量的视频，以便例如由操作员对视频进行更彻底的分析。视频的其余部分可以保持较低质量。将所检索到的次视频片段302与主视频301(这两个视频共用拍摄时间的共同间隔)合并，这使得能够进行无缝解码和显示，例如视频解码器仅需对单个流进行解码。
本发明不限于上述方案，并且可以存在用于将两个以上的视频序列合并成单个流以供无缝解码和显示的其它动机。例如，如果两个视频正同时涵盖场景的不同视图，则在无需转码的情况下生成嵌入有不同视图的单个流可能是便利的，其中所嵌入的各视频序列关注于给定时间的最相关或最重要的视图。
也可以相对于一个视频流而向另一视频流分配优先级。在这种情况下，每当较高优先级的视频可用时，使该较高优先级的视频优先于较低优先级的视频而包括在复合视频中。可以基于在视频中检测到的活动(例如，运动检测)的度量来向该视频分配优先级，从而使复合视频更有可能包括发生了某事的视频片段。
图4是表示根据本发明实施例的用于生成复合视频的方法的流程图。该流程图总结以上关于图3所论述的步骤中的一些步骤。该方法通常通过给定装置的CPU 231所执行的软件代码来执行。
在步骤401和步骤402中，利用装置分别获得主视频301和次视频302。主视频301和次视频302包括由实现任何合适的视频编码格式的运动补偿编码器所生成的帧内编码I帧和预测P帧的序列。
如以上所论述的，根据实施例，主视频301的获得可以通过从记录服务器151读取视频(时间段[t’0,t’4])来进行，而次视频302的获得可以通过根据请求从照相机161的边缘存储器165接收视频(时间段[t”1,t”3])来进行。根据其它实施例，可以从同一存储单元获得主视频和次视频这两者，或者可以直接从照相机接收这两者。
在图3的示例中，次视频302短于主视频301，以示出复合视频，该复合视频包括从主视频帧到次视频帧、然后从次视频帧返回到主视频帧的切换。当然，一个视频的大小相对于另一视频的大小可以是任意的。
在步骤403中，通过使主视频和次视频的时间线关联来使这两个视频时间对准。以上已经关于图3论述了各种实现。对准的结果是可以比较时间线311和312。在一个实现中，例如可以将时间间隔[t’0,t’4]和[t”1,t”3]这两者在共同时间参考313中表示为[t0,t4]和[t1,t3]，因而无需进行转换。
在步骤404中，使用所关联的时间线来识别次视频的第一锚定I帧304在主视频中的开始合并时间t1。
最后，在步骤405中，在无需转码的情况下合并主视频301的帧和次视频302的帧，以生成复合视频303。复合视频303包括主视频中的直到开始合并时间t1为止的帧、次视频的第一锚定I帧304以及次视频中的在第一锚定I帧304之后的帧305、306等。后续的帧305、306等可以包括：次视频中在次视频于主视频之前结束的情况下剩余的所有帧、或者次视频中的仅直到切换回到主视频或另一视频的时间为止的帧。在图3所示的示例中，次视频302的第一锚定I帧304是次视频序列中的(第一个GOP内的)第一个I帧。
在替代实现(未示出)中，第一锚定I帧304是第n个GOP的I帧，其中n≥1。例如，如果主视频的GOP的大小远大于次视频的GOP的大小，则可以选择第n个GOP作为与主视频中的GOP的开头重叠的GOP，而跳过了次视频的(n-1)个先前帧、即这(n-1)个先前帧不被包括在复合视频中。
在一个实现中，使用所关联的时间线来识别主视频的第二锚定I帧314在次视频302中的结束合并时间t2。在这种情况下，复合视频还包括次视频中的在第一锚定I帧304之后直到结束合并时间t2为止的帧、主视频301的第二锚定I帧314以及主视频301中的在第二锚定I帧314之后的帧315、316等。后续的帧305、306等可以包括：主视频中直到主视频结束为止剩余的所有帧、或者主视频中的仅直到切换到另一视频的时间为止的帧。
在图3所示的示例中，第二锚定I帧314是主视频序列301中的在次视频序列302中的最后一个帧309的时间t3之前的最后一个I帧。在替代实现(未示出)中，第二锚定I帧314可以是主视频中的较早GOP内的I帧。
图5示出在根据不同优先级排序后的多个视频片段的情况下生成复合视频的实现示例。
在例示示例中，四个视频片段501、502、503和504在时间上重叠(共用共同拍摄时间)并且具有不同的优先级。为了简化而隐藏了视频片段的GOP结构。视频片段501和502具有相同的最高优先级。视频片段503具有较低优先级，并且视频片段504具有最低优先级。利用附图标记505来表示所生成的复合视频。
在各片段511、512、513、514、515和516的边沿示出一个视频片段向另一视频片段之间的转变(或切换)时间，以简化说明，其中通过图3的说明将理解，与视频的一个帧向另一视频中的下一帧之间的切换相对应的转变时间可以迟于视频片段的开始和/或早于视频片段的结束而发生。
复合视频505包括视频片段504的从起始帧起直到转变时间511为止的帧以及具有较高优先级的视频片段503的帧。这里，如关于图3和图4所论述的，视频片段504对应于主视频301，并且视频片段503对应于次视频302。
然后，复合视频505包括视频片段503的直到转变时间512为止的帧、之后是(具有较高优先级的)视频片段501的直到其结束为止的帧。
然后，复合视频505包括视频片段503在转变时间513之后直到片段503结束为止的剩余帧。这里，如关于图3和图4所论述的，视频片段501对应于次视频302，并且视频片段503对应于主视频301。
复合视频505的其余结构与以上已说明的直到视频片段504结束为止的结构相同。

Claims (15)

1.一种用于从多个视频片段生成复合视频流的方法，所述视频片段在时间上重叠，各片段利用拍摄时间间隔来标识，并且各片段具有优先级水平，所述方法包括：
获得包括帧内编码I帧和预测P帧的序列的主视频片段，所述主视频片段具有第一优先级水平和第一拍摄时间间隔；
识别次视频片段，所述次视频片段具有高于所述第一优先级水平的第二优先级水平和与所述第一拍摄时间间隔重叠的第二拍摄时间间隔，其中所述次视频片段包括帧内编码I帧和预测P帧的序列；
通过使所述主视频片段和所述次视频片段的时间线相关联来使所述主视频片段和所述次视频片段时间对准；
使用相关联的时间线来识别所述次视频片段的第一锚定I帧在所述主视频片段中的开始合并时间；以及
在无需转码的情况下合并所述主视频片段的帧和所述次视频片段的帧以生成复合视频，其中所述复合视频包括所述主视频片段中的直到所述开始合并时间为止的帧、所述次视频片段的所述第一锚定I帧以及所述次视频片段中的位于所述第一锚定I帧之后的帧。
2.根据权利要求1所述的方法，其中，所述视频片段是按不同质量进行编码的，并且优先级水平越高表示质量越高。
3.根据权利要求2所述的方法，其中，与较低质量的视频片段相比，较高质量的视频片段具有较低的压缩级别。
4.根据前述权利要求中任一项所述的方法，其中，所述视频片段存储在存储介质上，以及
所述方法还包括：确定所述存储介质上的多个视频片段何时在时间上重叠，并且对于重叠的时间段，选择具有最高优先级水平的视频片段以形成所述复合视频流。
5.根据前述权利要求中任一项所述的方法，其中，所述存储介质是记录服务器，以及所述视频片段是利用视频监控照相机拍摄到的并被发送至所述记录服务器。
6.根据前述权利要求中任一项所述的方法，还包括：
使用相关联的时间线来识别所述主视频的第二锚定I帧在所述次视频中的结束合并时间，
其中，所述复合视频包括所述次视频中的位于所述第一锚定I帧之后直到所述结束合并时间为止的帧、所述主视频的所述第二锚定I帧以及所述主视频中的位于所述第二锚定I帧之后的帧。
7.根据权利要求6所述的方法，其中，所述次视频的所述第一锚定I帧是所述次视频序列中的第一个I帧。
8.根据权利要求6或7所述的方法，其中，所述第二锚定I帧是所述主视频序列中的位于所述次视频序列的最后一个帧的时间之前的最后一个I帧。
9.根据前述权利要求中任一项所述的方法，其中，所述次视频具有比所述主视频更高的空间分辨率。
10.一种用于从多个视频片段生成复合视频流的设备，所述视频片段在时间上重叠，各片段利用拍摄时间间隔来标识，并且各片段具有优先级水平，所述设备包括：
用于获得包括帧内编码I帧和预测P帧的序列的主视频片段的部件，所述主视频片段具有第一优先级水平和第一拍摄时间间隔；
用于识别次视频片段的部件，所述次视频片段具有高于所述第一优先级水平的第二优先级水平和与所述第一拍摄时间间隔重叠的第二拍摄时间间隔，其中所述次视频片段包括帧内编码I帧和预测P帧的序列；
用于通过使所述主视频片段和所述次视频片段的时间线相关联来使所述主视频片段和所述次视频片段时间对准的部件；
用于使用相关联的时间线来识别所述次视频片段的第一锚定I帧在所述主视频片段中的开始合并时间的部件；以及
用于在无需转码的情况下合并所述主视频片段的帧和所述次视频片段的帧以生成复合视频的部件，其中所述复合视频包括所述主视频片段中的直到所述开始合并时间为止的帧、所述次视频片段的所述第一锚定I帧以及所述次视频片段中的位于所述第一锚定I帧之后的帧。
11.根据权利要求10所述的设备，其中，所述视频片段是按不同质量进行编码的，并且优先级水平越高表示质量越高。
12.根据权利要求10所述的设备，其中，与较低质量的视频片段相比，较高质量的视频片段具有较低的压缩级别。
13.根据权利要求10、11和12中任一项所述的设备，其中，所述视频片段存储在存储介质上，以及
所述设备还包括以下部件，该部件用于确定所述存储介质上的多个视频片段何时在时间上重叠，并且对于重叠的时间段，选择具有最高优先级水平的视频片段以形成所述复合视频流。
14.根据权利要求10至13中任一项所述的方法，其中，所述存储介质是记录服务器，以及所述视频片段是利用视频监控照相机拍摄到的并被发送至所述记录服务器。
15.一种计算机程序，其在由可编程设备执行的情况下使所述可编程设备进行根据权利要求1至9中任一项所述的方法。
CN201780027920.4A 2016-05-04 2017-05-04 用于从多个视频片段生成复合视频流的方法和设备 Pending CN109074827A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1607823.0A GB2549970A (en) 2016-05-04 2016-05-04 Method and apparatus for generating a composite video from a pluarity of videos without transcoding
GB1607823.0 2016-05-04
PCT/EP2017/060625 WO2017191243A1 (en) 2016-05-04 2017-05-04 Method and apparatus for generating a composite video stream from a plurality of video segments

Publications (1)

Publication Number Publication Date
CN109074827A true CN109074827A (zh) 2018-12-21

Family

ID=56234397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780027920.4A Pending CN109074827A (zh) 2016-05-04 2017-05-04 用于从多个视频片段生成复合视频流的方法和设备

Country Status (7)

Country Link
US (1) US20200037001A1 (zh)
EP (1) EP3314609A1 (zh)
JP (1) JP2019517174A (zh)
KR (1) KR20190005188A (zh)
CN (1) CN109074827A (zh)
GB (1) GB2549970A (zh)
WO (1) WO2017191243A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971914A (zh) * 2019-11-22 2020-04-07 北京凯视达科技有限公司 一种在时间轴模式下动态节省视音频解码资源的方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6952456B2 (ja) * 2016-11-28 2021-10-20 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
CN110855905B (zh) * 2019-11-29 2021-10-22 联想(北京)有限公司 视频处理方法、装置和电子设备
CN111918121B (zh) * 2020-06-23 2022-02-18 南斗六星系统集成有限公司 一种流媒体文件精准剪辑方法
EP4030751A4 (en) * 2020-07-27 2022-11-23 Huawei Technologies Co., Ltd. METHOD, DEVICE AND SYSTEM FOR VIDEO ASSEMBLY
CN114501066A (zh) * 2021-12-30 2022-05-13 浙江大华技术股份有限公司 视频流处理方法、系统、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
CN102714713A (zh) * 2010-02-01 2012-10-03 国际商业机器公司 视频流处理
US20130188923A1 (en) * 2012-01-24 2013-07-25 Srsly, Inc. System and method for compiling and playing a multi-channel video

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2848766B1 (fr) * 2002-12-13 2005-03-11 Thales Sa Procede de commutation de signaux numeriques avant emission, commutateur et signal resultant
US7603689B2 (en) * 2003-06-13 2009-10-13 Microsoft Corporation Fast start-up for digital video streams
US20070019742A1 (en) * 2005-07-22 2007-01-25 Davis Kevin E Method of transmitting pre-encoded video
CN101506892B (zh) * 2006-08-25 2012-11-14 皇家飞利浦电子股份有限公司 产生概要的方法和设备
WO2011001180A1 (en) * 2009-07-01 2011-01-06 E-Plate Limited Video acquisition and compilation system and method of assembling and distributing a composite video
WO2011013349A1 (ja) * 2009-07-31 2011-02-03 パナソニック株式会社 映像データ処理装置及び映像データ処理システム
US20130055326A1 (en) * 2011-08-30 2013-02-28 Microsoft Corporation Techniques for dynamic switching between coded bitstreams
US9445136B2 (en) * 2011-09-21 2016-09-13 Qualcomm Incorporated Signaling characteristics of segments for network streaming of media data
US20130282804A1 (en) * 2012-04-19 2013-10-24 Nokia, Inc. Methods and apparatus for multi-device time alignment and insertion of media
JP6019824B2 (ja) * 2012-07-02 2016-11-02 富士通株式会社 動画像符号化装置及び動画像符号化方法ならびに動画像符号化用コンピュータプログラム
WO2014072772A1 (en) * 2012-11-12 2014-05-15 Nokia Corporation A shared audio scene apparatus
JP2016058994A (ja) * 2014-09-12 2016-04-21 株式会社 日立産業制御ソリューションズ 監視カメラ装置および監視カメラシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
CN102714713A (zh) * 2010-02-01 2012-10-03 国际商业机器公司 视频流处理
US20130188923A1 (en) * 2012-01-24 2013-07-25 Srsly, Inc. System and method for compiling and playing a multi-channel video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971914A (zh) * 2019-11-22 2020-04-07 北京凯视达科技有限公司 一种在时间轴模式下动态节省视音频解码资源的方法
CN110971914B (zh) * 2019-11-22 2022-03-08 北京凯视达科技股份有限公司 一种在时间轴模式下动态节省视音频解码资源的方法

Also Published As

Publication number Publication date
EP3314609A1 (en) 2018-05-02
WO2017191243A1 (en) 2017-11-09
KR20190005188A (ko) 2019-01-15
GB2549970A (en) 2017-11-08
GB201607823D0 (en) 2016-06-15
JP2019517174A (ja) 2019-06-20
US20200037001A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
CN109074827A (zh) 用于从多个视频片段生成复合视频流的方法和设备
JP6625684B2 (ja) 送信方法、受信方法、送信装置および受信装置
JP5770345B2 (ja) ビデオデータをストリーミングするためのビデオ切替え
TWI670974B (zh) 有效率自適性串流化技術
JP6105717B2 (ja) 低レイテンシストリーミングを処理するための改善されたブロック要求ストリーミングシステム
KR101620151B1 (ko) 클라이언트와, 콘텐트 생성기 엔티티 및 미디어 스트리밍을 위한 이들의 방법
TW201818727A (zh) 用於發送遺失或損壞視訊資料信號之系統及方法
US20140380376A1 (en) Method and apparatus for streaming video
EP3412030A1 (en) Communication apparatus, communication control method, and computer program
TW201230747A (en) Arranging sub-track fragments for streaming video data
CN103039087A (zh) 发信号通知用于串流视频数据的随机存取点
CN103650526A (zh) 用于实时或近实时流传输的播放列表
US9667982B2 (en) Techniques for transform based transcoding
TWI834686B (zh) 用於媒體串流之時間信令傳輸
TW201841511A (zh) 用於視訊之改良式限制方案設計
KR102133207B1 (ko) 통신장치, 통신 제어방법 및 통신 시스템
CN102792710A (zh) 用于播放媒体内容数据的设备和方法
JP2017212611A (ja) 監視カメラシステムによる監視方法及び動画分割装置
JP2009273133A (ja) 階層的映像符号化のための参照フレーム管理装置および方法
US20150063435A1 (en) Techniques for reference based transcoding
JP6501127B2 (ja) 情報処理装置および方法
JP2013165503A (ja) 階層的映像符号化のための参照フレーム管理装置および方法
JP2014207653A (ja) 映像記録装置およびカメラデコーダ
KR101603976B1 (ko) 동영상 파일 결합 방법 및 그 장치
Tallamy Proxy Workflows for a Secure Remote Editing Future

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190417

Address after: Tokyo, Japan

Applicant after: Canon K. K.

Address before: Holland Amstelveen

Applicant before: Canon Europe B.V.

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221

WD01 Invention patent application deemed withdrawn after publication