CN111787341B - 导播方法、装置及系统 - Google Patents

导播方法、装置及系统 Download PDF

Info

Publication number
CN111787341B
CN111787341B CN202010477406.4A CN202010477406A CN111787341B CN 111787341 B CN111787341 B CN 111787341B CN 202010477406 A CN202010477406 A CN 202010477406A CN 111787341 B CN111787341 B CN 111787341B
Authority
CN
China
Prior art keywords
frame
frame interval
reference event
video stream
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010477406.4A
Other languages
English (en)
Other versions
CN111787341A (zh
Inventor
陈越
左佳伟
王林芳
姚霆
梅涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010477406.4A priority Critical patent/CN111787341B/zh
Publication of CN111787341A publication Critical patent/CN111787341A/zh
Priority to US17/999,984 priority patent/US20230209141A1/en
Priority to PCT/CN2021/093223 priority patent/WO2021238653A1/zh
Priority to JP2022573344A priority patent/JP2023527218A/ja
Priority to EP21812681.1A priority patent/EP4145834A4/en
Application granted granted Critical
Publication of CN111787341B publication Critical patent/CN111787341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Biomedical Technology (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)

Abstract

本公开涉及导播方法、装置及系统、计算机可存储介质，涉及计算机技术领域。导播方法包括：获取来自基准机位的基准视频流；对所述基准视频流进行事件识别，得到至少一个基准事件帧区间，每个基准事件帧区间对应唯一的事件，每个基准事件帧区间包括多个连续的、发生相同事件的图像的帧标识；根据事件与机位标识的对应关系，确定所述每个基准事件帧区间的局部序列，所述局部序列包括与该基准事件帧区间对应的待播放视频的每帧图像的机位标识和与该机位标识对应的帧标识；根据各个局部序列，生成导播序列；根据导播序列和相应机位的视频流，生成导播视频。根据本公开，降低了人力成本，提高了导播的实时性和准确性。

Description

导播方法、装置及系统
技术领域
本公开涉及计算机技术领域，特别涉及导播方法、装置及系统、计算机可存储介质。
背景技术
在电视节目制作中，对于场景固定的节目，往往采用多个机位同时拍摄，再将多机位视频流按照一定的叙事规则进行剪辑和融合，形成多角度、多景别的导播视频，以提高节目的全面性和观赏性。
对于影视剧拍摄，在拍摄完成后有充足的时间进行后期的处理和剪辑。而电视直播场景下，各个机位的视频流被直接传输至视频切换台，在团队协同工作下，按照现场编导的指挥，合成符合直播延时要求的导播视频。在这个过程中，现场编导需要结合直播现场的状况，选择合适的机位的视频流进行输出。另外，一些直播场景也需要从多路视频流中挑选出合适的片段进行回放。
通常情况下，一个完整的直播导播团队包括摄像师、剪辑师和现场编导。
摄像师分布于直播现场的多个位置，采用不同制式的摄像机提供不同形式的现场画面。摄像师的工作具有一定的自主性，即按照一定的原则对直播现场进行自主的拍摄。在一些特定情况下，摄像师还受现场编导的指令控制。剪辑师位于导播车内，负责从来自摄像师的多路视频流中挑选出有价值的片段，供回放使用。多数时候需要一人承担多路视频的剪辑。现场编导位于导播车内，观看多路实时视频流和剪辑师提供的回放片段，从中间挑选出合适的素材生成导播视频。现场编导还需要指挥摄像师和剪辑师，以获得有效的原始视频素材和精彩的剪辑片段。
相关技术中，现场编导根据获取到的视频流，人为地在短时间内挑选合适的视频素材，合成导播视频。
发明内容
发明人认为：相关技术，人力成本高，实时性和准确性较差。
针对上述技术问题，本公开提出了一种解决方案，降低了人力成本，提高了导播的实时性和准确性。
根据本公开的第一方面，提供了一种导播方法，包括：获取来自基准机位的基准视频流；对所述基准视频流进行事件识别，得到至少一个基准事件帧区间，每个基准事件帧区间对应唯一的事件，每个基准事件帧区间包括多个连续的、发生相同事件的图像的帧标识；根据事件与机位标识的对应关系，确定所述每个基准事件帧区间的局部序列，所述局部序列包括与该基准事件帧区间对应的待播放视频的每帧图像的机位标识和与该机位标识对应的帧标识；根据各个局部序列，生成导播序列；根据导播序列和相应机位的视频流，生成导播视频。
在一些实施例中，所述至少一个基准事件帧区间包括第i个基准事件帧区间，i为正整数，根据事件与机位标识的对应关系，确定所述每个基准事件帧区间的局部序列包括：根据事件与机位标识的对应关系，确定第i个基准事件帧区间的初始局部序列，所述初始局部序列的起始帧标识和结束帧标识分别为第i个基准事件帧区间的起始帧标识和结束帧标识；获取来自至少一个第一辅助机位的视频流；利用来自至少一个第一辅助机位的视频流，扩展第i个基准事件帧区间的初始局部序列，得到第i个基准事件帧区间的局部序列。
在一些实施例中，所述至少一个基准事件帧区间还包括第i+1个基准事件帧区间，第i个基准事件帧区间的起始帧标识和结束帧标识分别为si和ei，第i+1个基准事件帧区间的起始帧标识为si+1，扩展第i个基准事件帧区间的初始局部序列包括：对于i等于1的情况，在存在si与1不相邻、和ei与si+1不相邻的至少一种的情况下，获取来自至少一个第一辅助机位的si与1之间视频流、和ei与si+1之间的视频流的至少一种，作为扩展视频流；利用所述扩展视频流，扩展第i个基准事件帧区间的初始局部序列，得到第i个基准事件帧区间的局部序列。
在一些实施例中，所述至少一个基准帧区间还包括第i-1个基准事件帧区间，第i-1个基准事件帧区间的局部序列的结束帧标识为Ei-1，扩展第i个基准事件帧区间的初始局部序列包括：对于i大于1的情况，在存在si与Ei-1不相邻、和ei与si+1不相邻的至少一种的情况下，获取来自至少一个第一辅助机位的si与Ei-1之间的视频流、和ei与si+1之间的视频流的至少一种，作为扩展视频流；利用所述扩展视频流，扩展第i个基准事件帧区间的初始局部序列，得到第i个基准事件帧区间的局部序列。
在一些实施例中，扩展视频流为多路，多路扩展视频流来自多个第一辅助机位，扩展第i个基准事件帧区间的初始局部序列包括：对每路扩展视频流进行人脸识别，得到与该路扩展视频流对应的至少一个人脸帧区间，每个人脸帧区间对应唯一的人脸识别结果，每个人脸帧区间包括多个连续的、具有相同人脸识别结果的图像的帧标识；根据各路扩展视频流的各个人脸帧区间，生成至少一个扩展帧区间，每个扩展帧区间包括多个可串联的、与不同第一辅助机位对应的、人脸帧区间的至少一部分；根据所述至少一个扩展帧区间中的、对应的第一辅助机位的数量最多且总帧数最大的扩展帧区间，得到扩展序列，所述扩展序列包括与该扩展帧区间对应的待播放视频的每帧图像的机位标识和与机位标识对应的帧标识；根据所述扩展序列，扩展所述第i个基准事件帧区间的初始局部序列，得到所述第i个基准事件帧区间的局部序列。
在一些实施例中，根据各路扩展视频流的各个人脸帧区间，生成至少一个扩展帧区间包括：对于每个第一辅助机位的扩展视频流，将与所述第i个基准事件帧区间相邻的人脸帧区间，确定为初始扩展帧区间；从与所述第i个基准事件帧区间相邻的人脸帧区间开始，沿着帧标识递减或沿着帧标识递增的方向，将与所述初始扩展帧区间可串联的、除该第一辅助机位以外的其他第一辅助机位的、一个人脸帧区间的至少一部分串接到所述初始扩展帧区间，以更新所述初始扩展帧区间；循环更新所述初始扩展帧区间，直到不再存在与所述初始扩展帧区间可串联的、除与所述初始扩展帧区间对应的第一辅助机位以外的其他第一辅助机位的人脸帧区间；将更新后的初始扩展帧区间，确定为扩展帧区间。
在一些实施例中，所述至少一个基准事件帧区间包括第i个基准事件帧区间和第i+1个基准事件帧区间，i为大于或等于1的整数，第i个基准事件帧区间的起始帧标识和结束帧标识分别为si和ei，第i+1个基准事件帧区间的起始帧标识为si+1，根据事件与机位标识的对应关系，确定所述每个基准事件帧区间的局部序列包括：根据事件与机位标识的对应关系，确定第i个基准事件帧区间的初始局部序列，所述初始局部序列的起始帧标识和结束帧标识分别为si和ei；在ei与si+1不相邻的情况下，根据与所述第i个基准事件帧区间对应的事件，确定回放类型；获取与所述回放类型对应的至少一路回放视频流；根据所述至少一路回放视频流，扩展所述初始局部序列，得到第i个基准事件帧区间的局部序列。
在一些实施例中，扩展所述初始局部序列包括：根据所述至少一路回放视频流，生成至少一个回放序列，每个回放序列包括位于ei与si+1之间的每帧图像的机位标识和与机位标识对应的帧标识；利用所述至少一个回放序列，扩展所述初始局部序列。
在一些实施例中，所述回放类型包括第一回放类型，根据所述回放视频流，生成回放序列包括：在回放类型为第一回放类型的情况下，对所述至少一路回放视频流进行事件识别，得到至少一个辅助事件帧区间，所述辅助事件帧区间包括多个连续的、发生与所述第i个基准事件帧区间对应的事件的图像的帧标识；根据所述至少一个辅助事件帧区间，生成至少一个回放序列。
在一些实施例中，根据所述至少一个辅助事件帧区间，生成至少一个回放序列包括：根据每个辅助事件帧区间的总帧数和权重，对所述至少一个辅助事件帧区间进行排序；根据排序结果，生成至少一个回放序列。
在一些实施例中，所述回放类型包括第一回放类型，获取与所述回放类型对应的至少一路回放视频流包括：在回放类型为第一回放类型的情况下，获取来自至少一个第一辅助机位的si-m和ei+n之间的视频流，作为所述回放视频流，m和n均为大于或等于0的整数。
在一些实施例中，所述回放类型包括第二回放类型，获取与所述回放类型对应的回放视频流包括：在回放类型为第二回放类型的情况下，根据所述基准视频流，获取s’i和e’i之间的与每帧图像对应的机位角度；根据各个机位角度，确定第i个基准事件帧区间对应的事件发生的区域；获取位于所述区域的至少一个第二辅助机位的si和ei之间的视频流，作为所述回放视频流。
在一些实施例中，所述至少一个基准事件帧区间包括第i个基准事件帧区间和第i+1个基准事件帧区间，i为大于或等于1的整数，生成导播序列包括：在第i个基准事件帧区间的局部机位序列的结束帧标识Ei与第i+1个基准事件帧区间的局部机位序列的起始帧标识Si+1不相邻的情况下，生成补充序列，所述补充序列包括位于Ei和Si+1之间的每帧图像的机位和帧标识，位于Ei和Si+1之间的每帧图像的机位为第三辅助机位；合并各个局部序列和补充序列，得到导播序列。
在一些实施例中，基准机位用于提供带球运动员的特写视频流，第一辅助机位用于提供球场上不同角度的特写视频流，第二辅助机位用于提供球场上不同角度的标准视频流，第三辅助机位用于提供观众视角的标准视频流。
在一些实施例中，生成导播视频包括：根据导播序列和相应机位的视频流，获取与导播序列对应的各帧图像；对各帧图像进行编码，得到导播视频。
根据本公开第二方面，提供了一种导播装置，包括：获取模块，被配置为获取来自基准机位的基准视频流；事件识别模块，被配置为对所述基准视频流进行事件识别，得到至少一个基准事件帧区间，每个基准事件帧区间对应唯一的事件，每个基准事件帧区间包括多个连续的、发生相同事件的图像的帧标识；确定模块，被配置为根据事件与机位标识的对应关系，确定所述每个基准事件帧区间的局部序列，所述局部序列包括与该基准事件帧区间对应的待播放视频的每帧图像的机位标识和与该机位标识对应的帧标识；第一生成模块，被配置为根据各个局部序列，生成导播序列；第二生成模块，被配置为根据导播序列和相应机位的视频流，生成导播视频。
根据本公开第三方面，提供了一种导播装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行上述任一实施例所述的导播方法。
根据本公开的第四方面，提供了一种导播系统，包括：上述任一实施例所述的导播装置；和至少一个摄像机，被配置为生成视频流，并将视频流发送到所述导播装置。
根据本公开的第五方面，提供了一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述任一实施例所述的导播方法。
在上述实施例中，降低了人力成本，提高了导播的实时性和准确性。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1是示出根据本公开一些实施例的导播方法的流程图；
图2是示出根据本公开一些实施例的直播现场机位的分布图；
图3是示出根据本公开一些实施例的合并基准事件帧区间的示意图；
图4是示出根据本公开一些实施例的确定每个基准事件帧区间的局部序列的流程图；
图5a是示出根据本公开一些实施例的扩展第i个基准事件帧区间的初始局部序列的流程图；
图5b是示出根据本公开另一些实施例的扩展第i个基准事件帧区间的初始局部序列的流程图；
图6a是示出根据本公开一些实施例的扩展第i个基准事件帧区间的初始局部序列的流程图；
图6b是示出根据本公开一些实施例的生成至少一个扩展帧区间的示意图；
图7是示出根据本公开另一些实施例的确定每个基准事件帧区间的局部序列的流程图；
图8是示出根据本公开一些实施例的导播装置的框图；
图9是示出根据本公开另一些实施例的导播装置的框图；
图10是示出根据本公开一些实施例的导播系统的框图；
图11是示出用于实现本公开一些实施例的计算机系统的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
下面将结合图1和图2详细描述本公开一些实施例的导播方法。
图1是示出根据本公开一些实施例的导播方法的流程图。
图2是示出根据本公开一些实施例的直播现场机位的分布图。
如图1所示，导播方法包括：步骤S10，获取来自基准机位的基准视频流；步骤S20，对基准视频流进行事件识别，得到至少一个基准事件帧区间；步骤S30，确定每个基准事件帧区间的局部序列；步骤S40，根据各个局部序列，生成导播序列；步骤S50，根据导播序列和相应机位的视频流，生成导播视频。
本公开通过事件识别，得到每个基准事件帧区间的局部序列，并根据各个局部序列进行导播，实现了自动导播，降低了人力成本，提高了导播的实时性和准确性。
另外，通过实现自动化导播，大大降低现场导播团队的工作难度，现场编导只需要指挥摄像师拍摄合适的视频素材即可，导播视频的生成和输出由计算机高效、自动地完成。并且，计算机代码具有可定制性，方便对导播逻辑进行修改和定制，能够实现千人千面的导播视频输出，极大地丰富了观众的选择。
在步骤S10中，获取来自基准机位的基准视频流。在一些实施例中，通过输入接口获取来自基准机位的基准视频流。
例如，基准机位为如图2所示的摄像机CAM-2。摄像机CAM-2为4K摄像机，提供带球运动员的特写视频流。摄像机CAM-2的镜头为100倍以上的镜头，为看台特写机位。在一些实施例中，摄像机CAM-2的机位标识为2。例如，图2的各个摄像机位于球场上。
在步骤S20中，对基准视频流进行事件识别，得到至少一个基准事件帧区间。每个基准事件帧区间对应唯一的事件。每个基准事件帧区间包括多个连续的、发生相同事件的图像的帧标识。
在一些实施例中，利用视频事件识别算法进行事件识别。例如，事件识别算法包括但不限于P3D ResNet(Pseudo-3D Residual Networks，伪三维残差网络)算法。
例如，通过如下方式实现对基准视频流进行事件识别。
首先，利用视频事件识别算法，获得基准视频流中每帧图像的事件识别结果。在一些实施例中，每帧图像的事件识别结果标识为P＝[p1,…,pcls]。pcls表示事件标识为cls的事件发生的概率或者无事件发生的概率。例如，在足球直播场景中，cls的取值为大于或等于1且小于或等于7的整数，分别表示六种不同的事件和无事件。
在一些实施例中，足球直播场景中的事件包括但不限于射门、任意球、角球、球门球、边界球和球员冲突。
其次，对基准视频流中的各帧图像的事件识别结果进行平滑操作，得到每帧图像的平滑后的事件识别结果。例如，使用长度为t秒的时间窗口对各帧图像的事件识别结果进行步长为1帧的平滑操作。在一些实施例中，t等于0.5。通过平滑操作，可以降低事件识别的误差，使得事件识别更加准确，从而提高导播的准确性。
例如，平滑后的事件识别结果表示为m＝f×t。f为基准视频流的帧率。表示第1帧图像与第m帧图像之间的中间帧图像的平滑后的事件识别结果。
然后，对于每帧图像，将与平滑后的事件识别结果中的最大概率对应的事件或者无事件，确定为每帧图像的最终事件识别结果。
最后，合并多个连续的、发生相同事件的图像的帧标识，得到至少一个基准事件帧区间。在一些实施例中，还可以将间隔多帧无事件的图像的多个对应相同事件的基准事件帧区间合并为一个基准事件帧区间。
图3是示出根据本公开一些实施例的合并基准事件帧区间的示意图。
如图3所示，a、b、c分别表示不同事件的基准事件帧区间。对于基准视频流，存在两个基准事件帧区间c。两个基准事件帧区间c之间间隔多帧无事件的图像。例如，在间隔的无事件的图像的帧数小于或等于预设阈值的情况下，合并两个基准事件帧区间c为一个事件帧区间c＇。在一些实施例中，预设阈值为f×t1。例如，t1为0.5秒。
返回图1，在得到至少一个基准事件帧区间后，执行步骤S30。
在步骤S30中，根据事件与机位标识的对应关系，确定每个基准事件帧区间的局部序列。局部序列包括与该基准事件帧区间对应的待播放视频的每帧图像的机位标识和与该机位标识对应的帧标识。
例如，至少一个基准事件帧区间包括第i个基准事件帧区间。i为正整数。在一些实施例中，第i个基准事件帧区间的局部序列可以表示为Si和Ei分别为第i个基准事件帧区间的局部序列的起始帧标识和结束帧标识。j为待播放视频的帧标识，j大于或等于Si且小于或等于Ei。k为机位标识，z为与机位标识对应的视频流的帧标识。cj(k,z)表示与第i个基准事件帧区间对应的待播放视频的第j帧图像为来自于机位标识为k的机位的第z帧图像。
例如，表1示出了足球直播场景中的事件与机位标识的对应关系。
表1事件与机位标识的对应关系表
事件 射门 角球 任意球 球员冲突 球门球 边界球
机位标识 1 2 2 1 2 2
如表1所示，在足球直播场景中，射门、角球、任意球、球员冲突、球门球、边界球分别对应机位标识1、2、2、1、2、2。例如，机位标识为1的机位为如图2所示的摄像机CAM-1。摄像机CAM-1为4K摄像机，用于提供观众视角的标准视频流。摄像机CAM-1提供标准镜头，为看台全景机位。
例如，通过如图4所示的步骤实现步骤S30。
图4是示出根据本公开一些实施例的确定每个基准事件帧区间的局部序列的流程图。
如图4所示，确定每个基准事件帧区间的局部序列包括步骤S31-步骤S33。
在步骤S31中，根据事件与机位标识的对应关系，确定第i个基准事件帧区间的初始局部序列。初始局部序列的起始帧标识和结束帧标识分别为第i个基准事件帧区间的起始帧标识和结束帧标识。
例如，第i个基准事件帧区间的事件为角球。根据表1，与角球对应的机位标识为2。
在一些实施例中，第i个基准事件帧区间的起始帧标识和结束帧标识分别为si和ei。第i个基准事件帧区间的初始局部序列表示为cj(2,j)表示与初始局部序列对应的待播放视频的第j帧图像为来自于机位标识为2的视频流的第j帧图像。
在步骤S32中，获取来自至少一个第一辅助机位的视频流。例如，第一辅助机位用于提供球场上不同角度的特写视频流
例如，在足球直播场景中，第一辅助机位为图2所示的机位标识分别为3、7、8、10的摄像机CAM-3、摄像机CAM-7、摄像机CAM-8、摄像机CAM-10。摄像机CAM-3、摄像机CAM-7、摄像机CAM-8和摄像机CAM-10均为4K摄像机，分别提供80倍以上镜头、40倍以上镜头、80倍以上镜头和80倍以上镜头。摄像机CAM-3、摄像机CAM-7和摄像机CAM-10均为地面机位，摄像机CAM-8为看台机位。
在步骤S33中，利用来自至少一个第一辅助机位的视频流，扩展第i个基准事件帧区间的初始局部序列，得到第i个基准事件帧区间的局部序列。
图5a是示出根据本公开一些实施例的扩展第i个基准事件帧区间的初始局部序列的流程图。
在一些实施例中，至少一个基准事件帧区间还包括第i+1个基准事件帧区间，第i+1个基准事件帧区间的起始帧标识为si+1。
如图5a所示，扩展第i个基准事件帧区间的初始局部序列包括：步骤S331-步骤S332。
在步骤S331中，对于i等于1的情况，在存在si与1不相邻、和ei与si+1不相邻的至少一种的情况下，获取来自至少一个第一辅助机位的si与1之间视频流、和ei与si+1之间的视频流的至少一种，作为扩展视频流。例如，这里的不相邻指的是si与1的差值或si+1与ei的差值大于预设差值。在一些实施例中，预设差值为0或f×t2。例如，t2为2秒。
在步骤S332中，利用扩展视频流，扩展第i个基准事件帧区间的初始局部序列，得到第i个基准事件帧区间的局部序列。
图5b是示出根据本公开另一些实施例的扩展第i个基准事件帧区间的初始局部序列的流程图。
在一些实施例中，至少一个基准帧区间还包括第i-1个基准事件帧区间，第i-1个基准事件帧区间的局部序列的结束帧标识为Ei-1。
如图5b所示，扩展第i个基准事件帧区间的初始局部序列包括:步骤S331＇-步骤S332＇。
在步骤S331＇中，对于i大于1的情况，在存在si与Ei-1不相邻、和ei与si+1不相邻的至少一种的情况下，获取来自至少一个第一辅助机位的si与Ei-1之间的视频流、和ei与si+1之间的视频流的至少一种，作为扩展视频流。例如，这里的不相邻指的是si与Ei-1的差值或si+1与ei的差值大于预设差值。在一些实施例中，预设差值为0或f×t2。例如，t2为2秒。
在一些实施例中，在ei与si+1不相邻且si+1与ei的差值大于预设值的情况下，获取来自至少一个第一辅助机位的从ei到ei与预设值的和之间的视频流作为扩展视频流。
在步骤S332＇中，利用扩展视频流，扩展第i个基准事件帧区间的初始局部序列，得到第i个基准事件帧区间的局部序列。
下面将结合图6a和图6b详细描述实现扩展第i个基准事件帧区间的初始局部序列的过程。
图6a是示出根据本公开一些实施例的扩展第i个基准事件帧区间的初始局部序列的流程图。
图6b是示出根据本公开一些实施例的生成至少一个扩展帧区间的示意图。
例如，扩展视频流为多路，多路扩展视频流来自多个第一辅助机位的同一帧区间。
如图6a所示，扩展第i个基准事件帧区间的初始局部序列包括步骤S3321-步骤S3324。
在步骤S3321中，对每路扩展视频流进行人脸识别，得到与该路扩展视频流对应的至少一个人脸帧区间。每个人脸帧区间对应唯一的人脸识别结果。每个人脸帧区间包括多个连续的、具有相同人脸识别结果的图像的帧标识。在一些实施例中，每个人脸帧区间的总帧数大于预设总帧数。例如，预设总帧数为f×t2。例如，t2为2秒。通过控制每个人脸帧区间的总帧数，可以提高观众的观看体验。
在一些实施例中，利用Neuhub京东人工智能开放平台提供的人脸检测SDK(Software Development Kit，软件开发工具包)，进行人脸识别，得到每路扩展视频流的每帧图像的人脸识别结果。进而，根据连续的、具有相同人脸识别结果的多帧图像的多个帧标识，得到至少一个人脸帧区间。例如，每帧图像的人脸识别结果为该帧图像包括的人脸属性。人脸属性包括但不限于教练、替补运动员和场边裁判。
例如，对于si与Ei-1不相邻或si与1不相邻的情况，存在如图6b所示的分别来自图2所示的机位标识为3、7、8的第一辅助机位的扩展视频流1、扩展视频流2和扩展视频流3。
各路扩展视频流来自不同的第一辅助机位。扩展视频流1对应人脸帧区间11和人脸帧区间12。人脸帧区间11为[x1,x2]，人脸帧区间12为[x3,si-1]。扩展视频流2对应人脸帧区间21和人脸帧区间22。人脸帧区间21为[x4,x5]，人脸帧区间22为[x6,si-1]。扩展视频流3对应人脸帧区间31，人脸帧区间31为[x7,si-1]。x1＜x4＜x7＜x2＜x5＜x6＜x3＜si-1。
在步骤S3322中，根据各路扩展视频流的各个人脸帧区间，生成至少一个扩展帧区间。每个扩展帧区间包括多个可串联的、与不同第一辅助机位对应的、人脸帧区间的至少一部分。这里的可串联指的是两个人脸帧区间相邻或有重叠部分。
例如，通过如下方式实现根据各路扩展视频流的各个人脸帧区间，生成至少一个扩展帧区间。
首先，对于每个第一辅助机位的扩展视频流，将与第i个基准事件帧区间相邻的人脸帧区间，确定为初始扩展帧区间。
例如，对于图6b所示的扩展视频流1，将人脸帧区间12，确定为初始扩展帧区间。
其次，从与第i个基准事件帧区间相邻的人脸帧区间开始，沿着帧标识递减或沿着帧标识递增的方向，将与初始扩展帧区间可串联的、除该第一辅助机位以外的其他第一辅助机位的、一个人脸帧区间的至少一部分串接到初始扩展帧区间，以更新初始扩展帧区间。
例如，在si与Ei-1不相邻或si与1不相邻的情况下，对于图6b所示的扩展视频流1，从人脸帧区间12开始，沿着帧标识递减的方向，将与人脸帧区间12可串联的其他第一辅助机位的人脸帧区间31的一部分[x7,x3-1]串接到初始扩展帧区间，以更新初始扩展帧区间。
然后，循环更新初始扩展帧区间，直到不再存在与初始扩展帧区间可串联的、除与初始扩展帧区间对应的第一辅助机位以外的其他第一辅助机位的人脸帧区间。
例如，在si与Ei-1不相邻或si与1不相邻的情况下，对于图6b所示的扩展视频流1，循环更新初始扩展帧区间，可继续将与人脸帧区间31的一部分[x7,x3-1]可串联的的其他第一辅助机位的人脸帧区间21的一部分[x4,x7-1]串接到初始扩展帧区间，实现对初始扩展帧区间[x3,si-1]的更新。
最后，将更新后的初始扩展帧区间，确定为扩展帧区间。
例如，在si与Ei-1不相邻或si与1不相邻的情况下，对于图6b所示的扩展视频流1，可以确定由人脸帧区间21的一部分[x4,x7-1]、人脸帧区间31的一部分[x7,x3-1]以及人脸帧区间12的全部[x3,si-1]串接得到的一个扩展帧区间。
在步骤S3323中，根据至少一个扩展帧区间中的、对应的第一辅助机位的数量最多且总帧数最大的扩展帧区间，得到扩展序列。扩展序列包括与该扩展帧区间对应的待播放视频的每帧图像的机位标识和与机位标识对应的帧标识。
例如，在si与Ei-1不相邻或si与1不相邻的情况下，对于图6b所示的扩展视频流1，由人脸帧区间21的一部分[x4,x7-1]、人脸帧区间31的一部分[x7,x3-1]以及人脸帧区间12的全部[x3,si-1]串接得到的一个扩展帧区间中、对应的第一辅助机位的数量最多且总帧数最大。根据该扩展帧区间，得到扩展序列。
例如，得到的扩展序列为
在步骤S3324中，根据扩展序列，扩展第i个基准事件帧区间的初始局部序列，得到第i个基准事件帧区间的局部序列。
例如，通过扩展得到的第i个基准事件帧区间的局部序列为
例如，对于ei与si+1不相邻的情况，还可以沿着帧标识递增的方向，进行扩展，得到扩展序列。该扩展序列用于在后，对初始局部序列进行扩展。
在一些实施例中，对于ei与si+1不相邻的情况，考虑到要预留给摄像师一定的反应时间，此种情况下的扩展序列的起始标识通常为与第i个事件帧区间的结束帧标识相隔一定帧数量的帧标识。而扩展序列的起始帧标识与第i个事件帧区间的结束帧标识之间的序列采用第三辅助机位的相应的帧图像的序列进行补充。
例如，第三辅助机位用于提供观众视角的标准视频流。在一些实施例中，在足球直播场景中，第三辅助机位为图2的摄像机CAM-1。摄像机CAM-1为4K摄像机，提供标准镜头，为看台全景机位。
在一些实施例中，在si与Ei-1不相邻和ei与si+1不相邻两种情况均存在，或者si与1不相邻和ei与si+1不相邻两种情况均存在的情况下，同时得到两个扩展序列，同时对初始局部序列进行相应地扩展。
例如，还可以通过如图7所示的步骤实现步骤S30确定每个基准事件帧区间的局部序列。
图7是示出根据本公开另一些实施例的确定每个基准事件帧区间的局部序列的流程图。
如图7所示，确定每个基准事件帧区间的局部序列包括步骤S31＇-步骤S34＇。
在步骤S31＇中，根据事件与机位标识的对应关系，确定第i个基准事件帧区间的初始局部序列。初始局部序列的起始帧标识和结束帧标识分别为si和ei。
在步骤S32＇中，在ei与si+1不相邻的情况下，根据与第i个基准事件帧区间对应的事件，确定回放类型。例如，在足球直播场景中，回放类型包括第一回放类型和第二回放类型。在一些实施例中，第一回放类型为特写机位慢速回放，第二回放类型为标准机位常速回放。
例如，在事件为球员冲突的情况下，回放类型为特写机位慢速回放。在事件为射门、角球或任意球的情况下，回放类型为标准机位常速回放。
在步骤S33＇中，获取与回放类型对应的至少一路回放视频流。
例如，在回放类型为第一回放类型的情况下，获取来自至少一个第一辅助机位的si-m和ei+n之间的视频流，作为回放视频流。m和n均为大于或等于0的整数。通常情况下，由于特写机位存在遮挡等情况，不能保证时间发生时，所有特写机位均能拍到相同事件的画面，因此会相对于第i个事件帧区间的起始帧标识和结束帧标识左右各增加一定范围，得到回放视频流。
例如，在回放类型为第二回放类型的情况下，根据基准视频流，获取s’i和e’i之间的与每帧图像对应的机位角度。进而，根据各个机位角度，确定第i个基准事件帧区间对应的事件发生的区域。从而，获取位于该区域的至少一个第二辅助机位的si和ei之间的视频流，作为回放视频流。例如，机位角度的取值范围为[-90,90]，单位为度。
例如，第二辅助机位用于提供球场上不同角度的标准视频流。在一些实施例中，第二辅助机位为图2中的摄像机CAM-4、摄像机CAM-5、摄像机CAM-6和摄像机CAM-9。摄像机CAM-4、摄像机CAM-5、摄像机CAM-6和摄像机CAM-9的机位标识分别为4、5、6和9，均为4K摄像机，提供标准镜头。摄像机CAM-4和摄像机CAM-6分别为左侧看台越位机位和左侧地面机位。摄像机CAM-5和摄像机CAM-9分别为右侧看台越位机位和右侧地面机位。
例如，通过如下方式实现确定事件发生的区域。
首先，根据各个机位角度，生成机位角度序列
然后，计算机位角度序列A的一元一次线型回归方程：a＝k×x+b。其中a为角度，x为角度序列A的索引值x∈[0,ei-si),x∈N。该一元一次方程简单描述了第i个事件帧区间内，基准机位的机位角度的变化过程。
例如，在k×b大于0(k和b的正负性相同)的情况下，事件发生的区域在某半场区域。在k为正且b为正的情况下，事件开始时机位角度偏向右半场区域，随着事件的发生机位角度逐渐向右偏移。在k为负且b为负的情况下，事件开始时机位角度偏向左半场区域，随着事件的发生机位角度逐渐向左偏移。
在k×b小于0(k和b的正负性不同)的情况下，事件发生时跨越了半场。对于跨越半场的事件，认为其对球门没有产生威胁，不进行回放。
在步骤S34＇中，根据至少一路回放视频流，扩展初始局部序列，得到第i个基准事件帧区间的局部序列。
例如，通过如下方式实现根据至少一路回放视频流，扩展初始局部序列。
首先，根据至少一路回放视频流，生成至少一个回放序列。每个回放序列包括位于ei与si+1之间的每帧图像的机位标识和与机位标识对应的帧标识。
例如，在回放类型为第一回放类型的情况下，对至少一路回放视频流进行事件识别，得到至少一个辅助事件帧区间。进而，根据至少一个辅助事件帧区间，生成至少一个回放序列。辅助事件帧区间包括多个连续的、发生与所述第i个基准事件帧区间对应的事件的图像的帧标识。
例如，根据每个辅助事件帧区间的总帧数和权重，对至少一个辅助事件帧区间进行排序。进而，根据排序结果，生成至少一个回放序列。在一些实施例中，在第一回放类型为特写机位慢速回放的情况下，对回放序列按照慢动作速率进行插帧处理，生成慢速回放序列。在回放序列对应的机位为高速相机的情况下，无需进行插帧处理。
在一些实施例中，在回放类型为第二回放类型的情况下，在获取位于该区域的至少一个第二辅助机位的si和ei之间的视频流作为回放视频流后，根据至少一个回放视频流，生成至少一个回放序列。例如，根据每个回放视频流的起始帧标识和结束帧标识、以及其对应的机位标识，生成相应的回放序列。
然后，在生成至少一个回放序列后，利用至少一个回放序列，扩展初始局部序列。
例如，在初始局部序列的结束帧标识之后，串接尽可能多的回放序列，得到局部序列。在一些实施例中，还可以在利用扩展序列扩展初始局部序列以后，继续串接尽可能多的回放序列，得到局部序列。
返回图1，在确定每个基准事件帧区间的局部序列后，执行步骤S40。
在步骤S40中，根据各个局部序列，生成导播序列。
例如，合并各个局部序列，得到导播序列。
在一些实施例中，在第i个基准事件帧区间的局部机位序列的结束帧标识Ei与第i+1个基准事件帧区间的局部机位序列的起始帧标识Si+1不相邻的情况下，生成补充序列。补充序列包括位于Ei和Si+1之间的每帧图像的机位和帧标识，位于Ei和Si+1之间的每帧图像的机位为第三辅助机位。进而，合并各个局部序列和补充序列，得到导播序列。
在步骤S50中，根据导播序列和相应机位的视频流，生成导播视频。在一些实施例中，根据导播序列和相应机位的视频流，获取与导播序列对应的各帧图像。进而，对各帧图像进行编码，得到导播视频。
例如，通过视频输入接口获取到来自各摄像机的视频流后，将视频流存储到缓存中，在得到导播序列后，根据导播序列提供的每帧图像的机位标识和与机位标识对应的帧标识，从缓存的相应机位的视频流中获取相应帧标识的图像，将各帧图像按顺序编码，得到导播视频。
在一些实施例中，通过视频输出接口将导播视频输出进行直播。
图8是示出根据本公开一些实施例的导播装置的框图。
如图8所示，导播装置8包括获取模块81、事件识别模块82、确定模块83、第一生成模块84和第二生成模块85。
获取模块81被配置为获取来自基准机位的基准视频流，例如执行如图1所示的步骤S10。
在一些实施例中，导播装置8还包括输入接口80。获取模块81通过输入接口80获取来自基准机位的基准视频流。
事件识别模块82被配置为对基准视频流进行事件识别，得到至少一个基准事件帧区间，例如执行如图1所示的步骤S20。每个基准事件帧区间对应唯一的事件。每个基准事件帧区间包括多个连续的、发生相同事件的图像的帧标识。
确定模块83被配置为根据事件与机位标识的对应关系，确定每个基准事件帧区间的局部序列，例如执行如图1所示的步骤S30。局部序列包括与该基准事件帧区间对应的待播放视频的每帧图像的机位标识和与该机位标识对应的帧标识。
第一生成模块84被配置为根据各个局部序列，生成导播序列，例如执行如图1所示的步骤S40。
第二生成模块85被配置为根据导播序列和相应机位的视频流，生成导播视频，例如执行如图1所示的步骤S50。
在一些实施例中，导播装置8还包括缓存86。缓存86被配置为存储相应机位的视频流。例如，获取模块81可以通过输入接口80获取相应机位的视频流，并缓存在缓存86中。
在一些实施例中，导播装置8还包括输出接口87。第二生成模块85通过输出接口87将导播视频输出，用于直播。
图9是示出根据本公开另一些实施例的导播装置的框图。
如图9所示，导播装置9包括存储器91；以及耦接至该存储器91的处理器92。存储器91用于存储执行导播方法对应实施例的指令。处理器92被配置为基于存储在存储器91中的指令，执行本公开中任意一些实施例中的导播方法。
图10是示出根据本公开一些实施例的导播系统的框图。
如图10所示，导播系统10包括导播装置101和至少一个摄像机102。导播装置101为本公开任意一些实施例中的导播装置。导播装置101被配置为执行本公开任意一些实施例中的导播方法。
至少一个摄像机102被配置为生成视频流，并将视频流发送到导播装置。一个摄像机对应一个机位，具有唯一的机位标识。视频流包括但不限于基准视频流和相应机位的视频流。
图11是示出用于实现本公开一些实施例的计算机系统的框图。
如图11所示，计算机系统110可以通用计算设备的形式表现。计算机系统110包括存储器1110、处理器1120和连接不同系统组件的总线1100。
存储器1110例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(RAM)和/或高速缓存存储器。非易失性存储介质例如存储有执行导播方法中的至少一种的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。
处理器1120可以用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(CPU)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。
总线1100可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、外围组件互连(PCI)总线。
计算机系统110还可以包括输入输出接口1130、网络接口1140、存储接口1150等。这些接口1130、1140、1150以及存储器1110和处理器1120之间可以通过总线1100连接。输入输出接口1130可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口1140为各种联网设备提供连接接口。存储接口1150为软盘、U盘、SD卡等外部存储设备提供连接接口。
这里，参照根据本公开实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个框以及各框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可提供到通用计算机、专用计算机或其他可编程装置的处理器，以产生一个机器，使得通过处理器执行指令产生实现在流程图和/或框图中一个或多个框中指定的功能的装置。
这些计算机可读程序指令也可存储在计算机可读存储器中，这些指令使得计算机以特定方式工作，从而产生一个制造品，包括实现在流程图和/或框图中一个或多个框中指定的功能的指令。
本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
通过上述实施例中的导播方法、装置及系统、计算机可存储介质，降低了人力成本，提高了导播的实时性和准确性。
至此，已经详细描述了根据本公开的导播方法、装置及系统、计算机可存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

Claims (17)

1.一种导播方法，包括：
获取来自基准机位的基准视频流；
对所述基准视频流进行事件识别，得到至少一个基准事件帧区间，每个基准事件帧区间对应唯一的事件，每个基准事件帧区间包括多个连续的、发生相同事件的图像的帧标识；
根据事件与机位标识的对应关系，确定待播放视频的机位标识；根据所述待播放视频的机位标识、以及所述基准事件帧区间确定所述每个基准事件帧区间的局部序列，所述局部序列包括与该基准事件帧区间对应的待播放视频的每帧图像的机位标识和与该机位标识对应的帧标识；
根据各个局部序列，生成导播序列；
根据导播序列和相应机位的视频流，生成导播视频；
其中，所述至少一个基准事件帧区间包括第i个基准事件帧区间和第i+1个基准事件帧区间，i为大于或等于1的整数，第i个基准事件帧区间的起始帧标识和结束帧标识分别为si和ei，第i+1个基准事件帧区间的起始帧标识为si+1，根据所述待播放视频的机位标识、以及所述基准事件帧区间确定所述每个基准事件帧区间的局部序列包括：
根据所述待播放视频的机位标识、以及所述基准事件帧区间，确定第i个基准事件帧区间的初始局部序列，所述初始局部序列的起始帧标识和结束帧标识分别为si和ei；
在ei与si+1不相邻的情况下，根据与所述第i个基准事件帧区间对应的事件，确定回放类型；
获取与所述回放类型对应的至少一路回放视频流，包括：在回放类型为第一回放类型的情况下，获取来自至少一个第一辅助机位的si-m和ei+n之间的视频流，作为所述回放视频流，m和n均为大于或等于0的整数；
根据所述至少一路回放视频流，扩展所述初始局部序列，得到第i个基准事件帧区间的局部序列。
2.根据权利要求1所述的导播方法，其中，所述至少一个基准事件帧区间包括第i个基准事件帧区间，i为正整数，根据所述待播放视频的机位标识、以及所述基准事件帧区间确定所述每个基准事件帧区间的局部序列包括：
根据所述待播放视频的机位标识、以及所述基准事件帧区间，确定第i个基准事件帧区间的初始局部序列，所述初始局部序列的起始帧标识和结束帧标识分别为第i个基准事件帧区间的起始帧标识和结束帧标识；
获取来自至少一个第一辅助机位的视频流；
利用来自至少一个第一辅助机位的视频流，扩展第i个基准事件帧区间的初始局部序列，得到第i个基准事件帧区间的局部序列。
3.根据权利要求2所述的导播方法，其中，所述至少一个基准事件帧区间还包括第i+1个基准事件帧区间，第i个基准事件帧区间的起始帧标识和结束帧标识分别为si和ei，第i+1个基准事件帧区间的起始帧标识为si+1，扩展第i个基准事件帧区间的初始局部序列包括：
对于i等于1的情况，在存在si与1不相邻、和ei与si+1不相邻的至少一种的情况下，获取来自至少一个第一辅助机位的si与1之间视频流、和ei与si+1之间的视频流的至少一种，作为扩展视频流；
利用所述扩展视频流，扩展第i个基准事件帧区间的初始局部序列，得到第i个基准事件帧区间的局部序列。
4.根据权利要求2所述的导播方法，其中，所述至少一个基准帧区间还包括第i-1个基准事件帧区间，第i-1个基准事件帧区间的局部序列的结束帧标识为Ei-1，扩展第i个基准事件帧区间的初始局部序列包括：
对于i大于1的情况，在存在si与Ei-1不相邻、和ei与si+1不相邻的至少一种的情况下，获取来自至少一个第一辅助机位的si与Ei-1之间的视频流、和ei与si+1之间的视频流的至少一种，作为扩展视频流；
利用所述扩展视频流，扩展第i个基准事件帧区间的初始局部序列，得到第i个基准事件帧区间的局部序列。
5.根据权利要求3或4所述的导播方法，其中，扩展视频流为多路，多路扩展视频流来自多个第一辅助机位，扩展第i个基准事件帧区间的初始局部序列包括：
对每路扩展视频流进行人脸识别，得到与该路扩展视频流对应的至少一个人脸帧区间，每个人脸帧区间对应唯一的人脸识别结果，每个人脸帧区间包括多个连续的、具有相同人脸识别结果的图像的帧标识；
根据各路扩展视频流的各个人脸帧区间，生成至少一个扩展帧区间，每个扩展帧区间包括多个可串联的、与不同第一辅助机位对应的、人脸帧区间的至少一部分；
根据所述至少一个扩展帧区间中的、对应的第一辅助机位的数量最多且总帧数最大的扩展帧区间，得到扩展序列，所述扩展序列包括与该扩展帧区间对应的待播放视频的每帧图像的机位标识和与机位标识对应的帧标识；
根据所述扩展序列，扩展所述第i个基准事件帧区间的初始局部序列，得到所述第i个基准事件帧区间的局部序列。
6.根据权利要求5所述的导播方法，其中，根据各路扩展视频流的各个人脸帧区间，生成至少一个扩展帧区间包括：
对于每个第一辅助机位的扩展视频流，将与所述第i个基准事件帧区间相邻的人脸帧区间，确定为初始扩展帧区间；
从与所述第i个基准事件帧区间相邻的人脸帧区间开始，沿着帧标识递减或沿着帧标识递增的方向，将与所述初始扩展帧区间可串联的、除该第一辅助机位以外的其他第一辅助机位的、一个人脸帧区间的至少一部分串接到所述初始扩展帧区间，以更新所述初始扩展帧区间；
循环更新所述初始扩展帧区间，直到不再存在与所述初始扩展帧区间可串联的、除与所述初始扩展帧区间对应的第一辅助机位以外的其他第一辅助机位的人脸帧区间；
将更新后的初始扩展帧区间，确定为扩展帧区间。
7.根据权利要求1所述的导播方法，其中，扩展所述初始局部序列包括：
根据所述至少一路回放视频流，生成至少一个回放序列，每个回放序列包括位于ei与si+1之间的每帧图像的机位标识和与机位标识对应的帧标识；
利用所述至少一个回放序列，扩展所述初始局部序列。
8.根据权利要求7所述的导播方法，其中，所述回放类型包括第一回放类型，根据所述回放视频流，生成回放序列包括：
在回放类型为第一回放类型的情况下，对所述至少一路回放视频流进行事件识别，得到至少一个辅助事件帧区间，所述辅助事件帧区间包括多个连续的、发生与所述第i个基准事件帧区间对应的事件的图像的帧标识；
根据所述至少一个辅助事件帧区间，生成至少一个回放序列。
9.根据权利要求8所述的导播方法，其中，根据所述至少一个辅助事件帧区间，生成至少一个回放序列包括：
根据每个辅助事件帧区间的总帧数和权重，对所述至少一个辅助事件帧区间进行排序；
根据排序结果，生成至少一个回放序列。
10.根据权利要求1所述的导播方法，其中，所述回放类型包括第二回放类型，获取与所述回放类型对应的回放视频流包括：
在回放类型为第二回放类型的情况下，根据所述基准视频流，获取s’i和e’i之间的与每帧图像对应的机位角度；
根据各个机位角度，确定第i个基准事件帧区间对应的事件发生的区域；
获取位于所述区域的至少一个第二辅助机位的si和ei之间的视频流，作为所述回放视频流。
11.根据权利要求1-4、6-10任一项所述的导播方法，其中，所述至少一个基准事件帧区间包括第i个基准事件帧区间和第i+1个基准事件帧区间，i为大于或等于1的整数，生成导播序列包括：
在第i个基准事件帧区间的局部机位序列的结束帧标识Ei与第i+1个基准事件帧区间的局部机位序列的起始帧标识Si+1不相邻的情况下，生成补充序列，所述补充序列包括位于Ei和Si+1之间的每帧图像的机位和帧标识，位于Ei和Si+1之间的每帧图像的机位为第三辅助机位；
合并各个局部序列和补充序列，得到导播序列。
12.根据权利要求11所述的导播方法，其中，基准机位用于提供带球运动员的特写视频流，第一辅助机位用于提供球场上不同角度的特写视频流，第二辅助机位用于提供球场上不同角度的标准视频流，第三辅助机位用于提供观众视角的标准视频流。
13.根据权利要求1所述的导播方法，其中，生成导播视频包括：
根据导播序列和相应机位的视频流，获取与导播序列对应的各帧图像；
对各帧图像进行编码，得到导播视频。
14.一种导播装置，包括：
获取模块，被配置为获取来自基准机位的基准视频流；
事件识别模块，被配置为对所述基准视频流进行事件识别，得到至少一个基准事件帧区间，每个基准事件帧区间对应唯一的事件，每个基准事件帧区间包括多个连续的、发生相同事件的图像的帧标识；
确定模块，被配置为根据事件与机位标识的对应关系，确定待播放视频的机位标识；根据所述待播放视频的机位标识、以及所述基准事件帧区间确定所述每个基准事件帧区间的局部序列，所述局部序列包括与该基准事件帧区间对应的待播放视频的每帧图像的机位标识和与该机位标识对应的帧标识；
第一生成模块，被配置为根据各个局部序列，生成导播序列；
第二生成模块，被配置为根据导播序列和相应机位的视频流，生成导播视频；
其中，所述至少一个基准事件帧区间包括第i个基准事件帧区间和第i+1个基准事件帧区间，i为大于或等于1的整数，第i个基准事件帧区间的起始帧标识和结束帧标识分别为si和ei，第i+1个基准事件帧区间的起始帧标识为si+1，所述确定模块根据所述待播放视频的机位标识、以及所述基准事件帧区间确定所述每个基准事件帧区间的局部序列包括：
根据所述待播放视频的机位标识、以及所述基准事件帧区间，确定第i个基准事件帧区间的初始局部序列，所述初始局部序列的起始帧标识和结束帧标识分别为si和ei；
在ei与si+1不相邻的情况下，根据与所述第i个基准事件帧区间对应的事件，确定回放类型；
获取与所述回放类型对应的至少一路回放视频流，包括：在回放类型为第一回放类型的情况下，获取来自至少一个第一辅助机位的si-m和ei+n之间的视频流，作为所述回放视频流，m和n均为大于或等于0的整数；
根据所述至少一路回放视频流，扩展所述初始局部序列，得到第i个基准事件帧区间的局部序列。
15.一种导播装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如权利要求1至13任一项所述的导播方法。
16.一种导播系统，包括：
如权利要求14-15任一项所述的导播装置；和
至少一个摄像机，被配置为生成视频流，并将视频流发送到所述导播装置。
17.一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求1至13任一项所述的导播方法。
CN202010477406.4A 2020-05-29 2020-05-29 导播方法、装置及系统 Active CN111787341B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010477406.4A CN111787341B (zh) 2020-05-29 2020-05-29 导播方法、装置及系统
US17/999,984 US20230209141A1 (en) 2020-05-29 2021-05-12 Broadcast directing method, apparatus and system
PCT/CN2021/093223 WO2021238653A1 (zh) 2020-05-29 2021-05-12 导播方法、装置及系统
JP2022573344A JP2023527218A (ja) 2020-05-29 2021-05-12 放送演出方法、装置、およびシステム
EP21812681.1A EP4145834A4 (en) 2020-05-29 2021-05-12 BROADCAST ALIGNMENT METHOD, APPARATUS AND SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010477406.4A CN111787341B (zh) 2020-05-29 2020-05-29 导播方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111787341A CN111787341A (zh) 2020-10-16
CN111787341B true CN111787341B (zh) 2023-12-05

Family

ID=72754458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010477406.4A Active CN111787341B (zh) 2020-05-29 2020-05-29 导播方法、装置及系统

Country Status (5)

Country Link
US (1) US20230209141A1 (zh)
EP (1) EP4145834A4 (zh)
JP (1) JP2023527218A (zh)
CN (1) CN111787341B (zh)
WO (1) WO2021238653A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787341B (zh) * 2020-05-29 2023-12-05 北京京东尚科信息技术有限公司 导播方法、装置及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662919A (zh) * 2011-02-10 2012-09-12 微软公司 对内容片段设置书签
WO2014206473A1 (en) * 2013-06-27 2014-12-31 Abb Technology Ltd Method and video communication device for transmitting video to a remote user
CN104581380A (zh) * 2014-12-30 2015-04-29 联想(北京)有限公司 一种信息处理的方法及移动终端
WO2018076998A1 (zh) * 2016-10-28 2018-05-03 北京奇虎科技有限公司 一种回放视频文件的生成方法和装置
CN108540817A (zh) * 2018-05-08 2018-09-14 成都市喜爱科技有限公司 视频数据处理方法、装置、服务器及计算机可读存储介质
WO2018166275A1 (zh) * 2017-03-17 2018-09-20 北京京东尚科信息技术有限公司 播放方法和播放装置以及计算机可读存储介质
WO2018223554A1 (zh) * 2017-06-08 2018-12-13 简极科技有限公司 一种多源视频剪辑播放方法及系统
CN109194978A (zh) * 2018-10-15 2019-01-11 广州虎牙信息科技有限公司 直播视频剪辑方法、装置和电子设备
CN109326310A (zh) * 2017-07-31 2019-02-12 西梅科技(北京)有限公司 一种自动剪辑的方法、装置及电子设备
CN110049345A (zh) * 2019-03-11 2019-07-23 北京河马能量体育科技有限公司 一种多视频流导播方法及导播处理系统
CN110381366A (zh) * 2019-07-09 2019-10-25 新华智云科技有限公司 赛事自动化报道方法、系统、服务器及存储介质
CN110798692A (zh) * 2019-09-27 2020-02-14 咪咕视讯科技有限公司 一种视频直播方法、服务器及存储介质
CN110933460A (zh) * 2019-12-05 2020-03-27 腾讯科技（深圳）有限公司 视频的拼接方法及装置、计算机存储介质
CN110944123A (zh) * 2019-12-09 2020-03-31 北京理工大学 一种体育赛事智能导播方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004014061A2 (en) * 2002-08-02 2004-02-12 University Of Rochester Automatic soccer video analysis and summarization
WO2006009521A1 (en) * 2004-07-23 2006-01-26 Agency For Science, Technology And Research System and method for replay generation for broadcast video
US8274564B2 (en) * 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
US9235765B2 (en) * 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US9372531B2 (en) * 2013-03-12 2016-06-21 Gracenote, Inc. Detecting an event within interactive media including spatialized multi-channel audio content
US9241103B2 (en) * 2013-03-15 2016-01-19 Voke Inc. Apparatus and method for playback of multiple panoramic videos with control codes
US11165994B2 (en) * 2013-05-13 2021-11-02 Texas Instruments Incorporated Analytics-driven summary views for surveillance networks
WO2014192487A1 (ja) * 2013-05-29 2014-12-04 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
US10075680B2 (en) * 2013-06-27 2018-09-11 Stmicroelectronics S.R.L. Video-surveillance method, corresponding system, and computer program product
US20150116501A1 (en) * 2013-10-30 2015-04-30 Sony Network Entertainment International Llc System and method for tracking objects
KR102105189B1 (ko) * 2013-10-31 2020-05-29 한국전자통신연구원 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
US20150128174A1 (en) * 2013-11-04 2015-05-07 Broadcom Corporation Selecting audio-video (av) streams associated with an event
US9600723B1 (en) * 2014-07-03 2017-03-21 Google Inc. Systems and methods for attention localization using a first-person point-of-view device
US10129582B2 (en) * 2015-06-30 2018-11-13 Kempt, LLC Systems, methods, and computer program products for capturing spectator content displayed at live events
US9916867B2 (en) * 2016-01-06 2018-03-13 Hulu, LLC Video capture and testing of media player playback of a video
EP3526794A1 (en) * 2016-10-14 2019-08-21 Rovi Guides, Inc. Systems and methods for providing a slow motion video stream concurrently with a normal-speed video stream upon detection of an event
KR102117686B1 (ko) * 2016-11-01 2020-06-01 주식회사 케이티 영상 제공 서버, 영상 제공 방법 및 사용자 단말
US10951879B2 (en) * 2017-12-04 2021-03-16 Canon Kabushiki Kaisha Method, system and apparatus for capture of image data for free viewpoint video
CN109714644B (zh) * 2019-01-22 2022-02-25 广州虎牙信息科技有限公司 一种视频数据的处理方法、装置、计算机设备和存储介质
CN110996138B (zh) * 2019-12-17 2021-02-05 腾讯科技（深圳）有限公司 一种视频标注方法、设备及存储介质
CN111787341B (zh) * 2020-05-29 2023-12-05 北京京东尚科信息技术有限公司 导播方法、装置及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662919A (zh) * 2011-02-10 2012-09-12 微软公司 对内容片段设置书签
WO2014206473A1 (en) * 2013-06-27 2014-12-31 Abb Technology Ltd Method and video communication device for transmitting video to a remote user
CN104581380A (zh) * 2014-12-30 2015-04-29 联想(北京)有限公司 一种信息处理的方法及移动终端
WO2018076998A1 (zh) * 2016-10-28 2018-05-03 北京奇虎科技有限公司 一种回放视频文件的生成方法和装置
CN108632661A (zh) * 2017-03-17 2018-10-09 北京京东尚科信息技术有限公司 播放方法和播放装置
WO2018166275A1 (zh) * 2017-03-17 2018-09-20 北京京东尚科信息技术有限公司 播放方法和播放装置以及计算机可读存储介质
WO2018223554A1 (zh) * 2017-06-08 2018-12-13 简极科技有限公司 一种多源视频剪辑播放方法及系统
CN109326310A (zh) * 2017-07-31 2019-02-12 西梅科技(北京)有限公司 一种自动剪辑的方法、装置及电子设备
CN108540817A (zh) * 2018-05-08 2018-09-14 成都市喜爱科技有限公司 视频数据处理方法、装置、服务器及计算机可读存储介质
CN109194978A (zh) * 2018-10-15 2019-01-11 广州虎牙信息科技有限公司 直播视频剪辑方法、装置和电子设备
CN110049345A (zh) * 2019-03-11 2019-07-23 北京河马能量体育科技有限公司 一种多视频流导播方法及导播处理系统
CN110381366A (zh) * 2019-07-09 2019-10-25 新华智云科技有限公司 赛事自动化报道方法、系统、服务器及存储介质
CN110798692A (zh) * 2019-09-27 2020-02-14 咪咕视讯科技有限公司 一种视频直播方法、服务器及存储介质
CN110933460A (zh) * 2019-12-05 2020-03-27 腾讯科技（深圳）有限公司 视频的拼接方法及装置、计算机存储介质
CN110944123A (zh) * 2019-12-09 2020-03-31 北京理工大学 一种体育赛事智能导播方法

Also Published As

Publication number Publication date
EP4145834A1 (en) 2023-03-08
WO2021238653A1 (zh) 2021-12-02
JP2023527218A (ja) 2023-06-27
US20230209141A1 (en) 2023-06-29
CN111787341A (zh) 2020-10-16
EP4145834A4 (en) 2024-03-20

Similar Documents

Publication Publication Date Title
CN109326310B (zh) 一种自动剪辑的方法、装置及电子设备
US9313421B2 (en) Multiple-input configuration and playback video enhancement
US8599317B2 (en) Scene recognition methods for virtual insertions
CN105765959B (zh) 用于制作视频作品的方法和系统
Ariki et al. Automatic production system of soccer sports video by digital camera work based on situation recognition
CN111357295B (zh) 用于将用户特定内容融合到视频制作中的方法和系统
CN103020648B (zh) 一种动作类型识别方法、节目播出方法及装置
US20110293241A1 (en) Video processing apparatus and control method thereof
CN103152518A (zh) 图像处理系统和方法
US8973029B2 (en) Backpropagating a virtual camera to prevent delayed virtual insertion
CN111787341B (zh) 导播方法、装置及系统
WO2016139898A1 (ja) ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法
US11172185B2 (en) Information processing apparatus, information processing method, video processing system, and storage medium
KR20180133893A (ko) 매체 환경 중심 콘텐츠 배포 플랫폼
Zhang et al. Boosting-based multimodal speaker detection for distributed meeting videos
CN111741325A (zh) 视频播放方法、装置、电子设备及计算机可读存储介质
WO2021017496A1 (zh) 导播方法、装置及计算机可读存储介质
KR20110001333A (ko) 다수의 카메라센서를 이용한 가상 이미지가 합성된 방송영상의 송출 방법
CN114666457A (zh) 一种视音频节目的导播方法、装置、设备、系统及介质
CN104363384A (zh) 一种视频融合中基于行的硬件缝合方法
CN115914718A (zh) 截取引擎渲染内容的虚拟制片视频重映方法及系统
CN111935417B (zh) 基于多尺度相机阵列的分级视频拼接方法及装置
EP2940989B1 (en) Method and apparatus for generating composite image in electronic device
JP2022182119A (ja) 画像処理装置およびその制御方法、プログラム
CN113012194B (zh) 目标追踪方法、装置、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant