CN111787243B - 导播方法、装置及计算机可读存储介质 - Google Patents
导播方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111787243B CN111787243B CN201910701261.9A CN201910701261A CN111787243B CN 111787243 B CN111787243 B CN 111787243B CN 201910701261 A CN201910701261 A CN 201910701261A CN 111787243 B CN111787243 B CN 111787243B
- Authority
- CN
- China
- Prior art keywords
- video
- editing
- director
- preset event
- editing strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000000694 effects Effects 0.000 claims abstract description 134
- 238000013507 mapping Methods 0.000 claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims description 62
- 238000001514 detection method Methods 0.000 claims description 42
- 238000009877 rendering Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000007418 data mining Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/28—Mobile studios
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供了一种导播方法、装置及计算机可读存储介质，涉及多媒体技术领域。其中的导播方法包括：对活动现场的视频画面进行视频分析，以检测活动现场是否发生预设事件；在检测到活动现场发生预设事件的情况下，查找事件与编辑策略映射表，以确定预设事件对应的视频编辑策略；根据视频编辑策略对视频画面进行编辑，得到导播视频。本公开能够对活动现场的视频画面进行自动导播，减少对导播人员的依赖，降低了导播过程中的人力成本。
Description
技术领域
本公开涉及多媒体技术领域，特别涉及一种导播方法、装置及计算机可读存储介质。
背景技术
当前的体育赛事、演唱会等活动现场进行导播时，采用人工控制的形式。摄像师对活动现场的视频画面进行采集，并将活动现场多个机位的视频画面传输至导播车，由导播车上的导播团队根据专业知识和导播经验对现场多个机位的视频画面进行编辑，形成导播视频画面。
发明内容
本公开解决的一个技术问题是，如何对活动现场的视频画面进行自动导播。
根据本公开实施例的一个方面，提供了一种导播方法，包括：在活动进行过程中，对活动现场的视频画面进行视频分析，以检测活动现场是否发生预设事件；在检测到活动现场发生预设事件的情况下，查找事件与编辑策略映射表，以确定预设事件对应的第一视频编辑策略；根据第一视频编辑策略对视频画面进行编辑，得到导播视频；在活动进行过程之外，利用当前时间查找时间与编辑策略映射表，以确定当前时间对应的第二视频编辑策略，其中从已有的导播视频中提取各时间段对应的可选视频编辑策略，采用数据挖掘算法对各时间段及其对应的可选视频编辑策略进行处理，得到各时间段对应的第二视频编辑策略，利用各时间段及其对应的第二视频编辑策略，构建时间与编辑策略映射表；根据当前时间对应的第二视频编辑策略对所述视频画面进行编辑，得到导播视频。
在一些实施例中，第一视频编辑策略为具有先后顺序的多个目标；根据第一视频编辑策略对视频画面进行编辑，得到导播视频包括：在活动现场的多路视频画面中，分别确定包含各个目标的视频画面；根据先后顺序，依次播放包含各个目标的视频画面，以形成导播视频。
在一些实施例中，还包括：依次播放包含各个目标的视频画面之前，分别将包含各个目标的视频画面调整至相应目标的特写镜头。
在一些实施例中，第一视频编辑策略为源自不同视角的预设事件的慢镜头回放；根据第一视频编辑策略对视频画面进行编辑，得到导播视频包括：在活动现场的多路视频画面中，确定包含预设事件的源自不同视角的视频画面；依次播放预设事件在源自不同视角的视频画面中的慢镜头回放，以形成导播视频。
在一些实施例中，依次播放预设事件在源自不同视角的视频画面中的慢镜头回放包括：确定发生预设事件的起始时间；对活动现场的视频画面进行视频分析，以确定预设事件的终止时间；依次播放起始时间及终止时间内，预设事件在源自不同视角的视频画面中的慢镜头回放。
在一些实施例中，第一视频编辑策略为视觉特效；根据第一视频编辑策略对视频画面进行编辑，得到导播视频包括：检测预设事件相关联的目标在视频画面中的位置信息；根据位置信息在视频画面中渲染视觉特效，得到导播视频。
在一些实施例中，根据位置在视频画面中渲染视觉特效包括：根据位置信息，在服务端对视频画面进行视觉特效的渲染，并将渲染了视觉特效的视频画面传输至客户端；或者，将位置信息、视频画面及视觉特效的标识传输至客户端，并在客户端根据位置信息及视觉特效的标识在视频画面中渲染视觉特效。
在一些实施例中，还包括：从已有的导播视频中提取预设事件及其对应的可选视频编辑策略；采用数据挖掘算法对预设事件及其对应的可选视频编辑策略进行处理，得到预设事件对应的第一视频编辑策略；利用预设事件及其对应的第一视频编辑策略，构建事件与编辑策略映射表。
在一些实施例中，对活动现场的视频画面进行视频分析，以检测活动现场是否发生预设事件包括：将活动现场的单路视频画面输入预先训练的神经网络进行视频分析，或将活动现场的多路视频画面同步输入预先训练的神经网络进行视频分析，得到活动现场发生预设事件的概率；根据概率判断活动现场是否发生预设事件。
在一些实施例中，还包括：确定可移动目标在视频画面中的目标检测框；根据目标检测框的位置调整摄像机的位置和/或角度，以使得目标检测框位于视频画面中的预设区域。
在一些实施例中，还包括：根据目标检测框的面积调整摄像机的缩放倍数，以使得目标检测框的面积在预设数值范围内。
在一些实施例中，还包括：采用自动色彩均衡算法，对视频画面的色彩和亮度进行调整；采用自适应对比度增强算法，对视频画面的对比度进行调整。
根据本公开实施例的另一个方面，提供了一种导播装置，包括：事件检测模块，被配置为在活动进行过程中，对活动现场的视频画面进行视频分析，以检测活动现场是否发生预设事件；映射表查找模块，被配置为在检测到活动现场发生预设事件的情况下，查找事件与编辑策略映射表，以确定预设事件对应的第一视频编辑策略；还被配置为在活动进行过程之外，利用当前时间查找时间与编辑策略映射表，以确定当前时间对应的第二视频编辑策略，其中从已有的导播视频中提取各时间段对应的可选视频编辑策略，采用数据挖掘算法对各时间段及其对应的可选视频编辑策略进行处理，得到各时间段对应的第二视频编辑策略，利用各时间段及其对应的第二视频编辑策略，构建时间与编辑策略映射表；视频编辑模块，被配置为根据所述第一视频编辑策略对所述视频画面进行编辑，得到导播视频；还被配置为根据当前时间对应的第二视频编辑策略对所述视频画面进行编辑，得到导播视频。
在一些实施例中，第一视频编辑策略为具有先后顺序的多个目标；第一视频编辑模块被配置为：在活动现场的多路视频画面中，分别确定包含各个目标的视频画面；根据先后顺序，依次播放包含各个目标的视频画面，以形成导播视频。
在一些实施例中，视频编辑模块还被配置为：依次播放包含各个目标的视频画面之前，分别将包含各个目标的视频画面调整至相应目标的特写镜头。
在一些实施例中，第一视频编辑策略为源自不同视角的预设事件的慢镜头回放；视频编辑模块被配置为：在活动现场的多路视频画面中，确定包含预设事件的源自不同视角的视频画面；依次播放预设事件在源自不同视角的视频画面中的慢镜头回放，以形成导播视频。
在一些实施例中，视频编辑模块被配置为：确定发生预设事件的起始时间；对活动现场的视频画面进行视频分析，以确定预设事件的终止时间；依次播放起始时间及终止时间内，预设事件在源自不同视角的视频画面中的慢镜头回放。
在一些实施例中，第一视频编辑策略为视觉特效；视频编辑模块被配置为：检测预设事件相关联的目标在视频画面中的位置信息；根据位置信息在视频画面中渲染视觉特效，得到导播视频。
在一些实施例中，视频编辑模块被配置为：根据位置信息，在服务端对视频画面进行视觉特效的渲染，并将渲染了视觉特效的视频画面传输至客户端；或者，将位置信息、视频画面及视觉特效的标识传输至客户端，并在客户端根据位置信息及视觉特效的标识在视频画面中渲染视觉特效。
在一些实施例中，还包括事件与编辑策略映射表构建模块，被配置为：从已有的导播视频中提取预设事件及其对应的可选视频编辑策略；采用数据挖掘算法对预设事件及其对应的可选视频编辑策略进行处理，得到预设事件对应的第一视频编辑策略；利用预设事件及其对应的第一视频编辑策略，构建事件与编辑策略映射表。
在一些实施例中，事件检测模块被配置为：将活动现场的单路视频画面输入预先训练的神经网络进行视频分析，或将活动现场的多路视频画面同步输入预先训练的神经网络进行视频分析，得到活动现场发生预设事件的概率；根据概率判断活动现场是否发生预设事件。
在一些实施例中，还包括摄像机调整模块，被配置为：确定可移动目标在视频画面中的目标检测框；根据目标检测框的位置调整摄像机的位置和/或角度，以使得目标检测框位于视频画面中的预设区域。
在一些实施例中，摄像机调整模块还被配置为：根据目标检测框的面积调整摄像机的缩放倍数，以使得目标检测框的面积在预设数值范围内。
在一些实施例中，还包括画面调整模块，被配置为：采用自动色彩均衡算法，对视频画面的色彩和亮度进行调整；采用自适应对比度增强算法，对视频画面的对比度进行调整。
根据本公开实施例的又一个方面，提供了一种导播装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的导播方法。
根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的导播方法。
本公开能够对活动现场的视频画面进行自动导播，减少对导播人员的依赖，降低了导播过程中的人力成本。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开一些实施例的导播方法的流程示意图。
图2示出了本公开另一些实施例的导播方法的流程示意图。
图3示出了本公开一些实施例的导播装置的结构示意图。
图4示出了本公开另一些实施例的导播装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
发明人研究发现，传统的导播方法人力成本较高且时间成本较高。以体育赛事导播为例，一场活动现场的导播通常需要40至60名相关的工作人员，且需要导播团队提前1至3天进行活动现场的部署和准备工作，时间耗费较长。基于上述分析，本公开提供了一种导播方法，能够对活动现场的视频画面进行自动导播，减少对导播人员的依赖，降低了导播过程中的人力成本。
首先结合图1描述本公开导播方法的一些实施例。
图1示出了本公开一些实施例的导播方法的流程示意图。如图1所示，本实施例包括步骤S101～步骤S105。
在步骤S101中，在活动进行过程中，对活动现场的视频画面进行视频分析，以检测活动现场是否发生预设事件。
本领域技术人员应理解，将标注后的训练图片输入神经网络，能够训练得到具有图片分析功能的神经网络。该神经网络通常为卷积神经网络，其上可以运行人脸检测算法、人体跟踪算法、物体检测算法、视频场景识别算法、视频动作事件识别算法等计算机视觉算法，从而检测到视频画面中的人物、动作、事件等等。
利用训练好的卷积神经网络对活动现场的视频画面中的帧进行视频分析，可以检测出人脸、人体、指定物体的位置坐标，从而实时检测到活动现场发生的预设事件。以活动现场为足球比赛为例，预设事件具体可以为进球、犯规、越位、任意球等等。
在进行视频分析时，可以将活动现场的单路视频画面输入预先训练的神经网络进行视频分析，也可以将活动现场的多路视频画面同步输入预先训练的神经网络进行视频分析，得到活动现场发生预设事件的概率，并根据概率判断活动现场是否发生预设事件。
单路视频分析时，受到摄像机录制角度的限制，如果该路视频画面中出现运动员之间相互遮挡等情形，则该路视频画面中的信息不够完整，可能导致无法准确检测活动现场是否发生犯规。相比较而言，多路视频分析时可以采用early fusion(先融合)、latefusion(后融合)等算法，对活动现场的人物、动作和场景有更加全面的认识和理解，从多个角度联合检测活动现场是否发生预设事件，从而通过数据融合的方式提升检测的准确度。
在未检测到活动现场发生预设事件的情况下，返回步骤S101。在检测到活动现场发生预设事件的情况下，则执行步骤S103。
在步骤S103中，查找事件与编辑策略映射表，以确定预设事件对应的第一视频编辑策略。
事件与编辑策略映射表中包含不同预设事件与不同视频编辑策略之间的映射关系。例如，预设事件“进球”对应的视频编辑策略为镜头切换策略“(主机位—>)进球运动员—>守门员—>教练员—>观众(—>主机位)”，预设事件“犯规”对应的视频编辑策略为慢镜头回放策略“(主机位—>)A视角犯规慢镜头—>B视角犯规慢镜头—>C视角犯规慢镜头(—>主机位)”，预设事件“任意球”对应的视频编辑策略为渲染特效“从足球至球门之间增加箭头并显示距离”。
下面对事件与编辑策略映射表的构建过程进行举例说明。
首先，从已有的导播视频中提取预设事件及其对应的可选视频编辑策略。
例如，足球比赛导播人员进行赛事导播后，通过导播设备可以记录导播所有切换镜头、制作慢镜头等相关操作，也可以记录导播切换视频的时间点以及切换的机位标识。根据这些数据形成的数据集，可以将已有的导播视频划分为若干个视频片段，并利用视频动作、事件、人物识别等视频分析算法，标注每一个视频片段标签。
然后，采用数据挖掘算法对预设事件及其对应的可选视频编辑策略进行处理，得到预设事件对应的第一视频编辑策略。
例如，在发生预设事件“犯规”后，可选视频编辑策略包括“A视角犯规慢镜头—>B视角犯规慢镜头—>C视角犯规慢镜头—>D视角犯规慢镜头”、“A视角犯规慢镜头—>B视角犯规慢镜头—>C视角犯规慢镜头—>E视角犯规慢镜头”等等。通过关联规则挖掘、频繁项集挖掘的数据挖掘方法可以得出，预设事件“犯规”对应的视频编辑策略为“A视角犯规慢镜头—>B视角犯规慢镜头—>C视角犯规慢镜头”。
最后，利用预设事件及其对应的第一视频编辑策略，构建事件与编辑策略映射表。
在步骤S105中，根据第一视频编辑策略对视频画面进行编辑，得到导播视频。
下面分三种情形对步骤S105进行介绍。
(1)第一视频编辑策略为具有先后顺序的多个目标。
仍以预设事件“进球”对应的第一视频编辑策略为镜头切换策略“(主机位—>)进球运动员—>守门员—>教练员—>观众(—>主机位)”为例。在活动现场的多路视频画面中，分别确定包含各个目标的视频画面。假设A机位的视频画面中检测到包含进球运动员，B机位的视频画面中检测到包含守门员，C的机位视频画面中检测到包含教练员，D机位的视频画面中检测到包含观众。然后，根据先后顺序，依次播放包含各个目标的视频画面，即从主机位依次切换至A机位、B机位、C机位、D机位的视频画面，再返回至主机位，以形成导播视频。每个机位的播放时长可以根据实际需要设定。
在一些实施例中，依次播放包含各个目标的视频画面之前，还可以分别将包含各个目标的视频画面调整至相应目标的特写镜头。例如，通过视频检测分析得到视频画面中守门员的目标检测框，然后根据该目标检测框的面积调整摄像机的缩放倍数，以使得该目标检测框的面积在预设数值范围内，如为视频画面面积的50％左右。
(2)第一视频编辑策略为源自不同视角的预设事件的慢镜头回放。
仍以预设事件“犯规”对应的第一视频编辑策略为慢镜头回放策略“(主机位—>)A视角犯规慢镜头—>B视角犯规慢镜头—>C视角犯规慢镜头(—>主机位)”为例。在活动现场的多路视频画面中，确定包含预设事件的源自不同视角的视频画面，假设A、B、C三个机位提供的视频画面均检测到预设事件“犯规”。然后，依次播放预设事件在源自不同视角的视频画面中的慢镜头回放，以形成导播视频。
依次播放预设事件在源自不同视角的视频画面中的慢镜头回放时，可以首先确定发生预设事件的起始时间。该起始时间即视频画面中检测到发生预设事件时，视频画面中的时间戳。然后，对活动现场的视频画面进行视频分析，以确定预设事件的终止时间。假设上一视频帧M中检测到预设事件“犯规”，而下一视频帧N中未检测到预设事件“犯规”，则可以将上一视频帧M在视频画面中的时间戳记为预设事件“犯规”的终止时间。最后，依次播放起始时间及终止时间内，预设事件在源自不同视角的视频画面中的慢镜头回放，即播放来自不同视角的预设事件的慢镜头。
(3)第一视频编辑策略为视觉特效。
例如，预设事件“任意球”对应的第一视频编辑策略可以为渲染特效“从足球至球门之间增加箭头并显示距离”。再比如，预设事件“越位”对应的视频编辑策略可以为渲染特效“绘制根据最后方防守运动员确定的越位线”。本领域技术人员应理解，对于同一个预设事件，可以对应连续的视频编辑策略。比如，预设事件“进球”对应的视频编辑策略可以是镜头切换后附加渲染特效“体育场内彩色纸屑飞舞的AR效果”。
在渲染视觉特效时，可以基于视频动作识别算法、图像语义分割算法、人体检测算法等视频分析算法，既检测预设事件发生的时间实时插入渲染特效，也检测预设事件相关联的目标在视频画面中的位置信息(例如越位运动员的位置、任意球开球前足球的位置等等)。然后，根据位置信息在视频画面中渲染视觉特效，得到导播视频。
渲染视觉特效时，可以根据位置信息，在服务端调用OpenGL(Open GraphicsLibrary，开放式图形库)对视频画面进行视觉特效的渲染，并将渲染了视觉特效的视频画面传输至客户端。或者，将位置信息、视频画面及视觉特效的标识传输至客户端，并在客户端根据位置信息及视觉特效的标识在视频画面中渲染视觉特效。例如，iOS的客户端可以调用AR kit工具包实现客户端侧的视觉特效渲染，安卓的客户端可以调用AR core工具包实现客户端侧的视觉特效渲染。
本领域技术人员应理解，以上描述中涉及的人体检测算法具体可以为Mask RCNN(Mask Region-based Convolutional Neural Network，掩膜基于区域的卷积神经网络)，SSD(Single Shot Multi-boxes Detector，单镜头多箱式检测)，YOLO(You Only LookOnce，只看一次)等等；图像语义分割算法具体可以为FCN(Fully ConvolutionalNetworks，全卷积网络)、DeepLab(深度研究实验室)等等。通过图像语义分割算法可以获得运动员准确的位置和轮廓，从而将运动员从视频画面的背景中抠出，调用视觉特效库中预先制作好的3D模型或2D模型，为运动员增加火焰特效或为视频画面的背景增加背景特效。由此可见，本公开采用人工智能的方式能够自动、快速、高效、准确的在导播视频中渲染视觉特效，提升视觉特效的制作的速度，克服传统导播过程中因视觉特效制作复杂导致工作人员没有充足的时间进行视觉特效渲染的缺点。
本实施例基于计算机视觉技术对视频画面进行分析，能够更加准确、快速地对视频画面中的内容和事件进行识别，并对视频画面进行自动编辑形成导播视频，从而实现了对活动现场的视频画面进行自动导播，减少了对导播人员的依赖，省去了导播过程对导播人员数量和能力的限制，降低了导播过程中的人力成本，并在一定程度上避免了因人工监控多路视频画面导致的错判和漏判。此外，本实施例提供的导播方法易于部署实施，能够节省导播之前所需的部署时间成本，适用于体育比赛、演唱会等活动现场的导播过程。
在一些实施例中，还包括步骤S104。在步骤S104中，在活动进行过程之外，利用当前时间查找时间与编辑策略映射表，以确定当前时间对应的第二视频编辑策略。时间与编辑策略映射表例如表1所示。
表1
时间与编辑策略映射表定义了在什么时间段内应该播放什么内容。时间与编辑策略映射表的构建过程举例如下。首先从已有的导播视频中提取各时间段对应的可选视频编辑策略；然后采用数据挖掘算法对各时间段及其对应的可选视频编辑策略进行处理，得到各时间段对应的第二视频编辑策略；最后利用各时间段及其对应的第二视频编辑策略，构建时间与编辑策略映射表。由于时间与编辑策略映射表的构建过程、事件与编辑策略映射表的构建过程比较类似，在此不作详细展开介绍。本领域技术人员应理解，在活动进行过程中可以采用事件与编辑策略映射表形成导播视频，在活动进行过程之外可以采用时间与编辑策略映射表形成导播视频。
下面结合图2描述本公开导播方法的另一些实施例，以说明对摄像机的自动调整过程。
图2示出了本公开另一些实施例的导播方法的流程示意图。如图2所示，在图1所对应实施例的步骤S105之后，本实施例还包括步骤S206～步骤S210。
在步骤S206中，确定可移动目标在视频画面中的目标检测框。
例如，采用前述的物体检测算法可以得到足球在视频画面中的目标检测框。
在步骤S207中，根据目标检测框的位置调整摄像机的位置和/或角度，以使得目标检测框位于视频画面中的预设区域。
例如在足球比赛中，A机位的摄像机录制的视频画面中检测到运动员带球通过，当球的检测框坐标向视频画面的左侧移动时，调整摄像机向左侧移动，也可以调整摄像机的角度向左调整，以保证足球位于视频画面的中部。
在一些实施例中，还包括步骤S208。在步骤S208中，根据目标检测框的面积调整摄像机的缩放倍数，以使得目标检测框的面积在预设数值范围内。
例如，当足球在视频画面中的占比小于2％时，增大摄像机的放大倍数，保证在视频画面中能够清楚看到足球。
在一些实施例中，还包括步骤S209。在步骤S209中，采用自动色彩均衡AutomaticColor Equalization算法，对视频画面的色彩和亮度进行调整。
在一些实施例中，还包括步骤S210。在步骤S210中，采用自适应对比度增强Adaptive Contrast Enhancement算法，对视频画面的对比度进行调整。
本实施例通过人工智能实现了对摄像机的自动控制，使得摄像机能够更加快速高效地响应视频画面采集的需求，在降低采集视频画面所需的人力成本的同时，提升了工作效率。
同时，在导播视频编辑、导播视频播放的基础上，本实施例实现了自动采集视频画面，从而实现了导播流程中信号采集、导播视频制作、特效制作的全流程的自动化、智能化。
下面结合图3描述本公开导播装置的一些实施例。
图3示出了本公开一些实施例的导播装置的结构示意图。如图3所示，本实施例中的导播装置30包括：
事件检测模块301，被配置为在活动进行过程中，对活动现场的视频画面进行视频分析，以检测活动现场是否发生预设事件；映射表查找模块304，被配置为在检测到活动现场发生预设事件的情况下，查找事件与编辑策略映射表，以确定预设事件对应的第一视频编辑策略；视频编辑模块305，被配置为根据第一视频编辑策略对视频画面进行编辑，得到导播视频。
在一些实施例中，第一视频编辑策略为具有先后顺序的多个目标；视频编辑模块305被配置为：在活动现场的多路视频画面中，分别确定包含各个目标的视频画面；根据先后顺序，依次播放包含各个目标的视频画面，以形成导播视频。
在一些实施例中，视频编辑模块305还被配置为：依次播放包含各个目标的视频画面之前，分别将包含各个目标的视频画面调整至相应目标的特写镜头。
在一些实施例中，第一视频编辑策略为源自不同视角的预设事件的慢镜头回放；视频编辑模块305被配置为：在活动现场的多路视频画面中，确定包含预设事件的源自不同视角的视频画面；依次播放预设事件在源自不同视角的视频画面中的慢镜头回放，以形成导播视频。
在一些实施例中，视频编辑模块305被配置为：确定发生预设事件的起始时间；对活动现场的视频画面进行视频分析，以确定预设事件的终止时间；依次播放起始时间及终止时间内，预设事件在源自不同视角的视频画面中的慢镜头回放。
在一些实施例中，第一视频编辑策略为视觉特效；视频编辑模块305被配置为：检测预设事件相关联的目标在视频画面中的位置信息；根据位置信息在视频画面中渲染视觉特效，得到导播视频。
在一些实施例中，视频编辑模块305被配置为：根据位置信息，在服务端对视频画面进行视觉特效的渲染，并将渲染了视觉特效的视频画面传输至客户端；或者，将位置信息、视频画面及视觉特效的标识传输至客户端，并在客户端根据位置信息及视觉特效的标识在视频画面中渲染视觉特效。
在一些实施例中，还包括事件与编辑策略映射表构建模块302，被配置为：从已有的导播视频中提取预设事件及其对应的可选视频编辑策略；采用数据挖掘算法对预设事件及其对应的可选视频编辑策略进行处理，得到预设事件对应的第一视频编辑策略；利用预设事件及其对应的第一视频编辑策略，构建事件与编辑策略映射表。
在一些实施例中，事件检测模块301被配置为：将活动现场的单路视频画面输入预先训练的神经网络进行视频分析，或将活动现场的多路视频画面同步输入预先训练的神经网络进行视频分析，得到活动现场发生预设事件的概率；根据概率判断活动现场是否发生预设事件。
在一些实施例中，映射表查找模块304还被配置为：在活动进行过程之外，利用当前时间查找时间与编辑策略映射表，以确定当前时间对应的第二视频编辑策略。
在一些实施例中，还包括时间与编辑策略映射表构建模块303，被配置为：从已有的导播视频中提取各时间段对应的可选视频编辑策略；采用数据挖掘算法对各时间段及其对应的可选视频编辑策略进行处理，得到各时间段对应的第二视频编辑策略；利用各时间段及其对应的第二视频编辑策略，构建时间与编辑策略映射表。
本实施例基于计算机视觉技术对视频画面进行分析，能够更加准确、快速地对视频画面中的内容和事件进行识别，并对视频画面进行自动编辑形成导播视频，从而实现了对活动现场的视频画面进行自动导播，减少了对导播人员的依赖，省去了导播过程对导播人员数量和能力的限制，降低了导播过程中的人力成本，并在一定程度上避免了因人工监控多路视频画面导致的错判和漏判。此外，本实施例提供的导播方法易于部署实施，能够节省导播之前所需的部署时间成本，适用于体育比赛、演唱会等活动现场的导播过程。
在一些实施例中，还包括摄像机调整模块306，被配置为：确定可移动目标在视频画面中的目标检测框；根据目标检测框的位置调整摄像机的位置和/或角度，以使得目标检测框位于视频画面中的预设区域。
在一些实施例中，摄像机调整模块306还被配置为：根据目标检测框的面积调整摄像机的缩放倍数，以使得目标检测框的面积在预设数值范围内。
在一些实施例中，还包括画面调整模块307，被配置为：采用自动色彩均衡算法，对视频画面的色彩和亮度进行调整；采用自适应对比度增强算法，对视频画面的对比度进行调整。
本实施例通过人工智能实现了对摄像机的自动控制，使得摄像机能够更加快速高效地响应视频画面采集的需求，在降低采集视频画面所需的人力成本的同时，提升了工作效率。
下面结合图4描述本公开导播装置的一些实施例。
图4示出了本公开另一些实施例的导播装置的结构示意图。如图4所示，该实施例的导播装置40包括：存储器410以及耦接至该存储器410的处理器420，处理器420被配置为基于存储在存储器410中的指令，执行前述任意一些实施例中的导播方法。
其中，存储器410例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
导播装置40还可以包括输入输出接口430、网络接口440、存储接口450等。这些接口430、440、450以及存储器410和处理器420之间例如可以通过总线460连接。其中，输入输出接口430为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口440为各种联网设备提供连接接口。存储接口450为SD卡、U盘等外置存储设备提供连接接口。
本公开还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的导播方法。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (15)
1.一种导播方法，包括：
在活动进行过程中，对活动现场的视频画面进行视频分析，以检测活动现场是否发生预设事件；
在检测到活动现场发生预设事件的情况下，查找事件与编辑策略映射表，以确定所述预设事件对应的第一视频编辑策略；
根据所述第一视频编辑策略对所述视频画面进行编辑，得到导播视频；
在活动进行过程之外，利用当前时间查找时间与编辑策略映射表，以确定当前时间对应的第二视频编辑策略，其中从已有的导播视频中提取各时间段对应的可选视频编辑策略，采用数据挖掘算法对各时间段及其对应的可选视频编辑策略进行处理，得到各时间段对应的第二视频编辑策略，利用各时间段及其对应的第二视频编辑策略，构建时间与编辑策略映射表；
根据当前时间对应的第二视频编辑策略对所述视频画面进行编辑，得到导播视频。
2.如权利要求1所述的导播方法，其中，所述第一视频编辑策略为具有先后顺序的多个目标；
所述根据所述第一视频编辑策略对所述视频画面进行编辑，得到导播视频包括：
在活动现场的多路视频画面中，分别确定包含各个所述目标的视频画面；
根据所述先后顺序，依次播放包含各个所述目标的视频画面，以形成导播视频。
3.如权利要求2所述的导播方法，还包括：
依次播放包含各个所述目标的视频画面之前，分别将包含各个所述目标的视频画面调整至相应所述目标的特写镜头。
4.如权利要求1所述的导播方法，其中，所述第一视频编辑策略为源自不同视角的所述预设事件的慢镜头回放；
所述根据所述第一视频编辑策略对所述视频画面进行编辑，得到导播视频包括：
在活动现场的多路视频画面中，确定包含所述预设事件的源自不同视角的视频画面；
依次播放所述预设事件在所述源自不同视角的视频画面中的慢镜头回放，以形成导播视频。
5.如权利要求4所述导播方法，其中，所述依次播放所述预设事件在所述源自不同视角的视频画面中的慢镜头回放包括：
确定发生所述预设事件的起始时间；
对活动现场的视频画面进行视频分析，以确定所述预设事件的终止时间；
依次播放所述起始时间及所述终止时间内，所述预设事件在所述源自不同视角的视频画面中的慢镜头回放。
6.如权利要求1所述的导播方法，其中，所述第一视频编辑策略为视觉特效；
所述根据所述第一视频编辑策略对所述视频画面进行编辑，得到导播视频包括：
检测所述预设事件相关联的目标在所述视频画面中的位置信息；
根据所述位置信息在所述视频画面中渲染所述视觉特效，得到导播视频。
7.如权利要求6所述的导播方法，其中，所述根据所述位置在所述视频画面中渲染所述视觉特效包括：
根据所述位置信息，在服务端对所述视频画面进行视觉特效的渲染，并将渲染了视觉特效的所述视频画面传输至客户端；
或者，
将所述位置信息、所述视频画面及所述视觉特效的标识传输至客户端，并在客户端根据所述位置信息及所述视觉特效的标识在所述视频画面中渲染所述视觉特效。
8.如权利要求1所述的导播方法，还包括：
从已有的导播视频中提取所述预设事件及其对应的可选视频编辑策略；
采用数据挖掘算法对所述预设事件及其对应的可选视频编辑策略进行处理，得到所述预设事件对应的第一视频编辑策略；
利用所述预设事件及其对应的第一视频编辑策略，构建事件与编辑策略映射表。
9.如权利要求1所述的导播方法，其中，所述对活动现场的视频画面进行视频分析，以检测活动现场是否发生预设事件包括：
将活动现场的单路视频画面输入预先训练的神经网络进行视频分析，或将活动现场的多路视频画面同步输入预先训练的神经网络进行视频分析，得到活动现场发生所述预设事件的概率；
根据所述概率判断活动现场是否发生预设事件。
10.如权利要求1所述的导播方法，还包括：
确定可移动目标在所述视频画面中的目标检测框；
根据所述目标检测框的位置调整摄像机的位置和/或角度，以使得所述目标检测框位于视频画面中的预设区域。
11.如权利要求10所述的导播方法，还包括：
根据所述目标检测框的面积调整摄像机的缩放倍数，以使得所述目标检测框的面积在预设数值范围内。
12.如权利要求1所述的导播方法，还包括：
采用自动色彩均衡算法，对所述视频画面的色彩和亮度进行调整；
采用自适应对比度增强算法，对所述视频画面的对比度进行调整。
13.一种导播装置，包括：
事件检测模块，被配置为在活动进行过程中，对活动现场的视频画面进行视频分析，以检测活动现场是否发生预设事件；
映射表查找模块，被配置为在检测到活动现场发生预设事件的情况下，查找事件与编辑策略映射表，以确定所述预设事件对应的第一视频编辑策略；还被配置为在活动进行过程之外，利用当前时间查找时间与编辑策略映射表，以确定当前时间对应的第二视频编辑策略，其中从已有的导播视频中提取各时间段对应的可选视频编辑策略，采用数据挖掘算法对各时间段及其对应的可选视频编辑策略进行处理，得到各时间段对应的第二视频编辑策略，利用各时间段及其对应的第二视频编辑策略，构建时间与编辑策略映射表；
视频编辑模块，被配置为根据所述第一视频编辑策略对所述视频画面进行编辑，得到导播视频；还被配置为根据当前时间对应的第二视频编辑策略对所述视频画面进行编辑，得到导播视频。
14.一种导播装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至12中任一项所述的导播方法。
15.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至12中任一项所述的导播方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910701261.9A CN111787243B (zh) | 2019-07-31 | 2019-07-31 | 导播方法、装置及计算机可读存储介质 |
| PCT/CN2020/080867 WO2021017496A1 (zh) | 2019-07-31 | 2020-03-24 | 导播方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910701261.9A CN111787243B (zh) | 2019-07-31 | 2019-07-31 | 导播方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111787243A CN111787243A (zh) | 2020-10-16 |
| CN111787243B true CN111787243B (zh) | 2021-09-03 |
Family
ID=72755071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910701261.9A Active CN111787243B (zh) | 2019-07-31 | 2019-07-31 | 导播方法、装置及计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111787243B (zh) |
| WO (1) | WO2021017496A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116389660B (zh) * | 2021-12-22 | 2024-04-12 | 广州开得联智能科技有限公司 | 录播的导播方法、装置、设备及存储介质 |
| CN114666457A (zh) * | 2022-03-23 | 2022-06-24 | 华创高科(北京)技术有限公司 | 一种视音频节目的导播方法、装置、设备、系统及介质 |
| CN116152711B (zh) * | 2022-08-25 | 2024-03-22 | 北京凯利时科技有限公司 | 基于多模态的导播方法和系统以及计算机程序产品 |
| CN117768597B (zh) * | 2022-09-16 | 2024-08-16 | 广州开得联智能科技有限公司 | 一种导播方法、装置、设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1937755A (zh) * | 2005-07-20 | 2007-03-28 | 三星电子株式会社 | 用于显示广播节目信息的方法和使用它的视频处理设备 |
| CN106341711A (zh) * | 2016-09-27 | 2017-01-18 | 成都西可科技有限公司 | 一种多机位视频直播回放方法及系统 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NZ598897A (en) * | 2006-12-04 | 2013-09-27 | Lynx System Developers Inc | Autonomous systems and methods for still and moving picture production |
| CN101650722B (zh) * | 2009-06-01 | 2011-10-26 | 南京理工大学 | 基于音视频融合的足球视频精彩事件检测方法 |
| CN201750957U (zh) * | 2010-06-02 | 2011-02-23 | 五兆整合设计有限公司 | 体感运动游戏机的组成 |
| CN103856824B (zh) * | 2012-12-08 | 2018-02-13 | 周成 | 视频中弹出跟踪对象的视频的方法 |
| CN104519310B (zh) * | 2013-09-29 | 2017-12-08 | 深圳锐取信息技术股份有限公司 | 一种远程导播控制系统 |
| US9684435B2 (en) * | 2014-01-13 | 2017-06-20 | Disney Enterprises, Inc. | Camera selection interface for producing a media presentation |
| CN104394363B (zh) * | 2014-11-21 | 2018-03-23 | 阔地教育科技有限公司 | 一种在线课堂导播方法及系统 |
| CN105049764B (zh) * | 2015-06-17 | 2018-05-25 | 武汉智亿方科技有限公司 | 一种基于多个定位摄像头的教学用图像跟踪方法及系统 |
| CA2916494A1 (en) * | 2015-12-30 | 2017-06-30 | Steve Mann | Recompressive sensing, resparsified sampling, and lightspacetimelapse: means, apparatus, and methods for spatiotemporal and spatiotonal timelapse and infinitely long media or multimedia recordings in finite memory |
| CN106911953A (zh) * | 2016-06-02 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种视频播放控制方法、装置及视频播放系统 |
| CN106251334B (zh) * | 2016-07-18 | 2019-03-01 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及系统 |
| CN107888974A (zh) * | 2016-09-30 | 2018-04-06 | 北京视连通科技有限公司 | 一种基于场景或特定对象的即时视频合成方法与系统 |
| CN108513081B (zh) * | 2017-02-27 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 一种用于课堂教学的录播方法、装置及系统 |
| CN107087121B (zh) * | 2017-04-20 | 2020-08-21 | 广州华多网络科技有限公司 | 一种基于运动检测的自动导播方法及装置 |
| CN108282598B (zh) * | 2017-05-19 | 2020-12-15 | 广州华多网络科技有限公司 | 一种软件导播系统及方法 |
| CN107241611B (zh) * | 2017-05-27 | 2019-09-24 | 蜜蜂四叶草动漫制作(北京)有限公司 | 一种直播联动装置及直播联动系统 |
| CN109326310B (zh) * | 2017-07-31 | 2022-04-08 | 西梅科技(北京)有限公司 | 一种自动剪辑的方法、装置及电子设备 |
| US10432987B2 (en) * | 2017-09-15 | 2019-10-01 | Cisco Technology, Inc. | Virtualized and automated real time video production system |
| CN109922375A (zh) * | 2017-12-13 | 2019-06-21 | 上海聚力传媒技术有限公司 | 直播中的事件展示方法、播放终端、视频系统及存储介质 |
-
2019
- 2019-07-31 CN CN201910701261.9A patent/CN111787243B/zh active Active
-
2020
- 2020-03-24 WO PCT/CN2020/080867 patent/WO2021017496A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1937755A (zh) * | 2005-07-20 | 2007-03-28 | 三星电子株式会社 | 用于显示广播节目信息的方法和使用它的视频处理设备 |
| CN106341711A (zh) * | 2016-09-27 | 2017-01-18 | 成都西可科技有限公司 | 一种多机位视频直播回放方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111787243A (zh) | 2020-10-16 |
| WO2021017496A1 (zh) | 2021-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111787243B (zh) | 导播方法、装置及计算机可读存储介质 | |
| US20210350833A1 (en) | Play Sequence Visualization and Analysis | |
| JP5667943B2 (ja) | コンピュータ実行画像処理方法および仮想再生ユニット | |
| CN109326310B (zh) | 一种自动剪辑的方法、装置及电子设备 | |
| US9288545B2 (en) | Systems and methods for tracking and tagging objects within a broadcast | |
| US20170366867A1 (en) | Systems and methods for displaying thermographic characteristics within a broadcast | |
| CN109040766B (zh) | 直播视频处理方法、装置及存储介质 | |
| US20150018990A1 (en) | Smart-court system and method for providing real-time debriefing and training services of sport games | |
| EP1366466B1 (en) | Sport analysis system and method | |
| JP2009505553A (ja) | ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法 | |
| US20200107075A1 (en) | Systems and methods for tracking and tagging objects within a broadcast | |
| US20170280199A1 (en) | Systems and methods for tracking and tagging objects within a broadcast | |
| TWI601425B (zh) | 一種串接攝影畫面以形成一物件軌跡的方法 | |
| JP6983049B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
| CN111741325A (zh) | 视频播放方法、装置、电子设备及计算机可读存储介质 | |
| US20170366866A1 (en) | Systems and methods for displaying wind characteristics and effects within a broadcast | |
| CN112287771A (zh) | 用于检测视频事件的方法、装置、服务器和介质 | |
| AU2018282283A1 (en) | Method, system and apparatus for displaying virtual content | |
| WO2015169165A1 (en) | Method and system for creating replate videos | |
| WO2018222639A1 (en) | Systems and methods for tracking and tagging objects within a broadcast |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |