CN103051830B - 一种对所拍目标多角度实时转播的系统和方法 - Google Patents

一种对所拍目标多角度实时转播的系统和方法 Download PDF

Info

Publication number
CN103051830B
CN103051830B CN201210587668.1A CN201210587668A CN103051830B CN 103051830 B CN103051830 B CN 103051830B CN 201210587668 A CN201210587668 A CN 201210587668A CN 103051830 B CN103051830 B CN 103051830B
Authority
CN
China
Prior art keywords
video
acquisition
camera
mode
playback mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210587668.1A
Other languages
English (en)
Other versions
CN103051830A (zh
Inventor
姚威
骆萧萧
王付生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dayang Technology Development Inc
Original Assignee
Beijing Dayang Technology Development Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dayang Technology Development Inc filed Critical Beijing Dayang Technology Development Inc
Priority to CN201210587668.1A priority Critical patent/CN103051830B/zh
Publication of CN103051830A publication Critical patent/CN103051830A/zh
Application granted granted Critical
Publication of CN103051830B publication Critical patent/CN103051830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供一种对所拍目标多角度实时转播的系统和方法,所述系统包括同步装置、若干台摄像机、采集存储装置、播出装置,视频处理单元和模式选择单元;应用于该系统的方法包括设置摄像机位置步骤、同步摄像机的步骤、校正摄像机参数步骤、同步拍摄的步骤、图像的同步采集步骤、选择回放模式步骤、图像合并处理步骤、播出步骤。应用本发明提供的系统和方法能够记录某一特定目标的多角度运动画面,并借助于计算机的快速处理,实时产生这一特定目标的基于同一时刻或者较短时间段的多角度连贯画面的回放信号。以此,为观众呈现更为精彩细致的比赛画面,提升用户体验。

Description

一种对所拍目标多角度实时转播的系统和方法
技术领域
本发明涉及一种对所拍目标多角度实时转播的系统和方法,是一种使用计算机技术进行视频图像处理的系统和方法,是一种用于电视转播的系统与方法。
背景技术
在体育赛事的现场转播中,常预先在比赛场地中设置多个摄像机机位,用以捕捉比赛场景基于不同视角的精彩画面,并将多机位采集的信号经过切换后播出,使用户能够看到由不同摄像机位拍摄的不同视角的现场画面,为观众呈现身临现场的视觉体验。但这种转播方法无法满足对于某一特定目标多角度、连贯画面的记录及回放的需求。例如对于跳马、吊环等具有高技巧性、运动速度很快的比赛项目的现场转播,此时运动员的比赛动作往往在几秒钟内完成,而最能体现运动员运动竞技水平的画面往往时间更短。如果想从不同的角度欣赏运动员某一时刻或某一极短时间的运动姿态的连贯画面,借助于上述传统的多机位拍摄方法显然不能满足,而高速摄像机也只能记录下运动员某一固定角度的细微动作变化,而无法进行多角度连贯画面的记录回放。为此,近几年也出现了一些对传统多机位拍摄进行改进的方法,但往往需要将现场采集的视频文件通过后期制作系统进行人工的视频剪辑合成,由于增加了一环制作工序,降低了整个系统的运行速度,无法适应电视现场转播对时间的苛刻要求。
发明内容
为解现有技术存在的问题,本发明提供了一种对所拍目标多角度实时转播的系统和方法,能够记录某一特定目标的多角度运动画面,并借助于计算机的快速处理,实时产生这一特定目标的基于同一时刻或者较短时间段的多角度连贯画面的回放信号。以此,为观众呈现更为精彩细致的比赛画面,提升用户体验。
本发明的技术方案是:一种对所拍目标多角度实时转播的系统,包括同步装置、若干台摄像机、采集存储装置,所述系统还包括视频处理单元和模式选择单元,所述若干台摄像机和采集存储装置通过时间信号同步线缆与同步装置连接,并且所述若干台摄像机分别通过信号电缆与采集存储装置连接;所述视频处理单元与模式选择单元、采集存储装置连接;所述的模式选择单元上设有专用的多个回放模式键。
一种应用于上述系统的对所拍目标多角度实时转播的方法,方法的步骤如下:
设置摄像机位置步骤:用于所述的若干台摄像机的位置设置,在被拍摄位置的四周的一个弧段上等间距预设置若干台摄像机,先确定一个主摄像机的机位,主摄像机的位置设置在可以拍摄到待拍目标整个运动过程的方位上,其他摄像机的位置以待拍摄位置为圆心,以所述主摄像机到圆心的投影距离为半径的弧段上均匀放置;所有摄像设备的镜头指向同一拍摄点;
同步摄像机的步骤:用于所述的同步装置同步所述若干台摄像机,在拍摄现场设置一个同步装置,将所述同步装置的同步信号源接入到各摄像机的同步信号输入接口,设置摄像机的同步方式为“外同步”;所述同步装置的同步信号源同时也接入到采集存储装置和播出装置的同步信号输入接口;
校正摄像机参数的步骤:用于将所有摄像机白平衡、光圈、焦距等参数调整为一致,并且设置在固定模式,不能随环境自动调整;
同步拍摄的步骤:用于所有摄像机在同步完成后对拍摄目标同步拍摄,并将拍摄到的视频信号传输给采集存储装置;
图像的同步采集步骤:用于所述的采集存储装置同步采集视频信号,将所有摄像机拍摄的视频信号实时并且同步采集到采集存储装置中;根据多台摄像机在现场的安装布置方式,设置多个摄像机输入的视频信号在采集存储装置的故事板列表上的排列顺序,以所述主摄像机输入画面为第一层画面,其余摄像机按照与主摄像机的距离依次排列,距离主摄像机最近的排在第二层画面,次近的排在第三层画面,最远的排在最下的一层画面;并且保证故事板上各层画面在时间轴上按照拍摄时刻对齐;
选择回放模式步骤:用于所述的模式选择单元选择回放模式,多种回放模式预先设置并保存在模式选择单元中,其中每个模式对应一个回放模式键;由操作者直接按动一个回放模式键人工选择一种回放模式,并给视频处理单元发送指令;
图像处理步骤:用于所述的视频处理单元处理视频帧序列,视频处理单元接到所选回放模式指令后,视频处理单元向采集存储装置读取多台摄像机拍摄的视频帧序列,并按照所选回放模式进行相应的图像处理,处理的方法是选取该回放模式所遍历路径上相关联的真实帧序列作为参考帧,将所述参考帧进行插值算法计算得到虚拟视频帧,将插值得到的虚拟视频帧与原先读取的真实视频帧序列一同作为备选输出帧,备选输出帧根据该所选回放模式进行组合筛选后作为视频处理单元的输出传送给回放播出装置;
播出步骤:用于播出装置播出经处理的视频帧序列,播出装置将回放模式键选择的回放模式经处理完成的视频帧序列播出。
方案进一步是,所述“图像处理步骤”中对图像文件的处理方式包括静止方式、动态方式、逆程方式。
本发明的有益效果是:在电视转播中可以便捷地进行特定目标的多角度回放,由于本发明采用了多摄像机同步拍摄,在空间中多摄像机于不同方位上多角度对同一目标进行拍摄记录,在时间上多摄像机严格标定同步,使得拍摄得到的画面在时间上和空间上具有强关联性,能够通过插值算法等图像处理技术重建对某一特定目标在某一时段内或某一时刻的基于连续变化和移动的观察视角下的回放画面,实现单一摄像机或传统多机位拍摄方法无法完成的画面镜头表现手法,增强视频画面的表现力,提高用户体验。
同时由于本发明采用了回放模式预先设置的方式,大大简化了现场人员的工作步骤,使现场即时回放成为可能,不再需要依靠后期制作来完成复杂回放画面的渲染合成,回放模式可以预先进行定制并且对应到具有人机交互按键的具体设备上以满足实际使用的需要,从而具有高度的灵活性和便捷性。
附图说明
下面结合附图对本发明作进一步详细描述。
图1是本发明实施例一所述的系统组成示意图;
图2是本发明实施例一所述系统在转播现场的设置示意图;
图3是本发明实施例二所述方法的流程图;
图4a是本发明实施例三所述的静止方式回放算法演示图;
图4b是本发明实施例三所述的经静止方式处理的视频帧排列图;
图5a、图6是本发明实施例三所述的动态方式回放算法演示图;
图5b是本发明实施例三所述的经动态方式处理的视频帧排列图;
图7a是本发明实施例三所述的逆程方式回放算法演示图;
图7b是本发明实施例三所述的经逆程方式处理的视频帧排列图。
具体实施方式
实施例一
本实施例是一种对所拍目标多角度实时转播的系统,包括同步装置、若干台摄像机、采集存储装置、播出装置,所述系统还包括视频处理单元和模式选择单元,所述若干台摄像机和采集存储装置、播出装置通过时间信号同步线缆与同步装置连接,并且所述若干台摄像机分别通过信号电缆与采集存储装置连接;所述视频处理单元与模式选择单元、采集存储装置、播出装置连接;所述的模式选择单元上设有专用的多个回放模式键,系统结构原理如图1所示。由于作图的限制,图中仅画出三个摄像机,实际可以连接更多的摄像机。所述同步装置是一个外同步信号发生器,利用外同步信号发生器产生的同步信号送到摄像机的外同步输入端来实现同步。同步信号可以是彩色复合视频信号或黑色突发信号(VBS)、黑白复合视频信号或复合同步信号(VS),也可以是如矩阵等外部设备的复用垂直驱动信号(VD2)和复合视频输出信号;所述摄像机是具有外同步信号输入端的摄像设备;所述采集存储装置是一个带有视音频采集卡的计算机,视音频采集卡将视音频信号采集到计算机中,采集的过程中视音频信号会以帧序列的方式暂时存储在计算机的内存中,并最终以数据文件的形式保存在硬盘上;所述视频处理单元是一个或多个具备运算功能的计算模块,此计算模块具备处理视频图像的功能,该计算模块既可以单独部署在一台独立的计算机上对应于一个实体计算机,也可以部署在采集存储装置所存在的计算机上;所述模式选择单元是一种按键设备,此设备上设有多个人机交互按键,每个按键对应所述视频处理单元中的一个或多个计算模块对视频帧序列的计算处理方式;所述的播出装置接收经过视频处理单元处理完成的视频帧序列,并将视频帧序列通过视音频板卡输出,完成对所拍摄目标的多角度实时转播。
实际上由于当前计算机技术的发展,在一台计算机设备中同时实现上述的采集存储装置、视频处理单元、播出装置、模式选择单元是完全可行的。这种情况下,采集存储装置、视频处理单元和播出装置将共用计算机内存,直接通过计算机内部总线完成数据交换。如果现场设置的摄像机数量非常多,同时又希望视频处理单元提供更复杂的视频处理和更好的实时响应能力的话,也可以将采集存储装置和视频处理单元、播出装置分别部署到不同的计算机上,如图2所示,模拟场景中设置了7台摄像机组成一个半圆弧段,由于作图的限制,图中仅画出七个摄像机,实际可以连接更多的摄像机。弧段中点位置是主摄像机3,所有摄像机都通过时间信号同步线缆与一个同步装置2连接,所有摄像机分别通过信号电缆将视频文件输入到一个采集存储装置4,采集存储装置4通过网络连接一个计算机组群5,计算机组群5中设置了多台具有运算功能的计算机或服务器,所述计算机或服务器上具有视频处理算法,每一台或多台计算机或服务器的视频处理算法对应一种回放模式;并且有一个按键设备6与计算机组群相连,按键设备上的每一个按键对应一个回放模式,即每一个按键调用计算机组群5中的计算机或服务器;所述计算机组群5通过网络连接播放装置,将处理完成后的视频帧序列输出。
实施例二
本实施例是一种应用于实施例一所述系统的对所拍目标多角度实时转播的方法,如图3所示,所述方法的步骤如下:
设置摄像机位置步骤:用于所述的若干台摄像机的位置设置,在被拍摄位置的四周的一个弧段上等间距预设置若干台摄像机,先确定一个主摄像机的机位,主摄像机的位置设置在可以拍摄到待拍目标整个运动过程的方位上,其他摄像机的位置以待拍摄位置为圆心,以所述主摄像机到圆心的投影距离为半径的弧段上均匀放置;所有摄像设备的镜头指向同一拍摄点;
同步摄像机的步骤:用于所述的同步装置同步所述若干台摄像机,在拍摄现场设置一个同步装置,将所述同步装置的同步信号源接入到各摄像机的同步信号输入接口,设置摄像机的同步方式为“外同步”;所述同步装置的同步信号源同时也接入到采集存储装置和播出装置的同步信号输入接口;
校正摄像机参数的步骤:用于将所有摄像机白平衡、光圈、焦距等参数调整为一致,并且设置在固定模式,不能随环境自动调整;
同步拍摄的步骤:用于所有摄像机在同步完成后对拍摄目标同步拍摄,并将拍摄到的视频信号传输给采集存储装置;
图像的同步采集步骤:用于所述的采集存储装置同步采集视频信号,将所有摄像机拍摄的视频信号实时并且同步采集到采集存储装置中;根据多台摄像机在现场的安装布置方式,设置多个摄像机输入的视频信号在采集存储装置的故事板列表上的排列顺序,以所述主摄像机输入画面为第一层画面,其余摄像机按照与主摄像机的距离依次排列,距离主摄像机最近的排在第二层画面,次近的排在第三层画面,最远的排在最下的一层画面;并且保证故事板上各层画面在时间轴上按照拍摄时刻对齐;
选择回放模式步骤:用于所述的模式选择单元选择回放模式,多种回放模式预先设置并保存在模式选择单元中,其中每个模式对应一个回放模式键;由操作者直接按动一个回放模式键人工选择一种回放模式,并给视频处理单元发送指令;
图像处理步骤:用于所述的视频处理单元处理视频帧序列,视频处理单元接到所选回放模式指令后,视频处理单元按照回放模式所需要使用到的视频帧向采集存储装置读取多台摄像机拍摄的视频帧序列,并按照所选回放模式进行相应的图像处理,处理的方法是选取该回放模式所遍历路径上相关联的真实帧序列作为参考帧,将所述参考帧进行插值算法计算得到虚拟视频帧,将插值得到的虚拟视频帧与原先读取的真实视频帧序列一同作为备选输出帧,备选输出帧根据该所选回放模式进行组合筛选后作为视频处理单元的输出传送给回放播出装置;
播出步骤:用于播出装置播出经处理的视频帧序列,播出装置将回放模式键选择的回放模式经处理完成的视频帧序列通过视音频板卡播出。
结合图1、2、3所示,本实施例提供的方法步骤如下:
第一步:在以被拍摄物为圆心的弧段上等间距设置了7台摄像机,先确定一个主摄像机3的机位,在本实施例中主摄像机3是所述弧段中间位置的摄像机,其他摄像机以被拍摄物1为圆心,以主摄像机3到圆心的投影距离为半径的弧段上均匀放置;所有摄像机的镜头都指向被拍摄物1。这里的摄像机在弧段上等间距均匀放置是为了后续使用多个不同摄像机拍摄的画面输出时,画面之间的变化时连续和一致的,不至于有跳动和迟滞的现象。实际上不均匀放置也是可行的,不过需要在后续的视频处理环节增加上根据摄像机位置的图像插值平滑处理。
第二步:在如图3所示的模拟拍摄现场设置一个同步装置2,将同步装置2的信号源接入到各摄像机的同步信号输入接口,设置所有摄像机的同步方式为“外同步”;所述同步装置的同步信号源同时也接入到采集存储装置和播出装置的同步信号输入接口;
第三步:将所有摄像机白平衡、光圈、焦距等参数调整为一致,并且设置在固定模式,不能随环境自动调整。
上述的摄像机安装和调整的过程,主要是根据待拍摄运动目标的运动轨迹,设置多台摄像机各自的摆放位置和朝向,特别的,首先确定主摄像机的机位,主摄像机的机位通常设置在可以拍摄运动员整个运动过程的方位上,其他摄像机的机位设置按下述方法确定:
多台摄像机的设置应以待拍摄运动目标运动的最高点的位置为圆心,以主摄像机到圆心的投影距离为半径的弧段上均匀放置;并且该弧段以主摄像机为一端的端点。(以便选择不同摄像机的画面连续播放时,空间的变化是平滑的)
多台摄像机的光轴轴心应指向待拍摄运动目标运动的最高点的位置,包括摄像机各自机身和镜头的轴线应该在摄像机摆放位置与待拍摄目标运动最高点的连线方向,摄像机机身离地的高度应一致,摄像机机身的俯仰角应该一致并指向待拍摄目标运动最高点;(画面在不同摄像机间切换时,不会出现画面跳动的感觉,空间指向的细微误差,可以通过的画面稳定处理软件进行补偿)
所有摄像机白平衡、光圈、焦距等应该事先调整为一致的,并且设置在固定模式,不能随环境自动调整;
上述调整的一种优选的实现方法为:计算被拍摄目标运动最高点的位置,例如对于跳马比赛该位置的准确选取应该是以运动员实际比赛过程起跳后最高点的中心位置为准;在该位置悬吊一个大小合适的气球模拟被拍摄目标;周围环境设置为与直播状况相同,特别是周围的环境灯光;各摄像机以该气球为拍摄主题进行拍摄参数(焦距、光圈)的调整;
第四步:将所有摄像机拍摄的视频信号实时采集到一个采集存储装置4中;根据多台摄像机在现场的安装布置方式,设置多个摄像机输入的视频信号在采集存储装置4的故事板列表上的排列顺序,本实施例中模拟现场设置了7台摄像机,以主摄像机3的输入画面为第一层画面,其余摄像机按照与主摄像机的距离依次排列,距离主摄像机最近的两台摄像机排在第二层、第三层画面,次近的两台摄像机排在第四层、第五层画面,距离主摄像机最远的两台摄像机排在第六层、第七层画面。
第五步:本实施例中模式选择单元预先设置并保存了多种回放模式,每个模式对应一种计算机算法;当现场直播过程中操作者决定采用某一种回放模式进行接下来的画面转播时,当即由操作者人工操作按键设备6选择一种回放模式,并给视频处理单元发送指令;
第六步:本实施例中视频处理单元是一个计算机组群5,所述计算机组群5接到所选回放模式指令后,根据该回放模式指令被选中的计算机或服务器通过采集存储装置4读取多台摄像机拍摄的视频帧序列,并保证所述多个视频帧序列以拍摄时刻对齐,被选中的计算机或服务器将读取到的多个视频帧序列按照所选回放模式进行相应的图像处理,处理的方法是获取相应的回放模式所遍历到的任意两帧摄像机的真实视频帧序列,将所述视频帧进行插值算法计算得到虚拟视频帧,将插值得到的虚拟视频帧与原先提取的真实视频帧一同作为视频处理单元的输出传送给播出装置。
视频的处理方式直接决定了回放模式,本发明提供了三种处理方式即静止方式、动态方式、逆程方式,三种方式的数据处理方式不同,其本质区别是真实帧的选取方式、计算虚拟帧的插值算法、真实帧与虚拟帧输出的顺序和密度不同。
所述静止方式是指当被拍摄物运动到某一空间点时,视频处理单元选取所有摄像机拍摄的物体在这一点时的视频帧,为使画面更为连贯可以进行插值算法计算,得到与真实帧相关的虚拟帧,,最后将计算得到的虚拟视频帧与真实视频帧连在一起形成一个连贯的视频帧序列,表现一个的物体静止在这一点但不同角度的连贯画面。
所述动态方式是指随着被拍摄物的运动切换摄像机,即以不同的角度播放物体运动的过程,但是真实存在的摄像机数量有限,如果只播出真实存在的视频帧可能会使得切换摄像机时视频展现的角度过度不够连贯,所以同样可以通过视频处理单元根据适合的插值算法计算出更多的虚拟帧填补到真实摄像机所拍摄的视频帧之间,从而使最终的视频帧序列呈现出角度过度更平滑更连贯的运动过程。
所述逆程方式是指在动态方式的基础上,视频处理单元将物体运动过程中在前时间点的帧插入到在后时间点的帧之后,使得物体运动呈现出倒退并且变换观看角度的现象。
第七步:播出装置7将人工选择的经处理完成的视频帧播出。
需要指出的是,上述的采集存储和视频处理、视频播出虽然有逻辑上的先后关系,但是在实际转播过程中是可以同步发生的。以跳马运动的转播为例:当运动员开始准备起跳时,所有的摄像机已经在同步拍摄,采集存储装置也已经同步采集多个摄像机的拍摄信号,播出装置也一直在播出主摄像机的拍摄画面;当运动员起跳后将要到达空中姿态的最高点时,转播人员可以通过本发明的模式选择单元选择一种转播处理模式,拍下对应的键,这时视频处理单元随即按照选取的回放模式调用刚刚采集下的视频帧序列经处理后由播出装置播出,而同时,所有摄像机还将拍摄下运动员下落的整个过程,采集存储装置在这个过程中也会采集到所有摄像机拍摄的各个角度的运动员下落过程。
实施例三
本实施例是实施例二的改进,是实施例二关于“图像处理步骤”细化,本实施例所述的图像处理方式包括静止方式、动态方式、逆程方式,每一种处理方式对应一种回放模式即静止回放模式、动态回放模式、逆程回放模式。上述回放模式决定了以何种效果为观众呈现现场转播画面。此处的呈现效果可以是通过简单地选取多台摄像机在某一时刻同时拍摄的视频帧,不经过插值计算直接按照摄像机的排放位置依次输出给播出装置,形成所拍摄目标静止的且遍历多台摄像机排放位置路径的多角度回放效果。如果考虑更为细腻体验更好的呈现效果,可以通过在拍摄到的真实帧中选取相应的参考帧进行插值计算得到虚拟帧的方法来平滑遍历路径,或者是达到慢放效果,并且此时经过组合筛选输出给播出装置的帧可以是真实拍摄的帧和插值得到的虚拟帧的混合,或者全部是插值得到的虚拟帧,这就意味着呈现画面所遍历的路径可以不局限于摄像机实际的排放位置,为现场转播带来了更大的灵活性。在本实施例中回放模式是直播前预先设置好的,这里的回放模式涵盖回放过程中涉及的所有必要元素,即某一回放模式与所有元素的具体实现方式的合理组合建立一一对应的关系。这里的合理是指能够为观众提供更好的画面体验的同时兼顾实时计算处理的复杂度,保证实时转播。所述的必要元素包括但不限于,多台摄像机拍摄的视频帧的选取准则,利用某种算法或依据某一准则选取先前已经拍摄得到的帧作为参考帧来构造虚拟帧,先前拍摄得到的帧和虚拟帧的组合筛选规则,回放时所使用的帧序列的排列顺序及帧的数量等。回放模式的预置过程还包括,对以上所述的所有必要元素的具体实现特征进行参数化,并将所有参数项进行合理组合,每一种组合与某一图标或某一快捷键等人机交互的具体形式建立一一对应的关系。
图4a、5a、6、7a分别表示了三种回放模式的视频处理方式。各图中的横坐标表示拍摄对象实际运动时间,c1、c2、c3、c4、c5表示不同位置的真实存在的摄像机,圆点表示真实存在的视频帧,十字表示视频处理单元计算得到的虚拟帧。以图4a所示的静止方式为例,该图表示3台摄像机以同一时间为起点开始拍摄一个物体的运动过程,拍摄出的视频帧序列必然是3个独立序列,但最后要播出的视频是1个合成序列,坐标中对应R点的矢量即是表示当物体运动到时间点R时,图像处理单元将3台摄像机拍摄的视频帧序列合成为1个序列的过程,最终的合成序列播出过程是:以物体运动的实际运动时间点R为分割点,R点之前播出3台摄像机中其中一台所拍摄的视频帧序列,到达R点时播出经处理的三合一序列,R点之后播出3台摄像机中的另一台所拍摄的视频帧序列。最终处理完成的视频帧序列如图4b所示,Cm是播出合成帧序列的虚拟摄像机,Tm是最终播放合成帧序列的时间轴,图中c1、c2、c3对应的点代表真实存在的视频帧,横坐标中的Rm点对应的圆点表示经计算得到的虚拟帧。图中第一个和第二个帧使用的是摄像机c3拍摄的帧,第三个帧使用的是视频处理单元计算出的虚拟帧,第四个帧使用的是摄像机c2拍摄的帧,第五个帧使用的是视频处理单元计算出的虚拟帧,第六个之后都是摄像机c1拍摄的帧。最终形成一个完整的视频帧序列。同理,其他的处理方式原理相同,但真实帧的选取方式、计算虚拟帧的插值算法、真实帧与虚拟帧输出的顺序和密度不同,所以得到的合成的视频帧序列的回放模式不同。
所述的静止方式表示的是被拍摄目标在某一时刻静止在空间的某一位置上,但图像的变化是围绕着被拍摄目标旋转移动,视觉上是观察者围绕着被拍摄目标移动,从一个圆弧的平面上对被拍摄目标进行各个角度的观察。
如图4a所示在真实存在的视频帧之间插入计算得出的虚拟帧,这些虚拟帧代表模拟现场中任意两台摄像机之间设置的虚拟摄像机在同一时刻所拍摄的画面,这些虚拟摄像机的放置位置,或称为放置的轨迹由具体的插值算法决定。某一段回放路程插的帧数越多,意味着观察者划过此路程两端点摄像机机位的路径越平滑,亦即这段路程所设置的虚拟摄像机越多;反之,则代表划过的路径越接近折线,所设置的虚拟摄像机越少。
如图5a所示,计算所得的虚拟帧所代表的虚拟摄像机和真实设置在拍摄现场的摄像机构成了短时间动态回放时观察者的移动轨迹。如图6所示,当虚拟帧足够多时,可以模拟摄像机摇臂的拍摄效果,即在某一时间段内镜头划过的拍摄路径为一空间曲线;而且这种回放模式并不局限于现场实际放置的摄像机的位置,可以完全由插值所得虚拟帧所代表的虚拟摄像机构成回放时观察者的移动轨迹。
如图7a、7b所示,可以进行逆程回放,逆程的含义包括时间和空间上的,时间上的相当于倒放,空间上的是指沿原来观察者移动轨迹反向划动回去。
实际上本实施例给出的静止方式、动态方式、逆程方式仅仅是多角度回放的三种示例,由于所有摄像机的拍摄视频序列都将被采集到采集存储装置中,所以可以灵活的定义更多的遍历模式也得到更好的转播效果。

Claims (2)

1.一种对所拍目标多角度实时转播的方法,所述方法使用的系统包括:同步装置、若干台摄像机、采集存储装置,所述系统还包括视频处理单元和模式选择单元,所述若干台摄像机和采集存储装置、播出装置通过时间信号同步线缆与同步装置连接,并且所述若干台摄像机分别通过信号电缆与采集存储装置连接;所述视频处理单元与模式选择单元、采集存储装置连接;所述的模式选择单元上设有专用的多个回放模式键,其特征在于,所述方法的步骤如下:
设置摄像机位置步骤:用于所述的若干台摄像机的位置设置,在被拍摄位置的四周的一个弧段上等间距预设置若干台摄像机,先确定一个主摄像机的机位,主摄像机的位置设置在可以拍摄到待拍目标整个运动过程的方位上,其他摄像机的位置以待拍摄位置为圆心,以所述主摄像机到圆心的投影距离为半径的弧段上均匀放置;所有摄像设备的镜头指向同一拍摄点;
同步摄像机的步骤:用于所述的同步装置同步所述若干台摄像机,在拍摄现场设置一个同步装置,将所述同步装置的同步信号源接入到各摄像机的同步信号输入接口,设置摄像机的同步方式为“外同步”;所述同步装置的同步信号源同时也接入到采集存储装置和播出装置的同步信号输入接口;
校正摄像机参数的步骤:用于将所有摄像机白平衡、光圈、焦距等参数调整为一致,并且设置在固定模式,不能随环境自动调整;
同步拍摄的步骤:用于所有摄像机在同步完成后对拍摄目标同步拍摄,并将拍摄到的视频信号传输给采集存储装置;
图像的同步采集步骤:用于所述的采集存储装置同步采集视频信号,将所有摄像机拍摄的视频信号实时并且同步采集到采集存储装置中;根据多台摄像机在现场的安装布置方式,设置多个摄像机输入的视频信号在采集存储装置的故事板列表上的排列顺序,以所述主摄像机输入画面为第一层画面,其余摄像机按照与主摄像机的距离依次排列,距离主摄像机最近的排在第二层画面,次近的排在第三层画面,最远的排在最下的一层画面;并且保证故事板上各层画面在时间轴上按照拍摄时刻对齐;
选择回放模式步骤:用于所述的模式选择单元选择回放模式,多种回放模式预先设置并保存在模式选择单元中,其中每个模式对应一个回放模式键;由操作者直接按动一个回放模式键人工选择一种回放模式,并给视频处理单元发送指令;
图像处理步骤:用于所述的视频处理单元处理视频帧序列,视频处理单元接到所选回放模式指令后,视频处理单元按照所选回放模式向采集存储装置读取多台摄像机拍摄的视频帧序列,并按照该所选回放模式进行相应的图像处理,处理的方法是选取该回放模式所遍历路径上相关联的真实帧序列作为参考帧,将所述参考帧进行插值算法计算得到虚拟视频帧,将插值得到的虚拟视频帧与原先读取的真实视频帧序列一同作为备选输出帧,备选输出帧根据该所选回放模式进行组合筛选后作为视频处理单元的输出传送给回放播出装置;
播出步骤:用于播出装置播出经处理的视频帧序列,播出装置将回放模式键选择的回放模式经处理完成的视频帧序列播出。
2.根据权利要求1所述的方法,其特征在于所述“图像处理步骤”中对图像的处理方式包括静止方式、动态方式、逆程方式。
CN201210587668.1A 2012-12-31 2012-12-31 一种对所拍目标多角度实时转播的系统和方法 Active CN103051830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210587668.1A CN103051830B (zh) 2012-12-31 2012-12-31 一种对所拍目标多角度实时转播的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210587668.1A CN103051830B (zh) 2012-12-31 2012-12-31 一种对所拍目标多角度实时转播的系统和方法

Publications (2)

Publication Number Publication Date
CN103051830A CN103051830A (zh) 2013-04-17
CN103051830B true CN103051830B (zh) 2015-12-23

Family

ID=48064322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210587668.1A Active CN103051830B (zh) 2012-12-31 2012-12-31 一种对所拍目标多角度实时转播的系统和方法

Country Status (1)

Country Link
CN (1) CN103051830B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104853115B (zh) * 2014-02-14 2017-11-03 北京尚水信息技术股份有限公司 多路跟踪视频快速切换方法
CN105100733A (zh) * 2015-08-27 2015-11-25 广东威创视讯科技股份有限公司 拼接显示装置的视频播放方法和系统
FR3052949B1 (fr) * 2016-06-17 2019-11-08 Alexandre Courtes Procede et systeme de prise de vues a l'aide d'un capteur virtuel
CN107071390A (zh) * 2017-03-15 2017-08-18 朱培恒 一种实时全息影像拍摄、生成及转播系统和工作方法
JP6980496B2 (ja) * 2017-11-21 2021-12-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN110677559B (zh) * 2019-09-10 2021-07-09 深圳市奥拓电子股份有限公司 一种区别显示转播视频的方法、装置及存储介质
CN111263177A (zh) * 2020-01-22 2020-06-09 杭州皮克皮克科技有限公司 一种视频互动直播方法及系统
CN111711780A (zh) * 2020-04-22 2020-09-25 天津体育学院 一种影像回放系统及方法
CN113784148A (zh) * 2020-06-10 2021-12-10 阿里巴巴集团控股有限公司 数据处理方法、系统、相关设备和存储介质
CN111770269B (zh) * 2020-06-23 2021-09-14 合肥富煌君达高科信息技术有限公司 一种基于多高速摄像机的并行采集管控方法及系统
CN112839170B (zh) * 2020-12-31 2022-07-05 上海米哈游天命科技有限公司 拍摄方法、装置、电子设备及存储介质
CN113382177B (zh) * 2021-05-31 2023-03-28 上海东方传媒技术有限公司 一种多视角环绕拍摄方法及系统
CN113794844B (zh) * 2021-09-09 2023-05-26 北京字节跳动网络技术有限公司 自由视角视频采集系统、方法、装置、服务器和介质
CN113965766A (zh) * 2021-10-27 2022-01-21 腾竞体育文化发展(上海)有限公司 电竞赛事直播系统、方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1427618A (zh) * 2001-12-20 2003-07-02 中国科学院计算技术研究所 基于多进程的多视角视频节目网络转播方法
CN101082766A (zh) * 2006-06-01 2007-12-05 上海杰图软件技术有限公司 一种快速采集全景图像的设备和方法
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN101521745A (zh) * 2009-04-14 2009-09-02 王广生 一组多镜头光心重合式全方位摄像装置及全景摄像、转播的方法
WO2010144635A1 (en) * 2009-06-09 2010-12-16 Gregory David Gallinat Cameras, camera apparatuses, and methods of using same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1427618A (zh) * 2001-12-20 2003-07-02 中国科学院计算技术研究所 基于多进程的多视角视频节目网络转播方法
CN101082766A (zh) * 2006-06-01 2007-12-05 上海杰图软件技术有限公司 一种快速采集全景图像的设备和方法
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN101521745A (zh) * 2009-04-14 2009-09-02 王广生 一组多镜头光心重合式全方位摄像装置及全景摄像、转播的方法
WO2010144635A1 (en) * 2009-06-09 2010-12-16 Gregory David Gallinat Cameras, camera apparatuses, and methods of using same

Also Published As

Publication number Publication date
CN103051830A (zh) 2013-04-17

Similar Documents

Publication Publication Date Title
CN103051830B (zh) 一种对所拍目标多角度实时转播的系统和方法
US10582182B2 (en) Video capture and rendering system control using multiple virtual cameras
CN105264876B (zh) 低成本电视制作的方法及系统
US9751015B2 (en) Augmented reality videogame broadcast programming
US6741250B1 (en) Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US10237537B2 (en) System and method for creating an interactive virtual reality (VR) movie having live action elements
US8885023B2 (en) System and method for virtual camera control using motion control systems for augmented three dimensional reality
US10666861B2 (en) Method and system for producing a video production
KR101713772B1 (ko) 사전 시각화 영상 생성 장치 및 방법
JP2022177053A (ja) 情報処理システム、情報処理方法、および情報処理プログラム
CN112738010A (zh) 数据交互方法及系统、交互终端、可读存储介质
CN105939481A (zh) 一种交互式三维虚拟现实视频节目录播和直播方法
US10205969B2 (en) 360 degree space image reproduction method and system therefor
JP2017513385A (ja) 自動的にテレビ番組を制作する方法及びシステム
CN105791881A (zh) 一种基于光场摄像机的三维场景录播的实现方法
US8885022B2 (en) Virtual camera control using motion control systems for augmented reality
WO1995007590A1 (fr) Processeur d'images variant dans le temps et dispositif d'affichage
CN112738495B (zh) 虚拟视点图像生成方法、系统、电子设备及存储介质
KR20160021706A (ko) 360도 공간영상 재생방법 및 그 시스템
CN102118568B (zh) 一种用于体育比赛的图形生成系统
KR20190031220A (ko) Vr 콘텐츠 제공 시스템 및 방법
CN102118576B (zh) 一种虚拟体育系统中的色键合成方法及装置
JP4330494B2 (ja) ブロードキャスト番組参加システム、及び方法
CN112738009A (zh) 数据同步方法、设备、同步系统、介质和服务器
WO2022062970A1 (zh) 图像获取装置以及图像获取系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant