CN108540720A - 一种用于子弹时间自动选取最优图像的系统及方法 - Google Patents

一种用于子弹时间自动选取最优图像的系统及方法 Download PDF

Info

Publication number
CN108540720A
CN108540720A CN201810334237.1A CN201810334237A CN108540720A CN 108540720 A CN108540720 A CN 108540720A CN 201810334237 A CN201810334237 A CN 201810334237A CN 108540720 A CN108540720 A CN 108540720A
Authority
CN
China
Prior art keywords
image
video camera
camera
module
light stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810334237.1A
Other languages
English (en)
Other versions
CN108540720B (zh
Inventor
刘娟
徐鳌飞
陈捷
张智福
郭玉其
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Full Image Technology Co Ltd
Original Assignee
Changsha Full Image Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Full Image Technology Co Ltd filed Critical Changsha Full Image Technology Co Ltd
Priority to CN201810334237.1A priority Critical patent/CN108540720B/zh
Publication of CN108540720A publication Critical patent/CN108540720A/zh
Application granted granted Critical
Publication of CN108540720B publication Critical patent/CN108540720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

一种用于子弹时间自动选取最优图像的系统及方法,该系统包括云台摄像机组、服务器和控制器;云台摄像机组包括多个摄像机,所有摄像机均匀、间隔地固定在用于子弹时间的环形支架上,且所有摄像机的摄像头均朝向环形支架中间的指定位置;服务器通过通讯连接配置于控制器和至少一个安装于同一环形支架上的云台摄像机组之间,以通过服务器对各摄像机进行控制和调整;控制器内设有最优图像自动选取模块,用于通过最优图像选取算法,在拍摄到的运动序列中自动选取每个摄像机的最优图像,本发明最大限度地简化了子弹时间视觉特效的制作复杂度,省去了用户手动选取最优图像的繁琐环节,节约了子弹时间制作的人力和时间成本。

Description

一种用于子弹时间自动选取最优图像的系统及方法
技术领域
本发明涉及一种摄影装置,具体涉及一种用于子弹时间自动选取最优图像的系统及方法。
背景技术
“子弹时间(Bullet time)”被称作“时间切割”或者“时间冻结”,是一种使用在电影、电视广告或电脑游戏中,用计算机辅助的摄影技术模拟变速特效,例如强化的慢镜头、时间静止等效果。子弹时间在好莱坞华纳兄弟电影公司出品的电影《骇客帝国》中,用于表现男主角躲避子弹的场景而为世人所熟知。
子弹时间有相机阵列、单相机拍摄、场景静止、CG动画、多机位重复拍摄五种拍摄模式。子弹时间最初是用一系列围绕物体的静止相机实现的。这些相机阵列通常被同时或者顺序触发快门。把每个相机拍摄的每一帧照片组合起来就可以构成对静止物体的视觉旋转效果,或者超级慢镜头效果。它的特点是不但在时间上极端变化(静止或慢到足以呈现出正常情况下根本不可能观察到的现象),而且在空间上极端变化。
然而,子弹时间特效在拍摄运动物体时,需要用户手动选取运动序列中的最优图像用于子弹时间特效制作,需要花费大量的时间和精力。
因此,亟需一种快速和实用的自动选取最优图像方法。
发明内容
现有技术中,子弹时间特效在拍摄运动物体时,需要用户手动选取运动序列中的最优图像用于子弹时间特效制作,需要花费大量的时间和精力,为了解决这种问题,本发明提供一种用于子弹时间自动选取最优图像的系统,具体方案如下:
一种用于子弹时间自动选取最优图像的系统,包括云台摄像机组、服务器和控制器;
所述云台摄像机组包括多个摄像机,所有摄像机均匀、间隔地固定在用于子弹时间的环形支架上,且所有摄像机的摄像头均朝向环形支架中间的指定位置;
所述服务器通过通讯连接配置于控制器和至少一个安装于同一环形支架上的云台摄像机组之间,以通过服务器对各摄像机进行控制和调整;
所述控制器内设有最优图像自动选取模块,所述最优图像自动选取模块,用于通过最优图像选取算法,在拍摄到的运动序列中自动选取每个摄像机的最优图像,以用于子弹时间特效制作。
具体实施中,所述环形支架为圆形或椭圆形,所述环形支架上均匀、间隔地设有若干可水平和垂直转动的云台,每个摄像机均安装在对应位置的云台上。
具体实施中,所述控制器还包括系统自检模块、相机校准模块、图像参数设置模块、相机自动触发模块,快门控制模块、数据获取模块和图像处理模块;
所述系统自检模块,用于在摄像相机上电后,调用保留的预置位调整每组云台摄像机组中的每个摄像机的朝向;
所述相机校准模块,用于调整每组云台摄像机组中每个摄像机的工作参数,所述工作参数包括摄像机在水平和垂直方向的移动参数,以及摄像机缩放、变焦和光圈的调节参数;
所述图像参数设置模块,用于设置每个摄像机拍摄图像的白平衡值、曝光值的参数;
所述相机自动触发模块,用于接收发送拍照命令的触发信号,所述触发信号为按键触发、二维码扫描触发或压力传感器触发;
所述快门控制模块,用于启动同步拍摄过程中每个摄像机中的快门动作;
所述数据获取模块,用于收集各摄像机拍摄的最优图像;
所述图像处理模块,用于对拍摄的最优图像进行亮度一致性调整、色差一致性校正、图像的防抖处理以及图像的组合。
本发明用于子弹时间自动选取最优图像的系统,最大限度地简化了子弹时间视觉特效的制作复杂度,省去了用户手动选取最优图像的繁琐环节,节约了子弹时间制作的人力和时间成本。
根据本发明的另一个方面,本发明还提供了一种采用上述任一项所述用于子弹时间自动选取最优图像的系统的方法,其包括如下步骤:
S1、云台摄像机组的各摄像机连续拍摄多张运动图像并下载主相机的运动图像序列,所述主相机为所有云台摄像机组中指定的任意一摄像机;
S2、计算主相机所获取的多张运动图像的光流;
S3、统计每帧图像在y方向的光流平均值,并绘制光流分布曲线图;
S4、根据光流分布曲线图,获取候选最高点图像,并筛选最高点图像;
S5、记录并发送最高点图像序号给相机阵列中除主相机外的其它摄像机,下载各相机对应序号的图像,以用于子弹时间制作。
具体实施中,所述步骤S1云台摄像机组的各摄像机连续拍摄多张运动图像并下载主相机的运动图像序列具体包括:
在需要拍摄的场景中搭建好子弹时间拍摄系统,将各组云台摄像机安装在环形支架上,使其对准环形支架的中间位置,通过通讯连接将服务器与各个摄像机以及控制器通讯连接;
系统上电,系统自检模块调用预设的预置位调整摄像机的位置,使其朝向预设的位置;
通过相机校准模块依次调整每个摄像机,使其对准辅助对准目标,通过辅助对焦目标,调整每个云台摄像机的焦距;
图像参数设置模块通过主相机的预览功能,对图像进行曝光和白平衡调整,最终锁定参数,并将锁定的参数通过服务器下发到相机阵列中其它所有摄像机,并以该参数设置白平衡和曝光参数;
启动相机自动触发模块,控制器发送拍照命令给主相机,主相机产生同步信号并通过同步连接线发送给相机阵列中其它相机;
当待拍摄的物体开始动作时,快门控制模块启动同步拍摄过程中每个摄像机中的快门动作,同时捕捉待拍摄物体的图像,并连续拍摄得到多张连续图像;
待主相机在完成拍照后,控制器下载主相机自动上传的连续N张图像。
具体实施中,所述步骤S2计算主相机所获取的多张运动图像的光流的方法具体包括以下步骤:
S21、获取主相机运动图像序列中任意一运动像素点在二维图像平面上的任意连续三帧的运动轨迹;
设,i-1时刻运动像素点pi-1=(xi-1,yi-1),i时刻对应像素点为pi(xi,yi),i+1时刻对应像素点为pi+1=(xi+1,yi+1);
S22、根据运动轨迹计算主相机运动图像序列的任意时刻的光流;
i时刻光流(ui,vi)=(xi-xi-1,yi-yi-1),i+1时刻光流(ui+1,vi+1)=(xi+1-xi,yi+1-yi),计算出vi和vi+1是否为正值或负值,通过判断连续两帧图像的y方向光流的正负来选取最高点图像。
具体实施中,所述步骤S3统计每帧图像在y方向的光流平均值,并绘制光流分布曲线图具体包括:
所述y方向的光流平均值avg_vi计算公式如下:
其中,M表示第i帧图像所有的运动像素点个数,表示第i帧图像中某运动像素点j的y方向的光流;
计算连续N张运动图像在y方向的光流值,绘制成光流分布曲线图。
具体实施中,所述步骤S4根据光流分布曲线图,获取候选最高点图像,并筛选最高点图像具体包括:
根据光流分布曲线图,寻找候选最高点图像;
查找光流分布曲线与x轴的交点,若曲线与x轴不相交,则最高点图像在第一帧或第N帧为候选最高点图像;
若曲线与x轴相交,且满足相交点前一帧光流值为负,后一帧光流值为正,则选取该交点的前一帧图像作为候选最高点图像。
根据候选图像个数,筛选最高点图像;
若候选图像个数=1,则该序号对应图像则为最高点图像;
若候选图像个数≥2,则运用运动目标外接矩形原点处的纵坐标值来筛选最高点图像。
具体实施中,所述筛选最高点图像的方法具体包括:
采用最大类间差分法对前后帧的差分图像进行分割,得到初始前景图像;
采用中值滤波法去除噪点;接着,采用膨胀形态学算子,获取连续轮廓点,并根据轮廓点获取外接矩形;
比较外接矩形原点处的纵坐标值,选取纵坐标值最小的图像作为最高点图像。
具体实施中,所述步骤S5记录并发送最高点图像序号给相机阵列中除主相机外的其它摄像机,下载各相机对应序号的图像,以用于子弹时间制作具体包括:
数据获取模块记录并发送最高点图像的序号给相机阵列中的其它摄像机,并下载各相机的对应序号图像;
图像处理模块对最高点图像进行亮度一致性调整,色差一致性调整、图像的防抖处理以及图像合成,进而生成子弹时间特效。
本发明用于子弹时间自动选取最优图像的方法,最大限度地简化了子弹时间视觉特效的制作复杂度,省去了用户手动选取最优图像的繁琐环节,节约了子弹时间制作的人力和时间成本。
附图说明
图1为本发明用于子弹时间自动选取最优图像的系统提供的一实例的结构框图;
图2为本发明用于子弹时间自动选取最优图像的方法提供的一实例的流程图;
图3是本发明提供的一种最高点图像光流方向示意图;
图4是本发明提供的一种光流分布曲线示意图。
图中:110、云台摄像机组,120、服务器,130、控制器,131、系统自检模块,132、相机校准模块,133、图像参数设置模块,134、相机自动触发模块,135、快门控制模块,136、最优图像自动选取模块,137、数据获取模块,138、图像处理模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
子弹时间有相机阵列、单相机拍摄、场景静止、CG动画、多机位重复拍摄五种拍摄模式。子弹时间最初是用一系列围绕物体的静止相机实现的。这些相机阵列通常被同时或者顺序触发快门。把每个相机拍摄的每一帧照片组合起来就可以构成对静止物体的视觉旋转效果,或者超级慢镜头效果。它的特点是不但在时间上极端变化(静止或慢到足以呈现出正常情况下根本不可能观察到的现象),而且在空间上极端变化。
然而,子弹时间特效在拍摄运动物体时,需要用户手动选取运动序列中的最优图像用于子弹时间特效制作,需要花费大量的时间和精力。
面对子弹时间特效拍摄和制作复杂的问题,为了简化子弹时间这一视觉特效的拍摄难度,通过本方案提供的用于子弹时间自动选取最优图像的系统及系统,为子弹时间的拍摄提供了快速和实用的解决方案。
如图1所示,本发明提供的用于子弹时间自动选取最优图像的系统,包括云台摄像机组110、服务器120和控制器130;
所述云台摄像机组110包括多个摄像机,所有摄像机均匀、间隔地固定在用于子弹时间的环形支架上,且所有摄像机的摄像头均朝向环形支架中间的指定位置;
所述服务器120通过通讯连接配置于控制器130和至少一个安装于同一环形支架上的云台摄像机组110之间,通讯连接为有线连接或无线局域网连接,使得同一台服务器120连接多台云台摄像机组110,以通过服务器120对各摄像机进行控制和调整。比如,设置摄像机的参数,调整摄像机的位置,使摄像机自动对准某一指定拍摄位置等;
所述控制器130内设有最优图像自动选取模块136,所述最优图像自动选取模块136,用于通过最优图像选取算法,在拍摄到的运动序列中自动选取每个摄像机的最优图像,以用于后续的子弹时间特效制作。
具体实施中,所述环形支架为圆形或椭圆形,所述环形支架上均匀、间隔地设有若干可水平和垂直转动的云台,每个摄像机均安装在对应位置的云台上。
具体实施中,所述控制器130还包括系统自检模块131、相机校准模块132、图像参数设置模块133、相机自动触发模块134,快门控制模块135、数据获取模块137和图像处理模块138;
所述系统自检模块131,用于在摄像相机上电后,调用保留的预置位调整每组云台摄像机组110中的每个摄像机的朝向;
所述相机校准模块132,用于调整每组云台摄像机组110中每个摄像机的工作参数,所述工作参数包括摄像机在水平和垂直方向的移动参数,以及摄像机缩放、变焦和光圈的调节参数;
所述图像参数设置模块133,用于设置每个摄像机拍摄图像的白平衡值、曝光值的参数;
所述相机自动触发模块134,用于接收发送拍照命令的触发信号,所述触发信号为按键触发、二维码扫描触发或压力传感器触发;
所述快门控制模块135,用于启动同步拍摄过程中每个摄像机中的快门动作;
所述数据获取模块137,用于收集各摄像机拍摄的最优图像;
所述图像处理模块138,用于对拍摄的最优图像进行亮度一致性调整、色差一致性校正、图像的防抖处理以及图像的组合。
本发明用于子弹时间自动选取最优图像的系统,最大限度地简化了子弹时间视觉特效的制作复杂度,省去了用户手动选取最优图像的繁琐环节,节约了子弹时间制作的人力和时间成本。
根据本发明的另一个方面,本发明还提供了一种采用上述任一项所述用于子弹时间自动选取最优图像的系统的方法,其包括如下步骤:
步骤S1、云台摄像机组110的各摄像机连续拍摄多张运动图像并下载主相机的运动图像序列,所述主相机为所有云台摄像机组中指定的任意一摄像机;
步骤S2、计算主相机所获取的多张运动图像的光流;
步骤S3、统计每帧图像在y方向的光流平均值,并绘制光流分布曲线图;
步骤S4、根据光流分布曲线图,获取候选最高点图像,并筛选最高点图像;
步骤S5、记录并发送最高点图像序号给相机阵列中除主相机外的其它摄像机,下载各相机对应序号的图像,以用于子弹时间制作。
其中,所述主相机为控制器130通过网络设置某一任意摄像机为主相机,以用主相机预览图像、调整白平衡、自动曝光参数等。
具体实施中,所述步骤S1云台摄像机组110的各摄像机连续拍摄多张运动图像并下载主相机的运动图像序列具体包括:
在需要拍摄的场景中搭建好子弹时间拍摄系统,将各组云台摄像机安装在环形支架上,使其对准环形支架的中间位置,通过通讯连接将服务器120与各个摄像机以及控制器130通讯连接;
系统上电,系统自检模块131调用预设的预置位调整摄像机的位置,使其朝向预设的位置;
通过相机校准模块132依次调整每个摄像机,使其对准辅助对准目标,通过辅助对焦目标,调整每个云台摄像机的焦距;
图像参数设置模块133通过主相机的预览功能,对图像进行曝光和白平衡调整,最终锁定参数,并将锁定的参数通过服务器120下发到相机阵列中其它所有摄像机,并以该参数设置白平衡和曝光参数;
启动相机自动触发模块134,控制器130发送拍照命令给主相机,主相机产生同步信号并通过同步连接线发送给相机阵列中其它相机;
当待拍摄的物体开始动作时,快门控制模块135启动同步拍摄过程中每个摄像机中的快门动作,同时捕捉待拍摄物体的图像,并连续拍摄得到多张连续图像;
待主相机完成拍照后,控制器下载主相机自动上传的N张图像。
所述步骤S2计算主相机所获取的多张运动图像的光流,是因为待拍摄物体在运动过程中,最高点前后运动方向相反的特性。如图3所示,绘制主相机运动图像序列中任意一运动像素点在二维图像平面上的最高点时刻前后的运动轨迹,设i-1时刻运动像素点pi-1=(xi-1,yi-1),i时刻对应像素点为pi=(xi,yi),i+1时刻对应像素点为pi+1=(xi+1,yi+1),其中,i时刻为运动最高点;
根据运动轨迹得到i时刻光流(ui,vi)=(xi-xi-1,yi-yi-1),i+1时刻光流(ui+1,vi+1)=(xi+1-xi,yi+1-yi),从图中不难得出,vi为负值,vi+1为正值,因此,可通过判断连续两帧图像在方向光流的正负来选取最高点图像。
因此,具体实施中,所述步骤S2计算主相机所获取的多张运动图像的光流的方法具体步骤如下:
S21、获取主相机运动图像序列中任意一运动像素点在二维图像平面上的任意连续三帧的运动轨迹;
S22、根据运动轨迹计算主相机运动图像序列的任意时刻的光流。
为了进一步提高算法的鲁棒性,本发明通过统计每帧图像y方向的光流平均值得到光流曲线图,作为最高点图像筛选的判断依据。
具体实施中,所述步骤S3统计每帧图像在y方向的光流平均值,并绘制光流分布曲线图具体包括:
所述y方向的光流平均值avg_vi计算公式如下:
其中,M表示第i帧图像所有的运动像素点个数,表示第i帧图像中某运动像素点j的y方向的光流;
计算连续N张运动图像在y方向的光流值,绘制成光流分布曲线图,如图4所示,其中,黑色圆点为(ti,avg_vi),横轴为离散时间点,纵轴为y方向上的光流平均值avg_v,avg_v可正可负,若avg_v为正,说明此时运动物体在向上运动,若avg_v为负,则此时运动物体在向下运动。
具体实施中,所述步骤S4根据光流分布曲线图,获取候选最高点图像,并筛选最高点图像具体包括:
根据光流分布曲线图,寻找候选最高点图像;
如图4曲线1所示,查找光流分布曲线与x轴的交点,若曲线与x轴不相交,则最高点图像在第一帧或第N帧为候选最高点图像;
如图4曲线2所示,若曲线与x轴相交,且满足相交点前一帧光流值为负,后一帧光流值为正,则选取该交点的前一帧图像作为候选最高点图像。
根据候选图像个数,筛选最高点图像;
若候选图像个数=1,则该序号对应图像则为最高点图像;
若候选图像个数≥2,则运用运动目标外接矩形原点处的纵坐标值来筛选最高点图像。
具体实施中,所述筛选最高点图像的方法具体包括:
采用最大类间差分法对前后帧的差分图像进行分割,得到初始前景图像;
采用中值滤波法去除噪点;接着,采用膨胀形态学算子,获取连续轮廓点,并根据轮廓点获取外接矩形;
比较外接矩形原点处的纵坐标值,选取纵坐标值最小的图像作为最高点图像。
具体实施中,所述步骤S5记录并发送最高点图像序号给相机阵列中除主相机外的其它摄像机,下载各相机对应序号的图像,以用于子弹时间制作具体包括:
数据获取模块137记录并发送最高点图像的序号给相机阵列中的其它摄像机,并下载各相机的对应序号图像;
图像处理模块138对最高点图像进行亮度一致性调整,色差一致性调整、图像的防抖处理以及图像合成,进而生成子弹时间特效。
本发明用于子弹时间自动选取最优图像的方法,最大限度地简化了子弹时间视觉特效的制作复杂度,省去了用户手动选取最优图像的繁琐环节,节约了子弹时间制作的人力和时间成本。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种用于子弹时间自动选取最优图像的系统,其特征在于,包括云台摄像机组、服务器和控制器;
所述云台摄像机组包括多个摄像机,所有摄像机均匀、间隔地固定在用于子弹时间的环形支架上,且所有摄像机的摄像头均朝向环形支架中间的指定位置;
所述服务器通过通讯连接配置于控制器和至少一个安装于同一环形支架上的云台摄像机组之间,以通过服务器对各摄像机进行控制和调整;
所述控制器内设有最优图像自动选取模块,所述最优图像自动选取模块,用于通过最优图像选取算法,在拍摄到的运动序列中自动选取每个摄像机的最优图像,以用于子弹时间特效制作。
2.根据权利要求1所述的系统,其特征在于,所述环形支架为圆形或椭圆形,所述环形支架上均匀、间隔地设有若干可水平和垂直转动的云台,每个摄像机均安装在对应位置的云台上。
3.根据权利要求2所述的系统,其特征在于,所述控制器还包括系统自检模块、相机校准模块、图像参数设置模块、相机自动触发模块,快门控制模块、数据获取模块和图像处理模块;
所述系统自检模块,用于在摄像相机上电后,调用保留的预置位调整每组云台摄像机组中的每个摄像机的朝向;
所述相机校准模块,用于调整每组云台摄像机组中每个摄像机的工作参数,所述工作参数包括摄像机在水平和垂直方向的移动参数,以及摄像机缩放、变焦和光圈的调节参数;
所述图像参数设置模块,用于设置每个摄像机拍摄图像的白平衡值、曝光值的参数;
所述相机自动触发模块,用于接收发送拍照命令的触发信号,所述触发信号为按键触发、二维码扫描触发或压力传感器触发;
所述快门控制模块,用于启动同步拍摄过程中每个摄像机中的快门动作;
所述数据获取模块,用于收集各摄像机拍摄的最优图像;
所述图像处理模块,用于对拍摄的最优图像进行亮度一致性调整、色差一致性校正、图像的防抖处理以及图像的组合。
4.一种采用权利要求1至5任一项所述用于子弹时间自动选取最优图像的系统的方法,其特征在于,包括如下步骤:
S1、云台摄像机组的各摄像机连续拍摄多张运动图像并下载主相机的运动图像序列,所述主相机为所有云台摄像机组中指定的任意一摄像机;
S2、计算主相机所获取的多张运动图像的光流;
S3、统计每帧图像在y方向的光流平均值,并绘制光流分布曲线图;
S4、根据光流分布曲线图,获取候选最高点图像,并筛选最高点图像;
S5、记录并发送最高点图像序号给相机阵列中除主相机外的其它摄像机,下载各相机对应序号的图像,以用于子弹时间制作。
5.根据权利要求4所述的方法,其特征在于,所述步骤S1云台摄像机组的各摄像机连续拍摄多张运动图像并下载主相机的运动图像序列具体包括:
在需要拍摄的场景中搭建好子弹时间拍摄系统,将各组云台摄像机安装在环形支架上,使其对准环形支架的中间位置,通过通讯连接将服务器与各个摄像机以及控制器通讯连接;
系统上电,系统自检模块调用预设的预置位调整摄像机的位置,使其朝向预设的位置;
通过相机校准模块依次调整每个摄像机,使其对准辅助对准目标,通过辅助对焦目标,调整每个云台摄像机的焦距;
图像参数设置模块通过主相机的预览功能,对图像进行曝光和白平衡调整,最终锁定参数,并将锁定的参数通过服务器下发到相机阵列中其它所有摄像机,并以该参数设置白平衡和曝光参数;
启动相机自动触发模块,控制器发送拍照命令给主相机,主相机产生同步信号并通过同步连接线发送给相机阵列中其它相机;
当待拍摄的物体开始动作时,快门控制模块启动同步拍摄过程中每个摄像机中的快门动作,同时捕捉待拍摄物体的图像,并连续拍摄得到多张连续图像;
待主相机在完成拍照后,控制器下载主相机自动上传的连续N张图像。
6.根据权利要求5所述的方法,其特征在于,所述步骤S2计算主相机所获取的多张运动图像的光流的方法具体包括以下步骤:
S21、获取主相机运动图像序列中任意一运动像素点在二维图像平面上的任意连续三帧的运动轨迹;
设,i-1时刻运动像素点pi-1=(xi-1,yi-1),i时刻对应像素点为pi=(xi,yi),i+1时刻对应像素点为pi+1=(xi+1,yi+1);
S22、根据运动轨迹计算主相机运动图像序列的任意时刻的光流;
i时刻光流(ui,vi)=(xi-xi-1,yi-yi-1),i+1时刻光流(ui+1,vi+1)=(xi+1-xi,yi+1-yi),计算出vi和vi+1是否为正值或负值,通过判断连续两帧图像的y方向光流的正负来选取最高点图像。
7.根据权利要求6所述的方法,其特征在于,所述步骤S3统计每帧图像在y方向的光流平均值,并绘制光流分布曲线图具体包括:
所述y方向的光流平均值avg_vi计算公式如下:
其中,M表示第i帧图像所有的运动像素点个数,表示第i帧图像中某运动像素点j的y方向的光流;
计算连续N张运动图像在y方向的光流值,绘制成光流分布曲线图。
8.根据权利要求7所述的方法,其特征在于,所述步骤S4根据光流分布曲线图,获取候选最高点图像,并筛选最高点图像具体包括:
根据光流分布曲线图,寻找候选最高点图像;
查找光流分布曲线与x轴的交点,若曲线与x轴不相交,则最高点图像在第一帧或第N帧为候选最高点图像;
若曲线与x轴相交,且满足相交点前一帧光流值为负,后一帧光流值为正,则选取该交点的前一帧图像作为候选最高点图像。
根据候选图像个数,筛选最高点图像;
若候选图像个数=1,则该序号对应图像则为最高点图像;
若候选图像个数≥2,则运用运动目标外接矩形原点处的纵坐标值来筛选最高点图像。
9.根据权利要求8所述的方法,其特征在于,所述筛选最高点图像的方法具体包括:
采用最大类间差分法对前后帧的差分图像进行分割,得到初始前景图像;
采用中值滤波法去除噪点;接着,采用膨胀形态学算子,获取连续轮廓点,并根据轮廓点获取外接矩形;
比较外接矩形原点处的纵坐标值,选取纵坐标值最小的图像作为最高点图像。
10.根据权利要求9所述的方法,其特征在于,所述步骤S5记录并发送最高点图像序号给相机阵列中除主相机外的其它摄像机,下载各相机对应序号的图像,以用于子弹时间制作具体包括:
数据获取模块记录并发送最高点图像的序号给相机阵列中的其它摄像机,并下载各相机的对应序号图像;
图像处理模块对最高点图像进行亮度一致性调整,色差一致性调整、图像的防抖处理以及图像合成,进而生成子弹时间特效。
CN201810334237.1A 2018-04-14 2018-04-14 一种用于子弹时间自动选取最优图像的系统及方法 Active CN108540720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810334237.1A CN108540720B (zh) 2018-04-14 2018-04-14 一种用于子弹时间自动选取最优图像的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810334237.1A CN108540720B (zh) 2018-04-14 2018-04-14 一种用于子弹时间自动选取最优图像的系统及方法

Publications (2)

Publication Number Publication Date
CN108540720A true CN108540720A (zh) 2018-09-14
CN108540720B CN108540720B (zh) 2020-07-03

Family

ID=63480599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810334237.1A Active CN108540720B (zh) 2018-04-14 2018-04-14 一种用于子弹时间自动选取最优图像的系统及方法

Country Status (1)

Country Link
CN (1) CN108540720B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602385A (zh) * 2019-08-28 2019-12-20 深圳怡化电脑股份有限公司 照相机及其使用方法
CN111641779A (zh) * 2020-05-07 2020-09-08 车智互联(北京)科技有限公司 一种拍摄控制方法、系统及计算设备
WO2022105757A1 (zh) * 2020-11-19 2022-05-27 华为技术有限公司 图像处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854465A (zh) * 2010-02-01 2010-10-06 杭州海康威视软件有限公司 基于光流算法的图像处理方法及装置
JP2012248011A (ja) * 2011-05-27 2012-12-13 Denso Corp 画像認識装置
CN204697173U (zh) * 2015-06-25 2015-10-07 南京苏博工业设计有限公司 一种子弹时间拍摄系统
CN106210496A (zh) * 2015-05-06 2016-12-07 小米科技有限责任公司 照片拍摄方法及装置
CN106921829A (zh) * 2015-12-25 2017-07-04 北京奇虎科技有限公司 一种拍照方法和装置及拍照设备
CN206313885U (zh) * 2016-12-27 2017-07-07 湖南子午天地科技文化发展有限公司 一种用于子弹时间制作的云台摄像机阵列
CN107358206A (zh) * 2017-07-13 2017-11-17 山东大学 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854465A (zh) * 2010-02-01 2010-10-06 杭州海康威视软件有限公司 基于光流算法的图像处理方法及装置
JP2012248011A (ja) * 2011-05-27 2012-12-13 Denso Corp 画像認識装置
CN106210496A (zh) * 2015-05-06 2016-12-07 小米科技有限责任公司 照片拍摄方法及装置
CN204697173U (zh) * 2015-06-25 2015-10-07 南京苏博工业设计有限公司 一种子弹时间拍摄系统
CN106921829A (zh) * 2015-12-25 2017-07-04 北京奇虎科技有限公司 一种拍照方法和装置及拍照设备
CN206313885U (zh) * 2016-12-27 2017-07-07 湖南子午天地科技文化发展有限公司 一种用于子弹时间制作的云台摄像机阵列
CN107358206A (zh) * 2017-07-13 2017-11-17 山东大学 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602385A (zh) * 2019-08-28 2019-12-20 深圳怡化电脑股份有限公司 照相机及其使用方法
CN111641779A (zh) * 2020-05-07 2020-09-08 车智互联(北京)科技有限公司 一种拍摄控制方法、系统及计算设备
CN111641779B (zh) * 2020-05-07 2022-03-18 车智互联(北京)科技有限公司 一种拍摄控制方法、系统及计算设备
WO2022105757A1 (zh) * 2020-11-19 2022-05-27 华为技术有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
CN108540720B (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
JP5022105B2 (ja) カメラの表示制御装置及び方法
US8879870B2 (en) Image creation with software controllable depth of field
CN103647898B (zh) 摄像设备及其控制方法
US20170085808A1 (en) Mobile terminal and shooting method thereof
KR102025714B1 (ko) 촬영 방법 및 장치
CN108259828A (zh) 一种用于子弹时间拍摄的系统及其拍摄方法
CN108540720A (zh) 一种用于子弹时间自动选取最优图像的系统及方法
JP5950678B2 (ja) 撮像装置、制御方法、及びプログラム
JP2011039486A (ja) 撮像装置、方法およびプログラム
KR20100075158A (ko) 영상 촬영 장치 및 방법
CN102739959B (zh) 生成预定的纵横比的合成图像的图像处理装置
KR20120108747A (ko) 3차원 영상을 생성하는 감시 카메라 및 그 방법
JP2007086269A (ja) カメラ装置およびカメラ装置のズームレンズ光学系の焦点距離調節方法
CN108259777A (zh) 一种用于子弹时间全自动拍摄的系统及方法
JP2003224761A (ja) 撮像装置
CN106303481B (zh) 一种投影电视对焦的方法及系统
CN110248094A (zh) 拍摄方法及拍摄终端
JP2001036898A (ja) パノラマ映像生成用カメラシステム
JP2002112289A (ja) 光機械パラメータの調節を容易にするための手段を有する立体カメラ
JP2012199690A (ja) 撮像装置および撮像装置の制御プログラム
KR20150125246A (ko) 다시점 카메라에 대한 촬영 설정값을 조절하는 방법 및 다시점 카메라에 대한 촬영 설정값을 조절하는 장치
JP2006157342A (ja) カメラモジュール
JP2012169936A (ja) 撮像装置およびその画像処理方法
JP6819404B2 (ja) 撮影制御装置及びプログラム
CN108616693A (zh) 一种用于子弹时间的对焦方法及对焦系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant