CN108540720A - 一种用于子弹时间自动选取最优图像的系统及方法 - Google Patents
一种用于子弹时间自动选取最优图像的系统及方法 Download PDFInfo
- Publication number
- CN108540720A CN108540720A CN201810334237.1A CN201810334237A CN108540720A CN 108540720 A CN108540720 A CN 108540720A CN 201810334237 A CN201810334237 A CN 201810334237A CN 108540720 A CN108540720 A CN 108540720A
- Authority
- CN
- China
- Prior art keywords
- image
- video camera
- camera
- module
- light stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 230000004075 alteration Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000006641 stabilisation Effects 0.000 claims description 5
- 238000011105 stabilization Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000007873 sieving Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
- H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
一种用于子弹时间自动选取最优图像的系统及方法,该系统包括云台摄像机组、服务器和控制器;云台摄像机组包括多个摄像机,所有摄像机均匀、间隔地固定在用于子弹时间的环形支架上,且所有摄像机的摄像头均朝向环形支架中间的指定位置;服务器通过通讯连接配置于控制器和至少一个安装于同一环形支架上的云台摄像机组之间,以通过服务器对各摄像机进行控制和调整;控制器内设有最优图像自动选取模块,用于通过最优图像选取算法,在拍摄到的运动序列中自动选取每个摄像机的最优图像,本发明最大限度地简化了子弹时间视觉特效的制作复杂度,省去了用户手动选取最优图像的繁琐环节,节约了子弹时间制作的人力和时间成本。
Description
技术领域
本发明涉及一种摄影装置,具体涉及一种用于子弹时间自动选取最优图像的系统及方法。
背景技术
“子弹时间(Bullet time)”被称作“时间切割”或者“时间冻结”,是一种使用在电影、电视广告或电脑游戏中,用计算机辅助的摄影技术模拟变速特效,例如强化的慢镜头、时间静止等效果。子弹时间在好莱坞华纳兄弟电影公司出品的电影《骇客帝国》中,用于表现男主角躲避子弹的场景而为世人所熟知。
子弹时间有相机阵列、单相机拍摄、场景静止、CG动画、多机位重复拍摄五种拍摄模式。子弹时间最初是用一系列围绕物体的静止相机实现的。这些相机阵列通常被同时或者顺序触发快门。把每个相机拍摄的每一帧照片组合起来就可以构成对静止物体的视觉旋转效果,或者超级慢镜头效果。它的特点是不但在时间上极端变化(静止或慢到足以呈现出正常情况下根本不可能观察到的现象),而且在空间上极端变化。
然而,子弹时间特效在拍摄运动物体时,需要用户手动选取运动序列中的最优图像用于子弹时间特效制作,需要花费大量的时间和精力。
因此,亟需一种快速和实用的自动选取最优图像方法。
发明内容
现有技术中,子弹时间特效在拍摄运动物体时,需要用户手动选取运动序列中的最优图像用于子弹时间特效制作,需要花费大量的时间和精力,为了解决这种问题,本发明提供一种用于子弹时间自动选取最优图像的系统,具体方案如下:
一种用于子弹时间自动选取最优图像的系统,包括云台摄像机组、服务器和控制器;
所述云台摄像机组包括多个摄像机,所有摄像机均匀、间隔地固定在用于子弹时间的环形支架上,且所有摄像机的摄像头均朝向环形支架中间的指定位置;
所述服务器通过通讯连接配置于控制器和至少一个安装于同一环形支架上的云台摄像机组之间,以通过服务器对各摄像机进行控制和调整;
所述控制器内设有最优图像自动选取模块,所述最优图像自动选取模块,用于通过最优图像选取算法,在拍摄到的运动序列中自动选取每个摄像机的最优图像,以用于子弹时间特效制作。
具体实施中,所述环形支架为圆形或椭圆形,所述环形支架上均匀、间隔地设有若干可水平和垂直转动的云台,每个摄像机均安装在对应位置的云台上。
具体实施中,所述控制器还包括系统自检模块、相机校准模块、图像参数设置模块、相机自动触发模块,快门控制模块、数据获取模块和图像处理模块;
所述系统自检模块,用于在摄像相机上电后,调用保留的预置位调整每组云台摄像机组中的每个摄像机的朝向;
所述相机校准模块,用于调整每组云台摄像机组中每个摄像机的工作参数,所述工作参数包括摄像机在水平和垂直方向的移动参数,以及摄像机缩放、变焦和光圈的调节参数;
所述图像参数设置模块,用于设置每个摄像机拍摄图像的白平衡值、曝光值的参数;
所述相机自动触发模块,用于接收发送拍照命令的触发信号,所述触发信号为按键触发、二维码扫描触发或压力传感器触发;
所述快门控制模块,用于启动同步拍摄过程中每个摄像机中的快门动作;
所述数据获取模块,用于收集各摄像机拍摄的最优图像;
所述图像处理模块,用于对拍摄的最优图像进行亮度一致性调整、色差一致性校正、图像的防抖处理以及图像的组合。
本发明用于子弹时间自动选取最优图像的系统,最大限度地简化了子弹时间视觉特效的制作复杂度,省去了用户手动选取最优图像的繁琐环节,节约了子弹时间制作的人力和时间成本。
根据本发明的另一个方面,本发明还提供了一种采用上述任一项所述用于子弹时间自动选取最优图像的系统的方法,其包括如下步骤:
S1、云台摄像机组的各摄像机连续拍摄多张运动图像并下载主相机的运动图像序列,所述主相机为所有云台摄像机组中指定的任意一摄像机;
S2、计算主相机所获取的多张运动图像的光流;
S3、统计每帧图像在y方向的光流平均值,并绘制光流分布曲线图;
S4、根据光流分布曲线图,获取候选最高点图像,并筛选最高点图像;
S5、记录并发送最高点图像序号给相机阵列中除主相机外的其它摄像机,下载各相机对应序号的图像,以用于子弹时间制作。
具体实施中,所述步骤S1云台摄像机组的各摄像机连续拍摄多张运动图像并下载主相机的运动图像序列具体包括:
在需要拍摄的场景中搭建好子弹时间拍摄系统,将各组云台摄像机安装在环形支架上,使其对准环形支架的中间位置,通过通讯连接将服务器与各个摄像机以及控制器通讯连接;
系统上电,系统自检模块调用预设的预置位调整摄像机的位置,使其朝向预设的位置;
通过相机校准模块依次调整每个摄像机,使其对准辅助对准目标,通过辅助对焦目标,调整每个云台摄像机的焦距;
图像参数设置模块通过主相机的预览功能,对图像进行曝光和白平衡调整,最终锁定参数,并将锁定的参数通过服务器下发到相机阵列中其它所有摄像机,并以该参数设置白平衡和曝光参数;
启动相机自动触发模块,控制器发送拍照命令给主相机,主相机产生同步信号并通过同步连接线发送给相机阵列中其它相机;
当待拍摄的物体开始动作时,快门控制模块启动同步拍摄过程中每个摄像机中的快门动作,同时捕捉待拍摄物体的图像,并连续拍摄得到多张连续图像;
待主相机在完成拍照后,控制器下载主相机自动上传的连续N张图像。
具体实施中,所述步骤S2计算主相机所获取的多张运动图像的光流的方法具体包括以下步骤:
S21、获取主相机运动图像序列中任意一运动像素点在二维图像平面上的任意连续三帧的运动轨迹;
设,i-1时刻运动像素点pi-1=(xi-1,yi-1),i时刻对应像素点为pi(xi,yi),i+1时刻对应像素点为pi+1=(xi+1,yi+1);
S22、根据运动轨迹计算主相机运动图像序列的任意时刻的光流;
i时刻光流(ui,vi)=(xi-xi-1,yi-yi-1),i+1时刻光流(ui+1,vi+1)=(xi+1-xi,yi+1-yi),计算出vi和vi+1是否为正值或负值,通过判断连续两帧图像的y方向光流的正负来选取最高点图像。
具体实施中,所述步骤S3统计每帧图像在y方向的光流平均值,并绘制光流分布曲线图具体包括:
所述y方向的光流平均值avg_vi计算公式如下:
其中,M表示第i帧图像所有的运动像素点个数,表示第i帧图像中某运动像素点j的y方向的光流;
计算连续N张运动图像在y方向的光流值,绘制成光流分布曲线图。
具体实施中,所述步骤S4根据光流分布曲线图,获取候选最高点图像,并筛选最高点图像具体包括:
根据光流分布曲线图,寻找候选最高点图像;
查找光流分布曲线与x轴的交点,若曲线与x轴不相交,则最高点图像在第一帧或第N帧为候选最高点图像;
若曲线与x轴相交,且满足相交点前一帧光流值为负,后一帧光流值为正,则选取该交点的前一帧图像作为候选最高点图像。
根据候选图像个数,筛选最高点图像;
若候选图像个数=1,则该序号对应图像则为最高点图像;
若候选图像个数≥2,则运用运动目标外接矩形原点处的纵坐标值来筛选最高点图像。
具体实施中,所述筛选最高点图像的方法具体包括:
采用最大类间差分法对前后帧的差分图像进行分割,得到初始前景图像;
采用中值滤波法去除噪点;接着,采用膨胀形态学算子,获取连续轮廓点,并根据轮廓点获取外接矩形;
比较外接矩形原点处的纵坐标值,选取纵坐标值最小的图像作为最高点图像。
具体实施中,所述步骤S5记录并发送最高点图像序号给相机阵列中除主相机外的其它摄像机,下载各相机对应序号的图像,以用于子弹时间制作具体包括:
数据获取模块记录并发送最高点图像的序号给相机阵列中的其它摄像机,并下载各相机的对应序号图像;
图像处理模块对最高点图像进行亮度一致性调整,色差一致性调整、图像的防抖处理以及图像合成,进而生成子弹时间特效。
本发明用于子弹时间自动选取最优图像的方法,最大限度地简化了子弹时间视觉特效的制作复杂度,省去了用户手动选取最优图像的繁琐环节,节约了子弹时间制作的人力和时间成本。
附图说明
图1为本发明用于子弹时间自动选取最优图像的系统提供的一实例的结构框图;
图2为本发明用于子弹时间自动选取最优图像的方法提供的一实例的流程图;
图3是本发明提供的一种最高点图像光流方向示意图;
图4是本发明提供的一种光流分布曲线示意图。
图中:110、云台摄像机组,120、服务器,130、控制器,131、系统自检模块,132、相机校准模块,133、图像参数设置模块,134、相机自动触发模块,135、快门控制模块,136、最优图像自动选取模块,137、数据获取模块,138、图像处理模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
子弹时间有相机阵列、单相机拍摄、场景静止、CG动画、多机位重复拍摄五种拍摄模式。子弹时间最初是用一系列围绕物体的静止相机实现的。这些相机阵列通常被同时或者顺序触发快门。把每个相机拍摄的每一帧照片组合起来就可以构成对静止物体的视觉旋转效果,或者超级慢镜头效果。它的特点是不但在时间上极端变化(静止或慢到足以呈现出正常情况下根本不可能观察到的现象),而且在空间上极端变化。
然而,子弹时间特效在拍摄运动物体时,需要用户手动选取运动序列中的最优图像用于子弹时间特效制作,需要花费大量的时间和精力。
面对子弹时间特效拍摄和制作复杂的问题,为了简化子弹时间这一视觉特效的拍摄难度,通过本方案提供的用于子弹时间自动选取最优图像的系统及系统,为子弹时间的拍摄提供了快速和实用的解决方案。
如图1所示,本发明提供的用于子弹时间自动选取最优图像的系统,包括云台摄像机组110、服务器120和控制器130;
所述云台摄像机组110包括多个摄像机,所有摄像机均匀、间隔地固定在用于子弹时间的环形支架上,且所有摄像机的摄像头均朝向环形支架中间的指定位置;
所述服务器120通过通讯连接配置于控制器130和至少一个安装于同一环形支架上的云台摄像机组110之间,通讯连接为有线连接或无线局域网连接,使得同一台服务器120连接多台云台摄像机组110,以通过服务器120对各摄像机进行控制和调整。比如,设置摄像机的参数,调整摄像机的位置,使摄像机自动对准某一指定拍摄位置等;
所述控制器130内设有最优图像自动选取模块136,所述最优图像自动选取模块136,用于通过最优图像选取算法,在拍摄到的运动序列中自动选取每个摄像机的最优图像,以用于后续的子弹时间特效制作。
具体实施中,所述环形支架为圆形或椭圆形,所述环形支架上均匀、间隔地设有若干可水平和垂直转动的云台,每个摄像机均安装在对应位置的云台上。
具体实施中,所述控制器130还包括系统自检模块131、相机校准模块132、图像参数设置模块133、相机自动触发模块134,快门控制模块135、数据获取模块137和图像处理模块138;
所述系统自检模块131,用于在摄像相机上电后,调用保留的预置位调整每组云台摄像机组110中的每个摄像机的朝向;
所述相机校准模块132,用于调整每组云台摄像机组110中每个摄像机的工作参数,所述工作参数包括摄像机在水平和垂直方向的移动参数,以及摄像机缩放、变焦和光圈的调节参数;
所述图像参数设置模块133,用于设置每个摄像机拍摄图像的白平衡值、曝光值的参数;
所述相机自动触发模块134,用于接收发送拍照命令的触发信号,所述触发信号为按键触发、二维码扫描触发或压力传感器触发;
所述快门控制模块135,用于启动同步拍摄过程中每个摄像机中的快门动作;
所述数据获取模块137,用于收集各摄像机拍摄的最优图像;
所述图像处理模块138,用于对拍摄的最优图像进行亮度一致性调整、色差一致性校正、图像的防抖处理以及图像的组合。
本发明用于子弹时间自动选取最优图像的系统,最大限度地简化了子弹时间视觉特效的制作复杂度,省去了用户手动选取最优图像的繁琐环节,节约了子弹时间制作的人力和时间成本。
根据本发明的另一个方面,本发明还提供了一种采用上述任一项所述用于子弹时间自动选取最优图像的系统的方法,其包括如下步骤:
步骤S1、云台摄像机组110的各摄像机连续拍摄多张运动图像并下载主相机的运动图像序列,所述主相机为所有云台摄像机组中指定的任意一摄像机;
步骤S2、计算主相机所获取的多张运动图像的光流;
步骤S3、统计每帧图像在y方向的光流平均值,并绘制光流分布曲线图;
步骤S4、根据光流分布曲线图,获取候选最高点图像,并筛选最高点图像;
步骤S5、记录并发送最高点图像序号给相机阵列中除主相机外的其它摄像机,下载各相机对应序号的图像,以用于子弹时间制作。
其中,所述主相机为控制器130通过网络设置某一任意摄像机为主相机,以用主相机预览图像、调整白平衡、自动曝光参数等。
具体实施中,所述步骤S1云台摄像机组110的各摄像机连续拍摄多张运动图像并下载主相机的运动图像序列具体包括:
在需要拍摄的场景中搭建好子弹时间拍摄系统,将各组云台摄像机安装在环形支架上,使其对准环形支架的中间位置,通过通讯连接将服务器120与各个摄像机以及控制器130通讯连接;
系统上电,系统自检模块131调用预设的预置位调整摄像机的位置,使其朝向预设的位置;
通过相机校准模块132依次调整每个摄像机,使其对准辅助对准目标,通过辅助对焦目标,调整每个云台摄像机的焦距;
图像参数设置模块133通过主相机的预览功能,对图像进行曝光和白平衡调整,最终锁定参数,并将锁定的参数通过服务器120下发到相机阵列中其它所有摄像机,并以该参数设置白平衡和曝光参数;
启动相机自动触发模块134,控制器130发送拍照命令给主相机,主相机产生同步信号并通过同步连接线发送给相机阵列中其它相机;
当待拍摄的物体开始动作时,快门控制模块135启动同步拍摄过程中每个摄像机中的快门动作,同时捕捉待拍摄物体的图像,并连续拍摄得到多张连续图像;
待主相机完成拍照后,控制器下载主相机自动上传的N张图像。
所述步骤S2计算主相机所获取的多张运动图像的光流,是因为待拍摄物体在运动过程中,最高点前后运动方向相反的特性。如图3所示,绘制主相机运动图像序列中任意一运动像素点在二维图像平面上的最高点时刻前后的运动轨迹,设i-1时刻运动像素点pi-1=(xi-1,yi-1),i时刻对应像素点为pi=(xi,yi),i+1时刻对应像素点为pi+1=(xi+1,yi+1),其中,i时刻为运动最高点;
根据运动轨迹得到i时刻光流(ui,vi)=(xi-xi-1,yi-yi-1),i+1时刻光流(ui+1,vi+1)=(xi+1-xi,yi+1-yi),从图中不难得出,vi为负值,vi+1为正值,因此,可通过判断连续两帧图像在方向光流的正负来选取最高点图像。
因此,具体实施中,所述步骤S2计算主相机所获取的多张运动图像的光流的方法具体步骤如下:
S21、获取主相机运动图像序列中任意一运动像素点在二维图像平面上的任意连续三帧的运动轨迹;
S22、根据运动轨迹计算主相机运动图像序列的任意时刻的光流。
为了进一步提高算法的鲁棒性,本发明通过统计每帧图像y方向的光流平均值得到光流曲线图,作为最高点图像筛选的判断依据。
具体实施中,所述步骤S3统计每帧图像在y方向的光流平均值,并绘制光流分布曲线图具体包括:
所述y方向的光流平均值avg_vi计算公式如下:
其中,M表示第i帧图像所有的运动像素点个数,表示第i帧图像中某运动像素点j的y方向的光流;
计算连续N张运动图像在y方向的光流值,绘制成光流分布曲线图,如图4所示,其中,黑色圆点为(ti,avg_vi),横轴为离散时间点,纵轴为y方向上的光流平均值avg_v,avg_v可正可负,若avg_v为正,说明此时运动物体在向上运动,若avg_v为负,则此时运动物体在向下运动。
具体实施中,所述步骤S4根据光流分布曲线图,获取候选最高点图像,并筛选最高点图像具体包括:
根据光流分布曲线图,寻找候选最高点图像;
如图4曲线1所示,查找光流分布曲线与x轴的交点,若曲线与x轴不相交,则最高点图像在第一帧或第N帧为候选最高点图像;
如图4曲线2所示,若曲线与x轴相交,且满足相交点前一帧光流值为负,后一帧光流值为正,则选取该交点的前一帧图像作为候选最高点图像。
根据候选图像个数,筛选最高点图像;
若候选图像个数=1,则该序号对应图像则为最高点图像;
若候选图像个数≥2,则运用运动目标外接矩形原点处的纵坐标值来筛选最高点图像。
具体实施中,所述筛选最高点图像的方法具体包括:
采用最大类间差分法对前后帧的差分图像进行分割,得到初始前景图像;
采用中值滤波法去除噪点;接着,采用膨胀形态学算子,获取连续轮廓点,并根据轮廓点获取外接矩形;
比较外接矩形原点处的纵坐标值,选取纵坐标值最小的图像作为最高点图像。
具体实施中,所述步骤S5记录并发送最高点图像序号给相机阵列中除主相机外的其它摄像机,下载各相机对应序号的图像,以用于子弹时间制作具体包括:
数据获取模块137记录并发送最高点图像的序号给相机阵列中的其它摄像机,并下载各相机的对应序号图像;
图像处理模块138对最高点图像进行亮度一致性调整,色差一致性调整、图像的防抖处理以及图像合成,进而生成子弹时间特效。
本发明用于子弹时间自动选取最优图像的方法,最大限度地简化了子弹时间视觉特效的制作复杂度,省去了用户手动选取最优图像的繁琐环节,节约了子弹时间制作的人力和时间成本。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种用于子弹时间自动选取最优图像的系统,其特征在于,包括云台摄像机组、服务器和控制器;
所述云台摄像机组包括多个摄像机,所有摄像机均匀、间隔地固定在用于子弹时间的环形支架上,且所有摄像机的摄像头均朝向环形支架中间的指定位置;
所述服务器通过通讯连接配置于控制器和至少一个安装于同一环形支架上的云台摄像机组之间,以通过服务器对各摄像机进行控制和调整;
所述控制器内设有最优图像自动选取模块,所述最优图像自动选取模块,用于通过最优图像选取算法,在拍摄到的运动序列中自动选取每个摄像机的最优图像,以用于子弹时间特效制作。
2.根据权利要求1所述的系统,其特征在于,所述环形支架为圆形或椭圆形,所述环形支架上均匀、间隔地设有若干可水平和垂直转动的云台,每个摄像机均安装在对应位置的云台上。
3.根据权利要求2所述的系统,其特征在于,所述控制器还包括系统自检模块、相机校准模块、图像参数设置模块、相机自动触发模块,快门控制模块、数据获取模块和图像处理模块;
所述系统自检模块,用于在摄像相机上电后,调用保留的预置位调整每组云台摄像机组中的每个摄像机的朝向;
所述相机校准模块,用于调整每组云台摄像机组中每个摄像机的工作参数,所述工作参数包括摄像机在水平和垂直方向的移动参数,以及摄像机缩放、变焦和光圈的调节参数;
所述图像参数设置模块,用于设置每个摄像机拍摄图像的白平衡值、曝光值的参数;
所述相机自动触发模块,用于接收发送拍照命令的触发信号,所述触发信号为按键触发、二维码扫描触发或压力传感器触发;
所述快门控制模块,用于启动同步拍摄过程中每个摄像机中的快门动作;
所述数据获取模块,用于收集各摄像机拍摄的最优图像;
所述图像处理模块,用于对拍摄的最优图像进行亮度一致性调整、色差一致性校正、图像的防抖处理以及图像的组合。
4.一种采用权利要求1至5任一项所述用于子弹时间自动选取最优图像的系统的方法,其特征在于,包括如下步骤:
S1、云台摄像机组的各摄像机连续拍摄多张运动图像并下载主相机的运动图像序列,所述主相机为所有云台摄像机组中指定的任意一摄像机;
S2、计算主相机所获取的多张运动图像的光流;
S3、统计每帧图像在y方向的光流平均值,并绘制光流分布曲线图;
S4、根据光流分布曲线图,获取候选最高点图像,并筛选最高点图像;
S5、记录并发送最高点图像序号给相机阵列中除主相机外的其它摄像机,下载各相机对应序号的图像,以用于子弹时间制作。
5.根据权利要求4所述的方法,其特征在于,所述步骤S1云台摄像机组的各摄像机连续拍摄多张运动图像并下载主相机的运动图像序列具体包括:
在需要拍摄的场景中搭建好子弹时间拍摄系统,将各组云台摄像机安装在环形支架上,使其对准环形支架的中间位置,通过通讯连接将服务器与各个摄像机以及控制器通讯连接;
系统上电,系统自检模块调用预设的预置位调整摄像机的位置,使其朝向预设的位置;
通过相机校准模块依次调整每个摄像机,使其对准辅助对准目标,通过辅助对焦目标,调整每个云台摄像机的焦距;
图像参数设置模块通过主相机的预览功能,对图像进行曝光和白平衡调整,最终锁定参数,并将锁定的参数通过服务器下发到相机阵列中其它所有摄像机,并以该参数设置白平衡和曝光参数;
启动相机自动触发模块,控制器发送拍照命令给主相机,主相机产生同步信号并通过同步连接线发送给相机阵列中其它相机;
当待拍摄的物体开始动作时,快门控制模块启动同步拍摄过程中每个摄像机中的快门动作,同时捕捉待拍摄物体的图像,并连续拍摄得到多张连续图像;
待主相机在完成拍照后,控制器下载主相机自动上传的连续N张图像。
6.根据权利要求5所述的方法,其特征在于,所述步骤S2计算主相机所获取的多张运动图像的光流的方法具体包括以下步骤:
S21、获取主相机运动图像序列中任意一运动像素点在二维图像平面上的任意连续三帧的运动轨迹;
设,i-1时刻运动像素点pi-1=(xi-1,yi-1),i时刻对应像素点为pi=(xi,yi),i+1时刻对应像素点为pi+1=(xi+1,yi+1);
S22、根据运动轨迹计算主相机运动图像序列的任意时刻的光流;
i时刻光流(ui,vi)=(xi-xi-1,yi-yi-1),i+1时刻光流(ui+1,vi+1)=(xi+1-xi,yi+1-yi),计算出vi和vi+1是否为正值或负值,通过判断连续两帧图像的y方向光流的正负来选取最高点图像。
7.根据权利要求6所述的方法,其特征在于,所述步骤S3统计每帧图像在y方向的光流平均值,并绘制光流分布曲线图具体包括:
所述y方向的光流平均值avg_vi计算公式如下:
其中,M表示第i帧图像所有的运动像素点个数,表示第i帧图像中某运动像素点j的y方向的光流;
计算连续N张运动图像在y方向的光流值,绘制成光流分布曲线图。
8.根据权利要求7所述的方法,其特征在于,所述步骤S4根据光流分布曲线图,获取候选最高点图像,并筛选最高点图像具体包括:
根据光流分布曲线图,寻找候选最高点图像;
查找光流分布曲线与x轴的交点,若曲线与x轴不相交,则最高点图像在第一帧或第N帧为候选最高点图像;
若曲线与x轴相交,且满足相交点前一帧光流值为负,后一帧光流值为正,则选取该交点的前一帧图像作为候选最高点图像。
根据候选图像个数,筛选最高点图像;
若候选图像个数=1,则该序号对应图像则为最高点图像;
若候选图像个数≥2,则运用运动目标外接矩形原点处的纵坐标值来筛选最高点图像。
9.根据权利要求8所述的方法,其特征在于,所述筛选最高点图像的方法具体包括:
采用最大类间差分法对前后帧的差分图像进行分割,得到初始前景图像;
采用中值滤波法去除噪点;接着,采用膨胀形态学算子,获取连续轮廓点,并根据轮廓点获取外接矩形;
比较外接矩形原点处的纵坐标值,选取纵坐标值最小的图像作为最高点图像。
10.根据权利要求9所述的方法,其特征在于,所述步骤S5记录并发送最高点图像序号给相机阵列中除主相机外的其它摄像机,下载各相机对应序号的图像,以用于子弹时间制作具体包括:
数据获取模块记录并发送最高点图像的序号给相机阵列中的其它摄像机,并下载各相机的对应序号图像;
图像处理模块对最高点图像进行亮度一致性调整,色差一致性调整、图像的防抖处理以及图像合成,进而生成子弹时间特效。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810334237.1A CN108540720B (zh) | 2018-04-14 | 2018-04-14 | 一种用于子弹时间自动选取最优图像的系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810334237.1A CN108540720B (zh) | 2018-04-14 | 2018-04-14 | 一种用于子弹时间自动选取最优图像的系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108540720A true CN108540720A (zh) | 2018-09-14 |
CN108540720B CN108540720B (zh) | 2020-07-03 |
Family
ID=63480599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810334237.1A Active CN108540720B (zh) | 2018-04-14 | 2018-04-14 | 一种用于子弹时间自动选取最优图像的系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108540720B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110602385A (zh) * | 2019-08-28 | 2019-12-20 | 深圳怡化电脑股份有限公司 | 照相机及其使用方法 |
CN111641779A (zh) * | 2020-05-07 | 2020-09-08 | 车智互联(北京)科技有限公司 | 一种拍摄控制方法、系统及计算设备 |
WO2022105757A1 (zh) * | 2020-11-19 | 2022-05-27 | 华为技术有限公司 | 图像处理方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101854465A (zh) * | 2010-02-01 | 2010-10-06 | 杭州海康威视软件有限公司 | 基于光流算法的图像处理方法及装置 |
JP2012248011A (ja) * | 2011-05-27 | 2012-12-13 | Denso Corp | 画像認識装置 |
CN204697173U (zh) * | 2015-06-25 | 2015-10-07 | 南京苏博工业设计有限公司 | 一种子弹时间拍摄系统 |
CN106210496A (zh) * | 2015-05-06 | 2016-12-07 | 小米科技有限责任公司 | 照片拍摄方法及装置 |
CN106921829A (zh) * | 2015-12-25 | 2017-07-04 | 北京奇虎科技有限公司 | 一种拍照方法和装置及拍照设备 |
CN206313885U (zh) * | 2016-12-27 | 2017-07-07 | 湖南子午天地科技文化发展有限公司 | 一种用于子弹时间制作的云台摄像机阵列 |
CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
-
2018
- 2018-04-14 CN CN201810334237.1A patent/CN108540720B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101854465A (zh) * | 2010-02-01 | 2010-10-06 | 杭州海康威视软件有限公司 | 基于光流算法的图像处理方法及装置 |
JP2012248011A (ja) * | 2011-05-27 | 2012-12-13 | Denso Corp | 画像認識装置 |
CN106210496A (zh) * | 2015-05-06 | 2016-12-07 | 小米科技有限责任公司 | 照片拍摄方法及装置 |
CN204697173U (zh) * | 2015-06-25 | 2015-10-07 | 南京苏博工业设计有限公司 | 一种子弹时间拍摄系统 |
CN106921829A (zh) * | 2015-12-25 | 2017-07-04 | 北京奇虎科技有限公司 | 一种拍照方法和装置及拍照设备 |
CN206313885U (zh) * | 2016-12-27 | 2017-07-07 | 湖南子午天地科技文化发展有限公司 | 一种用于子弹时间制作的云台摄像机阵列 |
CN107358206A (zh) * | 2017-07-13 | 2017-11-17 | 山东大学 | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110602385A (zh) * | 2019-08-28 | 2019-12-20 | 深圳怡化电脑股份有限公司 | 照相机及其使用方法 |
CN111641779A (zh) * | 2020-05-07 | 2020-09-08 | 车智互联(北京)科技有限公司 | 一种拍摄控制方法、系统及计算设备 |
CN111641779B (zh) * | 2020-05-07 | 2022-03-18 | 车智互联(北京)科技有限公司 | 一种拍摄控制方法、系统及计算设备 |
WO2022105757A1 (zh) * | 2020-11-19 | 2022-05-27 | 华为技术有限公司 | 图像处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108540720B (zh) | 2020-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5022105B2 (ja) | カメラの表示制御装置及び方法 | |
CN103647898B (zh) | 摄像设备及其控制方法 | |
US20170085808A1 (en) | Mobile terminal and shooting method thereof | |
US20120169889A1 (en) | Image creation with software controllable depth of field | |
KR101776702B1 (ko) | 3차원 영상을 생성하는 감시 카메라 및 그 방법 | |
KR102025714B1 (ko) | 촬영 방법 및 장치 | |
US20130113962A1 (en) | Image processing method for producing background blurred image and image capturing device thereof | |
CN108259777A (zh) | 一种用于子弹时间全自动拍摄的系统及方法 | |
CN108259828A (zh) | 一种用于子弹时间拍摄的系统及其拍摄方法 | |
JP5950678B2 (ja) | 撮像装置、制御方法、及びプログラム | |
CN108540720A (zh) | 一种用于子弹时间自动选取最优图像的系统及方法 | |
JP2011039486A (ja) | 撮像装置、方法およびプログラム | |
KR20100075158A (ko) | 영상 촬영 장치 및 방법 | |
CN102739959B (zh) | 生成预定的纵横比的合成图像的图像处理装置 | |
JP2007086269A (ja) | カメラ装置およびカメラ装置のズームレンズ光学系の焦点距離調節方法 | |
CN105867047A (zh) | 闪光灯的调整方法及拍摄装置 | |
JP2003224761A (ja) | 撮像装置 | |
CN106303481B (zh) | 一种投影电视对焦的方法及系统 | |
CN110248094A (zh) | 拍摄方法及拍摄终端 | |
JP2001036898A (ja) | パノラマ映像生成用カメラシステム | |
JP2002112289A (ja) | 光機械パラメータの調節を容易にするための手段を有する立体カメラ | |
CN115442941A (zh) | 一种控制灯光的方法、装置、相机、设备及存储介质 | |
JP2012199690A (ja) | 撮像装置および撮像装置の制御プログラム | |
JP2006157342A (ja) | カメラモジュール | |
JP2012169936A (ja) | 撮像装置およびその画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |