CN112200756A - 一种子弹特效短视频智能生成方法 - Google Patents
一种子弹特效短视频智能生成方法 Download PDFInfo
- Publication number
- CN112200756A CN112200756A CN202011072459.4A CN202011072459A CN112200756A CN 112200756 A CN112200756 A CN 112200756A CN 202011072459 A CN202011072459 A CN 202011072459A CN 112200756 A CN112200756 A CN 112200756A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- special effect
- trimap
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000000694 effects Effects 0.000 title claims abstract description 30
- 238000004519 manufacturing process Methods 0.000 claims abstract description 17
- 239000000463 material Substances 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 239000000243 solution Substances 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种子弹特效短视频智能生成方法,包括如下步骤:S1:通过阵列相机拍摄出视频或图片材料;S2:根据视频或图片材料将要进行子弹特效制作的帧选取出来;S3:将由于相机摆放产生的误差进行修正;S4:对图片中要切割的目标分割出来;S5:结合目标的深度信息将其融合到另一视频中;S6:最后将融合帧连接生成子弹特效短视频。
Description
技术领域
本发明属于图像融合技术领域,尤其涉及一种子弹特效短视频智能生成方法。
背景技术
视频充斥的我们的日常生活,我们有着很多获取视频的方式,多视点采集视频再电影制作中很常见,然后通过剪辑来生成一些特效来产生有趣吸引人的视频,而通过人手动的去剪辑来生成特效,太过于耗费时间,希望通过算法代替手动剪辑来生成这些特效。采集多视点视频需要使用到阵列式相机,就是用多个小镜头来代替一个大镜头的拍摄效果,其原理和阵列式天文望远镜及昆虫的复眼类似。和传统的相机来对比的话,阵列式相机能够有更加好的视野,得到更多的信息。多相机阵列图像处理系统由多个子相机组成,建立在单相机的图像处理技术基础上。例如在图像融合,视频融合技术是虚拟现实技术的一个分支,也可以说是虚拟现实的一个发展阶段。视频融合技术指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合,以生成一个新的关于此场景的虚拟场景或模型。多相机系统需要对单个相机结果进行综合处理,完成目标在多相机之间的深度信息然后来判断物体之间的遮挡关系。项目从实际应用角度出发,研究并实现多相机阵列的视频融合。根据应用场景需求,完成将阵列相机拍摄的视频信息在计算机上处理,进行视频融合。将视频图像传输到计算机。计算机完成多相机之间的信息处理并将目标融合进视频当中。
对于阵列相机拍摄的信息进行处理主要是通过阵列相机获取的视频然后进行合成处理,本文介绍的时通过抠图与深度估计得到其中的信息来进行视频的融合,视频融合是基于两个或多个视频图像信息的过程。由于图像采集的场景,融合的目的和使用的算法不同,需要对融合进行分类。根据融合过程中算法的空间域范围,图像融合可以分为两类:空间域和变换域。空间域图像融合是一种图像融合算法,可对图像像素执行简单快速的操作。通过源图像的多尺度分解来进行变换域的融合,再通过分解获得的系数来获得融合系数,最后进行算法重构。
一般按照融合过程中信息处理的复杂程度,一般将融合分为三类像素级的融合,特征级的像素融合以及决策级的特征融合。基于像素层面的融合是指,直接对图像的像素进行操作得到的融合图像的过程。特征级的像素融合。基于特征层面图像融合是指,首先从源图像中提取图像的特征信息,即代表图像轮廓、纹理的信息,然后再对提取到的特征信息进行处理的过程。基于决策层面的图像融合是对图像进行判断与推理的过程。基于决策层面的融合过程首先模拟人的判断与分析,对图像进行初步判定,然后对判定的结果进行相关处理,最后进行图像融合。
金字塔变换由Burt P.J.和Adelson E.H.等在1983年提出。金字塔变换的优点是能较为突出的表征图像的特征信息;存在的不足是图像信息丢失较多,分解过程不具备方向性。
小波变换可以将原始图像分解为不同的频域子图像,并能反映原始图像细节。随着小波技术的进步,小波逐渐应用到图像处理领域。小波变换不仅可以获得低频信息,还可以获得高频部分的水平、垂直和对角线三个方向信息。与传统的基于塔分解的方法相比,小波变换的融合效果更好。
由于小波变换获取的方向信息比较局限,无法有效捕获图像的轮廓纹理特征,其中M.Choi提出的Curvelet变换和Contourlet变换因各向异性等特点表现出比小波变换更加适合于刻画二维图像中的曲线或直线的能力,被迅速引入到可见光图像融合以及多光谱与全色卫星图像融合技术。
非采样Contourlet变换是由A.L.Cunha等提出的,克服了Contourlet变换没有平移不变性的缺点。张强等人将非采样Contourlet变换运用到遥感图像的融合中,通过对每个波段进行双插值运算得到低频系数,对高频子带系数采用物理的注入模型进行调整,得到融合后的高频系数,最终获得的融合图像空间分辨率明显提高。
如何来得到场景的深度信息这个是计算机视觉领域一个经典问题,基于图像的深度估计方法根据不同的输入图像数量可分为多幅图像深度估计方法与单幅图像深度估计方法。基于多幅图像的深度估计方法包括多视立体几何(MVS) 算法(Barnard和Fischler;1982;Dhond和Aggarwal,1989)、运动中恢复结构(SFM)算法(Dellaert等,2000;Tomasi和Kanade,1992)与从阴影中恢复形状 (SFS)算法(Zhang等,1999)等。MVS利用三角测量法对左右视图进行匹配计算深度,其原理类似人眼的双目立体成像过程,SFM则利用单摄像机捕获的时间序列图像获取深度,SFS一般利用灰度图像中变化的阴影恢复物体表面形状。
从单幅RGB图像中估计深度的方法也称单目深度估计方法,是计算机视觉领域近年来热门的研究课题,但该问题是一个病态问题(Eigen等,2014),其原因在于单张RGB图片对应的真实场景可能有无数个,而图像中没有稳定的线索来约束这些可能性。受人类能够轻易地利用经验和图像中的线索推断出单幅图像对应的深度信息的启发,早期的研究根据光学原理,利用图像中的离焦信息恢复深度(DFD)(Asada等,1998;Favaro和Soatto,2005;Nayar和 Nakagawa,1994;Pentland,1987),其基本假设是图像中焦点所在位置景物最为清晰,离焦点越远模糊程度越深。
随着深度学习的迅速发展,深度神经网络以其强大的特征拟合能力和优异的性能,在计算机视觉、自然语言处理和语音识别等各个领域发挥了重要作用。神经网络由诸多神经元按照一定的拓扑结构连接而成。对于高维的图像数据,实验中常利用Lecun等人(1998)在Lenet架构中提出的CNN进行处理。CNN利用权值共享的策略让一组神经元共享参数来节省计算开销。类似于动物视觉系统的多层抽象机制(Hubel和Wiesel,1970),CNN利用卷积核提取图像特征,通过深度神经网络对特征逐层抽象来完成高级的视觉任务。基于深度学习的单幅图像估计方法。
Eigen等人(2014)首次将深度神经网络用于单目深度估计任务。提出使用两个尺度的神经网络对单张图片的深度进行估计:粗尺度网络预测图片的全局深度,细尺度网络优化局部细节。网络由两个堆栈组成,两个网络均以RGB图片作为输入,原始图片输入粗尺度网络后,得到全局尺度下场景深度的粗略估计结果。然后将粗尺度网络的输出作为附加的第一层图像特征传递给细尺度网络,对全局预测进行局部优化以添加更多的细节信息。粗尺度网络的任务是预测场景的全局深度,有效地利捕获诸如消失点、目标位置和空间对齐等。
Eigen等人(2015)基于上述工作改进后提出了一个统一的多尺度网络框架,分别将其用于深度预测,表面法向量估计和语义分割3个任务。值得一提的是,这里是将同一框架独立应用于不同任务,并不是多任务统一学习,因此将此归为单任务方法。不同的任务设定不同的损失函数,使用不同的数据集训练。网络模型是端到端的,不需要后处理。网络结构,共包含3个尺度的网络,scale1 网络对整张图片做粗略估计,然后用scale2和scale3网络对全局预测进行细节优化。利用第3个细尺度的网络进一步增添细节信息,提高分辨率;将scale1 网络的多通道特征图输入scale2网络,联合训练前面两个尺度的网络,简化训练过程,提高网络性能。
目前的子弹特效视频的生成多为人工手动剪辑制作,制作流程长耗时多,且为了便于后期处理,除了真正的拍摄场景,还需要搭建特殊的场景进行拍摄用于后期分割融合处理也因此导致目标深度信息与背景信息不匹配,需要人工进行遮挡关系判断。
发明内容
鉴于现有技术的不足,本发明公开了一种子弹特效短视频智能生成方法,以解决现有技术的不足。
为了实现上述目的,本发明采用了如下技术方案:
一种子弹特效短视频智能生成方法,包括如下步骤:
S1:通过阵列相机拍摄出视频或图片材料;
S2:根据视频或图片材料将要进行子弹特效制作的帧选取出来;
S3:将由于相机摆放产生的误差进行修正;
S4:对图片中要切割的目标分割出来;
S5:结合目标的深度信息将其融合到另一视频中;
S6:最后将融合帧连接生成子弹特效短视频。
作为上述技术方案的进一步描述:所述步骤S2中帧选取的指标包括:
(1)距离上一关键帧的帧数是否足够多(时间);
(2)距离最近关键帧的距离是否足够远(空间)/运动;
(3)跟踪质量/共视特征点这种方法就是记录当前视角下的特征点数、或者视角。
作为上述技术方案的进一步描述:所述步骤S3中修正具体包括:
由于在视频或照片拍摄过程中相机摆设位置未能在同一基准上,导致之后合成的视频场景会出现上下抖动,通过计算出目标在相机中在一些标准下的相对位置,使得目标在照片中处于稳定的相对位置,减少生成视频的抖动。
作为上述技术方案的进一步描述:所述步骤S4中目标分割包括制作α图和 Trimap图,其中公式包括:
Ii=αiFi+(1-αi)Biαi∈[0,1]
其中,像素i处的RGB值Ii是已知的,前景色Fi、背景色Bi以及不透明度αi是未知的。这个公式反映出一个模型,把原始图像看作由若干图中对象叠加合成所组成的图像,α则是每个对象的不透明度(在[0,1]区间变化,1为不透明, 0为完全透明)。
作为上述技术方案的进一步描述:所述步骤S4中a图的制作方法,包括如下步骤:
(1)输入要进行matting的图;
(2)为了解出未知的前景色、背景色以及不透明度,就需要用户提供先验信息,在此处一般是提供trimap,将能轻易辨认的部分分别在原图标志为前景和背景,剩下不容易确定的部分则为未知区域由计算机处理,这样一张由人工制作的包含前景、背景和未知区域的图就叫作trimap图;
(3)将制作的Trimap图输入到训练的DeepMatting网络中进行计算;
(4)最终得到需要的α图也就是最终用于Matting的图。
作为上述技术方案的进一步描述:所述步骤S4中Trimap图的制作方法,包括如下步骤:
(1)输入需要生成Trimap的图像;
(2)对图像进行分割得到制作Trimap的Mask图;
(3)对Mask图进行二值化处理;
(4)使用腐蚀膨胀算法对Mask图进行操作来进行Trimap图的制作,得到 Trimap图。
作为上述技术方案的进一步描述:所述步骤S5具体为:采取深度估计的方法来判断两个融合视频中目标与背景之间的遮挡关系,并在空间域进行图像融合。
本发明具有如下有益效果:
本发明的整个流程由计算机自动完成,省时省力。自动对目标进行分割,因此不需要在此建立特殊场景用于人工分割,且因此可以通过深度估计方法获得目标与背景的深度,此时的深度信息的对比是有效的,以此对目标与背景的遮挡关系进行判断,不需要人工进行判断。
附图说明
图1为本发明提供的一种子弹特效短视频智能生成方法的流程示意图;
图2为α图制作方法的流程示意图;
图3为Trimap图制作方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种子弹特效短视频智能生成方法,包括如下步骤:
1)阵列相机拍摄的视频:通过阵列相机拍摄出视频或图片材料;
2)子弹特效关键帧选取:根据视频或图片材料将要进行子弹特效制作的帧选取出来;
3)目标配准:将由于相机摆放产生的误差进行修正;
4)目标精准分割:对图片中要切割的目标分割出来;
5)图像融合:结合目标的深度信息将其融合到另一视频中;
6)子弹特效短视频:最后将融合帧连接生成子弹特效短视频。
在本实施例中,关键帧目前是一种非常常用的方法,可以减少待优化的帧数,并且可以代表其附近的帧。视频相比图像来说信息更加丰富,但是一个序列里冗余信息太多,如何提取关键帧的信息对于很多任务都是至关重要的。所述步骤2)中关键帧选取的指标包括:
(1)距离上一关键帧的帧数是否足够多(时间)。比如我每隔固定帧数选择一个关键帧,这样编程简单但效果不好。比如运动很慢的时候,就会选择大量相似的关键帧,冗余,运动快的时候又丢失了很多重要的帧。
(2)距离最近关键帧的距离是否足够远(空间)/运动。比如相邻帧计算运动的相对大小,可以是位移也可以是旋转或者两个都考虑,运动足够大(超过一定阈值)就新建一个关键帧,这种方法比第一种好。但问题是如果对着同一个物体来回扫就会出现大量相似关键帧。
(3)跟踪质量(主要根据跟踪过程中搜索到的点数和搜索的点数比例)/ 共视特征点这种方法就是记录当前视角下的特征点数,或者视角,当相机离开当前场景时才会新建关键帧,避免了第2种方法的问题。缺点是比较复杂。
在本实施例中,所述步骤3)中修正具体包括:
由于在视频或照片拍摄过程中相机摆设位置未能在同一基准上,导致之后合成的视频场景会出现上下抖动,通过计算出目标在相机中在一些标准下的相对位置,使得目标在照片中处于稳定的相对位置,减少生成视频的抖动。
在本实施例中,所述步骤4)中目标分割包括制作α图和Trimap图,其中公式包括:
Ii=αiFi+(1-αi)Biαi∈[0,1]
其中,像素i处的RGB值Ii是已知的,前景色Fi、背景色Bi以及不透明度αi是未知的。这个公式反映出一个模型,把原始图像看作由若干图中对象叠加合成所组成的图像,α则是每个对象的不透明度(在[0,1]区间变化,1为不透明, 0为完全透明)。
在本实施例中,所述步骤4)中a图的制作方法,包括如下步骤:
(1)输入要进行matting的图;
(2)为了解出未知的前景色、背景色以及不透明度,就需要用户提供先验信息,在此处一般是提供trimap,将能轻易辨认的部分分别在原图标志为前景和背景,剩下不容易确定的部分则为未知区域由计算机处理,这样一张由人工制作的包含前景、背景和未知区域的图就叫作trimap图;
(3)将制作的Trimap图输入到训练的DeepMatting网络中进行计算;
(4)最终得到需要的α图也就是最终用于Matting的图。
在本实施例中,所述步骤4)中Trimap图的制作方法,包括如下步骤:
(1)输入需要生成Trimap的图像;
(2)对图像进行分割得到制作Trimap的Mask图;
(3)对Mask图进行二值化处理;
(4)使用腐蚀膨胀算法对Mask图进行操作来进行Trimap图的制作,得到 Trimap图。
在本实施例中,视频融合就是在已获得的两个或者多个视频的基础上。由于图像采集的场景,融合的目的和使用的算法不同,需要对融合进行分类。根据融合过程中算法的空间域范围,图像融合可以分为两类:空间域和变换域。空间域图像融合是一种图像融合算法,可对图像像素执行简单快速的操作。通过源图像的多尺度分解来进行变换域的融合,再通过分解获得的系数来获得融合系数,最后进行算法重构。在本发明的视频融合中将采取深度估计的方法来判断两个融合视频中目标与背景之间的遮挡关系,在空间域进行图像融合。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种子弹特效短视频智能生成方法,其特征在于,包括如下步骤:
S1:通过阵列相机拍摄出视频或图片材料;
S2:根据视频或图片材料将要进行子弹特效制作的帧选取出来;
S3:将由于相机摆放产生的误差进行修正;
S4:对图片中要切割的目标分割出来;
S5:结合目标的深度信息将其融合到另一视频中;
S6:最后将融合帧连接生成子弹特效短视频。
2.根据权利要求1所述的子弹特效短视频智能生成方法,其特征在于,所述步骤S2中帧选取的指标包括:
(1)距离上一关键帧的帧数是否足够多(时间);
(2)距离最近关键帧的距离是否足够远(空间)/运动;
(3)跟踪质量/共视特征点这种方法就是记录当前视角下的特征点数、或者视角。
3.根据权利要求1所述的子弹特效短视频智能生成方法,其特征在于,所述步骤S3中修正具体包括:
由于在视频或照片拍摄过程中相机摆设位置未能在同一基准上,导致之后合成的视频场景会出现上下抖动,通过计算出目标在相机中在一些标准下的相对位置,使得目标在照片中处于稳定的相对位置,减少生成视频的抖动。
4.根据权利要求1所述的子弹特效短视频智能生成方法,其特征在于,所述步骤S4中目标分割包括制作α图和Trimap图,其中公式包括:
Ii=αiFi+(1-αi)Biαi∈[0,1]
其中,像素i处的RGB值Ii是已知的,前景色Fi、背景色Bi以及不透明度αi是未知的。这个公式反映出一个模型,把原始图像看作由若干图中对象叠加合成所组成的图像,α则是每个对象的不透明度(在[0,1]区间变化,1为不透明,0为完全透明)。
5.根据权利要求4所述的子弹特效短视频智能生成方法,其特征在于,所述步骤S4中a图的制作方法,包括如下步骤:
(1)输入要进行matting的图;
(2)为了解出未知的前景色、背景色以及不透明度,就需要用户提供先验信息,在此处一般是提供trimap,将能轻易辨认的部分分别在原图标志为前景和背景,剩下不容易确定的部分则为未知区域由计算机处理,这样一张由人工制作的包含前景、背景和未知区域的图就叫作trimap图;
(3)将制作的Trimap图输入到训练的DeepMatting网络中进行计算;
(4)最终得到需要的α图也就是最终用于Matting的图。
6.根据权利要求5所述的子弹特效短视频智能生成方法,其特征在于,所述步骤S4中Trimap图的制作方法,包括如下步骤:
(1)输入需要生成Trimap的图像;
(2)对图像进行分割得到制作Trimap的Mask图;
(3)对Mask图进行二值化处理;
(4)使用腐蚀膨胀算法对Mask图进行操作来进行Trimap图的制作,得到Trimap图。
7.根据权利要求1所述的子弹特效短视频智能生成方法,其特征在于,所述步骤S5具体为:采取深度估计的方法来判断两个融合视频中目标与背景之间的遮挡关系,并在空间域进行图像融合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011072459.4A CN112200756A (zh) | 2020-10-09 | 2020-10-09 | 一种子弹特效短视频智能生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011072459.4A CN112200756A (zh) | 2020-10-09 | 2020-10-09 | 一种子弹特效短视频智能生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112200756A true CN112200756A (zh) | 2021-01-08 |
Family
ID=74013728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011072459.4A Pending CN112200756A (zh) | 2020-10-09 | 2020-10-09 | 一种子弹特效短视频智能生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112200756A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113076828A (zh) * | 2021-03-22 | 2021-07-06 | 北京达佳互联信息技术有限公司 | 视频编辑方法和装置以及模型训练方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101951511A (zh) * | 2010-08-19 | 2011-01-19 | 深圳市亮信科技有限公司 | 一种通过分析深度进行视频场景分层的方法 |
CN103051915A (zh) * | 2013-01-14 | 2013-04-17 | 清华大学 | 一种交互式立体视频关键帧的制作方法及制作装置 |
CN108683865A (zh) * | 2018-04-24 | 2018-10-19 | 长沙全度影像科技有限公司 | 一种用于子弹时间特效的背景替换系统及方法 |
CN109479098A (zh) * | 2016-06-09 | 2019-03-15 | 谷歌有限责任公司 | 多视图场景分割和传播 |
CN110675356A (zh) * | 2019-09-30 | 2020-01-10 | 中国科学院软件研究所 | 一种基于用户意图推断的嵌入式图像合成方法 |
CN111553923A (zh) * | 2019-04-01 | 2020-08-18 | 上海卫莎网络科技有限公司 | 一种图像处理方法、电子设备及计算机可读存储介质 |
-
2020
- 2020-10-09 CN CN202011072459.4A patent/CN112200756A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101951511A (zh) * | 2010-08-19 | 2011-01-19 | 深圳市亮信科技有限公司 | 一种通过分析深度进行视频场景分层的方法 |
CN103051915A (zh) * | 2013-01-14 | 2013-04-17 | 清华大学 | 一种交互式立体视频关键帧的制作方法及制作装置 |
CN109479098A (zh) * | 2016-06-09 | 2019-03-15 | 谷歌有限责任公司 | 多视图场景分割和传播 |
CN108683865A (zh) * | 2018-04-24 | 2018-10-19 | 长沙全度影像科技有限公司 | 一种用于子弹时间特效的背景替换系统及方法 |
CN111553923A (zh) * | 2019-04-01 | 2020-08-18 | 上海卫莎网络科技有限公司 | 一种图像处理方法、电子设备及计算机可读存储介质 |
CN110675356A (zh) * | 2019-09-30 | 2020-01-10 | 中国科学院软件研究所 | 一种基于用户意图推断的嵌入式图像合成方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113076828A (zh) * | 2021-03-22 | 2021-07-06 | 北京达佳互联信息技术有限公司 | 视频编辑方法和装置以及模型训练方法和装置 |
CN113076828B (zh) * | 2021-03-22 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 视频编辑方法和装置以及模型训练方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hu et al. | Depth-attentional features for single-image rain removal | |
Yue et al. | Image denoising by exploring external and internal correlations | |
CN107204010B (zh) | 一种单目图像深度估计方法与系统 | |
Valgaerts et al. | Lightweight binocular facial performance capture under uncontrolled lighting. | |
Yan et al. | Ddrnet: Depth map denoising and refinement for consumer depth cameras using cascaded cnns | |
CN111968129A (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
CN112435325A (zh) | 基于vi-slam和深度估计网络的无人机场景稠密重建方法 | |
CN110580472B (zh) | 一种基于全卷积网络和条件对抗网络的视频前景检测方法 | |
Konrad et al. | Automatic 2d-to-3d image conversion using 3d examples from the internet | |
CN113572962B (zh) | 室外自然场景光照估计方法及装置 | |
CN112184604B (zh) | 一种基于图像融合的彩色图像增强方法 | |
Ma et al. | Learning to jointly generate and separate reflections | |
CN116958437A (zh) | 融合注意力机制的多视图重建方法及系统 | |
Karpov et al. | Exploring efficiency of vision transformers for self-supervised monocular depth estimation | |
Sun et al. | Deep maximum a posterior estimator for video denoising | |
CN110889868B (zh) | 一种结合梯度和纹理特征的单目图像深度估计方法 | |
Yang et al. | [Retracted] A Method of Image Semantic Segmentation Based on PSPNet | |
CN111582036A (zh) | 可穿戴设备下基于形状和姿态的跨视角人物识别方法 | |
Lu et al. | A survey on multiview video synthesis and editing | |
CN112819742B (zh) | 一种基于卷积神经网络的事件场合成孔径成像方法 | |
CN112200756A (zh) | 一种子弹特效短视频智能生成方法 | |
Tseng et al. | Semi-supervised image depth prediction with deep learning and binocular algorithms | |
Khan et al. | Towards monocular neural facial depth estimation: Past, present, and future | |
Li et al. | Point-Based Neural Scene Rendering for Street Views | |
CN114926594A (zh) | 基于自监督时空运动先验的单视角遮挡人体运动重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210108 |