CN114125269B - 一种基于深度学习的手机实时全景拍摄方法 - Google Patents
一种基于深度学习的手机实时全景拍摄方法 Download PDFInfo
- Publication number
- CN114125269B CN114125269B CN202111269335.XA CN202111269335A CN114125269B CN 114125269 B CN114125269 B CN 114125269B CN 202111269335 A CN202111269335 A CN 202111269335A CN 114125269 B CN114125269 B CN 114125269B
- Authority
- CN
- China
- Prior art keywords
- image
- panoramic
- mobile phone
- shooting
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 230000000295 complement effect Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 abstract description 3
- 230000001502 supplementing effect Effects 0.000 abstract 1
- 230000004913 activation Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于深度学习的手机实时全景拍摄方法,包括:手机前后摄像头同时拍摄得到一组前后摄图像;手机旋转一定角度后再次同时拍摄;利用基于Brisk和SIFT的拼接算法,将手机旋转前后拍摄的图像进行拼接,得到全景拼接图;利用手机前后摄像头拍摄一组前后摄图像;利用深度单应性网络将手机前后摄图像进行拼接处理,得到带有孔洞的全景拼接图;利用深度图像增强网络将带有孔洞的全景拼接图去模糊处理,得到增强图像;利用深度生成对抗网络和全景拼接图将增强图像的内容补全,得到重构全景图。本发明利用端侧神经网络模型,对手机前后摄广角镜头视角的图像拼接、缺失的全景内容补全,实现了VR实时拍摄的自由化和简单化。
Description
技术领域
本发明属于虚拟现实技术领域,具体涉及一种基于深度学习的手机实时全景拍摄方法。
背景技术
虚拟现实(VR)发展到今天,其主要是指360°视频,也称为全景视频。VR与拍摄相结合,是未来VR的发展趋势。随着VR虚拟现实技术的不断进步和5G网络的普及,VR全景视频的应用将会进入我们生活的各个领域,VR虚拟现实技术具体地说就是模拟人类的视觉、听觉等可感知器官的特性,给人沉浸性、身临其境般的虚拟场景。同时通过网络VR拍摄也会产生巨大的商业应用价值。但是我们都知道,在拍摄VR全景视频内容时,要使用到专业的全景相机进行拍摄,这导致拍摄全景视频的成本很高。
使用手机进行拍摄全景视频可以简化复杂的拍摄工作。采用手机前后摄像头进行全景视频拍摄时,由于前后两个摄像头在同一时间所能覆盖的场景角度是无法达到360°,所以在拼接过程中,有部分角度的内容区域是缺失的,并且前后摄像头之间的参数不同也会导致所合成的全景图像缺乏视觉一致性。因此如何降低全景视频对拍摄设备的要求,又能获得完美的视觉感受和体验,也就成为了本领域内亟待解决的问题。
发明内容
发明目的:针对以上问题,本发明提出一种基于深度学习的手机实时全景拍摄方法,利用端侧神经网络模型,对手机的前后摄广角镜头视角的图像进行拼接并对缺失的全景内容进行补全,实现了VR实时拍摄的自由化和简单化。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:一种基于深度学习的手机实时全景拍摄方法,具体包括如下步骤:
步骤1,针对某一场景,手机前后摄像头同时拍摄得到一组前后摄图像;手机旋转一定角度后再次同时拍摄得到一组前后摄图像;利用基于Brisk和SIFT的拼接算法,将手机旋转前后拍摄的图像进行拼接,得到全景拼接图Image_360;
步骤2,针对步骤1所述场景,利用手机前后摄像头拍摄一组前后摄图像;
步骤3,利用深度单应性网络将步骤2得到的前后摄图像进行拼接处理,得到带有孔洞的全景拼接图Image_360_hole;
步骤4,利用深度图像增强网络将步骤3所述带有孔洞的全景拼接图Image_360_hole进行去模糊处理,得到带有孔洞的增强图像Image_360_hole_enhance;
步骤5,利用深度生成对抗网络以及步骤1所述全景拼接图Image_360将步骤4中带有孔洞的增强图像Image_360_hole_enhance的内容进行补全处理,得到重构全景图Image_360_hole_recontrust。
进一步地,所述步骤1的方法具体如下:
步骤1.1,针对某一场景,手机前后摄像头同时拍摄一组前后摄图像,得到前摄图像Image_front和后摄图像Image_back;手机旋转一定角度后再次同时拍摄一组前后摄图像,得到前摄图像Image_front_spin和后摄图像Image_back_spin;
步骤1.2,利用均值滤波对步骤1.1拍摄的两组前后摄图像进行平滑处理,得到平滑处理后的图像Image_front′、Image_back′以及Image_front_spin′、Image_back_spin′;
步骤1.3,利用Brisk算法对步骤1.2所述图像Image_front′、Image_back′以及Image_front_spin′、Image_back_spin′进行特征检测与特征描述,得到重叠区域C1和C2;
步骤1.4,使用SIFT算法对重叠区域C1和C2进行特征检测,得到不同图像中相同内容的特征点坐标,并将特征点坐标定位到步骤1.1图像Image_front、Image_back、Image_front_spin和Image_back_spin中;
计算出拼接图像,即得到全景拼接图Image_360。
进一步地,所述步骤3的方法具体如下:
将步骤2得到的前后摄图像作为深度单应性网络的输入,输出单应性矩阵;所述单应性矩阵反映了前后摄图像画面与拼接画面的映射关系;
根据单应性矩阵对步骤2得到的前后摄图像进行拼接,得到带有孔洞的全景拼接图Image_360_hole。
进一步地,在步骤3之前还包括,对深度单应性网络进行训练,具体方法如下:
输入:手机前后摄像头同时拍摄得到的若干组前后摄图像,每一组前后摄图像各自对应的拼接部分图像;
输出:单应性矩阵;
构建深度单应性网络,利用手机前后摄像头同时拍摄得到的若干组前后摄图像以及每一组前后摄图像各自对应的拼接部分图像对构建的深度单应性网络进行迭代训练,直至网络损失函数收敛,得到训练好的深度单应性网络;所述网络损失函数为:
式中,L1为网络损失函数;N为共有N组前后摄图像,i为第i组前后摄图像;Imagefront、Imageback为手机前后摄拍摄的图像;Imagefront″、Imageback″为手机前后摄拍摄的图像Imagefront、Imageback各自对应的拼接部分图像,表示L2范数损失函数。
进一步地,步骤5所述深度生成对抗网络包括内容编码网络、补全网络和判别器网络;所述补全网络包括编码器和解码器。
进一步地,所述步骤5的方法具体如下:
步骤5.1,对步骤4所述带有孔洞的增强图像Image_360_hole_enhance生成图像对应的孔洞Mask;
步骤5.2,将步骤4所述带有孔洞的增强图像Image_360_hole_enhance以及图像对应的孔洞Mask作为补全网络中编码器的输入,提取得到图像特征;
步骤5.3,将步骤1所述全景拼接图Image_360输入内容编码网络,得到内容特征;
步骤5.4,将步骤5.2得到的图像特征以及步骤5.3得到的内容特征进行融合后,输入补全网络中的解码器,生成重构全景图Image_360_hole_recontrust。
本发明还提出一种基于深度学习的手机实时全景拍摄方法的装置,包括:
预处理模块,用于将获取的不同角度的手机前后摄图像进行拼接,得到全景拼接图;
全景拼接模块,用于将获取的手机前后摄图像进行拼接处理,得到带有孔洞的全景拼接图;
全景增强模块,用于将全景拼接模块得到的带有孔洞的全景拼接图去模糊处理,得到带有孔洞的增强图像;
全景补全模块,用于对预处理模块得到的全景拼接图进行内容特征提取,对全景增强模块得到的带有孔洞的增强图像进行图像特征提取,并根据全景拼接图的内容特征以及带有孔洞的增强图像的图像特征,对带有孔洞的增强图像进行补全,生成重构全景图。
有益效果:与现有技术相比,本发明技术方案具有以下有益技术效果:
本发明提出的一种基于深度学习的手机实时全景拍摄方法,降低了VR拍摄的门槛,每个用户使用手机即可进行VR全景拍摄;本发明利用深度神经网络模型对手机前后摄拍摄内容进行图像拼接、图像增强以及图像内容补全,还原最真实的三维空间的拍摄场景,不仅能够扩大拍摄的视野范围,观察视角也能改变,给用户一种临场感,并且无需任何专业的全景拍摄设备,随时随地打开手机就可以进行拍摄。
附图说明
图1是一种实施例下本发明所述一种基于深度学习的手机实时全景拍摄方法流程图;
图2是一种实施例下本发明所述一种基于深度学习的手机实时全景拍摄装置框架图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于深度学习的手机实时全景拍摄方法,参考图1,具体包括步骤:
步骤一:手机前后摄像头同时拍摄,通过前摄得到图像Image_front,后摄得到Image_back,手机旋转一定角度,再拍摄一组前后摄画面Image_front_spin和Image_back_spin,利用基于Brisk和SIFT的拼接算法,得到全景拼接图Image_360;具体方法如下:
输入第一组拍摄图像Image_front、Image_back和第二组拍摄图像Image_front_spin、Image_back_spin,使用均值滤波对上述图像进行平滑处理,得到Image_front′、Image_back′以及Image_front_spin′、Image_back_spin′;
使用Brisk算法对Image_front′、Image_front_spin′和Image_back′、Image_back_spin′进行特征检测;Brisk算法是一种二进制特征描述算子,算法主要包含特征点检测、特征描述2步:
首先,构建尺度空间,提取尺度空间中亚像素级精度的稳定极值点。
然后,利用局部图像邻域内均匀采样点对的距离关系进行二进制编码,建立局部图像的二值特征描述子。每两个采样点之间的梯度计算公式如下所示:
式中,θ表示梯度,tan-1指正切函数的倒数,x表示横坐标,y表示纵坐标,L()表示一组(x,y)坐标;
计算图像大致重叠区C1C2;
使用SIFT算法对C1C2进行特征检测;SIFT算法是一种局部性特征描述子,其在空间尺度中寻找极值点,并提取出位置、尺度、旋转不变量。高斯平滑图像在点I(x,y)处梯度的方向θ(x,y),梯度方向的计算公式如下所示:
式中,g(pi,pj)表示特征点pi,pj的局部梯度集合;I(p,σ)表示特征点的坐标。
检测出的特征点坐标定位到Image_front、Image_back和Image_front_spin、Image_back_spin;
计算出拼接图像Image_360。
步骤二:在步骤一相同拍摄场景,利用手机前后摄超广角镜头拍摄一组前后摄图像;
步骤三:用深度单应性网络将步骤二得到的前后摄画面拼接处理,得到带有孔洞的全景拼接图Image_360_hole;
深度单应性网络通过四个卷积层和两个完全连接层连接;每个卷积层卷积核的个数依次为6,6,16,16,卷积核的大小为3x3,步长为1,填充方式为按0填充,激活函数采用ReLU函数。以两幅堆叠的灰度图像作为输入,产生一个8自由度的单应性,用于将像素从第一幅图像映射到第二幅图像;
构造数据集训练深度单应性网络,训练的损失函数为:
式中,Imagefron+,mageback为手机前后摄拍摄的图像,Imagefront″和Imafeback″为构造相应数据集中对应拼接图像中的部分;
(32)在图像拼接时,通过深度单应性网络,输出对应单应性矩阵,单应性矩阵为前后摄画面与拼接画面的映射关系;
(33)根据单应性矩阵提供的映射关系进行前后摄画面拼接,生成初始全景拼接画面Image_360_hole。
步骤四:用深度图像增强网络将拼接后的全景图像去模糊;
深度图像增强网络通过8个卷积层和1个完全连接层连接。每个卷积层卷积核的个数依次为8,8,36,36,卷积核的大小为3x3,步长为2,填充方式为按0填充,激活函数采用ReLU函数。
输入初始全景拼接画面,通过深度图像增强网络,输出一个6x6的滤波器;构造相应数据集进行训练训练深度图像增强网络,训练的损失函数为:
式中,Image_360_hole″为构造数据集中传统方法增强后的图像,Image_360_hole′为深度图像增强网络输出的图像;
在图像去模糊时,通过深度图像增强网络,输出一个3x3的滤波器。
对初始全景拼接画面进行滤波,得到增强的全景拼接画面Image_360_hole_enhance。
步骤五:经过步骤4得到带有孔洞的增强后的图像Image_360_hole_enhance,并生成对应的孔洞Mask,Image_360_hole_enhance与孔洞mask作为补全网络编码器部分的输入。
全景拼接图Image_360经过内容编码网络,得到的内容特征与补全网络中的编码器部分融合输入后续解码器网络生成最后的重构全景图Image_360_hole_recontrust。
其中,深度生成对抗网络的损失函数有三部分构成,即重构损失L3、对抗网络损失Ladv和感知损失LC。
训练过程中,首先以Image_360与Image_360_hole_enhance中对应区域之间的L3损失训练补全网络,经过反复迭代至网络收敛得到初步补全图,损失函数为:
为使训练过程更好的收敛,采用的是WGAN-GP中的对抗网络损失,对每个样本独立的施加梯度惩罚,损失函数为:
式中,λ固定取值为10,z为输入的噪声,x为专业全景相机拍摄出的图像,θ为在z和x之间随机插值取样,G()为生成器、D()为判别器、Pz(z)表示噪声z的数据分布,Pdata(x)表示图像x的数据分布。
其中θ为在z和x之间随机插值取样;λ取值为10;
采用感知损失来帮助恢复图像内容,感知损失是基于生成和目标图像特征映射的差异。定义为
先使用ImageNet进行预训练VGG19,其中是在VGG19网络中第t个最大池化层之前的第j个卷积获得的特征图,Wt,j是在VGG19网络中第t个最大池化层之前的第j个卷积获得的特征图的宽,Ht,j是在VGG19网络中第t个最大池化层之前的第j个卷积获得的特征图的高。Image_360_hole_enhance是增强后有孔洞的全景拼接图像,Image_360是预处理模块生成的全景图像。
模型的总体损失函数为
Lmoss=w1L3+w2LadO+w3LC
内容编码其网络包括4个卷积层。每个卷积层卷积核的个数依次为8,8,36,36,卷积核的大小为3x3,步长为2,填充方式为按0填充,激活函数采用ReLU函数。输入全景拼接图Image_360,输出其内容特征。
补全网络的网络结构包含10个卷积层、两个反卷积层和一个输出层。除了第一个卷积层使用5*5的卷积核之外,所有的卷积层均使用3*3的卷积核,反卷积层使用4*4的卷积核,步长为2,填充方式为按0填充,激活函数采用ReLU函数。补全网络采用的是编码器-解码器结构,允许在进一步处理图像之前降低图像的分辨率,从而达到节约存储空间和运行时间的目的。在图像经过编码器的卷积运算提取图像特征后,需要使用反卷积层将图像恢复至原分辨率。
判别器网络的网络结构包含六个卷积层和一个完全连接层,所有的卷积层均采用2*2像素的步幅来降低图像分辨率。每个卷积层卷积核的个数依次为8,8,36,36,卷积核的大小为3x3,步长为2,填充方式为按0填充,激活函数采用ReLU函数。
参考图2,一种基于深度学习的手机实时全景拍摄装置,包括:
预处理模块,用于将获取的不同角度的手机前后摄图像进行拼接,得到全景拼接图;
全景拼接模块,用于将获取的手机前后摄图像进行拼接处理,得到带有孔洞的全景拼接图;
全景增强模块,用于将全景拼接模块得到的带有孔洞的全景拼接图去模糊处理,得到带有孔洞的增强图像;
全景补全模块,用于对预处理模块得到的全景拼接图进行内容特征提取,对全景增强模块得到的带有孔洞的增强图像进行图像特征提取,并根据全景拼接图的内容特征以及带有孔洞的增强图像的图像特征,对进行补全,生成重构全景图。
Claims (7)
1.一种基于深度学习的手机实时全景拍摄方法,其特征在于,具体包括如下步骤:
步骤1,针对某一场景,手机前后摄像头同时拍摄得到一组前后摄图像;手机旋转一定角度后再次同时拍摄得到一组前后摄图像;利用基于Brisk和SIFT的拼接算法,将手机旋转前后拍摄的图像进行拼接,得到全景拼接图Image_360;
步骤2,针对步骤1所述场景,利用手机前后摄像头拍摄一组前后摄图像;
步骤3,利用深度单应性网络将步骤2得到的前后摄图像进行拼接处理,得到带有孔洞的全景拼接图Image_360_hole;
步骤4,利用深度图像增强网络将步骤3所述带有孔洞的全景拼接图Image_360_hole进行去模糊处理,得到带有孔洞的增强图像Image_360_hole_enhance;
步骤5,利用深度生成对抗网络以及步骤1所述全景拼接图Image_360将步骤4中带有孔洞的增强图像Image_360_hole_enhance的内容进行补全处理,得到重构全景图Image_360_hole_recontrust。
2.根据权利要求1所述的一种基于深度学习的手机实时全景拍摄方法,其特征在于,所述步骤1的方法具体如下:
步骤1.1,针对某一场景,手机前后摄像头同时拍摄一组前后摄图像,得到前摄图像Image_front和后摄图像Image_back;手机旋转一定角度后再次同时拍摄一组前后摄图像,得到前摄图像Image_front_spin和后摄图像Image_back_spin;
步骤1.2,利用均值滤波对步骤1.1拍摄的两组前后摄图像进行平滑处理,得到平滑处理后的图像Image_front′、Image_back′以及Image_front_spin′、Image_back_spin′;
步骤1.3,利用Brisk算法对步骤1.2所述图像Image_front′、Image_back′以及Image_front_spin′Image_back_spin′进行特征检测与特征描述,得到重叠区域C1和C2;
步骤1.4,使用SIFT算法对重叠区域C1和C2进行特征检测,得到不同图像中相同内容的特征点坐标,并将特征点坐标定位到步骤1.1图像Image_front、Image_back、Image_front_spin和Image_back_spin中;
计算出拼接图像,即得到全景拼接图Image_360。
3.根据权利要求1所述的一种基于深度学习的手机实时全景拍摄方法,其特征在于,所述步骤3的方法具体如下:
将步骤2得到的前后摄图像作为深度单应性网络的输入,输出单应性矩阵;所述单应性矩阵反映了前后摄图像画面与拼接画面的映射关系;
根据单应性矩阵对步骤2得到的前后摄图像进行拼接,得到带有孔洞的全景拼接图Image_360_hole。
4.根据权利要求1所述的一种基于深度学习的手机实时全景拍摄方法,其特征在于,在步骤3之前还包括,对深度单应性网络进行训练,具体方法如下:
输入:手机前后摄像头同时拍摄得到的若干组前后摄图像,每一组前后摄图像各自对应的拼接部分图像;
输出:单应性矩阵;
构建深度单应性网络,利用手机前后摄像头同时拍摄得到的若干组前后摄图像以及每一组前后摄图像各自对应的拼接部分图像对构建的深度单应性网络进行迭代训练,直至网络损失函数收敛,得到训练好的深度单应性网络;所述网络损失函数为:
5.根据权利要求1所述的一种基于深度学习的手机实时全景拍摄方法,其特征在于,步骤5所述深度生成对抗网络包括内容编码网络、补全网络和判别器网络;所述补全网络包括编码器和解码器。
6.根据权利要求5所述的一种基于深度学习的手机实时全景拍摄方法,其特征在于,所述步骤5的方法具体如下:
步骤5.1,对步骤4所述带有孔洞的增强图像Image_360_hole_enhance生成图像对应的孔洞Mask;
步骤5.2,将步骤4所述带有孔洞的增强图像Image_360_hole_enhance以及图像对应的孔洞Mask作为补全网络中编码器的输入,提取得到图像特征;
步骤5.3,将步骤1所述全景拼接图Image_360输入内容编码网络,得到内容特征;
步骤5.4,将步骤5.2得到的图像特征以及步骤5.3得到的内容特征进行融合后,输入补全网络中的解码器,生成重构全景图Image_360_hole_recontrust。
7.根据权利要求1-6任一项所述的一种基于深度学习的手机实时全景拍摄方法的装置,其特征在于,包括:
预处理模块,用于将获取的不同角度的手机前后摄图像进行拼接,得到全景拼接图;
全景拼接模块,用于将获取的手机前后摄图像进行拼接处理,得到带有孔洞的全景拼接图;
全景增强模块,用于将全景拼接模块得到的带有孔洞的全景拼接图去模糊处理,得到带有孔洞的增强图像;
全景补全模块,用于对预处理模块得到的全景拼接图进行内容特征提取,对全景增强模块得到的带有孔洞的增强图像进行图像特征提取,并根据全景拼接图的内容特征以及带有孔洞的增强图像的图像特征,对带有孔洞的增强图像进行补全,生成重构全景图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111269335.XA CN114125269B (zh) | 2021-10-29 | 2021-10-29 | 一种基于深度学习的手机实时全景拍摄方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111269335.XA CN114125269B (zh) | 2021-10-29 | 2021-10-29 | 一种基于深度学习的手机实时全景拍摄方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114125269A CN114125269A (zh) | 2022-03-01 |
CN114125269B true CN114125269B (zh) | 2023-05-23 |
Family
ID=80379404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111269335.XA Active CN114125269B (zh) | 2021-10-29 | 2021-10-29 | 一种基于深度学习的手机实时全景拍摄方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114125269B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113808022B (zh) * | 2021-09-22 | 2023-05-30 | 南京信息工程大学 | 一种基于端侧深度学习的手机全景拍摄与合成方法 |
CN114745516A (zh) * | 2022-04-11 | 2022-07-12 | Oppo广东移动通信有限公司 | 全景视频的生成方法、装置、存储介质及电子设备 |
CN116167921B (zh) * | 2023-04-21 | 2023-07-11 | 深圳市南天门网络信息有限公司 | 一种飞行太空舱全景图像拼接方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102645837A (zh) * | 2012-04-09 | 2012-08-22 | 广东步步高电子工业有限公司 | 一种应用于安装有前、后摄像头的移动手持设备的全景图像拍摄和处理方法 |
CN105162961A (zh) * | 2015-08-04 | 2015-12-16 | 深圳先进技术研究院 | 一种全景照相手机及全景照相方法 |
CN105959565A (zh) * | 2016-06-15 | 2016-09-21 | 维沃移动通信有限公司 | 一种全景拍照方法及移动终端 |
CN107094236A (zh) * | 2017-05-19 | 2017-08-25 | 努比亚技术有限公司 | 全景拍摄方法、移动终端及计算机可读存储介质 |
CN109493278A (zh) * | 2018-10-24 | 2019-03-19 | 北京工业大学 | 一种基于sift特征的大场景图像拼接系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9930252B2 (en) * | 2012-12-06 | 2018-03-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods, systems and robots for processing omni-directional image data |
US11620730B2 (en) * | 2020-03-23 | 2023-04-04 | Realsee (Beijing) Technology Co., Ltd. | Method for merging multiple images and post-processing of panorama |
-
2021
- 2021-10-29 CN CN202111269335.XA patent/CN114125269B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102645837A (zh) * | 2012-04-09 | 2012-08-22 | 广东步步高电子工业有限公司 | 一种应用于安装有前、后摄像头的移动手持设备的全景图像拍摄和处理方法 |
CN105162961A (zh) * | 2015-08-04 | 2015-12-16 | 深圳先进技术研究院 | 一种全景照相手机及全景照相方法 |
CN105959565A (zh) * | 2016-06-15 | 2016-09-21 | 维沃移动通信有限公司 | 一种全景拍照方法及移动终端 |
CN107094236A (zh) * | 2017-05-19 | 2017-08-25 | 努比亚技术有限公司 | 全景拍摄方法、移动终端及计算机可读存储介质 |
CN109493278A (zh) * | 2018-10-24 | 2019-03-19 | 北京工业大学 | 一种基于sift特征的大场景图像拼接系统 |
Non-Patent Citations (1)
Title |
---|
基于改进BRISK算法的图像拼接技术研究;刘佳;《硕士电子期刊》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114125269A (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Underwater image enhancement via medium transmission-guided multi-color space embedding | |
CN114125269B (zh) | 一种基于深度学习的手机实时全景拍摄方法 | |
Riegler et al. | Stable view synthesis | |
Wang et al. | 360sd-net: 360 stereo depth estimation with learnable cost volume | |
Tan et al. | DeepDemosaicking: Adaptive image demosaicking via multiple deep fully convolutional networks | |
Liang et al. | Cameranet: A two-stage framework for effective camera isp learning | |
Chang et al. | Single image reflection removal using convolutional neural networks | |
CN110910486A (zh) | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 | |
CN106651808B (zh) | 一种鱼眼图转换方法及装置 | |
WO2024007478A1 (zh) | 基于单手机的人体三维建模数据采集与重建方法及系统 | |
CN107767339B (zh) | 一种双目立体图像拼接方法 | |
Pan et al. | MIEGAN: Mobile image enhancement via a multi-module cascade neural network | |
WO2022100419A1 (zh) | 一种图像处理方法及相关设备 | |
CN106997617A (zh) | 混合现实虚拟呈现方法及装置 | |
Li et al. | Uphdr-gan: Generative adversarial network for high dynamic range imaging with unpaired data | |
CN110580720A (zh) | 一种基于全景图的相机位姿估计方法 | |
Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
CN108093188B (zh) | 一种基于混合投影变换模型的大视场视频全景图拼接的方法 | |
CN115082617A (zh) | 基于多视图优化的管道三维重建方法、装置及存储介质 | |
CN115239857B (zh) | 图像生成方法以及电子设备 | |
CN112509144A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
CN116579962A (zh) | 一种基于鱼眼相机的全景感知方法、装置、设备及介质 | |
CN117274501A (zh) | 一种可驱动数字人建模方法、装置、设备及介质 | |
Song et al. | Real-scene reflection removal with raw-rgb image pairs | |
Chen et al. | HDR light field imaging of dynamic scenes: A learning-based method and a benchmark dataset |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |