CN106921824A - 环绕式混合光场成像装置及方法 - Google Patents
环绕式混合光场成像装置及方法 Download PDFInfo
- Publication number
- CN106921824A CN106921824A CN201710305902.XA CN201710305902A CN106921824A CN 106921824 A CN106921824 A CN 106921824A CN 201710305902 A CN201710305902 A CN 201710305902A CN 106921824 A CN106921824 A CN 106921824A
- Authority
- CN
- China
- Prior art keywords
- camera
- light
- circulating type
- imaging device
- light field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title abstract description 32
- 239000011159 matrix material Substances 0.000 description 38
- 238000013507 mapping Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000013506 data mapping Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009897 systematic effect Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 240000002836 Ipomoea tricolor Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种环绕式混合光场成像装置及方法,其中方法包括环绕式混合光场成像装置的参数标定,还包括使用所述环绕式混合光场成像装置获取图像,将获取的所述图像进行融合,对获取的所述图像进行渲染,生成最终图像。本发明采用参数标定的手段结合光场相机的深度能力与传统相机的高分辨率图像,能够获取高质量的场景三维图像。
Description
技术领域
本申请涉及图像的拍摄和处理领域,特别涉及一种环绕式混合光场成像装置及方法。
背景技术
三维全景成像技术是近几年新爆发的市场热点,尤其在VR/AR、体感游戏、社交等领域具有极大的市场前景。目前,市场上已经出现一些全景成像设备,如facebook出品的Surround360由17个摄像头构成,其中包括14部广角摄像头围成的圆盘,还有顶部一个鱼眼摄像头以及底部2部摄像头,配有基于网络的软件,最高可拍摄8K像素视频;Samsung出品的Project Beyond看起来就像一个飞碟。16个摄像头呈环形安装在“飞碟”四周,每两个负责45度角范围内的拍摄。相机中央是一个强大的处理器/存储器阵列,它能同时处理来自16个摄像头的图像信息,并把它们拼接成实时的360度全景视频——当然,你也可以按下快门,拍摄照片。上述全景成像设备两款采用十几个传统相机搭建成一套球体相机阵列采集360°全景,但存在成本高昂、同步难度高、相机间标定困难等缺点。Nikon出品的KeyMission360以照相机为中心,约360°视频功能同时从各个角度拍摄。捕捉用户正面的视野,以及他们无法看到的场景;insta360Nano为直板造型,采用前后双镜头设计,每颗镜头都是超广角210°,通过前后两颗超广角鱼眼镜头拍摄360°X360°图片/视频,再进行实时拼接,可拍摄3K分辨率(3040X1520)的全景视频。以上两种相机采用双镜头背靠背组合采集360°场景,但是存在采样率低,成像畸变严重等缺点。
公开号为CN205453890U的实用新型专利申请公开了一种线扫相机全景成像装置,包括壳体;驱动电机,安装在壳体内;一端具有固定相机的支架,另一端具有平衡块;传动轴,通过传动轴承与壳体固定,一轴端与所述旋转平台卫浴之家和平衡块间的部分固定;传动齿轮组,安装于壳体且传动驱动电机的电机轴与所述传动轴;中央处理器,安装于壳体内,处理由相机输出的的图像信号以及控制驱动电机转动。该专利的缺点在于使用线扫相机必须要使用外部光源,在自然光的条件下是无法成像的,需要额外补充光源才可以,在使用中受到很大的限制。
公开号为CN105959665A的发明专利申请公开了一种针对虚拟现实设备的全景3D视频生成方法。该方法包括:用广角相机阵列拍摄场景视频并经过拼接算法生成全景视频;用深度相机阵列拍摄场景的深度图并经过拼接算法生成全景深度图视频。通过实时检测人的头部位置,在全景视频帧中切割相应位置的图像作为左视点的视频;根据左视点的图像和相应的深度图基于虚拟视点合成技术外插生成右视点图像,这两幅图像拼接为左右3D视频,在虚拟现实设备中显示。该方法需要广角相机阵列及深度相机阵列两组拍摄设备,在实施过程中难以保证设备的一致性。全景视频与全景深度视频的注册问题也会限制最终的数据质量。
发明内容
为了解决上述问题,本发明提出了一种环绕式光场成像装置及方法,采取旋转式的设计,使用时间换取空间以调和设备复杂性与成像质量的矛盾。本发明相较于上述虚拟现实数据获取方式具有较低的成本和较高的成像质量。并且上述虚拟现实数据获取方式输出为全景图。
本发明的具体技术方案如下:
本发明的第一方面提出了一种环绕式混合光场成像装置,包括旋转台,
还包括光场相机、传统相机、控制器;
所述光场相机安装在所述旋转台上;
所述传统相机安装在所述旋转台上;
所述控制器分别与所述光场相机、所述传统相机和所述旋转台相连。
优选的是,所述旋转台包括一个平面和一个转动装置。
在上述方案中优选的是,所述转动装置带动所述平面转动。
在上述方案中优选的是,所述转动装置为电动机、手动摇把和其他驱动平台转动的装置中至少一种。
在上述方案中优选的是,所述转动的角度为水平环绕360°。
在上述方案中优选的是,通过调节所述电动机的转速设定所述平面的旋转速度。
在上述方案中优选的是,所述光场相机和所述传统相机以特定角度固定在所述旋转台上。
在上述方案中优选的是,所述光场相机和所述传统相机在同一水平面上。
在上述方案中优选的是,所述光场相机和所述传统相机的镜头均向外。
在上述方案中优选的是,所述光场相机采集数据形成多个深度切片的图像。
在上述方案中优选的是,所述光场相机采集到的图像为低分辨率图像。
在上述方案中优选的是,所述多个深度切片的图像是指所述广场先机微镜头阵列可获取连续视角变化的多张图像,利用广场深度技术,可以得到场景高精度深度估计。
在上述方案中优选的是,所述传统相机采集高分辨率图像。
在上述方案中优选的是,所述控制器用于控制所述旋转台的开始旋转、停止旋转和调整转速中至少一种。
在上述方案中优选的是,所述控制器还用于在所述旋转台旋转的同时,启动所述光场相机和传统相机进行拍摄。
在上述方案中优选的是,所述控制器还用于在所述旋转台停止旋转的同时,停止所述光场相机和传统相机的拍摄。
本发明的第二方面还提出了一种环绕式混合光场成像方法,包括对权利要求1中所述的环绕式混合光场成像装置的参数标定,包含以下步骤:
步骤1:使用所述环绕式混合光场成像装置获取图像;
步骤2:将获取的所述图像进行融合;
步骤3:对获取的所述图像进行渲染;
步骤4:生成最终图像。
优选的是,所述参数标定包括普通相机参数标定、光场相机参数标定和旋转台参数标定中至少一种。
在上述方案中优选的是,所述光场相机参数标定包括微透镜投影中心位置的标定和棋盘格标定内参数的标定。
在上述方案中优选的是,所述内参数包括微透镜阵列到传感器的距离a、主透镜到微透镜阵列的距离D、系统光轴在传感器上的坐标cx,cy、主透镜焦距f、相机畸变系数k1,k2)、传感器像素尺寸p和微透镜投影中心usj,vsj中至少一种。
在上述方案中优选的是,所述内参数的标定方法包括以下步骤:
步骤a1:拍摄标定源数据,内参标定过程中需要拍摄标定图片,采取棋盘格做标定物,棋盘格上有K个角点,各个角点间距离为d毫米,使用所述光场相机在不同姿态下拍摄标定板,得到N张光场标定源图像,其中N>3且相机的各个姿态互相不平行;
步骤a2:处理标定源数据,提取所述标定源图像上的若干个像点,所述像点坐标为(xijk,yijk),该坐标表示第k个棋盘格角点,在第i个姿态中,在第j个微透镜下成像点坐标为(x,y);
步骤a3:建立方程计算角点射影变换参数,每个标定板角点将在若干个微透镜后成像,且只在每个微透镜后成唯一像,对于每个姿态下的每个角点可以建立方程:
求解所述方程可得到与各个角点匹配的系数
步骤a4:建立方程解算参数,使用下面的转换方程
将h转换为更利于计算的形式得到h′,以标定板平面为世界坐标系,及所有角点Z坐标为0。角点的世界坐标系坐标与h′之间存在射影变换关系:
其中X′=[X,Y,1]T,s为任意尺度因子。变换矩阵可由如下公式表示:
通过X′与h′求解G,并建立方程求解
可以解算出cx,cy,α,然后依据下列公式,可以解算出每个姿态下的外参数r,t以及β,γ:
r3=r1×r2
t3=S
最终,实际参数D,a,f可由下列公式解算:
步骤a5:非线性优化,建立能量函数
energy function:∑ijk||xijk-F(Xk,a,D,f,cx,cy,k1,k2,ri,ti)||
使用LM最小化能量函数从而得到优化后内参数。
在上述方案中优选的是,所述步骤1还包括以下子步骤:
步骤b1:设置采集方式并采集原始数据图像,所述原始数据图像包括普通图像和光场图像;
步骤b2:归档所述原始数据图像,计算相应外参数;
步骤b3:光场图片的处理;
步骤b4:光场计算深度结果与普通相机拍摄的图像对应;
步骤b5:数据组织存储。
在上述方案中优选的是,所述标定采集方式包括给定角度自由指定、拍摄范围自由指定、曝光时间根据测光动态调整中至少一种。
在上述方案中优选的是,所述外参数包括旋转台坐标系x,y,z和相机坐标系xc,yc,zc,使用所述普通相机与所述光场相机间的坐标变换关系以及旋转台旋转前后相机坐标系的变换,旋转台绕中心轴旋转角度θ,相应得到新坐标系x′,y′,z′,可推导出从坐标系x,y,z到新坐标系x′,y′,z′的旋转矩阵(假定中心轴为y轴)为旋转台坐标系与相机坐标系转换矩阵[Rc|Tc]不随旋转台转动改变,Rc为三维旋转矩阵,Tc为三维平移向量旋转台旋转后新的相机坐标系坐标为x′c,y′c,z′c,相机坐标系旋转前后变换矩阵为[R′c|T′c],可以由旋转台旋转矩阵以及旋转台相机转换矩阵推导[R′c|T′c],T=Tc-RTc。
在上述方案中优选的是,标定数据获取及计算包括以下步骤:
步骤b21:使用装配好的相机拍摄标定板,采集图像A并提取角点;
步骤b22:控制旋转台旋转角度θ并计算旋转矩阵Rθ;
步骤b23:再次拍摄标定板,采集图像B并提取角点;
步骤b24:根据两组图像角点计算[R|T],基于相机标定步骤所得到的相机内参数矩阵K及光场相机内参矩阵Q,求解以下方程xa=KX,xb=K[R|T]X和xa=QX,xb=Q[R|T]X;
步骤b25:结合[R|T]及Rθ计算[Rc|Tc],和T=Tc-RTc。
在上述方案中优选的是,所述步骤b3包括光场解码、光场视差匹配和光场深度结算中至少一种
在上述方案中优选的是,所述光场视差匹配是指对任一微透镜图像,搜索其相邻的微透镜图像并建立匹配关系。结合微透镜中心,计算出所有匹配关系的视差。
在上述方案中优选的是,所述光场深度结算是指使用所述光场相机参数,可求得微透镜视差与对应空间点深度的关系利用标定参数a及Δu求出虚拟深度d,进而使用主镜头焦距f以及聚焦公式求解空间点深度。
在上述方案中优选的是,所述光场深度结算包括以下子步骤:
步骤b31:深度图参数设置;
步骤b32:视差-深度映射;
步骤b33:全局优化。
在上述方案中优选的是,所述步骤b31为经过标定得到光场相机参数a,D,cx,cy,f,p,k1,k2,设置深度图尺寸与光场源图像一致,相应小孔参数模型为焦距f/p、光轴中心cx,cy和畸变参数k1,k2。
在上述方案中优选的是,所述步骤b32为计算遍历深度图D(x,y)所有关联微透镜序号,获得微透镜序号集合m;通过所述遍历集合m,计算深度图坐标(x,y)对应微透镜图像下坐标(xj,yj),其中 计算匹配函数R(x,y,d,m),I(x,y)表示光场源图像(x,y)处亮度R(x,y,d,m)=∑j∈mNCC(I(xj,yj));选择匹配函数最小的深度值d作为(x,y)点深度d=argminR(x,y,d,m)、D(x,y)=d;其中d为遍历深度值d∈[da,db]。
在上述方案中优选的是,所述步骤b33为使用图割算法对上一步所得到的深度图D进行优化,具体能量函数形式为energy function:∑dataD+∑smoothD,其中,数据项为R(x,y,d,m),平滑项∑smoothD为∑smoothD=∑x,y∑Δx,Δy‖D(x,y)-D(x+Δx,y+Δy)‖。
在上述方案中优选的是,所述步骤b4为对源图像进行变换映射,所述变换映射需要深度信息,使用光场图像计算出深度图后需要将所述深度图与所述对原图像进行对应。
在上述方案中优选的是,所述步骤b4还为利用外参数标定数据计算深度图与普通图的旋转平移关系,利用内参数标定结果能够建立起像素级的对应关系。
在上述方案中优选的是,所述步骤2包括拼接模型的选取和源数据映射,所述源数据映射包括所述源数据映射关系计算、所述源数据映射过程和目标模型数据处理。
在上述方案中优选的是,所述步骤3包括目标新视点模型的给定和相关源数集的计算。
在上述方案中优选的是,所述相关源数集的计算包括所述源数据映射关系计算、源数据映射过程和目标模型数据处理。
在上述方案中优选的是,所述步骤4为使用得到的RGB图像I和光场深度图D以及各自的参数计算RGB图像I和光场深度图D的映射关系。
在上述方案中优选的是,所述步骤4还为遍历RGB图像I所有像素I(x,y),计算(x,y)到光场深度图D上的对极线l,在对极线l上进行搜索,得到最匹配视差的深度D(x′,y′),生成RGBD图像。
本发明采用参数标定的手段结合光场相机的深度能力与传统相机的高分辨率图像,能够获取高质量的场景三维图像。场景三维图像相对于全景图而言有更高的数据维度和更大的信息量,能够给后续应用提供更高的自由度。
附图说明
图1为按照本发明的环绕式混合光场成像装置的一优选实施例的结构图。
图2为按照本发明的环绕式混合光场成像装置的外拍装置搭建的一优选实施例的示意图。
图3为按照本发明的环绕式混合光场成像装置的图2所示实施例的采集示意图。
图4为按照本发明的环绕式混合光场成像装置的内拍装置搭建的一优选实施例的示意图。
图5为按照本发明的环绕式混合光场成像方法的一优选实施例的流程图。
图5a为按照本发明的环绕式混合光场成像方法的如图5所示实施例的光场白图像图。
图5b为按照本发明的环绕式混合光场成像方法的如图5所示实施例的微透镜映射关系图。
图5c为按照本发明的环绕式混合光场成像方法的如图5所示实施例的光场相机拍摄标定板图。
图5d为按照本发明的环绕式混合光场成像方法的如图5所示实施例的传统相机拍摄标定板图。
图5e为按照本发明的环绕式混合光场成像方法的如图5所示实施例的外参数坐标示意图。
具体实施方式
实施例1
如图1所示。环绕式混合光场成像装置有控制器100、光场相机110、旋转台120和传统相机130组成。光场相机110和传统相机130安放在旋转台120的两端,在同一水平面上以固定夹角安装。旋转台120中安装有旋转设备,可以是电动机、手动摇把或者其他可以使旋转台转动的设备,可以360°旋转。控制器100用于控制旋转台120旋转的启动和停止、光场相机110和传统相机130的拍摄。
使用控制器100选择旋转台120的转速,并标定光场相机110和传统相机130的拍摄参数。控制器100启动旋转台120中的旋转设备,旋转台120开始加速旋转,当旋转台120达到设定的旋转速度并稳定速度时,光场相机110和传统相机130开始拍摄照片。当照片拍摄达到设定的数量后,光场相机110和传统相机130停止拍摄照片,旋转台120开始减速,直到停止旋转。
控制器100可以是一个控制设备、也可是台式计算机、便携式电脑以及其他可以输出控制的智能设备。光场相机110可以是市面上出售的其他任何一款光场相机或者是自行使用传统相机加上特殊部件租组成的光场相机,旋转台120的平面可以是圆形、方形、三角形、椭圆形或者多边形的平台,旋转台120的转动装置可以是电动机、手动摇把或者其他可以驱动旋转台120转动的设备,传统相机130可以用市面上出售的其他任何一款胶片相机或者数码相机。
实施例2
如图2所示,标号200为传统相机-索尼DSX T77,标号210为Lytroillum光场相机,标号220为圆形平台,标号230为底座,标号240为旋转电机电源线。
标号200为传统相机-索尼DSX T77和标号210为Lytroillum光场相机分别固定在圆形平台220的两个边沿,两部相机的镜头均面向外面,两部相机的连线穿过平台220的中心点,两部相机相对于中心点对称安放,两部相机夹角为180°。在底座230中安放有可以360°旋转的电机,带动平台220进行旋转。
两部相机沿平台圆形220的水平面可旋转,旋转时同步采集,采集视野范围为水平环绕360°。相机系统内外参数可控。标号200为传统相机-索尼DSX T77和标号210为Lytroillum光场相机可以通过相机间标定得到相机内外参数,且旋转台的旋转步进可控,因此可以建立拍摄图像与世界坐标系间的映射关系。景深范围内三维场景深度可获取。光场相机微镜头阵列可获取连续视角变化的多张图像,利用光场深度获取技术,可以得到场景高精度深度估计。360°全景光场图像无畸变拼接。利用光场相机水平面360°高密度采样切片,通过相对外参数、光场数据的关联性计算和畸变矫正,实现360°光场图像拼接。成像视野内高清晰图像渲染。通过光场相机图像和传统相机图像融合,单视角合成图像的分辨率在500万像素以上。成像视野内全聚焦。通过光场重聚焦与全聚焦技术,视野内不同深度场景全部清晰成像。小尺度视角连续可变。视角变化范围为水平面360°,视角变化步进在1°以内,保证相邻视角的图像视野覆盖在20%以上。
如图3所示,光场相机和传统相机分别采集360°场景。在同一视角,光场相机采集数据形成多个深度切片的低分辨率图像,传统相机采集到一张高分辨率图像。通过光场图像和传统图像的高分辨率图像融合、360°全景图像拼接、畸变矫正、白平衡等处理,形成3D场景的全聚焦成像。
标号200为传统相机-索尼DSX T77可以用市面上出售的其他任何一款胶片相机或者数码相机替代,Lytroillum光场相机210可以用市面上出售的其他任何一款光场相机或者自行使用传统相机加上特殊部件租组成的光场相机代替,平台220的形状可以用方形、三角形、椭圆形或者多边形的平台代替,驱动平台220旋转的设备可以是电动机、手动摇把等可以旋转的设备。
实施例3
如图4所示,标号300为传统相机索尼DSX T77,标号310的是固定传统相机索尼DSXT77的装置,标号320为Lytroillum光场相机,标号330标号的是固定Lytroillum光场相机的装置,标号340的为用于放置物体的平台,标号350为用于固定平台的装置,标号360为旋转台,标号370为旋转台底座,标号380为dell台式计算机。
在计算机上标定好标号300为传统相机索尼DSX T77和标号320为Lytroillum光场相机的系统参数(包括拍照数量、拍照时间、拍照速度、曝光时间等)将物体放置在物体平台340上,旋转台底座370中的电机开始工作,带动旋转台360开始转动,标号300为传统相机索尼DSX T77和标号320为Lytroillum光场相机开始随着旋转跳360转动,同时进行拍照。当照片的数量达到要求后,标号300为传统相机索尼DSX T77和标号320为Lytroillum光场相机停止拍照,旋转台底座370中的电机开始减速,旋转台360转动速度变慢,直到停止。使用dell台式计算机380连接传统相机索尼DSX T77和标号320为Lytroillum光场相机,下载拍摄好的相片,并用dell台式计算机380中的环绕式混合光场成像系统中带的软件对相片进行处理,生成被拍摄物品的三维图像。
实施例4
如图5所示,执行步骤400进行参数标定。参数标定包括普通相机参数标定、光场相机参数标定和相机相对于旋转台的标定。
1、普通相机参数标定
使用小孔成像模型简化普通相机,参数有a,u,v,k1,k2,分别代表相机焦距(像素单位),相机光轴在图像中的坐标以及径向畸变参数。采用张氏标定法对模型进行标定。具体过程分四步,第一步拍摄不同姿态下的标定板图像,第二步提取每个标定板图像的角点信息,第三步利用角点信息解算模型参数初值,第四步通过非线性优化得到模型参数优化值。
2、光场相机参数标定
光场相机从结构设计上与普通相机不同,本相机使用光场相机作为获取深度图的工具,因此对光场相机进行参数标定。
光场相机拍摄白图像标定微透镜投影中心位置
光场相机中的微透镜阵列对主镜头进行二次成像,每个微透镜的成像范围互不重叠,成像中心互不相同。需要计算出每个微透镜的成像范围和成像中心。具体过程分为三步:第一步使用光场相机拍摄白色背景或无纹理背景得到光场白图像如图5a所示;第二步二值化处理光场白图像,曝光像素范围为微透镜有效像素范围;第三步使用模板匹配找出每个微透镜在传感器平面上的投影中心及投影区域。根据检测结果,得到有效微透镜总数M,每个微透镜投影中心坐标(usj,vsj),j=1…M及如图5b所示中微透镜映射关系图
光场相机拍摄棋盘格标定内参数
1)内参数说明
光场相机理想化模型由主透镜,微透镜阵列,传感器三个部分组成。我们使用7个参数来参数化该模型。a,D,f,cx,cy,k1,k2,其中
a 微透镜阵列到传感器的距离(/pixel,像素单位)
D 主透镜到微透镜阵列的距离(/pixel,像素单位)
cx,cy 系统光轴在传感器上的坐标(/pixel,像素单位)
f 主透镜焦距(/mm,毫米单位)
k1,k2 相机畸变系数(无量纲)
此外,还有若干参数
p 传感器像素尺寸(pixel/mm,毫米单位)
usj,vsj 微透镜投影中心(/pixel,像素单位)
2)拍摄标定源数据
内参标定过程中需要拍摄标定图片。
我们采取棋盘格做标定物,棋盘格上有K个角点,各个角点间距离为d毫米。
使用光场相机在不同姿态下拍摄标定板,得到N张光场标定源图像。
N>3且相机的各个姿态互相不平行。
3)处理标定源数据
每一张标定源图像上都会有若干个像点,我们将提取这些像点。
像点坐标为(xijk,yijk),该坐标表示第k个棋盘格角点,在第i个姿态中,在第j个微透镜下成像点坐标为(x,y)。
4)建立方程计算角点摄射影变换参数
每个标定板角点将在若干个微透镜后成像,且只在每个微透镜后成唯一像,
因此对于每个姿态下的每个角点可以建立方程:
求解该方程可得到与各个角点匹配的系数
5)建立方程解算参数。
首先将h转换为更利于计算的形式,转换方程如下所示:
我们以标定板平面为世界坐标系,及所有角点Z坐标为0。角点的世界坐标
系坐标与h′之间存在射影变换关系,如下所示
其中X′=[X,Y,1]T,s为任意尺度因子。变换矩阵可由如下公式表示:
通过X′与h′求解G,并建立方程求解
可以解算出cx,cy,α,然后依据下列公式,可以解算出每个姿态下的外参数r,t以及β,γ:
r3=r1×r2
t3=s
最终,实际参数D,a,f可由下列公式解算:
6)非线性优化。
建立能量函数:
energy function:∑ijk||xijk-F(Xk,a,D,f,cx,cy,k1,k2,ri,ti)||
使用LM最小化能量函数从而得到优化后内参数。
如图5c所示的是光场相机拍摄标定板图,如图5d所示的是传统相机拍摄标定板图,传统相机的是高分辨率的,光场相机是低分辨率且多视点的。
3、相机相对于旋转台的标定
如图5e所示,有两类坐标系,第一类是旋转台坐标系x,y,z,第二类是相机坐标系xc,yc,zc,因为旋转台与相机的相对位置固定,因此旋转台坐标系相对于相机坐标系的变换矩阵固定。在后续步骤的数据处理与应用中,需要使用普通相机与光场相机间的坐标变换关系以及旋转台旋转前后相机坐标系的变换。
旋转台转动的旋转角转换为旋转台的旋转矩阵
旋转台绕中心轴旋转角度θ,相应得到新坐标系x′,y′,z′,可推导出从坐标系x,y,z到新坐标系x′,y′,z′的旋转矩阵(假定中心轴为y轴)为:
相机坐标系相对于旋转台坐标系转换矩阵的关系,旋转台坐标系与相机坐标系转换矩阵[Rc|Tc]不随旋转台转动改变,Rc为三维旋转矩阵,Tc为三维平移向量。
旋转台旋转前后,相机坐标变换矩阵的推导
旋转台旋转后新的相机坐标系坐标为x′c,y′c,z′c,相机坐标系旋转前后变换矩阵为[R′c|T′c],可以由旋转台旋转矩阵以及旋转台相机转换矩阵推导[R′c|T′c]:
坐标变换关系的标定方式
旋转台坐标系到相机坐标系的转换矩阵需要被标定。具体过程分四步:第一步使用装配好的相机拍摄标定板,采集图像A并提取角点;第二步控制旋转台旋转角度θ并计算旋转矩阵R;第三步再次拍摄标定板,采集图像B并提取角点;第四步根据两组图像角点计算[R′c|T′c],进一步结合R反算出[Rc|Tc]。
执行步骤410,通过环绕式混合光场成像装置获取图像。
1、转动给定角度拍摄,可拍摄指定范围
1)给定角度可自由指定
采样密度可控。可以平衡拍摄数据量大小与成像效果等。
2)拍摄范围可自由指定
采样密度可控。可以平衡拍摄数据量大小与成像效果等。
3)曝光时间可根据测光动态调整
全景环境中将出现亮度不一致的情况(例如迎光和背光)。在不同方位下,相机的曝光时间可以根据亮度直方图数据做动态调整。
2、拍摄图片组的外参数解算
1)外参数说明
如图5e所示,有两类坐标系,第一类是旋转台坐标系x,y,z,第二类是相机坐标系xc,yc,zc,因为旋转台与相机的相对位置固定,因此旋转台坐标系相对于相机坐标系的变换矩阵固定。在后续步骤的数据处理与应用中,需要使用普通相机与光场相机间的坐标变换关系以及旋转台旋转前后相机坐标系的变换。
旋转台绕中心轴旋转角度θ,相应得到新坐标系x′,y′,z′,可推导出从坐标系x,y,z到新坐标系x′,y′,z′的旋转矩阵(假定中心轴为y轴)为:
旋转台坐标系与相机坐标系转换矩阵[Rc|Tc]不随旋转台转动改变,Rc为三维旋转矩阵,Tc为三维平移向量。
旋转台旋转后新的相机坐标系坐标为x′c,y′c,z′c,相机坐标系旋转前后变换矩阵为[R′c|T′c],可以由旋转台旋转矩阵以及旋转台相机转换矩阵推导[R′c|T′c]:
2)标定数据获取及计算
旋转台坐标系到相机坐标系的转换矩阵需要被标定。
具体过程分四步:
第一步使用装配好的相机拍摄标定板,采集图像A并提取角点;
第二步控制旋转台旋转角度θ并计算旋转矩阵Rθ;
第三步再次拍摄标定板,采集图像B并提取角点;
第四步根据两组图像角点计算[R|T];
基于相机标定步骤所得到的相机内参数矩阵K及光场相机内参矩阵Q
求解以下方程
xa=KX,xb=K[R|T]X
xa=QX,xb=Q[R|T]X
第五步结合[R|T]及Rθ计算[Rc|Tc];
T=Tc-RTc
3、光场图片的处理
1)光场解码
光场拍摄原始图像按微透镜成像区域分割。分割出每个微透镜图像。
2)光场时差匹配
光场相机内部相当于微型相机阵列。各个微透镜之间存在视差,视差与深度比利相关。对任一微透镜图像,搜索其相邻的微透镜图像并建立匹配关系。结合微透镜中心,计算出所有匹配关系的视差。本发明中使用标定参数结果可以简化搜索过程(公知技术需要对整个微透镜图像进行搜索,本发明只需要对微透镜图像中的一条线进行搜索,效率变高)
3)光场深度解算
(1)深度计算说明
基于光场相机微阵列多视成像的原理,可以由光场源图像计算相应的深度图。设置符合小孔成像模型并与光场相机标定参数的深度图。经过计算填充该深度图,并输出此图像矩阵。
(2)深度图参数设置
经过标定,得到光场相机参数:
a,D,cx,cy,f,p,k1,k2
设置深度图尺寸与光场源图像一致,相应小孔参数模型为:
焦距f/p、光轴中心cx,cy、畸变参数k1,k2
(3)视差-深度映射
遍历深度图D上的每个坐标(x,y)
遍历深度值d,d∈[da,db]
计算D(x,y)所有关联微透镜序号,获得微透镜序号集合m
遍历集合m,计算深度图坐标(x,y)对应微透镜图像下坐标(xj,yj):
计算匹配函数R(x,y,d,m),I(x,y)表示光场源图像(x,y)处亮度
选择匹配函数最小的深度值d作为(x,y)点深度
d=argminR(x,y,d,m)
D(x,y)=d
(4)全局优化
使用图割算法对上一步所得到的深度图D进行优化。具体能量函数形式为:
energy function:∑dataD+∑smoothD
其中,数据项为R(x,y,d,m),平滑项∑smoothD为:
4、光场数据与普通数据的关联性
依据以上步骤,我们将得到RGB图像I,光场深度图D,以及各自的参数(或等效参数)
根据参数很容易计算两者的映射关系。
遍历RGB图像I所有像素I(x,y)
计算(x,y)到光场深度图D上的对极线l,已知两个相机参数的情况下计算对极线是公知技术。
在对极线l上进行搜索,得到最匹配视差的深度D(x′,y′)
5、数据组织存储
经过上述步骤处理后,我们将得到全景拍摄视野范围内的二维图像,深度图,以及外参数。本发明将这一类数据组织为全景源数据。一个全景源数据包含普通相机与光场相机的内参标定数据以及n组源图像数据,每组源图像数据包括经过对应处理的深度图及普通图和相应外参数。
执行步骤420,将获取到的图像进行融合。
1、拼接模型的选取
选取目标模型为柱状模型,模型采用极坐标表示。
2、源数据(图像、深度图)映射
1)源数据(图像、深度图)映射关系的计算
根据源数据每组图像的内外参数,计算图像平面映射到柱状投影面的映射矩阵。
2)源数据(图像、深度图)映射过程
根据映射矩阵,计算每组源图像在目标模型上的映射范围。遍历目标映射范围计算源图像坐标(一般情况下这个坐标不是整数,即无法与源图像像素一一对应),根据采样率要求提取源图像坐标区域像素值赋予目标模型像素。
3)目标模型数据处理
拼接缝邻进行高斯淡化处理。
多个源图像重叠处,深度一致使用平均值,深度不一致使用深度浅像素。运用泊松融合技术处理光照不一致情况。
执行步骤430,将获取到的图像进行渲染。
1、目标新视点模型的给定
选取目标模型为小孔模型(符合人眼透视),给定新视点的内参数(焦距,图像大小),外参数(旋转平移矩阵)。
2、相关源数据集的计算
1)源数据映射关系的计算
根据源数据每组图像的内外参数,映射到新视点的映射矩阵。此外因为新视点的视野有限,为了降低计算量,排除映射范围不在新视点内的源图像
2)源数据映射过程
3)目标模型数据处理
执行步骤440,生成图像。
为了更好地理解本发明,以上结合本发明的具体实施例做了详细描述,但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改,均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和系统。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (10)
1.一种环绕式混合光场成像装置,包括旋转台,其特征在于:
还包括光场相机、传统相机和控制器;
所述光场相机安装在所述旋转台上;
所述传统相机安装在所述旋转上;
所述控制器分别与所述光场相机、所述传统相机和所述旋转台相连。
2.如权利要求1所述的环绕式混合光场成像装置,其特征在于:所述旋转台包括一个平面和一个转动装置。
3.如权利要求2所述的环绕式混合光场成像装置,其特征在于:所述转动装置带动所述平面转动。
4.如权利要求3所述的环绕式混合光场成像装置,其特征在于:所述转动装置为电动机、手动摇把和其他驱动平台转动的装置中至少一种。
5.如权利要求4所述的环绕式混合光场成像装置,其特征在于:所述转动的角度为水平环绕360°。
6.如权利要求5所述的环绕式混合光场成像装置,其特征在于:通过调节所述电动机的转速设定所述平面的旋转速度。
7.如权利要求1所述的环绕式混合光场成像装置,其特征在于:所述光场相机和所述传统相机以特定角度固定在所述旋转台上。
8.如权利要求7所述的环绕式混合光场成像装置,其特征在于:所述光场相机和所述传统相机在同一水平面上。
9.如权利要求7所述的环绕式混合光场成像装置,其特征在于:所述光场相机和所述传统相机的镜头均向外。
10.环绕式混合光场成像方法,包括对权利要求1中所述的环绕式混合光场成像装置的参数标定,其特征在于,包括以下步骤:
步骤1:使用所述环绕式混合光场成像装置获取图像;
步骤2:将获取的所述图像进行融合;
步骤3:对获取的所述图像进行渲染;
步骤4:生成最终图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710305902.XA CN106921824A (zh) | 2017-05-03 | 2017-05-03 | 环绕式混合光场成像装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710305902.XA CN106921824A (zh) | 2017-05-03 | 2017-05-03 | 环绕式混合光场成像装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106921824A true CN106921824A (zh) | 2017-07-04 |
Family
ID=59567849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710305902.XA Pending CN106921824A (zh) | 2017-05-03 | 2017-05-03 | 环绕式混合光场成像装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106921824A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107492127A (zh) * | 2017-09-18 | 2017-12-19 | 丁志宇 | 光场相机参数标定方法、装置、存储介质和计算机设备 |
CN108362378A (zh) * | 2018-02-24 | 2018-08-03 | 首都师范大学 | 一种基于滚动式扫描的高光谱成像装置 |
CN109840922A (zh) * | 2018-01-31 | 2019-06-04 | 中国科学院计算技术研究所 | 基于双目光场相机的深度获取方法和系统 |
CN110035229A (zh) * | 2019-04-12 | 2019-07-19 | 珠海市易迅科技有限公司 | 一种分布式360度快速同步拍照装置 |
CN110505379A (zh) * | 2019-08-09 | 2019-11-26 | 中国科学院光电技术研究所 | 一种高分辨率光场成像系统和方法 |
CN110581936A (zh) * | 2018-06-07 | 2019-12-17 | 钰立微电子股份有限公司 | 产生深度图像的图像装置和相关的电子装置 |
CN111225221A (zh) * | 2020-01-15 | 2020-06-02 | 未来新视界文化科技(嘉善)有限公司 | 全景视频图像处理方法和装置 |
CN112040140A (zh) * | 2020-09-02 | 2020-12-04 | 衢州光明电力投资集团有限公司赋腾科技分公司 | 一种基于光场的宽视场高分辨混合成像装置 |
CN117011446A (zh) * | 2023-08-23 | 2023-11-07 | 苏州深捷信息科技有限公司 | 一种动态环境光照的实时渲染方法 |
-
2017
- 2017-05-03 CN CN201710305902.XA patent/CN106921824A/zh active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107492127A (zh) * | 2017-09-18 | 2017-12-19 | 丁志宇 | 光场相机参数标定方法、装置、存储介质和计算机设备 |
CN109840922B (zh) * | 2018-01-31 | 2021-03-02 | 中国科学院计算技术研究所 | 基于双目光场相机的深度获取方法和系统 |
CN109840922A (zh) * | 2018-01-31 | 2019-06-04 | 中国科学院计算技术研究所 | 基于双目光场相机的深度获取方法和系统 |
CN108362378B (zh) * | 2018-02-24 | 2020-04-14 | 首都师范大学 | 一种基于滚动式扫描的高光谱成像装置 |
CN108362378A (zh) * | 2018-02-24 | 2018-08-03 | 首都师范大学 | 一种基于滚动式扫描的高光谱成像装置 |
CN110581936A (zh) * | 2018-06-07 | 2019-12-17 | 钰立微电子股份有限公司 | 产生深度图像的图像装置和相关的电子装置 |
CN110035229A (zh) * | 2019-04-12 | 2019-07-19 | 珠海市易迅科技有限公司 | 一种分布式360度快速同步拍照装置 |
CN110505379A (zh) * | 2019-08-09 | 2019-11-26 | 中国科学院光电技术研究所 | 一种高分辨率光场成像系统和方法 |
CN110505379B (zh) * | 2019-08-09 | 2021-06-01 | 中国科学院光电技术研究所 | 一种高分辨率光场成像方法 |
CN111225221A (zh) * | 2020-01-15 | 2020-06-02 | 未来新视界文化科技(嘉善)有限公司 | 全景视频图像处理方法和装置 |
CN111225221B (zh) * | 2020-01-15 | 2021-12-14 | 未来新视界文化科技(嘉善)有限公司 | 全景视频图像处理方法和装置 |
CN112040140A (zh) * | 2020-09-02 | 2020-12-04 | 衢州光明电力投资集团有限公司赋腾科技分公司 | 一种基于光场的宽视场高分辨混合成像装置 |
CN117011446A (zh) * | 2023-08-23 | 2023-11-07 | 苏州深捷信息科技有限公司 | 一种动态环境光照的实时渲染方法 |
CN117011446B (zh) * | 2023-08-23 | 2024-03-08 | 苏州深捷信息科技有限公司 | 一种动态环境光照的实时渲染方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106921824A (zh) | 环绕式混合光场成像装置及方法 | |
WO2021012855A1 (zh) | 一种全景图像生成系统及全景图像生成方法 | |
CN107431796B (zh) | 全景虚拟现实内容的全方位立体式捕捉和渲染 | |
US6323862B1 (en) | Apparatus for generating and interactively viewing spherical image data and memory thereof | |
US9426451B2 (en) | Cooperative photography | |
CN105008995B (zh) | 全立体成像 | |
CN207218846U (zh) | 环绕式混合光场成像装置 | |
CN101000461B (zh) | 一种鱼眼图像生成立方体全景的方法 | |
CN107610185A (zh) | 一种鱼眼相机快速标定装置及标定方法 | |
CN106548477A (zh) | 一种基于立体标定靶的多路鱼眼相机标定装置及方法 | |
AU2020417796B2 (en) | System and method of capturing and generating panoramic three-dimensional images | |
CN107993276A (zh) | 一种全景图像的生成方法及装置 | |
CN106991716A (zh) | 一种全景三维建模装置、方法及系统 | |
CN107358577B (zh) | 一种立方体全景图的快速拼接方法 | |
Ikeda et al. | High-resolution panoramic movie generation from video streams acquired by an omnidirectional multi-camera system | |
CN104601978A (zh) | 自由视点图像的获取系统与方法 | |
CN106899782A (zh) | 一种实现交互式全景视频流地图的方法 | |
CN206460515U (zh) | 一种基于立体标定靶的多路鱼眼相机标定装置 | |
CN114926612A (zh) | 空中全景图像处理与沉浸式显示系统 | |
CN205792939U (zh) | 用于全景摄像机的双鱼眼摄像装置 | |
CN109600556B (zh) | 一种基于单反相机的高质量精密全景成像系统及方法 | |
CN207442995U (zh) | 全景混合光场成像装置 | |
CN1272750C (zh) | 一种基于两张鱼眼图像的智能型全景生成方法 | |
Ikeda et al. | Calibration method for an omnidirectional multicamera system | |
CN108322728A (zh) | 具有扫描功能的电脑及模型生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170704 |