CN107038724A - 全景鱼眼相机影像校正、合成与景深重建方法与系统 - Google Patents

全景鱼眼相机影像校正、合成与景深重建方法与系统 Download PDF

Info

Publication number
CN107038724A
CN107038724A CN201610963470.7A CN201610963470A CN107038724A CN 107038724 A CN107038724 A CN 107038724A CN 201610963470 A CN201610963470 A CN 201610963470A CN 107038724 A CN107038724 A CN 107038724A
Authority
CN
China
Prior art keywords
depth
image
panorama
fisheye camera
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610963470.7A
Other languages
English (en)
Inventor
林宗立
林宏祥
张朝钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Map Technology Co Ltd
Original Assignee
Toppano Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppano Co ltd filed Critical Toppano Co ltd
Publication of CN107038724A publication Critical patent/CN107038724A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种全景鱼眼相机影像校正、合成与景深重建方法，其包含有以下步骤：建立一全景光学标靶空间；利用全景鱼眼相机拍摄全景光学标靶空间的全景影像；建立鱼眼相机的一内部校正参数模型；建立全景影像与全景光学标靶空间的一景像合成参数模型与空间景深转换参数模型；利用内部校正参数模型，景像合成参数模型，空间景深转换参数模型校正全景影像以产出全景立体影像。相较于现有技术，本发明通过累积所有相机参数，并利用机器学习的方式对相关参数校正成最佳化模型，提升运算效率。

Description

全景鱼眼相机影像校正、合成与景深重建方法与系统
技术领域
本发明涉及光学图像处理技术领域，更明确地说，涉及一种通过全景鱼眼相机拍摄全景光学标靶空间取得一景像合成参数模型(亦即外部校正参数模型)与空间景深转换参数模型，并搭配全景鱼眼相机一内部校正参数以进行全景影像校正的一种全景鱼眼相机影像校正、合成与景深重建方法与其系统。
背景技术
从照相机问世以来，人们开始利用影像记录生活点滴或时代大事件。而摄影技术与器材也从低画质的黑白照片，演进到高画质高彩度的彩色照片，甚至每秒可拍摄二十亿帧(Frame)的高速摄影机。而视觉效果也不仅止步于平面影像，甚至能拍摄具有立体视觉的影像。
现有技术中，若要拍摄具有立体视觉的影像，可用双镜头的双眼相机，或立体相机来拍摄。但受限于器材的拍摄范围，只能拍摄某个范围内，亦即，视角内的立体影像。又或者是，通过掌镜者手持立体相机原地绕圈来拍摄360度的环绕全景影像。但是此方法需要时间让掌镜者原地绕圈才能拍摄全景影像。于是，利用多台立体相机同时对四周进行拍摄，以拍摄全景影像的技术被提出。目前的全景相机，从三台相机的组态到十数台相机的组态都有，然而所述组态中的相机都属于单眼视觉系统，再加上各台相机之间所重叠拍摄的范围复杂或相机模型复杂，而无法利用视差来计算或取得景深数据。而为了使虚拟现实(VirtualReality)以及增强现实(Augmented Reality)的信息立体化，也必须取得景深数据，是以，如何利用相机以获取立体景深数据也相应重要。
发明内容
为了因应前述问题，本发明的一实施例提供一种全景鱼眼相机影像校正、合成与景深重建方法，用以将一全景鱼眼相机所拍摄的一全景影像，校正为一包含景像深度信息的全景立体影像，全景鱼眼相机包含有四个鱼眼镜头与四个感光模块，每一鱼眼镜头搭配有一感光模块。其包含有以下步骤：建立一全景光学标靶空间；利用全景鱼眼相机拍摄全景光学标靶空间的全景影像；建立鱼眼相机的一内部校正参数模型；建立全景影像与全景光学标靶空间的一景像合成参数模型(外部校正参数模型)；建立全景影像与全景光学标靶空间的一空间景深转换参数模型；以及利用景像合成参数模型、空间景深转换参数模型与内部校正参数模型得到包含全景景深信息的全景立体影像。
其中，空间景深转换参数模型是一种二维平面影像与三维空间景像深度之间的换算模型；内部校正参数模型是鱼眼相机的鱼眼镜头与感光模块之间的坐标换算模型，景像合成参数模型(外部校正参数模型)是从全景鱼眼相机所拍摄的影像之间计算四个鱼眼镜头之间的物理实体与空间坐标的关系，做为全景影像合成的参数模型。
其中，本发明进一步包含步骤：最佳化参数。通过不断的搜集已产生的全景鱼眼相机各自的内部校正参数模型，景像合成参数模型(外部校正参数模型)以及空间景深转换参数模型并累积一参数数据，再以机器学习(Machine Learning)的方式进行参数最佳化得到最佳模型。
而本发明的另一实施例提供一种全景鱼眼相机影像校正、合成与景深重建系统，用以产出全景影像与全景深度信息，并将一全景影像与全景深度信息，校正为一全景立体影像，其包含：一全景鱼眼相机、一全景影像与全景深度信息产生模块、以及一运算模块。其中运算模块得为一云端运算模块，亦得设置于相机之中。
其中，全景鱼眼相机包含有四个鱼眼镜头以及四个感光模块，每一鱼眼镜头搭配有一感光模块。其中相邻的鱼眼镜头的摄影方向的夹角为90度；全景影像与全景深度信息产生模块与全景鱼眼镜头模块电性连结，其包含有一内部校正参数模型，一景像合成模块以及一空间景深转换参数模块。
其中，内部校正参数模块，储存有一内部校正参数模型，可以提供鱼眼镜头与感光模块之间的坐标换算模型所需的参数；景像合成模块，储存有一景像合成参数模型，可将全景鱼眼相机所拍摄的全景影像加以合成为一张全景图；空间景深转换参数模块，储存有一空间景深转换参数模型，用以提供全景鱼眼相机一二维平面影像与三维空间景像深度之间的换算模型，来得到全景影像里面每个像素的全景深度信息；最后运算模块与全景影像与全景深度信息产生模块电性连结，用以将全景图与全景深度信息校正合成，以输出全景立体影像。
其中，本发明进一步包含一最佳化模块，最佳化模块与全景影像与全景深度信息产生模块电性连结。通过搜集每一台全景鱼眼相机各自的内部校正参数模型，景像合成参数模型(外部校正参数模型)，以及空间景深转换参数模型并累积参数数据，再以机器学习(Machine Learning)的方式进行参数最佳化得到最佳化参数模块。
相较于现有技术，本发明可以快速地一次取得全景的影像与景深数据，并通过累积一定数据利用机器学习的方式，可以对校正参数最佳化，一则可以针对相机进行参数更新，同时可以提升全景合成图的品质与全景景深信息的精确度的改善，进而简化立体景深的演算法，提升运算效率。而未来可将简化后的立体景深演算法移至单芯片上执行，让全景鱼眼相机影像校正系统具有校正实时性与便携性，同还可以简化产生时需要的校正流程与所需要耗费的时间。
附图说明
图1示出的了根据本发明的一具体实施例的步骤流程图。
图2示出的了根据本发明的一具体实施例的步骤流程图。
图3示出的了根据本发明的另一具体实施例的全景鱼眼相机的前视图。
图4示出的了根据本发明的另一具体实施例的全景鱼眼相机的上视图。
图5示出的了根据本发明的另一具体实施例的系统功能方框图。
附图标记说明：
1：全景鱼眼相机影像校正、合成与景深重建方法
2：全景鱼眼相机影像校正、合成与景深重建系统
21：全景鱼眼相机 212：鱼眼镜头
214：感光模块
22：全景影像与全景深度信息产生模块
221：内部校正参数模块 222：景像合成模块
223：空间景深转换参数模块 23：运算模块
24：最佳化模块
I1：全景深度信息 P1：全景图
S1～S73：步骤
具体实施方式
首先请参阅图1至图4，图1与图2示出的了根据本发明的一具体实施例的步骤流程图。图3示出的了根据本发明的另一具体实施例的全景鱼眼相机的前视图。图4示出的了根据本发明的另一具体实施例的全景鱼眼相机的上视图。
本发明的一实施例提供一种全景鱼眼相机影像校正、合成与景深重建方法1，用以将一全景鱼眼相机21所拍摄的一全景影像，校正为一全景立体影像，全景鱼眼相机21包含有四个鱼眼镜头212与四个感光模块214，每一鱼眼镜头212搭配有一感光模块214。其包含有以下步骤：步骤S1：建立一全景光学标靶空间；步骤S2：利用全景鱼眼相机拍摄全景光学标靶空间的全景影像；步骤S3：建立全景鱼眼相机的一内部校正参数模型；步骤S4：建立全景影像与全景光学标靶空间的一景像合成参数模型(外部校正参数模型)；步骤S5：建立全景影像与全景光学标靶空间的一空间景深转换参数模型；以及步骤S6：利用景像合成参数模型、空间景深转换参数模型与内部校正参数模型得到包含有一全景深度信息的全景立体影像。其中，步骤S4与步骤S5的执行顺序并不以前述顺序为限，步骤S4与步骤S5得同时进行，或是步骤S5早于步骤S4执行。
以下将说明各步骤的细节。首先，因为单眼视觉的相机所拍摄的影像都无法直接从影像内容判断出物体的景深，再加上鱼眼镜头212的崎曲外型，经由鱼眼镜头212所拍摄的影像都会被扭曲，变的更难判断实际景深。因此，为了确立三维空间内物体景像深度与二维拍摄平面影像之间的关系，发明人先进行步骤S1：建立全景光学标靶空间，在一空间内摆设多个标示有与全景鱼眼相机21之间距离的标靶。再进行步骤S2：利用全景鱼眼相机21拍摄全景光学标靶空间的全景影像，用以找出空间中标靶，与全景影像中的标靶之间的对应关系。
而在找出空间中标靶，与全景影像中的标靶之间的对应关系之前。由于鱼眼镜头212本身的球状外型，经由鱼眼镜头212所拍摄的影像都会被扭曲。于是，亦需要找出鱼眼相机21内鱼眼镜头212与感光模块214之间的对应关系，亦即，找出内部校正参数。于是本发明进行了步骤S3：建立全景鱼眼相机的一内部校正参数模型。其中，为了说明方便，而将装设于全景鱼眼相机21内的感光模块214的装设位置标示于上视图中。
首先，由于鱼眼镜头212大致成一半球形，而感光模块214仅为一平面。所以要先进行球坐标系与直角坐标系的坐标转换，找出鱼眼镜头212(球坐标系)上的任意一点坐标xs与感光模块214(直角坐标系的xy平面)的影像平面坐标xd的投影对应关系。在找出投影对应关系之后，接着利用以下公式，将感光模块214的影像平面坐标xd与感光模块214上散布的每个像素(Pixel)之间建立对应关系。
其中，xp代表感光模块214上的像素(Pixel)坐标；mu与mv代表每个像素在平面上产生的位移量；u0与v0代表感光模块影像平面坐标的原点，也就是坐标换算的起算点。经由以上手续，本发明得以完成步骤S3：建立全景鱼眼相机的一内部校正参数模型，将鱼眼镜头212上的任意一点-坐标xs换算成感光模块214上的像素(Pixel)坐标xp，以进行内部校正。
为了建立个别鱼眼所拍摄的景像与实际全景影像间的对应关系以便合成全景图，进行步骤S4：建立全景影像与全景光学标靶空间的景像合成参数模型(外部校正参数模型)。先利用外型如西洋棋棋盘盘面样式的四格黑白相间的样式的标靶，通过检测标靶上的特征点来建立四个鱼眼镜头的物理位置与影像平面坐标的关系，再利用四个鱼眼镜头212所拍摄的景像求得四个鱼眼镜头212的物理实体与空间坐标的关系，做为景像合成参数模型。
其中，如图3所示，于本实施例中全景鱼眼相机21包含有四个鱼眼镜头212。为了统合四个鱼眼镜头212所拍摄的影像，亦需要对四个鱼眼镜头212之间的相对位置做一统整。于此，发明人利用以下公式将四个鱼眼镜头212之间的位置关系作一整理。
xc＝RX+t
其中X代表某一个镜头的影像平面(xy平面)在三维空间中的位置；xc代表三维空间中的其余任意一个与前述某镜头视角有相交的影像平面的位置；R代表镜头光学轴(大约等同于拍摄方向，z轴)的旋转幅度，以矩阵表示；t代表景像平面经旋转后需要与有相交平面的特征点相符所需要平移的距离。简而言之就是，以其中一个鱼眼镜头的影像平面位置为原点，镜头光学轴为z轴，影像平面为xy平面。建立一个公共坐标系，决定其他鱼眼镜头的光学轴方向与影像平面位置。以方便处理来自四个鱼眼镜头的影像。
统整了四个鱼眼镜头212之间的相对位置之后，即可进行景像合成参数模型(外部校正参数模型)的建立。请参阅图3，如图3所示，全景鱼眼相机21中相邻的鱼眼镜头212的摄影方向(以虚线表示)的夹角为90度，再加上鱼眼镜头212的视角可达180度，所以相邻的鱼眼镜头212所分别拍摄的影像势必有至少一个重复景物。而步骤S4所进行的是在相邻的鱼眼镜头212所分别拍摄的影像找出重复景物，首先，先在其中一架鱼眼镜头212拍摄的影像中任意找一个像素(Pixel)，再根据该像素(Pixel)周围的颜色变化，定义出一个特征描述向量，之后在相邻的鱼眼镜头212拍摄的影像中寻找对应像素。在建立了至少一个特征描述向量与像素(Pixel)对应关系后，即完成步骤S4，也就建立了景像合成参数模型(外部校正参数模型)。
接着进行步骤S5：建立全景影像与全景光学标靶空间的一空间景深转换参数模型。利用全景鱼眼相机21拍摄全景光学标靶空间的全景影像后，已取得全景光学标靶空间的全景影像，且由于全景光学标靶空间的标靶位置与全景鱼眼相机21之间的距离也已知，是以步骤S5旨在建立能让软件系统判读的，全景影像中的标靶(亦即二维平面影像)与全景光学标靶空间中标靶(亦即三维空间)景像深度之间相对应关系的换算模型，以获取一全景深度信息，让利用本发明之全景鱼眼相机影像校正、合成与景深重建方法1的全景鱼眼相机21，能够从其所拍摄的全景影像中判读出影像中物件与全景鱼眼相机21之间之距离(亦即景深)，以提供之后校正全景立体影像使用。
经由前述步骤S1至S5，已取得有由全景鱼眼相机21拍摄的全景影像，全景鱼眼相机的内部校正参数模型，全景影像与全景光学标靶空间的景像合成参数模型(亦即外部校正参数模型)、与空间景深转换参数模型。接着进行步骤S6：利用景像合成参数模型、空间景深转换参数模型与内部校正参数模型得到包含有全景深度信息的全景立体影像。
另一方面，由于全景鱼眼相机21在制造上的差异，针对每个全景鱼眼相机21，都要进行一次如前所述步骤S1至S5所公开公开的流程，使得全景鱼眼相机21不能在制造完成后直接出厂，若进行量产，则需要大量的测量校正人力与时间成本。于是，本发明全景鱼眼相机影像校正、合成与景深重建方法1进一步包含有步骤S7：最佳化参数。步骤S7包含有步骤S71：从各全景鱼眼相机搜集内部校正参数模型、景像合成参数模型以及空间景深转换参数模型。S72：利用机器学习对内部校正参数模型、景像合成参数模型以及空间景深转换参数模型进行最佳化。以及S73：更新该内部校正参数模型、该景像合成参数模型以及该空间景深转换参数模型。
通过不断的搜集全景鱼眼相机21用于调整自体鱼眼镜头212与感光模块214之间关系的内部校正参数模型，与用于判读外在环境影像的景像合成参数模型与空间景深转换参数模型，并累积参数数据，再以机器学习(Machine Learning)的方式进行各项参数的自动最佳化，并将以最佳化的参数传送给每台全景鱼眼相机21进行参数模型的更新，用以降低测量校正人力与时间成本。其中机器学习所用的演算法包含了支持向量机器(SupportVector Machine,SVM)。
接着请参阅图3至图5，图3示出的了根据本发明的另一具体实施例的全景鱼眼相机的前视图。图4示出的了根据本发明的另一具体实施例的全景鱼眼相机的上视图。图5示出的了根据本发明的另一具体实施例的系统功能方框图。本发明的另一实施例提供了一种全景鱼眼相机影像校正、合成与景深重建系统2，用以将一全景影像，校正为一包含有一全景深度信息的全景立体影像，其包含：一全景鱼眼相机21、一全景影像与全景深度信息产生模块22(包含一内部校正参数模块221、一景像合成模块222、以及一空间景深转换模块223)，以及一运算模块23。
其中全景鱼眼相机21包含有四个鱼眼镜头212与四个感光模块214，每一鱼眼镜头212搭配有一感光模块214。而相邻的鱼眼镜头212的摄影方向的夹角为90度；全景影像与全景深度信息产生模块22与全景鱼眼相机21电性连结，其内部包含有内部校正参数模块221、景像合成模块222、以及空间景深转换模块223用以提供全景鱼眼相机21将全景影像，校正为全景立体影像所需的所有参数；运算模块23与全景影像与全景深度信息产生模块22电性连结，用以根据全景深度信息产生模块22所包含的各项参数将全景影像校正为全景立体影像。
其中，内部校正参数模块221用以储存前述的内部校正参数模型，并根据前述参数模型针对因鱼眼镜头212本身外型所产生的拍摄影像畸变，进行鱼眼镜头212与感光模块214之间的坐标换算。景像合成模块222用以储存前述的景像合成参数模型(外部校正参数模型)，来进行将经过内部校正参数模块221所修正的全景影像加以合成，以输出一张全景图P1的作业。空间景深转换模块223用以储存前述的空间景深转换参数模型，以找出全景鱼眼相机21所拍摄的二维平面影像与实际三维空间景像深度之间的对应关系，并获取全景影像里面每个像素(Pixel)的全景深度信息I1。
在上述各模型均建立之后，运算模块23便将全景图P1与全景深度信息I1校正合成，并输出全景立体影像。
而本发明的全景鱼眼相机影像校正、合成与景深重建系统2进一步包含有最佳化模块24，最佳化模块24与全景影像与全景深度信息产生模块22电性连接，通过不断搜集每台全景鱼眼相机21各自的全景影像与全景深度信息产生模块22所储存的内部校正参数模型，景像合成参数模型以及空间景深转换参数模型并累积一参数数据，再以机器学习(Machine Learning)的方式进行内部校正参数模型，景像合成参数模型以及空间景深转换参数模型的参数最佳化。参数最佳化完成之后，再将这些最佳化的参数去替换内部校正参数模型、景像合成参数模型以及空间景深转换参数模型，以使运算模块23所合成输出的全景立体影像更趋完善。
其中，运算模块23得为一云端运算模块也可存在鱼眼全景相机里。因此，得以将全景影像利用运算模块来校正为一全景立体影像。而内部校正参数模块221，景像合成模块222与空间景深转换模块223可整合成一单芯片，或分别独立为一单芯片。机器学习所用的演算法包含了支持向量机器(Support Vector Machine,SVM)。
综上所述，本发明提供了一种全景鱼眼相机影像校正、合成与景深重建方法与其系统，通过找出全景鱼眼相机内半球状鱼眼镜头与平面感光模块之间的一内部校正参数模型，以及通过全景鱼眼相机拍摄一全景光学标靶空间，推算出全景影像合成(外部校正参数)模型，同时借由建立二维平面影像与三维空间景像深度之间的一空间景深转换参数模型，最后，利用内部校正参数模型，全景影像合成(外部校正参数)模型与空间景深转换参数模型，将全景鱼眼相机所拍摄的一全景影像修正成全景立体影像。
相较于现有技术，本发明可以快速第一次取得全景的影像与景深数据，并通过累积一定数据利用机器学习的方式，可以对校正参数最佳化，进而简化立体深度的演算法，提升运算效率，改善精确度。而未来可将简化后的立体深度演算法移至单芯片上执行，让全景鱼眼相机影像校正系统具有校正实时性与便携性。
通过以上较佳具体实施例的详述，是希望能更加清楚描述本发明的特征与精神，而并非以上述所公开公开的较佳具体实施例来对本发明的实施例加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的权利要求的范围内。

Claims (9)

1.一种全景鱼眼相机影像校正、合成与景深重建方法，用以将一全景鱼眼相机所拍摄的一全景影像，校正为一全景立体影像，该全景鱼眼相机包含有四个鱼眼镜头与四个感光模块，其特征在于，包含有：
建立一全景光学标靶空间；
利用该全景鱼眼相机拍摄该全景光学标靶空间的该全景影像；
建立该全景鱼眼相机的一内部校正参数模型，该内部校正参数模型是该全景鱼眼相机的该鱼眼镜头与该感光模块之间的坐标换算模型；
建立全景影像与全景光学标靶空间的一景像合成参数模型，该景像合成参数模型从全景鱼眼相机所拍摄的影像之间中计算出四个鱼眼镜头间的物理实体与空间坐标的关系，用以作为全景影像合成的参数模型；
建立该全景影像与该全景光学标靶空间的一空间景深转换参数模型，该空间景深转换参数模型是一种二维平面影像与三维空间景像深度之间的换算模型；以及
利用该景像合成参数模型、该空间景深转换参数模型以及该内部校正参数模型将该全景影像校正为该全景立体影像。
2.如权利要求1所述的全景鱼眼相机影像校正、合成与景深重建方法，进一步包含以下步骤：最佳化参数。
3.如权利要求2所述的全景鱼眼相机影像校正、合成与景深重建方法，该最佳化参数步骤包含步骤：从各该全景鱼眼相机搜集该内部校正参数模型、该景像合成参数模型以及该空间景深转换参数模型。
4.如权利要求3所述的全景鱼眼相机影像校正、合成与景深重建方法，该最佳化参数步骤包含步骤：利用机器学习对该内部校正参数模型、该景像合成参数模型以及该空间景深转换参数模型进行最佳化；其中机器学习所用的演算法包含了支持向量机器。
5.如权利要求4所述的全景鱼眼相机影像校正、合成与景深重建方法，该最佳化参数步骤包含步骤：更新该内部校正参数模型、该景像合成参数模型以及该空间景深转换参数模型。
6.一种全景鱼眼相机影像校正、合成与景深重建系统，用以将一全景影像，校正为一全景立体影像，其特征在于，包含：
一全景鱼眼相机，该全景鱼眼相机包含有四个鱼眼镜头以及四个感光模块，其中相邻的该鱼眼镜头的摄影方向的夹角为90度；
一全景影像与全景深度信息产生模块与全景鱼眼相机，与该全景鱼眼相机电性连结，其包含有：
一内部校正参数模块，储存有一内部校正参数模型，用以提供该全景鱼眼相机的该鱼眼镜头与该感光模块之间的坐标换算模型所需的参数；
一景像合成模块，储存有一景像合成参数模型以将该全景鱼眼相机所拍摄的该全景影像加以合成为一张全景图；以及
一空间景深转换参数模块，储存有一空间景深转换参数模型用以提供该全景鱼眼相机一二维平面影像与三维空间景像深度之间的换算模型，以得到全景影像里面每个像素的全景深度信息；以及
一运算模块，与全景影像与全景深度信息产生模块电性连结，用以将该全景图与该全景深度信息校正合成，以输出该全景立体影像。
7.如权利要求6所述的全景鱼眼相机影像校正、合成与景深重建系统，进一步包含一最佳化模块，与该全景影像与全景深度信息产生模块电性连接，该最佳化模块通过搜集多台该全景鱼眼相机各自的该内部校正参数模型，该景像合成参数模型，以及该空间景深转换参数模型并累积一参数数据，再以一机器学习方式进行参数最佳化。
8.如权利要求7所述的全景鱼眼相机影像校正、合成与景深重建系统，其中该机器学习所用的演算法包含了支持向量机器。
9.如权利要求6所述的全景鱼眼相机影像校正、合成与景深重建系统，其中该内部校正参数模块，该景像合成模块与该空间景深转换模块得整合成一单芯片，或分别各自独立为一单芯片。
CN201610963470.7A 2015-10-28 2016-10-28 全景鱼眼相机影像校正、合成与景深重建方法与系统 Pending CN107038724A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104135360 2015-10-28
TW104135360A TWI555378B (zh) 2015-10-28 2015-10-28 一種全景魚眼相機影像校正、合成與景深重建方法與其系統

Publications (1)

Publication Number Publication Date
CN107038724A true CN107038724A (zh) 2017-08-11

Family

ID=57848440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610963470.7A Pending CN107038724A (zh) 2015-10-28 2016-10-28 全景鱼眼相机影像校正、合成与景深重建方法与系统

Country Status (3)

Country Link
JP (1) JP2017108387A (zh)
CN (1) CN107038724A (zh)
TW (1) TWI555378B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086812A (zh) * 2018-07-20 2018-12-25 深圳岚锋创视网络科技有限公司 全景相机防水壳自动识别方法、装置及便携式终端
CN109155822A (zh) * 2017-11-28 2019-01-04 深圳市大疆创新科技有限公司 图像处理方法和装置
CN110197529A (zh) * 2018-08-30 2019-09-03 杭州维聚科技有限公司 室内空间三维重建方法
CN110211220A (zh) * 2019-04-26 2019-09-06 五邑大学 全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统
CN110349109A (zh) * 2019-07-12 2019-10-18 创新奇智(重庆)科技有限公司 基于鱼眼畸变校正方法及其系统、电子设备
CN112218004A (zh) * 2020-12-08 2021-01-12 清远市奇盛科技有限公司 一种ar全景摄影方法
CN112652005A (zh) * 2019-10-12 2021-04-13 宅妆股份有限公司 立体格局图产生方法与系统
CN113506214A (zh) * 2021-05-24 2021-10-15 南京莱斯信息技术股份有限公司 一种多路视频图像拼接方法
US11238624B2 (en) 2019-10-22 2022-02-01 Industrial Technology Research Institute Image transform method and image transform network
CN117314762A (zh) * 2022-06-29 2023-12-29 安讯士有限公司 自学习畸变校正
US11999316B2 (en) 2022-01-19 2024-06-04 Nio Technology (Anhui) Co., Ltd. Systems and methods of vehicle surveillance

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815870B (zh) * 2016-12-16 2020-05-19 珠海研果科技有限公司 一种机内标定全景摄像装置的方法和系统
TWI615808B (zh) * 2016-12-16 2018-02-21 旺玖科技股份有限公司 全景即時影像處理方法
CN107071268A (zh) * 2017-01-20 2017-08-18 深圳市圆周率软件科技有限责任公司 一种多目全景相机全景拼接方法及系统
CN106878627A (zh) * 2017-01-20 2017-06-20 深圳市圆周率软件科技有限责任公司 一种脱离全景相机进行全景拼接方法及系统
CN107464265B (zh) * 2017-06-14 2021-05-11 深圳市圆周率软件科技有限责任公司 一种双目全景相机的参数标定系统及方法
US10373362B2 (en) * 2017-07-06 2019-08-06 Humaneyes Technologies Ltd. Systems and methods for adaptive stitching of digital images
KR102028469B1 (ko) * 2018-01-15 2019-10-04 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
CN110136058B (zh) * 2018-10-25 2024-01-02 北京初速度科技有限公司 一种基于俯视拼接图的建图方法及车载终端
CN110866955B (zh) * 2019-10-10 2024-02-27 圆周率科技(常州)有限公司 一种车载全景影像标定方法及系统
CN111582080B (zh) * 2020-04-24 2023-08-08 杭州鸿泉物联网技术股份有限公司 车辆360度环视监控实现方法及装置
CN111559314B (zh) * 2020-04-27 2021-08-24 长沙立中汽车设计开发股份有限公司 深度与图像信息融合的3d增强全景环视系统及实现方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086111A (ja) * 2009-10-15 2011-04-28 Mitsubishi Electric Corp 撮像装置校正方法及び画像合成装置
JP2011166364A (ja) * 2010-02-08 2011-08-25 Daishinku Corp 厚み系水晶振動子
JP2012239156A (ja) * 2011-04-26 2012-12-06 Ricoh Co Ltd 撮像装置、撮像方法および撮像プログラム
CN103295231A (zh) * 2013-05-14 2013-09-11 杭州海康希牧智能科技有限公司 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN103308452A (zh) * 2013-05-27 2013-09-18 中国科学院自动化研究所 一种基于景深融合的光学投影断层成像图像获取方法
CN103854335A (zh) * 2012-12-05 2014-06-11 厦门雅迅网络股份有限公司 一种行车记录仪全景视频生成方法
CN104156969A (zh) * 2014-08-21 2014-11-19 重庆数字城市科技有限公司 基于全景影像景深图的探面方法
WO2015029934A1 (ja) * 2013-08-30 2015-03-05 クラリオン株式会社 カメラ校正装置、カメラ校正システム、及びカメラ校正方法
CN104933409A (zh) * 2015-06-12 2015-09-23 北京理工大学 一种基于全景图像点线特征的车位识别方法
WO2015155406A1 (en) * 2014-04-07 2015-10-15 Nokia Technologies Oy Stereo viewing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3872250B2 (ja) * 2000-03-14 2007-01-24 日本放送協会 広画角撮像装置
TW565736B (en) * 2003-04-18 2003-12-11 Guo-Jen Jan Method for determining the optical parameters of a camera
TW200528945A (en) * 2004-01-20 2005-09-01 Chuang-Jan Chang 3D visual measurement system using fish-eye cameras as visual detectors and method for constructing same
US20070115361A1 (en) * 2005-06-24 2007-05-24 Fakespace Labs, Inc. Dual camera calibration technique for video projection systems
DE102006002602A1 (de) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kalibrierungsverfahren und Kalibrierungssystem
JP4696925B2 (ja) * 2006-01-20 2011-06-08 トヨタ自動車株式会社 画像処理装置
JP2010021761A (ja) * 2008-07-10 2010-01-28 Nippon Hoso Kyokai <Nhk> 映像自動記録制御装置
JP2010283743A (ja) * 2009-06-08 2010-12-16 Fujifilm Corp 全方位撮像装置及びそのパノラマ画像合成方法並びにパノラマ画像合成プログラム
JP2011166264A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2011121117A1 (en) * 2010-04-02 2011-10-06 Imec Virtual camera system
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
FR2998400B1 (fr) * 2012-11-21 2016-01-15 Thales Sa Procede de reconstruction 3d et de mosaiquage 3d panoramique d'une scene
US9398215B2 (en) * 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086111A (ja) * 2009-10-15 2011-04-28 Mitsubishi Electric Corp 撮像装置校正方法及び画像合成装置
JP2011166364A (ja) * 2010-02-08 2011-08-25 Daishinku Corp 厚み系水晶振動子
JP2012239156A (ja) * 2011-04-26 2012-12-06 Ricoh Co Ltd 撮像装置、撮像方法および撮像プログラム
CN103854335A (zh) * 2012-12-05 2014-06-11 厦门雅迅网络股份有限公司 一种行车记录仪全景视频生成方法
CN103295231A (zh) * 2013-05-14 2013-09-11 杭州海康希牧智能科技有限公司 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN103308452A (zh) * 2013-05-27 2013-09-18 中国科学院自动化研究所 一种基于景深融合的光学投影断层成像图像获取方法
WO2015029934A1 (ja) * 2013-08-30 2015-03-05 クラリオン株式会社 カメラ校正装置、カメラ校正システム、及びカメラ校正方法
WO2015155406A1 (en) * 2014-04-07 2015-10-15 Nokia Technologies Oy Stereo viewing
CN104156969A (zh) * 2014-08-21 2014-11-19 重庆数字城市科技有限公司 基于全景影像景深图的探面方法
CN104933409A (zh) * 2015-06-12 2015-09-23 北京理工大学 一种基于全景图像点线特征的车位识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯为嘉: "基于鱼眼镜头的全方位视觉及全景立体球视觉研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109155822A (zh) * 2017-11-28 2019-01-04 深圳市大疆创新科技有限公司 图像处理方法和装置
CN109086812B (zh) * 2018-07-20 2022-01-07 影石创新科技股份有限公司 全景相机防水壳自动识别方法、装置及便携式终端
CN109086812A (zh) * 2018-07-20 2018-12-25 深圳岚锋创视网络科技有限公司 全景相机防水壳自动识别方法、装置及便携式终端
CN110197529A (zh) * 2018-08-30 2019-09-03 杭州维聚科技有限公司 室内空间三维重建方法
CN110197529B (zh) * 2018-08-30 2022-11-11 杭州维聚科技有限公司 室内空间三维重建方法
CN110211220A (zh) * 2019-04-26 2019-09-06 五邑大学 全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统
CN110349109A (zh) * 2019-07-12 2019-10-18 创新奇智(重庆)科技有限公司 基于鱼眼畸变校正方法及其系统、电子设备
CN110349109B (zh) * 2019-07-12 2023-04-21 创新奇智(重庆)科技有限公司 基于鱼眼畸变校正方法及其系统、电子设备
CN112652005A (zh) * 2019-10-12 2021-04-13 宅妆股份有限公司 立体格局图产生方法与系统
US11238624B2 (en) 2019-10-22 2022-02-01 Industrial Technology Research Institute Image transform method and image transform network
CN112218004A (zh) * 2020-12-08 2021-01-12 清远市奇盛科技有限公司 一种ar全景摄影方法
CN113506214A (zh) * 2021-05-24 2021-10-15 南京莱斯信息技术股份有限公司 一种多路视频图像拼接方法
CN113506214B (zh) * 2021-05-24 2023-07-21 南京莱斯信息技术股份有限公司 一种多路视频图像拼接方法
US11999316B2 (en) 2022-01-19 2024-06-04 Nio Technology (Anhui) Co., Ltd. Systems and methods of vehicle surveillance
CN117314762A (zh) * 2022-06-29 2023-12-29 安讯士有限公司 自学习畸变校正

Also Published As

Publication number Publication date
JP2017108387A (ja) 2017-06-15
TW201715880A (zh) 2017-05-01
TWI555378B (zh) 2016-10-21

Similar Documents

Publication Publication Date Title
CN107038724A (zh) 全景鱼眼相机影像校正、合成与景深重建方法与系统
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
CN105379264B (zh) 用于成像设备建模与校准的系统和方法
JP5456020B2 (ja) 情報処理装置および方法
CN107424118A (zh) 基于改进径向畸变校正的球状全景拼接方法
JP4928476B2 (ja) 立体像生成装置、その方法およびそのプログラム
KR20180101165A (ko) 파노라마 프레임으로의 프레임 스티칭
CN103839227B (zh) 鱼眼图像校正方法和装置
CN106165398B (zh) 摄像元件、摄像装置以及图像处理装置
TWI527434B (zh) 利用光場相機產生立體影像的方法及光場相機
CN110211220A (zh) 全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
CN107241592A (zh) 一种投射单元及包括该单元的拍摄装置、处理器、成像设备
CN103959770A (zh) 图像处理设备、图像处理方法和程序
JPWO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
CN113763480B (zh) 一种多镜头全景摄像机组合标定方法
KR101704362B1 (ko) 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법
WO2018000892A1 (zh) 一种全景立体影像的成像方法、装置及系统
CN105025287A (zh) 利用旋转拍摄的视频序列影像构建场景立体全景图的方法
CN108632538B (zh) 一种cg动画和相机阵列相结合的子弹时间拍摄系统及方法
CN104519341B (zh) 一种任意倾斜角度的集成成像微图像阵列的生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180504

Address after: Xiaoshan District, Hangzhou, Zhejiang Xianghu financial town two phase 3 block 457, south bank, central block

Applicant after: Hangzhou Map Technology Co., Ltd.

Address before: Taipei City, Taiwan, China

Applicant before: Map action Limited by Share Ltd

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170811