CN109345488B - 一种针对手机扩角镜拍摄的超广角图像的畸变校正方法 - Google Patents
一种针对手机扩角镜拍摄的超广角图像的畸变校正方法 Download PDFInfo
- Publication number
- CN109345488B CN109345488B CN201811265247.0A CN201811265247A CN109345488B CN 109345488 B CN109345488 B CN 109345488B CN 201811265247 A CN201811265247 A CN 201811265247A CN 109345488 B CN109345488 B CN 109345488B
- Authority
- CN
- China
- Prior art keywords
- image
- distortion
- angle
- wide angle
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 21
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种针对手机扩角镜拍摄的超广角图像的畸变校正方法，包括以下步骤：获取超广角畸变图像；构建超广角图像的畸变校正校正模型，选用半球形结构对超广角畸变图像进行修复；将超广角畸变图像校正为180度视角空间，即获取超广角畸变图像A在半球面上的投影图像C；在Z轴方向对投影图像C进行畸变校正，获得新的投影图像C′；在坐标系X‑Y‑Z内选取任意平面ABCD作为视平面；求取图像C、C′在视平面ABCD的投影图像B、B′；加权融合图像B与图像B′，获得最终的畸变校正图像newB。运算复杂度低，能够快速对超广角图像进行处理并得到较好的矫正效果，比较有效的适用于各种消费级商业系统的使用。本发明应用于图像处理领域。
Description
技术领域
本发明涉及图像处理、计算机视觉和虚拟现实技术领域，尤其涉及一种针对手机扩角镜拍摄的超广角图像的畸变校正方法。
背景技术
普通镜头的视角大约在30度，而广角镜头的视角一般都在90度至120度，而超广角镜头的视角可以达到180甚至220度。超广角镜头具有比普通镜头更宽的视场，可以在一幅图像中包含更多的信息量，因此在安防监控、工业医疗、智能交通等领域得到了广泛应用。
但是采用广角镜头的成像系统在提供大范围成像的同时，也带来了比较严重的图像畸变，使得拍摄图像存在某种程度的变形扭曲。这种图像的几何畸变，造成拍摄出的图像与实物不能很好的吻合，不仅影响了图像的视觉效果，更影响着对图像中目标的定位、跟踪、识别等后续处理。
发明内容
针对现有技术中超广角图像的畸变造成拍摄出的图像与实物不能很好的吻合，进而影响了图像的视觉效果，更影响着对图像中目标的定位、跟踪、识别等问题，本发明的目的是提供一种针对手机扩角镜拍摄的超广角图像的畸变校正方法，运算复杂度低，能够快速对超广角图像进行处理并得到良好的矫正效果。
为了实现上述发明目的，本发明采用的技术方案是：
一种针对手机扩角镜拍摄的超广角图像的畸变校正方法，包括以下步骤：
S1、获取超广角畸变图像，其中，超广角畸变图像中的所有场景的有效信息集中在同一个圆形区域中；
S2、构建超广角图像的畸变校正校正模型：设立空间坐标系X-Y-Z，超广角畸变图像位于XOY平面内，求取超广角畸变图像A(x，y)在XOY平面内的圆心坐标(x0，y0)和半径r，选用半球形结构对超广角畸变图像进行修复，即半球面覆盖在超广角畸变图像上，球心与超广角畸变图像的圆心重合，球形半径与超广角畸变图像的半径r相等；
S3、将超广角畸变图像校正为180度视角空间，即获取超广角畸变图像A(x，y)在半球面上的投影图像C(x，y，z)；
S4、在Z轴方向对投影图像C(x，y，z)进行畸变校正，获得新的投影图像C′(x′，y′，z′)；
S5、在坐标系X-Y-Z内选取任意平面ABCD作为视平面；
S6、求取图像C(x，y，z)在视平面ABCD的投影图像B(x，y，z)；
S7、求取图像C′(x′，y′，z′)在视平面ABCD的投影图像B′(x，y，z)；
S8、加权融合图像B(x，y，z)与图像B′(x，y，z)，获得最终的畸变校正图像newB(x，y，z)。
作为上述技术方案的进一步改进，步骤S2中，所述求取超广角畸变图像A(x，y)在XOY平面内的圆心坐标(x0，y0)和半径r，具体包括：
S21、将彩色的超广角畸变图像A(x，y)转换成灰度图像G(x，y)；
S22、对灰度图像G(x，y)进行二值化处理，得到二值化图像GB(x，y)；
S23、求取超广角畸变图像在XOY平面内的圆心坐标(x0，y0)和半径r：
式中，N是二值图GB(x，y)中所有白色像素点的总个数，∑x′是二值图中所有白色像素点在XOY平面内的横坐标之和，∑y′是二值图中所有白色像素点在XOY平面内的纵坐标之和。
作为上述技术方案的进一步改进，步骤S4中，所述在Z轴方向对投影图像C(x，y，z)进行畸变校正的校正公式为：
x′＝x
y′＝y
式中，(x，y，z)表示图像C(x，y，z)中的像素点；(x′，y′，z′)表示点(x，y，z)畸变校正后的像素点，即图像C′(x′，y′，z′)；k表示校正系数。
作为上述技术方案的进一步改进，步骤S6具体包括：
S61、在视平面ABCD上任取一点S并将点S与超广角畸变图像A(x，y)的圆心(x0，y0)相连，获得连线与图像C(x，y，z)的交点S1；
S62、将图像C(x，y，z)上点S1的像素值赋值到点S；
S63、重复步骤S61、S62直至遍历视平面ABCD上所有的点，即得到投影图像B(x，y，z)。
作为上述技术方案的进一步改进，步骤S7具体包括：
S71、在视平面ABCD上任取一点S′并将点S′与超广角畸变图像A(x，y)的圆心(x0，y0)相连，获得连线与图像C′(x′，y′，z′)的交点S1′；
S72、将图像C′(x′，y′，z′)上点S1′的像素值赋值到点S′；
S73、重复步骤S61、S62直至遍历视平面ABCD上所有的点，即得到投影图像B′(x，y，z)。
作为上述技术方案的进一步改进，步骤S8中，所述加权融合的过程为：
newB(x,y,z)＝α·B(x,y)+(1-α)B′(x,y,z)
式中，α表示融合的加权系数。
本发明的有益技术效果：
本发明通过构建超广角图像的畸变校正校正模型，将超广角畸变图像校正为180度视角空间，得到半球面的投影图像C(x，y，z)，随后对图像C(x，y，z)进行畸变校正，获得新的投影图像C′(x′，y′，z′)，并分别求取图像C(x，y，z)与图像C′(x′，y′，z′)在视平面的投影图像，最终将两幅视平面的投影图像进行加权融合获得最终的畸变校正图像，运算复杂度低，能够快速对超广角图像进行处理并得到较好的矫正效果，比较有效的适用于各种消费级商业系统的使用。
附图说明
图1是本实施例的流程示意图；
图2是超广角图像的畸变校正校正模型示意图。
具体实施方式
为了便于本发明的实施，下面结合具体实例作进一步的说明。
如图1所示的一种针对手机扩角镜拍摄的超广角图像的畸变校正方法，其特征在于，包括以下步骤：
S1、获取超广角畸变图像，其中，超广角畸变图像中的所有场景的有效信息集中在同一个圆形区域中。手机扩角镜是指在现有拍照手机摄像头的前面安装一个扩角镜，扩角镜采用4片以上玻璃镜片叠加在一起，扩角镜的视场角在180度以上。安装在手机摄像头上的扩角镜，能够有效的扩大手机摄像头的拍摄范围，但同时拍摄的图像具有明显的畸变。
S2、参考图2，构建超广角图像的畸变校正校正模型：设立空间坐标系X-Y-Z，超广角畸变图像位于XOY平面内，求取超广角畸变图像A(x，y)在XOY平面内的圆心坐标(x0，y0)和半径r，选用半球形结构对超广角畸变图像进行修复，即半球面覆盖在超广角畸变图像上，球心与超广角畸变图像的圆心重合，球形半径与超广角畸变图像的半径r相等。
超广角畸变图像A(x，y)在XOY平面内的圆心坐标(x0，y0)和半径r的求取过程具体包括：
S21、将彩色的超广角畸变图像A(x，y)转换成灰度图像G(x，y)；
S22、对灰度图像G(x，y)进行二值化处理，得到二值化图像GB(x，y)；
S23、求取超广角畸变图像在XOY平面内的圆心坐标(x0，y0)和半径r：
式中，N是二值图GB(x，y)中所有白色像素点的总个数，∑x′是二值图中所有白色像素点在XOY平面内的横坐标之和，∑y′是二值图中所有白色像素点在XOY平面内的纵坐标之和。
S3、将超广角畸变图像校正为180度视角空间，即获取超广角畸变图像A(x，y)在半球面上的投影图像C(x，y，z)。具体的，将超广角畸变图像A(x，y)沿Z轴方向投影，超广角畸变图像A(x，y)上的每一个像素点在半球面上都具有一个投影点，将超广角畸变图像A(x，y)上的每一个像素点的像素值赋值到对应的投影点上，即获得图像C(x，y，z)。
S4、由于在经过步骤S2、S3的校正后，生成的投影图像C(x，y，z)在Z轴上还会存在有一定微型的畸变，因此需要在Z轴方向对投影图像C(x，y，z)进行畸变校正，即对投影图像C(x，y，z)在Z轴上进行一定的补偿，获得新的投影图像C′(x′，y′，z′)，其中，畸变校正的公式为：
x′＝x
y′＝y
式中，(x，y，z)表示图像C(x，y，z)中的像素点；(x′，y′，z′)表示点(x，y，z)畸变校正后的像素点，即图像C′(x′，y′，z′)；k为校正系数，表示超广角畸变图像上越远离圆心的像素点畸变越大，因此校正的力度也越大。
S5、在坐标系X-Y-Z内选取任意平面ABCD作为视平面，根据用户选择的视平面不同，获得的最终畸变校正图像也不同。
S6、求取图像C(x，y，z)在视平面ABCD的投影图像B(x，y，z)，具体包括；
S61、在视平面ABCD上任取一点S并将点S与超广角畸变图像A(x，y)的圆心(x0，y0)相连，获得连线与图像C(x，y，z)的交点S1；
S62、将图像C(x，y，z)上点S1的像素值赋值到点S；
S63、重复步骤S61、S62直至遍历视平面ABCD上所有的点，即得到投影图像B(x，y，z)。
S7、求取图像C′(x′，y′，z′)在视平面ABCD的投影图像B′(x，y，z)，具体包括；
S71、在视平面ABCD上任取一点S′并将点S′与超广角畸变图像A(x，y)的圆心(x0，y0)相连，获得连线与图像C′(x′，y′，z′)的交点S1′；
S72、将图像C′(x′，y′，z′)上点S1′的像素值赋值到点S′；
S73、重复步骤S61、S62直至遍历视平面ABCD上所有的点，即得到投影图像B′(x，y，z)。
S8、加权融合图像B(x，y，z)与图像B′(x，y，z)，获得最终的畸变校正图像newB(x，y，z)，加权融合的过程为：
newB(x,y,z)＝α·B(x,y)+(1-α)B′(x,y,z)
式中，α表示融合的加权系数，根据需要选择合适的取值。
本实施例通过构建超广角图像的畸变校正校正模型，将超广角畸变图像校正为180度视角空间，得到半球面的投影图像C(x，y，z)，随后对图像C(x，y，z)进行畸变校正，获得新的投影图像C′(x′，y′，z′)，并分别求取图像C(x，y，z)与图像C′(x′，y′，z′)在视平面的投影图像，最终将两幅视平面的投影图像进行加权融合获得最终的畸变校正图像，运算复杂度低，能够快速对超广角图像进行处理并得到较好的矫正效果，比较有效的适用于各种消费级商业系统的使用。
以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。
Claims (5)
1.一种针对手机扩角镜拍摄的超广角图像的畸变校正方法，其特征在于，包括以下步骤：
S1、获取超广角畸变图像，其中，超广角畸变图像中的所有场景的有效信息集中在同一个圆形区域中；
S2、构建超广角图像的畸变校正校正模型：设立空间坐标系X-Y-Z，超广角畸变图像位于XOY平面内，求取超广角畸变图像A(x，y)在XOY平面内的圆心坐标(x0，y0)和半径r，选用半球形结构对超广角畸变图像进行修复，即半球面覆盖在超广角畸变图像上，球心与超广角畸变图像的圆心重合，球形半径与超广角畸变图像的半径r相等；
S3、将超广角畸变图像校正为180度视角空间，即获取超广角畸变图像A(x，y)在半球面上的投影图像C(x，y，z)；
S4、在Z轴方向对投影图像C(x，y，z)进行畸变校正，获得新的投影图像C′(x′，y′，z′)；
S5、在坐标系X-Y-Z内选取任意平面ABCD作为视平面；
S6、求取图像C(x，y，z)在视平面ABCD的投影图像B(x，y，z)；
S7、求取图像C′(x′，y′，z′)在视平面ABCD的投影图像B′(x，y，z)；
S8、加权融合图像B(x，y，z)与图像B′(x，y，z)，获得最终的畸变校正图像newB(x，y，z)；
步骤S2中，所述求取超广角畸变图像A(x，y)在XOY平面内的圆心坐标(x0，y0)和半径r，具体包括：
S21、将彩色的超广角畸变图像A(x，y)转换成灰度图像G(x，y)；
S22、对灰度图像G(x，y)进行二值化处理，得到二值化图像GB(x，y)；
S23、求取超广角畸变图像在XOY平面内的圆心坐标(x0，y0)和半径r：
式中，N是二值图GB(x，y)中所有白色像素点的总个数，∑x′是二值图中所有白色像素点在XOY平面内的横坐标之和，∑y′是二值图中所有白色像素点在XOY平面内的纵坐标之和。
2.根据权利要求1所述针对手机扩角镜拍摄的超广角图像的畸变校正方法，其特征在于，步骤S4中，所述在Z轴方向对投影图像C(x，y，z)进行畸变校正的校正公式为：
x′＝x
y′＝y
式中，(x，y，z)表示图像C(x，y，z)中的像素点；(x′，y′，z′)表示点(x，y，z)畸变校正后的像素点，即图像C′(x′，y′，z′)；k表示校正系数。
3.根据权利要求1所述针对手机扩角镜拍摄的超广角图像的畸变校正方法，其特征在于，步骤S6具体包括：
S61、在视平面ABCD上任取一点S并将点S与超广角畸变图像A(x，y)的圆心(x0，y0)相连，获得连线与图像C(x，y，z)的交点S1；
S62、将图像C(x，y，z)上点S1的像素值赋值到点S；
S63、重复步骤S61、S62直至遍历视平面ABCD上所有的点，即得到投影图像B(x，y，z)。
4.根据权利要求1所述针对手机扩角镜拍摄的超广角图像的畸变校正方法，其特征在于，步骤S7具体包括：
S71、在视平面ABCD上任取一点S′并将点S′与超广角畸变图像A(x，y)的圆心(x0，y0)相连，获得连线与图像C′(x′，y′，z′)的交点S1′；
S72、将图像C′(x′，y′，z′)上点S1′的像素值赋值到点S′；
S73、重复步骤S61、S62直至遍历视平面ABCD上所有的点，即得到投影图像B′(x，y，z)。
5.根据权利要求1所述针对手机扩角镜拍摄的超广角图像的畸变校正方法，其特征在于，步骤S8中，所述加权融合的过程为：
newB(x,y,z)＝α·B(x,y)+(1-α)B′(x,y,z)
式中，α表示融合的加权系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811265247.0A CN109345488B (zh) | 2018-10-29 | 2018-10-29 | 一种针对手机扩角镜拍摄的超广角图像的畸变校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811265247.0A CN109345488B (zh) | 2018-10-29 | 2018-10-29 | 一种针对手机扩角镜拍摄的超广角图像的畸变校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109345488A CN109345488A (zh) | 2019-02-15 |
| CN109345488B true CN109345488B (zh) | 2021-10-22 |
Family
ID=65310927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811265247.0A Active CN109345488B (zh) | 2018-10-29 | 2018-10-29 | 一种针对手机扩角镜拍摄的超广角图像的畸变校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109345488B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287894A (zh) * | 2019-06-27 | 2019-09-27 | 深圳市优象计算技术有限公司 | 一种针对超广角视频的手势识别方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4624535B2 (ja) * | 2000-09-28 | 2011-02-02 | 富士フイルム株式会社 | 広角投映レンズおよびこれを用いた投写型画像表示装置 |
| CN106600546B (zh) * | 2016-11-14 | 2020-12-22 | 深圳市Tcl高新技术开发有限公司 | 一种超广角摄像头畸变校正方法及系统 |
| CN107316271A (zh) * | 2017-05-30 | 2017-11-03 | 深圳晨芯时代科技有限公司 | 一种全景相机的图像几何校正方法 |
-
2018
- 2018-10-29 CN CN201811265247.0A patent/CN109345488B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109345488A (zh) | 2019-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109003311B (zh) | 一种鱼眼镜头的标定方法 | |
| CN108122191B (zh) | 鱼眼图像拼接成全景图像和全景视频的方法及装置 | |
| CN106600546B (zh) | 一种超广角摄像头畸变校正方法及系统 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| CN108734657B (zh) | 一种具有视差处理能力的图像拼接方法 | |
| CN104778656B (zh) | 基于球面透视投影的鱼眼图像校正方法 | |
| CN107705252B (zh) | 适用于双目鱼眼图像拼接展开校正的方法及系统 | |
| CN107248178B (zh) | 一种基于畸变参数的鱼眼相机标定方法 | |
| CN112085659B (zh) | 一种基于球幕相机的全景拼接融合方法、系统及存储介质 | |
| CN109272570A (zh) | 一种基于立体视觉数学模型的空间点三维坐标求解方法 | |
| CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN111199528A (zh) | 一种鱼眼图像畸变矫正方法 | |
| CN107633489A (zh) | 鱼眼镜头圆心重提取映射法畸变矫正方法 | |
| CN106886976B (zh) | 一种基于内参数修正鱼眼像机的图像生成方法 | |
| CN105488766B (zh) | 鱼眼镜头图像校正方法及装置 | |
| CN106952219B (zh) | 一种基于外参数修正鱼眼像机的图像生成方法 | |
| CN110969667A (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
| CN104994367A (zh) | 一种图像矫正方法以及摄像头 | |
| CN110889829A (zh) | 一种基于鱼眼镜头的单目测距方法 | |
| CN108154536A (zh) | 二维平面迭代的相机标定法 | |
| CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
| CN108269234A (zh) | 一种全景相机镜头姿态估计方法及全景相机 | |
| CN109345488B (zh) | 一种针对手机扩角镜拍摄的超广角图像的畸变校正方法 | |
| CN108765292B (zh) | 基于空间三角面片拟合的图像拼接方法 | |
| CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |