CN103295231A - 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法 - Google Patents

一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法 Download PDF

Info

Publication number
CN103295231A
CN103295231A CN2013101769100A CN201310176910A CN103295231A CN 103295231 A CN103295231 A CN 103295231A CN 2013101769100 A CN2013101769100 A CN 2013101769100A CN 201310176910 A CN201310176910 A CN 201310176910A CN 103295231 A CN103295231 A CN 103295231A
Authority
CN
China
Prior art keywords
angle
image
images
fish
pitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013101769100A
Other languages
English (en)
Inventor
杨志军
王晨希
徐向华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Haikang Ximu Intelligent Technology Co Ltd
Original Assignee
Hangzhou Haikang Ximu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Haikang Ximu Intelligent Technology Co Ltd filed Critical Hangzhou Haikang Ximu Intelligent Technology Co Ltd
Priority to CN2013101769100A priority Critical patent/CN103295231A/zh
Publication of CN103295231A publication Critical patent/CN103295231A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法。鱼眼图像会产生严重的径向失真，影响拼接效果。本发明方法通过四个车载鱼眼镜头分别获取车身四个方向的近距离场景，通过图像映射、俯仰角估计，将四个鱼眼镜头的图像统一到地面坐标系上，并通过几何校正为视觉一致的第三视角垂直俯视图。本发明方法将四个鱼眼镜头根据相邻关系分成两组，分别求出每组两幅相邻图像的俯仰角度和拼接角度，再根据两组镜头图像之间的相邻关系，求取两组图像之间的俯仰角度和拼接角度，最后将结果换算为四幅图像各自独立的俯仰角度。本发明方法可以更好地实现鱼眼图像的拼接，最终构成一个无缝高清晰图像。

Description

一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
技术领域
本发明属于图像数据处理技术领域，涉及一种图像拼接方法，具体涉及一种应用于车载的多个摄像头近距离拍摄周围场景的鱼眼图像拼接中的鱼眼镜头垂直映射图像几何校正方法。 
背景技术
随着摄影技术的广泛应用，全景视觉感知技术成为民用、军事还有宇航空间领域中的依赖与视觉信息做出决策的行业的热门研究方向。目前全景视觉感知技术主要是利用反射镜和鱼眼镜头两种方法。鱼眼镜头是一种焦距极短并且视角接近或等于180°的镜头。它是一种极端的广角镜头，俗称“鱼眼镜头”。为使镜头达到最大的摄影视角，这种摄影镜头的前镜片直径且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，“鱼眼镜头”因此而得名。鱼眼镜头属于超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围。因此，鱼眼镜头与人们眼中的真实世界的景象存在很大的差别。我们在实际生活中看见的景物是有规则的固定形态，而通过鱼眼镜头产生的画面效果则超出了这一范畴。 
众所周知，焦距越短，视角越大，因光学原理产生的变形也就越强烈。为了达到180度的超大视角，鱼眼镜头的设计者不得不作出牺牲，即允许这种变形（桶形畸变）的合理存在。其结果是除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化。 
由于鱼眼镜头具有视场大的特点，一帧图像包含的信息就非常丰富，因此，在气象观测、摄影、球幕电影院、肠胃及呼吸道内窥摄像、国防现代战争等方面有广泛的应用。但是，在实际操作中，鱼眼图像被映射到平面上时，会产生严重的失真。目前的失真校正处理，大多是针对单幅鱼眼图像进行的，处理时没有考虑多幅图像拼接时，摄像头拍摄景物的角度问题。由于是多个车载摄像头，因此，每幅鱼眼图像的光心、焦距、角度等都有不同的变化。若只是单一的将其中两幅鱼眼图像直接采用失真校正处理后得到的透视平面图像做图像拼接，则原本垂直的线条依然存在不同角度的倾斜，重叠区域的图像效果不能完全重合，对全景拼接图的质量产生严重影响。 
鱼眼镜头具有超宽视角特性，只需要很少的镜头就能够产生全景视图。鱼眼摄像头往往覆盖的角度近似于180度的整个半球，鱼眼镜头成像是将正面的半球景象映射到平面上。透视映射无法将半球区域映射到一个有限的图像平面中。因此鱼眼图像会产生严重的径向失真，图像的边沿被严重拉伸，造成比较夸张地形变，影响拼接效果。基于鱼眼镜头固有的投影原理，常用于广角图像矫正的图像针孔模型对于鱼眼镜头的矫正并不理想。 
发明内容
本发明的目的就是针对现有技术中多幅鱼眼图像拼接后校正中存在的问题，提供一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法。 
本发明方法公开了一种应用于呈现汽车周围360度全景图像的鱼眼镜头拼接的镜头垂直映射图像的几何校正方法。该方法通过四个车载鱼眼镜头分别获取车身四个方向的近距离场景，通过图像映射、俯仰角估计，将四个鱼眼镜头的图像统一到地面坐标系上，并通过几何校正为视觉一致的第三视角垂直俯视图。 
本发明方法包括以下步骤： 
步骤(1).将分别朝向四个方向的四个鱼眼镜头获取的四个鱼眼图像 、
Figure DEST_PATH_IMAGE003
、
Figure 2013101769100100002DEST_PATH_IMAGE005
、
Figure DEST_PATH_IMAGE007
根据鱼眼镜头成像过程的逆过程映射为透视平面图像
Figure DEST_PATH_IMAGE009
、
Figure DEST_PATH_IMAGE011
、
Figure DEST_PATH_IMAGE013
、
Figure DEST_PATH_IMAGE015
。
鱼眼镜头成像过程的逆过程映射方法为成熟的现有技术。 
步骤(2).采用尺度不变特征变换算法，分别求出相邻透视平面图像
Figure 274607DEST_PATH_IMAGE009
和
Figure 704451DEST_PATH_IMAGE011
中的重叠区域内相匹配的像素点，得到透视平面图像
Figure 883760DEST_PATH_IMAGE009
和
Figure 158883DEST_PATH_IMAGE011
对应的重叠区域透视平面图像
Figure DEST_PATH_IMAGE017
和
Figure DEST_PATH_IMAGE019
。 
尺度不变特征变换算法采用成熟的现有方法，如sift算法。 
步骤(3).按获取鱼眼图像
Figure DEST_PATH_IMAGE021
的鱼眼镜头的预设俯仰角度
Figure DEST_PATH_IMAGE023
，找到对应的重叠区域透视平面图像
Figure 116868DEST_PATH_IMAGE017
中的每个像素点(,
Figure DEST_PATH_IMAGE027
)在球面坐标上对应的映射像素点(、
Figure DEST_PATH_IMAGE031
、
Figure DEST_PATH_IMAGE033
)，对映射像素点(
Figure 701302DEST_PATH_IMAGE029
、
Figure 430224DEST_PATH_IMAGE031
、
Figure 446721DEST_PATH_IMAGE033
)进行俯仰变换映射处理，得到对应的修正像素点(
Figure DEST_PATH_IMAGE035
、
Figure DEST_PATH_IMAGE037
、
Figure 2013101769100100002DEST_PATH_IMAGE039
)，这些修正像素点即构成地面坐标球面图像
Figure 2013101769100100002DEST_PATH_IMAGE041
，俯仰变换映射处理的公式为 
Figure 69333DEST_PATH_IMAGE042
；
所述的俯仰角度为鱼眼镜头安装的预设角度，是相对于水平方向向下的偏差角度；
按获取鱼眼图像
Figure 30860DEST_PATH_IMAGE003
的鱼眼镜头的预设俯仰角度
Figure 919181DEST_PATH_IMAGE044
，按上述方法处理透视平面图像
Figure 801687DEST_PATH_IMAGE019
，得到地面坐标球面图像
Figure 341121DEST_PATH_IMAGE046
；
步骤(4).对地面坐标球面图像
Figure 2013101769100100002DEST_PATH_IMAGE047
中的修正像素点(
Figure 221353DEST_PATH_IMAGE035
、
Figure 659287DEST_PATH_IMAGE037
、
Figure 266855DEST_PATH_IMAGE039
)进行失真校正映射，得到透视平面上的角度修正像素点(
Figure 2013101769100100002DEST_PATH_IMAGE049
,
Figure 2013101769100100002DEST_PATH_IMAGE051
)，构成修正地面坐标平面图像，失真校正映射即将球面坐标映射到平面坐标；
按上述方法处理地面坐标球面图像
Figure 864058DEST_PATH_IMAGE046
，得到修正地面坐标平面图像；
在修正地面坐标平面图像
Figure 915191DEST_PATH_IMAGE053
和
Figure 42021DEST_PATH_IMAGE055
中，任意选取两对匹配像素点，计算拼接夹角
Figure DEST_PATH_IMAGE057
：
γ 1 = arcsin ( ( y 2 a ′ ′ - y 2 b ′ ′ ) · ( x 1 a ′ ′ - x 1 b ′ ′ ) - ( y 1 a ′ ′ - y 1 b ′ ′ ) · ( x 2 a ′ ′ - x 2 b ′ ′ ) ( x 1 a ′ ′ - x 1 b ′ ′ ) 2 + ( y 1 a ′ ′ - y 1 b ′ ′ ) 2 ) ;
(
Figure 2013101769100100002DEST_PATH_IMAGE061
,
Figure 2013101769100100002DEST_PATH_IMAGE063
)和(
Figure 2013101769100100002DEST_PATH_IMAGE065
,
Figure 2013101769100100002DEST_PATH_IMAGE067
)分别为和
Figure 577093DEST_PATH_IMAGE055
中的一对匹配像素点，(
Figure 2013101769100100002DEST_PATH_IMAGE069
,
Figure 2013101769100100002DEST_PATH_IMAGE071
)和(
Figure 2013101769100100002DEST_PATH_IMAGE073
,
Figure 2013101769100100002DEST_PATH_IMAGE075
)分别为和中的另一对匹配像素点；
步骤(5).改变预设俯仰角度获取鱼眼图像
Figure 554167DEST_PATH_IMAGE076
和
Figure 673433DEST_PATH_IMAGE003
的两个鱼眼镜头的预设俯仰角度，重复操作步骤(3)和(4)，得到多个拼接夹角；所述的鱼眼镜头的预设俯仰角度
Figure 863106DEST_PATH_IMAGE078
为～，每次改变预设俯仰角度增加或减小的角度
Figure 755341DEST_PATH_IMAGE084
为
Figure 115915DEST_PATH_IMAGE086
～；
步骤(6).找出最佳拼接夹角
Figure 59787DEST_PATH_IMAGE090
，使相邻图像的俯仰角的差的绝对值最小，此时的俯仰角即为鱼眼图像
Figure DEST_PATH_IMAGE091
、
Figure 75016DEST_PATH_IMAGE092
的修正俯仰角、
Figure 418590DEST_PATH_IMAGE096
；所述的最佳拼接夹角为多个拼接夹角中绝对值最小的拼接夹角，且此时获取鱼眼图像
Figure DEST_PATH_IMAGE097
和
Figure 781962DEST_PATH_IMAGE003
的两个鱼眼镜头的预设俯仰角的差的绝对值最小；
步骤(7).对相邻透视平面图像
Figure 792644DEST_PATH_IMAGE098
和
Figure 698283DEST_PATH_IMAGE015
重复步骤(2)～(6)处理，得到鱼眼图像
Figure 794415DEST_PATH_IMAGE005
、
Figure 692970DEST_PATH_IMAGE007
的地面坐标球面图像
Figure 558157DEST_PATH_IMAGE100
、
Figure 634698DEST_PATH_IMAGE102
，以及修正俯仰角
Figure 405077DEST_PATH_IMAGE104
、
Figure DEST_PATH_IMAGE106
；
步骤(8).根据修正俯仰角
Figure 592475DEST_PATH_IMAGE094
、
Figure 577749DEST_PATH_IMAGE096
对地面坐标球面图像
Figure 74458DEST_PATH_IMAGE047
、
Figure 145182DEST_PATH_IMAGE046
进行俯仰变换映射处理,将两幅图像统一映射到地面坐标系上，按匹配像素点对重叠区域进行图像拼接，得到拼接图像；根据修正俯仰角
Figure 2013101769100100002DEST_PATH_IMAGE109
、分别对地面坐标球面图像
Figure 2013101769100100002DEST_PATH_IMAGE111
、进行俯仰变换映射处理,将两幅图像统一映射到地面坐标系上，按匹配像素点对重叠区域进行图像拼接，得到拼接图像
Figure DEST_PATH_IMAGE113
；
步骤(9).对拼接图像
Figure 1350DEST_PATH_IMAGE108
、
Figure DEST_PATH_IMAGE114
重复步骤(2)～(6)处理，得到二次修正俯仰角、
Figure 739685DEST_PATH_IMAGE118
；
步骤(10).用二次修正俯仰角
Figure 328930DEST_PATH_IMAGE116
、
Figure 374246DEST_PATH_IMAGE118
对修正俯仰角
Figure 956406DEST_PATH_IMAGE094
、
Figure 505199DEST_PATH_IMAGE096
、
Figure 530924DEST_PATH_IMAGE104
、
Figure 976119DEST_PATH_IMAGE106
进行再次修正，得到四个鱼眼摄像头独立的最终修正俯仰角
Figure 175019DEST_PATH_IMAGE120
、
Figure 516001DEST_PATH_IMAGE122
、
Figure 2013101769100100002DEST_PATH_IMAGE124
、
Figure DEST_PATH_IMAGE126
； 
Figure 961895DEST_PATH_IMAGE120
=+
Figure 390919DEST_PATH_IMAGE116
，
Figure 101255DEST_PATH_IMAGE122
=
Figure DEST_PATH_IMAGE127
+，=
Figure 172482DEST_PATH_IMAGE109
+，
Figure 278683DEST_PATH_IMAGE126
=
Figure 7605DEST_PATH_IMAGE106
+
Figure 24102DEST_PATH_IMAGE118
；
步骤(11).根据最终修正俯仰角
Figure 522080DEST_PATH_IMAGE120
、
Figure 215098DEST_PATH_IMAGE122
、
Figure 431316DEST_PATH_IMAGE124
、
Figure 251504DEST_PATH_IMAGE126
分别对四个鱼眼镜头图像进行俯仰变换映射处理，将图像统一映射到地面坐标系上，生成第三视角垂直俯视的场景图像，方便后续的第三视角全景图像拼接。
本发明中的输入为四个摄像头不同方位采集的视频图像，如果各个摄像头获取的图像内容不是处于同一个平面坐标下，则将给后续拼接工作带来困扰。现有的拼接系统采用的统一坐标系一般都是柱面或球面坐标系，是以人眼为视角，视野范围有限。为使驾驶员能更好地观察车辆周围360°全景。本发明采用垂直俯视的第三方视角进行拼接图像呈现。因此，系统采用地面坐标系为图像拼接统一坐标系。我们将经过校正后的各摄像头影像投影到与镜头光轴相垂直的平面，实现拼接效果的视觉一致性，达到无盲区效果。 
本发明方法将四个鱼眼镜头根据相邻关系分成两组，每组两个鱼眼镜头，分别求出每组两幅相邻图像的俯仰角度和拼接角度，再根据两组镜头图像之间的相邻关系，求取两组图像之间的俯仰角度和拼接角度，最后将结果换算为四幅图像各自独立的俯仰角度。 
本发明方法解决了鱼眼图像拼接容易产生的图像倾斜、重影等问题，最终构成一个无缝高清晰图像，使图像具有比单个图像更高的分辨率和更大的视野，为停车倒库时提供良好的视觉场景，避免不必要的交通事故。 
具体实施方式
    一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法，具体步骤是： 
步骤(1).将分别朝向四个方向的四个鱼眼镜头获取的四个鱼眼图像
Figure 790939DEST_PATH_IMAGE076
、
Figure 671170DEST_PATH_IMAGE003
、
Figure 296056DEST_PATH_IMAGE005
、
Figure 716673DEST_PATH_IMAGE007
根据鱼眼镜头成像过程的逆过程映射为透视平面图像
Figure 126925DEST_PATH_IMAGE009
、
Figure 974796DEST_PATH_IMAGE011
、
Figure 89907DEST_PATH_IMAGE013
、
Figure 314215DEST_PATH_IMAGE015
。
鱼眼镜头成像过程的逆过程映射方法为成熟的现有技术。 
步骤(2).采用尺度不变特征变换算法，分别求出相邻透视平面图像
Figure 578974DEST_PATH_IMAGE009
和
Figure 50275DEST_PATH_IMAGE011
中的重叠区域内相匹配的像素点，得到透视平面图像
Figure 462802DEST_PATH_IMAGE009
和
Figure 162905DEST_PATH_IMAGE011
对应的重叠区域透视平面图像
Figure 344488DEST_PATH_IMAGE017
和
Figure 986690DEST_PATH_IMAGE019
。 
尺度不变特征变换算法采用成熟的现有方法，如sift算法。 
步骤(3).按获取鱼眼图像
Figure 886513DEST_PATH_IMAGE021
的鱼眼镜头的预设俯仰角度
Figure 390307DEST_PATH_IMAGE023
，找到对应的重叠区域透视平面图像
Figure 613347DEST_PATH_IMAGE017
中的每个像素点(
Figure 239500DEST_PATH_IMAGE025
,
Figure 564302DEST_PATH_IMAGE027
)在球面坐标上对应的映射像素点(
Figure 668525DEST_PATH_IMAGE029
、
Figure 14580DEST_PATH_IMAGE031
、
Figure 811634DEST_PATH_IMAGE033
)，对映射像素点(
Figure 358153DEST_PATH_IMAGE029
、
Figure 718596DEST_PATH_IMAGE031
、)进行俯仰变换映射处理，得到对应的修正像素点(
Figure 634917DEST_PATH_IMAGE035
、
Figure 731049DEST_PATH_IMAGE037
、
Figure 364024DEST_PATH_IMAGE039
)，这些修正像素点即构成地面坐标球面图像
Figure 494791DEST_PATH_IMAGE041
，俯仰变换映射处理的公式为 
Figure 571332DEST_PATH_IMAGE042
；
所述的俯仰角度为鱼眼镜头安装的预设角度，是相对于水平方向向下的偏差角度；
按获取鱼眼图像的鱼眼镜头的预设俯仰角度
Figure 591426DEST_PATH_IMAGE044
，按上述方法处理透视平面图像，得到地面坐标球面图像
Figure 824142DEST_PATH_IMAGE046
；
步骤(4).对地面坐标球面图像
Figure 96465DEST_PATH_IMAGE047
中的修正像素点(
Figure 149872DEST_PATH_IMAGE035
、、
Figure 407995DEST_PATH_IMAGE039
)进行失真校正映射，得到透视平面上的角度修正像素点(
Figure 887386DEST_PATH_IMAGE049
,
Figure 744484DEST_PATH_IMAGE051
)，构成修正地面坐标平面图像，失真校正映射即将球面坐标映射到平面坐标；
按上述方法处理地面坐标球面图像
Figure 214965DEST_PATH_IMAGE046
，得到修正地面坐标平面图像
Figure 260282DEST_PATH_IMAGE055
；
在修正地面坐标平面图像和
Figure 328918DEST_PATH_IMAGE055
中，任意选取两对匹配像素点，计算拼接夹角
Figure 416960DEST_PATH_IMAGE057
：
γ 1 = arcsin ( ( y 2 a ′ ′ - y 2 b ′ ′ ) · ( x 1 a ′ ′ - x 1 b ′ ′ ) - ( y 1 a ′ ′ - y 1 b ′ ′ ) · ( x 2 a ′ ′ - x 2 b ′ ′ ) ( x 1 a ′ ′ - x 1 b ′ ′ ) 2 + ( y 1 a ′ ′ - y 1 b ′ ′ ) 2 ) ;
(
Figure 744877DEST_PATH_IMAGE061
,)和(
Figure 610382DEST_PATH_IMAGE065
,)分别为
Figure 288674DEST_PATH_IMAGE053
和
Figure 812059DEST_PATH_IMAGE055
中的一对匹配像素点，(
Figure 914008DEST_PATH_IMAGE069
,
Figure 342584DEST_PATH_IMAGE071
)和(
Figure 883286DEST_PATH_IMAGE073
,
Figure 198861DEST_PATH_IMAGE075
)分别为
Figure 799607DEST_PATH_IMAGE053
和
Figure 449900DEST_PATH_IMAGE055
中的另一对匹配像素点；
步骤(5).改变预设俯仰角度获取鱼眼图像
Figure 794294DEST_PATH_IMAGE076
和
Figure 229954DEST_PATH_IMAGE003
的两个鱼眼镜头的预设俯仰角度，重复操作步骤(3)和(4)，得到多个拼接夹角；所述的鱼眼镜头的预设俯仰角度
Figure 736022DEST_PATH_IMAGE078
为
Figure 142120DEST_PATH_IMAGE080
～
Figure 962308DEST_PATH_IMAGE082
，每次改变预设俯仰角度增加或减小的角度
Figure DEST_PATH_IMAGE128
为
Figure 501743DEST_PATH_IMAGE086
～
Figure 178712DEST_PATH_IMAGE088
；
步骤(6).找出最佳拼接夹角
Figure 554330DEST_PATH_IMAGE090
，使相邻图像的俯仰角的差的绝对值最小，此时的俯仰角即为鱼眼图像、
Figure 634467DEST_PATH_IMAGE092
的修正俯仰角、
Figure 610830DEST_PATH_IMAGE096
；所述的最佳拼接夹角为多个拼接夹角中绝对值最小的拼接夹角，且此时获取鱼眼图像
Figure 835138DEST_PATH_IMAGE097
和
Figure 349165DEST_PATH_IMAGE003
的两个鱼眼镜头的预设俯仰角的差的绝对值最小；
步骤(7).对相邻透视平面图像
Figure 571199DEST_PATH_IMAGE098
和
Figure 718147DEST_PATH_IMAGE015
重复步骤(2)～(6)处理，得到鱼眼图像
Figure 936026DEST_PATH_IMAGE005
、
Figure 117608DEST_PATH_IMAGE007
的地面坐标球面图像
Figure 510544DEST_PATH_IMAGE100
、
Figure 410367DEST_PATH_IMAGE102
，以及修正俯仰角
Figure 163428DEST_PATH_IMAGE104
、
Figure 137200DEST_PATH_IMAGE106
；
步骤(8).根据修正俯仰角、
Figure 71844DEST_PATH_IMAGE096
对地面坐标球面图像
Figure 441645DEST_PATH_IMAGE047
、
Figure 535503DEST_PATH_IMAGE046
进行俯仰变换映射处理,将两幅图像统一映射到地面坐标系上，按匹配像素点对重叠区域进行图像拼接，得到拼接图像
Figure 332558DEST_PATH_IMAGE108
；根据修正俯仰角
Figure 128345DEST_PATH_IMAGE109
、
Figure 36258DEST_PATH_IMAGE110
分别对地面坐标球面图像
Figure 984622DEST_PATH_IMAGE111
、
Figure 130740DEST_PATH_IMAGE102
进行俯仰变换映射处理,将两幅图像统一映射到地面坐标系上，按匹配像素点对重叠区域进行图像拼接，得到拼接图像
Figure 226872DEST_PATH_IMAGE113
；
步骤(9).对拼接图像
Figure 876159DEST_PATH_IMAGE108
、
Figure 6926DEST_PATH_IMAGE114
重复步骤(2)～(6)处理，得到二次修正俯仰角
Figure 332734DEST_PATH_IMAGE116
、
Figure 650583DEST_PATH_IMAGE118
；
步骤(10).用二次修正俯仰角
Figure 103561DEST_PATH_IMAGE116
、对修正俯仰角
Figure 585544DEST_PATH_IMAGE094
、
Figure 390689DEST_PATH_IMAGE096
、
Figure 381778DEST_PATH_IMAGE104
、
Figure 221559DEST_PATH_IMAGE106
进行再次修正，得到四个鱼眼摄像头独立的最终修正俯仰角、、
Figure 976391DEST_PATH_IMAGE124
、
Figure 126137DEST_PATH_IMAGE126
； 
Figure 777698DEST_PATH_IMAGE120
=
Figure 495118DEST_PATH_IMAGE094
+
Figure 890328DEST_PATH_IMAGE116
，
Figure 891651DEST_PATH_IMAGE122
=
Figure 714113DEST_PATH_IMAGE127
+
Figure 918830DEST_PATH_IMAGE116
，
Figure 304680DEST_PATH_IMAGE124
=+，
Figure 658935DEST_PATH_IMAGE126
=
Figure 848477DEST_PATH_IMAGE106
+；
步骤(11).根据最终修正俯仰角
Figure 473811DEST_PATH_IMAGE120
、
Figure 715436DEST_PATH_IMAGE122
、
Figure 446019DEST_PATH_IMAGE124
、
Figure 761594DEST_PATH_IMAGE126
分别对四个鱼眼镜头图像进行俯仰变换映射处理，将图像统一映射到地面坐标系上，生成第三视角垂直俯视的场景图像，方便后续的第三视角全景图像拼接。

Claims (1)

1.一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法，其特征在于该方法的具体步骤是：
步骤(1).将分别朝向四个方向的四个鱼眼镜头获取的四个鱼眼图像、、 
Figure 956822DEST_PATH_IMAGE002
、
Figure 420164DEST_PATH_IMAGE004
根据鱼眼镜头成像过程的逆过程映射为透视平面图像
Figure 951509DEST_PATH_IMAGE006
、
Figure 183907DEST_PATH_IMAGE008
、
Figure 94836DEST_PATH_IMAGE010
、
Figure 45475DEST_PATH_IMAGE012
；
步骤(2).采用尺度不变特征变换算法，分别求出相邻透视平面图像
Figure 865663DEST_PATH_IMAGE006
和
Figure 218147DEST_PATH_IMAGE008
中的重叠区域内相匹配的像素点，得到透视平面图像
Figure 347646DEST_PATH_IMAGE006
和对应的重叠区域透视平面图像
Figure 471777DEST_PATH_IMAGE014
和；
步骤(3).按获取鱼眼图像
Figure 729900DEST_PATH_IMAGE018
的鱼眼镜头的预设俯仰角度
Figure 842081DEST_PATH_IMAGE020
，找到对应的重叠区域透视平面图像
Figure 66389DEST_PATH_IMAGE014
中的每个像素点(
Figure 331148DEST_PATH_IMAGE022
,)在球面坐标上对应的映射像素点(
Figure 887080DEST_PATH_IMAGE026
、、
Figure 286542DEST_PATH_IMAGE030
)，对映射像素点(
Figure 741794DEST_PATH_IMAGE026
、
Figure 376038DEST_PATH_IMAGE028
、
Figure 879832DEST_PATH_IMAGE030
)进行俯仰变换映射处理，得到对应的修正像素点(
Figure 368451DEST_PATH_IMAGE032
、
Figure 994604DEST_PATH_IMAGE034
、
Figure 116144DEST_PATH_IMAGE036
)，这些修正像素点即构成地面坐标球面图像
Figure 423629DEST_PATH_IMAGE038
，俯仰变换映射处理的公式为
；
所述的俯仰角度为鱼眼镜头安装的预设角度，是相对于水平方向向下的偏差角度；
按获取鱼眼图像
Figure DEST_PATH_IMAGE041
的鱼眼镜头的预设俯仰角度
Figure DEST_PATH_IMAGE043
，按上述方法处理透视平面图像
Figure 704437DEST_PATH_IMAGE016
，得到地面坐标球面图像
Figure DEST_PATH_IMAGE045
；
步骤(4).对地面坐标球面图像
Figure 688443DEST_PATH_IMAGE038
中的修正像素点(、
Figure 142875DEST_PATH_IMAGE034
、
Figure 153556DEST_PATH_IMAGE036
)进行失真校正映射，得到透视平面上的角度修正像素点(
Figure DEST_PATH_IMAGE047
,
Figure DEST_PATH_IMAGE049
)，构成修正地面坐标平面图像
Figure DEST_PATH_IMAGE051
，失真校正映射即将球面坐标映射到平面坐标；
按上述方法处理地面坐标球面图像，得到修正地面坐标平面图像
Figure DEST_PATH_IMAGE053
；
在修正地面坐标平面图像
Figure 532158DEST_PATH_IMAGE051
和
Figure 243762DEST_PATH_IMAGE053
中，任意选取两对匹配像素点，计算拼接夹角
Figure DEST_PATH_IMAGE055
：
Figure DEST_PATH_FDA00003417611300021
(
Figure DEST_PATH_IMAGE059
,
Figure DEST_PATH_IMAGE061
)和(
Figure DEST_PATH_IMAGE063
,
Figure 2013101769100100001DEST_PATH_IMAGE065
)分别为
Figure 171267DEST_PATH_IMAGE051
和中的一对匹配像素点，(
Figure DEST_PATH_IMAGE067
,)和(
Figure DEST_PATH_IMAGE071
,
Figure DEST_PATH_IMAGE073
)分别为和
Figure 723361DEST_PATH_IMAGE053
中的另一对匹配像素点；
步骤(5).改变预设俯仰角度获取鱼眼图像
Figure 380739DEST_PATH_IMAGE074
和
Figure 690498DEST_PATH_IMAGE041
的两个鱼眼镜头的预设俯仰角度，重复操作步骤(3)和(4)，得到多个拼接夹角；所述的鱼眼镜头的预设俯仰角度
Figure 948172DEST_PATH_IMAGE076
为
Figure 1579DEST_PATH_IMAGE078
～
Figure 841359DEST_PATH_IMAGE080
，每次改变预设俯仰角度增加或减小的角度为
Figure 4673DEST_PATH_IMAGE084
～
Figure 596191DEST_PATH_IMAGE086
；
步骤(6).找出最佳拼接夹角
Figure 228161DEST_PATH_IMAGE088
，使相邻图像的俯仰角的差的绝对值最小，此时的俯仰角即为鱼眼图像
Figure DEST_PATH_IMAGE089
、
Figure 145301DEST_PATH_IMAGE090
的修正俯仰角
Figure 111989DEST_PATH_IMAGE092
、
Figure 507199DEST_PATH_IMAGE094
；所述的最佳拼接夹角为多个拼接夹角中绝对值最小的拼接夹角，且此时获取鱼眼图像
Figure DEST_PATH_IMAGE095
和
Figure 259254DEST_PATH_IMAGE041
的两个鱼眼镜头的预设俯仰角的差的绝对值最小；
步骤(7).对相邻透视平面图像
Figure 81716DEST_PATH_IMAGE096
和重复步骤(2)～(6)处理，得到鱼眼图像
Figure 788128DEST_PATH_IMAGE002
、
Figure 457007DEST_PATH_IMAGE004
的地面坐标球面图像、
Figure 391651DEST_PATH_IMAGE100
，以及修正俯仰角
Figure 66346DEST_PATH_IMAGE102
、；
步骤(8).根据修正俯仰角
Figure 589731DEST_PATH_IMAGE092
、
Figure 206526DEST_PATH_IMAGE094
对地面坐标球面图像
Figure 448152DEST_PATH_IMAGE038
、
Figure 660958DEST_PATH_IMAGE045
进行俯仰变换映射处理,将两幅图像统一映射到地面坐标系上，按匹配像素点对重叠区域进行图像拼接，得到拼接图像；根据修正俯仰角、
Figure 829476DEST_PATH_IMAGE108
分别对地面坐标球面图像
Figure DEST_PATH_IMAGE109
、
Figure 496081DEST_PATH_IMAGE100
进行俯仰变换映射处理,将两幅图像统一映射到地面坐标系上，按匹配像素点对重叠区域进行图像拼接，得到拼接图像
Figure DEST_PATH_IMAGE111
；
步骤(9).对拼接图像
Figure 761846DEST_PATH_IMAGE106
、
Figure DEST_PATH_IMAGE112
重复步骤(2)～(6)处理，得到二次修正俯仰角、；
步骤(10).用二次修正俯仰角
Figure 106742DEST_PATH_IMAGE114
、对修正俯仰角
Figure 279415DEST_PATH_IMAGE092
、
Figure 221963DEST_PATH_IMAGE094
、
Figure 659898DEST_PATH_IMAGE102
、
Figure 267465DEST_PATH_IMAGE104
进行再次修正，得到四个鱼眼摄像头独立的最终修正俯仰角
Figure 740035DEST_PATH_IMAGE118
、
Figure 791168DEST_PATH_IMAGE120
、
Figure DEST_PATH_IMAGE122
、
Figure DEST_PATH_IMAGE124
； 
Figure 906279DEST_PATH_IMAGE118
=
Figure 68270DEST_PATH_IMAGE092
+，
Figure 601068DEST_PATH_IMAGE120
=
Figure DEST_PATH_IMAGE125
+
Figure 951278DEST_PATH_IMAGE114
，
Figure 979277DEST_PATH_IMAGE122
=
Figure 160860DEST_PATH_IMAGE107
+
Figure 537483DEST_PATH_IMAGE116
，=
Figure 941100DEST_PATH_IMAGE104
+
Figure 242768DEST_PATH_IMAGE116
；
步骤(11).根据最终修正俯仰角
Figure 790293DEST_PATH_IMAGE118
、
Figure 177412DEST_PATH_IMAGE120
、
Figure 484896DEST_PATH_IMAGE122
、
Figure 375492DEST_PATH_IMAGE124
分别对四个鱼眼镜头图像进行俯仰变换映射处理，将图像统一映射到地面坐标系上，生成第三视角垂直俯视的场景图像。
CN2013101769100A 2013-05-14 2013-05-14 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法 Pending CN103295231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013101769100A CN103295231A (zh) 2013-05-14 2013-05-14 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013101769100A CN103295231A (zh) 2013-05-14 2013-05-14 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法

Publications (1)

Publication Number Publication Date
CN103295231A true CN103295231A (zh) 2013-09-11

Family

ID=49096036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013101769100A Pending CN103295231A (zh) 2013-05-14 2013-05-14 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法

Country Status (1)

Country Link
CN (1) CN103295231A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996172A (zh) * 2014-05-08 2014-08-20 东北大学 一种基于多步校正的鱼眼图像校正方法
CN106600644A (zh) * 2016-11-16 2017-04-26 深圳六滴科技有限公司 全景摄像机的参数矫正方法及装置
CN107038724A (zh) * 2015-10-28 2017-08-11 舆图行动股份有限公司 全景鱼眼相机影像校正、合成与景深重建方法与系统
CN107403404A (zh) * 2016-05-18 2017-11-28 爱唯秀股份有限公司 车辆的三维环景系统及其方法
CN107705252A (zh) * 2017-10-13 2018-02-16 华东理工大学 适用于双目鱼眼图像拼接展开校正的方法及系统
CN109565610A (zh) * 2016-05-25 2019-04-02 皇家Kpn公司 空间平铺的全向视频流播
CN109712076A (zh) * 2018-12-29 2019-05-03 苏州精濑光电有限公司 图像拼接方法、装置、设备和存储介质
CN109872290A (zh) * 2019-02-20 2019-06-11 四川省建筑科学研究院有限公司 一种图像形变的修正方法
CN110349077A (zh) * 2018-04-02 2019-10-18 杭州海康威视数字技术股份有限公司 一种全景图像合成方法、装置及电子设备
CN110428361A (zh) * 2019-07-25 2019-11-08 北京麒麟智能科技有限公司 一种基于人工智能的多路图像采集方法
CN111489288A (zh) * 2019-01-28 2020-08-04 北京初速度科技有限公司 一种图像的拼接方法和装置
CN113837929A (zh) * 2021-09-18 2021-12-24 中国科学院长春光学精密机械与物理研究所 一种图形拼接装置及其方法
CN113850905A (zh) * 2021-09-29 2021-12-28 中国科学院长春光学精密机械与物理研究所 一种用于周扫型光电预警系统的全景图像实时拼接方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5101268A (en) * 1989-12-05 1992-03-31 Sony Corporation Visual point position control apparatus
CN101000461A (zh) * 2006-12-14 2007-07-18 上海杰图软件技术有限公司 一种鱼眼图像生成立方体全景的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5101268A (en) * 1989-12-05 1992-03-31 Sony Corporation Visual point position control apparatus
CN101000461A (zh) * 2006-12-14 2007-07-18 上海杰图软件技术有限公司 一种鱼眼图像生成立方体全景的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周辉 等: "基于柱面模型的鱼眼影像校正方法的研究", 《计算机应用》, vol. 28, no. 10, 31 October 2008 (2008-10-31), pages 2664 - 2666 *
崔汉国等: "鱼眼图像校正及拼接的研究与实现", 《计算机工程》, vol. 33, no. 10, 31 May 2007 (2007-05-31), pages 190 - 192 *
廖训佚: "鱼眼图像全景拼接系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2, 15 December 2011 (2011-12-15) *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996172B (zh) * 2014-05-08 2016-08-31 东北大学 一种基于多步校正的鱼眼图像校正方法
CN103996172A (zh) * 2014-05-08 2014-08-20 东北大学 一种基于多步校正的鱼眼图像校正方法
CN107038724A (zh) * 2015-10-28 2017-08-11 舆图行动股份有限公司 全景鱼眼相机影像校正、合成与景深重建方法与系统
CN107403404A (zh) * 2016-05-18 2017-11-28 爱唯秀股份有限公司 车辆的三维环景系统及其方法
CN109565610A (zh) * 2016-05-25 2019-04-02 皇家Kpn公司 空间平铺的全向视频流播
US11284124B2 (en) 2016-05-25 2022-03-22 Koninklijke Kpn N.V. Spatially tiled omnidirectional video streaming
CN106600644A (zh) * 2016-11-16 2017-04-26 深圳六滴科技有限公司 全景摄像机的参数矫正方法及装置
CN106600644B (zh) * 2016-11-16 2020-06-09 深圳六滴科技有限公司 全景摄像机的参数矫正方法及装置
CN107705252A (zh) * 2017-10-13 2018-02-16 华东理工大学 适用于双目鱼眼图像拼接展开校正的方法及系统
CN107705252B (zh) * 2017-10-13 2021-04-02 华东理工大学 适用于双目鱼眼图像拼接展开校正的方法及系统
CN110349077A (zh) * 2018-04-02 2019-10-18 杭州海康威视数字技术股份有限公司 一种全景图像合成方法、装置及电子设备
CN109712076A (zh) * 2018-12-29 2019-05-03 苏州精濑光电有限公司 图像拼接方法、装置、设备和存储介质
CN109712076B (zh) * 2018-12-29 2023-05-16 苏州精濑光电有限公司 图像拼接方法、装置、设备和存储介质
CN111489288A (zh) * 2019-01-28 2020-08-04 北京初速度科技有限公司 一种图像的拼接方法和装置
CN111489288B (zh) * 2019-01-28 2023-04-07 北京魔门塔科技有限公司 一种图像的拼接方法和装置
CN109872290B (zh) * 2019-02-20 2021-05-28 四川省建筑科学研究院有限公司 一种图像形变的修正方法
CN109872290A (zh) * 2019-02-20 2019-06-11 四川省建筑科学研究院有限公司 一种图像形变的修正方法
CN110428361A (zh) * 2019-07-25 2019-11-08 北京麒麟智能科技有限公司 一种基于人工智能的多路图像采集方法
CN113837929A (zh) * 2021-09-18 2021-12-24 中国科学院长春光学精密机械与物理研究所 一种图形拼接装置及其方法
CN113837929B (zh) * 2021-09-18 2024-04-12 中国科学院长春光学精密机械与物理研究所 一种图形拼接装置及其方法
CN113850905A (zh) * 2021-09-29 2021-12-28 中国科学院长春光学精密机械与物理研究所 一种用于周扫型光电预警系统的全景图像实时拼接方法
CN113850905B (zh) * 2021-09-29 2024-04-12 中国科学院长春光学精密机械与物理研究所 一种用于周扫型光电预警系统的全景图像实时拼接方法

Similar Documents

Publication Publication Date Title
CN103295231A (zh) 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN110663245B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
CN101814181B (zh) 一种鱼眼图像复原的展开方法
CN104835117B (zh) 基于重叠方式的球面全景图生成方法
CN103150715B (zh) 图像拼接处理方法及装置
CN110782394A (zh) 全景视频快速拼接方法及系统
CN103971375B (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN106469444B (zh) 消除拼接缝隙的快速图像融合方法
CN104835118A (zh) 通过两路鱼眼摄像头采集全景图像的方法
CN104778656B (zh) 基于球面透视投影的鱼眼图像校正方法
CN106060493A (zh) 多源投影无缝边缘拼接方法及系统
CN106815805A (zh) 基于Bayer图像的快速畸变校正方法
CN108200360A (zh) 一种多鱼眼镜头全景摄像机的实时视频拼接方法
CN105208247A (zh) 一种基于四元数的全景稳像方法
CN103501409A (zh) 一种超高分辨率全景高速球一体机系统
US10057487B1 (en) Panoramic imaging systems based on normal-lens cameras
CN105933695A (zh) 基于多gpu高速互联的全景摄像机成像装置与方法
CN107358577B (zh) 一种立方体全景图的快速拼接方法
CN104680505A (zh) 一种鱼眼镜头校正的全景视图算法
CN109040565A (zh) 全景摄像系统
CN105139336B (zh) 一种多通道全景影像转换球幕鱼眼影片的方法
CN106023073A (zh) 一种图像拼接系统
CN108737743B (zh) 基于图像拼接的视频拼接装置及视频拼接方法
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
CN112802109B (zh) 一种汽车鸟瞰全景图生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130911