CN109118425A - 一种双鱼眼镜头的图像拼接参数校正方法及摄像设备 - Google Patents
一种双鱼眼镜头的图像拼接参数校正方法及摄像设备 Download PDFInfo
- Publication number
- CN109118425A CN109118425A CN201710478562.0A CN201710478562A CN109118425A CN 109118425 A CN109118425 A CN 109118425A CN 201710478562 A CN201710478562 A CN 201710478562A CN 109118425 A CN109118425 A CN 109118425A
- Authority
- CN
- China
- Prior art keywords
- image
- axis
- fish
- camera coordinates
- double
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003287 optical effect Effects 0.000 claims abstract description 172
- 241000251468 Actinopterygii Species 0.000 claims abstract description 72
- 230000005055 memory storage Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 abstract description 26
- 238000012545 processing Methods 0.000 abstract description 10
- 238000013461 design Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
一种双鱼眼镜头的图像拼接参数校正方法及摄像设备,用于解决现有校正误差较大的问题。通过构建对称拍摄场景,使得双鱼眼镜头能够拍摄一对具有相同特征的鱼眼图像,通过对两个鱼眼图像进行处理确定双鱼眼镜头的光轴在X、Y以及Z轴的偏移角度,或者通过构建灯光场景,通过拍摄到图像的明暗点来确定双鱼眼镜头的光轴在X、Y以及Z轴的偏移角度。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种双鱼眼镜头的图像拼接参数校正方法及摄像设备。
背景技术
在虚拟现实(英文:Virtual Reality,简称:VR)技术的快速发展下,通过双鱼眼相机生成全景图像,越来越流行。其中,双鱼眼相机中包括以背靠背方式的两个鱼眼镜头。目前,双鱼眼相机中,前后鱼眼镜头的光轴一般都是无法完全对齐的,在x,y,z轴都会有偏移;从而导致通过前后两个鱼眼镜头拍摄得到的两张图像展开后无法对齐,从而无法做到无缝拼接。因此,需要在双鱼眼相机的制造过程中,标定得到拼接全景图像的校正参数,即x,y,z轴的偏移角度,使得通过双鱼眼相机拍摄得到的两张图像基于校正参数,可无缝拼接在一起。
目前在标定得到拼接全景图像的校正参数时,通过双鱼眼相机拍摄得到两张图像后,从双鱼眼相机中拷到计算机上,通过第三方工具(比如photoshop)进行手动标定获取x,y,z轴的偏移角度,从而会导致校正时间较长,并且手动标定的误差一般比较大,进而使得基于手动标定获取x,y,z轴的偏移角度来拼接的全景图像误差较大。
发明内容
本申请提供一种双鱼眼镜头的图像拼接参数校正方法及摄像设备,用以解决现有校正误差较大的问题。
第一方面,本申请实施例提供了一种双鱼眼镜头的图像拼接参数校正方法,所述方法应用于包括以背靠背方式放置的双鱼眼镜头的摄像设备,所述方法包括:所述摄像设备在被放置于相对放置的两个对称目标物的中心时,通过所述双鱼眼镜头拍摄得到两个具有相同特征的图像;所述摄像设备以两个图像的圆心作为坐标轴原点,构建图像坐标系;所述图像坐标系包括X轴和Y轴,所述图像坐标系的X轴与所述摄像设备的相机坐标系的X轴平行,所述图像坐标系的Y轴与所述摄像设备的相机坐标系的Y轴平行;所述摄像设备确定所述两个图像中一对具有相同特征的特征点之间在所述图像坐标系中X轴方向上的距离,以及确定所述一对具有相同特征的特征点之间在所述图像坐标系中Y轴方向上的距离;所述摄像设备根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度,以及根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度;所述摄像设备确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度。
上述方式,通过如上方式构建场景,并在摄像设备机内自动生成用于双鱼眼图像拼接的校正参数(双鱼眼镜头的光轴在X,Y,Z轴的偏移角度),并存储,不再需要通过手动使用第三方工具生成校正参数,可以提高双鱼眼镜头的校正精度,降低生产成本,另外,在一定程度上可以提高摄像设备摄取图像的质量。
在一种可能的设计中,所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度满足如下条件:θz=arctan(deltax/distance);所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度满足如下条件:θy=arctan(deltay/distance);
其中,θx表示所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度;θy表示所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度;deltax表示所述X轴方向上的距离;deltay表示所述Y轴方向上的距离;distance表示所述双鱼眼镜头到两个对称目标物中任一个目标物的距离。
通过上述设计,提供了一种具体确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度的方式。
在一种可能的设计中,所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度满足如下条件:θz=90°-arcsin(deltaZ1/R);或者,所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度满足如下条件:θz=arccos(deltaZ2/R);
其中,θz表示所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度;deltaZ1表示一条特征线相对于另一条特征线的偏移值在Y轴上的投影值;deltaZ2表示一条特征线相对于另一条特征线的偏移值在X轴上的投影值;R表示所述两个图像中任一图像的半径。
通过上述设计,提供了一种具体确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度的方式。
在一种可能的设计中,所述两个图像中包括N对具有相同特征的特征点;所述摄像设备根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度,包括:所述摄像设备在确定每对具有相同特征的特征点之间在X轴方向上的距离后,获取N对具有相同特征的特征点对应在X轴方向上的距离的平均值;并根据所述X轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度;所述摄像设备根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度,包括:所述摄像设备在确定每对具有相同特征的特征点之间在Y轴方向上的距离后,获取N对具有相同特征的特征点对应在Y轴方向上的距离的平均值;并根据所述Y轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度。
上述设计,通过N对具有相同特征的特征点来确定所述双鱼眼镜头的光轴在所述相机坐标系的X、Y轴方向上的偏移角度,从而使得确定的X、Y轴方向上的偏移角度更准确。
在一种可能的实现方式中,在两个图像中包括N对具有相同特征的特征线;从而在确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度,具体可以将N对具有相同特征的特征线之间的夹角的平均值确定为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度。上述设计,通过N对具有相同特征的特征线来确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度,从而使得确定的Z轴方向上的偏移角度更准确。
第二方面,本申请实施例还提供了一种双鱼眼镜头的图像拼接参数校正方法,所述方法应用于包括以背靠背方式放置的双鱼眼镜头的摄像设备,所述方法包括:所述摄像设备在被放置于球形空间的球心时,通过所述双鱼眼镜头拍摄得到第一图像和第二图像;其中,穿过球心的轴线上放置有发光灯源,所述轴线与所述摄像设备的光轴垂直;所述摄像设备基于所述双鱼眼镜头的视场角确定所述第一图像与所述第二图像之间的重合区域;所述摄像设备将所述第一图像中对应的重合区域展成第一矩形图像以及将所述第二图像中对应的重合区域展成第二矩形图像;所述摄像设备确定所述第一矩形图像中亮度值最高或者最低的第一条形区域,以及确定所述第二矩形图像中亮度值最高或者最低的第二条形区域,所述第一条形区域与所述第二条形区域大小相同,所述第一条形区域中最长的一条边与所述第二条形区域最长的一条边均平行于所述摄像设备的相机坐标系的X轴;所述摄像设备确定所述第一条形区域的几何中心与所述第二条形区域的几何中心在所述相机坐标系的Y轴的坐标差;所述摄像设备基于所述坐标差确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度。
上述设计,通过上述灯光场景,实现了自动计算光轴在Z轴方向上的偏移角度,无需手动通过第三方工具计算,从而可以提高双鱼眼镜头的校正精度,以及保障双鱼眼图像的无缝拼接效果。
第三方面,本申请实施例提供了一种双鱼眼镜头的图像拼接参数校正方法,所述方法应用于包括以背靠背方式放置的双鱼眼镜头的摄像设备,包括:
所述摄像设备在被放置于球形空间的球心时,在所述双鱼眼镜头以所述摄像设备的相机坐标系的第一轴为轴,且以所述相机坐标系的第二轴方向为0°进行旋转过程中,若所述双鱼眼镜头每旋转到预设角度时通过所述双鱼眼镜头拍摄得到一对图像,直到所述双鱼眼镜头旋转360°为止,从而得到M对图像;针对M对图像中的每对图像分别执行如下操作,每对图像包括第一图像以及第二图像:所述摄像设备基于所述双鱼眼镜头的视场角确定所述第一图像与第二图像中的重合区域;所述摄像设备将第一图像中的重合区域展开为第一矩形图像,以及将第二图像的重合区域展开为第二矩形图像;在所述相机坐标系下,所述摄像设备分别获取所述第一矩形图像与所述第二矩形图像中位于同一位置的条形区域包括的N个像素点的亮度值,所述第一条形区域的最长的一条边平行于所述相机坐标系的X轴;并确定第一矩形图像的第i个第一像素点与第二矩形图像的第i个第一像素点的亮度值之差的平方值,所述i取遍所有不大于N个正整数,从而得到N个第一平方值;获取所述N个第一平方值的和值,从而得到M对图像分别对应的和值;确定所述M对图像分别对应的和值最小的一对图像,并将所述和值最小的一对图像对应的旋转角度确定为所述双鱼眼镜头的光轴在所述相机坐标系的第二轴方向上的偏移角度;
其中,所述第一轴为所述相机坐标系的X轴,所述第二轴为所述相机坐标系的Y轴;或者所述第一轴为所述相机坐标系的Y轴,所述第二轴为所述相机坐标系的X轴。
上述设计,通过上述灯光场景,实现了自动计算光轴在X、Y轴方向上的偏移角度,无需手动通过第三方工具计算,从而可以提高双鱼眼镜头的校正精度,以及保障双鱼眼图像的无缝拼接效果。
第四方面,本申请实施例提供了一种摄像设备,所述装置包括:以背靠背方式放置的双鱼眼镜头、处理器以及存储器;所述存储器用于存储程序代码;所述处理器,用于调用所述存储器存储的程序代码,执行以下操作:
在被放置于相对放置的两个对称目标物的中心时,通过所述双鱼眼镜头拍摄得到两个具有相同特征的图像;以两个图像的圆心作为坐标轴原点,构建图像坐标系;所述图像坐标系包括X轴和Y轴,所述图像坐标系的X轴与所述摄像设备的相机坐标系的X轴平行,所述图像坐标系的Y轴与所述摄像设备的相机坐标系的Y轴平行;确定所述两个图像中一对具有相同特征的特征点之间在所述图像坐标系中X轴方向上的距离,以及确定所述一对具有相同特征的特征点之间在所述图像坐标系中Y轴方向上的距离;根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度,以及根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度;确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度。
在一种可能的设计中,所述处理器在根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度时,可以符合公式θx=arctan(deltaxdistance)的要求;
在一种可能的设计中,所属处理器在根据所述Y轴方向上距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度时,可以符合公式θy=arctan(deltaydistance)的要求;
其中,θx表示所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度;θy表示所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度;deltax表示所述X轴方向上的距离;deltay表示所述Y轴方向上的距离;distance表示所述双鱼眼镜头到两个对称目标物中任一个目标物的距离。
在一种可能的设计中,所述处理器在确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度时,可以符合公式θz=90°-arcsin(deltaZ1/R)的要求;
在一种可能的设计中,所述处理器在确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度时,可以符合公式θz=arccos(deltaZ2/R)的要求;
其中,θz表示所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度;deltaZ1表示一条特征线相对于另一条特征线的偏移值在Y轴上的投影值;deltaZ2表示一条特征线相对于另一条特征线的偏移值在X轴上的投影值;R表示所述两个图像中任一图像的半径。
在一种可能的设计中,所述两个图像中可以包括N对具有相同特征的特征点;所述处理器,在根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度时,具体用于在确定每对具有相同特征的特征点之间在X轴方向上的距离后,获取N对具有相同特征的特征点对应在X轴方向上的距离的平均值;并根据所述X轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度;
在一种可能的设计中,所述两个图像中可以包括N对具有相同特征的特征点;所述处理器,在根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度时,具体用于在确定每对具有相同特征的特征点之间在Y轴方向上的距离后,获取N对具有相同特征的特征点对应在Y轴方向上的距离的平均值;并根据所述Y轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度。
第五方面,本申请实施例提供了一种摄像设备,所述装置包括以背靠背方式放置的双鱼眼镜头、处理器以及存储器;所述存储器用于存储程序代码;所述处理器,用于调用所述存储器存储的程序代码,执行以下操作:
在被放置于球形空间的球心时,通过所述双鱼眼镜头拍摄得到第一图像和第二图像;其中,穿过球心的轴线上放置有发光灯源,所述轴线与所述摄像设备的光轴垂直;基于所述双鱼眼镜头的视场角确定所述第一图像与所述第二图像之间的重合区域;将所述第一图像中对应的重合区域展成第一矩形图像以及将所述第二图像中对应的重合区域展成第二矩形图像;确定所述第一矩形图像中亮度值最高或者最低的第一条形区域,以及确定所述第二矩形图像中亮度值最高或者最低的第二条形区域,所述第一条形区域与所述第二条形区域大小相同,所述第一条形区域中最长的一条边与所述第二条形区域最长的一条边均平行于所述摄像设备的相机坐标系的X轴;确定所述第一条形区域的几何中心与所述第二条形区域的几何中心在所述相机坐标系的Y轴的坐标差;基于所述坐标差确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度。
第六方面,本申请实施例提供了一种摄像设备,所述装置包括以背靠背方式放置的双鱼眼镜头、处理器以及存储器;所述存储器用于存储程序代码;所述处理器,用于调用所述存储器存储的程序代码,执行以下操作:
在被放置于球形空间的球心时,在所述双鱼眼镜头以所述摄像设备的相机坐标系的第一轴为轴,且以所述相机坐标系的第二轴方向为0°进行旋转过程中,若所述双鱼眼镜头每旋转到预设角度时通过所述双鱼眼镜头拍摄得到一对图像,直到所述双鱼眼镜头旋转360°为止,从而得到M对图像;针对M对图像中的每对图像分别执行如下操作,每对图像包括第一图像以及第二图像:基于所述双鱼眼镜头的视场角确定所述第一图像与第二图像中的重合区域;将第一图像中的重合区域展开为第一矩形图像,以及将第二图像的重合区域展开为第二矩形图像;在所述相机坐标系下,分别获取所述第一矩形图像与所述第二矩形图像中位于同一位置的条形区域包括的N个像素点的亮度值,所述第一条形区域的最长的一条边平行于所述相机坐标系的X轴;并确定第一矩形图像的第i个第一像素点与第二矩形图像的第i个第一像素点的亮度值之差的平方值,所述i取遍所有不大于N个正整数,从而得到N个第一平方值;获取所述N个第一平方值的和值,从而得到M对图像分别对应的和值;确定所述M对图像分别对应的和值最小的一对图像,并将所述和值最小的一对图像对应的旋转角度确定为所述双鱼眼镜头的光轴在所述相机坐标系的第二轴方向上的偏移角度;
其中,所述第一轴为所述相机坐标系的X轴,所述第二轴为所述相机坐标系的Y轴;或者所述第一轴为所述相机坐标系的Y轴,所述第二轴为所述相机坐标系的X轴。
第七方面,本申请实施例提供了一种摄像设备,该摄像设备具有实现上述第一方面至第三方面任一方面实例中摄像设备行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
第八方面,本申请实施例提供了一种计算机存储介质,所述存储介质中存储软件程序,所述软件程序在被一个或多个处理器读取并执行时可实现第一方面的任一种设计或者第二方面的任一种设计或者第三方面的任一种设计提供的方法。
第九方面,本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面的任一种设计或者第二方面的任一种设计或者第三方面的任一种设计提供的方法。
附图说明
图1为本申请实施例提供的图像坐标系示意图;
图2为本申请实施例提供的相机坐标系示意图;
图3为本申请实施例提供的摄像设备结构示意图;
图4为本申请实施例提供的一种对称场景示意图;
图5为本申请实施例提供的另一种对称场景示意图;
图6为本申请实施例提供的一种双鱼眼镜头的图像拼接参数校正方法流程图;
图7为本申请实施例提供的特征星a1以及特征星a2在图像坐标系中的位置示意图;
图8为本申请实施例提供的特征线b1以及特征线b2在图像坐标系中的位置示意图;
图9为本申请实施例提供的灯光拍摄场景示意图;
图10为本申请实施例提供的一种双鱼眼镜头的图像拼接参数校正方法流程图;
图11为本申请实施例提供的第一条形区域以及第二条形区域示意图;
图12为本申请实施例提供的灯光拍摄场景示意图;
图13为本申请实施例提供的一种双鱼眼镜头的图像拼接参数校正方法流程图;
图14为本申请实施例提供的第一矩形图像以及第二矩形图像中位于同一位置的条形区域的示意图;
图15为本申请实施例提供的一种摄像设备结构示意图;
图16为本申请实施例提供的另一种摄像设备结构示意图;
图17为本申请实施例提供的再一种摄像设备结构示意图。
具体实施方式
以下,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
一、图像坐标系,一个图像坐标系的具体示例可以参见图1所示,(u,v)表示像素的列数和行数。O1点为相机光轴与相机成像平面的交点,其为图像坐标系的原点。图像坐标系的X轴与u轴平行,图像坐标系的Y轴与v轴平行。
二、相机坐标系,一个相机坐标系的具体示例可以参见图2所示,其中O点为摄像机光心(投影中心),O1点为相机光轴与相机成像平面的交点,Xc轴与Yc轴的相机坐标系的X轴和Y轴平行,Zc轴为摄像机的光轴,Zc轴与图像成像平面垂直,由点O与Xc、Yc以及Zc组成的直角坐标系称为相机坐标系。O点到O1的距离等于相机的焦距。基于相机坐标系以及图像坐标系,参见图2中的P点在图像坐标系中的坐标P(x,y),则在相机坐标系统中的坐标为P(Xc,Yc,Zc)。
在已有的双鱼眼镜头的参数校正方案中,需要手动的将拍摄后的图片拷贝出,然后再通过第三方工具手动标定计算光轴的偏移角度,从而会导致校正时间较长,并且手动标定的误差一般比较大,进而使得基于手动标定获取x,y,z轴的偏移角度来拼接的全景图像误差较大。基于此,本申请提供一种双鱼眼镜头的图像拼接参数校正方法及摄像设备,通过构建拍摄场景,使得双鱼眼镜头能够拍摄一对具有相同特征的鱼眼图像,通过对两个鱼眼图像进行处理确定双鱼眼镜头的光轴在X、Y以及Z轴的偏移角度,或者通过构建灯光场景,通过拍摄到图像的明暗点来确定双鱼眼镜头的光轴在X、Y以及Z轴的偏移角度。并将确定的双鱼眼镜头的光轴在X、Y以及Z轴的偏移角度保存的摄像设备内部,从而可以实现双鱼眼摄像设备内部自动生成校正参数,从而可以解决手动对双鱼眼镜头的光轴在X、Y以及Z轴的偏移角度进行校正速度较慢,误差较大的问题。其中,方法和装置是基于同一发明构思的,由于方法及装置解决问题的原理相似,因此装置与方法的实施可以相互参见,重复之处不再赘述。
本申请实施例应用于摄像设备,参见图3所示,为本申请实施例提供的摄像设备的结构示意图,摄像设备包括以背靠背方式设置的双鱼眼镜头310、处理器320以及存储器330。存储器330可用于存储软件程序以及数据,处理器320通过运行存储在存储器330的软件程序以及数据,从而执行摄像设备的各种功能应用以及数据处理。存储器130可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。处理器320是摄像设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分,通过运行或执行存储在存储器330内的软件程序和/或数据,执行摄像设备的各种功能和处理数据,从而对摄像设备进行整体监控。处理器320可以包括一个或多个通用处理器,还可以包括一个或多个数字信号处理器(英文:Digital SignalProcessor,简称:DSP),用于执行相关操作。摄像设备的各个组件通过总线340耦合在一起,总线340在图3中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线340可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
参见图4所示,为本申请实施例为实现双鱼眼镜头的图像拼接参数校正构建的一种对称拍摄场景,摄像设备被放置于相对放置的两个对称目标物的中心,从而使得摄像设备中的双鱼眼镜头能够拍摄到一对具有相同特征的图像。对称目标物中包括一对或者多对具有相同特征的特征点以及一条或者多条具有相同特征的特征线。图4仅是一种示例,并不对对称拍摄场景进行具体限定。为实现双鱼眼镜头的图像拼接参数校正还可以通过灯光拍摄场景。
实施例一
以图5所示的对称拍摄场景为例,对本申请实施例提供的双鱼眼镜头的图像拼接参数校正方法具体说明。参见图6所示为双鱼眼镜头的图像拼接参数校正方法的流程图,具体实现过程可以包括:
S601,所述摄像设备在被放置于相对放置的两个对称目标物的中心时,通过所述双鱼眼镜头拍摄得到两个具有相同特征的图像。两个对称目标物参见图5所示。
S602,所述摄像设备以两个图像的圆心作为坐标轴原点,构建图像坐标系。
其中,所述图像坐标系包括X轴和Y轴,所述图像坐标系的X轴与所述摄像设备的相机坐标系的X轴平行,所述图像坐标系的Y轴与所述摄像设备的相机坐标系的Y轴平行。具体的,可以分别对两个图像像素识别,从而定位圆心的坐标值,并以圆心为图像坐标系的中心。
S603,所述摄像设备确定所述两个图像中一对具有相同特征的特征点之间在所述图像坐标系中X轴方向上的距离,以及确定所述一对具有相同特征的特征点之间在所述图像坐标系中Y轴方向上的距离。
比如,图5中图像A中的特征星a1的中心以及图像B中的特征星a2的中心为一对具有相同特征的特征点。将图像A的圆心以及图像B的圆心作为图像坐标系的中心,从而特征星a1以及特征星a2在图像坐标系中的位置如图7所示,特征星a1的中心以及特征星a2的中心在图像坐标系X轴方向上的距离为deltax,特征星a1的中心以及特征星a2的中心在图像坐标系Y轴方向上的距离为deltay。
S604,所述摄像设备根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度,以及根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度。
具体的,所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度可以符合如下公式(1)的要求:
θx=arctan(deltax/distance);公式(1)
所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度可以符合如下公式(2)的要求:
θy=arctan(deltay/distance);公式(2)
其中,θx表示所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度;θy表示所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度;deltax表示所述X轴方向上的距离;deltay表示所述Y轴方向上的距离;distance表示所述双鱼眼镜头到两个对称目标物中任一个目标物的距离。
S605,所述摄像设备确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度。
比如,图5中图像A中的特征线b1以及图像B中的特征线b2为一对具有相同特征的特征线。将图像A的圆心以及图像B的圆心作为图像坐标系的中心,从而特征线b1以及特征线b2在图像坐标系中的位置如图8所示,从而特征线b1以及特征线b2的夹角θ为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度。
具体的,所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度可以符合如下公式(3)的要求:
θz=90°-arcsin(deltaZ1/R);公式(3)
或者,所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度可以符合如下公式(4)的要求:
θz=arccos(deltaZ2/R);公式(4)
其中,θz表示所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度;deltaZ1表示一条特征线相对于另一条特征线的偏移值在X轴上的投影值;deltaZ2表示一条特征线相对于另一条特征线的偏移值在Y轴上的投影值;R表示所述圆形图像的半径。
确定一条特征线相对于另一条特征线的偏移值在X轴上的投影值时,可以是以两条特征线的交点为原点,一条特征线为Y轴,另一条特征线在Y轴的投影值。同理,一条特征线相对于另一条特征线的偏移值在Y轴上的投影值,可以是以两条特征线的交点为原点,一条特征线为Y轴,另一条特征线在X轴的投影值。
参见图8所示,以特征线b1以及特征线b2为例,可以将特征线b1和特征线b2的交点为原点,特征线b1为Y轴,特征线b2在Y轴的投影值为deltaZ1,特征线b2在X轴的投影值为deltaZ2。
在一种可能的实现方式中,所述两个图像中可以包括N对具有相同特征的特征点,从而在步骤S604中所述摄像设备根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度,可以但不限于通过如下方式实现:
第一种实现方式:
所述摄像设备在确定每对具有相同特征的特征点之间在X轴方向上的距离后,获取N对具有相同特征的特征点对应在X轴方向上的距离的平均值;并根据所述X轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度。
第二种实现方式:
所述摄像设备在确定每对具有相同特征的特征点之间在X轴方向上的距离后,分别基于每对具有相同特征的特征点对应在X轴方向上的距离确定每对具有相同特征的特征点在X轴方向上的偏移角度,将N对具有相同特征的特征点在X轴方向上的偏移角度的平均值确定为所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度。
比如,图5中图像A的特征星a1的中心以及图像B中的特征星a2的中心为一对具有相同特征的特征点、特征星c1的中心以及特征星c2的中心为一对具有相同特征的特性点以及特征星d1的中心以及特征星d2的中心为一对具有相同特征的特征点。
以第一种实现方式实现时:在确定每对特征点在X轴方向上的距离后,确定3对对应的距离的平均值,假设平均值为deltac,则所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度可以符合θx=arctan(deltac/distance)。
以第二种实现方式实现时:在确定每对特征点之间在X轴方向上的距离后,分别基于每对对应的距离确定偏移角度,将3对的偏移角度的平均值作为所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度。比如3对特征点中每对特征点之间在X轴方向上的距离分别是deltax1、deltax2以及deltax3,则所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度θx可以符合θx=(arctan(deltax1/distance)+arctan(deltax2distance)+arctan(deltax3/distance))/3。
在一种可能的实现方式中,所述两个图像中包括N对具有相同特征的特征点;从而在步骤S604中所述摄像设备根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度,可以但不限于通过如下方式实现:
第一种实现方式:
所述摄像设备在确定每对具有相同特征的特征点之间在Y轴方向上的距离后,获取N对具有相同特征的特征点对应在Y轴方向上的距离的平均值;并根据所述Y轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度。
第二种实现方式:
所述摄像设备在确定每对具有相同特征的特征点之间在Y轴方向上的距离后,分别基于每对具有相同特征的特征点对应在Y轴方向上的距离确定每对具有相同特征的特征点在Y轴方向上的偏移角度,将N对具有相同特征的特征点在Y轴方向上的偏移角度的平均值确定为所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度。
比如,图5中图像A的特征星a1的中心以及图像B中的特征星a2的中心为一对具有相同特征的特征点、特征星c1的中心以及特征星c2的中心为一对具有相同特征的特性点以及特征星d1的中心以及特征星d2的中心为一对具有相同特征的特征点。
以第一种实现方式实现时:在确定每对特征点在Y轴方向上的距离后,确定3对对应的距离的平均值,假设平均值为deltac,则所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度可以符合公式θY=arctan(deltac/distance)。
以第二种实现方式实现时:在确定每对特征点之间在Y轴方向上的距离后,分别基于每对对应的距离确定偏移角度,将3对的偏移角度的平均值作为所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度。比如3对特征点中每对特征点之间在Y轴方向上的距离分别是deltaY1、deltaY2以及deltaY3,则所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度θY为可以符合如下公式要求:
θY=(arctan(deltaY1/distance)+arctan(deltaY2/distance)+arctan(deltaY3/distance))/3。
在一种可能的实现方式中,所述两个图像中包括N对具有相同特征的特征线;从而在步骤S605中确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度,具体可以将N对具有相同特征的特征线之间的夹角的平均值确定为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度。
比如,图5中图像A的特征线A1以及图像B中的特征线A2为一对具有相同特征的特征线、特征线B1以及特征线B2为一对具有相同特征的特征线。2对特征线中每对特征线夹角分别是θ1以及θ2,则所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度θZ为:
θz=(θ1+θ2)/2。
根据上述算法在摄像设备机内计算出来的两个鱼眼镜头的光轴X,Y,Z轴的偏移角度,存储在设备内部,待摄像设备出厂后,在实际拍摄中,生成的两张双鱼眼图片,需要拼接成一张全景展开的图像时,将两个鱼眼镜头的光轴X,Y,Z轴的偏移角度应用于图像展开时每个像素的计算;当计算一个展开图像的像素点时,是通过计算该像素点在鱼眼图像中的极坐标,从而找到对应像素点的值,但是由于光轴的偏移,导致该点位置计算有偏差,此时通过使用三个光轴偏移角度对位置进行偏差计算,从而保障了两张展开图像拼接在一起时,像素是连续的,否则图像拼接处无法对齐。
通过如上方式构建场景,并在摄像设备机内自动生成用于双鱼眼图像拼接的校正参数(双鱼眼镜头的光轴在X,Y,Z轴的偏移角度),并存储,不再需要通过手动使用第三方工具生成校正参数,可以提高双鱼眼镜头的校正精度,降低生产成本,另外,在一定程度上提高摄像设备摄取图像的质量。
实施例二
以图9所示的灯光拍摄场景为例,对本申请实施例提供的双鱼眼镜头的图像拼接参数校正方法具体说明。参见图10所示为双鱼眼镜头的图像拼接参数校正方法流程图,具体可以包括如下步骤:
S1001,所述摄像设备在被放置于球形空间的球心时,通过所述双鱼眼镜头拍摄得到第一图像和第二图像。其中,穿过球心的轴线上放置有发光灯源,所述轴线与所述摄像设备的光轴垂直。球形空间参见图9所示,其中O点为球心,摄像设备的光轴为Z轴,图9中的X、Y、Z坐标系可看做是摄像设备的相机坐标系。
S1002,所述摄像设备基于所述双鱼眼镜头的视场角确定所述第一图像与所述第二图像之间的重合区域。其中,所述双鱼眼镜头中每个鱼眼镜头的视场角均可大于180°,所以第一图像与第二图像之间有重合区域。
S1003,所述摄像设备将所述第一图像中对应的重合区域展成第一矩形图像以及将所述第二图像中对应的重合区域展成第二矩形图像。其中,经过展开的第一矩形图像与第二矩形图像可以参见图11所示。
S1004,所述摄像设备确定所述第一矩形图像中亮度值最高或者最低的第一条形区域,以及确定所述第二矩形图像中亮度值最高或者最低的第二条形区域。所述第一条形区域与所述第二条形区域大小相同,所述第一条形区域中最长的一条边与所述第二条形区域最长的一条边均平行于所述摄像设备的相机坐标系的X轴。
其中,相机坐标系的X轴与Y轴构成了像平面。第一条形区域和第二条形区域最长的边均平行于X轴。参见图11所示,亮度值最高的第一条形区域为S1,亮度值最高的第二条形区域为S2。S1和S2的宽度可以是一个像素点,或者两个像素点等等。S1和S2的长度可以等于第一矩形图像或者第二矩形图像的宽度。
S1005,所述摄像设备确定所述第一条形区域的几何中心与所述第二条形区域的几何中心在所述相机坐标系的Y轴上的坐标差。
S1006,所述摄像设备基于所述坐标差确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度。
比如,参见图11所示,所述第一条形区域的几何中心与所述第二条形区域的几何中心在所述相机坐标系的Y轴上的坐标差为Lx,则所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度可以满足公式θ_Z=Lx/2πr*360°=Lx/πr*180°。
上述设计,通过上述灯光场景,实现了自动计算光轴在Z轴方向上的偏移角度,无需手动通过第三方工具计算,从而可以提高双鱼眼镜头的校正精度,以及保障双鱼眼图像的无缝拼接效果。
以图12所示的灯光拍摄场景为例,对本申请实施例提供的双鱼眼镜头的图像拼接参数校正方法具体说明。参见图13所示为双鱼眼镜头的图像拼接参数校正方法流程图,具体可以包括:
S1301,所述摄像设备在被放置于球形空间的球心时,在所述双鱼眼镜头以所述摄像设备的相机坐标系的第一轴为轴,且以所述相机坐标系的第二轴方向为0°进行旋转过程中,若所述双鱼眼镜头每旋转到预设角度时通过所述双鱼眼镜头拍摄得到一对图像,直到所述双鱼眼镜头旋转360°为止,从而得到M对图像。比如旋转预设角度为1°,则M=360,若旋转预设角度为2°,则M=180。
针对M对图像中的每对图像分别执行如下操作,每对图像包括第一图像以及第二图像:
S1302,所述摄像设备基于所述双鱼眼镜头的视场角确定所述第一图像与第二图像中的重合区域。
S1303,所述摄像设备将第一图像中的重合区域展开为第一矩形图像,以及将第二图像的重合区域展开为第二矩形图像。
S1304,在所述相机坐标系下,所述摄像设备分别获取所述第一矩形图像与所述第二矩形图像中位于同一位置的条形区域包括的N个像素点的亮度值,所述第一条形区域的最长的一条边平行于所述相机坐标系的X轴。
S1305,确定第一矩形图像的第i个第一像素点与第二矩形图像的第i个第一像素点的亮度值之差的平方值,所述i取遍所有不大于N个正整数,从而得到N个第一平方值;获取所述N个第一平方值的和值,从而得到M对图像分别对应的和值;确定所述M对图像对应的和值最小的一对图像,并将所述和值最小的一对图像对应的旋转角度确定为所述双鱼眼镜头的光轴在所述相机坐标系的第二轴方向上的偏移角度。
其中,所述第一轴为所述相机坐标系的X轴,所述第二轴为所述相机坐标系的Y轴;或者所述第一轴为所述相机坐标系的Y轴,所述第二轴为所述相机坐标系的X轴。
比如,确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度时,以第一矩形图像中和第二矩形图像中的条形区域的最上边为例,参见图14所示,所述第一矩形图像中的条形区域L1与所述第二矩形图像中的条形区域R1位于同一位置。每对图像对应的和值可以符合如下公式:
∑x1inL1,yinR1(color(x1)-color(y1))2;
其中,x1表示条形区域L1中的像素点,y1表示条形区域R1中的像素点,color(x1)表示像素点x1的亮度值,color(y1)表示像素点y1的亮度值。
比如,确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度时,以第一矩形图像中和第二矩形图像中的条形区域的最中间的条形区域为例,参见图14所示,所述第一矩形图像中的条形区域L2与所述第二矩形图像中的条形区域R2位于同一位置。每对图像对应的和值满足可以符合如下公式:
∑x2inL2,y2inR2(color(x2)-color(y2))2;
其中,x2表示条形区域L2中的像素点,y2表示条形区域R2中的像素点,color(x2)表示像素点x2的亮度值,color(y2)表示像素点y2的亮度值。
上述设计,通过上述灯光场景,实现了自动计算光轴在X、Y轴方向上的偏移角度,无需手动通过第三方工具计算,从而可以提高双鱼眼镜头的校正精度,以及保障双鱼眼图像的无缝拼接效果。
基于与上述方法实施例同样的发明构思,本申请实施例还提供了一种摄像设备,具体可以由摄像设备中的处理器320来实现。如图15所示,所述装置可以包括:
拍摄模块1501,用于在被放置于相对放置的两个对称目标物的中心时,通过所述双鱼眼镜头拍摄得到两个具有相同特征的图像。
构建模块1502,用于以两个图像的圆心作为坐标轴原点,构建图像坐标系;所述图像坐标系包括X轴和Y轴,所述图像坐标系的X轴与所述摄像设备的相机坐标系的X轴平行,所述图像坐标系的Y轴与所述摄像设备的相机坐标系的Y轴平行。
第一确定模块1503,用于确定所述两个图像中一对具有相同特征的特征点之间在所述图像坐标系中X轴方向上的距离,以及确定所述一对具有相同特征的特征点之间在所述图像坐标系中Y轴方向上的距离。
第二确定模块1504,用于根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度,以及根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度。
第三确定模块1505,用于确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度。
可选地,所述第二确定模块1504,具体用于确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度满足如下条件:
θx=arctan(deltax/distance);
确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度满足如下条件:
θy=arctan(deltay/distance);
其中,θx表示所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度;θy表示所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度;deltax表示所述X轴方向上的距离;deltay表示所述Y轴方向上的距离;distance表示所述双鱼眼镜头到两个对称目标物中任一个目标物的距离。
可选地,所述第三确定模块1505,具体用于确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度满足如下条件:
θz=90°-arcsin(deltaz1/R);
或者,所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度满足如下条件:
θz=arccos(deltaZ2/R);
其中,θz表示所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度;deltaZ1表示一条特征线相对于另一条特征线的偏移值在Y轴上的投影值;deltaZ2表示一条特征线相对于另一条特征线的偏移值在X轴上的投影值;R表示所述两个图像中任一图像的半径。
可选地,所述两个图像中包括N对具有相同特征的特征点;所述第二确定模块1504在根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度,具体用于:
在确定每对具有相同特征的特征点之间在X轴方向上的距离后,获取N对具有相同特征的特征点对应在X轴方向上的距离的平均值;并根据所述X轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度。
所述第二确定模块1504在根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度,具体用于:
所述摄像设备在确定每对具有相同特征的特征点之间在Y轴方向上的距离后,获取N对具有相同特征的特征点对应在Y轴方向上的距离的平均值;并根据所述Y轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度。
基于与上述方法实施例同样的发明构思,本申请实施例还提供了一种摄像设备,具体可以由摄像设备中的处理器320来实现。如图16所示,所述装置可以包括:
拍摄模块1601,在被放置于球形空间的球心时,通过所述双鱼眼镜头拍摄得到第一图像和第二图像;其中,穿过球心的轴线上放置有发光灯源,所述轴线与所述摄像设备的光轴垂直;
第一确定模块1602,基于所述双鱼眼镜头的视场角确定所述第一图像与所述第二图像之间的重合区域。
展开模块1603,将所述第一图像中对应的重合区域展成第一矩形图像以及将所述第二图像中对应的重合区域展成第二矩形图像。
第二确定模块1604,确定所述第一矩形图像中亮度值最高或者最低的第一条形区域,以及确定所述第二矩形图像中亮度值最高或者最低的第二条形区域,所述第一条形区域与所述第二条形区域大小相同,所述第一条形区域中最长的一条边与所述第二条形区域最长的一条边均平行于所述摄像设备的相机坐标系的X轴。
第三确定模块1605,确定所述第一条形区域的几何中心与所述第二条形区域的几何中心在所述相机坐标系的Y轴的坐标差;并基于所述坐标差确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度。
基于与上述方法实施例同样的发明构思,本申请实施例还提供了一种双鱼眼镜头的图像拼接参数校正装置,所述装置应用于摄像设备,具体可以由摄像设备中的处理器320来实现。如图17所示,所述装置可以包括:
拍摄模块1701,在被放置于球形空间的球心时,在所述双鱼眼镜头以所述摄像设备的相机坐标系的第一轴为轴,且以所述相机坐标系的第二轴方向为0°进行旋转过程中,若所述双鱼眼镜头每旋转到预设角度时通过所述双鱼眼镜头拍摄得到一对图像,直到所述双鱼眼镜头旋转360°为止,从而得到M对图像;
针对M对图像中的每对图像分别执行如下操作,每对图像包括第一图像以及第二图像:
第一确定模块1702,基于所述双鱼眼镜头的视场角确定所述第一图像与第二图像中的重合区域;
展开模块1703,将第一图像中的重合区域展开为第一矩形图像,以及将第二图像的重合区域展开为第二矩形图像;
获取模块1704,在所述相机坐标系下,分别获取所述第一矩形图像与所述第二矩形图像中位于同一位置的条形区域包括的N个像素点的亮度值,所述第一条形区域的最长的一条边平行于所述相机坐标系的X轴;并
第二确定模块1705,确定第一矩形图像的第i个第一像素点与第二矩形图像的第i个第一像素点的亮度值之差的平方值,所述i取遍所有不大于N个正整数,从而得到N个第一平方值;获取所述N个第一平方值的和值,从而得到M对图像分别对应的和值;确定所述M对图像分别对应的和值最小的一对图像,并将所述和值最小的一对图像对应的旋转角度确定为所述双鱼眼镜头的光轴在所述相机坐标系的第二轴方向上的偏移角度;
其中,所述第一轴为所述相机坐标系的X轴,所述第二轴为所述相机坐标系的Y轴;或者所述第一轴为所述相机坐标系的Y轴,所述第二轴为所述相机坐标系的X轴。
本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本申请各个实施例中的各功能模块可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
采用硬件实现时,该摄像设备的硬件实现可参考图3及其相关描述。
以背靠背方式放置的双鱼眼镜头310,用于拍摄图像;
所述存储器330用于存储程序代码;
所述处理器320,用于调用所述存储器存储的程序代码,执行以下操作:
在被放置于相对放置的两个对称目标物的中心时,通过所述双鱼眼镜头拍摄得到两个具有相同特征的图像;
以两个图像的圆心作为坐标轴原点,构建图像坐标系;所述图像坐标系包括X轴和Y轴,所述图像坐标系的X轴与所述摄像设备的相机坐标系的X轴平行,所述图像坐标系的Y轴与所述摄像设备的相机坐标系的Y轴平行;
确定所述两个图像中一对具有相同特征的特征点之间在所述图像坐标系中X轴方向上的距离,以及确定所述一对具有相同特征的特征点之间在所述图像坐标系中Y轴方向上的距离;
根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度,以及根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度;
确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度。
可选地,所述处理器320,在根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度时,具体用于确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度满足如下条件:
θx=arctan(deltax/distance);
在根据所述Y轴方向上距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度时,具体用于确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度满足如下条件:
θy=arctan(deltay/distance);
其中,θx表示所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度;θy表示所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度;deltax表示所述X轴方向上的距离;deltay表示所述Y轴方向上的距离;distance表示所述双鱼眼镜头到两个对称目标物中任一个目标物的距离。
可选地,所述处理器320,在确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度,具体用于确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度满足如下条件:
θz=90°-arcsin(deltaZ1/R)。
或者,确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度满足如下条件:
θz=arccos(deltaZ2/R);
其中,θz表示所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度;deltaZ1表示一条特征线相对于另一条特征线的偏移值在Y轴上的投影值;deltaZ2表示一条特征线相对于另一条特征线的偏移值在X轴上的投影值;R表示所述两个图像中任一图像的半径。
可选地,所述两个图像中包括N对具有相同特征的特征点;
所述处理器320,在根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度时,具体用于在确定每对具有相同特征的特征点之间在X轴方向上的距离后,获取N对具有相同特征的特征点对应在X轴方向上的距离的平均值;并根据所述X轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度;
所述处理器320,在根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度时,具体用于在确定每对具有相同特征的特征点之间在Y轴方向上的距离后,获取N对具有相同特征的特征点对应在Y轴方向上的距离的平均值;并根据所述Y轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度。
在一种可能的设计中,所述处理器320,用于执行以下操作:
在被放置于球形空间的球心时,通过所述双鱼眼镜头拍摄得到第一图像和第二图像;其中,穿过球心的轴线上放置有发光灯源,所述轴线与所述摄像设备的光轴垂直;
基于所述双鱼眼镜头的视场角确定所述第一图像与所述第二图像之间的重合区域;
将所述第一图像中对应的重合区域展成第一矩形图像以及将所述第二图像中对应的重合区域展成第二矩形图像;
确定所述第一矩形图像中亮度值最高或者最低的第一条形区域,以及确定所述第二矩形图像中亮度值最高或者最低的第二条形区域,所述第一条形区域与所述第二条形区域大小相同,所述第一条形区域中最长的一条边与所述第二条形区域最长的一条边均平行于所述摄像设备的相机坐标系的X轴;
确定所述第一条形区域的几何中心与所述第二条形区域的几何中心在所述相机坐标系的Y轴的坐标差;
基于所述坐标差确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度。
在一种可能的实现方式中,所述处理器320,用于执行以下操作:
在被放置于球形空间的球心时,在所述双鱼眼镜头以所述摄像设备的相机坐标系的第一轴为轴,且以所述相机坐标系的第二轴方向为0°进行旋转过程中,若所述双鱼眼镜头每旋转到预设角度时通过所述双鱼眼镜头拍摄得到一对图像,直到所述双鱼眼镜头旋转360°为止,从而得到M对图像;
针对M对图像中的每对图像分别执行如下操作,每对图像包括第一图像以及第二图像:
基于所述双鱼眼镜头的视场角确定所述第一图像与第二图像中的重合区域;
将第一图像中的重合区域展开为第一矩形图像,以及将第二图像的重合区域展开为第二矩形图像;
在所述相机坐标系下,分别获取所述第一矩形图像与所述第二矩形图像中位于同一位置的条形区域包括的N个像素点的亮度值,所述第一条形区域的最长的一条边平行于所述相机坐标系的X轴;并
确定第一矩形图像的第i个第一像素点与第二矩形图像的第i个第一像素点的亮度值之差的平方值,所述i取遍所有不大于N个正整数,从而得到N个第一平方值;获取所述N个第一平方值的和值,从而得到M对图像分别对应的和值;确定所述M对图像分别对应的和值最小的一对图像,并将所述和值最小的一对图像对应的旋转角度确定为所述双鱼眼镜头的光轴在所述相机坐标系的第二轴方向上的偏移角度;
其中,所述第一轴为所述相机坐标系的X轴,所述第二轴为所述相机坐标系的Y轴;或者所述第一轴为所述相机坐标系的Y轴,所述第二轴为所述相机坐标系的X轴。
根据上述算法在摄像设备机内计算出来的两个鱼眼镜头的光轴X,Y,Z轴的偏移角度,存储在设备内部,待摄像设备出厂后,在实际拍摄中,生成的两张双鱼眼图片,需要拼接成一张全景展开的图像时,将两个鱼眼镜头的光轴X,Y,Z轴的偏移角度应用于图像展开时每个像素的计算;当计算一个展开图像的像素点时,是通过计算该像素点在鱼眼图像中的极坐标,从而找到对应像素点的值,但是由于光轴的偏移,导致该点位置计算有偏差,此时通过使用三个光轴偏移角度对位置进行偏差计算,从而保障了两张展开图像拼接在一起时,像素是连续的,否则图像拼接处无法对齐。
上述方式,通过如上方式构建场景,并在摄像设备机内自动生成用于双鱼眼图像拼接的校正参数(双鱼眼镜头的光轴在X,Y,Z轴的偏移角度),并存储,不再需要通过手动使用第三方工具生成校正参数,可以提高双鱼眼镜头的校正精度,降低生产成本,另外,在一定程序上提高摄像设备摄取图像的质量。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (13)
1.一种双鱼眼镜头的图像拼接参数校正方法,其特征在于,所述方法应用于包括以背靠背方式放置的双鱼眼镜头的摄像设备,所述方法包括:
所述摄像设备在被放置于相对放置的两个对称目标物的中心时,通过所述双鱼眼镜头拍摄得到两个具有相同特征的图像;
所述摄像设备以两个图像的圆心作为坐标轴原点,构建图像坐标系;所述图像坐标系包括X轴和Y轴,所述图像坐标系的X轴与所述摄像设备的相机坐标系的X轴平行,所述图像坐标系的Y轴与所述摄像设备的相机坐标系的Y轴平行;
所述摄像设备确定所述两个图像中一对具有相同特征的特征点之间在所述图像坐标系中X轴方向上的距离,以及确定所述一对具有相同特征的特征点之间在所述图像坐标系中Y轴方向上的距离;
所述摄像设备根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度,以及根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度;
所述摄像设备确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度。
2.如权利要求1所述的方法,其特征在于,所述摄像设备根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度,包括:
所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度满足如下条件:
θx=arc tan(deltax/distance);
所述摄像设备根据所述Y轴方向上距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度,包括:
所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度满足如下条件:
θy=arc tan(deltay/distance);
其中,θx表示所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度;θy表示所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度;deltax表示所述X轴方向上的距离;deltay表示所述Y轴方向上的距离;distance表示所述双鱼眼镜头到两个对称目标物中任一个目标物的距离。
3.如权利要求1或2所述的方法,其特征在于,所述摄像设备确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度,包括:
所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度满足如下条件:
θz=90°-arc sin(deltaZ1/R);
或者,所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度满足如下条件:
θz=arc cos(deltaZ2/R);
其中,θz表示所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度;deltaZ1表示一条特征线相对于另一条特征线的偏移值在Y轴上的投影值;deltaZ2表示一条特征线相对于另一条特征线的偏移值在X轴上的投影值;R表示所述两个图像中任一图像的半径。
4.如权利要求1至3任一项所述的方法,其特征在于,所述两个图像中包括N对具有相同特征的特征点;
所述摄像设备根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度,包括:
所述摄像设备在确定每对具有相同特征的特征点之间在X轴方向上的距离后,获取N对具有相同特征的特征点对应在X轴方向上的距离的平均值;并根据所述X轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度;
所述摄像设备根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度,包括:
所述摄像设备在确定每对具有相同特征的特征点之间在Y轴方向上的距离后,获取N对具有相同特征的特征点对应在Y轴方向上的距离的平均值;并根据所述Y轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度。
5.一种双鱼眼镜头的图像拼接参数校正方法,其特征在于,所述方法应用于包括以背靠背方式放置的双鱼眼镜头的摄像设备,所述方法包括:
所述摄像设备在被放置于球形空间的球心时,通过所述双鱼眼镜头拍摄得到第一图像和第二图像;其中,穿过球心的轴线上放置有发光灯源,所述轴线与所述摄像设备的光轴垂直;
所述摄像设备基于所述双鱼眼镜头的视场角确定所述第一图像与所述第二图像之间的重合区域;
所述摄像设备将所述第一图像中对应的重合区域展成第一矩形图像以及将所述第二图像中对应的重合区域展成第二矩形图像;
所述摄像设备确定所述第一矩形图像中亮度值最高或者最低的第一条形区域,以及确定所述第二矩形图像中亮度值最高或者最低的第二条形区域,所述第一条形区域与所述第二条形区域大小相同,所述第一条形区域中最长的一条边与所述第二条形区域最长的一条边均平行于所述摄像设备的相机坐标系的X轴;
所述摄像设备确定所述第一条形区域的几何中心与所述第二条形区域的几何中心在所述相机坐标系的Y轴的坐标差;
所述摄像设备基于所述坐标差确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度。
6.一种双鱼眼镜头的图像拼接参数校正方法,其特征在于,所述方法应用于包括以背靠背方式放置的双鱼眼镜头的摄像设备,包括:
所述摄像设备在被放置于球形空间的球心时,在所述双鱼眼镜头以所述摄像设备的相机坐标系的第一轴为轴,且以所述相机坐标系的第二轴方向为0°进行旋转过程中,若所述双鱼眼镜头每旋转到预设角度时通过所述双鱼眼镜头拍摄得到一对图像,直到所述双鱼眼镜头旋转360°为止,从而得到M对图像;
针对M对图像中的每对图像分别执行如下操作,每对图像包括第一图像以及第二图像:
所述摄像设备基于所述双鱼眼镜头的视场角确定所述第一图像与第二图像中的重合区域;
所述摄像设备将第一图像中的重合区域展开为第一矩形图像,以及将第二图像的重合区域展开为第二矩形图像;
在所述相机坐标系下,所述摄像设备分别获取所述第一矩形图像与所述第二矩形图像中位于同一位置的条形区域包括的N个像素点的亮度值,所述第一条形区域的最长的一条边平行于所述相机坐标系的X轴;并
确定第一矩形图像的第i个第一像素点与第二矩形图像的第i个第一像素点的亮度值之差的平方值,所述i取遍所有不大于N个正整数,从而得到N个第一平方值;获取所述N个第一平方值的和值,从而得到M对图像分别对应的和值;确定所述M对图像分别对应的和值最小的一对图像,并将所述和值最小的一对图像对应的旋转角度确定为所述双鱼眼镜头的光轴在所述相机坐标系的第二轴方向上的偏移角度;
其中,所述第一轴为所述相机坐标系的X轴,所述第二轴为所述相机坐标系的Y轴;或者所述第一轴为所述相机坐标系的Y轴,所述第二轴为所述相机坐标系的X轴。
7.一种摄像设备,其特征在于,包括:
以背靠背方式放置的双鱼眼镜头、处理器以及存储器;
所述存储器用于存储程序代码;
所述处理器,用于调用所述存储器存储的程序代码,执行:
在所述摄像设备被放置于相对放置的两个对称目标物的中心时,通过所述双鱼眼镜头拍摄得到两个具有相同特征的图像;
以两个图像的圆心作为坐标轴原点,构建图像坐标系;所述图像坐标系包括X轴和Y轴,所述图像坐标系的X轴与所述摄像设备的相机坐标系的X轴平行,所述图像坐标系的Y轴与所述摄像设备的相机坐标系的Y轴平行;
确定所述两个图像中一对具有相同特征的特征点之间在所述图像坐标系中X轴方向上的距离,以及确定所述一对具有相同特征的特征点之间在所述图像坐标系中Y轴方向上的距离;
根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度,以及根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度;
确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度。
8.如权利要求7所述的摄像设备,其特征在于,所述处理器,在根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度时,具体用于确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度满足如下条件:
θx=arc tan(deltax/distance);
在根据所述Y轴方向上距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度时,具体用于确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度满足如下条件:
θy=arc tan(deltay/distance);
其中,θx表示所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度;θy表示所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度;deltax表示所述X轴方向上的距离;deltay表示所述Y轴方向上的距离;distance表示所述双鱼眼镜头到两个对称目标物中任一个目标物的距离。
9.如权利要求7或8所述的摄像设备,其特征在于,所述处理器,在确定所述两个图像中具有相同特征的两条特征线之间的夹角为所述双鱼眼镜头的光轴在所述相机坐标的Z轴方向上的偏移角度,具体用于确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度满足如下条件:
θz=90°-arc sin(deltaZ1/R)。
或者,确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度满足如下条件:
θz=arc cos(deltaZ2/R);
其中,θz表示所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度;deltaZ1表示一条特征线相对于另一条特征线的偏移值在Y轴上的投影值;deltaZ2表示一条特征线相对于另一条特征线的偏移值在X轴上的投影值;R表示所述两个图像中任一图像的半径。
10.如权利要求7至9任一项所述的摄像设备,其特征在于,所述两个图像中包括N对具有相同特征的特征点;
所述处理器,在根据所述X轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度时,具体用于在确定每对具有相同特征的特征点之间在X轴方向上的距离后,获取N对具有相同特征的特征点对应在X轴方向上的距离的平均值;并根据所述X轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的X轴方向上的偏移角度;
所述处理器,在根据所述Y轴方向上的距离确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度时,具体用于在确定每对具有相同特征的特征点之间在Y轴方向上的距离后,获取N对具有相同特征的特征点对应在Y轴方向上的距离的平均值;并根据所述Y轴方向上的距离的平均值确定所述双鱼眼镜头的光轴在所述相机坐标系的Y轴方向上的偏移角度。
11.一种摄像设备,其特征在于,包括:
以背靠背方式放置的双鱼眼镜头、处理器以及存储器;
所述存储器用于存储程序代码;
所述处理器,用于调用所述存储器存储的程序代码,执行:
在所述摄像设备被放置于球形空间的球心时,通过所述双鱼眼镜头拍摄得到第一图像和第二图像;其中,穿过球心的轴线上放置有发光灯源,所述轴线与所述摄像设备的光轴垂直;
基于所述双鱼眼镜头的视场角确定所述第一图像与所述第二图像之间的重合区域;
将所述第一图像中对应的重合区域展成第一矩形图像以及将所述第二图像中对应的重合区域展成第二矩形图像;
确定所述第一矩形图像中亮度值最高或者最低的第一条形区域,以及确定所述第二矩形图像中亮度值最高或者最低的第二条形区域,所述第一条形区域与所述第二条形区域大小相同,所述第一条形区域中最长的一条边与所述第二条形区域最长的一条边均平行于所述摄像设备的相机坐标系的X轴;
确定所述第一条形区域的几何中心与所述第二条形区域的几何中心在所述相机坐标系的Y轴的坐标差;
基于所述坐标差确定所述双鱼眼镜头的光轴在所述相机坐标系的Z轴方向上的偏移角度。
12.一种摄像设备,其特征在于,包括:
以背靠背方式放置的双鱼眼镜头、处理器以及存储器;
所述存储器用于存储程序代码;
所述处理器,用于调用所述存储器存储的程序代码,执行:
在所述摄像设备被放置于球形空间的球心时,在所述双鱼眼镜头以所述摄像设备的相机坐标系的第一轴为轴,且以所述相机坐标系的第二轴方向为0°进行旋转过程中,若所述双鱼眼镜头每旋转到预设角度时通过所述双鱼眼镜头拍摄得到一对图像,直到所述双鱼眼镜头旋转360°为止,从而得到M对图像;
针对M对图像中的每对图像分别执行如下操作,每对图像包括第一图像以及第二图像:
基于所述双鱼眼镜头的视场角确定所述第一图像与第二图像中的重合区域;
将第一图像中的重合区域展开为第一矩形图像,以及将第二图像的重合区域展开为第二矩形图像;
在所述相机坐标系下,分别获取所述第一矩形图像与所述第二矩形图像中位于同一位置的条形区域包括的N个像素点的亮度值,所述第一条形区域的最长的一条边平行于所述相机坐标系的X轴;并
确定第一矩形图像的第i个第一像素点与第二矩形图像的第i个第一像素点的亮度值之差的平方值,所述i取遍所有不大于N个正整数,从而得到N个第一平方值;获取所述N个第一平方值的和值,从而得到M对图像分别对应的和值;确定所述M对图像分别对应的和值最小的一对图像,并将所述和值最小的一对图像对应的旋转角度确定为所述双鱼眼镜头的光轴在所述相机坐标系的第二轴方向上的偏移角度;
其中,所述第一轴为所述相机坐标系的X轴,所述第二轴为所述相机坐标系的Y轴;或者所述第一轴为所述相机坐标系的Y轴,所述第二轴为所述相机坐标系的X轴。
13.一种计算机存储介质,其特征在于,所述存储介质中存储软件程序,所述软件程序在被一个或多个处理器读取并执行时可实现权利要求1至6任一项提供的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710478562.0A CN109118425A (zh) | 2017-06-22 | 2017-06-22 | 一种双鱼眼镜头的图像拼接参数校正方法及摄像设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710478562.0A CN109118425A (zh) | 2017-06-22 | 2017-06-22 | 一种双鱼眼镜头的图像拼接参数校正方法及摄像设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109118425A true CN109118425A (zh) | 2019-01-01 |
Family
ID=64732444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710478562.0A Withdrawn CN109118425A (zh) | 2017-06-22 | 2017-06-22 | 一种双鱼眼镜头的图像拼接参数校正方法及摄像设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109118425A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021083049A1 (zh) * | 2019-11-01 | 2021-05-06 | 深圳市大疆创新科技有限公司 | 图像处理装置、图像处理方法以及程序 |
-
2017
- 2017-06-22 CN CN201710478562.0A patent/CN109118425A/zh not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021083049A1 (zh) * | 2019-11-01 | 2021-05-06 | 深圳市大疆创新科技有限公司 | 图像处理装置、图像处理方法以及程序 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110336987B (zh) | 一种投影仪畸变校正方法、装置和投影仪 | |
US20180213218A1 (en) | Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device | |
JP6605049B2 (ja) | ユーザ端末のパノラマ画像生成方法及び装置 | |
CN113382168B (zh) | 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法 | |
CN109272478B (zh) | 一种荧幕投影方法和装置及相关设备 | |
CN106375748B (zh) | 立体虚拟现实全景视图拼接方法、装置及电子设备 | |
US8311366B2 (en) | System and method for calibrating and adjusting a projected image of a projection apparatus | |
CN105635551B (zh) | 一种球型摄像机生成全景图像的方法及球型摄像机 | |
WO2018076154A1 (zh) | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 | |
CN102665087B (zh) | 3d立体摄像设备的拍摄参数自动调整系统 | |
CN108805801A (zh) | 一种全景图像校正方法及系统 | |
JP2017112602A (ja) | パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム | |
WO2020125797A1 (zh) | 一种终端、拍摄方法及存储介质 | |
US9892488B1 (en) | Multi-camera frame stitching | |
JP2014522591A (ja) | 角スライス実像3dディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法 | |
CN110191326A (zh) | 一种投影系统分辨率扩展方法、装置和投影系统 | |
CN109087244A (zh) | 一种全景图像拼接方法、智能终端及存储介质 | |
CN108200360A (zh) | 一种多鱼眼镜头全景摄像机的实时视频拼接方法 | |
CN103945210A (zh) | 一种实现浅景深效果的多摄像头拍摄方法 | |
JP2015019344A (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
CN106331527A (zh) | 一种图像拼接方法及装置 | |
JP7319974B2 (ja) | バレットタイム撮影効果の実現方法及びパノラマカメラ | |
CN107527336B (zh) | 镜头相对位置标定方法及装置 | |
KR100614004B1 (ko) | 자동화된 360°파노라마 이미지 생성 방법 | |
CN108846796A (zh) | 图像拼接方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190101 |
|
WW01 | Invention patent application withdrawn after publication |