CN109961482A - 摄像头标定方法、装置和车辆 - Google Patents
摄像头标定方法、装置和车辆 Download PDFInfo
- Publication number
- CN109961482A CN109961482A CN201711402242.3A CN201711402242A CN109961482A CN 109961482 A CN109961482 A CN 109961482A CN 201711402242 A CN201711402242 A CN 201711402242A CN 109961482 A CN109961482 A CN 109961482A
- Authority
- CN
- China
- Prior art keywords
- camera
- black white
- white image
- checkerboard grid
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明公开一种摄像头标定方法、装置和车辆,该方法包括以下步骤:获取通过摄像头采集的多个不同视场的第一棋盘网格的黑白图像和通过摄像头采集的预设位置的第二棋盘网格的黑白图像;根据多个第一棋盘网格的黑白图像和第二棋盘网格的黑白图像对摄像头进行初次标定以得到摄像头的内参数和畸变因子;根据摄像头的内参数和畸变因子获取畸变映射,并根据畸变映射对第二棋盘网格的黑白图像进行畸变矫正;根据进行畸变矫正后的第二棋盘网格的黑白图像对摄像头进行再次标定,以得到摄像头的旋转向量和平移向量;根据摄像头的旋转向量和平移向量获取第二棋盘网格相对摄像头的位置变换信息,并根据位置变换信息和预设位置的位置信息获取摄像头的安装位置。
Description
技术领域
本发明涉及车载成像技术领域,特别涉及一种摄像头标定方法、一种非临时性计算机可读存储介质、一种摄像头标定装置和一种车辆。
背景技术
目前,通过图像实现的摄像头标定,其标定精度会受到受以下两个因素的影响:第一,摄像头的成像畸变,一般离主点越远,畸变越大,但标定时一般要求拍摄标定板处于不同方位的图像,因此成像畸变无法避免,成像畸变会造成角点位置偏差,从而降低标定精度;第二,光照强度会影响标定板的成像的对比度,一般强光和弱光都会使标定板成像的对比度下降,造成提取角点的精度下降,从而降低标定精度。
相关技术中结合神经网络拟合模型来消除摄像头的成像畸变,但是神经网络拟合模型算法过于复杂,并且仍无法避免光照强度的影响,因而依然存在难以适用于强光、弱光环境及标定精度差的问题。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此,本发明的一个目的在于提出一种摄像头标定方法,能够大大提高摄像头标定的精度,从而能够准确地获取摄像头的安装位置,并且实施简单高效,适用性较广。
本发明的第二个目的在于提出一种非临时性计算机可读存储介质。
本发明的第三个目的在于提出一种摄像头标定装置。
本发明的第四个目的在于提出一种车辆。
为达到上述目的,本发明第一方面实施例提出的摄像头标定方法,包括以下步骤:获取通过所述摄像头采集的多个不同视场的第一棋盘网格的黑白图像和通过所述摄像头采集的预设位置的第二棋盘网格的黑白图像;根据多个所述第一棋盘网格的黑白图像和所述第二棋盘网格的黑白图像对所述摄像头进行初次标定以得到所述摄像头的内参数和畸变因子;根据所述摄像头的内参数和畸变因子获取畸变映射,并根据所述畸变映射对所述第二棋盘网格的黑白图像进行畸变矫正;根据进行畸变矫正后的第二棋盘网格的黑白图像对所述摄像头进行再次标定,以得到所述摄像头的旋转向量和平移向量;根据所述摄像头的旋转向量和平移向量获取所述第二棋盘网格相对所述摄像头的位置变换信息,并根据所述位置变换信息和所述预设位置的位置信息获取所述摄像头的安装位置。
根据本发明实施例的摄像头标定方法,通过采集棋盘网格的黑白图像,能够强化图像的对比度,减少噪声的干扰,并能够有效规避光照强度对摄像头成像质量的影响,便于确定图像中的点,通过采集多个图像,能够减小随机性,通过对棋盘网格黑白图像进行畸变矫正,能够消除透镜畸变,使得再次标定时主点坐标的偏差也相对较小,通过设置位置固定的第二棋盘网格,能够在标定后获取摄像头的安装位置,由此,能够大大提高摄像头标定的精度,从而能够准确地获取摄像头的安装位置,并且实施简单高效,适用性较广。
为达到上述目的,本发明第二方面实施例提出的非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明第一方面实施例提出的摄像头标定方法。
根据本发明实施例的非临时性计算机可读存储介质,通过执行其存储的计算机程序,能够大大提高摄像头标定的精度,从而能够准确地获取摄像头的安装位置,并且实施简单高效,适用性较广。
为达到上述目的,本发明第三方面实施例提出的摄像头标定装置,包括:第一获取模块,用于获取通过所述摄像头采集的多个不同视场的第一棋盘网格的黑白图像和通过所述摄像头采集的预设位置的第二棋盘网格的黑白图像;第一标定模块,用于根据多个所述第一棋盘网格的黑白图像和所述第二棋盘网格的黑白图像对所述摄像头进行初次标定以得到所述摄像头的内参数和畸变因子;畸变矫正模块,用于根据所述摄像头的内参数和畸变因子获取畸变映射,并根据所述畸变映射对所述第二棋盘网格的黑白图像进行畸变矫正;第二标定模块,用于根据进行畸变矫正后的第二棋盘网格的黑白图像对所述摄像头进行再次标定,以得到所述摄像头的旋转向量和平移向量;第二获取模块,用于根据所述摄像头的旋转向量和平移向量获取所述第二棋盘网格相对所述摄像头的位置变换信息,并根据所述位置变换信息和所述预设位置的位置信息获取所述摄像头的安装位置。
根据本发明实施例的摄像头标定装置,通过采集棋盘网格的黑白图像,能够强化图像的对比度,减少噪声的干扰,并能够有效规避光照强度对摄像头成像质量的影响,便于确定图像中的点,通过采集多个图像,能够减小随机性,通过对棋盘网格黑白图像进行畸变矫正,能够消除透镜畸变,使得再次标定时主点坐标的偏差也相对较小,通过设置位置固定的第二棋盘网格,能够在标定后获取摄像头的安装位置,由此,能够大大提高摄像头标定的精度,从而能够准确地获取摄像头的安装位置,并且实施简单高效,适用性较广。
为达到上述目的,本发明第四方面实施例提出的车辆,包括本发明第三方面实施例提出的摄像头标定装置。
根据本发明实施例的车辆,其摄像头标定的精度较高,从而能够准确地获取摄像头的安装位置。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过对本发明的实践了解到。
附图说明
图1为根据本发明实施例的摄像头标定方法的流程图;
图2为根据本发明一个实施例的棋盘网格图;
图3为根据本发明实施例的摄像头标定装置的方框示意图;
图4为根据本发明实施例的车辆的方框示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
本发明实施例的摄像头可为车载单目摄像头,其可用于行人检测、车道线检测、行车记录和倒车辅助等。
下面结合附图来描述本发明实施例的摄像头标定方法、装置和车辆。
图1为根据本发明实施例的摄像头标定方法的流程图。
如图1所示,本发明实施例的摄像头标定方法,包括以下步骤:
S1,获取通过摄像头采集的多个不同视场的第一棋盘网格的黑白图像和通过摄像头采集的预设位置的第二棋盘网格的黑白图像。
在本发明的一个实施例中,不同视场可包括不同距离、不同角度和不同方位,摄像头采集的第一棋盘网格的黑白图像的数量大于等于8。
第二棋盘网格可预先放置在摄像头采集范围内的任意位置,在第二棋盘网格的位置固定后,可通过角度仪和刻度尺等获取第二棋盘网格的位置信息a。该位置信息a可包括第二棋盘网格与三个不同方向例如水平方向、垂直方向和法线方向构成的角度,分别记为a1、a2和a3。
具体地,摄像头以与棋盘网格相距不同的距离、不同的摄像头最大角度对图2所示的第一棋盘网格进行拍摄,得到至少8个第一棋盘网格的黑白图像,其中,在不同的第一棋盘网格的黑白图像中,第一棋盘网格位于整幅图像的不同位置处。
并且,摄像头可对位置固定后的第二棋盘网格进行拍摄,得到第二棋盘网格的黑白图像。其中,第二棋盘网格的规格与第一棋盘网格的规格相同。
S2,根据多个第一棋盘网格的黑白图像和第二棋盘网格的黑白图像对摄像头进行初次标定以得到摄像头的内参数和畸变因子。
在本发明的一个实施例中,可将每个第一棋盘网格的黑白图像和第二棋盘网格的黑白图像转换为单通道图像,并获取每个单通道图像的角点,以及根据每个单通道图像的角点获取摄像头的内参数矩阵和畸变因子。其中,获取每个单通道图像的角点包括:设定每个单通道图像的角点个数,并根据角点个数对每个单通道图像进行亚像素角点提取以得到每个单通道图像的角点坐标。
具体地,可将每个第一棋盘网格的黑白图像和第二棋盘网格的黑白图像转换成8位灰度图像,并根据第一和第二棋盘网格中的方块数量确定角点个数,例如对于7×8的棋盘网格,角点个数为6×7。然后通过OpenCV(一种跨平台计算机视觉库),将8位灰度图像和所确定的角点个数作为输入,定义存储角点位置的数组指针,可选地还可定义一个指向所确定的角点个数的整数指针,或将整数指针定义为NULL。设定flag变量为CV_CALIB_CB_ADAPTIVE_THRESH(使用自适应阈值将灰度图像转换为黑白图)丨CV_CALIB_CB_FILTER_QUADS(使用其他的准则,如轮廓面积,周长,方块形状来去除在轮廓检测阶段检测到的错误方块)。由此,输出的结果即为该单通道图像的角点坐标。进一步地,可进行亚像素角点的提取,使获取的角点精度达到亚像素精度。可选地,还可以通过绘制角点的方式,能够确定投影角点是否与观察角点相匹配,如果获取到角点,则将角点使用不同颜色绘制(例如每行使用对应的颜色),并且把获取的多个角点以一定顺序用线连接起来。
在得到每个单通道图像的角点坐标后,可根据每个单通道图像的角点坐标与用户自己定义的世界坐标,先假定摄像头没有畸变,得到与每一个第一棋盘网格和第二棋盘网格对应的单应性矩阵,再利用旋转向量正交、旋转向量长度相等约束条件,求解出摄像头的内参数矩阵以及旋转向量和平移向量等外参数矩阵,最后求解相关的系统方程,得到畸变因子。
在本发明的一个实施例中,畸变因子可包括两个径向畸变因子k1、k2和两个切向畸变因子p1、p2,其中,两个径向畸变因子k1、k2取自主点即摄像头成像中心周围的泰勒级数展开的前两项。
在通过上述方式根据每个第一棋盘网格的黑白图像和第二棋盘网格的黑白图像完成初次标定后,可结合多个标定结果得到摄像头的内参数和畸变因子。例如,可对根据多个第一棋盘网格的黑白图像和第二棋盘网格的黑白图像完成标定得到的内参数和畸变因子进行求均值,得到摄像头的内参数和畸变因子。
S3,根据摄像头的内参数和畸变因子获取畸变映射,并根据畸变映射对第二棋盘网格的黑白图像进行畸变矫正。
在本发明的一个实施例中,径向畸变所对应的畸变映射为:
xcorrected=x(1+k1r2+k2r4)
ycorrected=y(1+k1r2+k2r4),
切向畸变所对应的畸变映射为:
xcorrected=x+[2p1y+p2(r2+2x2)]
ycorrected=y+[2p2x+p1(r2+2y2)],
其中,(x,y)为畸变点的原始位置,(xcorrected,ycorrected)为畸变点进行畸变矫正后的新位置,r为该畸变点与主点的距离。
将第二棋盘网格的黑白图像中的点代入上述畸变映射,即可求得每个点进行畸变矫正后坐标,从而实现对第二棋盘网格的黑白图像的畸变矫正。
在对第二棋盘网格的黑白图像进行畸变矫正后,可对进行矫正后的第二棋盘网格的黑白图像进行保存。
S4,根据进行畸变矫正后的第二棋盘网格的黑白图像对摄像头进行再次标定,以得到摄像头的旋转向量和平移向量。
再次标定的方式与步骤S2中初次标定的方式相同,可参照本发明的上述实施例,在此不对再次标定的方式进行赘述。
S5,根据摄像头的旋转向量和平移向量获取第二棋盘网格相对摄像头的位置变换信息,并根据位置变换信息和预设位置的位置信息获取摄像头的安装位置。
在本发明的一个实施例中,摄像头的安装位置可包括摄像头的安装高度和安装角度。
平移向量和旋转向量表征第二棋盘网格相对于摄像头的位置变换。可以获取棋盘网格相对摄像头的位置变换信息b,包括物理世界坐标系原点(棋盘网格第一内角点)到摄像头坐标系原点的平移向量,以及棋盘网格相对于摄像头的角度旋转信息。
在本发明的一个实施例中,位置变换信息b可将棋盘位置描述为:(1)在摄像头坐标原点创建一个棋盘网格;(2)按旋转向量,绕三个轴旋转棋盘网格;(3)按平移向量,将旋转的棋盘网格移到预设位置。
其中,旋转向量包括三个元素,即R=(r1,r2,r3),其中r1、r2、r3的大小分别表示棋盘网格绕x,y,z轴逆时针旋转的角度的弧度值。即,绕x轴旋转的角度为180·r1/π,绕y轴旋转的角度为180·r2/π,绕z轴旋转的角度为180·r3/π。
平移向量包括三个元素,即T2=(t1,t2,t3),其表示如何将世界坐标系原点移动到摄像头坐标系原点,因此T2=世界坐标系原点-摄像头坐标原点。
进一步地,结合棋盘网格的位置信息a与棋盘相对于摄像头的位置变换信息b,可以计算出三个方向的安装角度:
水平方向的角度Ax=a1-180·r1/π;
垂直方向的角度Ay=a2-180·r2/π;
法线方向的角度Az=a3-180·r3/π。
优选地,世界坐标系原点,可设定为棋盘网格左上角第一个内角点,离地面的高度为H1,H1可精确测量,因此摄像头的安装高度H=H1-t2*γ,其中t1为平移向量的第二个元素,γ为棋盘网格中黑白网格的距离。
根据本发明实施例的摄像头标定方法,通过采集棋盘网格的黑白图像,能够强化图像的对比度,减少噪声的干扰,并能够有效规避光照强度对摄像头成像质量的影响,便于确定图像中的点,通过采集多个图像,能够减小随机性,通过对棋盘网格黑白图像进行畸变矫正,能够消除透镜畸变,使得再次标定时主点坐标的偏差也相对较小,通过设置位置固定的第二棋盘网格,能够在标定后获取摄像头的安装位置,由此,能够大大提高摄像头标定的精度,从而能够准确地获取摄像头的安装位置,并且实施简单高效,适用性较广。
进一步地,还可根据畸变映射对每个第一棋盘网格的黑白图像进行畸变矫正,并根据多个进行畸变矫正后的第一棋盘网格的黑白图像和进行畸变矫正后的第二棋盘网格的黑白图像对摄像头进行再次标定,以得到摄像头的内参数。
其中,对每个第一棋盘网格的黑白图像进行畸变矫正的方式与对第二棋盘网格的黑白图像进行畸变矫正的方式相同,根据多个进行畸变矫正后的第一棋盘网格的黑白图像和进行畸变矫正后的第二棋盘网格的黑白图像对摄像头进行再次标定的方式与步骤S2中初次标定的方式相同,具体可参照上述实施例。
在本发明的一个具体实施例中,选用方块数量6×5、方块大小为5cm×5cm的黑白棋盘网格,选用固定焦距f0=6mm、像素尺寸3.75μm×3.75μm、分辨率为1280×720的高清前视摄像头。位置固定的棋盘网格的可放置在与地面垂直,并与摄像头正对,因此a1=a2=a3=0,棋盘网格的第一内角点的高度为H1=100cm。
摄像头的高度约为130cm,水平角度约为30度。
首先,可通过该摄像头采集12张远近距离各不相同,并包括锐角、直角、钝角不同摄像头最大角度,以及位于摄像头视野的上、中、下、左、右不同位置的该棋盘网格的黑白图像,并采集位置固定的棋盘网格的黑白图像。
然后进行第一次标定,具体可将上述13张棋盘网格黑白图像分别转换成8位灰度图像,并在OpenCV中设置参数cvSize(5,4),即角点个数为5×4,输出内外参数矩阵和畸变因子等标定结果。对得到的12组标定结果进行误差处理,得到第一次标定的内外参数矩阵和畸变因子。
接下来进行畸变矫正和保存,具体地,可将第一次标定的内参数矩阵和畸变因子输入到函数cvInitUndistortMap()中,计算得到畸变映射,再用函数cvRemap()对上述13张棋盘网格黑白图像进行矫正并保存。
最后可进行第二次标定,具体可将保存的矫正后的13张棋盘网格黑白图像分别转换为8位灰度图像,并在OpenCV中设置参数cvSize(5,4),即角点个数为5×4,输出内外参数矩阵和畸变因子等标定结果。对得到的13组标定结果进行误差处理,得到第二次标定的内外参数矩阵等。
其中,第一次标定得到的内参数可如表1所示:
表1
f<sub>u1</sub> | u<sub>01</sub> | f<sub>v1</sub> | v<sub>01</sub> |
1670 | 652 | 1666 | 365 |
其中,fu1、fv1为第一次标定得到的以像素为单位的图像坐标系中的归一化焦距,(u01,v01)为第一次标定得到的主点。
第二次标定得到的内参数可如表2所示:
表2
f<sub>u2</sub> | u<sub>02</sub> | f<sub>v2</sub> | v<sub>02</sub> |
1605 | 644 | 1603 | 361 |
其中,fu2、fv2为第二次标定得到的以像素为单位的图像坐标系中的归一化焦距,(u02,v02)为第二次标定得到的主点。
第一次标定的分析结果:
第一次标定的平均焦距为f1=(1670+1666)/2*3.75μm=6.255mm;
第一次标定的误差为(f1-f0)/f0=(6.255-6)/6=4.25%;
第一次标定水平方向主点的偏差为652-1280/2=12;
第一次标定垂直方向主点的偏差为365-720/2=6。
第二标定的分析结果:
第二次标定的平均焦距为f2=(1605+1603)/2*3.75μm=6.015mm;
第二次标定的误差为(f2-f0)/f0=(6.015-6)/6=0.25%;
第二次标定水平方向主点的偏差为644-1280/2=4;
第一次标定垂直方向主点的偏差为361-720/2=1。
可见,通过畸变矫正后进行的第二次标定,标定精度明显较高。
另一方面,第二次标定输出的平移向量T=(0.5,6.1,15),因此可计算出摄像头的安装高度H=100+6.1*5=130.5cm。
第二次标定输出的旋转向量R=(0.52,0,0),
因此摄像头的俯仰角Ax=0-180·0.52/π=29.73度。
对应上述实施例,本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明上述实施例提出的摄像头标定方法。
根据本发明实施例的非临时性计算机可读存储介质,通过执行其存储的计算机程序,能够大大提高摄像头标定的精度,从而能够准确地获取摄像头的安装位置,并且实施简单高效,适用性较广。
对应上述实施例,本发明还提出一种摄像头标定装置。
如图3所示,本发明实施例的摄像头标定装置,包括第一获取模块10、第一标定模块20、畸变矫正模块30、第二标定模块40和第二获取模块50。
其中,第一获取模块10用于根据多个第一棋盘网格的黑白图像和第二棋盘网格的黑白图像对摄像头进行初次标定以得到摄像头的内参数和畸变因子;第一标定模块20用于根据多个第一棋盘网格的黑白图像和第二棋盘网格的黑白图像对摄像头进行初次标定以得到摄像头的内参数和畸变因子;畸变矫正模块30用于根据摄像头的内参数和畸变因子获取畸变映射,并根据畸变映射对第二棋盘网格的黑白图像进行畸变矫正;第二标定模块40用于进行畸变矫正后的第二棋盘网格的黑白图像对摄像头进行再次标定,以得到摄像头的旋转向量和平移向量;第二获取模块50用于根据摄像头的旋转向量和平移向量获取第二棋盘网格相对摄像头的位置变换信息,并根据位置变换信息和预设位置的位置信息获取摄像头的安装位置。
在本发明的一个实施例中,不同视场可包括不同距离、不同角度和不同方位,获取模块10获取的第一棋盘网格的黑白图像的数量大于等于8。
第二棋盘网格可预先放置在摄像头采集范围内的任意位置,在第二棋盘网格的位置固定后,可通过角度仪和刻度尺等获取第二棋盘网格的位置信息a。该位置信息a可包括第二棋盘网格与三个不同方向例如水平方向、垂直方向和法线方向构成的角度,分别记为a1、a2和a3。
具体地,摄像头以与棋盘网格相距不同的距离、不同的摄像头最大角度对图2所示的第一棋盘网格进行拍摄,得到至少8个第一棋盘网格的黑白图像,并且,在不同的第一棋盘网格的黑白图像中,第一棋盘网格位于整幅图像的不同位置处。
并且,摄像头可对位置固定后的第二棋盘网格进行拍摄,得到第二棋盘网格的黑白图像。其中,第二棋盘网格的规格与第一棋盘网格的规格相同。
在本发明的一个实施例中,第一标定模块20可将每个第一棋盘网格的黑白图像和第二棋盘网格的黑白图像转换为单通道图像,并获取每个单通道图像的角点,以及根据每个单通道图像的角点获取摄像头的内参数矩阵和畸变因子。其中,第一标定模块20可通过获取设定的每个单通道图像的角点个数,并根据角点个数对每个单通道图像进行亚像素角点提取以得到每个单通道图像的角点坐标。
具体地,可将每个第一棋盘网格的黑白图像和第二棋盘网格的黑白图像转换成8位灰度图像,并根据第一和第二棋盘网格中的方块数量确定角点个数,例如对于7×8的棋盘网格,角点个数为6×7。然后通过OpenCV,将8位灰度图像和所确定的角点个数作为输入,定义存储角点位置的数组指针,可选地还可定义一个指向所确定的角点个数的整数指针,或将整数指针定义为NULL。设定flag变量为CV_CALIB_CB_ADAPTIVE_THRESH(使用自适应阈值将灰度图像转换为黑白图)丨CV_CALIB_CB_FILTER_QUADS(使用其他的准则,如轮廓面积,周长,方块形状来去除在轮廓检测阶段检测到的错误方块)。由此,输出的结果即为该单通道图像的角点坐标。进一步地,可进行亚像素角点的提取,使获取的角点精度达到亚像素精度。可选地,还可以通过绘制角点的方式,能够确定投影角点是否与观察角点相匹配,如果获取到角点,则将角点使用不同颜色绘制(例如每行使用对应的颜色),并且把获取的多个角点以一定顺序用线连接起来。
在得到每个单通道图像的角点坐标后,第一标定模块20可根据每个单通道图像的角点坐标与用户自己定义的世界坐标,先假定摄像头没有畸变,得到与每一个第一棋盘网格和第二棋盘网格对应的单应性矩阵,再利用旋转向量正交、旋转向量长度相等约束条件,求解出摄像头的内参数矩阵以及旋转向量和平移向量等外参数矩阵,最后求解相关的系统方程,得到畸变因子。
在本发明的一个实施例中,畸变因子可包括两个径向畸变因子k1、k2和两个切向畸变因子p1、p2,其中,两个径向畸变因子k1、k2取自主点即摄像头成像中心周围的泰勒级数展开的前两项。
在通过上述方式根据每个第一棋盘网格的黑白图像和第二棋盘网格的黑白图像完成初次标定后,第一标定模块20可结合多个标定结果得到摄像头的内参数和畸变因子。例如,可对根据多个第一棋盘网格的黑白图像和第二棋盘网格的黑白图像完成标定得到的内参数和畸变因子进行求均值,得到摄像头的内参数和畸变因子。
在本发明的一个实施例中,径向畸变所对应的畸变映射为:
xcorrected=x(1+k1r2+k2r4)
ycorrected=y(1+k1r2+k2r4),
切向畸变所对应的畸变映射为:
xcorrected=x+[2p1y+p2(r2+2x2)]
ycorrected=y+[2p2x+p1(r2+2y2)],
其中,(x,y)为畸变点的原始位置,(xcorrected,ycorrected)为畸变点进行畸变矫正后的新位置,r为该畸变点与主点的距离。
畸变矫正模块30将第二棋盘网格的黑白图像中的点代入上述畸变映射,即可求得每个点进行畸变矫正后坐标,从而实现对第二棋盘网格的黑白图像的畸变矫正。
本发明实施例的摄像头标定装置还可包括存储模块,在对第二棋盘网格的黑白图像进行畸变矫正后,可通过存储模块对进行矫正后的第二棋盘网格的黑白图像进行保存。
第二标定模块40进行再次标定的方式与第一标定模块20进行初次标定的方式相同,可参照本发明的上述实施例,在此不对再次标定的方式进行赘述。
在本发明的一个实施例中,摄像头的安装位置可包括摄像头的安装高度和安装角度。
平移向量和旋转向量表征第二棋盘网格相对于摄像头的位置变换。可以获取棋盘网格相对摄像头的位置变换信息b,包括物理世界坐标系原点(棋盘网格第一内角点)到摄像头坐标系原点的平移向量,以及棋盘网格相对于摄像头的角度旋转信息。
在本发明的一个实施例中,位置变换信息b可将棋盘位置描述为:(1)在摄像头坐标原点创建一个棋盘网格;(2)按旋转向量,绕三个轴旋转棋盘网格;(3)按平移向量,将旋转的棋盘网格移到预设位置。
其中,旋转向量包括三个元素,即R=(r1,r2,r3),其中r1、r2、r3的大小分别表示棋盘网格绕x,y,z轴逆时针旋转的角度的弧度值。即,绕x轴旋转的角度为180·r1/π,绕y轴旋转的角度为180·r2/π,绕z轴旋转的角度为180·r3/π。
平移向量包括三个元素,即T2=(t1,t2,t3),其表示如何将世界坐标系原点移动到摄像头坐标系原点,因此T2=世界坐标系原点-摄像头坐标原点。
进一步地,第二获取模块50结合棋盘网格的位置信息a与棋盘相对于摄像头的位置变换信息b,可以计算得到三个方向的安装角度:
水平方向的角度Ax=a1-180·r1/π;
垂直方向的角度Ay=a2-180·r2/π;
法线方向的角度Az=a3-180·r3/π。
优选地,世界坐标系原点,可设定为棋盘网格左上角第一个内角点,离地面的高度为H1,H1可精确测量,因此第二获取模块50可计算得到摄像头的安装高度H=H1-t2*γ,其中t1为平移向量的第二个元素,γ为棋盘网格中黑白网格的距离。
根据本发明实施例的摄像头标定装置,通过采集棋盘网格的黑白图像,能够强化图像的对比度,减少噪声的干扰,并能够有效规避光照强度对摄像头成像质量的影响,便于确定图像中的点,通过采集多个图像,能够减小随机性,通过对棋盘网格黑白图像进行畸变矫正,能够消除透镜畸变,使得再次标定时主点坐标的偏差也相对较小,通过设置位置固定的第二棋盘网格,能够在标定后获取摄像头的安装位置,由此,能够大大提高摄像头标定的精度,从而能够准确地获取摄像头的安装位置,并且实施简单高效,适用性较广。
进一步地,畸变矫正模块30还用于根据畸变映射对每个第一棋盘网格的黑白图像进行畸变矫正,第二标定模块40还用于根据多个进行畸变矫正后的第一棋盘网格的黑白图像和进行畸变矫正后的第二棋盘网格的黑白图像对摄像头进行再次标定,以得到摄像头的内参数。
其中,对每个第一棋盘网格的黑白图像进行畸变矫正的方式与对第二棋盘网格的黑白图像进行畸变矫正的方式相同,根据多个进行畸变矫正后的第一棋盘网格的黑白图像和进行畸变矫正后的第二棋盘网格的黑白图像对摄像头进行再次标定的方式与初次标定的方式相同,具体可参照上述实施例。
对应上述实施例,本发明还提出一种车辆。
如图4所示,本发明实施例的车辆1000,包括本发明上述实施例提出的摄像头标定装置100,其具体的实施方式可参照上述实施例,为避免冗余,在此不再赘述。
根据本发明实施例的车辆,其摄像头标定的精度较高,从而能够准确地获取摄像头的安装位置。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (14)
1.一种摄像头标定方法,其特征在于,包括以下步骤:
获取通过所述摄像头采集的多个不同视场的第一棋盘网格的黑白图像和通过所述摄像头采集的预设位置的第二棋盘网格的黑白图像;
根据多个所述第一棋盘网格的黑白图像和所述第二棋盘网格的黑白图像对所述摄像头进行初次标定以得到所述摄像头的内参数和畸变因子;
根据所述摄像头的内参数和畸变因子获取畸变映射,并根据所述畸变映射对所述第二棋盘网格的黑白图像进行畸变矫正;
根据进行畸变矫正后的第二棋盘网格的黑白图像对所述摄像头进行再次标定,以得到所述摄像头的旋转向量和平移向量;
根据所述摄像头的旋转向量和平移向量获取所述第二棋盘网格相对所述摄像头的位置变换信息,并根据所述位置变换信息和所述预设位置的位置信息获取所述摄像头的安装位置。
2.根据权利要求1所述的摄像头标定方法,其特征在于,还包括:
根据所述畸变映射对每个所述第一棋盘网格的黑白图像进行畸变矫正;
根据多个进行畸变矫正后的第一棋盘网格的黑白图像和进行畸变矫正后的第二棋盘网格的黑白图像对所述摄像头进行再次标定,以得到所述摄像头的内参数。
3.根据权利要求2所述的摄像头标定方法,其特征在于,根据多个所述第一棋盘网格的黑白图像和所述第二棋盘网格的黑白图像对所述摄像头进行初次标定以得到所述摄像头的内参数和畸变因子,包括:
将每个所述第一棋盘网格的黑白图像和所述第二棋盘网格的黑白图像转换为单通道图像;
获取每个所述单通道图像的角点;
根据每个所述单通道图像的角点获取所述摄像头的内参数矩阵和畸变因子。
4.根据权利要求3所述的摄像头标定方法,其特征在于,获取每个所述单通道图像的角点,包括:
设定每个所述单通道图像的角点个数;
根据所述角点个数对每个所述单通道图像进行亚像素角点提取以得到每个所述单通道图像的角点坐标。
5.根据权利要求1所述的摄像头标定方法,其特征在于,所述不同视场包括不同距离、不同角度和不同方位。
6.根据权利要求1所述的摄像头标定方法,其特征在于,所述摄像头的安装位置包括所述摄像头的安装高度和安装角度。
7.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现根据权利要求1-6中任一项所述的摄像头标定方法。
8.一种摄像头标定装置,其特征在于,包括:
第一获取模块,用于获取通过所述摄像头采集的多个不同视场的第一棋盘网格的黑白图像和通过所述摄像头采集的预设位置的第二棋盘网格的黑白图像;
第一标定模块,用于根据多个所述第一棋盘网格的黑白图像和所述第二棋盘网格的黑白图像对所述摄像头进行初次标定以得到所述摄像头的内参数和畸变因子;
畸变矫正模块,用于根据所述摄像头的内参数和畸变因子获取畸变映射,并根据所述畸变映射对所述第二棋盘网格的黑白图像进行畸变矫正;
第二标定模块,用于根据进行畸变矫正后的第二棋盘网格的黑白图像对所述摄像头进行再次标定,以得到所述摄像头的旋转向量和平移向量;
第二获取模块,用于根据所述摄像头的旋转向量和平移向量获取所述第二棋盘网格相对所述摄像头的位置变换信息,并根据所述位置变换信息和所述预设位置的位置信息获取所述摄像头的安装位置。
9.根据权利要求8所述的摄像头标定装置,其特征在于,所述畸变矫正模块还用于根据所述畸变映射对每个所述第一棋盘网格的黑白图像进行畸变矫正,所述第二标定模块还用于根据多个进行畸变矫正后的第一棋盘网格的黑白图像和进行畸变矫正后的第二棋盘网格的黑白图像对所述摄像头进行再次标定,以得到所述摄像头的内参数。
10.根据权利要求9所述的摄像头标定装置,其特征在于,所述第一标定模块用于将每个所述第一棋盘网格的黑白图像和所述第二棋盘网格的黑白图像转换为单通道图像,并获取每个所述单通道图像的角点,以及根据每个所述单通道图像的角点获取所述摄像头的内参数矩阵和畸变因子。
11.根据权利要求10所述的摄像头标定装置,其特征在于,所述第一标定模块通过获取设定的每个所述单通道图像的角点个数,并根据所述角点个数对每个所述单通道图像进行亚像素角点提取以得到每个所述单通道图像的角点坐标。
12.根据权利要求8所述的摄像头标定装置,其特征在于,所述不同视场包括不同距离、不同角度和不同方位。
13.根据权利要求8所述的摄像头标定装置,其特征在于,所述摄像头的安装位置包括所述摄像头的安装高度和安装角度。
14.一种车辆,其特征在于,包括根据权利要求8-13中任一项所述的摄像头标定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711402242.3A CN109961482A (zh) | 2017-12-22 | 2017-12-22 | 摄像头标定方法、装置和车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711402242.3A CN109961482A (zh) | 2017-12-22 | 2017-12-22 | 摄像头标定方法、装置和车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109961482A true CN109961482A (zh) | 2019-07-02 |
Family
ID=67018966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711402242.3A Pending CN109961482A (zh) | 2017-12-22 | 2017-12-22 | 摄像头标定方法、装置和车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109961482A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110827346A (zh) * | 2019-11-05 | 2020-02-21 | 易视腾科技股份有限公司 | 获取固定平面与其摄像头成像之间映射关系的方法 |
CN111627073A (zh) * | 2020-04-30 | 2020-09-04 | 贝壳技术有限公司 | 一种基于人机交互的标定方法、标定装置和存储介质 |
CN112288822A (zh) * | 2020-09-22 | 2021-01-29 | 苏州艾微视图像科技有限公司 | 一种结合标定的摄像头主动对位方法 |
CN112419423A (zh) * | 2020-10-30 | 2021-02-26 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
CN112927301A (zh) * | 2021-02-04 | 2021-06-08 | 深圳市杉川机器人有限公司 | 摄像头标定方法、装置、计算设备及可读存储介质 |
CN113240752A (zh) * | 2021-05-21 | 2021-08-10 | 中科创达软件股份有限公司 | 一种内参和外参协同标定方法和装置 |
CN113639761A (zh) * | 2021-08-25 | 2021-11-12 | 吉林大学 | 一种利用黑白网格图码的二维平动与转动位移和速度同步非接触测量方法 |
CN114234808A (zh) * | 2021-12-17 | 2022-03-25 | 湖南大学 | 回转类磁脉冲压接件变形区域的尺寸测量方法及装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101630406A (zh) * | 2008-07-14 | 2010-01-20 | 深圳华为通信技术有限公司 | 摄像机的标定方法及摄像机标定装置 |
GB2465793A (en) * | 2008-11-28 | 2010-06-02 | Sony Corp | Estimating camera angle using extrapolated corner locations from a calibration pattern |
US7961936B2 (en) * | 2007-03-30 | 2011-06-14 | Intel Corporation | Non-overlap region based automatic global alignment for ring camera image mosaic |
CN103473758A (zh) * | 2013-05-13 | 2013-12-25 | 中国科学院苏州生物医学工程技术研究所 | 双目立体视觉系统的二次标定方法 |
CN103838437A (zh) * | 2014-03-14 | 2014-06-04 | 重庆大学 | 基于投影图像的触控定位控制方法 |
CN103942796A (zh) * | 2014-04-23 | 2014-07-23 | 清华大学 | 一种高精度的投影仪-摄像机标定系统及标定方法 |
CN104732539A (zh) * | 2015-03-27 | 2015-06-24 | 华中科技大学 | 一种投影仪标定方法 |
CN104835143A (zh) * | 2015-03-31 | 2015-08-12 | 中国航空无线电电子研究所 | 一种快速投影机系统参数标定方法 |
KR20160001868A (ko) * | 2014-06-27 | 2016-01-07 | 충북대학교 산학협력단 | 카메라에서 촬영된 영상의 왜곡을 보정하기 위한 영상 왜곡 보정 방법 |
CN105321160A (zh) * | 2014-05-27 | 2016-02-10 | 穆阳 | 三维立体全景泊车的多摄像头标定方法 |
CN106228537A (zh) * | 2016-07-12 | 2016-12-14 | 北京理工大学 | 一种三维激光雷达与单目摄像机的联合标定方法 |
CN106887023A (zh) * | 2017-02-21 | 2017-06-23 | 成都通甲优博科技有限责任公司 | 用于双目摄像机标定的标定板及其标定方法和标定系统 |
-
2017
- 2017-12-22 CN CN201711402242.3A patent/CN109961482A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7961936B2 (en) * | 2007-03-30 | 2011-06-14 | Intel Corporation | Non-overlap region based automatic global alignment for ring camera image mosaic |
CN101630406A (zh) * | 2008-07-14 | 2010-01-20 | 深圳华为通信技术有限公司 | 摄像机的标定方法及摄像机标定装置 |
GB2465793A (en) * | 2008-11-28 | 2010-06-02 | Sony Corp | Estimating camera angle using extrapolated corner locations from a calibration pattern |
CN103473758A (zh) * | 2013-05-13 | 2013-12-25 | 中国科学院苏州生物医学工程技术研究所 | 双目立体视觉系统的二次标定方法 |
CN103838437A (zh) * | 2014-03-14 | 2014-06-04 | 重庆大学 | 基于投影图像的触控定位控制方法 |
CN103942796A (zh) * | 2014-04-23 | 2014-07-23 | 清华大学 | 一种高精度的投影仪-摄像机标定系统及标定方法 |
CN105321160A (zh) * | 2014-05-27 | 2016-02-10 | 穆阳 | 三维立体全景泊车的多摄像头标定方法 |
KR20160001868A (ko) * | 2014-06-27 | 2016-01-07 | 충북대학교 산학협력단 | 카메라에서 촬영된 영상의 왜곡을 보정하기 위한 영상 왜곡 보정 방법 |
CN104732539A (zh) * | 2015-03-27 | 2015-06-24 | 华中科技大学 | 一种投影仪标定方法 |
CN104835143A (zh) * | 2015-03-31 | 2015-08-12 | 中国航空无线电电子研究所 | 一种快速投影机系统参数标定方法 |
CN106228537A (zh) * | 2016-07-12 | 2016-12-14 | 北京理工大学 | 一种三维激光雷达与单目摄像机的联合标定方法 |
CN106887023A (zh) * | 2017-02-21 | 2017-06-23 | 成都通甲优博科技有限责任公司 | 用于双目摄像机标定的标定板及其标定方法和标定系统 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110827346A (zh) * | 2019-11-05 | 2020-02-21 | 易视腾科技股份有限公司 | 获取固定平面与其摄像头成像之间映射关系的方法 |
CN110827346B (zh) * | 2019-11-05 | 2023-11-24 | 易视腾科技股份有限公司 | 获取固定平面与其摄像头成像之间映射关系的方法 |
CN111627073B (zh) * | 2020-04-30 | 2023-10-24 | 贝壳技术有限公司 | 一种基于人机交互的标定方法、标定装置和存储介质 |
CN111627073A (zh) * | 2020-04-30 | 2020-09-04 | 贝壳技术有限公司 | 一种基于人机交互的标定方法、标定装置和存储介质 |
CN112288822A (zh) * | 2020-09-22 | 2021-01-29 | 苏州艾微视图像科技有限公司 | 一种结合标定的摄像头主动对位方法 |
CN112419423A (zh) * | 2020-10-30 | 2021-02-26 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、电子设备及存储介质 |
CN112927301A (zh) * | 2021-02-04 | 2021-06-08 | 深圳市杉川机器人有限公司 | 摄像头标定方法、装置、计算设备及可读存储介质 |
CN113240752A (zh) * | 2021-05-21 | 2021-08-10 | 中科创达软件股份有限公司 | 一种内参和外参协同标定方法和装置 |
CN113240752B (zh) * | 2021-05-21 | 2024-03-22 | 中科创达软件股份有限公司 | 一种内参和外参协同标定方法和装置 |
CN113639761A (zh) * | 2021-08-25 | 2021-11-12 | 吉林大学 | 一种利用黑白网格图码的二维平动与转动位移和速度同步非接触测量方法 |
CN113639761B (zh) * | 2021-08-25 | 2023-11-10 | 吉林大学 | 一种利用黑白网格图码的二维平动与转动位移和速度同步非接触测量方法 |
CN114234808A (zh) * | 2021-12-17 | 2022-03-25 | 湖南大学 | 回转类磁脉冲压接件变形区域的尺寸测量方法及装置 |
CN114234808B (zh) * | 2021-12-17 | 2022-10-28 | 湖南大学 | 回转类磁脉冲压接件变形区域的尺寸测量方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109961482A (zh) | 摄像头标定方法、装置和车辆 | |
CN109961484A (zh) | 摄像头标定方法、装置和车辆 | |
CN110517325B (zh) | 一种坐标变换及坐标变换的车身周围物体定位方法和系统 | |
CN102971604B (zh) | 用于确定车辆车轮对准的系统和相关方法 | |
CN111380502B (zh) | 标定方法、位置确定方法、装置、电子设备及存储介质 | |
CN109285194B (zh) | 相机标定板及相机标定数据采集方法 | |
JP5091902B2 (ja) | 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム | |
CN108022228A (zh) | 基于SIFT变换和Otsu匹配的彩色眼底图像拼接方法 | |
CN108171787A (zh) | 一种基于orb特征检测的三维重建方法 | |
CN107239748A (zh) | 基于棋盘格标定技术的机器人目标识别与定位方法 | |
CN110223226A (zh) | 全景图像拼接方法及系统 | |
CN105631844A (zh) | 一种摄像机标定方法 | |
CN106815869A (zh) | 鱼眼相机的光心确定方法及装置 | |
CN113313659B (zh) | 一种多机协同约束下高精度图像拼接方法 | |
CN113870357B (zh) | 摄像头外参标定方法、装置、感知设备和存储介质 | |
CN106296703A (zh) | 标定板、摄像头标定方法和装置 | |
CN110097516B (zh) | 内孔壁面图像畸变纠正方法、系统及介质 | |
CN110763204A (zh) | 一种平面编码靶标及其位姿测量方法 | |
CN109345471A (zh) | 基于高精轨迹数据测量绘制高精地图数据方法 | |
US8055100B2 (en) | Method and system for image registration quality confirmation and improvement | |
CN111699513B (zh) | 一种标定板、内参数标定方法、机器视觉系统及存储装置 | |
CN114972531B (zh) | 一种角点检测方法、设备及可读存储介质 | |
CN113963067B (zh) | 一种采用小靶标对大视场视觉传感器进行标定的标定方法 | |
KR101697229B1 (ko) | 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법 | |
CN110390338A (zh) | 一种基于非线性引导滤波与比率梯度的sar高精度匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190702 |
|
RJ01 | Rejection of invention patent application after publication |