CN107194972B - 一种摄像机标定方法及系统 - Google Patents

一种摄像机标定方法及系统 Download PDF

Info

Publication number
CN107194972B
CN107194972B CN201710344476.0A CN201710344476A CN107194972B CN 107194972 B CN107194972 B CN 107194972B CN 201710344476 A CN201710344476 A CN 201710344476A CN 107194972 B CN107194972 B CN 107194972B
Authority
CN
China
Prior art keywords
image
camera
calibration
calibration module
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710344476.0A
Other languages
English (en)
Other versions
CN107194972A (zh
Inventor
唐荣富
罗林
周剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Topplusvision Science & Technology Co ltd
Original Assignee
Chengdu Topplusvision Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Topplusvision Science & Technology Co ltd filed Critical Chengdu Topplusvision Science & Technology Co ltd
Priority to CN201710344476.0A priority Critical patent/CN107194972B/zh
Publication of CN107194972A publication Critical patent/CN107194972A/zh
Priority to PCT/CN2017/120321 priority patent/WO2018209968A1/zh
Application granted granted Critical
Publication of CN107194972B publication Critical patent/CN107194972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机视觉技术,其公开了一种摄像机标定方法,解决传统技术中的摄像机标定方法存在的操作繁琐复杂、标定精度低、鲁棒性差的问题。该方法包括以下步骤:a.安装由多个标定板组成的标定模组;b.拍摄标定模组,获取标定模组图像;c.对标定组图像进行分块;d.对每一个图像块进行特征点检测;e.将特征点坐标还原到原标定模组图像坐标;f.对相机参数进行优化。此外,本发明还公开了相应的摄像机标定系统,适用于摄像机标定。

Description

一种摄像机标定方法及系统
技术领域
本发明涉及计算机视觉技术,具体涉及一种摄像机标定方法及系统。
背景技术
摄像机标定是摄影测量以及机器视觉等应用中的一个关键环节,影像的质量是决定后期数据处理与最终成果精度与准确性的重要因素之一。由于镜头制作工艺、原材料质量等因素的限制,不可避免地出现畸变,这些畸变将导致后期处理中产生诸如精度损失、影像形变等问题。
相机标定的主要作用是计算以及估计相机的内部参数,畸变参数,使得在后期图像处理过程中能够根据这些参数估计还原图像,得到质量好的图像。迄今为止,对于摄像机标定问题已经提出了很多方法,一般的,摄像机标定方法一般分为两类,即摄像机自标定方法和传统摄像机标定方法。摄像机自标定方法不需要特定的标定参照物,通过记录摄像机在运动过程中周围环境的图像与图像之间的对应关系来对摄像机进行标定。目前这一类标定方法有:基于主动视觉的摄像机自标定技术(基于平移运动的自标定技术和基于旋转运动的自标定技术),基于Kruppa方程的摄像机自标定方法,分层逐步标定法,基于二次曲面的自标定方法等。传统的摄像机标定是在一定的摄像机模型下,基于特定的标定参照物,通过对其进行图像处理以及利用一系列数学变换方法,求取摄像机模型的参数。目前这类成熟的表定方法包括:基于3D立体标定物的摄像机标定(摄像机透视变换矩阵的标定方法)、基于2D平面标定物的摄像机标定(张正友标定法),以及基于径向约束的摄像机标定(Tsai两步法)等。
自标定方法比较灵活,但是由于标定过程中未知参数过多,所以很难得到稳定的标定结果。并且,已有的摄像机自标定方法一般无法标定出摄像机外部参数。一般来说,自标定方法主要应用于精度要求不高的场合(如通讯、虚拟现实等)。当应用场合所要求的精度很高且摄像机的参数不经常变化时,传统标定方法为首选。基于3D立体标定物的摄像机标定方法,所采用的3D立体标定物对于三维精度要求很高,制作成本较高。由于在实施过程中忽略了摄像机的非线性畸变,导致摄像机标定精度受到很大影响;基于2D平面标定物的摄像机标定方法具有较好的鲁棒性,并且不需昂贵的精制3D标定物,实用性较强,但是该方法要求摄像机在两个以上不同的方位拍摄一个平面标定物,操作较复杂。基于径向约束的摄像机标定方法的精度比较高,适用于精密测量,但此方法不能具体标定得出部分内部参数,并且对设备的要求也很高,不适用于简单的标定。
发明内容
本发明所要解决的技术问题是:提出一种摄像机标定方法及系统,解决传统技术中的摄像机标定方法存在的操作繁琐复杂、标定精度低、鲁棒性差的问题。
本发明解决上述技术问题所采用的方案是:
一种摄像机标定方法,包括以下步骤:
a.拍摄多板单图标定模组图像;
b.对多板单图标定模组图像进行分块;
c.对多板单图标定模组图像拆分的每一个块进行特征点检测;
d.将特征点坐标还原到原标定模组图像坐标;
e.标定相机内外参数并进行优化。
作为进一步优化,步骤a中,还包括:拍摄单板单图标定模组图像;
所述单板单图标定模组仅包含一个标定板;在拍摄单板单图标定模组前,调整摄像机与单板单图标定模组的相对位置:调整摄像机的拍摄方向和拍摄角度为单板单图标定模组正前方,摄像机的中心与单板单图的中心在同一水平面上;在对单板单图标定模组进行拍摄后,通过左相机拍摄的图像称为单板单图标定模组左图像,通过右相机拍摄的图像称为单板单图标定模组右图像;
所述多板单图标定模组包含多个标定板,所述多个标定板所在平面两两相交;在拍摄多板单图标定模组图像前,调整摄像机与多板单图标定模组的相对位置:调整摄像机的拍摄方向和拍摄角度为多板单图标定模组正前方,摄像机的中心与多板单图标定模组的中心在同一水平面上;在对多板单图标定模组进行拍摄后,通过左相机拍摄的图像称为多板单图标定模组左图像,通过右相机拍摄的图像称为多板单图标定模组右图像。
作为进一步优化,步骤b中,所述对多板单图标定组图像进行分块具体包括:
将多板单图标定模组左图像和右图像分别拆分成N个图像块,其中,每个块都能够完整包含且仅仅包含一个标定板,属于同一张图像的图像块按顺序存入同一个块存储栈。
作为进一步优化,步骤c中,还包括:对单板单图标定模组图像进行特征点检测;对所述多板单图标定模组图像拆分的每一个块及单板单图标定模组图像进行特征点检测的具体方法是利用Harris算法通过检测棋盘格内角点作为图像特征点,并求特征点亚像素级精度,具体包括:
c1.利用水平、竖直差分算子对图像每个像素进行滤波以求得Ix、Iy,进而求得像素点n中四个元素的值,如下:
Figure BDA0001296121050000031
其中,
Figure BDA0001296121050000032
其中,Ix、Iy分别是水平和垂直方向的方向导数;
c2.利用离散二维零均值高斯滤波器对像素点n中的四个元素进行平滑滤波,离散二维零均值高斯函数为:
Figure BDA0001296121050000033
c3.对每一个特征点q求亚像素级精度:假设点q在实际亚像素级角点的附近,且在一个区域A的边缘,点p在区域A的内部,p处的梯度为0,那么,通过找到p点周围多组梯度以及多个向量
Figure BDA0001296121050000034
这些梯度与对应的向量
Figure BDA0001296121050000035
的点积为0,然后通过求解方程组,方程组的解即为角点q的亚像素级精度的位置,也就是角点的精确位置,记为(x,y);
c4.将特征点按行或列的顺序进行顺序编号。
作为进一步优化,步骤d中,所述将特征点坐标还原到原标定模组图像坐标的方法包括:
对于每一块图像上检测到的特征点p(x,y),通过以下关系找到其在原标定模组图像的坐标P(X,Y):
Figure BDA0001296121050000041
其中,点(ox,oy)为分块图像的原点在原标定模组图像中的坐标。
作为进一步优化,步骤e中,所述标定相机内外参数,具体包括:
e1.建立理想针孔成像模型:
Figure BDA0001296121050000042
其中,(xw,yw,0)为图像中点(u,v)在世界坐标中的对应点的坐标,r1,r2,r3分别为旋转矩阵R的三个列向量,s是一个比例系数,[xw,yw,0]T为点P在世界坐标系下的坐标;[u,v]T为点P在图像平面上的理想像点坐标;R、t分别为从世界坐标系到相机坐标系的旋转变换矩阵和平移变换向量;K为相机内部参数矩阵;(u0,v0)为图像平面的主点坐标;α,β分别为图像在u轴和v轴的主距参数;γ为图像扭曲参数,表示图像两坐标轴偏斜度;
e2.确定两个平面之间的单应矩阵:由针孔成像模型推算出两个平面之间的关系,即求单应矩阵:
H=[h1 h2 h3]=K[r 1r2 0],则两个平面内的对应点的对应关系为:
Figure BDA0001296121050000043
将图像中的点的坐标带入此方程,由多个方程联立求解即可求出单应矩阵H;
e3.利用约束条件求解内参矩阵K:
由[h1 h2 h3]=λK[r 1r2 t],以及旋转列向量r1,r2的单位正交,旋转向量模为1,得到如下约束方程:
Figure BDA0001296121050000044
其中,该方程包含内参矩阵的5个未知参数,由3个单应矩阵在上述2个约束条件下可产生6个方程,将三个标定板平面的图像带入此方程,即可解出相机内参矩阵K;
e4.基于内参矩阵估算外部参数R,T:
相机外部参数表示相机内摄像头之间的旋转平移关系,由[h1 h2 h3]=λK[r1 r2t],可以解出:
Figure BDA0001296121050000051
通过步骤e1-e4即可计算获得相机的内部参数和外部参数。
作为进一步优化,步骤e中,所述对相机参数进行优化,具体包括:
建立标定模组与相机图像之间的重投影关系,通过最小化重投影误差,最后得到精准的相机内参矩阵、畸变矩阵、以及旋转矩阵和平移矩阵。
此外,本发明还提出了一种摄像机标定系统,其包括摄像机、标定模组;所述标定模组包括多板单图标定模组;所述多板单图标定模组包括多个标定板,所述多个标定板所在平面不都在同一个平面;
所述摄像机包括图像获取模块、图像拆分模块、特征点提取模块、特征点还原模块、相机标定模块;
所述图像获取模块,用于拍摄多板单图标定模组,获取多板单图标定模组图像;
所述图像拆分模块,用于对多板单图标定模组图像进行分块;
所述特征点提取模块,用于对多板单图标定模组图像拆分的每一个块;
所述特征点还原模块,用于将每一个图像块特征点坐标还原到原标定模组图像坐标;
相机标定模块,用于根据相机的初始参数以及相机的初始相对姿态信息,结合检测到的特征点信息,标定相机内外参数。
作为进一步优化,所述多个标定板所在平面两两相交。
作为进一步优化,所述标定模组还包括单板单图标定模组;所述单板单图标定模组仅含一个标定板;所述图像获取模块还用于拍摄单板单图标定模组,获取单板单图标定模组图像;所述特征点提取模块还用于对单板单图标定模组图像进行特征点检测。
本发明的有益效果是:
1)利用若干标定板组成一个多板单图标定模组,使得标定过程简单,标定精度高;
2)多板单图标定模组内的多个标定板所在平面不都在一个平面上,解决了传统方法中需要多次多角度拍摄标定板从而完成标定的麻烦问题,同时,降低了由于多次操作引起的人为操作误差的可能性;
3)利用多板单图标定模组与单板单图标定模组相结合的方法对相机参数进行标定,降低了由于畸变引起的一系列误差。
附图说明
图1为本发明实施例1中的基于多板单图的摄像机标定系统示意图;
图2为本发明实施例1中的基于多板单图标定模组的摄像机标定方法流程图;
图3为本发明实施例2中的基于混合标定模组的摄像机标定方法流程图;
图4为图像分块示意图。
具体实施方式
本发明旨在提出一种摄像机标定系统及方法,解决传统技术中的摄像机标定方法存在的操作繁琐复杂、标定精度低、鲁棒性差的问题。在本发明中,采用多板单图标定模组或者多板单图标定模组与单板单图标定模组相结合的方法对相机参数进行标定,降低了由于畸变引起的一系列误差,多板单图标定模组由多个标定板构成,且标定板所在的平面不都在一个平面上,在拍摄标定模组时,只需拍摄一次,从而避免传统技术中多次多角度拍摄标定板的繁琐步骤,也降低了人为操作误差的可能性,在获取多板单图标定模组图像后对图像进行拆分,然后对拆分后的图像块及单板单图模组图像进行特征提取,并将特征点坐标还原到原标定模组图像坐标,最后,本发明采用一种优化的张正友标定法标定相机内外参数。
下面结合附图及实施例对本发明的方案作进一步的描述:
实施例1:
本实施例中的基于多板单图的摄像机标定系统如图1所示,其包括摄像机1、标定模组;所述标定模组为多板单图标定模组;包括4个所在平面不都在同一个平面上的标定板2;
所述摄像机1包括图像获取模块、图像拆分模块、特征点提取模块、特征点还原模块、相机标定模块;
所述图像获取模块,用于拍摄多板单图标定模组,获取多板单图标定模组图像;
所述图像拆分模块,用于对多板单图标定模组图像进行分块;
所述特征点提取模块,用于对多板单图标定模组图像拆分的每一个块进行特征点检测;
所述特征点还原模块,用于将每一个图像块特征点坐标还原到原标定模组图像坐标;
相机标定模块,用于根据相机的初始参数以及相机的初始相对姿态信息,结合检测到的特征点信息,标定相机内外参数。
基于上述摄像机标定系统,本发明实施例提供的标定方法如图2所示,包括以下步骤:
步骤1、安装标定模组:为了解决传统标定方法的标定过程中因需要多个角度移动拍摄标定板引起的标定误差和操作复杂度,本发明提出利用多个标定板组成一个标定模组,这些标定板所在平面不都在同一个平面,优选的,这些标定板所在平面两两相交。本发明中所述“多个”是指两个或两个以上。
步骤2、拍摄标定模组,获取标定模组图像:利用摄像机拍摄标定模组,优选的,拍摄方向和角度为模组正前方,摄像机中心与模组中心在一个水平面上,这样能够使得成像清晰。其中,左相机获得图像称为左图像,右相机获得图像称为右图像(下同)。
步骤3、拆分图像:对图像进行分块,并将图像分块按顺序存入一个块栈中:具体实现时,将左图像和右图像分别拆分成N块,其中,每块都能够完整包含且仅仅包含一个标定板,属于同一张图像的块按顺序存入同一个块存储栈中。本实施例将左图像分块存入块栈S1,右图像分块存入块栈S2,S1={Al,Bl,Cl,Dl},S2={Ar,Br,Cr,Dr}。对属于同一张图像的块按拆分出来的先后顺序存入同一个块存储栈中,能够能够减少寻找对应块的时间,方便左图像和右图像之间的匹配。
图4示意了对图像分块拆分的具体手段:若标定模组由A、B、C、D四个标定板组成,则对应将拍摄获取的图像分成4块,由此保证每个图像块能够包含且仅仅包含一个标定板。
步骤4、特征点检测:将拆分后的图像的每一块图像进行特征点检测,并将特征点进行顺序编号。本发明通过检测棋盘格内角点作为图像特征点,并求特征点亚像素级精度。利用Harris算法检测特征点,具体如下:
步骤4.1、利用水平、竖直差分算子对图像每个像素进行滤波以求得Ix、Iy,进而求得像素点n中四个元素的值,如下:
Figure BDA0001296121050000081
其中,
Figure BDA0001296121050000082
其中,Ix、Iy分别是水平和垂直方向的方向导数。
步骤4.2、对像素点n中的四个元素进行平滑滤波,得到新的m值。在此,利用离散二维零均值高斯滤波器对n的四个元素进行平滑。离散二维零均值高斯函数为:
Figure BDA0001296121050000083
步骤4.3、对每一个特征点q求亚像素级精度,具体操作方式为:假设点q在实际亚像素级角点的附近且在一个区域A的边缘,点p在区域A的内部,p处的梯度为0,那么,通过找到p点周围很多组梯度以及很多个向量
Figure BDA0001296121050000084
这些梯度与对应的向量
Figure BDA0001296121050000085
的点积为0,然后通过求解方程组,方程组的解即为角点q的亚像素级精度的位置,也就是角点的精确位置,记为(x,y)。
步骤4.4、将特征点按行或列的顺序进行顺序编号。
步骤5、还原特征点坐标:将特征点坐标还原到原图像坐标。在图像分块检测特征点的过程中,分块图像角点的坐标是由计算机检测出的坐标,然而,相机标定是针对原来的整张图像进行,因此,需要将检测到的图像块的特征点坐标还原到其在原来多板标定模组图像的坐标。具体为:
对于每一块图像上检测到的特征点p(x,y),通过以下关系找到其在原来多板标定模组图像的坐标P(X,Y):
Figure BDA0001296121050000091
其中,点(ox,oy)为分块图像的原点在原图像的坐标。
步骤6、标定相机内外参数并进行优化;
摄像机内部参数描述的是能够反映摄像机的成像特性的参数,包括内参矩阵K,畸变矩阵D,相机外部参数便是两个摄像头之间的旋转和平移关系。本发明利用一种改进的张正友标定法对相机进行标定。具体如下:
步骤6.1、建立理想针孔成像模型:
Figure BDA0001296121050000092
其中,其中,(xw,yw,0)为图像中点(u,v)在世界坐标中的对应点的坐标,r1,r2,r3分别为旋转矩阵R的三个列向量,s是一个比例系数,通过上述方程计算得到;[xw,yw,0]T为点P在世界坐标系下的坐标;[u,v]T为点P在图像平面上的理想像点坐标;R和t为从世界坐标系到相机坐标系的旋转变换矩阵和平移变换向量;K为相机内部参数矩阵;(u0,v0)为图像平面的主点坐标;α,β分别为图像在u轴和v轴的主距参数;γ为图像扭曲参数,表示图像两坐标轴偏斜度,并假设标定板平面在世界坐标系Z=0的平面上。
步骤6.2、确定两个平面之间的单应矩阵:由针孔模型推算出两个平面之间的关系,即求单应矩阵。
单应矩阵为:H=[h1 h2 h3]=K[r1 r2 0],则两个平面内的对应点的对应关系为:
Figure BDA0001296121050000101
将图像中的点的坐标带入此方程,由多个方程联立求解(最少四个点),即可求出单应矩阵H。
步骤6.3、利用约束条件求解内参矩阵K:
由[h1 h2 h3]=λK[r 1r2 t],以及旋转列向量r1,r2的单位正交,旋转向量模为1,得到如下约束方程:
Figure BDA0001296121050000102
其中,这个方程包含内参矩阵的5个未知参数,由3个单应矩阵在上述2个约束条件下可以产生6个方程。将三个标定板平面的图像带入此方程,即可解出相机内参矩阵K。
步骤6.4、基于内参估算外部参数R,T:
相机外部参数表示相机内摄像头之间的旋转平移关系,由[h1 h2 h3]=λK[r1 r2t],可以解出:
Figure BDA0001296121050000103
在对相机内外参数标定后,根据相机的初始参数以及相机的初始相对姿态信息,结合检测到的特征点信息,对相机参数进行优化。
相机的初始参数包括相机物理焦距、像元尺寸、基线长度等。由于一般方法标定出的相机参数不理想,因此需要对初始参数进行优化,得到精确的相机内参矩阵、畸变矩阵以及旋转矩阵和平移矩阵。优化过程描述为:建立标定模组与相机图像之间的重投影关系,通过最小化重投影误差,最后得到精准的相机内参矩阵和畸变矩阵,以及旋转矩阵和平移矩阵。
采用上述多板单图的标定方法,能够解决传统方法中需要多次多角度拍摄标定板的麻烦反锁问题,通过一次拍摄就能获得多个方向多个角度的图像,降低了多次操作引起的人为误差,进而简化标定流程,提高标定精度。
实施例2:
本实施例中提供的摄像机标定系统,是一种基于多板单图和单板单图的混合标定系统,其包括摄像机和标定模组,与实施例1不同的是,此标定模组在实施例1中所述的多板单图的标定模组的基础上,还增加了单板单图标定模组,所述单板单图模组仅包含一个标定板;
所述摄像机包括图像获取模块、图像拆分模块、特征点提取模块、特征点还原模块、相机标定模块;
所述图像获取模块,用于拍摄多板单图标定模组,获取多板单图标定模组图像;以及拍摄单板单图标定模组,获取单板单图标定模组图像;
所述图像拆分模块,用于对多板单图标定模组图像进行分块;
所述特征点提取模块,用于对多板单图标定模组图像拆分的每一个块以及单板单图标定模组图像进行特征点提取;
所述特征点还原模块,用于将每一个图像块特征点坐标还原到原标定模组图像坐标;
相机标定模块,用于根据相机的初始参数以及相机的初始相对姿态信息,结合检测到的特征点信息,标定相机内外参数。
基于上述摄像机标定系统,本发明实施例提供的混合标定方法如图3所示,相比实施例1中的标定方法,其多了获取单板单图模组图像、对单板单图模组图像进行特征点提取的步骤;
本实施例中的混合标定方法具体包括:
步骤1、拍摄多板单图标定模组图像:
步骤2、拍摄单板单图模组图像:
步骤3、拆分多板单图标定模组图像;
步骤4、对拆分的多板单图每一个图像块以及单板单图模组图像进行特征点检测:
步骤5、将每一块图的特征点坐标还原到原图像坐标;
步骤6、标定相机内外参数并进行优化。
采用本实施例的混合标定模组标定,其不仅能够解决实施例1所解决的问题,由于单板单图与多半单图的混合使用,还能够消除由于基表不均衡引起的误差,另一方面,可以通过调节多板单图标定模组和单板单图标定模组之间的距离,使得标定出来的相机参数的使用区域变宽。

Claims (8)

1.一种摄像机标定方法,其特征在于,包括以下步骤:
a.拍摄多板单图标定模组图像和单板单图标定模组图像;所述多板单图标定模组由多个标定板构成,且标定板所在的平面不都在一个平面上;所述单板单图标定模组仅包含一个标定板;
b.对多板单图标定模组图像进行分块:将多板单图标定模组左图像和右图像分别拆分成N个图像块,其中,每个块都能够完整包含且仅仅包含一个标定板,属于同一张图像的图像块按顺序存入同一个块存储栈;
c.对多板单图标定模组图像拆分的每一个块以及单板单图标定模组图像进行特征点检测;
d.将特征点坐标还原到原标定模组图像坐标;
e.标定相机内外参数并进行优化。
2.如权利要求1所述的一种摄像机标定方法,其特征在于,步骤a中,还包括:
在拍摄单板单图标定模组前,调整摄像机与单板单图标定模组的相对位置:调整摄像机的拍摄方向和拍摄角度为单板单图标定模组正前方,摄像机的中心与单板单图的中心在同一水平面上;在对单板单图标定模组进行拍摄后,通过左相机拍摄的图像称为单板单图标定模组左图像,通过右相机拍摄的图像称为单板单图标定模组右图像;
所述多板单图标定模组包含多个标定板,所述多个标定板所在平面两两相交;在拍摄多板单图标定模组图像前,调整摄像机与多板单图标定模组的相对位置:调整摄像机的拍摄方向和拍摄角度为多板单图标定模组正前方,摄像机的中心与多板单图标定模组的中心在同一水平面上;在对多板单图标定模组进行拍摄后,通过左相机拍摄的图像称为多板单图标定模组左图像,通过右相机拍摄的图像称为多板单图标定模组右图像。
3.如权利要求1所述的一种摄像机标定方法,其特征在于,步骤c中,还包括:对所述多板单图标定模组图像拆分的每一个块及单板单图标定模组图像进行特征点检测的具体方法是利用Harris算法通过检测棋盘格内角点作为图像特征点,并求特征点亚像素级精度,具体包括:
c1.利用水平、竖直差分算子对图像每个像素进行滤波以求得Ix、Iy,进而求得像素点n中四个元素的值,如下:
Figure FDA0002708833860000021
其中,
Figure FDA0002708833860000022
其中,Ix、Iy分别是水平和垂直方向的方向导数;
c2.利用离散二维零均值高斯滤波器对像素点n中的四个元素进行平滑滤波,离散二维零均值高斯函数为:
Figure FDA0002708833860000023
c3.对每一个特征点q求亚像素级精度:假设点q在实际亚像素级角点的附近,且在一个区域A的边缘,点p在区域A的内部,p处的梯度为0,那么,通过找到p点周围多组梯度以及多个向量
Figure FDA0002708833860000024
这些梯度与对应的向量
Figure FDA0002708833860000025
的点积为0,然后通过求解方程组,方程组的解即为角点q的亚像素级精度的位置,也就是角点的精确位置,记为(x,y);
c4.将特征点按行或列的顺序进行顺序编号。
4.如权利要求1所述的一种摄像机标定方法,其特征在于,
步骤d中,所述将特征点坐标还原到原标定模组图像坐标的方法包括:
对于每一块图像上检测到的特征点p(x,y),通过以下关系找到其在原标定模组图像的坐标P(X,Y):
Figure FDA0002708833860000026
其中,点(ox,oy)为分块图像的原点在原标定模组图像中的坐标。
5.如权利要求1所述的一种摄像机标定方法,其特征在于,步骤e中,所述标定相机内外参数,具体包括:
e1.建立理想针孔成像模型:
Figure FDA0002708833860000031
其中,(xw,yw,0)为图像中点(u,v)在世界坐标中的对应点的坐标,r1,r2,r3分别为旋转矩阵R的三个列向量,s是一个比例系数,[xw,yw,0]T为点P在世界坐标系下的坐标;[u,v]T为点P在图像平面上的理想像点坐标;R、t分别为从世界坐标系到相机坐标系的旋转变换矩阵和平移变换向量;K为相机内部参数矩阵;(u0,v0)为图像平面的主点坐标;α,β分别为图像在u轴和v轴的主距参数;γ为图像扭曲参数,表示图像两坐标轴偏斜度;
e2.确定两个平面之间的单应矩阵:由针孔成像模型推算出两个平面之间的关系,即求单应矩阵:
H=[h1 h2 h3]=K[r1 r2 0],则两个平面内的对应点的对应关系为:
Figure FDA0002708833860000032
将图像中的点的坐标带入此方程,由多个方程联立求解即可求出单应矩阵H;
e3.利用约束条件求解内参矩阵K:
由[h1 h2 h3]=λK[r1 r2 t],以及旋转列向量r1,r2的单位正交,旋转向量模为1,得到如下约束方程:
Figure FDA0002708833860000033
其中,该方程包含内参矩阵的5个未知参数,由3个单应矩阵在上述2个约束条件下可产生6个方程,将三个标定板平面的图像带入此方程,即可解出相机内参矩阵K;
e4.基于内参矩阵估算外部参数R,T:
相机外部参数表示相机内摄像头之间的旋转平移关系,由[h1 h2 h3]=λK[r1 r2 t],可以解出:
Figure FDA0002708833860000041
通过步骤e1-e4即可计算获得相机的内部参数和外部参数。
6.如权利要求5所述的一种摄像机标定方法,其特征在于,步骤e中,所述对相机参数进行优化,具体包括:
建立标定模组与相机图像之间的重投影关系,通过最小化重投影误差,最后得到精准的相机内参矩阵、畸变矩阵、以及旋转矩阵和平移矩阵。
7.一种摄像机标定系统,其包括摄像机、标定模组,其特征在于;所述标定模组包括多板单图标定模组和单板单图标定模组;所述多板单图标定模组包括多个标定板,所述多个标定板所在平面不都在同一个平面;所述单板单图标定模组仅含一个标定板;
所述摄像机包括图像获取模块、图像拆分模块、特征点提取模块、特征点还原模块、相机标定模块;
所述图像获取模块,用于拍摄多板单图标定模组和单板单图标定模组,获取多板单图标定模组图像和单板单图标定模组图像;
所述图像拆分模块,用于对多板单图标定模组图像进行分块:将多板单图标定模组左图像和右图像分别拆分成N个图像块,其中,每个块都能够完整包含且仅仅包含一个标定板,属于同一张图像的图像块按顺序存入同一个块存储栈;
所述特征点提取模块,用于对多板单图标定模组图像拆分的每一个块和单板单图标定模组图像进行特征点检测;
所述特征点还原模块,用于将每一个图像块特征点坐标还原到原标定模组图像坐标;
相机标定模块,用于根据相机的初始参数以及相机的初始相对姿态信息,结合检测到的特征点信息,标定相机内外参数。
8.如权利要求7所述的一种摄像机标定系统,其特征在于,所述多个标定板所在平面两两相交。
CN201710344476.0A 2017-05-16 2017-05-16 一种摄像机标定方法及系统 Active CN107194972B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710344476.0A CN107194972B (zh) 2017-05-16 2017-05-16 一种摄像机标定方法及系统
PCT/CN2017/120321 WO2018209968A1 (zh) 2017-05-16 2017-12-29 摄像机标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710344476.0A CN107194972B (zh) 2017-05-16 2017-05-16 一种摄像机标定方法及系统

Publications (2)

Publication Number Publication Date
CN107194972A CN107194972A (zh) 2017-09-22
CN107194972B true CN107194972B (zh) 2021-04-02

Family

ID=59872649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710344476.0A Active CN107194972B (zh) 2017-05-16 2017-05-16 一种摄像机标定方法及系统

Country Status (2)

Country Link
CN (1) CN107194972B (zh)
WO (1) WO2018209968A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194972B (zh) * 2017-05-16 2021-04-02 成都通甲优博科技有限责任公司 一种摄像机标定方法及系统
CN108230396A (zh) * 2017-12-08 2018-06-29 深圳市商汤科技有限公司 标定装置和标定设备
CN107993268B (zh) * 2017-12-26 2021-11-30 广东工业大学 一种相机自标定的方法及系统
CN108334199A (zh) * 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置
CN108986170B (zh) * 2018-07-03 2020-11-06 武汉精测电子集团股份有限公司 一种适用于现场工况的线阵相机平场校正方法
JP7219561B2 (ja) * 2018-07-18 2023-02-08 日立Astemo株式会社 車載環境認識装置
CN109389649B (zh) * 2018-09-27 2020-11-03 北京伟景智能科技有限公司 双目相机的快速标定方法和装置
CN109636859B (zh) * 2018-12-24 2022-05-10 武汉大音科技有限责任公司 一种基于单相机的三维视觉检测的标定方法
CN110264524B (zh) * 2019-05-24 2023-07-21 联想(上海)信息技术有限公司 一种标定方法、装置、系统及存储介质
CN110189380B (zh) * 2019-05-30 2021-12-07 Oppo广东移动通信有限公司 标定数据的优化方法、结构光模组及存储介质
CN112116662A (zh) * 2019-06-20 2020-12-22 上海炬佑智能科技有限公司 摄像头校正用设备
CN110517321B (zh) * 2019-07-10 2022-05-17 湖南交工智能技术有限公司 相机标定方法、相机及存储介质
CN112785650B (zh) * 2019-11-11 2024-01-12 北京京邦达贸易有限公司 一种相机参数标定方法及装置
CN112907675B (zh) * 2019-11-19 2022-05-24 浙江商汤科技开发有限公司 图像采集设备的标定方法、装置、系统、设备及存储介质
CN112907676B (zh) * 2019-11-19 2022-05-10 浙江商汤科技开发有限公司 传感器的标定方法、装置、系统、车辆、设备及存储介质
TWI720869B (zh) * 2020-04-15 2021-03-01 致伸科技股份有限公司 相機模組之對位方法
CN113538564A (zh) * 2020-04-17 2021-10-22 致伸科技股份有限公司 相机模块的对位方法
CN112611361A (zh) * 2020-12-08 2021-04-06 华南理工大学 一种无人机机载测绘吊舱的摄像头安装误差测定方法
CN112927301B (zh) * 2021-02-04 2024-09-13 深圳市杉川机器人有限公司 摄像头标定方法、装置、计算设备及可读存储介质
CN112991466B (zh) * 2021-04-26 2021-09-10 杭州灵西机器人智能科技有限公司 一种基于不完整标定板的相机标定的方法和系统
CN114419168B (zh) * 2022-01-21 2022-09-09 北京微链道爱科技有限公司 一种图像特征点的标定方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065313A (zh) * 2010-11-16 2011-05-18 上海大学 平行式相机阵列的未标定多视点图像校正方法
CN105528785A (zh) * 2015-12-03 2016-04-27 河北工业大学 一种双目视觉图像立体匹配方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1851752A (zh) * 2006-03-30 2006-10-25 东南大学 三维重构系统中双摄像机标定方法
JP2009134509A (ja) * 2007-11-30 2009-06-18 Hitachi Ltd モザイク画像生成装置及びモザイク画像生成方法
CN100557635C (zh) * 2008-06-10 2009-11-04 北京航空航天大学 一种基于柔性立体靶标的摄像机标定方法
CN102135236B (zh) * 2011-01-05 2013-05-01 北京航空航天大学 双目视觉管道内壁自动无损检测方法
KR20130035422A (ko) * 2011-09-30 2013-04-09 삼성전기주식회사 카메라 모듈의 보정 장치
CN103413319A (zh) * 2013-08-27 2013-11-27 哈尔滨工业大学 一种工业摄像机参数现场标定方法
US9596459B2 (en) * 2014-09-05 2017-03-14 Intel Corporation Multi-target camera calibration
CN106600648A (zh) * 2016-12-06 2017-04-26 合肥工业大学 标定相机内参数和畸变系数的立体编码靶标及其标定方法
CN106548477B (zh) * 2017-01-24 2019-03-29 长沙全度影像科技有限公司 一种基于立体标定靶的多路鱼眼相机标定装置及方法
CN107194972B (zh) * 2017-05-16 2021-04-02 成都通甲优博科技有限责任公司 一种摄像机标定方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065313A (zh) * 2010-11-16 2011-05-18 上海大学 平行式相机阵列的未标定多视点图像校正方法
CN105528785A (zh) * 2015-12-03 2016-04-27 河北工业大学 一种双目视觉图像立体匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于柔性立体靶标的摄像机标定;孙军华等;《光学学报》;20091231;第29卷(第12期);第3433-3439页 *

Also Published As

Publication number Publication date
WO2018209968A1 (zh) 2018-11-22
CN107194972A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
CN107194972B (zh) 一种摄像机标定方法及系统
CN109272570B (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
KR102487546B1 (ko) 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
CN108629810B (zh) 双目相机的标定方法、装置及终端
CN106887023A (zh) 用于双目摄像机标定的标定板及其标定方法和标定系统
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
Henrique Brito et al. Radial distortion self-calibration
CN106910221B (zh) 一种全局标定的方法及装置
WO2015000056A1 (en) System and method for imaging device modelling and calibration
CN103971378A (zh) 一种混合视觉系统中全景图像的三维重建方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN113592721B (zh) 摄影测量方法、装置、设备及存储介质
CN107038753B (zh) 立体视觉三维重建系统及方法
CN112598706B (zh) 无需精确时空同步的多相机运动目标三维轨迹重建方法
CN112396663B (zh) 一种多深度相机的可视化标定方法、装置、设备和介质
CN112489137A (zh) 一种rgbd相机标定方法及系统
CN112229323A (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN107067441B (zh) 摄像机标定方法及装置
CN114549651A (zh) 一种基于多面体几何约束的多个3d相机标定方法和设备
CN110378967B (zh) 一种光栅投射与立体视觉结合的虚拟靶标标定方法
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN112164119A (zh) 一种适用于狭小空间的环绕放置多摄像机系统标定方法
CN113870364B (zh) 一种自适应的双目相机标定方法
Hamzah et al. Visualization of image distortion on camera calibration for stereo vision application
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant