CN105678783B - 折反射全景相机与激光雷达数据融合标定方法 - Google Patents
折反射全景相机与激光雷达数据融合标定方法 Download PDFInfo
- Publication number
- CN105678783B CN105678783B CN201610049597.8A CN201610049597A CN105678783B CN 105678783 B CN105678783 B CN 105678783B CN 201610049597 A CN201610049597 A CN 201610049597A CN 105678783 B CN105678783 B CN 105678783B
- Authority
- CN
- China
- Prior art keywords
- laser radar
- coordinate system
- point
- panorama camera
- catadioptric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003384 imaging method Methods 0.000 claims description 64
- 239000011159 matrix material Substances 0.000 claims description 54
- 238000009434 installation Methods 0.000 claims description 19
- 230000007704 transition Effects 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 16
- 238000013178 mathematical model Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013499 data model Methods 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 239000000571 coke Substances 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 4
- 230000004807 localization Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000004927 fusion Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种折反射全景相机与激光雷达数据融合标定方法，该数据融合标定结构包括在环境感知系统机体上安装的激光雷达和单视点折反射式全景相机；其联合标定方法包括步骤：一、摄像机内参K标定；二、折反射镜面折射点参数XmYmZm求解；三、全景相机世界坐标点参数XwYwZw求解；四、激光雷达世界坐标点参数测量；五、全景相机与激光雷达联合标定。本发明设计合理、融合激光雷达与全景相机的数据，能够对全景相机的内部参数进行有效标定。进而对环境感知系统中测距定位问题提供一套合理、快捷，有效的方案。
Description
技术领域
本发明属于环境感知系统数据融合技术领域，特别涉及折反射全景相机与激光雷达数据融合标定方法。
背景技术
环境感知系统一直是移动机器人核心技术研究的一大热点，是实现移动机器人自动化、智能化的关键。为了能实现移动机器人的自我环境感知，自主行走功能，测距定位平台的搭建起着重要的作用。
激光雷达和摄像机是现阶段最常使用的两种测距传感元件。其中，摄像机可以快速获取空间中的图像通过数字图像处理，标定算法实现定位；激光雷达可以直接获取方位和距离信息。然而移动机器人在未知的复杂环境中行走，仅仅通过单一种类的传感器很难对环境进行准确的定位，将多种类传感器得到的数字信息进行合理的融合，成为机器人环境感知系统研究的一个重要发展方向。其中，通过激光雷达是主要的测距手段，结合摄像机实现联合标定是一种合理可行的联合标定方法。
摄像机的标定一般基于单目、双目或多目。其标定方法大致可分为三类：传统摄像机标定方法、主动视觉摄像机标定方法、摄像机自标定方法。传统的摄像机利用已知物体的结构信息如标定板或标定快，优点是可以使用任意摄像机模型，标定精度高，但标定过程较为复杂，需要标定物具有较高精度；主动视觉摄像机利用已知摄像机的相关运动信息，通过线性求解标定，其鲁棒性较高但不能用于摄像机运动未知和无法控制的场合；摄像机自标定方法是依靠多幅图像之间的相对关系进行标定，其灵活性强，仅需建立图像与图像之间的转换关系便可进行标定，但这种标定方法属于非线性标定，鲁棒性不高。目前较为常用的是传统的摄像机标定方法。
随着摄像机技术、数字图像处理技术的快速发展，普通摄像机受到成像范围的影响，在面对大视场的应用时往往需要多个摄像机进行拼接。这给成像系统的稳定性上造成影响，同时也会增加摄像机标定的难度。近年来全景相机的引入解决了这一硬件问题。全景相机的成像系统主要有旋转拼接全景成像、鱼眼镜头成像、折反射全景成像。基于传统拼接技术的全景成像与多目相机的标定技术较为类似，形成的柱面全景图其标定方法较为复杂，处理图像数据量比较大，不易进行联合标定；采用鱼眼镜头的全景成像图像，使用超广角物镜，畸变模型不满足透视投影，设计加工成本大，标定难度高，也较为不适用于联合标定；折反射式的全景相机利用折反射成像法，结构简单，成本适中，分辨率也可根据需求设计，适合于联合标定。在折反射式的全景相机中按照反射面的形状又可分为两类：锥面、球面等反射面属于第一类折反射全景相机，其入射光线不相交于一点，称为非单视点折反射全景相机；反射面是抛物面、双曲面、椭球面的属于第二类，其入射光线相交于一点，称为单视点折反射全景相机。
激光测距的方法主要分为：相位法、脉冲法、三角法、干涉法。工程上常使用的是脉冲和相位法。激光雷达探测可分为直接探测和相干探测，市面上绝大多数的激光雷达采用的是直接探测的方法。探测器有单元、面、阵列三种。成像方法上又可分为无扫描和有扫描，其中，有扫描的激光雷达会增大体积降低了可靠性与稳定性，它使得雷达只能用于低倾率，小视场的情况下。无扫描激光雷达，可以避开很多机械运动部分，从而达到体积小、紧凑、大视场、高可靠性。激光雷达已广泛应用于IMU、AGV、LGV等系统中。
现有技术存在的问题有：1)单一的传感器无法准确完整的获取环境信息，2)传统的摄像机无法完整显示360度范围内的图像信息；3)传统拼接技术的全景成像与采用鱼眼镜头的全景成像图像不易进行联合标定。
发明内容
为了获得较高的成像效果，从而得到较高精度的数字图像数据进行联合标定，本发明提供折反射全景相机与激光雷达数据融合标定方法。
为实现上述目的，本发明通过以下技术方案来实现：
折反射全景相机与激光雷达数据融合标定方法
采用单视点折反射式全景相机与激光雷达进行联合标定，首先建立全景标定模型坐标系：世界坐标系、折反射镜面坐标系、摄像机镜头坐标系和图像成像坐标系，分别定义为：Iw、Im、Ic、Ip；世界坐标系原点Ow；折反射镜面坐标系原点Om和摄像机坐标系Oc原点分别为镜面二次曲面的上下焦点；图像成像坐标系的原点Op为其图像中心点，定义OmOcOp共线；空间点Q在四个坐标系下的位置分别为：Qw[Xw，Yw，Zw]T、Qm[Xm，Ym，Zm]T、Qc[Xc，Yc，Zc]T、Qp[Xp，Yp，Zp]T；
标定过程包括以下步骤：
1)单独二维摄像机标定，由图像成像坐标系点和世界坐标点关系Qp＝KQc，得到摄像机内参矩阵K；对摄像机进行内参标定；
2)折反射镜面成像点压缩，按照求解得到折反射镜面折射点参数Xm、Ym、Zm；
3)按照Qm＝λMmwQw对折反射全景相机反求世界坐标点参数Xw、Yw、Zw；
4)建立二维激光雷达的三维数据模型，由激光雷达获取参数得到
5)构建全景相机与激光雷达数据融合标定模型，通过修正全景相机坐标系与激光雷达坐标系下的共同的世界坐标系，由求解两坐标之间的转换矩阵，得到最终的全景相机与激光雷达联合标定矩阵：
λ(c,p,Xm,Ym,Zm)
其中，Xp，Yp，Zp为空间一点Q其在图像成像坐标系下的位置参数；fx，fy，cx，cy为摄像机内参矩阵K的相关系数；为折反射镜面成像点压缩比例系数；c全景相机折反射镜面安装高度；Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数；p为全景相机折反射镜面安装位置参数；λ为关于c,p,Xm,Ym,Zm这几个镜面参数的系数；为激光雷达获得的相关参数，其中，q为激光雷达所测得的距离数值，为激光雷达的Z方向旋转角度，θ为激光雷达的扫描角度。
作为本发明的进一步改进，步骤1)具体包括：
1.1)建立针孔摄像机模型：Q为世界坐标系下的物点，q为图像平面上的成像点，在针孔模型下有下式成立：
其中，Xp，Yp为世界中点Qw[Xw，Yw，Zw]T以偏移方式投影于图像成像平面坐标参数；f为焦距，引入两个不同焦距fx，fy使单个像素点在成像设备成正方形；cx和cy分别为X和Y方向上的相对光轴偏移量，F为物理焦距长度，S为成像仪单元尺寸；
1.2)棋盘标定板进行标定：对棋盘的多个视场提取旋转和平移信息，得到世界坐标系与图像坐标系的转换方程：
其中，Rpw，Tpw为成像坐标系向世界坐标系转换的旋转矩阵和平移矩阵；
1.3)获得内参矩阵K，
其中，S为畸变参数，在不考虑畸变的时候S＝0；
由Qp＝KQc完成全景相机白盒标定的摄像机内参标定，具体为：
其中，Xp，Yp，Zp为空间一点Q在图像成像坐标系下的位置参数；Xc，Yc，Zc为空间一点Q投影于图像成像平面坐标参数；Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数；fx，fy，cx，cy为摄像机的四个内参。
所述的棋盘至少10幅7×8的棋盘。
作为本发明的进一步改进，步骤2)具体包括：
2.1)单视点成像数学模型建立：得到下面几何关系式：
其中，f为摄像机焦距；c为折反射镜安装高度；Xc，Yc，Zc为空间一点Q投影于图像成像平面坐标参数；Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数；
2.2)将改写为由于f相对于C很小，为简化计算可以通过改写得到下式：
其中，Qc、Qm为空间一点Q在图像成像坐标系下与全景相机折反射镜面坐标系下的投影点；为折反射镜面成像点压缩比例系数；Mcm为图像成像坐标系与全景相机折反射镜面坐标系之间的转换矩阵；
2.3)计算折反射镜面折射点参数：在已知f、c可得：
其中，Xp，Yp，Zp为空间一点Q其在图像成像坐标系下的位置参数；fx，fy，cx，cy为摄像机内参矩阵K的相关系数；为折反射镜面成像点压缩比例系数；c全景相机折反射镜面安装高度；Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数。
作为本发明的进一步改进，步骤3)具体包括：
3.1)单视点全景成像系统数学模型建立：假设折反射镜面坐标与世界坐标重合则有：
其中，Xm,Ym,Zm为空间一点Qw[Xw,Yw,Zw]T求解得到的折反射镜面折射点参数；c全景相机折反射镜面安装高度；p为全景相机折反射镜面安装位置参数；λ为关于c,p,Xm,Ym,Zm镜面参数的系数；
3.2)λ的求解：选取单视点折反射全景相机中的双曲线折反射成像系统和抛物线镜面折反射成像系统进行求解，
双曲线折反射成像系统：
抛物线镜面折反射成像系统：
3)λ的取值：
其中，λ1，λ2都为正时λ取λ1，λ2中小值；λ1，λ2符号相反时λ取λ1，λ2中大值；λ1，λ2都为负时舍去。
作为本发明的进一步改进，步骤4)具体包括：
激光雷达的Z方向旋转角度为扫描角度为θ，扫描点为P，其向量形式在所对应投影面分别为P’和P”，可以得到：
其中，为二维转三维激光雷达坐标系下空间一点的世界坐标；q为激光雷达所测得的距离数值，为激光雷达的Z方向旋转角度，θ为激光雷达的扫描角度。
作为本发明的进一步改进，步骤5)中构建全景相机与激光雷达数据融合标定模型的系统包括：安装在环境感知系统机体上激光雷达和单视点折反射式全景相机；激光雷达是通过云台设置在环境感知系统机体上实现二维转三维测量。
作为本发明的进一步改进，所述的环境感知系统机体为移动机器人。
作为本发明的进一步改进，步骤5)具体包括以下步骤：
以全景相机坐标系折反射镜面原点Om作为全景相机系统原点，激光雷达坐标系原点为OL；Om到OL的偏移量ΔQ为(ΔX,ΔY,ΔZ)；全景相机坐标系与激光雷达坐标系之间存在以下转换关系：
其中，为二维转三维的激光雷达坐标系下的空间一点的世界坐标；Qw[Xw，Yw，Zw]T为全景相机坐标系下的空间一点的世界坐标；Mw*w为激光雷达安装位处建立的三维坐标系与全景相机折反射镜安装位处所建立的三维坐标系之间的转换矩阵，Rw*w,Tw*w分别为其旋转矩阵与平移矩阵；
假设全景坐标系与激光雷达坐标系之间不存在旋转矩阵，即只存在平移矩阵，则有下式成立：
其中，ΔQ[ΔX,ΔY,ΔZ]T为以全景相机坐标系折反射镜面原点Om作为全景相机系统原点，激光雷达坐标系原点为OL，Om到OL的偏移量。
作为本发明的进一步改进，四个坐标系之间的转换关系：Iw、Im、Ic满足刚性转换，旋转平移，其转换矩阵为M：
与现有技术相比，本发明具有以下有益效果：
本发明分别求解外置于二维普通相机的双曲线、抛物线折反射镜面压缩成像点，反求该成像点于折反射全景相机世界坐标系的世界坐标，通过建立二维激光雷达的三维世界坐标，建立折反射全景相机与二维激光雷达数据联合标定系统的内参求解方法。相对于单一的传感器无法准确完整的获取环境信息，本发明采用折反射式全景相机与二维转三维激光雷达；传统的摄像机无法完整显示360度范围内的图像信息本发明采用全景相机；相比较传统拼接技术的全景成像与采用鱼眼镜头的全景成像图像不易进行联合标定，本发明采用折反射式的全景相机利用折反射成像法，结构简单，成本适中，分辨率和折反射镜安装高度也可根据需求设计，适合于联合标定；激光雷达采用市面常见的二维脉冲式激光雷达，水平方向加装舵机实现二维转三维，方法合理可靠且节省成本；本发明设计合理、融合二维转三维激光雷达与折反射式全景相机的数据，能够对全景相机的内部参数进行有效标定。进而对环境感知系统中测距定位问题提供一套合理、快捷，有效的方案。
附图说明
图1为本发明数据融合标定方法的流程图；
图2为本发明所采用全景相机坐标系建立示意图；
图3为本发明所采用针孔模型示意图；
图4为本发明所采用的单视点成像原理图；
图5为本发明所采用的双曲线镜面折反射成像示意图；
图6为本发明所采用的抛物线镜面折反射成像示意图；
图7为本发明所采用的折反射镜面参数λ取值示意图；
图8为本发明所采用的激光雷达结构图；
图9为本发明所采用的激光雷达数学模型示意图；
图10A和图10B为本发明煤矿探测机器人的数据融合标定系统示意图。
附图标记说明:
1—全景相机；2—激光雷达；3—环境感知系统机体；4—云台。
具体实施方式
为进一步阐述本发明所采用的技术方案，以下结合附图对本发明的具体实施方式进行详细的说明。该实施方式仅适用于说明和解释本发明，并不构成对本发明保护范围的限定。
本发明一种折反射全景相机与激光雷达数据融合标定方法，如图1所示，其联合标定方法包括步骤：
一、单独二维摄像机标定，由成像坐标点和世界坐标点，对摄像机进行内参标定，得到摄像机内参矩阵K；
二、折反射镜面成像点压缩，求解得到折反射镜面折射点参数Xm、Ym、Zm；这一过程可以看成是一个压缩过程；
三、对折反射全景相机反求世界坐标点参数XwYwZw求解；
四、建立二维激光雷达的三维数据模型，获取参数得到
五、构建折反射全景相机与二维激光雷达数据融合标定模型，通过修正全景相机坐标系与激光雷达坐标系下的共同的世界坐标系，求解两坐标之间的转换矩阵，得到最终的折反射全景相机与二维激光雷达联合标定系统的总内参矩阵。
本发明采用单视点折反射式全景相机与激光雷达进行联合标定，首先进行全景标定模型坐标系的建立，方法如下：
如图2所示，整个全景模型可以这样划分为四个坐标系：世界坐标系，折反射镜面坐标系，摄像机镜头坐标系和图像成像坐标系。分别将其定义为：Iw、Im、Ic、Ip。其中，前三个为三维坐标系，最后一个为二维坐标系。坐标系原点分别为：世界坐标系原点Ow可根据实际需求自定义；折反射镜面坐标系原点Om和摄像机坐标系Oc原点分别为镜面二次曲面的上下焦点；图像成像坐标系的原点Op为其图像中心点。在这里需要假定OmOcOp共线。这四个坐标系之间存在这样的转换关系：Iw、Im、Ic满足刚性转换，旋转平移，其转换矩阵为M。
假设空间有一点Q其在四个坐标系下的位置为：Qp[Xp，Yp，Zp]T、Qc[Xc，Yc，Zc]T、Qm[Xm，Ym，Zm]T、Qw[Xw，Yw，Zw]T。
具体标定过程分为如下五步，具体步骤如下：
1.单独二维摄像机标定：
全景相机标定首先采用传统相机的标定算法，对摄像机镜头进行内参的单独标定。
1.1建立针孔摄像机模型：
如图3所示，Q为世界坐标系下的物点，q为图像平面上的成像点，在针孔模型下有以下式子成立：
其中，Xp，Yp为世界中点Qw[Xw，Yw，Zw]T以某些偏移方式投影于图像成像平面坐标参数；f为焦距，由于单个像素点在成像设备上并不是正方形，因此引入两个不同焦距fx，fy；cx和cy分别为X和Y方向上的相对光轴偏移量。F为物理焦距长度，S为成像仪单元尺寸。
1.2棋盘标定板进行标定：
对棋盘的多个视场提取旋转和平移信息。得到世界坐标系与图像坐标系的转换方程：
(3)
其中，Rpw，Tpw为成像坐标系向世界坐标系转换的旋转矩阵和平移矩阵；这样便出现RxRyRzTxTyTz这样6个外部参数。
对每个视场而言摄像机的内参保持不变，利用一个棋盘视场计算内参，接下来对棋盘的n个不同视场图像提取参数值。假设每个图像提取N个角点，则满足：
2Nn≥6n+4 (4)
时便可求出这4个内参和6个外参，为了得到高质量结果，一般至少需要10幅7×8的棋盘。
1.3获得矩阵K：
其中，S为畸变参数，在不考虑畸变的时候S＝0。由于Qp＝KQc，这样便完成全景相机白盒标定的第一步摄像机内参标定，可以用下面式子具体表达这一过程：
其中，Xp，Yp，Zp为空间一点Q其在图像成像坐标系下的位置参数；Xc，Yc，Zc为空间一点Q投影于图像成像平面坐标参数；Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数；fx，fy，cx，cy为摄像机的四个内参；
2.折反射镜面成像点压缩：
2.1单视点成像数学模型建立：
如图4所示，f为摄像机焦距，c为折反射镜安装高度，可以得到下面几何关系式：
其中，f为摄像机焦距；c为折反射镜安装高度；Xp，Yp，Zp为空间一点Q其在图像成像坐标系下的位置参数；Xc，Yc，Zc为空间一点Q投影于图像成像平面坐标参数；Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数；
2.2将改写为
由于f相对于C很小，有时可以将改写为这样便得到下式：
其中，Qc，Qm，为空间一点Q在摄像机镜头坐标系下与全景相机折反射镜面坐标系下的投影点；为折反射镜面成像点压缩比例系数；Mcm为图像成像坐标系与全景相机折反射镜面坐标系之间的转换矩阵；
即：
其中，Xc，Yc，Zc为空间一点Q其在摄像机坐标系下的位置参数；为折反射镜面成像点压缩比例系数；c全景相机折反射镜面安装高度；Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数；
2.3计算折反射镜面折射点参数：
在已知f、c时带入公式9，可计算出折反射镜面折射点参数Xm,Ym,Zm。即：
其中，Xp，Yp，Zp为空间一点Q其在图像成像坐标系下的位置参数；fx，fy，cx，cy为摄像机内参矩阵K的相关系数；为折反射镜面成像点压缩比例系数；c全景相机折反射镜面安装高度；Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数；
3.全景相机世界坐标点参数Xw、Yw、Zw求解：
3.1单视点全景成像系统数学模型建立：
在单视点全景成像系统中总存在这样的关系：
Qm＝λMmwQw (11)
其中，Qm为空间一点Q求解得到的折反射镜面折射点参数与的投影点；Qw为空间一点Q在世界坐标系下的位置；Mmw为折反射镜面坐标系与世界坐标系之间的转换矩阵；
假设镜面坐标与世界坐标重合则有：
其中，Xm，Ym，Zm为空间一点Qw[Xw，Yw，Zw]T求解得到的折反射镜面折射点参数；c为全景相机折反射镜面安装高度；p为全景相机折反射镜面安装位置参数；λ为关于c,p,Xm,Ym,Zm这几个镜面参数的系数；
3.2λ的求解：
λ(c,p,Xm,Ym,Zm)是关于c,p,Xm,Ym,Zm这几个镜面参数的系数，λ具体求解过程如下所述，选取双曲线折反射成像系统和抛物线镜面折反射成像系统进行分述。
3.2.1双曲线镜面折反射全景相机数学模型：
图5为双曲线折反射成像示意图，建立双曲面折反射成像三维数学模型：
其中，为e为离心率：
将λQm(Xm，Ym，Zm)T带入上式可得：
3.2.2抛物线镜面折反射全景相机数学模型：
图6为抛物面折反射成像示意图，建立抛物面折反射成像三维数学模型
将λQm(Xm，Ym，Zm)T带入上式可得：
3.3λ的取值：
如图7所示，到此抛物面折反射系统和双曲面折反射系统中第三阶段的λ取值已经确定：
其中，λ1，λ2都为正时λ取λ1，λ2中小值；λ1，λ2符号相反时λ取λ1，λ2中大值；λ1，λ2都为负时舍去。
4.建立二维转三维激光雷达的三维数据模型：
如图8、10所示激光雷达的Z方向旋转角度为扫描角度为θ。图中O为激光雷达旋转位置原点，P为扫描点，其向量形式在所对应投影面分别为P’和P”，可以得到：
其中，为二维转三维激光雷达坐标系下空间一点的世界坐标；为激光雷达获得的相关参数，其中，q为激光雷达所测得的距离数值，为激光雷达的Z方向旋转角度，θ为激光雷达的扫描角度；
5.构建折反射全景相机与二维激光雷达数据融合标定模型：
按照图10A和图10B方式安装全景相机1和激光雷达2，数据融合标定系统的结构包括：安装在环境感知系统机体3上的二维转三维激光雷达2和单视点折反射式全景相机1；二维转三维激光雷达2是指在激光雷达2的底部安装一个云台4激光雷达2的水平转动。实现根据需求还可在激光雷达2与全景相机上1加装三维数字罗盘以便获得Mw*w转换矩阵中的旋转矩阵。
以全景相机坐标系折反射镜面原点Om作为全景相机系统原点，激光雷达坐标系原点为OL。Om到OL的偏移量ΔQ为(ΔX,ΔY,ΔZ)。全景相机坐标系与激光雷达坐标系之间存在这样的转换关系：
其中，为二维转三维激光雷达坐标系下的空间一点的世界坐标；Qw[Xw，Yw，Zw]T为全景相机坐标系下的空间一点的世界坐标；Mw*w为激光雷达坐标系与全景相机坐标系之间的转换矩阵，即激光雷达安装位处建立的三维坐标系与全景相机折反射镜安装位处所建立的三维坐标系之间的转换矩阵，Rw*w,Tw*w分别为其旋转矩阵与平移矩阵；
假设全景坐标系与激光雷达坐标系之间不存在旋转矩阵，即只存在平移矩阵，则有下式成立：
其中，ΔQ[ΔX,ΔY,ΔZ]T为以全景相机坐标系折反射镜面原点Om作为全景相机系统原点，激光雷达坐标系原点为OL，Om到OL的偏移量。
整个过程可以用下公式表示：
λ(c,p,Xm,Ym,Zm)
其中，Xp，Yp，Zp为空间一点Q其在图像成像坐标系下的位置参数；fx，fy，cx，cy为摄像机内参矩阵K的相关系数；为折反射镜面成像点压缩比例系数；c全景相机折反射镜面安装高度；Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数；p为全景相机折反射镜面安装位置参数；λ为关于c,p,Xm,Ym,Zm这几个镜面参数的系数；为激光雷达获得的相关参数，其中，q为激光雷达所测得的距离数值，为激光雷达的Z方向旋转角度，θ为激光雷达的扫描角度。
以上所述，仅是本发明较佳的实施实例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施实例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。
Claims (10)
1.折反射全景相机与激光雷达数据融合标定方法，其特征在于：
采用单视点折反射式全景相机与激光雷达进行联合标定，首先建立全景标定模型坐标系：世界坐标系、折反射镜面坐标系、摄像机镜头坐标系和图像成像坐标系，分别定义为：Iw、Im、Ic、Ip；四个坐标系之间的转换关系满足刚性转换，即旋转平移，其转换矩阵为M，其中Mcm为摄像机镜头坐标系与折反射镜面坐标系之间的转换矩阵；Mmw为折反射镜面坐标系与世界坐标系之间的转换矩阵；Mw*w为激光雷达安装位处建立的三维坐标系与全景相机折反射镜安装位处所建立的三维坐标系之间的转换矩阵；世界坐标系原点为Ow；折反射镜面坐标系原点Om和摄像机坐标系Oc原点分别为镜面二次曲面的上下焦点；图像成像坐标系的原点Op为其图像中心点，定义OmOcOp共线；空间点Q在四个坐标系下的位置分别为：Qw[Xw，Yw，Zw]T、Qm[Xm，Ym，Zm]T、Qc[Xc，Yc，Zc]T、Qp[Xp，Yp，Zp]T；
标定过程包括以下步骤：
1)单独对摄像机标定，由图像成像坐标系点和世界坐标点关系，得到摄像机内参矩阵K；进而得到空间一点在图像成像坐标系与摄像机坐标系的关系公式：Qp＝KQc；
2)折反射镜面成像点压缩，按照求解得到折反射镜面折射点参数Xm、Ym、Zm；
3)按照Qm＝λMmwQw对折反射全景相机反求世界坐标点参数Xw、Yw、Zw；
4)建立二维激光雷达的三维数据模型，由激光雷达获取参数q、θ，得到激光雷达坐标系下空间一点的世界坐标：
5)构建全景相机与激光雷达数据融合标定模型，通过修正全景相机折反射镜面坐标系与激光雷达安装位处坐标系下的共同的世界坐标系，由求解两坐标之间的转换矩阵，得到最终的全景相机与激光雷达联合标定矩阵：
其中，Xp，Yp，Zp为空间一点Q其在图像成像坐标系下的位置参数；fx，fy，cx，cy为摄像机内参矩阵K的相关系数；为折反射镜面成像点压缩比例系数；c全景相机折反射镜面安装高度；Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数；p为全景相机折反射镜面安装位置参数；λ为关于c,p,Xm,Ym,Zm这几个镜面参数的系数；q、θ为激光雷达获得的相关参数，其中，q为激光雷达所测得的距离数值，为激光雷达的Z方向旋转角度，θ为激光雷达的扫描角度。
2.根据权利要求1所述的折反射全景相机与激光雷达数据融合标定方法，其特征在于，步骤1)具体包括：
1.1)建立针孔摄像机模型：Q为世界坐标系下的物点，q为图像平面上的成像点，在针孔模型下有下式成立：
其中Xp，Yp为世界中点Qw[Xw，Yw，Zw]T以偏移方式投影于图像成像平面坐标参数；f为焦距，引入两个不同焦距fx，fy使单个像素点在成像设备成正方形；cx和cy分别为X和Y方向上的相对光轴偏移量，F为物理焦距长度，S为成像仪单元尺寸；
1.2)棋盘标定板进行标定：对棋盘的多个视场提取旋转和平移信息，得到世界坐标系与图像坐标系的转换方程：
其中，Rpw，Tpw为成像坐标系向世界坐标系转换的旋转矩阵和平移矩阵；
1.3)获得内参矩阵K，
其中，S为畸变参数，在不考虑畸变的时候S＝0；
由图像成像坐标系点和世界坐标点关系，经过棋盘标定得到摄像机内参矩阵K；这样便得到了空间一点在图像成像坐标系与摄像机坐标系的关系公式：Qp＝KQc具体为：
其中，Xp，Yp，Zp为空间一点Q在图像成像坐标系下的位置参数；Xc，Yc，Zc为空间一点Q投影于图像成像平面坐标参数；fx，fy，cx，cy为摄像机的四个内参。
3.根据权利要求2所述的折反射全景相机与激光雷达数据融合标定方法，其特征在于，所述的棋盘至少10幅7×8的棋盘。
4.根据权利要求1所述的折反射全景相机与激光雷达数据融合标定方法，其特征在于，步骤2)具体包括：
2.1)单视点成像数学模型建立：得到下面几何关系式：
其中，f为摄像机焦距；c为折反射镜安装高度；Xc，Yc，Zc为空间一点Q投影于图像成像平面坐标参数；Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数；
2.2)将改写为由于f相对于c很小，得到下式：
其中，Qc、Qm为空间一点Q在摄像机镜头坐标系下与全景相机折反射镜面坐标系下的投影点；为折反射镜面成像点压缩比例系数；Mcm为图像成像坐标系与全景相机折反射镜面坐标系之间的转换矩阵；
2.3)计算折反射镜面折射点参数：在已知f、c可得：
其中，Xp，Yp，Zp为空间一点Q其在图像成像坐标系下的位置参数；fx，fy，cx，cy为摄像机内参矩阵K的相关系数；为折反射镜面成像点压缩比例系数；c全景相机折反射镜面安装高度；Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数。
5.根据权利要求1所述的折反射全景相机与激光雷达数据融合标定方法，其特征在于，步骤3)具体包括：
3.1)单视点全景成像系统数学模型建立：假设折反射镜面坐标与世界坐标重合则有：
其中，Xm,Ym,Zm为空间一点Qw[Xw,Yw,Zw]T求解得到的折反射镜面折射点参数；c全景相机折反射镜面安装高度；p为全景相机折反射镜面安装位置参数；λ为关于c,p,Xm,Ym,Zm镜面参数的系数；
3.2)λ的求解：选取单视点折反射全景相机中的双曲线折反射成像系统和抛物线镜面折反射成像系统进行求解，
双曲线折反射成像系统：
抛物线镜面折反射成像系统：
3.3)λ的取值：
其中，λ1，λ2都为正时λ取λ1，λ2中小值；λ1，λ2符号相反时λ取λ1，λ2中大值；λ1，λ2都为负时舍去。
6.根据权利要求1所述的折反射全景相机与激光雷达数据融合标定方法，其特征在于，步骤4)具体包括：
激光雷达的Z方向旋转角度为扫描角度为θ，扫描点为P，可以得到：
其中，为二维转三维激光雷达坐标系下空间一点的世界坐标；q为激光雷达所测得的距离数值，为激光雷达的Z方向旋转角度，θ为激光雷达的扫描角度。
7.根据权利要求1所述的折反射全景相机与激光雷达数据融合标定方法，其特征在于，步骤5)中构建全景相机与激光雷达数据融合标定模型的系统包括：安装在环境感知系统机体(3)上激光雷达(2)和单视点折反射式全景相机(1)；激光雷达(2)是通过云台(4)设置在环境感知系统机体(3)上实现二维转三维测量。
8.根据权利要求7所述的折反射全景相机与激光雷达数据融合标定方法，其特征在于，所述的环境感知系统机体(3)为移动机器人。
9.根据权利要求7所述的折反射全景相机与激光雷达数据融合标定方法，其特征在于，步骤5)具体包括以下步骤：
以全景相机坐标系折反射镜面原点Om作为全景相机系统原点，激光雷达坐标系原点为OL；Om到OL的偏移量△Q为(△X,△Y,△Z)；全景相机坐标系与激光雷达坐标系之间存在以下转换关系：
其中，为二维转三维的激光雷达坐标系下的空间一点的世界坐标；Qw[Xw，Yw，Zw]T为全景相机坐标系下的空间一点的世界坐标；Mw*w为激光雷达安装位处建立的三维坐标系与全景相机折反射镜安装位处所建立的三维坐标系之间的转换矩阵，Rw*w,Tw*w分别为其旋转矩阵与平移矩阵；
若全景坐标系与激光雷达坐标系之间不存在旋转矩阵，即只存在平移矩阵，则有下式成立：
其中，△Q[△X,△Y,△Z]T为以全景相机坐标系折反射镜面原点Om作为全景相机系统原点，激光雷达坐标系原点为OL，Om到OL的偏移量。
10.根据权利要求1所述的折反射全景相机与激光雷达数据融合标定方法，其特征在于，四个坐标系之间的转换关系：Iw、Im、Ic满足刚性转换，旋转平移，其转换矩阵为M；
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610049597.8A CN105678783B (zh) | 2016-01-25 | 2016-01-25 | 折反射全景相机与激光雷达数据融合标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610049597.8A CN105678783B (zh) | 2016-01-25 | 2016-01-25 | 折反射全景相机与激光雷达数据融合标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105678783A CN105678783A (zh) | 2016-06-15 |
| CN105678783B true CN105678783B (zh) | 2018-10-19 |
Family
ID=56302689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610049597.8A Expired - Fee Related CN105678783B (zh) | 2016-01-25 | 2016-01-25 | 折反射全景相机与激光雷达数据融合标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105678783B (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106231169A (zh) * | 2016-09-20 | 2016-12-14 | 长春长理光学精密机械有限公司 | 一种便于安装的全景监控摄像头 |
| CN108020825B (zh) * | 2016-11-03 | 2021-02-19 | 岭纬公司 | 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法 |
| CN109212510B (zh) | 2017-07-04 | 2021-04-23 | 百度在线网络技术（北京）有限公司 | 用于测量多线激光雷达的角分辨率的方法和装置 |
| WO2019041349A1 (zh) * | 2017-09-04 | 2019-03-07 | 大连理工大学 | 一种基于旋转透镜的三维信息视觉测量方法 |
| CN109544633B (zh) * | 2017-09-22 | 2021-08-27 | 华为技术有限公司 | 目标测距方法、装置及设备 |
| CN108020826B (zh) * | 2017-10-26 | 2019-11-19 | 厦门大学 | 多线激光雷达与多路相机混合标定方法 |
| CN108226906B (zh) * | 2017-11-29 | 2019-11-26 | 深圳市易成自动驾驶技术有限公司 | 一种标定方法、装置及计算机可读存储介质 |
| CN108564615B (zh) * | 2018-04-20 | 2022-04-29 | 驭势（上海）汽车科技有限公司 | 模拟激光雷达探测的方法、装置、系统及存储介质 |
| CN109029284B (zh) * | 2018-06-14 | 2019-10-22 | 大连理工大学 | 一种基于几何约束的三维激光扫描仪与相机标定方法 |
| CN109102537B (zh) * | 2018-06-25 | 2020-03-20 | 中德人工智能研究院有限公司 | 一种二维激光雷达和球幕相机结合的三维建模方法和系统 |
| CN108981672A (zh) * | 2018-07-19 | 2018-12-11 | 华南师范大学 | 基于单目机器人与测距传感器结合的舱门实时定位方法 |
| CN109059866B (zh) * | 2018-08-03 | 2020-12-18 | 中国科学院国家天文台 | 基于图像的行星近景摄影测量相机安装参数的测量方法 |
| CN109465830B (zh) * | 2018-12-11 | 2021-12-28 | 上海应用技术大学 | 机器人单目立体视觉标定系统及方法 |
| CN109949372B (zh) * | 2019-03-18 | 2021-12-10 | 北京智行者科技有限公司 | 一种激光雷达与视觉联合标定方法 |
| CN110232676B (zh) * | 2019-04-28 | 2021-06-29 | 北京航空航天大学 | 飞机线缆支架的安装状态检测方法、装置、设备及系统 |
| DE102019129986A1 (de) | 2019-11-07 | 2021-05-12 | Sick Ag | Optoelektronischer Sensor und Verfahren zur Erfassung von Objekten |
| CN111198378B (zh) * | 2019-12-27 | 2022-06-28 | 深圳市优必选科技股份有限公司 | 基于边界的自主探索方法和装置 |
| US11366233B2 (en) | 2020-04-14 | 2022-06-21 | Plusai, Inc. | System and method for GPS based automatic initiation of sensor calibration |
| US11673567B2 (en) | 2020-04-14 | 2023-06-13 | Plusai, Inc. | Integrated fiducial marker for simultaneously calibrating sensors of different types |
| US11635313B2 (en) | 2020-04-14 | 2023-04-25 | Plusai, Inc. | System and method for simultaneously multiple sensor calibration and transformation matrix computation |
| CN112558607A (zh) * | 2020-12-07 | 2021-03-26 | 兰剑智能科技股份有限公司 | 单舵轮agv车自动校准的方法、装置及设备 |
| CN113643358B (zh) * | 2021-08-10 | 2023-07-07 | 追觅创新科技(苏州)有限公司 | 相机的外参标定方法、装置、存储介质及系统 |
| CN115793649B (zh) * | 2022-11-29 | 2023-09-01 | 硕能(上海)自动化科技有限公司 | 一种电缆沟自动巡检装置及巡检方法 |
| CN117388831B (zh) * | 2023-12-13 | 2024-03-15 | 中科视语(北京)科技有限公司 | 相机和激光雷达联合标定方法、装置、电子设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577002A (zh) * | 2009-06-16 | 2009-11-11 | 天津理工大学 | 应用于目标检测的鱼眼镜头成像系统标定方法 |
| CN102184545A (zh) * | 2011-06-02 | 2011-09-14 | 浙江大学 | 折反射全向相机镜面位姿的单图自标定方法 |
-
2016
- 2016-01-25 CN CN201610049597.8A patent/CN105678783B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101577002A (zh) * | 2009-06-16 | 2009-11-11 | 天津理工大学 | 应用于目标检测的鱼眼镜头成像系统标定方法 |
| CN102184545A (zh) * | 2011-06-02 | 2011-09-14 | 浙江大学 | 折反射全向相机镜面位姿的单图自标定方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于全景相机和全向激光雷达的致密三维重建;杨力 等;《浙江大学学报（工学版）》;20140831;第48卷(第8期);第1481-1487页 * |
| 摄像机与3D激光雷达联合标定的新方法;项志宇 等;《浙江大学学报（工学版）》;20090831;第43卷(第8期);第1401-1405页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105678783A (zh) | 2016-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105678783B (zh) | 折反射全景相机与激光雷达数据融合标定方法 | |
| CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
| CN109903227B (zh) | 基于相机几何位置关系的全景影像拼接方法 | |
| CN100432836C (zh) | 实现二维全景真实成像的方法 | |
| CN1095282C (zh) | 全方向成象装置、全方向图象投影装置和全方向成象方法 | |
| CN109115186B (zh) | 一种针对车载移动测量系统的360°可量测全景影像生成方法 | |
| CN103267491B (zh) | 自动获取物体表面完整三维数据的方法及系统 | |
| CN101271187B (zh) | 无死角的双目立体全方位视觉传感装置 | |
| CN103971375B (zh) | 一种基于图像拼接的全景凝视相机空间标定方法 | |
| CN105654502A (zh) | 一种基于多镜头多传感器的全景相机标定装置和方法 | |
| CN105243637A (zh) | 一种基于三维激光点云进行全景影像拼接方法 | |
| CN106871787A (zh) | 大空间线扫描成像三维测量方法 | |
| CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
| CN106705962B (zh) | 一种获取导航数据的方法及系统 | |
| KR101759798B1 (ko) | 실내 2d 평면도의 생성 방법, 장치 및 시스템 | |
| Yang et al. | A calibration method for binocular stereo vision sensor with short-baseline based on 3D flexible control field | |
| CN110146030A (zh) | 基于棋盘格标志法的边坡表面变形监测系统和方法 | |
| CN106123798A (zh) | 一种数字摄影激光扫描装置 | |
| Ahmadabadian et al. | An automatic 3D reconstruction system for texture-less objects | |
| CN115937288A (zh) | 一种变电站三维场景模型构建方法 | |
| CN113205603A (zh) | 一种基于旋转台的三维点云拼接重建方法 | |
| CN108010125A (zh) | 基于线结构光和图像信息的真实尺度三维重建系统及方法 | |
| Perfetti et al. | Fisheye Photogrammetry to Survey Narrow Spaces in Architecture and a Hypogea Environment | |
| CN115982806A (zh) | 基于倾斜摄影的矮塔斜拉转体桥bim建模方法、设备及介质 | |
| CN116740288B (zh) | 一种融合激光雷达、倾斜摄影的三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181019 Termination date: 20190125 |