CN113610932A - 双目相机外参标定方法和装置 - Google Patents
双目相机外参标定方法和装置 Download PDFInfo
- Publication number
- CN113610932A CN113610932A CN202110961639.6A CN202110961639A CN113610932A CN 113610932 A CN113610932 A CN 113610932A CN 202110961639 A CN202110961639 A CN 202110961639A CN 113610932 A CN113610932 A CN 113610932A
- Authority
- CN
- China
- Prior art keywords
- images
- eye camera
- static
- frames
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003068 static effect Effects 0.000 claims abstract description 155
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000012937 correction Methods 0.000 claims description 28
- 238000013519 translation Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本说明书涉及自动驾驶技术领域，具体地公开了一种双目相机外参标定方法和装置，其中，该方法包括：获取多帧第一图像和多帧第二图像，第一图像为车辆在沿平坦直线车道行驶时左目摄像头拍摄到的多帧图像，第二图像为车辆在沿平坦直线车道行驶时右目摄像头拍摄的多帧图像；提取多帧第一图像中各帧第一图像中的多个第一静态特征，提取多帧第二图像中各帧第二图像中的多个第二静态特征；将多个第一静态特征与多个第二静态特征进行匹配，得到多个静态特征对；根据历史校准文件、左目摄像头与右目摄像头之间的距离以及多个静态特征对，确定左目摄像头与右目摄像头之间的旋转参数。上述方案能确定双目之间的旋转参数，提升自动驾驶的安全性。
Description
技术领域
本申请涉及自动驾驶技术领域，特别涉及一种双目相机外参标定方法和装置。
背景技术
近些年来，随着科技的发展，尤其是智能计算的飞速发展，自动驾驶汽车技术研究成为各行业聚焦的热点。通常，自动驾驶汽车的系统一般分为三个模块：一是感知模块，相当于人的眼睛，通过摄像头、毫米波雷达、激光雷达等传感器实时采集周边环境状态；二是决策模块，相当于人的大脑，根据环境状态计算出最优的驾驶决策规划；三是执行模块，相当于人的手与脚，用于执行决策命令，进行油门、刹车、转向等相应的驾驶操作。
感知模块是自动驾驶系统的一个重要模块，没有可靠的感知模块，就无法实现安全的自动驾驶系统。在感知模块中，双目摄像头又是最为重要的传感器之一。双目摄像头又可通过相同特征点在两个摄像头中的视角差计算出该特征点距离双目摄像头的距离。另外，双目摄像头系统与其他3D传感器如激光雷达相比，价格更加低廉，可靠性更高，且其传递的图像包含了对于自动驾驶关键的周遭环境信息如车道线与障碍物(车辆，行人)，故双目摄像头使其在自动驾驶系统尤其是量产机中被广泛地应用。为了获得更加稠密且准确的3D信息，双目摄像头需要高精度的外参校准，小如0.03度的双目之间航向角的偏差都会造成在100米远处约5米的距离测量误差。而且，双目摄像头通常用胶水黏着与车辆前挡风玻璃之后，导致其双目之间的角度会随如湿度，温度等外界因素而变化，致使校准失效。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本说明书实施例提供了一种双目相机外参标定方法和装置，以解决现有技术中的双目标定方法的精度低的问题。
本说明书实施例提供了一种双目相机外参标定方法，包括：获取多帧第一图像和多帧第二图像，其中，所述多帧第一图像为安装有待标定的双目相机的目标车辆在沿平坦直线车道行驶时所述双目相机中的左目摄像头拍摄到的多帧图像，所述多帧第二图像为所述目标车辆在沿所述平坦直线车道行驶时所述双目相机中的右目摄像头拍摄的多帧图像；提取所述多帧第一图像中各帧第一图像中的多个第一静态特征，提取所述多帧第二图像中各帧第二图像中的多个第二静态特征；将所述多个第一静态特征与所述多个第二静态特征进行匹配，得到多个静态特征对；根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数。
在一个实施例中，所述历史校准文件中包括以下至少之一：双目之间的旋转矩阵、左目摄像头到矫正平面的旋转矩阵、右目摄像头到矫正平面的旋转矩阵、矫正平面到地平面的旋转矩阵和平移矩阵、三维世界到矫正平面重投影的矩阵。
在一个实施例中，提取所述多帧第一图像中各帧第一图像中的多个第一静态特征，包括：通过车辆检测法从所述多帧第一图像中各帧第一图像中检测出行驶中的车辆并将检测出来的车辆进行打码；从打码后的各帧第一图像中提取多个第一静态特征。
在一个实施例中，根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数，包括：将所述左目摄像头与所述右目摄像头之间的旋转参数以及所述目标车辆在所述多帧第一图像中各帧第一图像对应的时刻所处的位置作为待优化的目标参数；利用所述目标参数表征所述多个静态特征对中各静止特征对对应的静态特征的绝对位置；基于相同静态特征的绝对位置相同，对所述静止特征的绝对位置进行优化，得到优化后的静止特征的位置；根据所述目标参数将优化后的静止特征的位置重投影至对应的第一图像和第二图像中；将重投影后的静止特征在对应的第一图像和第二图像中的位置与先前提取出的静态特征的位置进行比较，得到两者之间的重投影误差；根据所述重投影误差对所述目标参数进行优化，直至所述重投影误差满足预设条件。
在一个实施例中，获取多帧第一图像和多帧第二图像，包括：确定所述双目相机的历史校准文件是否失效；在确定所述历史校准文件失效的情况下，获取多帧第一图像和多帧第二图像。
在一个实施例中，在根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数之后，还包括：根据所述左目摄像头与所述右目摄像头之间的旋转参数以及所述多个静态特征对，重建所述多个静态特征对对应的三维特征点云；基于所述重建的三维特征点云，确定所述双目相机相对于地面的角度。
在一个实施例中，基于所述重建的三维特征点云，确定所述双目相机相对于于地面的角度，包括：根据所述目标车辆的高度从所述三维特征点云中提取出三维边框，其中，所述三维边框中的三维特征点具有地面特征；从所述三维边框中确定出地面的法向量；根据所述目标车辆在多帧中的位置，确定所述目标车辆的行进方向；基于所述地面的法向量和所示目标车辆的行进方向，确定所述双目相机相对于地面的角度。
本说明书实施例还提供了一种双目相机外参标定装置，包括：获取模块，用于获取多帧第一图像和多帧第二图像，其中，所述多帧第一图像为安装有待标定的双目相机的目标车辆在沿平坦直线车道行驶时所述双目相机中的左目摄像头拍摄到的多帧图像，所述多帧第二图像为所述目标车辆在沿所述平坦直线车道行驶时所述双目相机中的右目摄像头拍摄的多帧图像；提取模块，用于提取所述多帧第一图像中各帧第一图像中的多个第一静态特征，提取所述多帧第二图像中各帧第二图像中的多个第二静态特征；匹配模块，用于将所述多个第一静态特征与所述多个第二静态特征进行匹配，得到多个静态特征对；确定模块，用于根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数。
本说明书实施例还提供一种计算机设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述任意实施例中所述的双目相机外参标定方法的步骤。
本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意实施例中所述的双目相机外参标定方法的步骤。
在本说明书实施例中，提供了一种双目相机外参标定方法，可以获取多帧第一图像和多帧第二图像，所述多帧第一图像为安装有待标定的双目相机的目标车辆在沿平坦直线车道行驶时所述双目相机中的左目摄像头拍摄到的多帧图像，所述多帧第二图像为所述目标车辆在沿所述平坦直线车道行驶时所述双目相机中的右目摄像头拍摄的多帧图像，提取所述多帧第一图像中各帧第一图像中的多个第一静态特征，提取所述多帧第二图像中各帧第二图像中的多个第二静态特征，将所述多个第一静态特征与所述多个第二静态特征进行匹配，得到多个静态特征对，根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数。上述方案中，通过提取双目相机中的静态特征值，并利用多帧图片中的相同特征值优化双目之间的旋转外参。此外，在检测到当前校准文件失效的情况下，可以控制车辆沿平坦直线车道行驶，进而获取双目相机拍摄的图像进行双目系统外参标定，可以自动修正双目系统外参标定的动态变化，提升自动驾驶的安全性以及改善用户体验。通过上述方案解决了现有的对文件报表进行校验的效率低下、成本较高的技术问题，达到了有效提升校验效率、降低校验成本的技术效果。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，并不构成对本说明书的限定。在附图中：
图1示出了本说明书一实施例中的双目相机外参标定方法的流程图；
图2示出了本说明书一实施例中的双目相机外参标定装置的示意图；
图3示出了本说明书一实施例中的计算机设备的示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本说明书的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本说明书，而并非以任何方式限制本说明书的范围。相反，提供这些实施方式是为了使本说明书公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域的技术人员知道，本说明书的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本说明书公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
本说明书实施例提供了一种双目相机外参标定方法。图1示出了本说明书一实施例中双目相机外参标定方法的流程图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。
具体地，如图1所示，本说明书一种实施例提供的双目相机外参标定方法可以包括以下步骤：
步骤S101，获取多帧第一图像和多帧第二图像，其中，所述多帧第一图像为安装有待标定的双目相机的目标车辆在沿平坦直线车道行驶时所述双目相机中的左目摄像头拍摄到的多帧图像，所述多帧第二图像为所述目标车辆在沿所述平坦直线车道行驶时所述双目相机中的右目摄像头拍摄的多帧图像。
本说明书实施例中的方法可以应用于计算机设备。可以获取多帧第一图像和多帧第二图像。第一图像和第二图像一一对应，即相对应的第一图像和第二图像为同一时刻拍摄的图像。在安装有待标定的双目相机的目标车辆在沿平坦直线车道行驶时，双目相机中的左目摄像头拍摄多帧第一图像。双目相机中的右目摄像头拍摄多帧第二图像。
步骤S102，提取所述多帧第一图像中各帧第一图像中的多个第一静态特征，提取所述多帧第二图像中各帧第二图像中的多个第二静态特征。
在获得多帧第一图像和多帧第二图像之后，可以提取多帧第一图像中各帧第一图像中的多个第一静态特征。还可以提取多帧第二图像中的各帧第二图像的多个第二静态特征。其中，第一静态特征是指第一图像中的相对于地面坐标系为静止的物体的特征，可以包括该物体在该帧第一图像中的坐标等信息。第二静态特征是指第二图像中的相对于地面坐标系为静止的物体的特征，可以包括该物体在该帧第二图像中的坐标等信息。
步骤S103，将所述多个第一静态特征与所述多个第二静态特征进行匹配，得到多个静态特征对。
在提取出各帧第一图像中的多个第一静态特征和各帧第二图像中的多个第二静态特征之后，将多个第一静态特征与多个第二静态特征进行匹配，得到多个静态特征对。具体地，可以将同一时刻或者说同一帧的第一图像和第二图像中的多个第一静态特征与多个第二静态特征进行匹配，得到该帧图像对应的静态特征对。对于不同帧的第一图像和第二图像之间，也可以匹配第一静态特征和第二静态特征。最终，可以得到一系列三维特征点，每个三维点都有一对或多对来自不同帧的静态特征对相对应。为了便于进行匹配，在提取静态特征时，可以提取具有明显特殊性的静态特征。
步骤S104，根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数。
在得到多个静态特征对之后，可以得到多个静态特征对对应的多个三维静态特征，由于三维静态特征在绝对坐标系下的绝对坐标相同，可以基于历史校准文件、左目摄像头与右目摄像头之间的距离以及多个静态特征对，确定左目摄像头与右目摄像头之间的旋转参数。其中，左目摄像头与右目摄像头之间的旋转参数可以是左目摄像头与右目摄像头之间的航向角、俯仰角和翻滚角。
上述实施例中，通过提取双目相机中的静态特征值，并利用多帧图片中的相同特征值，可以确定双目之间的旋转外参，提升自动驾驶的安全性以及改善用户体验。
在本说明书一些实施例中，所述历史校准文件中可以包括以下至少之一：双目之间的旋转矩阵、左目摄像头到矫正平面的旋转矩阵、右目摄像头到矫正平面的旋转矩阵、矫正平面到地平面的旋转矩阵和平移矩阵、三维世界到矫正平面重投影的矩阵。通过在校准中包括上述参数，可以确定双目之间的旋转参数以及双目相机相对于地面的旋转参数。
在本说明书一些实施例中，提取所述多帧第一图像中各帧第一图像中的多个第一静态特征，可以包括：通过车辆检测法从所述多帧第一图像中各帧第一图像中检测出行驶中的车辆并将检测出来的车辆进行打码；从打码后的各帧第一图像中提取多个第一静态特征。
具体地，在每一帧图像中，双目相机中的左目摄像头和右目摄像头各自提取环境中的静止特征值。由于，本实施例中的方案主要是在高速上实施的，所以移动特征均来自于行驶中的车辆。因此，可以将行驶中的车辆通过车辆检测的方法打上黑色的掩膜(mask)，剩下的像素就均来自于静止物体了。静止物体的提取用的可以采用opencv开源的akaze算子。提取的是在akaze算子看来有明显特殊性的特征。通过上述方式，可以在车辆在平坦直线车道上行驶时提取静态特征。
在本说明书一些实施例中，根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数，可以包括：将所述左目摄像头与所述右目摄像头之间的旋转参数以及所述目标车辆在所述多帧第一图像中各帧第一图像对应的时刻所处的位置作为待优化的目标参数；利用所述目标参数表征所述多个静态特征对中各静止特征对对应的静态特征的绝对位置；基于相同静态特征的绝对位置相同，对所述静止特征的绝对位置进行优化，得到优化后的静止特征的位置；根据所述目标参数将优化后的静止特征的位置重投影至对应的第一图像和第二图像中；将重投影后的静止特征在对应的第一图像和第二图像中的位置与先前提取出的静态特征的位置进行比较，得到两者之间的重投影误差；根据所述重投影误差对所述目标参数进行优化，直至所述重投影误差满足预设条件。
具体地，可以将双目相机之间的旋转参数以及将车当前的位置设为目标参数。其中，双目相机之间的旋转参数(roll,pitch,yaw)(即，(翻滚角，俯仰角，航向角))在多帧图像之中相同。双目相机当前的位置(x_i,y_i,z_i,roll_i,pitch_i,yaw_i)在不同帧当中此参数不同，其中，i用于表征帧序号。双目之间的平移距离是已知的。这是因为在量产中，平移距离可以通过模具有很好的约束，精度往往在1cm左右，已满足长基线双目所需要的精度。故最优解只需得出双目之间的旋转，外参就已经完成标定了。
可以提取长直路段不同帧的双目图片。针对每帧的双目图片，左右目各自用akaze算子提取出特帧点，并将双目之间特征点相互匹配，形成数个特征点对。加上双目之间的旋转和已知的双目之间的平移关系，根据三角测量的原理，可以确定每个特征点对相对于这一帧双目矫正平面的三维位置。基于这一帧摄像头的位置(即双目相机当前的位置)，可以得出这一帧下特征点在绝对坐标系下的位置。
对于相同帧之间以及不同帧之间，进行静态特征匹配，将这些不同帧之间的特征点对进行相互匹配。达成的最终结果是有一系列三维特征点，每个三维点都有一对或多对来自不同帧的特征点对相对应，每组特征点对都有其通过当前双目位置以及双目之间旋转算出的该三维特征点的位置。已知这些特征点对对应的是同一个三维特征点，所以不同特征点对得出的该三维特征点位置应当相同，所以将优化出来的三维特征点的位置通过双目之间的旋转参数和该帧摄像头的位置重投影回左右目图像中，在二维图像中的位置应该与最开始提取出的静态特征的位置相同。重投影和一开始提取的特征点的差异称为重投影误差。可以得知双目之间的旋转和不同帧双目的距离通过多帧之间相同的三维特征点所约束。为了最小化重投影误差，存在最优解。此优化可得出最优的双目之间的旋转，并顺便可算出最优的每一帧双目摄像机矫正平面的位置，以及三维特征点的位置。通过上述方式，可以确定双目相机中的左目摄像头与所述右目摄像头之间的旋转参数以及三维特征点的位置。
在本说明书一些实施例中，获取多帧第一图像和多帧第二图像，可以包括：确定所述双目相机的历史校准文件是否失效；在确定所述历史校准文件失效的情况下，获取多帧第一图像和多帧第二图像。
考虑到在车辆行驶过程中，由于各种环境原因导致双目相机中的左目摄像头和右目摄像头之间的旋转参数改变，因此需要对参数进行动态校正。具体地，可以确定双目相机的历史校准文件是否失效。在确定历史校准文件失效的情况下，获取多帧第一图像和多帧第二图像。其中，确定历史校准文件是否失效可以通过将按照当前外参标定进行自动驾驶的行驶路线与实际行驶路线进行比较来确定。通过上述方式，可以自动修正双目系统外参标定的动态变化，提升自动驾驶的安全性以及改善用户体验。
在本说明书一些实施例中，在根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数之后，还可以包括：根据所述左目摄像头与所述右目摄像头之间的旋转参数以及所述多个静态特征对，重建所述多个静态特征对对应的三维特征点云；基于所述重建的三维特征点云，确定所述双目相机相对于地面的角度。
具体地，在确定左目摄像头与右目摄像头之间的旋转参数之后，可以根据所述左目摄像头与所述右目摄像头之间的旋转参数以及所述多个静态特征对，确定多个静止特征的三维位置，并基于多个静止特征的三维位置重建所述多个静态特征对对应的三维特征点云。由于地面为静止特征中的一种，因此可以基于重建的三维特征点云，确定双目相机相对于地面的角度。这里的双目相机相对于地面的角度可以包括双目系统相对于地面的航向角、俯仰角、翻滚角。通过上述方式，可以确定双目系统相对于地面的旋转参数。
在本说明书一些实施例中，基于所述重建的三维特征点云，确定所述双目相机相对于于地面的角度，可以包括：根据所述目标车辆的高度从所述三维特征点云中提取出三维边框，其中，所述三维边框中的三维特征点具有地面特征；从所述三维边框中确定出地面的法向量；根据所述目标车辆在多帧中的位置，确定所述目标车辆的行进方向；基于所述地面的法向量和所示目标车辆的行进方向，确定所述双目相机相对于地面的角度。
具体地，在获得双目之间的外参标定后，通过双目可重建每帧之中的静态特征的三维位置信息(即三维特征点)，并拼接多帧之中的三维特征点获得较为稠密的三维特征点云。因车辆高度已知，故可从重建的三维特征点云中提取车身相对与地面的角度(航向角，俯仰角，翻滚角)。且因已知车辆沿直线行驶，在确定了航向角的前提下，双目相对于车身的俯仰角和翻滚角也可得出。
因为同一系列车辆摄像头相对于地面的角度大致相同，可以先在地面周围框出一个三维边框，提取出里面的三维特征点。提取出的这些点已经有很明显的平面特征，此平面即地面。再通过RANSAC算法，即可提取出地面的法向量(此法向量为相对于双目矫正平面的法向量)。通过上面优化出来的每帧的位置，可得出车辆的行进方向，因为已知车只会沿着平行地面的方向前行，结合在双目中地面的法向量和车身的行进方向，可以分离出双目相对于车辆行进方向的航向角、俯仰角、翻滚角，而车辆的行进方向即地面绝对坐标系。通过上述方式，可以确定双目系统相对于地面的旋转参数。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述，在此不做一一赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本说明书，并不构成对本说明书的不当限定。
在本具体实施例中，可以先令待校准车辆沿平坦直线车道行驶一段时间，并满足在此时间段内车辆航向角变化率小于阈值(目的是为了保证车辆是沿着平直道路行驶，这样有益于标定双目到地面。这里的阈值一般为0.5角度/秒。
在每一帧图片中，双目摄像头各自提取环境中的静止特征值(因为本方案主要是在高速上实施的，所以移动特征均来自于行驶中的车辆，可以将把行驶中的车辆通过车辆检测的方法打码(黑色的掩膜)，剩下的像素就均来自于静止物体了。静止物体的提取用的是opencv开源的akaze算子，提取的是在akaze看来有明显特殊性的特征)，并对双目各自摄像头观测到的特征值进行匹配。例如，双目摄像头各自均能看到静止环境特征31，32，33，则各自监测到的特征值均应匹配到31，32，33特征上。通过校准先验，即历史校准文件，双目系统可得到所观测到的特征点31，32，33与车的相对距离，称其为d31_1，d32_1，d33_1。
在下一帧图片中，再次通过双目提取静止环境特征31，32，33，并通过校准先验，生成在此帧下特征点与车辆的相对应关系d31_2,d32_2,d33_2。并在接下来的多帧图片中重复此步骤。
校准文件中可以包含：双目之间的旋转矩阵；左目摄像头到矫正平面的旋转矩阵；右目摄像头到矫正平面的旋转矩阵；矫正平面到地平面的旋转矩阵和平移矩阵；三维世界到矫正平面重投影的矩阵。
以上获得的各自帧内特征点相对于车辆距离与双目外参(航向角，俯仰角，翻滚角)和双目系统(及车辆)在多帧之内的相对运动(平移和旋转)有关。并且已知为静止特征点，此优化系统中没有其他未知量。在特征点数量充分的情况下，此系统有局部最优解。且因最优解与校准先验相距不远，此最优解总能被找到。
求解最优解的方法如下：
步骤1，将双目之间的旋转(roll,pitch,yaw)设为参数,此参数在多帧图像之中相同。
步骤2，将车当前的位置(x_i,y_i,z_i,roll_i,pitch_i,yaw_i)设为参数，在不同帧当中此参数不同。
步骤3，假设双目之间的距离是已知的。这是因为在量产中，平移距离可以通过模具有很好的约束，精度往往在1cm左右，已满足长基线双目所需要的精度。故最优解只需得出双目之间的旋转，外参就已经完成标定了。具体子步骤如下：
3.1)提取长直路段不同帧的双目图片。
3.2)针对每帧的双目图片，左右目各自用akaze算子提取出特帧点(l_k for leftcamera,r_k for right camera)，并将双目之间特征点相互匹配，形成数个特征点对；加上双目之间的旋转和已知的双目之间的平移关系，根据三角测量的原理，可以则可得知每个特征点对相对于这一帧双目rectify平面的3d位置。并且基于这一帧摄像头的位置(即(x_i,y_i,z_i,roll_i,pitch_i,yaw_i))，可以得出这一帧下特征点在绝对坐标系下的位置。
3.3)对于不同帧之间，可以匹配特征点，把这些不同帧之间的特征点对进行相互匹配。达成的最终结果是有一系列三维静态特征点，每个三维静态点都有一对或多对来自不同帧的特征点对相对应，每组特征点对都有其通过当前双目位置以及双目之间旋转算出的该三维静态特征点的位置；因为已知这些特征点对对应的是同一个三维静态特征点，所以不同特征点对得出的该三维静态特征点位置应当相同，所以把优化出来的三维静态特征点的位置通过双目之间的旋转矩阵和该帧的位置重投影回左右目图片，在二维图片中的位置应该与最开始通过akaze提取出的特征点位置相同(此为优化的方向)，重投影和一开始提却的特征点的差异称为重投影误差。到这里，可以得知双目之间的旋转和不同帧双目的距离通过多帧之间相同的三维静态特征点所约束，为了最小化重投影误差,存在最优解。此优化可得出最优的双目之间的旋转，并顺便可算出最优的每一帧双目摄像机矫正平面的位置，以及三维静态特征点的位置。
步骤4，在获得双目之间的外参标定后，通过双目可重建每帧之中的静态特征的三维位置信息(即三维特征点)，并拼接多帧之中的三维特征点获得较为稠密的三维特征点云。因车辆高度已知，故可从重建的三维特征点云中提取车身相对与地面的角度(航向角，俯仰角，翻滚角)。且因已知车辆沿直线行驶，在确定了航向角的前提下，双目相对于车身的俯仰角和翻滚角也可得出。
因为同一系列车辆摄像头相对于地面的角度大致相同，可以先在地面周围框出一个三维边框，提取出里面的三维特征点。提取出的这些点已经有很明显的平面特征，此平面即地面。再通过RANSAC算法，即可提取出地面的法向量(此法向量为相对于双目矫正平面的法向量)。通过上面优化出来的每帧的位置，可得出车辆的行进方向，因为已知车只会沿着平行地面的方向前行，结合在双目中地面的法向量和车身的行进方向，可以分离出双目相对于车辆行进方向的航向角、俯仰角、翻滚角，而车辆的行进方向即地面绝对坐标系。
上述方案中，通过提取双目相机中的静态特征值，并利用多帧图片中的相同特征值优化双目之间的旋转外参。此外，在检测到当前校准文件失效的情况下，可以控制车辆沿平坦直线车道行驶，进而获取双目相机拍摄的图像进行双目系统外参标定，可以自动修正双目系统外参标定的动态变化，提升自动驾驶的安全性以及改善用户体验。
基于同一发明构思，本说明书实施例中还提供了一种双目相机外参标定装置，如下面的实施例所述。由于双目相机外参标定装置解决问题的原理与双目相机外参标定方法相似，因此双目相机外参标定装置的实施可以参见双目相机外参标定方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图2是本说明书实施例的双目相机外参标定装置的一种结构框图，如图2所示，包括：获取模块201、提取模块202、匹配模块203和确定模块204，下面对该结构进行说明。
获取模块201用于获取多帧第一图像和多帧第二图像，其中，所述多帧第一图像为安装有待标定的双目相机的目标车辆在沿平坦直线车道行驶时所述双目相机中的左目摄像头拍摄到的多帧图像，所述多帧第二图像为所述目标车辆在沿所述平坦直线车道行驶时所述双目相机中的右目摄像头拍摄的多帧图像。
提取模块202用于提取所述多帧第一图像中各帧第一图像中的多个第一静态特征，提取所述多帧第二图像中各帧第二图像中的多个第二静态特征。
匹配模块203用于将所述多个第一静态特征与所述多个第二静态特征进行匹配，得到多个静态特征对。
确定模块204用于根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数。
在本说明书一些实施例中，所述历史校准文件中包括以下至少之一：双目之间的旋转矩阵、左目摄像头到矫正平面的旋转矩阵、右目摄像头到矫正平面的旋转矩阵、矫正平面到地平面的旋转矩阵和平移矩阵、三维世界到矫正平面重投影的矩阵。
在本说明书一些实施例中，提取模块可以具体用于：通过车辆检测法从所述多帧第一图像中各帧第一图像中检测出行驶中的车辆并将检测出来的车辆进行打码；从打码后的各帧第一图像中提取多个第一静态特征。
在本说明书一些实施例中，确定模块可以具体用于：将所述左目摄像头与所述右目摄像头之间的旋转参数以及所述目标车辆在所述多帧第一图像中各帧第一图像对应的时刻所处的位置作为待优化的目标参数；利用所述目标参数表征所述多个静态特征对中各静止特征对对应的静态特征的绝对位置；基于相同静态特征的绝对位置相同，对所述静止特征的绝对位置进行优化，得到优化后的静止特征的位置；根据所述目标参数将优化后的静止特征的位置重投影至对应的第一图像和第二图像中；将重投影后的静止特征在对应的第一图像和第二图像中的位置与先前提取出的静态特征的位置进行比较，得到两者之间的重投影误差；根据所述重投影误差对所述目标参数进行优化，直至所述重投影误差满足预设条件。
在本说明书一些实施例中，获取模块可以具体用于：确定所述双目相机的历史校准文件是否失效；在确定所述历史校准文件失效的情况下，获取多帧第一图像和多帧第二图像。
在本说明书一些实施例中，该装置还可以包括重建模块，重建模块可以具体用于：在根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数之后，根据所述左目摄像头与所述右目摄像头之间的旋转参数以及所述多个静态特征对，重建所述多个静态特征对对应的三维特征点云；基于所述重建的三维特征点云，确定所述双目相机相对于地面的角度。
在本说明书一些实施例中，重建模块可以具体用于：根据所述目标车辆的高度从所述三维特征点云中提取出三维边框，其中，所述三维边框中的三维特征点具有地面特征；从所述三维边框中确定出地面的法向量；根据所述目标车辆在多帧中的位置，确定所述目标车辆的行进方向；基于所述地面的法向量和所示目标车辆的行进方向，确定所述双目相机相对于地面的角度。
从以上的描述中，可以看出，本说明书实施例实现了如下技术效果：通过提取双目相机中的静态特征值，并利用多帧图片中的相同特征值确定双目之间的旋转外参。此外，在检测到当前校准文件失效的情况下，可以控制车辆沿平坦直线车道行驶，进而获取双目相机拍摄的图像进行双目系统外参标定，可以自动修正双目系统外参标定的动态变化，提升自动驾驶的安全性以及改善用户体验。
本说明书实施方式还提供了一种计算机设备，具体可以参阅图3所示的基于本说明书实施例提供的双目相机外参标定方法的计算机设备组成结构示意图，所述计算机设备具体可以包括输入设备31、处理器32、存储器33。其中，所述存储器33用于存储处理器可执行指令。所述处理器32执行所述指令时实现上述任意实施例中所述的双目相机外参标定方法的步骤。
在本实施方式中，所述输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。
在本实施方式中，该计算机设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
本说明书实施方式中还提供了一种基于双目相机外参标定方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现上述任意实施例中所述双目相机外参标定方法的步骤。
在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
显然，本领域的技术人员应该明白，上述的本说明书实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本说明书实施例不限制于任何特定的硬件和软件结合。
应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本说明书的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。
以上所述仅为本说明书的优选实施例而已，并不用于限制本说明书，对于本领域的技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。
Claims (10)
1.一种双目相机外参标定方法，其特征在于，包括：
获取多帧第一图像和多帧第二图像，其中，所述多帧第一图像为安装有待标定的双目相机的目标车辆在沿平坦直线车道行驶时所述双目相机中的左目摄像头拍摄到的多帧图像，所述多帧第二图像为所述目标车辆在沿所述平坦直线车道行驶时所述双目相机中的右目摄像头拍摄的多帧图像；
提取所述多帧第一图像中各帧第一图像中的多个第一静态特征，提取所述多帧第二图像中各帧第二图像中的多个第二静态特征；
将所述多个第一静态特征与所述多个第二静态特征进行匹配，得到多个静态特征对；
根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数。
2.根据权利要求1所述的方法，其特征在于，所述历史校准文件中包括以下至少之一：双目之间的旋转矩阵、左目摄像头到矫正平面的旋转矩阵、右目摄像头到矫正平面的旋转矩阵、矫正平面到地平面的旋转矩阵和平移矩阵、三维世界到矫正平面重投影的矩阵。
3.根据权利要求1所述的方法，其特征在于，提取所述多帧第一图像中各帧第一图像中的多个第一静态特征，包括：
通过车辆检测法从所述多帧第一图像中各帧第一图像中检测出行驶中的车辆并将检测出来的车辆进行打码；
从打码后的各帧第一图像中提取多个第一静态特征。
4.根据权利要求1所述的方法，其特征在于，根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数，包括：
将所述左目摄像头与所述右目摄像头之间的旋转参数以及所述目标车辆在所述多帧第一图像中各帧第一图像对应的时刻所处的位置作为待优化的目标参数；
利用所述目标参数表征所述多个静态特征对中各静止特征对对应的静态特征的绝对位置；
基于相同静态特征的绝对位置相同，对所述静止特征的绝对位置进行优化，得到优化后的静止特征的位置；
根据所述目标参数将优化后的静止特征的位置重投影至对应的第一图像和第二图像中；
将重投影后的静止特征在对应的第一图像和第二图像中的位置与先前提取出的静态特征的位置进行比较，得到两者之间的重投影误差；
根据所述重投影误差对所述目标参数进行优化，直至所述重投影误差满足预设条件。
5.根据权利要求1所述的方法，其特征在于，获取多帧第一图像和多帧第二图像，包括：
确定所述双目相机的历史校准文件是否失效；
在确定所述历史校准文件失效的情况下，获取多帧第一图像和多帧第二图像。
6.根据权利要求1所述的方法，其特征在于，在根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数之后，还包括：
根据所述左目摄像头与所述右目摄像头之间的旋转参数以及所述多个静态特征对，重建所述多个静态特征对对应的三维特征点云；
基于所述重建的三维特征点云，确定所述双目相机相对于地面的角度。
7.根据权利要求6所述的方法，其特征在于，基于所述重建的三维特征点云，确定所述双目相机相对于于地面的角度，包括：
根据所述目标车辆的高度从所述三维特征点云中提取出三维边框，其中，所述三维边框中的三维特征点具有地面特征；
从所述三维边框中确定出地面的法向量；
根据所述目标车辆在多帧中的位置，确定所述目标车辆的行进方向；
基于所述地面的法向量和所示目标车辆的行进方向，确定所述双目相机相对于地面的角度。
8.一种双目相机外参标定装置，其特征在于，包括：
获取模块，用于获取多帧第一图像和多帧第二图像，其中，所述多帧第一图像为安装有待标定的双目相机的目标车辆在沿平坦直线车道行驶时所述双目相机中的左目摄像头拍摄到的多帧图像，所述多帧第二图像为所述目标车辆在沿所述平坦直线车道行驶时所述双目相机中的右目摄像头拍摄的多帧图像；
提取模块，用于提取所述多帧第一图像中各帧第一图像中的多个第一静态特征，提取所述多帧第二图像中各帧第二图像中的多个第二静态特征；
匹配模块，用于将所述多个第一静态特征与所述多个第二静态特征进行匹配，得到多个静态特征对；
确定模块，用于根据历史校准文件、所述左目摄像头与所述右目摄像头之间的距离以及所述多个静态特征对，确定所述左目摄像头与所述右目摄像头之间的旋转参数。
9.一种计算机设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110961639.6A CN113610932A (zh) | 2021-08-20 | 2021-08-20 | 双目相机外参标定方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110961639.6A CN113610932A (zh) | 2021-08-20 | 2021-08-20 | 双目相机外参标定方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113610932A true CN113610932A (zh) | 2021-11-05 |
Family
ID=78309014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110961639.6A Pending CN113610932A (zh) | 2021-08-20 | 2021-08-20 | 双目相机外参标定方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610932A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023124398A1 (zh) * | 2021-12-31 | 2023-07-06 | 华为技术有限公司 | 一种外参标定方法及控制设备 |
| CN116503492A (zh) * | 2023-06-27 | 2023-07-28 | 北京鉴智机器人科技有限公司 | 自动驾驶系统中双目相机模组标定方法及标定装置 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018014730A1 (zh) * | 2016-07-18 | 2018-01-25 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及系统 |
| US20180302550A1 (en) * | 2017-04-13 | 2018-10-18 | Facebook, Inc. | Panoramic camera systems |
| US20190204084A1 (en) * | 2017-09-29 | 2019-07-04 | Goertek Inc. | Binocular vision localization method, device and system |
| CN110197510A (zh) * | 2019-06-05 | 2019-09-03 | 广州极飞科技有限公司 | 双目相机的标定方法、装置、无人机和存储介质 |
| CN110223354A (zh) * | 2019-04-30 | 2019-09-10 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于sfm三维重建的相机自标定方法 |
| US20200151908A1 (en) * | 2017-06-30 | 2020-05-14 | Hangzhou Hikvision Digital Technology Co., Ltd. | Camera parameter calibration method, device, apparatus, and system |
| WO2020151212A1 (zh) * | 2019-01-24 | 2020-07-30 | 惠州市德赛西威汽车电子股份有限公司 | 车载相机系统相机外参的标定方法及标定系统 |
| WO2020168668A1 (zh) * | 2019-02-22 | 2020-08-27 | 广州小鹏汽车科技有限公司 | 一种车辆的slam建图方法及系统 |
| CN111784778A (zh) * | 2020-06-04 | 2020-10-16 | 华中科技大学 | 基于线性求解非线性优化的双目相机外参标定方法和系统 |
| CN111862236A (zh) * | 2020-07-22 | 2020-10-30 | 中国科学院上海微系统与信息技术研究所 | 定焦双目相机自标定方法及系统 |
| CN111862235A (zh) * | 2020-07-22 | 2020-10-30 | 中国科学院上海微系统与信息技术研究所 | 双目相机自标定方法及系统 |
| CN111862234A (zh) * | 2020-07-22 | 2020-10-30 | 中国科学院上海微系统与信息技术研究所 | 双目相机自标定方法及系统 |
| CN112070845A (zh) * | 2020-08-31 | 2020-12-11 | 上海爱观视觉科技有限公司 | 双目相机的标定方法、装置及终端设备 |
| CN112270718A (zh) * | 2020-11-13 | 2021-01-26 | 苏州智加科技有限公司 | 摄像头标定方法、装置、系统及存储介质 |
| CN112734858A (zh) * | 2021-01-08 | 2021-04-30 | 长沙行深智能科技有限公司 | 一种双目标定精度在线检测方法及装置 |
-
2021
- 2021-08-20 CN CN202110961639.6A patent/CN113610932A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018014730A1 (zh) * | 2016-07-18 | 2018-01-25 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及系统 |
| US20180302550A1 (en) * | 2017-04-13 | 2018-10-18 | Facebook, Inc. | Panoramic camera systems |
| US20200151908A1 (en) * | 2017-06-30 | 2020-05-14 | Hangzhou Hikvision Digital Technology Co., Ltd. | Camera parameter calibration method, device, apparatus, and system |
| US20190204084A1 (en) * | 2017-09-29 | 2019-07-04 | Goertek Inc. | Binocular vision localization method, device and system |
| WO2020151212A1 (zh) * | 2019-01-24 | 2020-07-30 | 惠州市德赛西威汽车电子股份有限公司 | 车载相机系统相机外参的标定方法及标定系统 |
| WO2020168668A1 (zh) * | 2019-02-22 | 2020-08-27 | 广州小鹏汽车科技有限公司 | 一种车辆的slam建图方法及系统 |
| CN110223354A (zh) * | 2019-04-30 | 2019-09-10 | 惠州市德赛西威汽车电子股份有限公司 | 一种基于sfm三维重建的相机自标定方法 |
| CN110197510A (zh) * | 2019-06-05 | 2019-09-03 | 广州极飞科技有限公司 | 双目相机的标定方法、装置、无人机和存储介质 |
| CN111784778A (zh) * | 2020-06-04 | 2020-10-16 | 华中科技大学 | 基于线性求解非线性优化的双目相机外参标定方法和系统 |
| CN111862236A (zh) * | 2020-07-22 | 2020-10-30 | 中国科学院上海微系统与信息技术研究所 | 定焦双目相机自标定方法及系统 |
| CN111862235A (zh) * | 2020-07-22 | 2020-10-30 | 中国科学院上海微系统与信息技术研究所 | 双目相机自标定方法及系统 |
| CN111862234A (zh) * | 2020-07-22 | 2020-10-30 | 中国科学院上海微系统与信息技术研究所 | 双目相机自标定方法及系统 |
| CN112070845A (zh) * | 2020-08-31 | 2020-12-11 | 上海爱观视觉科技有限公司 | 双目相机的标定方法、装置及终端设备 |
| CN112270718A (zh) * | 2020-11-13 | 2021-01-26 | 苏州智加科技有限公司 | 摄像头标定方法、装置、系统及存储介质 |
| CN112734858A (zh) * | 2021-01-08 | 2021-04-30 | 长沙行深智能科技有限公司 | 一种双目标定精度在线检测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 孙冬梅;张广明;陈玉明;: "双目视觉测量系统摄像机外部参数标定研究", 控制工程, no. 04, 20 July 2012 (2012-07-20) * |
| 陈双;王源;赵凯旋;王乾乾;: "一种车载双目视觉系统的标定", 农业装备与车辆工程, no. 04 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023124398A1 (zh) * | 2021-12-31 | 2023-07-06 | 华为技术有限公司 | 一种外参标定方法及控制设备 |
| CN116503492A (zh) * | 2023-06-27 | 2023-07-28 | 北京鉴智机器人科技有限公司 | 自动驾驶系统中双目相机模组标定方法及标定装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11466988B2 (en) | Method and device for extracting key frames in simultaneous localization and mapping and smart device | |
| CN106529495B (zh) | 一种飞行器的障碍物检测方法和装置 | |
| CN108090958B (zh) | 一种机器人同步定位和地图构建方法和系统 | |
| CN112734852B (zh) | 一种机器人建图方法、装置及计算设备 | |
| WO2015024407A1 (zh) | 基于电力机器人的双目视觉导航系统及方法 | |
| CN113610932A (zh) | 双目相机外参标定方法和装置 | |
| CN106908052B (zh) | 用于智能机器人的路径规划方法及装置 | |
| CN103106659A (zh) | 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法 | |
| Yang et al. | Reactive obstacle avoidance of monocular quadrotors with online adapted depth prediction network | |
| CN113658337B (zh) | 一种基于车辙线的多模态里程计方法 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN112344923B (zh) | 一种机器人的定位方法及其定位装置 | |
| KR20210058686A (ko) | 동시적 위치 추정 및 맵 작성을 구현하는 장치 및 방법 | |
| CN111127540A (zh) | 一种三维虚拟空间自动测距方法及系统 | |
| CN111126116A (zh) | 无人船河道垃圾识别方法及系统 | |
| EP3953903A1 (en) | Scale-aware monocular localization and mapping | |
| CN111862236B (zh) | 定焦双目相机自标定方法及系统 | |
| US20240062415A1 (en) | Terminal device localization method and related device therefor | |
| CN116222543A (zh) | 用于机器人环境感知的多传感器融合地图构建方法及系统 | |
| CN112967340A (zh) | 同时定位和地图构建方法、装置、电子设备及存储介质 | |
| CN115410167A (zh) | 目标检测与语义分割方法、装置、设备及存储介质 | |
| CN116468786A (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
| CN106408593A (zh) | 一种基于视频的车辆跟踪方法及装置 | |
| Yang et al. | Vision-based intelligent vehicle road recognition and obstacle detection method | |
| CN113420590A (zh) | 弱纹理环境下的机器人定位方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |