CN112802124B - 多台立体相机的标定方法及装置、电子设备及存储介质 - Google Patents
多台立体相机的标定方法及装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112802124B CN112802124B CN202110125395.8A CN202110125395A CN112802124B CN 112802124 B CN112802124 B CN 112802124B CN 202110125395 A CN202110125395 A CN 202110125395A CN 112802124 B CN112802124 B CN 112802124B
- Authority
- CN
- China
- Prior art keywords
- calibration
- stereo
- point
- stereo cameras
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 165
- 238000013519 translation Methods 0.000 claims abstract description 73
- 239000013598 vector Substances 0.000 claims abstract description 65
- 238000004364 calculation method Methods 0.000 claims abstract description 29
- 238000009826 distribution Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 230000014616 translation Effects 0.000 description 61
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Abstract
本公开涉及一种多台立体相机的标定方法及装置、电子设备及存储介质，标定方法包括提取标定板处于不同位姿下的点云数据，确定点云数据的拟合平面并获取拟合平面的法向量；根据两台立体相机对应的法向量获取旋转矩阵；获取第一标定点和第二标定点的拍摄坐标，确定第一标定点的拍摄坐标的拟合直线；根据第一标定点的拍摄坐标以及所有标定点的分布位置计算第二标定点的计算坐标；根据第二标定点的计算坐标、第二标定点的拍摄坐标以及两台立体相机所在坐标系之间的旋转矩阵获取平移矩阵；重复执行上述流程直至计算得到每台立体相机与标准立体相机之间的平移矩阵。本公开实施例提高了多台立体相机的标定效率和精度。
Description
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种多台立体相机的标定方法及装置、电子设备及存储介质。
背景技术
立体相机可以获取目标物体的三维点云，利用点云可以实现对目标的三维重建、检测以及测量工作等，单个立体相机的视野有限，单次获取的目标物体点云有时无法满足实际需求，因此可以增加立体相机的数量，多台立体相机同时获取点云并进行拼接使用以扩大视野，获取更大目标的点云。要完成多台立体相机获取点云的拼接，这其中最重要是把多台立体相机获取的点云统一到一个坐标系下，即找到多台相机所在坐标系的转换矩阵以完成多台立体相机的外参标定。
目前已有的立体相机标定方案中，一种方案是通过拍摄固定于标定平板上的标定棋盘在不同姿态下的二维图像和三维点云，完成立体相机的标定。另一种方案是使用厚度不计的褶皱纸张，利用迭代最近点算法对多台立体相机进行外参标定，虽然能够实现多立体相机的匹配，但是两种标定过程均需要进行迭代过渡计算，标定效率极低，且随着迭代过程的进行，标定误差越来越大，标定精度较差。另外，还可以通过各种方式建立全局坐标系，在全局坐标系提前做好标志点，而且标志点在全局坐标系已知，但是往往需要全站仪或者制作复杂的标定物进行配合，增加了完成立体相机标定的成本。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种多台立体相机的标定方法及装置、电子设备及存储介质，提高了多台立体相机的标定效率和精度。
第一方面，本公开实施例提供了一种多台立体相机的标定方法，包括：
提取标定板处于不同位姿下的点云数据，确定所述点云数据的拟合平面并获取所述拟合平面的法向量；其中，所述标定板位于所述多台立体相机的视场中；
设定一台所述立体相机为标准立体相机，以所述标准立体相机和另一台立体相机两台立体相机作为一组相机，根据所述两台立体相机对应的所述法向量，获取所述两台立体相机所在坐标系之间的旋转矩阵；其中，所述两台立体相机包括所述标准立体相机；
获取第一标定点和第二标定点的拍摄坐标，确定所述第一标定点的拍摄坐标的拟合直线；其中，每台所述立体相机中可见至少两个标定点，所有所述标定点位于一条直线上，所述第二标定点位于所述拟合直线上，所述第一标定点与所述第二标定点位于不同的所述立体相机视场中；
根据所述第一标定点的拍摄坐标以及所有所述标定点的分布位置计算所述第二标定点的计算坐标；
根据所述第二标定点的计算坐标、所述第二标定点的拍摄坐标以及所述两台立体相机所在坐标系之间的旋转矩阵，获取所述两台立体相机所在坐标系之间的平移矩阵；
重复执行上述流程直至计算得到每台所述立体相机与所述标准立体相机所在坐标系之间的平移矩阵。
可选地，提取标定板处于不同位姿下的点云数据，包括：
采用聚类算法和/或滤波算法提取所述标定板处于不同位姿下的点云数据。
可选地，采用最小二乘算法或者随机抽样一致算法确定所述点云数据的拟合平面。
可选地，根据所述两台立体相机对应的所述法向量，获取所述两台立体相机所在坐标系之间的旋转矩阵，包括：
根据所述两台立体相机对应的所述法向量，列出所述法向量与所述旋转矩阵的关系等式，所述关系等式为：
其中，(N1x，N1y，N1z)为所述两台立体相机中的一台立体相机对应的所述法向量的三维坐标，(N2x，N2y，N2z)为所述两台立体相机中的另一台立体相机对应的所述法向量的三维坐标，R21为所述两台立体相机所在坐标系之间的旋转矩阵；
根据所述关系等式获取所述两台立体相机所在坐标系之间的旋转矩阵。
可选地，采用奇异值分解算法根据所述两台立体相机对应的所述法向量，获取所述两台立体相机所在坐标系之间的旋转矩阵。
可选地，确定所述第一标定点的拍摄坐标的拟合直线，包括：
根据至少两个所述第一标定点的拍摄坐标拟合一条直线以使所述至少两个所述第一标定点位于所述拟合直线上。
可选地，根据所述第一标定点的拍摄坐标以及所有所述标定点的分布位置计算所述第二标定点的计算坐标，包括：
根据所有所述标定点的分布位置确定位于所述拟合直线上的所述第一标定点和所述第二标定点之间的间距；
根据所述第一标定点的拍摄坐标、所述拟合直线的方程以及所述间距计算所述第二标定点的计算坐标。
可选地，所述标定点等间距设置；
根据所有所述标定点的分布位置确定位于所述拟合直线上的所述第一标定点和所述第二标定点之间的间距，包括：
对所有所述标定点依次编号；
位于所述拟合直线上的所述第二标定点的标号与所述第一标定点的标号的差值与相邻两个所述标定点之间间距的乘积，为位于所述拟合直线上的所述第一标定点和所述第二标定点之间的间距。
可选地，根据所述第二标定点的计算坐标、所述第二标定点的拍摄坐标以及所述两台立体相机所在坐标系之间的旋转矩阵，获取所述两台立体相机所在坐标系之间的平移矩阵，包括：
依据不同的所述第二标定点，列出多组所述第二标定点的计算坐标、所述第二标定点的拍摄坐标、所述两台立体相机所在坐标系之间的旋转矩阵、所述两台立体相机所在坐标系之间的平移矩阵之间的关系等式；
所述关系等式为：
其中，R为所述两台立体相机所在坐标系之间的旋转矩阵，T为所述两台立体相机所在坐标系之间的平移矩阵，(Px’,Py’,Pz’)为所述第二标定点的计算坐标，(Px,Py,Pz)为所述第二标定点的拍摄坐标；
根据所述关系等式获取所述两台立体相机所在坐标系之间的平移矩阵。
可选地，采用平均值算法根据所述第二标定点的计算坐标、所述第二标定点的拍摄坐标以及所述两台立体相机所在坐标系之间的旋转矩阵，获取所述两台立体相机所在坐标系之间的平移矩阵。
可选地，获取所述第一标定点和所述第二标定点的拍摄坐标，包括：
获取所述标定点所在直线处于不同位姿下的所述第一标定点和所述第二标定点的拍摄坐标。
可选地，所述标定板的位姿包括所述标定板至所述立体相机的距离，和/或，所述标定板相对于所述立体相机的倾斜角度；
所述标定点所在直线的位姿包括所述标定点所在直线至所述立体相机的距离，和/或，所述标定点所在直线相对于所述立体相机的倾斜角度。
可选地，所述标定点标注在所述标定板上，或者所述标定点标注在独立标定杆上。
第二方面，本公开实施例还提供了一种多台立体相机的标定装置，包括：
法向量获取模块，用于提取标定板处于不同位姿下的点云数据，确定所述点云数据的拟合平面并获取所述拟合平面的法向量；其中，所述标定板位于所述多台立体相机的视场中；
旋转矩阵获取模块，用于设定一台所述立体相机为标准立体相机，以所述标准立体相机和另一台立体相机两台立体相机作为一组相机，根据所述两台立体相机对应的所述法向量，获取所述两台立体相机所在坐标系之间的旋转矩阵；其中，所述两台立体相机包括所述标准立体相机；
拟合直线确定模块，用于获取第一标定点和第二标定点的拍摄坐标，确定所述第一标定点的拍摄坐标的拟合直线；其中，每台所述立体相机中可见至少两个标定点，所有所述标定点位于一条直线上，所述第二标定点位于所述拟合直线上，所述第一标定点与所述第二标定点位于不同的所述立体相机视场中；
坐标计算模块，用于根据所述第一标定点的拍摄坐标以及所有所述标定点的分布位置计算所述第二标定点的计算坐标；
平移矩阵获取模块，用于根据所述第二标定点的计算坐标、所述第二标定点的拍摄坐标以及所述两台立体相机所在坐标系之间的旋转矩阵，获取所述两台立体相机所在坐标系之间的平移矩阵；
重复执行模块，用于重复执行上述流程直至计算得到每台所述立体相机与所述标准立体相机所在坐标系之间的平移矩阵。
第三方面，本公开实施例还提供了一种电子设备，包括处理器和存储器，处理器通过调用存储器存储的程序或指令，执行如第一方面所述的多台立体相机的标定方法的步骤。
第四方面，本公开实施例还提供了一种存储介质，存储介质存储程序或指令，程序或指令使计算机执行如第一方面所述的多台立体相机的标定方法的步骤。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例技术方案提供了一种多台立体相机的标定方法，以一台立体相机所在坐标系为基础坐标系，即以标准立体相机所在坐标系为基础坐标系，标定出了其余每台立体相机与标准立体相机所在坐标系之间的旋转矩阵和平移矩阵，即标定出了其余每台立体相机与标准立体相机所在坐标系之间的外参矩阵，实现了多台立体相机的标定工作，且分步标定旋转矩阵和平移矩阵，有利于分别对旋转矩阵和平移矩阵的标定精度进行定理分析以降低标定误差，进而实现用不同的方式分别提高某个立体相机的旋转矩阵或平移矩阵的标定精度。另外，标定物的制作较为简单，无需进行迭代计算，标定效率和精度较高，且无需借助例如全站仪等第三方工具，有效降低了完成多台立体相机标定工作的成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种多台立体相机的标定方法的流程示意图；
图2为本公开实施例提供的一种多台立体相机的位置结构示意图；
图3为本公开实施例提供的一种标定板的俯视结构示意图；
图4为本公开实施例提供的一种多台立体相机的标定装置的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
图1为本公开实施例提供的一种多台立体相机的标定方法的流程示意图。多台立体相机的标定方法可以应用在需要对多台立体相机进行标定的应用场景，可以由本公开实施例提供的多台立体相机的标定装置执行，该多台立体相机的标定装置可以采用软件和/或硬件的方式来实现。如图1所示，多台立体相机的标定方法包括：
S101、提取标定板处于不同位姿下的点云数据，确定点云数据的拟合平面并获取拟合平面的法向量；其中，标定板位于多台立体相机的视场中。
具体地，可以将标定板放置于多台立体相机的视场中，图2为本公开实施例提供的一种多台立体相机的位置结构示意图。如图2所示，多台立体相机10位于同一水平高度，图2示例性地设置不同的立体相机10的视场之间存在交叠，也可以设置部分或者全部立体相机10的视场之间不存在交叠。图3为本公开实施例提供的一种标定板的俯视结构示意图。结合图2和图3，每台立体相机10中均可见标定板1，标定板1例如可以为纯色标定板，可以设置标定板1的面积足够大，确保每台立体相机10中均可见标定板1，本公开实施例所使用的标定板1的制作较为简单。
提取标定板1处于不同位姿下的点云数据，确定点云数据的拟合平面并获取拟合平面的法向量，即提取标定板1处于不同位姿下立体相机所得点云中标定板1所属点云，并根据立体相机获取的标定板1所属点云拟合平面，并获取拟合的平面的法向量。具体地，结合图2和图3，获取每台立体相机10拍摄得到的二维图像以及对应的三维点云，提取每台立体相机10所得点云中标定板1所属点云。示例性地，可以采用聚类算法和/或滤波算法提取标定板1处于不同位姿下的点云数据，即可以采用聚类算法和/或滤波算提取标定板1处于不同位姿下，每台立体相机10所得点云中标定板1所属点云。具体地，聚类算法即把标定板1所属点云中可能位于同一平面上的点云进行聚类，以便于后续拟合平面工作的进行，滤波算法即滤除获取的点云中的噪点，以提高标定板1所属点云提取的精度，聚类算法和滤波算法均为三维点云常用处理算法，这里不再具体展开论述。
根据立体相机10获取的标定板1所属点云拟合对应该立体相机10的平面，示例性地，可以采用最小二乘算法或者随机抽样一致算法确定点云数据的拟合平面，即采用最小二乘算法或者随机抽样一致算法根据立体相机10获取的标定板1所属点云拟合平面，即拟合对应该立体相机10的平面，拟合平面例如可以满足方程Ax+By+Cz+D＝0。根据拟合平面的方程获取拟合平面的法向量，即获取对应该立体相机10的平面的法向量，针对平面方程Ax+By+Cz+D＝0，矢量N(A，B，C)即为该拟合平面的单位法向量。
提取标定板1处于不同位姿下的点云数据，即提取标定板1处于不同位姿下，每台立体相机10所得点云中标定板1所属点云。示例性地，标定板1的位姿包括标定板1至立体相机10的距离，和/或，标定板1相对于立体相机10的倾斜角度。具体地，结合图2和图3，在获取每台立体相机10所得点云中标定板1所属点云时，不断更换标定板1的位姿，即不断调整标定板1至不同立体相机10的距离，以及标定板1相对于不同立体相机10的倾斜角度，每调整一次标定板1的位姿，获取对应标定板1一个位姿下的每台立体相机10所得点云中标定板1所属点云。示例性地，可以设置获取标定板1处于至少八个不同位姿下的每台立体相机10所得点云中标定板1所属点云。
由此，每调整一次标定板1的位姿，形成一组每台立体相机10所得点云中标定板1所属点云的采样，且每组采样对应的标定板1的位姿不同，即对应的标定板1到立体相机10的距离，或者标定板1相对于立体相机10的倾斜角度不同，增加每台立体相机10所得点云中标定板1所属点云的采样次数有利于提高相机标定结果的准确性和精度。
S102、设定一台立体相机为标准立体相机，以标准立体相机和另一台立体相机两台立体相机作为一组相机，根据两台立体相机对应的法向量，获取两台立体相机所在坐标系之间的旋转矩阵；其中，两台立体相机包括标准立体相机。
具体地，根据两台立体相机10对应的法向量，获取两台立体相机10所在坐标系之间的旋转矩阵，可以根据两台立体相机对应的法向量，列出法向量与旋转矩阵的关系等式，关系等式为：
其中，(N1x，N1y，N1z)为两台立体相机10中的一台立体相机10对应的法向量的三维坐标，(N2x，N2y，N2z)为两台立体相机10中的另一台立体相机10对应的法向量的三维坐标，R21为两台立体相机10所在坐标系之间的旋转矩阵，根据关系等式获取两台立体相机10所在坐标系之间的旋转矩阵。
设定一台立体相机为标准立体相机，以标准立体相机和另一台立体相机两台立体相机作为一组相机，示例性地，以图2中的第一台立体相机101作为标准立体相机，一组相机可以包括第一台立体相机101和第二台立体相机102，根据立体相机101获取的标定板1所属点云拟合对应立体相机101的平面，例如为第一拟合平面，获取第一拟合平面的法向量，例如为第一法向量N1。同样地，根据立体相机102获取的标定板1所属点云拟合对应立体相机102的平面，例如为第二拟合平面，获取第二拟合平面的法向量，例如为第二法向量N2。
第一法向量N1、第二法向量N2以及立体相机101与立体相机102所在坐标系之间的旋转矩阵即满足上述等式关系，以立体相机101，即标准立体相机所在坐标系为基础坐标系，则第一法向量N1的坐标为(N1x，N1y，N1z)，第二法向量N2的坐标为(N2x，N2y，N2z)，R21则为立体相机102所在坐标系想要统一到立体相机101所在坐标系对应的旋转矩阵。
需要说明的是，为实现所有立体相机10的标定工作，需要将所有立体相机10所在坐标系统一到一台立体相机10所在坐标系，例如可以均统一到标准立体相机，即立体相机101所在坐标系，即以立体相机101所在坐标系为基础坐标系为例，由于其余每台立体相机10对应的法向量互不相同，因此其余每台立体相机10按照上述方法将各自所在坐标系统一到立体相机101所在坐标系的过程对应的旋转矩阵各不相同。
针对每两台立体相机10，例如针对图2中的立体相机101和立体相机102，标定板1每处于一个位姿下，即可获取到立体相机101对应的法向量、立体相机102对应的法向量和两台立体相机10所在坐标系之间的旋转矩阵所满足的一组上述实施例的法向量关系等式，可以设置调整标定板1位姿的次数为N，则可以获取到对应立体相机101和立体相机102的N组上述实施例的法向量关系等式。示例性地，针对对应立体相机101和立体相机102的N组上述实施例的法向量关系等式，可以采用奇异值分解算法根据两台立体相机10对应的法向量获取该两台立体相机10所在坐标系之间的旋转矩阵，即可以采用奇异值分解算法根据立体相机101和立体相机102对应的法向量获取立体相机101和立体相机102所在坐标系之间的旋转矩阵。
根据不同立体相机10获取的标定板1所属点云拟合出来的平面各不相同，要实现所有的立体相机10所在坐标系的统一，需要通过标定过程使得不同立体相机10对应的拟合平面重合。因此，本公开实施例先获取两台立体相机10所在坐标系之间的旋转矩阵，通过不同立体相机10所在坐标系之间的旋转矩阵，可实现不同立体相机10对应的拟合平面相互平行，再计算不同立体相机10所在坐标系之间的平移矩阵，利用平移矩阵平移相互平行的拟合平面，即可实现不同立体相机10对应的拟合平面重合，进而实现所有的立体相机10所在坐标系的统一，完成多个立体相机10的标定工作。
S103、获取第一标定点和第二标定点的拍摄坐标，确定第一标定点的拍摄坐标的拟合直线；其中，每台立体相机中可见至少两个标定点，所有标定点位于一条直线上，第二标定点位于拟合直线上，第一标定点与第二标定点位于不同的立体相机视场中。
结合图2和图3，示例性地，可以设置标定点标注在标定板上，或者标定点标注在独立标定杆上，即标定点所在标定物可以为标定板，也可以为与标定板独立设置的独立标定杆，可以将标定点所在标定物放置于多台立体相机的视场中。具体地，设置所有标定点A位于一条直线上，每台立体相机10中可见至少两个标定点A，即至少有两个标定点A位于同一立体相机10的视场中。
具体地，获取第一标定点和第二标定点的拍摄坐标，确定第一标定点的拍摄坐标的拟合直线，即根据第一标定点的拍摄坐标拟合一条直线；其中，第一标定点与第二标定点为位于不同的立体相机视场中的标定点，第二标定点位于拟合直线上。如图2所示，可以设置标准立体相机，例如立体相机101对标定点A进行拍摄，获取立体相机101视场中标定点A的二维图像以及对应的三维点云，提取立体相机101获取到的二维图像中的标定点A，即第一标定点A1并确定第一标定点A1的拍摄坐标，第一标定点A1的拍摄坐标为第一标定点A1在点云中对应的三维坐标。
可选地，确定第一标定点A1的拍摄坐标的拟合直线，可以根据至少两个第一标定点A1的拍摄坐标拟合一条直线以使至少两个第一标定点A1位于拟合直线上。示例性地，可以根据两个第一标定点A1的拍摄坐标拟合一条直线以使两个第一标定点A1位于拟合直线上，以图2中的标准立体相机，即立体相机101为例，用于拟合直线的第一标定点A1例如可以为标定点A11和标定点A12，根据标定点A11和标定点A12的拍摄坐标即可拟合一条直线，拟合直线的方程例如可以为(x-x0)/l＝(y-y0)/m＝(z-z0)/n，即拟合直线经过点(x0，y0，z0)且拟合直线的方向向量为(l，m，n)。
可选地，获取第一标定点A1的拍摄坐标，可以是获取标定点所在直线处于不同位姿下的第一标定点A1的拍摄坐标。示例性地，可以第二标定物2的位姿包括标定点所在直线至立体相机，例如设定立体相机101的距离，和/或，标定点所在直线相对于立体相机，例如设定立体相机101的倾斜角度。
具体地，在获取第一标定点A1的拍摄坐标时，不断更换标定点所在直线的位姿，即不断调整标定点所在直线至立体相机，例如设定立体相机101的距离，以及标定点所在直线相对于立体相机，例如设定立体相机101的倾斜角度，每调整一次标定点所在直线的位姿，获取对应标定点所在直线一个位姿下的第一标定点A1的拍摄坐标。示例性地，可以设置获取标定点所在直线处于至少八个不同位姿下的第一标定点A1的拍摄坐标。
由此，每调整一次标定点所在直线的位姿，形成一组第一标定点A1拍摄坐标的采样，且每组采样对应的标定点所在直线的位姿不同，即对应的标定点所在直线到立体相机，例如设定立体相机101的距离，或者标定点所在直线相对于立体相机，例如设定立体相机101的倾斜角度不同，增加第一标定点A1拍摄坐标的采样次数有利于提高相机标定结果的准确性和精度。
获取第二标定点的拍摄坐标，第一标定点与第二标定点为位于不同的立体相机视场中的标定点，第二标定点位于拟合直线上。具体地，如图2所示，以立体相机102为例，立体相机102对标定点所在直线进行拍摄，获取立体相机102视场中标定点所在直线的二维图像以及对应的三维点云，提取立体相机102获取到的二维图像中的标定点A，即第二标定点A2并确定第二标定点A2的拍摄坐标，第二标定点A2的拍摄坐标为第二标定点A2在点云中对应的三维坐标，且第二标定点A2的拍摄坐标为第二标定点A2在立体相机102所在坐标系中的坐标，可以设置第一标定点A1的拍摄坐标获取过程与第二标定点A2的拍摄坐标的获取过程同时进行。
同样地，如图2所示，获取第二标定点A2的拍摄坐标，可以获取标定点所在直线处于不同位姿下的第二标定点A2的拍摄坐标。具体地，在获取第二标定点A2的拍摄坐标时，不断更换标定点所在直线的位姿，即不断调整标定点所在直线至立体相机10的距离，以及标定点所在直线相对于立体相机10的倾斜角度，每调整一次标定点所在直线的位姿，获取对应标定点所在直线一个位姿下的第二标定点A2的拍摄坐标。示例性地，可以设置获取标定点所在直线处于至少八个不同位姿下的第二标定点A2的拍摄坐标。由此，每调整一次标定点所在直线的位姿，形成一组第二标定点A2拍摄坐标的采样，且每组采样对应的标定点所在直线的位姿不同，即对应的标定点所在直线到立体相机10的距离，或者标定点所在直线相对于立体相机10的倾斜角度不同，增加第二标定点A2拍摄坐标的采样次数有利于提高相机标定结果的准确性和精度。
S104、根据第一标定点的拍摄坐标以及所有标定点的分布位置计算第二标定点的计算坐标。
具体地，根据第一标定点A1的拍摄坐标以及所有标定点A的分布位置计算位于拟合直线上的第二标定点A2的计算坐标，第一标定点A1与第二标定点A2位于不同的立体相机10视场中，以第一标定点A1为位于立体相机101视场中的标定点A，第二标定点A2为位于立体相机102视场中的标定点A为例。可以根据所有标定点A的分布位置确定位于拟合直线上的第一标定点A1和第二标定点A2之间的间距，根据第一标定点A1的拍摄坐标、拟合直线的方程以及间距计算位于拟合直线上的第二标定点A2的计算坐标。
示例性地，如图2所示，标定点A可以等间距设置，根据所有标定点A的分布位置确定位于拟合直线上的第一标定点A1和第二标定点A2之间的间距，可以先对所有标定点A依次编号，位于拟合直线上的第二标定点A2的标号与第一标定点A1的标号的差值与相邻两个标定点A之间间距d的乘积为位于拟合直线上的第一标定点A1和第二标定点A2之间的间距。
具体地，标记点A例如可以为圆标记点，如图2所示，第一标定点A1例如可以为标号为2的标定点A11，第二标定点A2例如可以为标号为7的标定点A21，则五倍的相邻两个标定点A之间间距d即为拟合的直线上的第一标定点A11和第二标定点A21之间的间距，拟合直线的方程已知，再结合已知拟合直线上的第一标定点A11的拍摄坐标，即三维坐标，可以计算获得位于拟合的直线上的第二标定点A21的计算坐标，第二标定点A21的计算坐标是第二标定点A21在设定立体相机，例如立体相机101所在坐标系中的坐标。
需要说明的是，上述实施例仅以立体相机101为标准立体相机为例进行说明，也可以以其它立体相机为标注立体相机，本公开实施例对此不作限定。
S105、根据第二标定点的计算坐标、第二标定点的拍摄坐标以及两台立体相机所在坐标系之间的旋转矩阵，获取两台立体相机所在坐标系之间的平移矩阵。
具体地，立体相机10可以获取目标物体的三维点云，利用点云可以实现对目标的三维重建、检测以及测量工作等，单个立体相机10的视野有限，单次获取的目标物体点云有时无法满足实际需求，因此可以增加立体相机10的数量，多台立体相机10同时获取点云并进行拼接使用以扩大视野，获取更大目标的点云。要完成多台立体相机10获取点云的拼接，这其中最重要是把多台立体相机10获取的点云统一到一个坐标系下即统一到一台立体相机10，例如标准立体相机所在坐标系下，即找到多台相机所在坐标系的转换矩阵以完成多台立体相机10的外参标定。
示例性地，转换矩阵B可以表示为4×4的矩阵，转换矩阵B满足如下计算公式：
其中，转换矩阵B，即外参标定矩阵可以标记成一个4×4的矩阵，也可以是由一个3×3的旋转矩阵R和一个3×1的平移矩阵T组成，坐标系通过一些刚体变换，例如分别沿x方向，y方向或者z方向做一些平移和旋转就可以转换到另外一个坐标系。要实现两个立体相机10的标定，就需要求出平移量x，y和z以及旋转量rx，ry和rz，就可以计算出平移矩阵T和旋转矩阵R。上述公式中，为方便计算，将旋转矩阵R和平移矩阵T均扩展为4×4的矩阵，等式中第二行前三个矩阵对应旋转矩阵R，后面一个矩阵对应平移矩阵T，根据线性代数相关理论，上述矩阵的扩展并不影响计算结果。
针对多台立体相机10，如图2所示，可以以标准立体相机，例如立体相机101所在坐标系作为基础坐标系，只要标定出其余立体相机10与立体相机101的转换矩阵B，即标定出其余立体相机10与立体相机101的旋转矩阵R和平移矩阵T，就可以完成多台立体相机10的标定工作，实现所有立体相机10坐标系的统一。需要说明的是，也可以设置其它立体相机10所在坐标系为基础坐标系，即也可以设置其它立体相机10为标准立体相机，并不限定以立体相机101所在坐标系作为基础坐标系。
具体地，根据第二标定点A2的计算坐标、同一第二标定点A2的拍摄坐标以及两台立体相机所在坐标系之间的旋转矩阵，获取两台立体相机所在坐标系之间的平移矩阵，可以依据不同的第二标定点A2，列出多组第二标定点A2的计算坐标以及拍摄坐标、两台立体相机所在坐标系之间的旋转矩阵、两台立体相机所在坐标系之间的平移矩阵之间的关系等式。
具体地，可以根据同一第二标定点A2的计算坐标、拍摄坐标以及标准立体相机，例如立体相机101与该第二标定点A2对应的立体相机，例如立体相机102所在坐标系之间的旋转矩阵，获取标准立体相机，例如立体相机101与该第二标定点A2对应的立体相机，例如立体相机102所在坐标系之间的平移矩阵，可以依据不同的第二标定点A2，列出多组第二标定点A2的计算坐标、拍摄坐标、立体相机101与该第二标定点A2对应的立体相机102所在坐标系之间的旋转矩阵、立体相机101与该第二标定点A2对应的立体相机102所在坐标系之间的平移矩阵之间的关系等式，关系等式为：
其中，R为两台立体相机所在坐标系之间的旋转矩阵，T为两台立体相机所在坐标系之间的平移矩阵，例如R可以为标准立体相机，例如立体相机101与该第二标定点A2对应的立体相机，例如立体相机102所在坐标系之间的旋转矩阵，T可以为标准立体相机，例如立体相机101与该第二标定点A2对应的立体相机，例如立体相机102所在坐标系之间的平移矩阵，(Px’,Py’,Pz’)为第二标定点A2的计算坐标，(Px,Py,Pz)为第二标定点A2的拍摄坐标，根据关系等式获取标准立体相机，例如立体相机101与该第二标定点A2对应的立体相机，例如立体相机102所在坐标系之间的平移矩阵。
具体地，标定转换矩阵包括旋转矩阵和平移矩阵，根据所有标定点A的分布位置求解得到的第二标定点A2计算坐标对应的三维坐标点P’与第二标定点A2拍摄坐标对应的三维坐标点P属于物理世界中的同一个点，称为同名点，P’的坐标为(Px’,Py’,Pz’)，P的坐标为(Px,Py,Pz)，二者之间满足计算公式P’＝(RT)P，即满足上述RT关系等式。在第二标定点A2的计算坐标(Px’,Py’,Pz’)和第二标定点A2的拍摄坐标(Px,Py,Pz)已知的情况下，代入步骤103求解得到的标准立体相机，例如立体相机101与该第二标定点A2对应的立体相机，例如立体相机102之间的旋转矩阵，即可获取标准立体相机，例如立体相机101与该第二标定点A2对应的立体相机，例如立体相机102所在坐标系之间的平移矩阵。
可选地，可以采用平均值算法根据第二标定点的计算坐标、第二标定点的拍摄坐标以及两台立体相机所在坐标系之间的旋转矩阵，获取两台立体相机所在坐标系之间的平移矩阵，例如可以采用平均值算法根据同一第二标定点A2的计算坐标、拍摄坐标以及设定立体相机，例如立体相机101与该第二标定点A2对应的立体相机，例如立体相机102所在坐标系之间的旋转矩阵，获取设定立体相机，例如立体相机101与该第二标定点A2对应的立体相机，例如立体相机102所在坐标系之间的平移矩阵。
具体地，立体相机102的视场内有多少个第二标定点A2，在实现将立体相机102所在坐标系统一到立体相机101所在坐标系的过程中，就有多少个P’＝(RT)P的关系等式，图2示例性地设置立体相机102的视场内有四个第二标定点A2，在实现将立体相机102所在坐标系统一到立体相机101所在坐标系的过程中，就有四组同名点，即有四个P’＝(RT)P的关系等式，可以设置获取第二标定物2处于八个不同位姿下的第二标定点A的拍摄坐标，则共存在32组同名点，32组同名点均满足P’＝(RT)P的关系等式，即可以列出32个P’＝(RT)P的关系等式。
针对32个P’＝(RT)P的关系等式，可以采用平均值算法获取标准立体相机，例如立体相机101与该第二标定点A2对应的立体相机，例如立体相机102所在坐标系之间的平移矩阵，即对每个P’＝(RT)P关系等式计算得出的平移矩阵T求解平均值，最终确定标准立体相机，例如立体相机101与该第二标定点A2对应的立体相机，例如立体相机102所在坐标系之间的平移矩阵。
另外，上述实施例求解得到的平移矩阵为平均值的求解结果，因此可以比对哪个采样组求得的平移矩阵与平移矩阵的平均值相差较大，说明该采样组求解得到的平移矩阵误差较大，可以删除该采样组，以提高求解得到的平移矩阵的精度。另外，上述实施例求解旋转矩阵的过程为奇异值分解的近似求解过程，可以将单独采样组求解得到的旋转矩阵代入上述法向量的关系等式，若反推出来的法向量与实际计算获得的法向量相差较大，说明该采样组求解得到的旋转矩阵误差较大，同样可以删除该采样组，以提高求解得到的旋转矩阵的精度。由此，可以通过标定的旋转矩阵，检测各个坐标系下的平面法向量统一到一个坐标系下的误差，以及通过标定的平移矩阵，检测各个坐标系下的同名点转换后的误差，旋转矩阵和平移矩阵分开求解，分开进行误差分析，以便于确定标定中的某个立体相机10单独的某个矩阵存在的问题，这样就可以对每个旋转矩阵和平移矩阵的标定精度做分别的定量分析，实现用不同的方式分别提高某个立体相机10标定的旋转矩阵和平移矩阵的精度，例如可以删除某组采样等。
可选地，结合图2和图3，可以设置标定点A标注在标定板1上，或者设置标定点A标注在独立标定杆上。具体地，设置标定点A标注在标定板1上，可以在标定板1上绘制一条直线，并在直线上标出多个标定点A。设置标定点A标注在独立标定杆上，标定板1可以为块状钢板，在独立标定杆上标示出多个标定点A。
另外，若需要标定的立体相机10的数量较多，标定板1或者标定点A所在直线的尺寸不足够时，可以先标定相邻的多个立体相机10，再移动标定板1和标定点A所在直线以传递着进行标定。例如可以先使用标定板1和标定点A所在直线对第一台至第四台立体相机10进行标定，将第一台至第四台立体相机10均统一至第一台立体相机10所在坐标系，再移动标定板1和标定点A所在直线，对第五台至第八台立体相机10进行标定，将第五台至第八台立体相机10均统一至第五台立体相机10所在坐标系，最终再均统一至第一台立体相机10所在坐标系，避免标定板1和标定点A所在直线尺寸过大，导致多个立体相机10的标定工作较为繁重。
S106、重复执行上述流程直至计算得到每台立体相机与标准立体相机所在坐标系之间的平移矩阵。
具体地，即重复执行步骤S101至S105直至计算得到每台立体相机与标准立体相机之间的平移矩阵，上述步骤S101至S105可完成标准立体相机与一台立体相机之间的标定，得到标准立体相机与一台立体相机所在坐标系之间的旋转矩阵和平移矩阵。假设一共需要完成N台立体相机的标定，则每次需要重复执行步骤S101至S105以得到标准立体相机与其中一台立体相机之间的标定，一共需要重复执行N-1次步骤S101至S105即可以完成N台立体相机的标定。结合图2和图3，以标准立体相机为立体相机101为例，执行一次步骤S101至S105可以完成立体相机101与立体相机102之间的标定，再执行一次步骤S101至S105，可以完成立体相机101与立体相机103之间的标定，以此类推。
本公开实施例还提供了一种多台立体相机的标定装置，图4为本公开实施例提供的一种多台立体相机的标定装置的结构示意图。如图4所示，多台立体相机的标定装置包括法向量获取模块201、旋转矩阵获取模块202、拟合直线确定模块203、坐标计算模块204、平移矩阵获取模块205和重复执行模块206。
法向量获取模块210用于提取标定板处于不同位姿下的点云数据，确定所述点云数据的拟合平面并获取所述拟合平面的法向量；其中，所述标定板位于所述多台立体相机的视场中，旋转矩阵获取模块202用于设定一台所述立体相机为标准立体相机，以所述标准立体相机和另一台立体相机两台立体相机作为一组相机，根据所述两台立体相机对应的所述法向量，获取所述两台立体相机所在坐标系之间的旋转矩阵；其中，所述两台立体相机包括所述标准立体相机，拟合直线确定模块203用于获取第一标定点和第二标定点的拍摄坐标，确定所述第一标定点的拍摄坐标的拟合直线；其中，每台所述立体相机中可见至少两个标定点，所有所述标定点位于一条直线上，所述第二标定点位于所述拟合直线上，所述第一标定点与所述第二标定点位于不同的所述立体相机视场中，坐标计算模块204用于根据所述第一标定点的拍摄坐标以及所有所述标定点的分布位置计算所述第二标定点的计算坐标，平移矩阵获取模块205用于根据所述第二标定点的计算坐标、所述第二标定点的拍摄坐标以及所述两台立体相机所在坐标系之间的旋转矩阵，获取所述两台立体相机所在坐标系之间的平移矩阵，重复执行模块206用于重复执行上述流程直至计算得到每台所述立体相机与所述标准立体相机所在坐标系之间的平移矩阵。
本公开实施例技术方案以一台立体相机所在坐标系为基础坐标系，即以标准立体相机所在坐标系为基础坐标系，标定出了其余每台立体相机与标准立体相机所在坐标系之间的旋转矩阵和平移矩阵，即标定出了其余每台立体相机与标准立体相机所在坐标系之间的外参矩阵，实现了多台立体相机的标定工作，且分步标定旋转矩阵和平移矩阵，有利于分别对旋转矩阵和平移矩阵的标定精度进行定理分析以降低标定误差，进而实现用不同的方式分别提高某个立体相机的旋转矩阵或平移矩阵的标定精度。另外，标定物的制作较为简单，无需进行迭代计算，标定效率和精度较高，且无需借助例如全站仪等第三方工具，有效降低了完成多台立体相机标定工作的成本。
本发明实施例还提供了一种电子设备，图5为本发明实施例提供的一种电子设备的结构示意图。如图5所示，电子设备包括处理器和存储器，处理器通过调用存储器存储的程序或指令，执行如上述实施例所述的多台立体相机的标定方法的步骤，因此具备上述实施例所述的有益效果，这里不再赘述。
如图5所示，可以设置电子设备包括至少一个处理器301、至少一个存储器302和至少一个通信接口303。电子设备中的各个组件通过总线系统304耦合在一起。通信接口303用于与外部设备之间的信息传输。可理解，总线系统304用于实现这些组件之间的连接通信。总线系统304除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图5中将各种总线都标为总线系统304。
可以理解，本实施例中的存储器302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。在一些实施方式中，存储器302存储了如下的元素：可执行单元或者数据结构，或者他们的子集，或者他们的扩展集操作系统和应用程序。在本发明实施例中，处理器301通过调用存储器302存储的程序或指令，执行本发明实施例提供的多台立体相机的标定方法各实施例的步骤。
本发明实施例提供的多台立体相机的标定方法可以应用于处理器301中，或者由处理器301实现。处理器301可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明实施例提供的多台立体相机的标定方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成方法的步骤。
该电子设备还可以包括一个实体部件，或者多个实体部件，以根据处理器301在执行本申请实施例提供的多台立体相机的标定方法时生成的指令。各个实体部件与处理器301和存储器302共同配合实现本实施例中电子设备的功能。
本发明实施例还提供一种存储介质，例如计算机可读存储介质，存储介质存储程序或指令，该程序或指令使计算机执行行时用于执行一种多台立体相机的标定方法，该方法包括：
提取标定板处于不同位姿下的点云数据，确定所述点云数据的拟合平面并获取所述拟合平面的法向量；其中，所述标定板位于所述多台立体相机的视场中；
设定一台所述立体相机为标准立体相机，以所述标准立体相机和另一台立体相机两台立体相机作为一组相机，根据所述两台立体相机对应的所述法向量，获取所述两台立体相机所在坐标系之间的旋转矩阵；其中，所述两台立体相机包括所述标准立体相机；
获取第一标定点和第二标定点的拍摄坐标，确定所述第一标定点的拍摄坐标的拟合直线；其中，每台所述立体相机中可见至少两个标定点，所有所述标定点位于一条直线上，所述第二标定点位于所述拟合直线上，所述第一标定点与所述第二标定点位于不同的所述立体相机视场中；
根据所述第一标定点的拍摄坐标以及所有所述标定点的分布位置计算所述第二标定点的计算坐标；
根据所述第二标定点的计算坐标、所述第二标定点的拍摄坐标以及所述两台立体相机所在坐标系之间的旋转矩阵，获取所述两台立体相机所在坐标系之间的平移矩阵；
重复执行上述流程直至计算得到每台所述立体相机与所述标准立体相机之间的平移矩阵。
可选地，该计算机可执行指令在由计算机处理器执行时还可以用于执行本发明任意实施例所提供的多台立体相机的标定方法的技术方案。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (15)
1.一种多台立体相机的标定方法，其特征在于，包括：
提取标定板处于不同位姿下的点云数据，确定所述点云数据的拟合平面并获取所述拟合平面的法向量；其中，所述标定板位于所述多台立体相机的视场中；
设定一台所述立体相机为标准立体相机，以所述标准立体相机和另一台立体相机两台立体相机作为一组相机，根据所述两台立体相机对应的所述法向量，获取所述两台立体相机所在坐标系之间的旋转矩阵；其中，所述两台立体相机包括所述标准立体相机；
获取第一标定点和第二标定点的拍摄坐标，确定所述第一标定点的拍摄坐标的拟合直线；其中，每台所述立体相机中可见至少两个标定点，所有所述标定点位于一条直线上，所述第二标定点位于所述拟合直线上，所述第一标定点与所述第二标定点位于不同的所述立体相机视场中；
根据所述第一标定点的拍摄坐标以及所有所述标定点的分布位置计算所述第二标定点的计算坐标；
根据所述第二标定点的计算坐标、所述第二标定点的拍摄坐标以及所述两台立体相机所在坐标系之间的旋转矩阵，获取所述两台立体相机所在坐标系之间的平移矩阵；
重复执行上述流程直至计算得到每台所述立体相机与所述标准立体相机所在坐标系之间的平移矩阵；
根据所述第一标定点的拍摄坐标以及所有所述标定点的分布位置计算所述第二标定点的计算坐标，包括：
根据所有所述标定点的分布位置确定位于所述拟合直线上的所述第一标定点和所述第二标定点之间的间距；
根据所述第一标定点的拍摄坐标、所述拟合直线的方程以及所述间距计算所述第二标定点的计算坐标。
2.根据权利要求1所述的多台立体相机的标定方法，其特征在于，提取标定板处于不同位姿下的点云数据，包括：
采用聚类算法和/或滤波算法提取所述标定板处于不同位姿下的点云数据。
3.根据权利要求1所述的多台立体相机的标定方法，其特征在于，采用最小二乘算法或者随机抽样一致算法确定所述点云数据的拟合平面。
4.根据权利要求1所述的多台立体相机的标定方法，其特征在于，根据所述两台立体相机对应的所述法向量，获取所述两台立体相机所在坐标系之间的旋转矩阵，包括：
根据所述两台立体相机对应的所述法向量，列出所述法向量与所述旋转矩阵的关系等式，所述关系等式为：
其中，(N1x，N1y，N1z)为所述两台立体相机中的一台立体相机对应的所述法向量的三维坐标，(N2x，N2y，N2z)为所述两台立体相机中的另一台立体相机对应的所述法向量的三维坐标，R21为所述两台立体相机所在坐标系之间的旋转矩阵；
根据所述关系等式获取所述两台立体相机所在坐标系之间的旋转矩阵。
5.根据权利要求4所述的多台立体相机的标定方法，其特征在于，采用奇异值分解算法根据所述两台立体相机对应的所述法向量，获取所述两台立体相机所在坐标系之间的旋转矩阵。
6.根据权利要求1所述的多台立体相机的标定方法，其特征在于，确定所述第一标定点的拍摄坐标的拟合直线，包括：
根据至少两个所述第一标定点的拍摄坐标拟合一条直线以使所述至少两个所述第一标定点位于所述拟合直线上。
7.根据权利要求1所述的多台立体相机的标定方法，其特征在于，所述标定点等间距设置；
根据所有所述标定点的分布位置确定位于所述拟合直线上的所述第一标定点和所述第二标定点之间的间距，包括：
对所有所述标定点依次编号；
位于所述拟合直线上的所述第二标定点的标号与所述第一标定点的标号的差值与相邻两个所述标定点之间间距的乘积，为位于所述拟合直线上的所述第一标定点和所述第二标定点之间的间距。
8.根据权利要求1所述的多台立体相机的标定方法，其特征在于，根据所述第二标定点的计算坐标、所述第二标定点的拍摄坐标以及所述两台立体相机所在坐标系之间的旋转矩阵，获取所述两台立体相机所在坐标系之间的平移矩阵，包括：
依据不同的所述第二标定点，列出多组所述第二标定点的计算坐标、所述第二标定点的拍摄坐标、所述两台立体相机所在坐标系之间的旋转矩阵、所述两台立体相机所在坐标系之间的平移矩阵之间的关系等式；
所述关系等式为：
其中，R为所述两台立体相机所在坐标系之间的旋转矩阵，T为所述两台立体相机所在坐标系之间的平移矩阵，(Px’,Py’,Pz’)为所述第二标定点的计算坐标，(Px,Py,Pz)为所述第二标定点的拍摄坐标；
根据所述关系等式获取所述两台立体相机所在坐标系之间的平移矩阵。
9.根据权利要求8所述的多台立体相机的标定方法，其特征在于，采用平均值算法根据所述第二标定点的计算坐标、所述第二标定点的拍摄坐标以及所述两台立体相机所在坐标系之间的旋转矩阵，获取所述两台立体相机所在坐标系之间的平移矩阵。
10.根据权利要求1所述的多台立体相机的标定方法，其特征在于，获取所述第一标定点和所述第二标定点的拍摄坐标，包括：
获取所述标定点所在直线处于不同位姿下的所述第一标定点和所述第二标定点的拍摄坐标。
11.根据权利要求10所述的多台立体相机的标定方法，其特征在于，所述标定板的位姿包括所述标定板至所述立体相机的距离，和/或，所述标定板相对于所述立体相机的倾斜角度；
所述标定点所在直线的位姿包括所述标定点所在直线至所述立体相机的距离，和/或，所述标定点所在直线相对于所述立体相机的倾斜角度。
12.根据权利要求1所述的多台立体相机的标定方法，其特征在于，所述标定点标注在所述标定板上，或者所述标定点标注在独立标定杆上。
13.一种多台立体相机的标定装置，其特征在于，包括：
法向量获取模块，用于提取标定板处于不同位姿下的点云数据，确定所述点云数据的拟合平面并获取所述拟合平面的法向量；其中，所述标定板位于所述多台立体相机的视场中；
旋转矩阵获取模块，用于设定一台所述立体相机为标准立体相机，以所述标准立体相机和另一台立体相机两台立体相机作为一组相机，根据所述两台立体相机对应的所述法向量，获取所述两台立体相机所在坐标系之间的旋转矩阵；其中，所述两台立体相机包括所述标准立体相机；
拟合直线确定模块，用于获取第一标定点和第二标定点的拍摄坐标，确定所述第一标定点的拍摄坐标的拟合直线；其中，每台所述立体相机中可见至少两个标定点，所有所述标定点位于一条直线上，所述第二标定点位于所述拟合直线上，所述第一标定点与所述第二标定点位于不同的所述立体相机视场中；
坐标计算模块，用于根据所述第一标定点的拍摄坐标以及所有所述标定点的分布位置计算所述第二标定点的计算坐标；
平移矩阵获取模块，用于根据所述第二标定点的计算坐标、所述第二标定点的拍摄坐标以及所述两台立体相机所在坐标系之间的旋转矩阵，获取所述两台立体相机所在坐标系之间的平移矩阵；
重复执行模块，用于重复执行上述流程直至计算得到每台所述立体相机与所述标准立体相机所在坐标系之间的平移矩阵；
根据所述第一标定点的拍摄坐标以及所有所述标定点的分布位置计算所述第二标定点的计算坐标，包括：
根据所有所述标定点的分布位置确定位于所述拟合直线上的所述第一标定点和所述第二标定点之间的间距；
根据所述第一标定点的拍摄坐标、所述拟合直线的方程以及所述间距计算所述第二标定点的计算坐标。
14.一种电子设备，其特征在于，包括处理器和存储器，所述处理器通过调用所述存储器存储的程序或指令，执行如权利要求1-12任一项所述的多台立体相机的标定方法的步骤。
15.一种存储介质，其特征在于，所述存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1-12任一项所述的多台立体相机的标定方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110125395.8A CN112802124B (zh) | 2021-01-29 | 2021-01-29 | 多台立体相机的标定方法及装置、电子设备及存储介质 |
| PCT/CN2021/121462 WO2022160760A1 (zh) | 2021-01-29 | 2021-09-28 | 多立体相机的标定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110125395.8A CN112802124B (zh) | 2021-01-29 | 2021-01-29 | 多台立体相机的标定方法及装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112802124A CN112802124A (zh) | 2021-05-14 |
| CN112802124B true CN112802124B (zh) | 2023-10-31 |
Family
ID=75812780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110125395.8A Active CN112802124B (zh) | 2021-01-29 | 2021-01-29 | 多台立体相机的标定方法及装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112802124B (zh) |
| WO (1) | WO2022160760A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112802124B (zh) * | 2021-01-29 | 2023-10-31 | 北京罗克维尔斯科技有限公司 | 多台立体相机的标定方法及装置、电子设备及存储介质 |
| CN113436277A (zh) * | 2021-07-15 | 2021-09-24 | 无锡先导智能装备股份有限公司 | 3d相机标定方法、装置及标定系统 |
| CN113610930B (zh) * | 2021-08-13 | 2023-10-20 | 深圳臻像科技有限公司 | 一种大场景相机阵列传递标定方法、系统及存储介质 |
| CN115824038B (zh) * | 2022-08-17 | 2023-09-29 | 宁德时代新能源科技股份有限公司 | 标定尺、标定方法及装置、检测方法及装置 |
| CN116038721B (zh) * | 2023-04-03 | 2023-07-18 | 广东工业大学 | 一种无运动学参与的手眼标定方法和系统 |
| CN116592767B (zh) * | 2023-07-17 | 2024-02-27 | 上海威瞳视觉技术有限公司 | 一种直线移动机构定位误差检测方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109341668A (zh) * | 2018-10-11 | 2019-02-15 | 重庆邮电大学 | 基于折射投影模型和光束追踪法的多相机测量方法 |
| CN111965624A (zh) * | 2020-08-06 | 2020-11-20 | 北京百度网讯科技有限公司 | 激光雷达与相机的标定方法、装置、设备和可读存储介质 |
| CN112180362A (zh) * | 2019-07-05 | 2021-01-05 | 北京地平线机器人技术研发有限公司 | 雷达与相机之间的转换位姿确定方法、装置以及电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130063560A1 (en) * | 2011-09-12 | 2013-03-14 | Palo Alto Research Center Incorporated | Combined stereo camera and stereo display interaction |
| CN108470323B (zh) * | 2018-03-13 | 2020-07-31 | 京东方科技集团股份有限公司 | 一种图像拼接方法、计算机设备及显示装置 |
| CN112132906B (zh) * | 2020-09-22 | 2023-07-25 | 西安电子科技大学 | 一种深度相机与可见光相机之间的外参标定方法及系统 |
| CN112802124B (zh) * | 2021-01-29 | 2023-10-31 | 北京罗克维尔斯科技有限公司 | 多台立体相机的标定方法及装置、电子设备及存储介质 |
-
2021
- 2021-01-29 CN CN202110125395.8A patent/CN112802124B/zh active Active
- 2021-09-28 WO PCT/CN2021/121462 patent/WO2022160760A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109341668A (zh) * | 2018-10-11 | 2019-02-15 | 重庆邮电大学 | 基于折射投影模型和光束追踪法的多相机测量方法 |
| CN112180362A (zh) * | 2019-07-05 | 2021-01-05 | 北京地平线机器人技术研发有限公司 | 雷达与相机之间的转换位姿确定方法、装置以及电子设备 |
| CN111965624A (zh) * | 2020-08-06 | 2020-11-20 | 北京百度网讯科技有限公司 | 激光雷达与相机的标定方法、装置、设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112802124A (zh) | 2021-05-14 |
| WO2022160760A1 (zh) | 2022-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112802124B (zh) | 多台立体相机的标定方法及装置、电子设备及存储介质 | |
| CN110969668B (zh) | 一种长焦双目相机的立体标定算法 | |
| CN112785656B (zh) | 双立体相机的标定方法及装置、电子设备及存储介质 | |
| CN109727278B (zh) | 一种机载LiDAR点云数据与航空影像的自动配准方法 | |
| WO2021004416A1 (zh) | 一种基于视觉信标建立信标地图的方法、装置 | |
| CN111553939B (zh) | 一种多目摄像机的图像配准算法 | |
| CN105354841B (zh) | 一种快速遥感影像匹配方法及系统 | |
| CN108759788B (zh) | 无人机影像定位定姿方法及无人机 | |
| CN112541932B (zh) | 基于双光相机不同焦距变换参数的多源图像配准方法 | |
| CN114399554A (zh) | 一种多相机系统的标定方法及系统 | |
| CN113963068B (zh) | 一种镜像式单像机全向立体视觉传感器全局标定方法 | |
| CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
| Eichhardt et al. | Affine correspondences between central cameras for rapid relative pose estimation | |
| CN113920205A (zh) | 一种非同轴相机的标定方法 | |
| CN111612731B (zh) | 基于双目显微视觉的测量方法、装置、系统及介质 | |
| CN107067441B (zh) | 摄像机标定方法及装置 | |
| CN113706635B (zh) | 一种基于点特征和线特征融合的长焦距相机标定方法 | |
| CN117333367A (zh) | 基于图像局部特征的图像拼接方法、系统、介质及装置 | |
| CN111127560B (zh) | 一种用于三维重建的三目视觉系统的标定方法及系统 | |
| Deng et al. | Self-calibration of hybrid central catadioptric and perspective cameras | |
| CN106651950B (zh) | 一种基于二次曲线透视投影不变性的单相机位姿估计方法 | |
| CN112819900B (zh) | 一种智能立体摄影内方位、相对定向和畸变系数标定方法 | |
| Wang et al. | Facilitating PTZ camera auto-calibration to be noise resilient with two images | |
| CN113496505B (zh) | 图像配准方法、装置、多光谱相机、无人设备及存储介质 | |
| Georgiev et al. | A fast and accurate re-calibration technique for misaligned stereo cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |