CN110197510B - 双目相机的标定方法、装置、无人机和存储介质 - Google Patents
双目相机的标定方法、装置、无人机和存储介质 Download PDFInfo
- Publication number
- CN110197510B CN110197510B CN201910488180.5A CN201910488180A CN110197510B CN 110197510 B CN110197510 B CN 110197510B CN 201910488180 A CN201910488180 A CN 201910488180A CN 110197510 B CN110197510 B CN 110197510B
- Authority
- CN
- China
- Prior art keywords
- image
- binocular camera
- calibration
- axis
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000008569 process Effects 0.000 claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims description 78
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例公开了一种双目相机的标定方法、装置、无人机和存储介质，所述标定方法包括：在所述可移动物体移动过程中控制双目相机的两个镜头分别获取第一图像和第二图像；获取双目相机的原始参数；基于原始参数、第一图像和第二图像对双目相机进行标定得到第一标定外参数；获取双目相机的位置信息，基于位置信息、第一图像和第二图像对双目相机进行标定得到第二标定外参数。可以在所述可移动物体移动过程中获取第一图像和第二图像，并且在获取双目相机的位置信息后进行标定，无需人工设置标定板并更改可移动物体到标定板之间的相对位置对双目相机进行标定，简化了双目相机的标定过程，无需人工操作，提高了双目相机的标定效率。
Description
技术领域
本发明实施例涉及相机技术领域，尤其涉及一种双目相机的标定方法、双目相机的标定装置、无人机和存储介质。
背景技术
随着农用机械作业技术逐渐成熟，图像识别技术也通过装载在农用设备中而得到了充分的应用，例如，在无人机上通过双目相机拍摄飞行方向前方的图像，通过图像计算障碍物到无人机的距离以进行避障，然而，双目相机的两个镜头由于安装和镜头本身的制作工艺因素，两个镜头的相对位置无法处于理想的安装位置，双目相机的两个镜头采集的图像存在畸变，导致根据采集到的图像确定障碍物到无人机的距离偏差较大。
为了消除双目相机的安装造成视差不准确的问题，在双目相机使用前需要对双目相机进行标定，根据标定后的双目相机的参数可以对采集的图像进行矫正，使得采用矫正后的图像测距的准确性高。目前，双目相机的标定需要有特定的工具，比如标定板，并且标定过程中需要不断改变标定板相对于双目相机的朝向和位置，然而对于安装于无人机或者其他农机设备上的双目相机，采用标定板对双目相机标定，需要人工多次变换无人机与标定板的相对位置，造成双目相机的标定过程繁琐、操作麻烦，降低了双目相机的标定效率。
发明内容
本发明提供了一种双目相机的标定方法、双目相机的标定装置、无人机和存储介质，以解决对可移动物体上的双目相机进行标定需要人工操作，造成标定过程繁琐、操作麻烦以及标定效率低的问题。
第一方面，本发明实施例提供了一种双目相机的标定方法，应用于设置有双目相机的可移动物体，包括：
在所述可移动物体移动过程中，控制双目相机的两个镜头分别获取第一图像和第二图像；
获取所述双目相机的原始参数；
基于所述原始参数、所述第一图像和所述第二图像，对所述双目相机进行标定得到第一标定外参数；
获取所述双目相机的位置信息，所述位置信息为所述双目相机对拍摄对象采集图像时的位置信息，所述拍摄对象为所述双目相机获取所述第一图像和所述第二图像时的对象；
基于所述位置信息、所述第一图像和所述第二图像，对所述双目相机进行标定得到第二标定外参数。
可选地，所述原始参数包括所述双目相机的畸变系数，所述第一标定外参数包括所述双目相机的外参矩阵中x轴和z轴的旋转量，所述基于所述原始参数、所述第一图像和所述第二图像，对所述双目相机进行标定得到第一标定外参数，包括：
从所述第一图像中确定第一特征点，以及从所述第二图像中确定第二特征点，所述第二特征点为所述第一特征点在所述第二图像中对应的特征点；
采用所述畸变系数对所述第一特征点和所述第二特征点进行去畸变处理，得到所述双目相机归一化图像坐标下所述第一特征点的坐标和所述第二特征点的坐标；
基于所述第一特征点的坐标和所述第二特征点的坐标确定所述外参矩阵中x轴和z轴的旋转量。
可选地，所述基于所述第一特征点的坐标和所述第二特征点的坐标确定所述外参矩阵中x轴和z轴的旋转量，包括：
采用所述第一特征点的坐标和所述第二特征点的坐标，构建所述第一特征点和所述第二特征点的对极几何约束关系；
基于所述对极几何约束关系计算所述外参矩阵中x轴和z轴的旋转量。
可选地，所述获取所述双目相机的位置信息，包括：
在所述双目相机获取所述第一图像和所述第二图像时，获取所述双目相机到所述拍摄对象的第一距离作为位置信息。
可选地，所述原始参数包括所述双目相机的镜头的焦距、两个镜头的中心距，所述第二标定外参数包括所述双目相机的外参矩阵中y轴的旋转量，所述基于所述位置信息、所述第一图像和所述第二图像，对所述双目相机进行标定得到第二标定外参数，包括：
基于所述第一图像和所述第二图像计算所述双目相机到所述拍摄对象的第二距离；
获取所述外参矩阵中y轴的原始旋转量；
采用所述原始旋转量、所述中心距、所述第一距离和所述第二距离计算所述外参矩阵中y轴的旋转量。
可选地，所述位置信息包括所述双目相机的坐标，所述获取所述双目相机的位置信息，包括：
控制所述双目相机的两个镜头分别获取所述拍摄对象的第三图像和第四图像；
获取所述双目相机的第一坐标和第二坐标作为位置信息，所述第一坐标为所述双目相机获取所述第一图像和所述第二图像时的坐标，所述第二坐标为所述双目相机获取所述第三图像和所述第四图像时的坐标。
可选地，所述基于所述位置信息、所述第一图像和所述第二图像，对所述双目相机进行标定得到第二标定外参数，包括：
基于所述第一坐标、第二坐标、第一图像、第二图像、第三图像以及第四图像对所述双目相机进行标定得到第二标定外参数。
可选地，所述原始参数包括所述双目相机的镜头的焦距、两个镜头的中心距，所述第二标定外参数包括所述双目相机的外参矩阵中y轴的旋转量，所述基于所述第一坐标、第二坐标、所述第一图像、第二图像、第三图像以及第四图像对所述双目相机进行标定得到第二标定外参数，包括：
采用所述第一图像、第二图像、第三图像以及第四图像计算所述双目相机的第一移动距离，以及采用所述第一坐标和所述第二坐标计算所述双目相机的第二移动距离；
基于所述第一图像和所述第二图像计算所述双目相机的第一视差，以及基于所述第三图像和所述第四图像计算所述双目相机的第二视差；
获取所述外参矩阵中y轴的原始旋转量；
通过所述原始旋转量、所述第一视差、所述第二视差、所述第一移动距离、所述第二移动距离以及所述焦距计算外参矩阵中y轴的旋转量。
可选地，所述方法还包括：
控制所述双目相机的两个镜头分别获取第五图像和第六图像；
采用所述第一标定外参数和所述第二标定外参数对所述第五图像和所述第六图像进行矫正处理，得到矫正处理后的第五图像和第六图像；
基于所述矫正处理后的第五图像和第六图像计算拍摄对象到所述双目相机的距离。
第二方面，本发明实施例提供了一种双目相机的标定装置，应用于设置有双目相机的可移动物体，包括：
图像获取模块，用于在所述可移动物体移动过程中，控制双目相机的两个镜头分别获取第一图像和第二图像；
原始参数获取模块，用于获取所述双目相机的原始参数；
第一标定模块，用于基于所述原始参数、所述第一图像和所述第二图像，对所述双目相机进行标定得到第一标定外参数；
位置信息获取模块，用于获取所述双目相机的位置信息，所述位置信息为所述双目相机对拍摄对象采集图像时的位置信息，所述拍摄对象为所述双目相机获取所述第一图像和所述第二图像时的对象；
第二标定模块，用于基于所述位置信息、所述第一图像和所述第二图像，对所述双目相机进行标定得到第二标定外参数。
可选地，所述原始参数包括所述双目相机的畸变系数，所述第一标定外参数包括所述双目相机的外参矩阵中x轴和z轴的旋转量，所述第一标定模块包括：
特征点确定子模块，用于从所述第一图像中确定第一特征点，以及从所述第二图像中确定第二特征点，所述第二特征点为所述第一特征点在所述第二图像中对应的特征点；
去畸变子模块，用于采用所述畸变系数对所述第一特征点和所述第二特征点进行去畸变处理，得到所述双目相机归一化图像坐标下所述第一特征点的坐标和所述第二特征点的坐标；
第一标定子模块，用于基于所述第一特征点的坐标和所述第二特征点的坐标确定所述外参矩阵中x轴和z轴的旋转量。
可选地，所述第一标定子模块包括：
几何约束关系构建单元，用于采用所述第一特征点的坐标和所述第二特征点的坐标，构建所述第一特征点和所述第二特征点的对极几何约束关系；
x轴和z轴旋转量计算单元，用于基于所述对极几何约束关系计算所述外参矩阵中x轴和z轴的旋转量。
可选地，所述位置信息获取模块包括：
距离获取子模块，用于在所述双目相机获取所述第一图像和所述第二图像时，获取所述双目相机到所述拍摄对象的第一距离作为位置信息。
可选地，所述原始参数包括所述双目相机的镜头的焦距、两个镜头的中心距，所述第二标定外参数包括所述双目相机的外参矩阵中y轴的旋转量，所述第二标定模块包括：
距离计算子模块，用于基于所述第一图像和所述第二图像计算所述双目相机到所述拍摄对象的第二距离；
原始旋转量获取子模块，用于获取所述外参矩阵中y轴的原始旋转量；
y轴的旋转量计算子模块，用于采用所述原始旋转量、所述中心距、所述第一距离和所述第二距离计算所述外参矩阵中y轴的旋转量。
可选地，所述位置信息包括所述双目相机的坐标，所述位置信息获取模块包括：
图像采集子模块，用于控制所述双目相机的两个镜头分别获取所述拍摄对象的第三图像和第四图像；
坐标获取子模块，用于获取所述双目相机的第一坐标和第二坐标作为位置信息，所述第一坐标为所述双目相机获取所述第一图像和所述第二图像时的坐标，所述第二坐标为所述双目相机获取所述第三图像和所述第四图像时的坐标。
可选地，所述第二标定模块包括：
第二标定子模块，用于基于所述第一坐标、第二坐标、所述第一图像、第二图像、第三图像以及第四图像对所述双目相机进行标定得到第二标定外参数。
可选地，所述原始参数包括所述双目相机的镜头的焦距、两个镜头的中心距，所述第二标定外参数包括所述双目相机的外参矩阵中y轴的旋转量，所述第二标定子模块包括：
移动距离计算单元，用于采用所述第一图像、第二图像、第三图像以及第四图像计算所述双目相机的第一移动距离，以及采用所述第一坐标和所述第二坐标计算所述双目相机的第二移动距离；
视差计算单元，用于基于所述第一图像和所述第二图像计算所述双目相机的第一视差，以及基于所述第三图像和所述第四图像计算所述双目相机的第二视差；
原始旋转量获取单元，用于获取所述外参矩阵中y轴的原始旋转量；
y轴的旋转量计算单元，用于通过所述原始旋转量、所述第一视差、第二视差、第一移动距离、第二移动距离以及所述焦距计算外参矩阵中y轴的旋转量。
可选地，所述装置还包括：
测距图像获取模块，用于控制所述双目相机的两个镜头分别获取第五图像和第六图像；
图像矫正模块，用于采用所述第一标定外参数和所述第二标定外参数对所述第五图像和所述第六图像进行矫正处理，得到矫正处理后的第五图像和第六图像；
距离计算模块，用于基于所述矫正处理后的第五图像和第六图像确定拍摄对象到所述双目相机的距离。
第三方面，本发明实施例提供了一种无人机，所述无人机包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例中所述的双目相机的标定方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例中所述的双目相机的标定方法。
本发明实施例通过在所述可移动物体移动过程中，控制双目相机的两个镜头分别获取第一图像和第二图像，并在获取双目相机的原始参数后，基于原始参数、第一图像和第二图像对双目相机进行标定得到第一标定外参数，以及在获取双目相机的位置信息后，基于位置信息、第一图像和第二图像，对双目相机进行标定得到第二标定外参数。本发明实施例的方法，可以在所述可移动物体移动过程中控制双目相机的两个镜头分别获取第一图像和第二图像，并且在获取双目相机的位置信息后对双目相机进行标定，无需人工设置标定板并变更可移动物体到标定板之间的相对位置对双目相机进行标定，简化了双目相机的标定过程，无需人工操作，提高了双目相机的标定效率。
附图说明
图1是本发明实施例一提供的一种双目相机的标定方法的流程图；
图2是本发明实施例二提供的一种双目相机的标定方法的流程图；
图3A是本发明实施例三提供的一种双目相机的标定方法的流程图；
图3B是本发明实施例三中双目相机拍摄图像位置与拍摄对象位置的示意图；
图4是本发明实施例四提供的一种双目相机的标定装置的结构示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
图1为本发明实施例一提供的一种双目相机的标定方法的流程图，本实施例可适用于无人机等农机设备通过双目相机进行测距、避障、环境识别等工作前对双目相机进行标定的情况，该方法可以由本发明实施例中的双目相机的标定装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：
S101，在所述可移动物体移动过程中，控制双目相机的两个镜头分别获取第一图像和第二图像。
双目相机是指由两个位置相对固定的镜头组成的相机，通过双目相机的两个镜头拍摄同一场景，获得两幅图像并通过匹配算法来获得图像上对应的像点，采用三角测量方法，计算像点在两幅图像中的视差，便能获得该像点对应的实际空间点的三维空间坐标值，进而确定该空间点到双目相机的距离。
在本发明实施例中，双目相机可以安装在无人机、无人驾驶汽车或者其它移动机器人上，上述的无人机、无人驾驶汽车通过双目相机采集双目图像，并通过双目图像确定双目相机前方障碍物到双目相机的距离，从而根据该距离进行安全移动。
本发明实施例中的可移动物体包括无人机、农用地面机器人、无人地面搬运机器人、农田有人驾驶机器等农机设备。
在本发明实施例中，以双目相机安装在可移动物体上为示例对双目相机的标定方法进行说明。在可移动物体上，双目相机可以是分体式的两个相机，也可以是集成一体的双目相机，为了对双目相机进行标定，可以在所述可移动物体移动过程中控制双目相机的两个镜头分别采集第一图像和第二图像，具体地，可以响应于用户的标定操作生成的标定指令，控制双目相机的两个镜头同时对同一拍摄对象进行拍摄，获得第一图像和第二图像，其中，拍摄对象可以是任意实体对象，比如无人机位于树林中，拍摄对象可以是无人机的双目相机对准的树木。
S102，获取所述双目相机的原始参数。
本发明实施例中，双目相机的原始参数可以是指每个镜头的固有参数，比如可以是镜头的焦距、畸变系数和初始的外参矩阵。
其中，畸变系数可以是每个镜头中镜片与感光传感器的安装关系造成的图像畸变的修正系数，外参矩阵可以是表达双目相机的两个镜头的相对位置的矩阵，可以包括一个镜头相对于另一个镜头的偏移位置、一个镜头相对于另一镜头的旋转角度等。
在实际应用中，对于单个镜头经制造后焦距和畸变系数是固定的，焦距和畸变系数可以存储在该镜头中，而对于双目相机的两个镜头，可以在制作后初始化外参矩阵，因此可以直接从存储器中读取双目相机的原始参数。
S103，基于所述原始参数、所述第一图像和所述第二图像，对所述双目相机进行标定得到第一标定外参数。
本发明实施例中，双目相机的测距要求双目相机的两个镜头的光心在同一平面、光轴平行，而在双目相机的生产或者使用过程中，两个镜头的光心可能不在同一平面、光轴也不平行，因此需要标定一个镜头对另一个镜头的参数，即标定双目相机的外参矩阵，具体地，标定外参矩阵中x轴、y轴和z轴的旋转量，x轴、y轴和z轴的旋转量表达了一个镜头相对于另一个镜头的三个旋转轴的偏差。
具体地，可以先根据原始参数、第一图像和第二图像标定外参矩阵中的x轴和y轴的旋转量，例如，对于实际空间中的同一个空间点，可以从第一图像和第二图像中找出对应的特征点，然后采用原始参数中的畸变系数对相应的特征点进行矫正获取双目相机归一化图像坐标下特征点的坐标，通过特征点的坐标构建对极几何约束关系以计算外参矩阵中x轴和z轴的旋转量，作为第一标定外参数。
S104，获取所述双目相机位置信息，所述位置信息为双目相机对拍摄对象采集图像时的位置信息，所述拍摄对象为所述双目相机获取所述第一图像和所述第二图像的对象。
在实际应用中，双目相机与可移动物体的位置相对固定，双目相机的位置信息可以是可移动物体到拍摄对象的距离或者可移动物体的坐标，在本发明实施例中，拍摄对象可以是双目相机获取第一图像和第二图像时的对象，例如，双目相机安装在无人机上，在双目相机的两个镜头获取镜头前方一颗树木的第一图像和第二图像时，可以获取无人机到该树木的距离作为位置信息，或者获取该无人机的坐标作为位置信息。
S105，基于所述位置信息、所述第一图像和所述第二图像，对所述双目相机进行标定得到第二标定外参数。
具体地，位置信息可以为双目相机到拍摄对象的第一距离，例如通过雷达或者红外等传感器获取双目相机到拍摄对象的真实距离作为第一距离，然后通过第一图像和第二图像根据视差测距原理获得双目相机到拍摄对象的预测距离作为第二距离，从原始参数中获取连个镜头的中心距，则可以根据中心距、第一距离、第二距离计算外参矩阵中y轴的旋转量作为第二标定外参数。
本发明实施例通过在所述可移动物体移动过程中，控制双目相机的两个镜头分别获取第一图像和第二图像，并在获取双目相机的原始参数后，基于原始参数、第一图像和第二图像对双目相机进行标定得到第一标定外参数，以及在获取双目相机的位置信息后，基于位置信息、第一图像和第二图像，对双目相机进行标定得到第二标定外参数，无需人工设置标定板并更改可移动物体到标定板之间的相对位置对双目相机进行标定，简化了双目相机的标定过程，无需人工操作，提高了双目相机的标定效率。
实施例二
图2为本发明实施例二中的一种双目相机的标定方法的流程图，本实施例以前述实施例一为基础进行优化，提供了标定第一标定外参数和第二标定外参数的示例性实施方法，具体地，本实施例的方法可以包括如下步骤：
S201、在所述可移动物体移动过程中，控制双目相机的两个镜头分别获取第一图像和第二图像。
S202、获取所述双目相机的原始参数，所述原始参数包括所述双目相机的畸变系数、焦距以及中心距。
在本发明实施例中，可以从双目相机的存储器中读取双目相机的畸变系数、焦距和双目相机的中心距。
S203、从所述第一图像中确定第一特征点，以及从所述第二图像中确定第二特征点，所述第二特征点为所述第一特征点在所述第二图像中对应的特征点。
在实际应用中，对于同一拍摄对象，双目相机的两个镜头分别获取第一图像和第二图像后，该拍摄对象上的一个空间点在第一图像和第二图像中具有对应的特征点，则可以分别从第一图像和第二图像中提取该空间点对应的特征点，具体地，可以利用opencv库提取第一图像和第二图像对应的SIFT特征点。
SIFT(Scale-invariant feature transform，尺度不变特征变换)是用于图像处理领域的一种描述，该描述具有尺度不变性，可以在图像中检测出特征点。SIFT算法能够在生成第一图像和第二图像的SIFT特征向量后，采用第一图像和第二图像上特征点的特征向量的欧式距离来作为第一图像和第二图像中特征点的相似性判定度量，例如，对于第一图像的第一特征点，通过遍历找到第二图像中与第一特征点的距离最近特征点作为第二特征点，从而形成一个特征点对。
S204、采用所述畸变系数对所述第一特征点和所述第二特征点进行去畸变处理，得到所述双目相机归一化图像坐标下所述第一特征点的坐标和所述第二特征点的坐标。
在本发明实施例中，第一图像和第二图像为标定前存在畸变的图像，对于双目相机中的每个镜头，可以采用其畸变系数对其获取的图像进行去畸变处理，获得去畸变后的正常图像，通过去畸变后的正常图像获取图像上特征点的坐标，例如，对第一图像进行去畸变处理后得到第一图像的正常图像，可以从正常图像上获取第一特征点的坐标，同理可以获取第二特征点的坐标。
S205、基于所述第一特征点的坐标和所述第二特征点的坐标确定所述外参矩阵中x轴和z轴的旋转量。
在本发明实施例中，可以采用第一特征点的坐标和第二特征点的坐标，构建第一特征点和第二特征点的对极几何约束关系，然后基于对极几何约束关系计算外参矩阵中x轴和z轴的旋转量，其中，对极几何约束(Epipolar Geometry)描述的是第一图像和第二图像之间的内在射影关系，与外部场景无关，只依赖于双目相机的内参数以及第一图像和第二图像之间的相对姿态。
具体地，在第一图像和第二图像去畸变处理后无畸变噪声的情况下，第一图像的第一特征点Pl、第二图像的第二特征点Pr满足如下对极几何约束关系：
Pr T×E×Pl＝0 (1)
其中，E为本质矩阵，本质矩阵E＝[T]X×R，其中，R为外参矩阵，T为平移向量，[T]X为T的反对称矩阵，其中，平移向量T可以是存储于双目相机中不变的参数。
由于双目相机获取的图像存在噪声，或者第一特征点和第二特征点匹配存在误差，为了提高准确性，可以使用一定数量的特征点根据对极几何约束关系构造目标函数：
其中，N为特征点的数量，Pli为第i个第一特征点，Pri为第i个第一特征点对应的第二特征点，对目标函数f求最小值如下：
R＝arg minR，Tf (3)
即在目标函数f取最小值时，得到标定外参矩阵R，该外参矩阵R中的x轴和z轴旋转量即为第一标定外参数。
S206、在所述双目相机获取所述第一图像和所述第二图像时，获取所述双目相机到所述拍摄对象的第一距离作为位置信息。
在本发明实施例中，可移动物体上可以设置有雷达、红外测距仪或者激光测距仪，在双目相机对拍摄对象拍摄获取第一图像和第二图像时，可以通过雷达、红外测距仪或者激光测距仪获取双目相机到拍摄对象的距离作为双目相机到拍摄对象的位置信息。
S207、基于所述第一图像和所述第二图像计算所述双目相机到所述拍摄对象的第二距离。
在获取第一图像和第二图像后，可以通过双目相机的两个镜头的图像坐标的不同计算出视差，根据视差计算出拍摄对象到双目相机的距离。具体地，可以通过以下公式计算第二距离：
其中，F为焦距，b为双目相机的两个镜头的中心距，d为视差。
由于第一图像和第二图像为未标定前的获取的图像，因此第二距离为预测值，而通过雷达、红外测距仪或者激光测距仪获取的第一距离值为真实值。
S208、获取所述外参矩阵中y轴的原始旋转量。
本发明实施例可以从双目相机的原始参数中读取外参矩阵中y轴的原始旋转量。
S209、采用所述原始旋转量、所述中心距、所述第一距离和所述第二距离计算所述外参矩阵中y轴的旋转量。
具体地，在得到第一距离和第二距离后，可以通过第一距离、第二距离以及结合公式(4)计算视差，假设双目相机获得的第一距离为z1，雷达获得的第二距离为z2，则由双目相机测得第一距离z1的视差为：
由雷达测得第二距离z2的视差为：
同时，假设y轴的原始旋转量为θyo，正确的旋转量为θyt，改变量Δθy，则：
θyt＝θyo+Δθy (7)
而在双目相机制造后，双目相机的两个镜头相对固定，后续使用时双目相机的两个镜头变动微小，使得改变量Δθy也很小，则由如下的近似关系：
Δd≈F×Δθy (8)
其中，
Δd＝d2-d1 (9)
Δd为未标定前采用双目相机测得第一距离z1和雷达测得的第二距离z2根据公式(5)分别计算得到的视差的差值，结合上述公式(5)-公式(9)，可以得到：
即在标定双目相机时，可以通过未标定的双目相机的两个镜头获取第一图像和第二图像后，通过第一图像和第二图像计算出预测的第一距离值z1，通过雷达测得真实的第二距离值z2，然后从原始参数中读取y轴的原始旋转量θyo和两个镜头的中心距b，就可以计算出外参矩阵中y轴的真实旋转量θyt，将θyt作为第二标定外参数。
在获取标定后的外参矩阵中的x轴、y轴和z轴的旋转量之后，在所述可移动物体移动过程中，通过双目相机的两个镜头获取同一拍摄对象的两张图像，并通过标定后的外参矩阵对该两张图像进行矫正，从而获取矫正后的图像，通过矫正后的图像可以确定双目相机的准确视差，从而可以根据视差结合双目测距原理计算出拍摄对象到可移动物体的准确距离，使得可移动物体能够及时避障，保证了可移动物体的安全。
本发明实施例可以在所述可移动物体移动过程中控制双目相机的两个镜头分别获取第一图像和第二图像，并且通过可移动物体上的雷达获取双目相机到拍摄对象的距离后对双目相机进行标定，无需人工设置标定板并更改可移动物体到标定板之间的相对位置对双目相机进行标定，简化了双目相机的标定过程，无需人工操作，提高了双目相机的标定效率。
实施例三
图3A为本发明实施例三提供的一种双目相机的标定方法的流程图，本实施例以前述实施例二为基础，提供了另一标定双目相机的第二标定外参数的示例性实施方法，具体地，本实施例的方法可以包括如下步骤：
S301、控制双目相机的两个镜头分别获取第一图像和第二图像；
S302、获取所述双目相机的原始参数，所述原始参数包括所述双目相机的畸变系数、焦距以及中心距，
S303、从所述第一图像中确定第一特征点，以及从所述第二图像中确定第二特征点，所述第二特征点为所述第一特征点在所述第二图像中对应的特征点；
S304、采用所述畸变系数对所述第一特征点和所述第二特征点进行去畸变处理，得到所述双目相机归一化图像坐标下所述第一特征点的坐标和所述第二特征点的坐标；
S305、基于所述第一特征点的坐标和所述第二特征点的坐标确定所述外参矩阵中x轴和z轴的旋转量。
上述S301-S305同实施例二中的S201-S205，具体详细请参考S201-S205，在此不再详述。
S306、控制所述双目相机的两个镜头分别获取所述拍摄对象的第三图像和第四图像。
如图3B所示，以可移动物体为无人机为示例，无人机A在位置B的时候对位置D处的拍摄对象拍摄，获得双目相机两个镜头分别拍摄的第一图像和第二图像，当无人机继续朝位置D的拍摄对象飞行时，到达位置C后控制双目相机的两个镜头分别获取位置D的拍摄对象的第三图像和第四图像。
S307、获取所述双目相机的第一坐标和第二坐标作为位置信息，所述第一坐标为所述双目相机获取所述第一图像和所述第二图像时的坐标，所述第二坐标为所述双目相机获取所述第三图像和所述第四图像时的坐标。
如图3B所示，无人机A在位置B的时候对位置D处的拍摄对象拍摄，获得双目相机两个镜头分配拍摄的第一图像和第二图像，同时无人机通过飞行控制模块获取无人机在位置B的坐标作为双目相机的第一坐标，当无人机继续朝位置D的拍摄对象飞行时，到达位置C后控制双目相机的两个镜头分别获取位置D的拍摄对象的第三图像和第四图像，同时无人机通过飞行控制模块获取无人机在位置C的坐标作为双目相机的第二坐标。
S308、基于所述第一坐标、第二坐标、所述第一图像、第二图像、第三图像以及第四图像对所述双目相机进行标定得到第二标定外参数，所述第二标定外参数为外参矩阵中y轴的旋转量。
在本发明实施例中，可以采用第一图像和第二图像确定双目相机到拍摄对象的第三距离，采用第三图像和第四图像计算双目相机到拍摄对象的第四距离，并采用第三距离和第四距离计算双目相机的第一移动距离。
另外，采用第一坐标和第二坐标计算双目相机的第二移动距离，并基于第一图像和第二图像计算双目相机的第一视差，以及基于第三图像和第四图像计算双目相机的第二视差，在获取外参矩阵中y轴的原始旋转量后，通过原始旋转量、第一视差、第二视差、第一移动距离、第二移动距离以及焦距计算外参矩阵中y轴的旋转量。
具体地，如图3B所示，无人机A朝位置D处的拍摄对象飞行，在飞行过程中，无人机A在位置B时控制双目相机获取第一图像和第二图像，并通过飞行控制模块获取位置B的坐标(X1，Y1，Z1)，当无人机飞行至位置C时，控制双目相机获取第三图像和第四图像，并通过飞行控制模块获取位置C的坐标(X2，Y2，Z2)，则可以由坐标(X1，Y1，Z1)和坐标(X2，Y2，Z2)获取到无人机的第二移动距离，同时，通过第一图像和第二图像根据双目测距算法预测无人机在位置B到位置D的拍摄对象的距离L1，通过第三图像和第四图像根据双目测距算法预测无人机在位置C到位置D的拍摄对象的距离L2，通过距离L1和距离L2计算无人机的第二移动距离，通过第一移动距离和第二移动距离可以标定出双目相机的外参矩阵中y轴的旋转量，其标定过程如下：
假设双目相机在位置B处通过第一图像和第二图像测得位置B到位置D的距离为z1，视差为d1，通过第三图像和第四图像测得位置C到位置D的距离为z2，视差为d2，则双目相机的第一移动距离为Δzm＝z1-z2，相应地，由飞行控制模块提供的B和C处的坐标得到双目相机的第二移动距离为Δzt，根据公式(4)可以得到：
公式(10)和公式(11)中Δd为：真实视差和标定前双目相机的视差的差值。
由公式(10)和公式(11)求解得到：
将上述公式(12)代入公式(8)中，并结合公式(7)，最终得到计算外参矩阵中y轴的旋转量的公式如下：
即无人机在距离拍摄对象的第一位置拍摄第一图像和第二图像，并根据第一图像和第二图像计算视差d1，在距离拍摄对象的第二位置拍摄第三图像和第四图像，并根据第三图像和第四图像计算视差d2，同时计算第一位置到第二位置的移动第一移动距离Δzm，另外通过飞行控制模块获取第一位置的坐标和第二位置的坐标，并且根据坐标计算第一位置到第二位置的移动第一移动距离Δzt，从原始参数读取原始旋转量θyo和焦距F后，可以根据上述公式标定外参矩阵中y轴的旋转量θyt。
本发明实施例中通过在所述可移动物体移动过程中，控制双目相机在距离拍摄对象不同位置获取图像，并在对应位置通过飞行控制模块确定双目相机的坐标后对双目相机进行标定，适用于可移动物体可以获取坐标的场景，无需可移动物体上设置雷达等测距传感器，也无需人工设置标定板并更改可移动物体到标定板之间的相对位置对双目相机进行标定，简化了双目相机的标定过程，无需人工操作，提高了双目相机的标定效率。
实施例四
图4为本发明实施例四提供的一种双目相机的标定装置的结构示意图，如图4所示，该双目相机的标定装置应用于具有双目相机的可移动物体，具体可以包括：
图像获取模块401，用于在所述可移动物体移动过程中，控制双目相机的两个镜头分别获取第一图像和第二图像；
原始参数获取模块402，用于获取所述双目相机的原始参数；
第一标定模块403，用于基于所述原始参数、所述第一图像和所述第二图像，对所述双目相机进行标定得到第一标定外参数；
位置信息获取模块404，用于获取所述双目相机的位置信息，所述位置信息为所述双目相机对拍摄对象采集图像时的位置信息，所述拍摄对象为所述双目相机获取所述第一图像和所述第二图像的对象；
第二标定模块405，用于基于所述位置信息、所述第一图像和所述第二图像，对所述双目相机进行标定得到第二标定外参数。
可选地，所述原始参数包括所述双目相机的畸变系数，所述第一标定外参数包括所述双目相机的外参矩阵中x轴和z轴的旋转量，所述第一标定模块403包括：
特征点确定子模块，用于从所述第一图像中确定第一特征点，以及从所述第二图像中确定第二特征点，所述第二特征点为所述第一特征点在所述第二图像中对应的特征点；
去畸变子模块，用于采用所述畸变系数对所述第一特征点和所述第二特征点进行去畸变处理，得到所述双目相机归一化图像坐标下所述第一特征点的坐标和所述第二特征点的坐标；
第一标定子模块，用于基于所述第一特征点的坐标和所述第二特征点的坐标确定所述外参矩阵中x轴和z轴的旋转量。
可选地，所述第一标定子模块包括：
几何约束关系构建单元，用于采用所述第一特征点的坐标和所述第二特征点的坐标，构建所述第一特征点和所述第二特征点的对极几何约束关系；
x轴和z轴旋转量计算单元，用于基于所述对极几何约束关系计算所述外参矩阵中x轴和z轴的旋转量。
可选地，所述位置信息获取模块404包括：
距离获取子模块，用于在所述双目相机获取所述第一图像和所述第二图像时，获取所述双目相机到所述拍摄对象的第一距离作为位置信息。
可选地，所述原始参数包括所述双目相机的镜头的焦距、两个镜头的中心距，所述第二标定外参数包括所述双目相机的外参矩阵中y轴的旋转量，所述第二标定模块405包括：
距离计算子模块，用于基于所述第一图像和所述第二图像计算所述双目相机到所述拍摄对象的第二距离；
原始旋转量获取子模块，用于获取所述外参矩阵中y轴的原始旋转量；
y轴的旋转量计算子模块，用于采用所述原始旋转量、所述中心距、所述第一距离和所述第二距离计算所述外参矩阵中y轴的旋转量。
可选地，所述位置信息包括所述双目相机的坐标，所述位置信息获取模块404包括：
图像采集子模块，用于控制所述双目相机的两个镜头分别获取所述拍摄对象的第三图像和第四图像；
坐标获取子模块，用于获取所述双目相机的第一坐标和第二坐标作为位置信息，所述第一坐标为所述双目相机获取所述第一图像和所述第二图像时的坐标，所述第二坐标为所述双目相机获取所述第三图像和所述第四图像时的坐标。
可选地，所述第二标定模块405包括：
第二标定子模块，用于基于所述第一坐标、第二坐标、所述第一图像、第二图像、第三图像以及第四图像对所述双目相机进行标定得到第二标定外参数。
可选地，所述原始参数包括所述双目相机的镜头的焦距、两个镜头的中心距，所述第二标定外参数包括所述双目相机的外参矩阵中y轴的旋转量，所述第二标定子模块包括：
移动距离计算单元，用于采用所述第一图像、第二图像、第三图像以及第四图像计算所述双目相机的第一移动距离，以及采用所述第一坐标和所述第二坐标计算所述双目相机的第二移动距离；
视差计算单元，用于基于所述第一图像和所述第二图像计算所述双目相机的第一视差，以及基于所述第三图像和所述第四图像计算所述双目相机的第二视差；
原始旋转量获取单元，用于获取所述外参矩阵中y轴的原始旋转量；
y轴的旋转量计算单元，用于通过所述原始旋转量、所述第一视差、第二视差、第一移动距离、第二移动距离以及所述焦距计算外参矩阵中y轴的旋转量。
可选地，所述装置还包括：
测距图像获取模块，用于控制所述双目相机的两个镜头分别获取第五图像和第六图像；
图像矫正模块，用于采用所述第一标定外参数和所述第二标定外参数对所述第五图像和所述第六图像进行矫正处理，得到矫正处理后的第五图像和第六图像；
距离计算模块，用于基于所述矫正处理后的第五图像和第六图像确定拍摄对象到所述双目相机的距离。
上述双目相机的标定装置可执行本发明任意实施例所提供的双目相机的标定方法，具备执行方法相应的功能模块和有益效果。
本发明实施例还提供一种无人机，所述无人机包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的双目相机的标定方法。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由设备的处理器执行时，使得处理器能够执行如上述方法实施例所述的双目相机的标定方法。
需要说明的是，对于装置、设备和存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的双目相机的标定方法。
值得注意的是，上述双目相机的标定装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种双目相机的标定方法，应用于设置有双目相机的可移动物体，其特征在于，包括：
在所述可移动物体移动过程中，控制双目相机的两个镜头分别获取第一图像和第二图像；
获取所述双目相机的原始参数，所述原始参数包括所述双目相机的镜头的焦距、两个镜头的中心距和外参矩阵；
基于所述原始参数、所述第一图像和所述第二图像，对所述双目相机进行标定得到第一标定外参数；
获取所述双目相机的位置信息，所述位置信息为所述双目相机对拍摄对象采集图像时所述双目相机到所述拍摄对象的第一距离，所述拍摄对象为所述双目相机获取所述第一图像和所述第二图像时的对象；
基于所述位置信息、所述第一图像和所述第二图像，对所述双目相机进行标定得到第二标定外参数；
所述基于所述位置信息、所述第一图像和所述第二图像，对所述双目相机进行标定得到第二标定外参数，包括：
基于所述第一图像和所述第二图像计算所述双目相机到所述拍摄对象的第二距离；
获取所述外参矩阵中y轴的原始旋转量；
采用所述原始旋转量、所述中心距、所述第一距离和所述第二距离计算所述外参矩阵中y轴的旋转量。
2.如权利要求1所述的方法，其特征在于，所述原始参数包括所述双目相机的畸变系数，所述第一标定外参数包括所述双目相机的外参矩阵中x轴和z轴的旋转量，所述基于所述原始参数、所述第一图像和所述第二图像，对所述双目相机进行标定得到第一标定外参数，包括：
从所述第一图像中确定第一特征点，以及从所述第二图像中确定第二特征点，所述第二特征点为所述第一特征点在所述第二图像中对应的特征点；
采用所述畸变系数对所述第一特征点和所述第二特征点进行去畸变处理，得到所述双目相机归一化图像坐标下所述第一特征点的坐标和所述第二特征点的坐标；
基于所述第一特征点的坐标和所述第二特征点的坐标确定所述外参矩阵中x轴和z轴的旋转量。
3.如权利要求2所述的方法，其特征在于，所述基于所述第一特征点的坐标和所述第二特征点的坐标确定所述外参矩阵中x轴和z轴的旋转量，包括：
采用所述第一特征点的坐标和所述第二特征点的坐标，构建所述第一特征点和所述第二特征点的对极几何约束关系；
基于所述对极几何约束关系计算所述外参矩阵中x轴和z轴的旋转量。
4.如权利要求1-3任一项所述的方法，其特征在于，所述获取所述双目相机的位置信息，包括：
在所述双目相机获取所述第一图像和所述第二图像时，获取所述双目相机到所述拍摄对象的第一距离作为位置信息。
5.一种双目相机的标定方法，应用于设置有双目相机的可移动物体，其特征在于，包括：
在所述可移动物体移动过程中，控制双目相机的两个镜头分别获取第一图像和第二图像；
获取所述双目相机的原始参数，所述原始参数包括所述双目相机的镜头的焦距、两个镜头的中心距和外参矩阵；
基于所述原始参数、所述第一图像和所述第二图像，对所述双目相机进行标定得到第一标定外参数；
获取所述双目相机的位置信息，所述位置信息为所述双目相机对拍摄对象采集图像时的位置信息，所述拍摄对象为所述双目相机获取所述第一图像和所述第二图像时的对象；
基于所述位置信息、所述第一图像和所述第二图像，对所述双目相机进行标定得到第二标定外参数，所述第二标定外参数包括所述双目相机的外参矩阵中y轴的旋转量；
所述位置信息包括所述双目相机的坐标，所述获取所述双目相机的位置信息，包括：
控制所述双目相机的两个镜头分别获取所述拍摄对象的第三图像和第四图像；
获取所述双目相机的第一坐标和第二坐标作为位置信息，所述第一坐标为所述双目相机获取所述第一图像和所述第二图像时的坐标，所述第二坐标为所述双目相机获取所述第三图像和所述第四图像时的坐标；
所述基于所述位置信息、所述第一图像和所述第二图像，对所述双目相机进行标定得到第二标定外参数，包括：
采用所述第一图像、第二图像、第三图像以及第四图像计算所述双目相机的第一移动距离，以及采用所述第一坐标和所述第二坐标计算所述双目相机的第二移动距离；
基于所述第一图像和所述第二图像计算所述双目相机的第一视差，以及基于所述第三图像和所述第四图像计算所述双目相机的第二视差；
获取所述外参矩阵中y轴的原始旋转量；
通过所述原始旋转量、所述第一视差、所述第二视差、所述第一移动距离、所述第二移动距离以及所述焦距计算外参矩阵中y轴的旋转量。
6.根据权利要求5所述的方法，其特征在于，所述原始参数包括所述双目相机的畸变系数，所述第一标定外参数包括所述双目相机的外参矩阵中x轴和z轴的旋转量，所述基于所述原始参数、所述第一图像和所述第二图像，对所述双目相机进行标定得到第一标定外参数，包括：
从所述第一图像中确定第一特征点，以及从所述第二图像中确定第二特征点，所述第二特征点为所述第一特征点在所述第二图像中对应的特征点；
采用所述畸变系数对所述第一特征点和所述第二特征点进行去畸变处理，得到所述双目相机归一化图像坐标下所述第一特征点的坐标和所述第二特征点的坐标；
基于所述第一特征点的坐标和所述第二特征点的坐标确定所述外参矩阵中x轴和z轴的旋转量。
7.如权利要求6所述的方法，其特征在于，所述基于所述第一特征点的坐标和所述第二特征点的坐标确定所述外参矩阵中x轴和z轴的旋转量，包括：
采用所述第一特征点的坐标和所述第二特征点的坐标，构建所述第一特征点和所述第二特征点的对极几何约束关系；
基于所述对极几何约束关系计算所述外参矩阵中x轴和z轴的旋转量。
8.如权利要求5所述的方法，其特征在于，所述方法还包括：
控制所述双目相机的两个镜头分别获取第五图像和第六图像；
采用所述第一标定外参数和所述第二标定外参数对所述第五图像和所述第六图像进行矫正处理，得到矫正处理后的第五图像和第六图像；
基于所述矫正处理后的第五图像和第六图像计算拍摄对象到所述双目相机的距离。
9.一种双目相机的标定装置，应用于设置有双目相机的可移动物体，其特征在于，包括：
图像获取模块，用于在所述可移动物体移动过程中，控制双目相机的两个镜头分别获取第一图像和第二图像；
原始参数获取模块，用于获取所述双目相机的原始参数，所述原始参数包括所述双目相机的镜头的焦距、两个镜头的中心距和外参矩阵；
第一标定模块，用于基于所述原始参数、所述第一图像和所述第二图像，对所述双目相机进行标定得到第一标定外参数；
位置信息获取模块，用于获取所述双目相机的位置信息，所述位置信息为所述双目相机对拍摄对象采集图像时所述双目相机到所述拍摄对象的第一距离，所述拍摄对象为所述双目相机获取所述第一图像和所述第二图像时的对象；
第二标定模块，用于基于所述位置信息、所述第一图像和所述第二图像，对所述双目相机进行标定得到第二标定外参数，所述第二标定外参数包括所述双目相机的外参矩阵中y轴的旋转量；
第二标定模块包括：
距离计算子模块，用于基于所述第一图像和所述第二图像计算所述双目相机到所述拍摄对象的第二距离；
原始旋转量获取子模块，用于获取所述外参矩阵中y轴的原始旋转量；
y轴的旋转量计算子模块，用于采用所述原始旋转量、所述中心距、所述第一距离和所述第二距离计算所述外参矩阵中y轴的旋转量。
10.一种双目相机的标定装置，应用于设置有双目相机的可移动物体，其特征在于，包括：
图像获取模块，用于在所述可移动物体移动过程中，控制双目相机的两个镜头分别获取第一图像和第二图像；
原始参数获取模块，用于获取所述双目相机的原始参数，所述原始参数包括所述双目相机的镜头的焦距、两个镜头的中心距和外参矩阵；
第一标定模块，用于基于所述原始参数、所述第一图像和所述第二图像，对所述双目相机进行标定得到第一标定外参数；
位置信息获取模块，用于获取所述双目相机的位置信息，所述位置信息为所述双目相机对拍摄对象采集图像时的位置信息，所述拍摄对象为所述双目相机获取所述第一图像和所述第二图像时的对象；
第二标定模块，用于基于所述位置信息、所述第一图像和所述第二图像，对所述双目相机进行标定得到第二标定外参数，所述第二标定外参数包括所述双目相机的外参矩阵中y轴的旋转量；
所述位置信息包括所述双目相机的坐标，所述位置信息获取模块包括：
图像采集子模块，用于控制所述双目相机的两个镜头分别获取所述拍摄对象的第三图像和第四图像；
坐标获取子模块，用于获取所述双目相机的第一坐标和第二坐标作为位置信息，所述第一坐标为所述双目相机获取所述第一图像和所述第二图像时的坐标，所述第二坐标为所述双目相机获取所述第三图像和所述第四图像时的坐标；
所述第二标定模块包括：
移动距离计算单元，用于采用所述第一图像、第二图像、第三图像以及第四图像计算所述双目相机的第一移动距离，以及采用所述第一坐标和所述第二坐标计算所述双目相机的第二移动距离；
视差计算单元，用于基于所述第一图像和所述第二图像计算所述双目相机的第一视差，以及基于所述第三图像和所述第四图像计算所述双目相机的第二视差；
原始旋转量获取单元，用于获取所述外参矩阵中y轴的原始旋转量；
y轴的旋转量计算单元，用于通过所述原始旋转量、所述第一视差、第二视差、第一移动距离、第二移动距离以及所述焦距计算外参矩阵中y轴的旋转量。
11.一种无人机，其特征在于，所述无人机包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的双目相机的标定方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的双目相机的标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910488180.5A CN110197510B (zh) | 2019-06-05 | 2019-06-05 | 双目相机的标定方法、装置、无人机和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910488180.5A CN110197510B (zh) | 2019-06-05 | 2019-06-05 | 双目相机的标定方法、装置、无人机和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110197510A CN110197510A (zh) | 2019-09-03 |
| CN110197510B true CN110197510B (zh) | 2021-08-17 |
Family
ID=67754027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910488180.5A Active CN110197510B (zh) | 2019-06-05 | 2019-06-05 | 双目相机的标定方法、装置、无人机和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197510B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220207776A1 (en) * | 2020-01-10 | 2022-06-30 | Dalian University Of Technology | Disparity image fusion method for multiband stereo cameras |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907675B (zh) * | 2019-11-19 | 2022-05-24 | 浙江商汤科技开发有限公司 | 图像采集设备的标定方法、装置、系统、设备及存储介质 |
| CN111122128B (zh) * | 2020-01-03 | 2022-04-19 | 浙江大华技术股份有限公司 | 一种球形摄像机的标定方法及装置 |
| TWI731624B (zh) * | 2020-03-18 | 2021-06-21 | 宏碁股份有限公司 | 估計頭戴顯示器位置的方法、電腦裝置及頭戴顯示器 |
| CN111879354A (zh) * | 2020-06-29 | 2020-11-03 | 广州中科智云科技有限公司 | 一种无人机精细化测量系统 |
| CN111862234B (zh) * | 2020-07-22 | 2023-10-20 | 中国科学院上海微系统与信息技术研究所 | 双目相机自标定方法及系统 |
| CN111862236B (zh) * | 2020-07-22 | 2023-10-20 | 中国科学院上海微系统与信息技术研究所 | 定焦双目相机自标定方法及系统 |
| CN111932636B (zh) * | 2020-08-19 | 2023-03-24 | 展讯通信（上海）有限公司 | 双目摄像头的标定及图像矫正方法、装置、存储介质、终端、智能设备 |
| CN112070845B (zh) * | 2020-08-31 | 2024-02-02 | 安徽爱观视觉科技有限公司 | 双目相机的标定方法、装置及终端设备 |
| CN112884847B (zh) * | 2021-03-02 | 2022-08-09 | 济南大学 | 一种双相机标定方法及系统 |
| CN113610932B (zh) * | 2021-08-20 | 2024-06-04 | 苏州智加科技有限公司 | 双目相机外参标定方法和装置 |
| CN113838151B (zh) * | 2021-10-15 | 2023-11-17 | 西安维沃软件技术有限公司 | 相机标定方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103606149A (zh) * | 2013-11-14 | 2014-02-26 | 深圳先进技术研究院 | 一种双目摄像机的标定方法、装置及双目摄像机 |
| CN107063228A (zh) * | 2016-12-21 | 2017-08-18 | 上海交通大学 | 基于双目视觉的目标姿态解算方法 |
| CN108020158A (zh) * | 2016-11-04 | 2018-05-11 | 浙江大华技术股份有限公司 | 一种基于球机的三维位置测量方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9405122B2 (en) * | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
-
2019
- 2019-06-05 CN CN201910488180.5A patent/CN110197510B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103606149A (zh) * | 2013-11-14 | 2014-02-26 | 深圳先进技术研究院 | 一种双目摄像机的标定方法、装置及双目摄像机 |
| CN108020158A (zh) * | 2016-11-04 | 2018-05-11 | 浙江大华技术股份有限公司 | 一种基于球机的三维位置测量方法及装置 |
| CN107063228A (zh) * | 2016-12-21 | 2017-08-18 | 上海交通大学 | 基于双目视觉的目标姿态解算方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220207776A1 (en) * | 2020-01-10 | 2022-06-30 | Dalian University Of Technology | Disparity image fusion method for multiband stereo cameras |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110197510A (zh) | 2019-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197510B (zh) | 双目相机的标定方法、装置、无人机和存储介质 | |
| US20210141378A1 (en) | Imaging method and device, and unmanned aerial vehicle | |
| CN109461190B (zh) | 测量数据处理装置及测量数据处理方法 | |
| CN110276786B (zh) | 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统 | |
| CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
| US20190206073A1 (en) | Aircraft information acquisition method, apparatus and device | |
| US9858684B2 (en) | Image processing method and apparatus for calibrating depth of depth sensor | |
| CN113532311A (zh) | 点云拼接方法、装置、设备和存储设备 | |
| US20200264011A1 (en) | Drift calibration method and device for inertial measurement unit, and unmanned aerial vehicle | |
| JP2022510418A (ja) | 時間同期処理方法、電子機器及び記憶媒体 | |
| CN112816949B (zh) | 传感器的标定方法及装置、存储介质、标定系统 | |
| KR101342393B1 (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
| CN109887041B (zh) | 一种机械臂控制数字相机摄影中心位置和姿态的方法 | |
| CN111862180A (zh) | 一种相机组位姿获取方法、装置、存储介质及电子设备 | |
| CN111768486B (zh) | 基于旋转折射片的单目摄像机三维重建方法、系统 | |
| WO2021195939A1 (zh) | 一种双目拍摄装置的外参的标定方法、可移动平台及系统 | |
| CN112955711A (zh) | 位置信息确定方法、设备及存储介质 | |
| KR20220104025A (ko) | 사람 관절들을 이용한 무인 항공기들 상의 카메라들의 교정 | |
| CN112613381A (zh) | 一种图像映射方法、装置、存储介质及电子装置 | |
| WO2020038720A1 (en) | Apparatus, method and computer program for detecting the form of a deformable object | |
| CN114758011B (zh) | 融合离线标定结果的变焦相机在线标定方法 | |
| CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN114926538A (zh) | 单目激光散斑投影系统的外参数标定方法和装置 | |
| CN114777768A (zh) | 一种卫星拒止环境高精度定位方法、系统及电子设备 | |
| Abdullah et al. | Camera Calibration Performance on Different Non-metric Cameras. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province Applicant after: XAG Co., Ltd. Address before: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province Applicant before: Guangzhou Xaircraft Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |