CN110296691A - 融合imu标定的双目立体视觉测量方法与系统 - Google Patents

融合imu标定的双目立体视觉测量方法与系统 Download PDF

Info

Publication number
CN110296691A
CN110296691A CN201910575918.1A CN201910575918A CN110296691A CN 110296691 A CN110296691 A CN 110296691A CN 201910575918 A CN201910575918 A CN 201910575918A CN 110296691 A CN110296691 A CN 110296691A
Authority
CN
China
Prior art keywords
imu
camera
point
matrix
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910575918.1A
Other languages
English (en)
Other versions
CN110296691B (zh
Inventor
张东升
冯威武
张国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN SINOROCK TECHNOLOGY Co.,Ltd.
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910575918.1A priority Critical patent/CN110296691B/zh
Publication of CN110296691A publication Critical patent/CN110296691A/zh
Application granted granted Critical
Publication of CN110296691B publication Critical patent/CN110296691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明属于光电检测领域，特别是涉及一种融合了IMU以进行标定的双目立体视觉测量方法及系统。该方法通过将两IMU分别与相机固联，先计算相机与IMU的空间转换关系，再利用IMU的z‑y‑x序列的欧拉角以及本发明提出的偏航角角度差分的方法确定两个相机之间的旋转矩阵；利用对极几何原理和旋转矩阵确定平移向量，并根据稀疏的光束平差法对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化的相机参数。该方法无需借助大型的制作精密的的标定板，只需要测量两个相机基线的长度即可完成双目立体视觉的标定，解决了传统标定方法仅适用于室内小视场和自标定方法精度低的缺陷，本发明可应用在户外、大视场等复杂环境下，并具有较高的精度、鲁棒性以及灵活性。

Description

融合IMU标定的双目立体视觉测量方法与系统
技术领域
本发明属于光电检测领域，特别是涉及一种适用于户外复杂环境下的融合IMU标定的双目立体视觉测量方法及系统。
背景技术
双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。其具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制；此外，对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。自上世纪的60年代中期开创以来，经过几十年来的发展，其在机器人视觉、航空测绘、逆向工程、军事运用、医学成像和工业检测等领域中的运用越来越广泛。
使用双目立体视觉对被测物体进行三维形貌、变形测量之前需要对其标定，所以相机的标定在三维测量中扮演着重要的角色。相机标定本质是确定其内部参数和外部参数的过程，其中内部参数是相机组件的几何和光学特性，是相机本身固有的、与位置无关的内部几何与光学参数，包括主点坐标、等效焦距、比例因子以及镜头畸变等；而外部参数是指立体视觉系统中各相机之间的空间姿态关系，包括旋转矩阵和平移向量等。
目前，双目相机的标定方法主要包括传统标定方法和自标定方法。传统标定方法需要借助制作精密的二维或三维标定物，该方法精度较高，但是由于其制作成本、操作灵活性、便携性等方面的限制，其通常仅限于在实验室内且视场较小的情况下被使用；自标定方法不需要借助标定靶，它通常是利用场景中特征点、相机参数的约束以及主动视觉等技术进行标定，但是该方法的精度较低，仅适用于对精度要求不高的领域。
发明内容
本发明针对现存的双目立体视觉标定方法在大视场、复杂环境下步骤繁琐、精度较低等技术缺陷，提出了一种融合了双目相机与IMU以进行标定的双目立体视觉测量方法与双目立体视觉系统。
作为本发明的第一方面，提供了一种融合IMU标定的双目立体视觉测量方法，其是通过融合双目相机与IMU(惯性测量单元)从而可以对立体视觉测量方法进行标定的测量方法，特别适用于大视场、复杂环境等户外场所的视觉测量方法标定；该方法包括以下步骤：
步骤1：确定双目立体视觉中的两个相机的内部参数矩阵K和K′，优选利用张氏标定方法；内部参数包括但不限于：主点坐标(u0,v0)T、等效焦距fx和fy、镜头二阶径向畸变系数k1和k2以及比例系数。使用Kalibr工具箱、imu_tk工具或是现有技术中其他类似可以实现对IMU内参进行标定的工具对两个IMU的内部参数进行标定，以用于后续分析误差并建立误差补偿模型。
步骤2：将两个相机分别固定在两个三脚架的云台上，再将两IMU分别与两相机固连，相机与IMU的坐标轴平行或尽可能地平行地设置；并将相机和IMU均连接至电脑，以在电脑显示器上实时显示两相机的画面和两个IMU传感器的姿态信息。
步骤3：将作为优选的April类型标定板或棋盘格标定板等其他类型标定板固定在光学平台上，激活IMU的所有轴，通过变换相机位置来采集并保存不同角度的标定板图像，同时记录IMU中的加速度计、陀螺仪等传感器的数据；对另一个相机和IMU做同样的操作并记录数据。
步骤4：利用步骤3中采集的图片和记录的数据使用Kalibr工具箱或类似的现有其他工具标定IMU 1与相机1之间的空间变换矩阵Rc1-i1，同样的方法被使用确定IMU 2与相机2之间的空间变换矩阵Rc2-i2。
步骤5：使用偏航角角度差分的方法以确定两个IMU偏航角的相对值。
步骤6：通过两个IMU传感器提供的俯仰角α1和α2、滚转角β1和β2以及步骤5计算的偏航角和来计算两个IMU之间的空间转换矩阵Ri2-i1。
步骤7：根据步骤4和步骤6得到的数据确定双目立体视觉两相机之间的旋转矩阵
步骤8：使得控制包含有一个特征点的标定靶在两个相机共同的视场中随机地移动，两个相机同时采集和保存图像，直至标定靶均匀分布于整个视场。
步骤9：使用Shi-Tomasi角点检测算法或其他现有技术中的类似算法(用于计算图像中特定点像素坐标的相关算法)以计算确定两个相机拍摄的每一幅图片中标定靶中特征点的像素坐标，并将其分别表示为qi和qi′，其中i是标记点的数目i＝1,2,3...n。
步骤10：利用对极几何原理确定双目立体视觉的基础矩阵F，其具体步骤包括：
步骤10.1：归一化匹配点
步骤9中左右相机拍摄的两组特征点的齐次坐标存在一一对应的关系：在形成8点算法的线性方程组之前，图像点的一个简单的变换(平移或者尺度)将使这个问题的条件极大的改善，从而提高结果的稳定性，而且这种变换所增加的计算并不复杂。本发明使用的归一化变换方法是对每一幅图像作平移和缩放使得参考点的形心在坐标原点且点到原点的均方根(RMS)距离等于
根据和变换图像坐标，其中T和T′是归一化变换，由平移和缩放组成；
步骤10.2：求对应于归一化的匹配的基本矩阵
根据对极几何原理基本矩阵满足如下关系：
假设和对应于归一化的匹配的基本矩阵为：
对n个匹配点，等式(2)展开得式3：
其中，f＝[f11 f12 f13 f21 f22 f23 f31 f32 f33]T。
显然这是一个线性方程组，只需要8个以上的对应点，即可通过最小二乘法求解。
由于8点算法是一个线性算法，给出的最小二乘法解有可能不满足基本矩阵秩为2的性质，因此应采取步骤强迫这种约束。假设8点算法通过的最小奇异值的奇异矢量确定最小二乘解为则奇异值分解(SVD)为对角矩阵D＝diag(r,s,t)，满足r≥s≥t，假设即可得到秩为2并使的Frobenius范数最小的
步骤10.3：解除归一化。
归一化的8点算法求解双目立体视觉的基本矩阵矩阵F是对应于原始数据的基本矩阵。
步骤10.4：随机抽样一致性算法优化基本矩阵。
在实际应用中，匹配点由于受到噪声影响存在误匹配，归一化的8点算法计算的基本矩阵估计值会因误匹配所产生误差而使估计值恶化。为了消除这一误差，本发明采用基于随机抽样一致性算法(RANSAC)并引入Sampson加权算子，以Sampson距离划分局内点和局外点来提高算法的鲁棒性，局内点数据是正确匹配的特征点对，而局外点数据就是误匹配的特征点对。
RANSAC方法的基本思想是：在进行参数估计时，通过重复地对特征数据集取样来获得基本子集，利用基本子集估算基本矩阵。
基于RANSAC方法的基本矩阵估计步骤如下步骤：
(1)首先从所有的匹配点集中随机采样，每次取8个点，进行m次随机取点，利用归一化的8点法估计基础矩阵F8-point。既然是随机采样，采样基本子集的数目必须要保证所有的采样集合中，最少有一个子集的特征点对完全正确匹配的概率大于95，概率p与子集数M之间的关系如下：
p＝1-(1-(1-e)m)M (4)
其中，本发明采用的8点算法m＝8，e表示局外点占数据集合的比例；
(2)计算匹配点到对应极线距离，与门限值比较，划分数据为局内点和局外点；
(3)记录解算出的基础矩阵和对应的内点数目，保存局内点数目最多的基础矩阵；
(4)以上步骤重复进行M次，得到M个基本子集；
(5)保存局内点最多的基础矩阵对应的局内点；
(6)利用局内点重新利用归一化8点算法估计基础矩阵F。
步骤11：根据步骤1中获得的两个相机的内部参数矩阵K和K′按式5计算本质矩阵E：
E＝K′TFK (5)
其中，基本矩阵E＝[T]×R，T是两个相机坐标系之间缺少一个比例因子的平移向量，R是旋转矩阵，[T]×表示T的反对称矩阵。
步骤12：计算双目立体视觉的平移向量t；具体的步骤包括：
步骤12.1：由步骤11获得的本质矩阵E和步骤7获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的平移向量T＝[x0,y0,z0]T；
步骤12.2使用激光测距仪测量两个相机基线的长度为L，则比例因子为
因此，平移向量t为：
t＝sT。
步骤13：根据稀疏的光束平差法(SBA)对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化后的相机参数。
根据双目立体视觉的内外参数，确定参考点在以左相机为世界坐标系下的三维坐标，根据内外参数计算每一个参考点三维坐标的重投影坐标。由于存在噪声，重投影点和真实图像点并不是完全重合的，较小的重投影误差会使图像点与重投影点之间产生更令人满意的单应关系，因此，重投影误差经常被作为一个约束去优化相机的参数。
对上述估计的内外参数进行全局优化，本发明利用多参数最小二乘拟合法对其进行优化。多参数最小二乘拟合法是一种全局的非线性优化方法，其优化的目标是最小化真实图像点与重投影点之间的几何距离之和。
假设n个三维点在视图中可见，令为第j(j＝1...m)个点在图像i(i＝1...n)中的真实像素坐标，是与三维点pj的真实图像点对应的重投影点的坐标，则多参数最小二乘拟合法的目标优化函数可表达为：
其中，A是相机的内部参数矩阵，D是镜头畸变，R和t分别为旋转矩阵和平移向量。本发明通过计算所有参考点的重投影误差之和的最小值，从而可以得到最优的摄像机内外参数。
作为优选，由于IMU提供的欧拉角中的偏航角是由其自身周边的地球磁场确认的，所以偏航角易受到它附近磁场的影响，也就是说即使两个IMU的坐标轴指向一个方向，由于每一个IMU周边磁场的不同会导致它们的偏航角不一样。但是，经过我们的实验验证，每一个IMU偏航角的相对值是精确的，所以可以使用角度差分的方法确定两个IMU偏航角的相对值。
具体的步骤包括：
步骤5.1：使得两个三脚架在相距一定距离的位置被固定，调整两个云台至水平，旋转云台使两个相机对视；更佳地，可以通过预先在两相机画面中心设置的标记检验两相机是否严格对视。
步骤5.2：确认两相机严格对视后，分别记录两个IMU提供的z-y-x序列的欧拉角中的偏航角和
步骤5.3：分别水平旋转两个云台直至两个相机的视场均对准待测量的构件，分别记录此时两个IMU提供的z-y-x序列的欧拉角中的偏航角和
步骤5.4：分别计算两个IMU由步骤5.1时的姿态旋转至步骤5.2时的姿态时偏航角变化量，进而将两个IMU偏航角的相对值确定为
同时，步骤6中的两个IMU之间的空间转换矩阵Ri2-i1是按式1计算；
其中，RZ(η)、Ry(η)、Rx(η)分别为：
进一步地，步骤12计算平移向量t的步骤具体包括：
步骤12.1：由步骤11获得的本质矩阵E和步骤7获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的平移向量T＝[x0,y0,z0]T；
步骤12.2使用激光测距仪测量两个相机基线的长度为L，则比例因子为
因此，平移向量t为：
t＝sT。
作为本发明的第二方面，提供了一种融合IMU标定的双目立体视觉系统，该系统是将上述方法形成为软件装置部署于主体平台(例如PC)上，并结合必要的软、硬件设备而形成的系统；也可以理解为是为实施上述方法所形成的系统。
该系统包括相机组件、IMU组件以及标定装置，所述相机组件包括相机1和相机2，IMU组件包括IMU1和IMU2，所述IMU1和IMU2被分别固连至相机1和相机2，并确保相机与IMU的坐标轴平行或尽可能地平行。
标定装置为软件装置，其部署于主体平台上，其包括双目立体视觉组件以及标定组件，双目立体视觉组件包括实施一般双目立体视觉(方法)所必须的内容，而标定组件是本发明所独创的内容，其与双目立体视觉组件有机地结合在一起形成了本发明完整的标定装置；相机和IMU均连接至标定装置，以获取相机的画面和IMU传感器的姿态信息，并进一步处理而得到优化相机的参数；
所述标定装置包括：
内部参数获取模块，用于确定双目立体视觉中的两个相机的内部参数矩阵K和K′，优选利用张氏标定方法确定；内部参数包括但不限于：主点坐标(u0,v0)T、等效焦距fx和fy、镜头二阶径向畸变系数k1和k2以及比例系数等；使用Kalibr工具箱等工具对两个IMU的内部参数进行标定，以用于后续分析误差并建立误差补偿模型；
图像储存和数据记录模块，用于储存相机变换位置时采集的不同角度标定板图像，同时记录IMU的数据，例如加速度计、陀螺仪等传感器的数据；
IMU-相机空间变换矩阵标定模块，用于通过Kalibr工具箱等工具对采集的图片和记录的数据标定IMU1与相机1之间的空间变换矩阵Rc1-i1和IMU2与相机2之间的空间变换矩阵Rc2-i2；
IMU偏航角相对值计算模块，用于通过偏航角角度差分的方法确定两个IMU偏航角的相对值；
IMU空间转换矩阵计算模块，用于通过两个IMU传感器提供的俯仰角α1和α2、滚转角β1和β2以及步骤5计算的偏航角和来计算两个IMU之间的空间转换矩阵Ri2-i1；
相机旋转矩阵计算模块，用于根据IMU-相机空间变换矩阵标定模块和MU空间转换矩阵计算模块得到的数据确定双目立体视觉两相机之间的旋转矩阵
标定靶图像采集模块，用于在包含有一个特征点的标定靶在两个相机共同的视场中随机地移动时，采集和保存两个相机同时获得图像，并确保标定靶均匀分布于整个视场中；
特征点像素坐标确定模块，用于通过Shi-Tomasi角点检测算法(或相同功能的其他现有方法)确定两个相机拍摄的每一幅图片中标定靶中特征点的像素坐标，并将其分别表示为qi和qi′，其中i是标记点的数目i＝1,2,3...n；
基础矩阵计算模块，用于通过对极几何原理确定双目立体视觉的基础矩阵F；
本质矩阵计算模块，用于根据步骤1中获得的两个相机的内部参数矩阵K和K′按式5计算本质矩阵E：
E＝K′TFK (5)
其中，基本矩阵E＝[T]×R，T是两个相机坐标系之间缺少一个比例因子的平移向量，R是旋转矩阵，[T]×表示T的反对称矩阵；
平移向量计算模块，用于计算双目立体视觉的平移向量t；
相机参数优化模块，用于根据稀疏的光束平差法(SBA)对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化后的相机参数；根据双目立体视觉的内外参数，确定参考点在以左相机为世界坐标系下的三维坐标，根据内外参数计算每一个参考点三维坐标的重投影坐标；由于存在噪声，重投影点和真实图像点并不是完全重合的，较小的重投影误差会使图像点与重投影点之间产生更令人满意的单应关系，因此，使用重投影误差作为一个约束去优化相机的参数；
对上述估计的内外参数进行全局优化，本发明利用多参数最小二乘拟合法对其进行优化；多参数最小二乘拟合法是一种全局的非线性优化方法，其优化的目标是最小化真实图像点与重投影点之间的几何距离之和；
假设n个三维点在视图中可见，令为第j(j＝1...m)个点在图像i(i＝1...n)中的真实像素坐标，是与三维点pj的真实图像点对应的重投影点的坐标，则多参数最小二乘拟合法的目标优化函数可表达为：
其中，A是相机的内部参数矩阵，D是镜头畸变，R和t分别为旋转矩阵和平移向量；本发明通过计算所有参考点的重投影误差之和的最小值，从而可得到最优的摄像机内外参数。
作为优选，由于IMU提供的欧拉角中的偏航角是由其自身周边的地球磁场确认的，所以偏航角易受到它附近磁场的影响，也就是说即使两个IMU的坐标轴指向一个方向，由于每一个IMU周边磁场的不同会导致它们的偏航角不一样；但是，经过我们的实验验证，每一个IMU偏航角的相对值是精确的，所以可以使用角度差分的方法确定两个IMU偏航角的相对值；
IMU偏航角相对值计算模块包括：
对视偏航角记录模块，用于在两个三脚架在相距一定距离的位置被固定，调整两个云台至水平，旋转云台使两个相机对视后，分别记录两个IMU的z-y-x序列的欧拉角中的偏航角和
测量偏航角记录模块，用于在分别水平旋转两个云台直至两个相机的视场均对准待测量的构件时，分别记录此时两个IMU的z-y-x序列的欧拉角中的偏航角和
偏航角相对值确定模块，用于分别计算两个IMU由对视姿态旋转至测量姿态时偏航角变化量，进而将两个IMU偏航角的相对值确定为
同时，IMU空间转换矩阵计算模块的空间转换矩阵Ri2-i1按式1计算；
其中，RZ(η)、Ry(η)、Rx(η)分别为：
进一步地，平移向量计算模块包括
初步平移向量计算模块，用于由本质矩阵计算模块获得的本质矩阵E和相机旋转矩阵计算模块获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的初步平移向量T＝[x0,y0,z0]T；
比例因子计算模块，用于根据测量得到的两个相机基线的长度L，按下式计算比例因子
平移向量运算模块，用于按下式运算平移向量t为：
t＝sT。
本发明提供了一种融合了双目相机与IMU以对双目立体视觉进行标定的方法与系统，该方法通过将两个IMU分别与两个相机固联，首先计算相机与IMU的空间转换关系，然后利用IMU提供的z-y-x序列的欧拉角和本发明所率先提出的偏航角角度差分的方法确定两个相机之间的旋转矩阵。并通过人工的标定靶在两个相机共同的视场中随机移动，图像采集系统同步采集并保存图像，利用对极几何原理和已知的旋转矩阵确定平移向量。该方法无需借助大型的制作精密的的标定板，只需要测量两个相机基线的长度即可完成双目立体视觉的标定，解决了传统标定方法仅适用于室内小视场和自标定方法精度低的缺陷，本发明方法可被应用在户外、大视场等复杂环境下，并具有较高的精度、鲁棒性以及灵活性。此外，近年来消费级惯性测量元件(IMU)价格的下降，也使得本发明的方法和系统的实用性也大大地提升，未来的应用范围不可限量，对于相关测量成本的降低、精度的提升以及应用场景的拓展具有积极的推动作用。
附图说明
图1为本发明某一实施例方法的主要流程框图；
图2为图1实施例中IMU和相机的安装示意图；
图3为图1实施例中IMU坐标系和相机坐标系空间转换示意图。
图4为本发明某一实施例的实验配置图。
图5a、图5b分别为图4实施例的相机1和相机2采集的标定靶图像；
图6为图1实施例使用的双目立体视觉模型示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明，从而对本发明要求保护的范围作出更清楚地限定，下面就本发明的某些具体实施例对本发明进行详细描述。需要说明的是，以下仅是本发明构思的某些具体实施方式仅是本发明的一部分实施例，其中对于相关结构的具体的直接的描述仅是为方便理解本发明，各具体特征并不当然、直接地限定本发明的实施范围。本领域技术人员在本发明构思的指导下所作的常规选择和替换，以及在本发明构思指导下的若干技术特征的合理排列组合，均应视为在本发明要求保护的范围内。
一种双目立体视觉测量方法的标定方法，其是通过融合双目相机与IMU(惯性测量单元)从而可以对立体视觉测量方法进行标定的方法，特别适用于大视场、复杂环境等户外场所的视觉测量方法标定。IMU通常是由加速度计、陀螺仪以及磁力计组成，通过卡尔曼滤波方法把这些传感器融合可以提供稳定的欧拉角，而欧拉角通常被使用表示物体的姿态；因此，本发明通过双目相机与IMU的融合技术以标定双目立体视觉的外部参数。
该方法包括：
步骤1：利用张氏标定方法确定双目立体视觉中的两个相机(相机1和相机2)的内部参数矩阵K和K′，包括主点坐标(u0,v0)T、等效焦距fx和fy、镜头二阶径向畸变系数k1和k2以及比例系数等内参，使用Kalibr工具箱(或是现有技术中相同功能的其他工具箱)对两个IMU(IMU 1和IMU 2)的内部参数进行标定，目的是分析误差并建立误差补偿模型。
步骤2：将两个相机分别固定在两个三脚架的云台上，然后将两IMU分别与两相机固连，相机与IMU的坐标轴尽可能地平行(见图2)。相机和IMU均与电脑连接，以在电脑显示器上实时显示两相机的画面和两个IMU传感器的姿态信息。
步骤3：制作April类型的标定板并固定在光学平台上，激活IMU的所有轴，通过变换相机位置来采集并保存不同角度的标定板图像，同时记录IMU中的加速度计、陀螺仪等传感器的数据，对另一个相机和IMU做同样的操作并记录数据。
步骤4：利用步骤3中采集的图片和记录的数据使用Kalibr工具箱等工具标定IMU1(即第一IMU或第一惯性测量单元)与相机1(即第一相机)之间的空间变换矩阵Rc1-i1，同样的方法被使用确定IMU 2(即第二IMU、第二惯性测量单元)与相机2(即第二相机)之间的空间变换矩阵Rc2-i2。
步骤5：使用偏航角角度差分的方法以确定两个IMU偏航角的相对值。
由于IMU提供的欧拉角中的偏航角是由其自身周边的地球磁场确认的，所以偏航角易受到它附近磁场的影响，也就是说即使两个IMU的坐标轴指向一个方向，由于每一个IMU周边磁场的不同会导致它们的偏航角不一样。但是，经过我们的实验验证，每一个IMU偏航角的相对值是精确的，所以可以使用角度差分的方法确定两个IMU偏航角的相对值。
具体的步骤包括：
步骤5.1：使得两个三脚架在相距一定距离的位置被固定，调整两个云台至水平，然后旋转云台使两个相机对视；更佳地，可以通过预先在两相机画面中心设置的标记检验两相机是否严格对视。
步骤5.2：确认两相机严格对视后，分别记录两个IMU提供的z-y-x序列的欧拉角中的偏航角和
步骤5.3：分别水平旋转两个云台直至两个相机的视场均对准待测量的构件，分别记录此时两个IMU提供的z-y-x序列的欧拉角中的偏航角和
步骤5.4：分别计算两个IMU由步骤5.1时的姿态旋转至步骤5.2时的姿态时偏航角变化量，进而将两个IMU偏航角的相对值确定为
步骤6：使用两个IMU传感器提供的俯仰角α1和α2、滚转角β1和β2以及步骤5计算的偏航角和来计算两个IMU之间的空间转换矩阵Ri2-i1(见图3)，其按式1计算；
其中，RZ(η)、Ry(η)、Rx(η)分别为：
步骤7：根据步骤4和步骤6得到的数据确定双目立体视觉两相机之间的旋转矩阵例如，在某一实施例中，其实际计算为：
步骤8：使得控制包含有一个特征点的标定靶在两个相机共同的视场中随机地移动，两个相机同时采集和保存图像，直至标定靶均匀分布于整个视场(见图4)。
步骤9：使用Shi-Tomasi角点检测算法等方法，以确定两个相机拍摄的每一幅图片中标定靶中特征点的像素坐标(见图5)，分别表示为qi和qi′，其中i是标记点的数目i＝1,2,3...n。
步骤10：利用对极几何原理(见图6)确定双目立体视觉的基础矩阵F，具体步骤包括：
步骤10.1：归一化匹配点
步骤9中左右相机拍摄的两组特征点的齐次坐标存在一一对应的关系：在形成8点算法的线性方程组之前，图像点的一个简单的变换(平移或者尺度)将使这个问题的条件极大的改善，从而提高结果的稳定性，而且这种变换所增加的计算并不复杂。本发明使用的归一化变换方法是对每一幅图像作平移和缩放使得参考点的形心在坐标原点且点到原点的均方根(RMS)距离等于
根据和变换图像坐标，其中T和T′是归一化变换，由平移和缩放组成；
步骤10.2：求对应于归一化的匹配的基本矩阵
根据对极几何原理基本矩阵满足如下关系：
假设和对应于归一化的匹配的基本矩阵为：
对n个匹配点，等式(2)展开得式3：
其中，f＝[f11 f12 f13 f21 f22 f23 f31 f32 f33]T。
显然这是一个线性方程组，只需要8个以上的对应点，即可通过最小二乘法求解。
由于8点算法是一个线性算法，给出的最小二乘法解有可能不满足基本矩阵秩为2的性质，因此应采取步骤强迫这种约束。假设8点算法通过的最小奇异值的奇异矢量确定最小二乘解为则奇异值分解(SVD)为对角矩阵D＝diag(r,s,t)，满足r≥s≥t，假设即可得到秩为2并使的Frobenius范数最小的
步骤10.3：解除归一化。
归一化的8点算法求解双目立体视觉的基本矩阵矩阵F是对应于原始数据的基本矩阵。
步骤10.4:随机抽样一致性算法优化基本矩阵。
在实际应用中，匹配点由于受到噪声影响存在误匹配，归一化的8点算法计算的基本矩阵估计值会因误匹配所产生误差而使估计值恶化。为了消除这一误差，本发明采用基于随机抽样一致性算法(RANSAC)并引入Sampson加权算子，以Sampson距离划分局内点和局外点来提高算法的鲁棒性，局内点数据是正确匹配的特征点对，而局外点数据就是误匹配的特征点对。
RANSAC方法的基本思想是：在进行参数估计时，通过重复地对特征数据集取样来获得基本子集，利用基本子集估算基本矩阵。
基于RANSAC方法的基本矩阵估计步骤如下步骤：
(1)首先从所有的匹配点集中随机采样，每次取8个点，进行m次随机取点，利用归一化的8点法估计基础矩阵F8-point。既然是随机采样，采样基本子集的数目必须要保证所有的采样集合中，最少有一个子集的特征点对完全正确匹配的概率大于95，概率p与子集数M之间的关系如下：
p＝1-(1-(1-e)m)M (4)
其中，本发明采用的8点算法m＝8，e表示局外点占数据集合的比例；
(2)计算匹配点到对应极线距离，与门限值比较，划分数据为局内点和局外点；
(3)记录解算出的基础矩阵和对应的内点数目，保存局内点数目最多的基础矩阵；
(4)以上步骤重复进行M次，得到M个基本子集；
(5)保存局内点最多的基础矩阵对应的局内点；
(6)利用局内点重新利用归一化8点算法估计基础矩阵F。
步骤11：根据步骤1中获得的两个相机的内部参数矩阵K和K′计算本质矩阵E，它满足如下方程：
E＝K′TFK (5)
其中，基本矩阵E＝[T]×R，T是两个相机坐标系之间缺少一个比例因子的平移向量，R是旋转矩阵，[T]×表示T的反对称矩阵。
步骤12：计算双目立体视觉的平移向量t；具体的步骤包括：
步骤12.1：由步骤11获得的本质矩阵E和步骤7获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的平移向量T＝[x0,y0,z0]T；
步骤12.2使用激光测距仪测量两个相机基线的长度为L，则比例因子为
因此，平移向量t为：
t＝sT。
步骤13：根据稀疏的光束平差法(SBA)对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化后的相机参数。
根据双目立体视觉的内外参数，确定参考点在以左相机为世界坐标系下的三维坐标，根据内外参数计算每一个参考点三维坐标的重投影坐标。由于存在噪声，重投影点和真实图像点并不是完全重合的，较小的重投影误差会使图像点与重投影点之间产生更令人满意的单应关系，因此，重投影误差经常被作为一个约束去优化相机的参数。
对上述估计的内外参数进行全局优化，本发明利用多参数最小二乘拟合法对其进行优化。多参数最小二乘拟合法是一种全局的非线性优化方法，其优化的目标是最小化真实图像点与重投影点之间的几何距离之和。假设n个三维点在视图中可见，令为第j(j＝1...m)个点在图像i(i＝1...n)中的真实像素坐标，是与三维点pj的真实图像点对应的重投影点的坐标，则多参数最小二乘拟合法的目标优化函数可表达为：
其中，A是相机的内部参数矩阵，D是镜头畸变，R和t分别为旋转矩阵和平移向量。本发明通过计算所有参考点的重投影误差之和的最小值，从而可得到最优的摄像机内外参数。
实施例
如图5所示，按包含上述步骤1-13的优选方法对双目立体视觉测量方法进行标定和优化后，采集一幅标定靶图片(可以是在采集完标定使用的图片以后另采集一幅标定靶图片，也可以是单独采集的)，在该图像中选择两个标记点，分别表示为标记点a和点b，它们之间的空间距离为149mm。使用本发明优化后的双目立体视觉内外参数重建标记点a和b在世界坐标系下的三维坐标，得到它们之间的空间距离为149.32mm，两者的误差为0.32mm。
可见本发明的标定方法的精度为mm级别，可以满足绝大部分的应用；同时，其实施过程是相对简单和容易的。

Claims (10)

1.一种融合IMU标定的双目立体视觉测量方法，其特征在于，所述方法包括以下步骤：
步骤1：确定双目立体视觉中的两个相机的内部参数矩阵K和K′，优选利用张氏标定方法确定；内部参数包括但不限于：主点坐标(u0,v0)T、等效焦距fx和fy、镜头二阶径向畸变系数k1和k2以及比例系数等；对两个IMU的内部参数进行标定，以用于后续分析误差并建立误差补偿模型；
步骤2：将两相机分别固定在三脚架的云台上，再将两IMU分别与两相机固连，相机与IMU的坐标轴平行地设置；并将相机和IMU均连接至电脑，以在电脑显示器上实时显示两相机的画面和两个IMU传感器的姿态信息；
步骤3：将标定板并固定在光学平台上，激活IMU的所有轴，通过变换相机位置来采集并保存不同角度的标定板图像，同时记录IMU的数据，例如加速度计、陀螺仪等传感器的数据；可以再对另一个相机和IMU做同样的操作并记录数据；
步骤4：对步骤3中采集的图片和记录的数据标定IMU1与相机1之间的空间变换矩阵Rc1-i1，同样的方法被使用确定IMU2与相机2之间的空间变换矩阵Rc2-i2；
步骤5：使用偏航角角度差分的方法可以确定两个IMU偏航角的相对值；
步骤6：通过两个IMU传感器提供的俯仰角α1和α2、滚转角β1和β2以及步骤5计算的偏航角和来计算两个IMU之间的空间转换矩阵Ri2-i1；
步骤7：根据步骤4和步骤6得到的数据确定双目立体视觉两相机之间的旋转矩阵
步骤8：使得控制包含有一个特征点的标定靶在两个相机共同的视场中随机地移动，两个相机同时采集和保存图像，直至标定靶均匀分布于整个视场；
步骤9：计算确定两个相机拍摄的每一幅图片中标定靶中特征点的像素坐标，并将其分别表示为qi和qi′，其中i是标记点的数目i＝1,2,3...n；
步骤10：利用对极几何原理确定双目立体视觉的基础矩阵F；
步骤11：根据步骤1中获得的两个相机的内部参数矩阵K和K′按式5计算本质矩阵E：
E＝K′TFK (5)
其中，基本矩阵E＝[T]×R，T是两个相机坐标系之间缺少一个比例因子的平移向量，R是旋转矩阵，[T]×表示T的反对称矩阵；
步骤12：计算双目立体视觉的平移向量t；
步骤13：根据稀疏的光束平差法(SBA)对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化后的相机参数；根据双目立体视觉的内外参数，确定参考点在以左相机为世界坐标系下的三维坐标，根据内外参数计算每一个参考点三维坐标的重投影坐标；由于存在噪声，重投影点和真实图像点并不是完全重合的，较小的重投影误差会使图像点与重投影点之间产生更令人满意的单应关系，因此，使用重投影误差作为一个约束去优化相机的参数；
对上述估计的内外参数进行全局优化，本发明利用多参数最小二乘拟合法对其进行优化；多参数最小二乘拟合法是一种全局的非线性优化方法，其优化的目标是最小化真实图像点与重投影点之间的几何距离之和；
假设n个三维点在视图中可见，令为第j(j＝1...m)个点在图像i(i＝1...n)中的真实像素坐标，是与三维点pj的真实图像点对应的重投影点的坐标，则多参数最小二乘拟合法的目标优化函数可表达为：
其中，A是相机的内部参数矩阵，D是镜头畸变，R和t分别为旋转矩阵和平移向量；通过计算所有参考点的重投影误差之和的最小值，得到最优的摄像机内外参数。
2.根据权利要求1所述的方法，其特征在于，
由于IMU提供的欧拉角中的偏航角是由其自身周边的地球磁场确认的，所以偏航角易受到它附近磁场的影响，也就是说即使两个IMU的坐标轴指向一个方向，由于每一个IMU周边磁场的不同会导致它们的偏航角不一样；但是，经过我们的实验验证，每一个IMU偏航角的相对值是精确的，所以可以使用角度差分的方法确定两个IMU偏航角的相对值；
步骤5具体包括：
步骤5.1：使得两个三脚架在相距一定距离的位置被固定，调整两个云台至水平，旋转云台使两个相机对视；
步骤5.2：确认两相机严格对视后，分别记录两个IMU提供的z-y-x序列的欧拉角中的偏航角和
步骤5.3：分别水平旋转两个云台直至两个相机的视场均对准待测量的构件，分别记录此时两个IMU提供的z-y-x序列的欧拉角中的偏航角和
步骤5.4：分别计算两个IMU由步骤5.1时的姿态旋转至步骤5.2时的姿态时偏航角变化量，进而将两个IMU偏航角的相对值确定为
同时，步骤6的空间转换矩阵Ri2-i1按式1计算；
其中，RZ(η)、Ry(η)、Rx(η)分别为：
3.根据权利要求2所述的方法，其特征在于，所述步骤12包括：
步骤12.1：由步骤11获得的本质矩阵E和步骤7获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的平移向量T＝[x0,y0,z0]T；
步骤12.2：测量两个相机基线的长度为L，则比例因子为
因此，平移向量t为：
t＝sT。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述步骤10包括：
步骤10.1：归一化匹配点
步骤9中左右相机拍摄的两组特征点的齐次坐标存在一一对应的关系：在形成8点算法的线性方程组之前，图像点的一个简单的变换(平移或者尺度)将使这个问题的条件极大的改善，从而提高结果的稳定性，而且这种变换所增加的计算并不复杂；本发明使用的归一化变换方法是对每一幅图像作平移和缩放使得参考点的形心在坐标原点且点到原点的均方根(RMS)距离等于
根据和变换图像坐标，其中T和T′是归一化变换，由平移和缩放组成；
步骤10.2：求对应于归一化的匹配的基本矩阵
根据对极几何原理基本矩阵满足式2的关系：
假设和对应于归一化的匹配的基本矩阵为：
对n个匹配点，等式(2)展开得式3：
其中，f＝[f11 f12 f13 f21 f22 f23 f31 f32 f33]T；
显然这是一个线性方程组，只需要8个以上的对应点，即可通过最小二乘法求解；
由于8点算法是一个线性算法，给出的最小二乘法解有可能不满足基本矩阵秩为2的性质，因此应采取步骤强迫这种约束；假设8点算法通过的最小奇异值的奇异矢量确定最小二乘解为则奇异值分解(SVD)为对角矩阵D＝diag(r,s,t)，满足r≥s≥t，假设即可得到秩为2并使的Frobenius范数最小的
步骤10.3：解除归一化
归一化的8点算法求解双目立体视觉的基本矩阵矩阵F是对应于原始数据的基本矩阵；
步骤10.4：随机抽样一致性算法优化基本矩阵
在实际应用中，匹配点由于受到噪声影响存在误匹配，归一化的8点算法计算的基本矩阵估计值会因误匹配所产生误差而使估计值恶化；为了消除这一误差，本发明采用基于随机抽样一致性算法(RANSAC)并引入Sampson加权算子，以Sampson距离划分局内点和局外点来提高算法的鲁棒性，局内点数据是正确匹配的特征点对，而局外点数据就是误匹配的特征点对。
5.根据权利要求4所述的方法，其特征在于，
RANSAC方法的基本思想是：在进行参数估计时，通过重复地对特征数据集取样来获得基本子集，利用基本子集估算基本矩阵；
基于RANSAC方法的基本矩阵估计步骤如下步骤：
(1)首先从所有的匹配点集中随机采样，每次取8个点，进行m次随机取点，利用归一化的8点法估计基础矩阵F8-point；既然是随机采样，采样基本子集的数目必须要保证所有的采样集合中，最少有一个子集的特征点对完全正确匹配的概率大于95，概率p与子集数M之间的关系如下：
p＝1-(1-(1-e)m)M (4)
其中，本发明采用的8点算法m＝8，e表示局外点占数据集合的比例；
(2)计算匹配点到对应极线距离，与门限值比较，划分数据为局内点和局外点；
(3)记录解算出的基础矩阵和对应的内点数目，保存局内点数目最多的基础矩阵；
(4)以上步骤重复进行M次，得到M个基本子集；
(5)保存局内点最多的基础矩阵对应的局内点；
(6)利用局内点重新利用归一化8点算法估计基础矩阵F。
6.根据权利要求1所述的方法，其特征在于，所述步骤5.1通过预先在两相机画面中心设置的标记检验两相机是否严格对视。
7.根据权利要求1所述的方法，其特征在于，所述步骤2中的标定板为April类型标定板或棋盘格标定板。
8.一种融合IMU标定的双目立体视觉系统，该系统包括相机组件，相机组件包括相机1和相机2，其特征在于，还包括：
IMU组件，其包括IMU1和IMU2，所述IMU1和IMU2被分别固连至相机1和相机2，并确保相机与IMU的坐标轴平行；以及，
标定装置，其包括双目立体视觉组件以及标定组件，并且相机和IMU均连接至标定装置，以获取相机的画面和IMU传感器的姿态信息，并进一步处理而得到优化相机的参数；
所述标定装置包括：
内部参数获取模块，用于确定双目立体视觉中的两个相机的内部参数矩阵K和K′，优选利用张氏标定方法确定；内部参数包括但不限于：主点坐标(u0,v0)T、等效焦距fx和fy、镜头二阶径向畸变系数k1和k2以及比例系数等；标定两个IMU的内部参数以用于后续分析误差并建立误差补偿模型；
图像储存和数据记录模块，用于储存相机变换位置时采集的不同角度标定板图像，同时记录IMU的数据，例如加速度计、陀螺仪等传感器的数据；
IMU-相机空间变换矩阵标定模块，用于对采集的图片和记录的数据标定IMU1与相机1之间的空间变换矩阵Rc1-i1和IMU2与相机2之间的空间变换矩阵Rc2-i2；
IMU偏航角相对值计算模块，用于通过偏航角角度差分的方法确定两个IMU偏航角的相对值；
IMU空间转换矩阵计算模块，用于通过两个IMU传感器提供的俯仰角α1和α2、滚转角β1和β2以及步骤5计算的偏航角和来计算两个IMU之间的空间转换矩阵Ri2-i1；
相机旋转矩阵计算模块，用于根据IMU-相机空间变换矩阵标定模块和MU空间转换矩阵计算模块得到的数据确定双目立体视觉两相机之间的旋转矩阵
标定靶图像采集模块，用于在包含有一个特征点的标定靶在两个相机共同的视场中随机地移动时，采集和保存两个相机同时获得图像，并确保标定靶均匀分布于整个视场中；
特征点像素坐标确定模块，用于计算确定两个相机拍摄的每一幅图片中标定靶中特征点的像素坐标，并将其分别表示为qi和qi′，其中i是标记点的数目i＝1,2,3...n；
基础矩阵计算模块，用于通过对极几何原理确定双目立体视觉的基础矩阵F；
本质矩阵计算模块，用于根据步骤1中获得的两个相机的内部参数矩阵K和K′按式5计算本质矩阵E：
E＝K′TFK (5)
其中，基本矩阵E＝[T]×R，T是两个相机坐标系之间缺少一个比例因子的平移向量，R是旋转矩阵，[T]×表示T的反对称矩阵；
平移向量计算模块，用于计算双目立体视觉的平移向量t；
相机参数优化模块，用于根据稀疏的光束平差法(SBA)对相机的内部参数、旋转矩阵以及平移向量进行优化，得到优化后的相机参数；根据双目立体视觉的内外参数，确定参考点在以左相机为世界坐标系下的三维坐标，根据内外参数计算每一个参考点三维坐标的重投影坐标；由于存在噪声，重投影点和真实图像点并不是完全重合的，较小的重投影误差会使图像点与重投影点之间产生更令人满意的单应关系，因此，使用重投影误差作为一个约束去优化相机的参数；
对上述估计的内外参数进行全局优化，本发明利用多参数最小二乘拟合法对其进行优化；多参数最小二乘拟合法是一种全局的非线性优化方法，其优化的目标是最小化真实图像点与重投影点之间的几何距离之和；
假设n个三维点在视图中可见，令为第j(j＝1...m)个点在图像i(i＝1...n)中的真实像素坐标，是与三维点pj的真实图像点对应的重投影点的坐标，则多参数最小二乘拟合法的目标优化函数可表达为：
其中，A是相机的内部参数矩阵，D是镜头畸变，R和t分别为旋转矩阵和平移向量；通过计算所有参考点的重投影误差之和的最小值，从而可得到最优的摄像机内外参数。
9.根据权利要求8所述的系统，其特征在于，
由于IMU提供的欧拉角中的偏航角是由其自身周边的地球磁场确认的，所以偏航角易受到它附近磁场的影响，也就是说即使两个IMU的坐标轴指向一个方向，由于每一个IMU周边磁场的不同会导致它们的偏航角不一样；但是，经过我们的实验验证，每一个IMU偏航角的相对值是精确的，所以可以使用角度差分的方法确定两个IMU偏航角的相对值；
IMU偏航角相对值计算模块包括：
对视偏航角记录模块，用于在两个三脚架在相距一定距离的位置被固定，调整两个云台至水平，旋转云台使两个相机对视后，分别记录两个IMU的z-y-x序列的欧拉角中的偏航角和
测量偏航角记录模块，用于在分别水平旋转两个云台直至两个相机的视场均对准待测量的构件时，分别记录此时两个IMU的z-y-x序列的欧拉角中的偏航角和
偏航角相对值确定模块，用于分别计算两个IMU由对视姿态旋转至测量姿态时偏航角变化量，进而将两个IMU偏航角的相对值确定为
同时，IMU空间转换矩阵计算模块的空间转换矩阵Ri2-i1按式1计算；
其中，RZ(η)、Ry(η)、Rx(η)分别为：
10.根据权利要求9所述的系统，其特征在于，平移向量计算模块包括
初步平移向量计算模块，用于由本质矩阵计算模块获得的本质矩阵E和相机旋转矩阵计算模块获得的旋转矩阵R，通过解线性方法程组得到缺一个比例因子的初步平移向量T＝[x0,y0,z0]T；
比例因子计算模块，用于根据测量得到的两个相机基线的长度L，按下式计算比例因子
平移向量运算模块，用于按下式运算平移向量t为：
t＝sT。
CN201910575918.1A 2019-06-28 2019-06-28 融合imu标定的双目立体视觉测量方法与系统 Active CN110296691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910575918.1A CN110296691B (zh) 2019-06-28 2019-06-28 融合imu标定的双目立体视觉测量方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910575918.1A CN110296691B (zh) 2019-06-28 2019-06-28 融合imu标定的双目立体视觉测量方法与系统

Publications (2)

Publication Number Publication Date
CN110296691A true CN110296691A (zh) 2019-10-01
CN110296691B CN110296691B (zh) 2020-09-22

Family

ID=68029495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910575918.1A Active CN110296691B (zh) 2019-06-28 2019-06-28 融合imu标定的双目立体视觉测量方法与系统

Country Status (1)

Country Link
CN (1) CN110296691B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110793526A (zh) * 2019-11-18 2020-02-14 山东建筑大学 基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统
CN111012506A (zh) * 2019-12-28 2020-04-17 哈尔滨工业大学 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法
CN111273701A (zh) * 2020-02-28 2020-06-12 佛山科学技术学院 一种云台视觉控制系统以及控制方法
CN111491140A (zh) * 2020-05-15 2020-08-04 深圳金三立视频科技股份有限公司 输电线缆视频巡线方法及终端
CN111524177A (zh) * 2020-04-16 2020-08-11 华中科技大学 一种机器人微小型高速双目立体视觉系统
CN112013786A (zh) * 2020-09-01 2020-12-01 三一重工股份有限公司 一种大视场深度相机及三维信息探测方法
CN112129263A (zh) * 2020-09-30 2020-12-25 绍兴晨璞网络科技有限公司 一种分离移动式立体测距相机及其设计方法
CN112362034A (zh) * 2020-11-11 2021-02-12 上海电器科学研究所（集团）有限公司 基于双目视觉的固体发动机多节筒段对接引导测量算法
CN112614191A (zh) * 2020-12-16 2021-04-06 江苏智库智能科技有限公司 基于双目深度相机的装卸位置检测方法、装置和系统
CN112712565A (zh) * 2020-12-28 2021-04-27 中国民航大学 基于视觉与imu融合的飞机蒙皮损伤无人机绕检定位方法
CN112991460A (zh) * 2021-03-10 2021-06-18 哈尔滨工业大学 一种用于获取汽车零件尺寸的双目测量系统、方法及装置
CN113012238A (zh) * 2021-04-09 2021-06-22 南京星顿医疗科技有限公司 一种多深度相机快速标定与数据融合的方法
CN113052918A (zh) * 2021-04-23 2021-06-29 北京机械设备研究所 对极式双目相机标定误差评价方法、装置、介质及设备
WO2021138993A1 (zh) * 2020-01-10 2021-07-15 大连理工大学 一种多波段立体相机的视差图像融合方法
CN113208731A (zh) * 2021-04-23 2021-08-06 上海大学 基于双目视觉系统的手术穿刺机器人手眼标定方法
CN113298882A (zh) * 2021-06-07 2021-08-24 四川大学 一种用于显微三维形貌测量系统的摄像机标定装置和方法
CN113313767A (zh) * 2021-04-25 2021-08-27 普联国际有限公司 一种多麦克风阵列的标定方法、装置、系统及存储介质
CN113781583A (zh) * 2021-09-28 2021-12-10 中国人民解放军国防科技大学 相机自标定方法、装置、设备和介质
JP2022026277A (ja) * 2020-07-30 2022-02-10 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび車両制御システム
CN114092569A (zh) * 2022-01-19 2022-02-25 安维尔信息科技(天津)有限公司 一种基于多传感器融合的双目相机在线标定方法及系统
CN114119747A (zh) * 2021-11-23 2022-03-01 四川大学 一种基于pmd波前检测的三维流场流动显示方法
CN114353756A (zh) * 2021-11-30 2022-04-15 中国科学院西安光学精密机械研究所 一种面阵测绘相机pos系统安置角标定方法
CN114964316A (zh) * 2022-07-27 2022-08-30 湖南科天健光电技术有限公司 位置姿态校准方法及装置、测量待测目标的方法、系统
CN114993608A (zh) * 2022-07-18 2022-09-02 中国航空工业集团公司沈阳空气动力研究所 一种风洞模型三维姿态角测量方法
CN116880687A (zh) * 2023-06-07 2023-10-13 黑龙江科技大学 一种基于单目多算法的悬浮触控方法
CN117523009A (zh) * 2024-01-04 2024-02-06 北京友友天宇系统技术有限公司 一种双目相机标定方法、系统、装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE924289C (de) * 1944-08-04 1955-02-28 Zeiss Carl Fa Vorrichtung zur Herstellung von Schablonen fuer die Verknuepfung von durch Reihenbildaufnahme gewonnenen Gelaendebildern
CN103323461A (zh) * 2013-06-14 2013-09-25 上海大学 一种非接触式的风力发电机叶片运动在线检测方法
CN105300306A (zh) * 2015-11-12 2016-02-03 西安航空动力股份有限公司 一种用于塑性应变数据采集的照相装置及数据采集方法
JP2017032483A (ja) * 2015-08-05 2017-02-09 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
CN107016699A (zh) * 2017-03-14 2017-08-04 上海大学 一种自动识别杂色粒子的彩色编码方法
US20180032088A1 (en) * 2015-03-02 2018-02-01 Izak Jan van Cruyningen Flight planning for unmanned aerial tower inspection
CN107655398A (zh) * 2017-09-13 2018-02-02 中国科学院深圳先进技术研究院 一种高灵敏度可拉伸柔性应变传感器及其制备方法
CN108510551A (zh) * 2018-04-25 2018-09-07 上海大学 一种远距离大视场条件下相机参数的标定方法及系统
US20180278925A1 (en) * 2013-05-21 2018-09-27 Magna Electronics Inc. Targetless vehicular camera calibration method
CN108830811A (zh) * 2018-06-12 2018-11-16 西安微电子技术研究所 一种飞行参数与相机内参相结合的航空影像实时校正方法
CN109166150A (zh) * 2018-10-16 2019-01-08 青岛海信电器股份有限公司 获取位姿的方法、装置存储介质
CN109272532A (zh) * 2018-08-31 2019-01-25 中国航空工业集团公司沈阳空气动力研究所 基于双目视觉的模型位姿计算方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE924289C (de) * 1944-08-04 1955-02-28 Zeiss Carl Fa Vorrichtung zur Herstellung von Schablonen fuer die Verknuepfung von durch Reihenbildaufnahme gewonnenen Gelaendebildern
US20180278925A1 (en) * 2013-05-21 2018-09-27 Magna Electronics Inc. Targetless vehicular camera calibration method
CN103323461A (zh) * 2013-06-14 2013-09-25 上海大学 一种非接触式的风力发电机叶片运动在线检测方法
US20180032088A1 (en) * 2015-03-02 2018-02-01 Izak Jan van Cruyningen Flight planning for unmanned aerial tower inspection
JP2017032483A (ja) * 2015-08-05 2017-02-09 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
CN105300306A (zh) * 2015-11-12 2016-02-03 西安航空动力股份有限公司 一种用于塑性应变数据采集的照相装置及数据采集方法
CN107016699A (zh) * 2017-03-14 2017-08-04 上海大学 一种自动识别杂色粒子的彩色编码方法
CN107655398A (zh) * 2017-09-13 2018-02-02 中国科学院深圳先进技术研究院 一种高灵敏度可拉伸柔性应变传感器及其制备方法
CN108510551A (zh) * 2018-04-25 2018-09-07 上海大学 一种远距离大视场条件下相机参数的标定方法及系统
CN108830811A (zh) * 2018-06-12 2018-11-16 西安微电子技术研究所 一种飞行参数与相机内参相结合的航空影像实时校正方法
CN109272532A (zh) * 2018-08-31 2019-01-25 中国航空工业集团公司沈阳空气动力研究所 基于双目视觉的模型位姿计算方法
CN109166150A (zh) * 2018-10-16 2019-01-08 青岛海信电器股份有限公司 获取位姿的方法、装置存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任圣君: "模数转换器（ADC）性能对雷达系统的影响性分析∗", 《舰船电子工程》 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110793526A (zh) * 2019-11-18 2020-02-14 山东建筑大学 基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统
CN111012506A (zh) * 2019-12-28 2020-04-17 哈尔滨工业大学 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法
WO2021138993A1 (zh) * 2020-01-10 2021-07-15 大连理工大学 一种多波段立体相机的视差图像融合方法
US11948333B2 (en) 2020-01-10 2024-04-02 Dalian University Of Technology Disparity image fusion method for multiband stereo cameras
CN111273701B (zh) * 2020-02-28 2023-10-31 佛山科学技术学院 一种云台视觉控制系统以及控制方法
CN111273701A (zh) * 2020-02-28 2020-06-12 佛山科学技术学院 一种云台视觉控制系统以及控制方法
CN111524177A (zh) * 2020-04-16 2020-08-11 华中科技大学 一种机器人微小型高速双目立体视觉系统
CN111491140A (zh) * 2020-05-15 2020-08-04 深圳金三立视频科技股份有限公司 输电线缆视频巡线方法及终端
JP7383584B2 (ja) 2020-07-30 2023-11-20 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび車両制御システム
JP2022026277A (ja) * 2020-07-30 2022-02-10 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび車両制御システム
US11897517B2 (en) 2020-07-30 2024-02-13 Kabushiki Kaisha Toshiba Information processing device, information processing method, computer program product, and vehicle control system
CN112013786A (zh) * 2020-09-01 2020-12-01 三一重工股份有限公司 一种大视场深度相机及三维信息探测方法
CN112129263A (zh) * 2020-09-30 2020-12-25 绍兴晨璞网络科技有限公司 一种分离移动式立体测距相机及其设计方法
CN112362034A (zh) * 2020-11-11 2021-02-12 上海电器科学研究所（集团）有限公司 基于双目视觉的固体发动机多节筒段对接引导测量算法
CN112362034B (zh) * 2020-11-11 2022-07-08 上海电器科学研究所（集团）有限公司 基于双目视觉的固体发动机多节筒段对接引导测量方法
CN112614191B (zh) * 2020-12-16 2024-05-24 江苏智库智能科技有限公司 基于双目深度相机的装卸位置检测方法、装置和系统
CN112614191A (zh) * 2020-12-16 2021-04-06 江苏智库智能科技有限公司 基于双目深度相机的装卸位置检测方法、装置和系统
CN112712565A (zh) * 2020-12-28 2021-04-27 中国民航大学 基于视觉与imu融合的飞机蒙皮损伤无人机绕检定位方法
CN112712565B (zh) * 2020-12-28 2024-03-01 中国民航大学 基于视觉与imu融合的飞机蒙皮损伤无人机绕检定位方法
CN112991460A (zh) * 2021-03-10 2021-06-18 哈尔滨工业大学 一种用于获取汽车零件尺寸的双目测量系统、方法及装置
CN113012238B (zh) * 2021-04-09 2024-04-16 南京星顿医疗科技有限公司 一种多深度相机快速标定与数据融合的方法
CN113012238A (zh) * 2021-04-09 2021-06-22 南京星顿医疗科技有限公司 一种多深度相机快速标定与数据融合的方法
CN113052918B (zh) * 2021-04-23 2024-06-04 北京机械设备研究所 对极式双目相机标定误差评价方法、装置、介质及设备
CN113052918A (zh) * 2021-04-23 2021-06-29 北京机械设备研究所 对极式双目相机标定误差评价方法、装置、介质及设备
CN113208731A (zh) * 2021-04-23 2021-08-06 上海大学 基于双目视觉系统的手术穿刺机器人手眼标定方法
CN113313767A (zh) * 2021-04-25 2021-08-27 普联国际有限公司 一种多麦克风阵列的标定方法、装置、系统及存储介质
CN113298882A (zh) * 2021-06-07 2021-08-24 四川大学 一种用于显微三维形貌测量系统的摄像机标定装置和方法
CN113781583B (zh) * 2021-09-28 2023-05-09 中国人民解放军国防科技大学 相机自标定方法、装置、设备和介质
CN113781583A (zh) * 2021-09-28 2021-12-10 中国人民解放军国防科技大学 相机自标定方法、装置、设备和介质
CN114119747A (zh) * 2021-11-23 2022-03-01 四川大学 一种基于pmd波前检测的三维流场流动显示方法
CN114119747B (zh) * 2021-11-23 2023-04-04 四川大学 一种基于pmd波前检测的三维流场流动显示方法
CN114353756B (zh) * 2021-11-30 2023-01-06 中国科学院西安光学精密机械研究所 一种面阵测绘相机pos系统安置角标定方法
CN114353756A (zh) * 2021-11-30 2022-04-15 中国科学院西安光学精密机械研究所 一种面阵测绘相机pos系统安置角标定方法
CN114092569A (zh) * 2022-01-19 2022-02-25 安维尔信息科技(天津)有限公司 一种基于多传感器融合的双目相机在线标定方法及系统
CN114993608B (zh) * 2022-07-18 2022-09-30 中国航空工业集团公司沈阳空气动力研究所 一种风洞模型三维姿态角测量方法
CN114993608A (zh) * 2022-07-18 2022-09-02 中国航空工业集团公司沈阳空气动力研究所 一种风洞模型三维姿态角测量方法
CN114964316B (zh) * 2022-07-27 2022-11-01 湖南科天健光电技术有限公司 位置姿态校准方法及装置、测量待测目标的方法、系统
CN114964316A (zh) * 2022-07-27 2022-08-30 湖南科天健光电技术有限公司 位置姿态校准方法及装置、测量待测目标的方法、系统
CN116880687A (zh) * 2023-06-07 2023-10-13 黑龙江科技大学 一种基于单目多算法的悬浮触控方法
CN116880687B (zh) * 2023-06-07 2024-03-19 黑龙江科技大学 一种基于单目多算法的悬浮触控方法
CN117523009A (zh) * 2024-01-04 2024-02-06 北京友友天宇系统技术有限公司 一种双目相机标定方法、系统、装置及存储介质
CN117523009B (zh) * 2024-01-04 2024-04-16 北京友友天宇系统技术有限公司 一种双目相机标定方法、系统、装置及存储介质

Also Published As

Publication number Publication date
CN110296691B (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN110296691A (zh) 融合imu标定的双目立体视觉测量方法与系统
US20210233275A1 (en) Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium
CN106624709B (zh) 基于双目视觉的装配系统及装配方法
EP2847741B1 (en) Camera scene fitting of real world scenes for camera pose determination
CN108592950B (zh) 一种单目相机和惯性测量单元相对安装角标定方法
CN107767440B (zh) 基于三角网内插及约束的文物序列影像精细三维重建方法
CN110617814A (zh) 单目视觉和惯性传感器融合的远距离测距系统及方法
CN109297436B (zh) 双目线激光立体测量基准标定方法
CN108665499B (zh) 一种基于视差法的近距飞机位姿测量方法
CN105976353A (zh) 基于模型和点云全局匹配的空间非合作目标位姿估计方法
Zhang et al. A universal and flexible theodolite-camera system for making accurate measurements over large volumes
CN100417231C (zh) 立体视觉半实物仿真系统及方法
CN108106637B (zh) 一种分布式pos的精度检校方法和装置
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
CN107560603B (zh) 一种无人机倾斜摄影测量系统及测量方法
CN109087355B (zh) 基于迭代更新的单目相机位姿测量装置与方法
CN107038753B (zh) 立体视觉三维重建系统及方法
CN112229323A (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
CN108413917A (zh) 非接触式三维测量系统、非接触式三维测量方法及测量装置
CN111915685B (zh) 一种变焦摄像机标定方法
CN110646016A (zh) 基于经纬仪与视觉辅助柔性基线分布式pos标校方法和装置
CN108663043A (zh) 基于单个相机辅助的分布式pos主子节点相对位姿测量方法
CN114758011B (zh) 融合离线标定结果的变焦相机在线标定方法
CN114332191A (zh) 三维点云误差补偿方法及装置
CN109785393A (zh) 一种基于平面运动约束的相机自标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200715

Address after: 200444 Baoshan District Road, Shanghai, No. 99

Applicant after: Shanghai University

Applicant after: WUHAN SINOROCK TECHNOLOGY Co.,Ltd.

Address before: 200444 Baoshan District Road, Shanghai, No. 99

Applicant before: Shanghai University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant