CN117934636B - 一种多深度相机动态外参标定方法及其装置 - Google Patents

一种多深度相机动态外参标定方法及其装置 Download PDF

Info

Publication number
CN117934636B
CN117934636B CN202410324136.1A CN202410324136A CN117934636B CN 117934636 B CN117934636 B CN 117934636B CN 202410324136 A CN202410324136 A CN 202410324136A CN 117934636 B CN117934636 B CN 117934636B
Authority
CN
China
Prior art keywords
depth camera
depth
frame
coordinates
imu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410324136.1A
Other languages
English (en)
Other versions
CN117934636A (zh
Inventor
梁天一
李昊燃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Open University of Jiangsu City Vocational College
Original Assignee
Jiangsu Open University of Jiangsu City Vocational College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Open University of Jiangsu City Vocational College filed Critical Jiangsu Open University of Jiangsu City Vocational College
Priority to CN202410324136.1A priority Critical patent/CN117934636B/zh
Publication of CN117934636A publication Critical patent/CN117934636A/zh
Application granted granted Critical
Publication of CN117934636B publication Critical patent/CN117934636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种多深度相机动态外参标定方法及其装置，属于深度相机外参标定的技术领域，方法包括获取多个深度相机在静止状态下的初始外参；对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息；利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息；将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿；根据初始外参和每一深度相机在每一帧的最优位姿，将多个深度相机的视角和位置转换至同一坐标系，实现更广泛的视野和更准确的运动动作捕捉，不仅解决了单个相机视野受限的问题，也极大地提升了对动态目标的捕捉能力。

Description

一种多深度相机动态外参标定方法及其装置
技术领域
本发明属于深度相机外参标定的技术领域，具体涉及一种多深度相机动态外参标定方法及其装置。
背景技术
在三维重建和动作捕捉技术领域，RGB-D相机起着重要的作用。RGB-D相机不仅捕捉常规的RGB（红绿蓝）图像，还能同时获取深度（D）信息，这使得它们在捕捉丰富的场景信息方面特别有效。
在动作捕捉和三维重建的应用场景中，传统的RGB相机由于缺乏深度信息，无法有效地捕捉场景的三维结构。RGB-D相机通过提供深度信息，使得在同一时刻由多个相机捕捉的数据可以用于计算相机间的外参，进而实现每一帧点云的实时拼接，这对于精确的三维重建和动作捕捉至关重要。
然而，现阶段的RGB-D相机还不成熟，由于成本和技术限制，RGB-D相机的视场角太小，对动态目标做捕捉的时候容易丢失视野；在动作捕捉等场景中，目标对象（如人体）容易移出相机的视野，导致信息丢失或追踪中断；现有的云台系统虽可用于相机定向控制，如摄影师用的云台稳定系统，但是RGB-D相机的动态跟踪，尤其是多RGB-D相机的联合动态跟踪，并未将云台系统与深度相机的紧密集成进行优化，且多云台对应多深度相机的联合外参标定后的联合数据处理更是一片空白，导致在动态场景下的应用受限。
在现有发明专利CN202111007629中，提到了云台坐标系和相机坐标系在实际中并不完全重合，相机的光心也难以确定，甚至在现实生活中完全无法测量光心，且云台旋转的两轴无法完全正交，所以如果纯用云台返回的刻度值来实现外参标定，误差会很大，同时，为了克服这个问题，在该发明专利中也提出了一种方法，即根据云台返回的俯仰轴和偏航轴得到的数据求出外参，作为预测数据，结合两台RGB相机同时控制点P，从图像坐标变换到相机坐标，变换得到的外参矩阵，作为观测数据，然后建立起观测方程，最后使用卡尔曼滤波的方法得到一个比观测数据和预测数据更优的最优解。
但是，这种方法需要两台RGB相机始终能同时看见重合点P，另外，该方案没有用于深度信息，导致精度会相对较低。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种多深度相机动态外参标定方法及其装置，能够提供更广泛的视野且同时具备更高效的动态场景范围追踪能力。
本发明提供了如下的技术方案：
第一方面，提供了一种多深度相机动态外参标定方法，包括：
获取多个深度相机在静止状态下的初始外参，所述初始外参用于反映静止状态下深度相机在世界坐标下的位姿；
获取多个深度相机在运动过程中每一帧的RGB图、深度图和IMU数据；
对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息；
利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息；
将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿；
根据初始外参和每一深度相机在每一帧的最优位姿，将多个深度相机的视角和位置转换至同一坐标系，实现多个深度相机之间的动态外参标定。
优选地，所述对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息包括：
获取两帧RGB图的FAST特征点，以及生成对应FAST特征点的BRIEF描述子；
通过对BRIEF描述子采用特征匹配的方式，确定两帧RGB图的匹配特征点对；
获取两帧深度图中匹配特征点对分别对应的深度信息；
根据两帧深度图中匹配特征点对分别对应的深度信息，利用EPnP算法确定深度相机在每一帧的第一位姿信息。
优选地，所述获取两帧RGB图的FAST特征点，以及生成对应FAST特征点的BRIEF描述子包括：
将两帧RGB图像分别转化为灰度图像；
利用FAST算法分别确定两帧灰度图像的特征点，并确定特征点的方向信息；
基于特征点的方向信息，利用ORB算法生成每个特征点的BRIEF描述子；
所述确定特征点的方向信息包括：
在灰度图像的局部区域中，定义一个以特征点为几何中心的图像块；
以像素点的灰度值为权重，确定图像块的质心；
连接图像块的特征点和质心，形成方向向量，并确定方向向量相对水平方向的夹角，特征点的方向向量和方向向量相对水平方向的夹角为特征点的方向信息；
所述图像块的质心为：
所述方向向量相对水平方向的夹角为：
其中，为图像块领域中所有的像素点的灰度值累积之和，为在y方向上的灰 度值累积之和，为在x方向上的灰度值累积之和。
优选地，所述根据两帧深度图中匹配特征点对分别对应的深度信息，利用EPnP算法确定深度相机在每一帧的第一位姿信息中，
深度相机第一位姿信息的旋转矩阵为：
其中，为第一矩阵经过SVD分解后的第一列正交矩阵，为第一矩阵经过 SVD分解后的第二列正交矩阵；
深度相机第一位姿信息的平移矩阵为：
其中，为世界坐标系下所有参考点的重心坐标，为图像坐标系下所有参考点 的重心坐标；
所述第一矩阵H为：
其中，为世界坐标系所有参考点去重心后的矩阵，为B的转置矩阵，B为图像 坐标系下中所有参考点去重心后的矩阵；
所述世界坐标系所有参考点去重心后的矩阵为：
其中，为的转置矩阵，为世界坐标系第n个参考点的坐标；为的转 置矩阵，为世界坐标系第1个参考点的坐标，为的转置矩阵；
所述图像坐标系下中所有参考点去重心后的矩阵B为：
其中，为 的转置矩阵，为图像坐标系下第1个参考点的坐标，为的 转置矩阵，为图像坐标系下第n个参考点的坐标，为的转置矩阵；
世界坐标系下所有参考点的重心坐标为：
其中，n为参考点的总个数，为世界坐标系第i个参考点的坐标;
图像坐标系下所有参考点的重心坐标为：
其中，为图像坐标系下第i个参考点的坐标;
世界坐标系第i个参考点的坐标为：
其中，为齐次重心坐标，为世界坐标系下第j个控制点的坐标；
其中，为图像坐标系下第j个控制点的坐标；
世界坐标系下第j个控制点的坐标和图像坐标系下第j个控制点的坐标通过特征点的深度信息和特征点的图像坐标计算获得。
优选地，所述利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息中：
获取在两帧RGB图像对应时间段内深度相机的IMU数据；
根据深度相机的IMU数据，利用IMU预积分测量模型确定深度相机的第二位姿信息；
所述深度相机的IMU数据包括深度相机的角速度和加速度；
所述根据深度相机的IMU数据，利用IMU预积分测量模型确定深度相机的第二位姿信息中：
深度相机第二位姿信息包括旋转的预积分测量数值、位置增量的预积分测量数值和速度增量的预积分测量数值；
所述旋转的预积分测量数值为：
其中，为IMU坐标下第i帧深度相机旋转矩阵的转置矩阵，为IMU坐标下第j帧 深度相机的旋转矩阵，为旋转测量噪声；
所述位置增量的预积分测量数值为：
其中，为IMU坐标下第i帧深度相机的位置，为IMU坐标下第j帧深度相机的位 置，为IMU坐标下第i帧深度相机的速度，为第j帧与第i帧所对应的时间的差值，为 重力加速度，为位置测量噪声；
所述速度增量的预积分测量数值为：
其中，为IMU坐标下第j帧深度相机的速度，为速度测量噪声。
优选地，IMU坐标下时刻深度相机的旋转矩阵，IMU坐标下时刻深度相 机的速度以及IMU坐标下时刻深度相机的位置为：
其中，为IMU坐标下t时刻深度相机的旋转矩阵，为t时刻测量的含噪 声角速度，为 t时刻测量的含噪声加速度，为t时刻角速度测量误差，为t时 刻加速度测量误差，为t时刻角速度测量仪的测量噪声，为t时刻加速度测量仪的 测量噪声，为时刻与t时刻的时间间隔，为IMU坐标下t时刻深度相机的速度，为IMU坐标下t时刻深度相机的位置；时刻为任一帧图像所对应的时刻。
优选地，所述将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿中，将第一位姿信息作为观测结果，将第二位姿信息作为预测结果，使用扩展卡尔曼方法进行融合，并将融合后的位姿作为深度相机在该帧的最优位姿。
优选地，所述获取多个深度相机在静止状态下的初始外参包括：
获取在静止状态下连续时间段内多个深度相机的RGB数据和深度数据；
根据深度相机的RGB数据，将多个深度相机的像素坐标转换为相机坐标；
逐帧对多个深度相机中两两相机进行ICP配准；
将多个深度相机的配准结果进行融合，获取每一个深度相机在静止状态下的初始外参。
第二方面，提供了一种多深度相机动态外参标定装置，包括：
第一获取模块，用于获取多个深度相机在静止状态下的初始外参，所述初始外参用于反映静止状态下深度相机在世界坐标下的位姿；
第二获取模块，用于获取多个深度相机在运动过程中每一帧的RGB图、深度图和IMU数据；
第一位姿确定模块，用于对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息；
第二位姿确定模块，用于利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息；
位姿融合模块，用于将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿；
标定模块，用于根据初始外参和每一深度相机在每一帧的最优位姿，将多个深度相机的视角和位置转换至同一坐标系，实现多个深度相机之间的动态外参标定。
优选地，所述第二位姿确定模块包括：
IMU数据获取单元，用于获取在两帧RGB图像对应时间段内深度相机的IMU数据；
IMU预积分单元，用于根据深度相机的IMU数据，利用IMU预积分测量模型确定深度相机的第二位姿信息；
IMU数据获取单元包括陀螺仪和加速度计；所述陀螺仪和加速度计均安装在深度相机上，所述深度相机一一对应的安装在云台上；所述陀螺仪用于检测深度相机的角速度，所述加速度计用于检测深度相机的加速度。
与现有技术相比，本发明的有益效果是：
充分利用深度相机的RGB信息、深度信息和IMU数据，通过外参标定算法精确同步和融合不同深度相机的数据，使其在深度相机运动中，动态的将多相机的数据同步到同一坐标系下，从而实现更广泛的视野和更准确的运动动作捕捉，且可以在室外无限空间下使用，从而不仅解决了单个相机视野受限的问题，也极大地提升了对动态目标的捕捉能力。
附图说明
图1是本发明的多深度相机动态外参标定方法的流程图；
图2是本发明的确定每一个深度相机在每一帧的第一位姿信息的流程图；
图3是本发明的多深度相机动态外参标定装置的结构框图；
图4是本发明的深度相机的结构示意图。
图中标记为：1为云台，2为深度相机，21为RGB相机，22为激光雷达发射器，23为激光雷达接收器。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一、
如图1所示，一种多深度相机动态外参标定方法，包括以下步骤：
S1：获取多个深度相机在静止状态下的初始外参，所述初始外参用于反映静止状态下深度相机在世界坐标下的位姿。
步骤S1包括：
S11：获取在静止状态下连续时间段内多个深度相机的RGB数据和深度数据。
S12：根据深度相机的RGB数据，将多个深度相机的像素坐标转换为相机坐标。
通过找到多个深度相机下的RGB数据当中特定的标定物的标定点的像素坐标，将多个深度相机的rgb的像素坐标转换到深度相机坐标系的三维坐标，RGB与深度相机的像素点映射，这步骤，在通常况下会有摄像机（深度相机）的生产厂商进行调整，因此具体调整的方法可以参考现有技术；当然依据现有技术也可以不使用标定物来获得深度相机的像素坐标。
S13：逐帧对多个深度相机中两两相机进行ICP配准。
S14：将多个深度相机的配准结果进行融合，获取每一个深度相机在静止状态下的初始外参。
获取每两个深度相机在静止状态下的初始外参，可以依据现有技术中其他的技术进行，具体地，如申请号为CN2022110324961，一种低成本适用少量重合区域的高精度多RGB-D相机的外参标定方法，或者是申请号为CN202210976978.6，一种少量重合区域无需特制标定物的多深度相机外参标定的方法，又或者是，申请号为CN202210473661.0，一种基于深度学习的目标检测算法和点云配准算法的深度相机外参标定方法。
S2：获取多个深度相机在运动过程中每一帧的RGB图、深度图和IMU数据。
S3：对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息。
如图2所示，步骤S3包括：
S31：获取两帧RGB图的FAST特征点，以及生成对应FAST特征点的BRIEF描述子。
S311：将两帧RGB图像分别转化为灰度图像。
S312：利用FAST算法分别确定两帧灰度图像的特征点，并确定特征点的方向信息。
FAST关键点检测算法是一种用于识别图像中角点的方法。其基本思想是检测像素与其周围像素在亮度上的显著差异。
所述利用FAST算法确定灰度图像的特征点包括：
N1：选择灰度图像中的一个像素点为检测点p，其亮度值为；
N2：设定检测点的亮度阈值T，（例如，亮度值的百分比，阈值具体的数值可以根 据先验知识获得）。
N3：在检测点p的周围选择一个半径为3的圆，并在该圆上选取16个等间隔的像素点；
N4：若检测点p的16个像素点中有连续的N个点的亮度大于或小于，则 认为检测点P为一个特征点；其中，N的常见取值为9、12或11，这里选取N为12；
N5：遍历图像中的所有像素点，以确定灰度图像的所有特征点。
FAST-12算法通过预测试快速排除非角点像素，检查邻域圆上特定四个像素的亮度，若三个以上符合阈值条件，则可能是角点。使用非极大值抑制保证角点分布均匀。FAST算法速度快，但分布不均、无方向性、存在尺度问题，ORB算法为解决方向性和尺度的弱点，引入尺度和旋转描述。
图像金字塔
通过构建图像金字塔实现尺度不变性，并用灰度质心法确定特征的旋转，图像金字塔通过逐层缩小原始图像以形成不同分辨率的图像集合，模拟从不同距离观察场景。这使得特征匹配算法可以在不同尺度的图像间找到匹配点，从而实现尺度不变性。例如，相机后退时，前一图像金字塔的高层与后一图像的低层之间可以进行匹配，以适应场景的视觉尺度变化。
旋转不变性
计算特征点附近图像灰度质心的操作是：以特征点为中心的图像块内，根据像素的灰度值作为权重来确定该块的灰度质心，从而实现旋转不变性，具体实现步骤如下：
E1：在灰度图像的局部区域中，定义一个以特征点为几何中心的图像块B；
图像块B的距为：
其中，，p和q无实际意义，为像素点的x坐标的位置，为像素点在y 坐标的位置，为表示坐标的像素点灰度值。
E2：以像素点的灰度值为权重，确定图像块的质心。
所述图像块的质心为：
E3：连接图像块的特征点和质心，形成方向向量，并确定方向向量相对水平方向的夹角，特征点的方向向量和方向向量相对水平方向的夹角为特征点的方向信息。
所述方向向量相对水平方向的夹角为：
其中，为图像块领域中所有的像素点的灰度值累积之和，为在y方向上的灰 度值累积之和，为在x方向上的灰度值累积之和。
其中，当，可以得到在垂直方向上的灰度值累积之和；
当时，，可以得到在水平方向上的灰度值累积之和；
当时，，可以得到图像领域中所有的像素点的灰度值 累积之和。
通过以上方法使得FAST角点具有尺度和旋转的描述，从而提升了其在不同图像之间表述的鲁棒性。
S313：基于特征点的方向信息，利用ORB算法生成每个特征点的BRIEF描述子。
在ORB算法在提取Oriented FAST关键点之后，使用改进的BRIEF特征描述子来进 行特征描述。BRIEF描述子是一个二进制向量，由多个0和1组成，这些0和1表示关键点周围 像素点的亮度比较结果。ORB中选择随机点对的方法经过测试，选择了一种效果较好的方 法，使得生成的描述子对图像旋转具有一定的不变性。这样的描述子不仅保留了图像关键 信息，还能有效减少计算和存储成本，其主要方法采用如下策略所示：都呈高斯分布，准则采样服从各向同性的同一高斯分布，其中，表示图像坐标，表示图像 块大小， 表示高斯分布的方差。
ORB算法通过计算关键点的方向并应用旋转来改进BRIEF描述子，通过结合关键点的方向信息，确保特征描述在图像旋转时保持一致性，增强了ORB算法在处理旋转图像时的鲁棒性。
S32：通过对BRIEF描述子采用特征匹配的方式，确定两帧RGB图的匹配特征点对。
针对一副图像当中的每一个特征点，都可以得到128的二进制编码，然后就可以对有相似或者重叠部分的两幅图像进行配准，特征匹配的主要判断方法是通过计算汉明距离得到。
ORB算法对每个特征点生成128位二进制编码后，使用汉明距离来匹配两幅图像中的特征点。若两个特征点的编码汉明距离小于64，它们不被认为是匹配的。最简单的匹配方法是暴力匹配，即比较每个特征点与其他所有特征点的描述子距离。对于大量特征点，快速近似最近邻（FLANN）算法更有效。汉明距离通过比较两个特征点描述子的每一位来计算，位不同则距离增加，距离越小表示特征点越相似。
S33：获取两帧深度图中匹配特征点对分别对应的深度信息。
S34：根据两帧深度图中匹配特征点对分别对应的深度信息，利用EPnP算法确定深度相机在每一帧的第一位姿信息。
通过两幅深度图像之间对应点的空间三维点信息和图像点坐标二维以及相机的内参进行epnp求解深度相机之间的位姿信息。
深度相机第一位姿信息的旋转矩阵为：
其中，为第一矩阵经过SVD分解后的第一列正交矩阵，为第一矩阵经过 SVD分解后的第二列正交矩阵；
深度相机第一位姿信息的平移矩阵为：
其中，为世界坐标系下所有参考点的重心坐标，为图像坐标系下所有参考点 的重心坐标；
所述第一矩阵H为：
其中，为世界坐标系所有参考点去重心后的矩阵，为B的转置矩阵，B为图像 坐标系下中所有参考点去重心后的矩阵；
所述世界坐标系所有参考点去重心后的矩阵为：
其中，为的转置矩阵，为世界坐标系第n个参考点的坐标；为的转 置矩阵，为世界坐标系第1个参考点的坐标，为的转置矩阵；
所述图像坐标系下中所有参考点去重心后的矩阵B为：
其中，为 的转置矩阵，为图像坐标系下第1个参考点的坐标，为的 转置矩阵，为图像坐标系下第n个参考点的坐标，为的转置矩阵；
世界坐标系下所有参考点的重心坐标为：
其中，n为参考点的总个数，为世界坐标系第i个参考点的坐标;
图像坐标系下所有参考点的重心坐标为：
其中，为图像坐标系下第i个参考点的坐标;
世界坐标系第i个参考点的坐标为：
其中，为齐次重心坐标，为世界坐标系下第j个控制点的坐标；
其中，为图像坐标系下第j个控制点的坐标。
世界坐标系下第j个控制点的坐标和图像坐标系下第j个控制点的坐标通过特征点的深度信息和特征点的图像坐标计算获得。
计算世界坐标系下第j个控制点的坐标和图像坐标系下第j个控制点的坐标具体为：
其中，和表示相机放缩的焦距，和示图像坐标的原点平移到像素坐标的 原点的偏移量，s表示skew参数，表示为图像点的比例因子。
其中，控制点参考框架中构造一个线性系统：
其中，为特征点的图像坐标，K为相机参数，为图像控制点， 可得如下形式：
由上式可知其中包含了两个独立的线性方程如下所示：
对n个参考点中的每一个都使用这两个方程，可以得到下面的线性方程组：
上述方程组中，四个控制点共12个未知变量，为的矩阵，因此，x属于M的 右零空间，为矩阵M的右奇异向量，可以通过求解的右零空间特征值得到如下所示：
为了找到正确的值，施加几何约束，假设相机坐标系控制点之间的距离等于在 世界坐标系中计算得到的距离，即如下所示：
因此，当时可得：
其中，表示特征向量的第i个特征向量。
计算得到之后，可以通过求解逆过程获得控制点的图像坐标系下第j个控制点 的坐标，同理可获得控制点的世界坐标系下第j个控制点的坐标。
S4：利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息。
S41：获取在两帧RGB图像对应时间段内深度相机的IMU数据；
S42：根据深度相机的IMU数据，利用IMU预积分测量模型确定深度相机的第二位姿信息。
深度相机的IMU数据包括深度相机的角速度和加速度；
深度相机第二位姿信息包括旋转的预积分测量数值、位置增量的预积分测量数值和速度增量的预积分测量数值；
步骤S42具体为：
所述旋转的预积分测量数值为：
其中，为IMU坐标下第i帧深度相机旋转矩阵的转置矩阵，为IMU坐标下第j帧 深度相机的旋转矩阵，为旋转测量噪声；
所述位置增量的预积分测量数值为：
其中，为IMU坐标下第i帧深度相机的位置，为IMU坐标下第j帧深度相机的位 置，为IMU坐标下第i帧深度相机的速度，为第j帧与第i帧所对应的时间的差值，为 重力加速度，为位置测量噪声；
所述速度增量的预积分测量数值为：
其中，为IMU坐标下第j帧深度相机的速度，为速度测量噪声。
IMU坐标下时刻深度相机的旋转矩阵，IMU坐标下时刻深度相机的速度以及IMU坐标下时刻深度相机的位置为：
其中，为IMU坐标下t时刻深度相机的旋转矩阵，为t时刻测量的含噪 声角速度， 为t时刻测量的含噪声加速度，为t时刻角速度测量误差，为t时 刻加速度测量误差，为t时刻角速度测量仪的测量噪声，为t时刻加速度测量仪的 测量噪声，为时刻与t时刻的时间间隔，为IMU坐标下t时刻深度相机的速度，为IMU坐标下t时刻深度相机的位置；时刻为任一帧图像所对应的时刻。
W表示世界坐标系，B表示位于惯性器件IMU的坐标系，
加速度计测量的数据噪声服从，陀螺仪测量的数据噪声服从，加速度计和陀螺仪的bias：，的导数服从如下所示：
在一些其他的实施例中，深度相机的第二位姿信息可以通过另外一种方式求解：
相机的初始外参M0为：
则旋转矩阵R0为：
假设我们的云台沿着X轴水平顺时针旋转了30度，则的计算公式为：
假设我们的云台沿着Y轴垂直顺时针旋转了30度，则的计算公式为：
假设我们的云台沿着Z轴偏航轴顺时针旋转了30度，则的计算公式为：
那么我们最终的R1的计算公式将变为
R1是可以解的，那么我们就得到了一组外参，我们把他叫做一组预测数据，以下会叫状态数据。
需要注意的是，现实中，云台的旋转会导致光心偏移，行业通常的做法是把云台体积做到尽可能小，从而忽略掉这个误差。
需要注意的是，仅通过云台中带度数反馈的电机是无法测量出平移矩阵的，但是通过现实测量各个电机中点沿着的轴臂到下一个电机的中点的长度得到的3个臂的长度，和度数信息相抵消，可以进行一定的光心偏移导致外参的平移矩阵结果变化的补偿，但是该方法在现实中几乎无法实施或测量，故没有太大的实用价值，故在本发明中，忽略掉这个误差。
需要注意的是，云台使用的伺服电机返回的刻度也是存在误差的这也会导致一些误差，这个误差在本方法中忽略。
需要注意的是：如果不结合下面提到的IMU和RGB、深度图数据的情况下，完全无法在云台整体的云台坐标系都发生了位移时求出平移矩阵的数据，故该组数据仅能得到旋转矩阵R1的数据，并且由于上面提到的三种可能导致误差的因素，这组位姿数据相对后面提到的IMU求出的外参数据和ORB-SLAM的方法求出的外参数据任何一种来说，可能都不太准确，因此使用此种方法算得的第二位姿信息不够精准。
S5：将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿。
具体地，将第一位姿信息作为观测结果，将第二位姿信息作为预测结果，使用扩展卡尔曼方法进行融合，并将融合后的位姿作为深度相机在该帧的最优位姿。
更具体地，使用扩展卡尔曼的方法进行数据融合，估计当前的位置、速度和位姿。
其中，是系统的状态向量，是第一位姿信息的矩阵， 表示系统的状态转 移矩阵，表示为系统噪声分配矩阵，表示为系统的量测矩阵；和分别表示系 统的过程噪声向量和观测噪声向量。
和分别表示系统的过程噪声向量和观测噪声向量满足以下公式：
其中，为过程噪声向量的非负定协方差矩阵，为观测噪声向量的对称 正定协方差矩阵，为克罗内克函数是一个：为时刻过程噪声向量：为 时刻观测噪声向量：k表示当前时刻，j 为过去到当前时刻。
克罗内克函数为：
通过第二位姿信息获得时刻的后验估计/>以及均方差矩阵/>，根据系统的状态方程对k时刻的状态/>做出IMU预测位姿，具体如下：
其中，为系统的状态转移矩阵；
计算IMU预测位姿的均方差矩阵，如下：
其中，为时刻的状态协方差矩阵，为的转置矩阵，过程 噪声向量的非负定协方差矩阵，系统噪声分配矩阵；
计算卡尔曼滤波增益：
其中，系统的量测矩阵，观测噪声向量的对称正定协方差矩阵；
对时刻的状态进行位姿估计：
其中，为k时刻下的状态量的先验估计值，是的后验估计值， 是预测的残差向量，表示量测预测误差中有状态估计相关的新信息，其含义表示利用新信 息，可以进行修正得到精度更高的后验估计位姿矩阵。
根据k时刻状态算出新的状态协方差矩阵，进行下一时刻的迭代：
将获得到的IMU数据后，通过预积分后由状态方程得到下一刻的预测值，相机得到的位姿为观测值，通过卡尔曼滤波之后，估计下一时刻IMU解算的初值，由IMU的预测值和误差状态信息得到后验估计将其进行反馈迭代，最终得到融合的位姿输出，从而最终获得最优位姿。
S6：根据初始外参和每一深度相机在每一帧的最优位姿，将多个深度相机的视角和位置转换至同一坐标系，实现多个深度相机之间的动态外参标定。
外参矩阵通常是一个4x4矩阵，这是一个齐次变换矩阵，用于描述相机的外参，外参的现实意义为，假设A为初始位置，要怎么样旋转、平移才能从初始位置移动到位置B，这里的AB位置可以是同一相机在不同的时间下的位置信息，可也可以是不同相机在同一时间的位置信息，一旦涉及到多相机的联合数据融合，就一定需要求出外参，外参矩阵分为3部分：
旋转矩阵R：这是一个3x3的矩阵，用于表示相机的旋转部分，描述相机的方向。通常由9个数值组成。
平移矩阵 T：这是一个3x1的列向量，用于表示相机的平移部分，描述相机的位置。包含3个数值。
齐次坐标 [0,0,0,1]：这是一个1x4的行向量，通常用于齐次坐标变换。包含4个数值，其中第四个数值始终为1。
实施例二、
如图3所示，提供一种多深度相机动态外参标定装置，包括：
第一获取模块100，用于获取多个深度相机在静止状态下的初始外参，所述初始外参用于反映静止状态下深度相机在世界坐标下的位姿；
第二获取模块200，用于获取多个深度相机在运动过程中每一帧的RGB图、深度图和IMU数据；
第一位姿确定模块300，用于对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息；
第二位姿确定模块400，用于利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息；
位姿融合模块500，用于将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿；
标定模块600，用于根据初始外参和每一深度相机在每一帧的最优位姿，将多个深度相机的视角和位置转换至同一坐标系，实现多个深度相机之间的动态外参标定。
其中，所述第二位姿确定模块400包括：
IMU数据获取单元401，用于获取在两帧RGB图像对应时间段内深度相机的IMU数据；
IMU预积分单元402，用于根据深度相机的IMU数据，利用IMU预积分测量模型确定深度相机的第二位姿信息；
如图4所示，IMU数据获取单元401包括陀螺仪和加速度计；所述陀螺仪和加速度计（图中未表示）均安装在深度相机上，陀螺仪和加速度计可以是传感器的形式，陀螺仪和加速度计的安装方式参考现有技术即可，当然也可以是自带陀螺仪和加速度计的云台，只要实现陀螺仪和加速度计能够检测深度相机的角速度和加速度即可。
所述深度相机2一一对应的安装在云台1上；所述陀螺仪用于检测深度相机的角速度，所述加速度计用于检测深度相机的加速度，深度相机2包括RGB相机21、激光雷达发射器22和激光雷达接收器23，RGB相机21、激光雷达发射器22和激光雷达接收器23并排安装且均固定在支撑结构上，支撑结构安装在云台1上，在云台1的作用下，能够使深度相机具备更广阔的视野，以及动态捕捉能力。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统、设备和存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种多深度相机动态外参标定方法，其特征在于，包括：
获取多个深度相机在静止状态下的初始外参，所述初始外参用于反映静止状态下深度相机在世界坐标下的位姿；
获取多个深度相机在运动过程中每一帧的RGB图、深度图和IMU数据；
对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息；
利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息；
将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿；
根据初始外参和每一深度相机在每一帧的最优位姿，将多个深度相机的视角和位置转换至同一坐标系，实现多个深度相机之间的动态外参标定；
所述对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息包括：
获取两帧RGB图的FAST特征点，以及生成对应FAST特征点的BRIEF描述子；
通过对BRIEF描述子采用特征匹配的方式，确定两帧RGB图的匹配特征点对；
获取两帧深度图中匹配特征点对分别对应的深度信息；
根据两帧深度图中匹配特征点对分别对应的深度信息，利用EPnP算法确定深度相机在每一帧的第一位姿信息；
所述利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息中：
获取在两帧RGB图像对应时间段内深度相机的IMU数据；
根据深度相机的IMU数据，利用IMU预积分测量模型确定深度相机的第二位姿信息；
所述深度相机的IMU数据包括深度相机的角速度和加速度；
所述根据深度相机的IMU数据，利用IMU预积分测量模型确定深度相机的第二位姿信息中：
深度相机第二位姿信息包括旋转的预积分测量数值、位置增量的预积分测量数值和速度增量的预积分测量数值；
所述旋转的预积分测量数值为：
；
其中，为IMU坐标下第i帧深度相机旋转矩阵的转置矩阵，/>为IMU坐标下第j帧深度相机的旋转矩阵，/>为旋转测量噪声；
所述位置增量的预积分测量数值为：
；
其中，为IMU坐标下第i帧深度相机的位置，/>为IMU坐标下第j帧深度相机的位置，/>为IMU坐标下第i帧深度相机的速度，/>为第j帧与第i帧所对应的时间的差值，/>为重力加速度，/>为位置测量噪声；
所述速度增量的预积分测量数值为：
；
其中，为IMU坐标下第j帧深度相机的速度，/>为速度测量噪声；
所述将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿中，将第一位姿信息作为观测结果，将第二位姿信息作为预测结果，使用扩展卡尔曼方法进行融合，并将融合后的位姿作为深度相机在该帧的最优位姿。
2.根据权利要求1所述的多深度相机动态外参标定方法，其特征在于，所述获取两帧RGB图的FAST特征点，以及生成对应FAST特征点的BRIEF描述子包括：
将两帧RGB图像分别转化为灰度图像；
利用FAST算法分别确定两帧灰度图像的特征点，并确定特征点的方向信息；
基于特征点的方向信息，利用ORB算法生成每个特征点的BRIEF描述子；
所述确定特征点的方向信息包括：
在灰度图像的局部区域中，定义一个以特征点为几何中心的图像块；
以像素点的灰度值为权重，确定图像块的质心；
连接图像块的特征点和质心，形成方向向量，并确定方向向量相对水平方向的夹角，特征点的方向向量和方向向量相对水平方向的夹角为特征点的方向信息；
所述图像块的质心为：
；
所述方向向量相对水平方向的夹角/>为：
；
其中，为图像块领域中所有的像素点的灰度值累积之和，/>为在y方向上的灰度值累积之和，/>为在x方向上的灰度值累积之和。
3.根据权利要求1所述的多深度相机动态外参标定方法，其特征在于，所述根据两帧深度图中匹配特征点对分别对应的深度信息，利用EPnP算法确定深度相机在每一帧的第一位姿信息中，
深度相机第一位姿信息的旋转矩阵为：
；
其中，为第一矩阵/>经过SVD分解后的第一列正交矩阵，/>为第一矩阵/>经过SVD分解后的第二列正交矩阵；
深度相机第一位姿信息的平移矩阵为：
；
其中，为世界坐标系下所有参考点的重心坐标，/>为图像坐标系下所有参考点的重心坐标；
所述第一矩阵H为：
；
其中，为世界坐标系所有参考点去重心后的矩阵，/>为B的转置矩阵，B为图像坐标系下中所有参考点去重心后的矩阵；
所述世界坐标系所有参考点去重心后的矩阵为：
；
其中，为/>的转置矩阵，/>为世界坐标系第n个参考点的坐标；/>为/>的转置矩阵，/>为世界坐标系第1个参考点的坐标，/>为/>的转置矩阵；
所述图像坐标系下中所有参考点去重心后的矩阵B为：
；
其中，为 />的转置矩阵，/>为图像坐标系下第1个参考点的坐标，/>为/>的转置矩阵，/>为图像坐标系下第n个参考点的坐标，/>为/>的转置矩阵；
世界坐标系下所有参考点的重心坐标为：
；
其中，n为参考点的总个数，为世界坐标系第i个参考点的坐标;
图像坐标系下所有参考点的重心坐标为：
；
其中，为图像坐标系下第i个参考点的坐标;
世界坐标系第i个参考点的坐标为：
；
其中，为齐次重心坐标，/>为世界坐标系下第j个控制点的坐标；
；
其中，为图像坐标系下第j个控制点的坐标；
世界坐标系下第j个控制点的坐标和图像坐标系下第j个控制点的坐标通过特征点的深度信息和特征点的图像坐标计算获得。
4.根据权利要求1所述的多深度相机动态外参标定方法，其特征在于，IMU坐标下时刻深度相机的旋转矩阵/>，IMU坐标下/>时刻深度相机的速度/>以及IMU坐标下/>时刻深度相机的位置/>为：
；
其中，为IMU坐标下t时刻深度相机的旋转矩阵，/>为t时刻测量的含噪声角速度，/> 为t时刻测量的含噪声加速度，/>为t时刻角速度测量误差，/>为t时刻加速度测量误差，/>为t时刻角速度测量仪的测量噪声，/>为t时刻加速度测量仪的测量噪声，/>为/>时刻与t时刻的时间间隔，/>为IMU坐标下t时刻深度相机的速度，/>为IMU坐标下t时刻深度相机的位置；/>时刻为任一帧图像所对应的时刻。
5.根据权利要求1所述的多深度相机动态外参标定方法，其特征在于，所述获取多个深度相机在静止状态下的初始外参包括：
获取在静止状态下连续时间段内多个深度相机的RGB数据和深度数据；
根据深度相机的RGB数据，将多个深度相机的像素坐标转换为相机坐标；
逐帧对多个深度相机中两两相机进行ICP配准；
将多个深度相机的配准结果进行融合，获取每一个深度相机在静止状态下的初始外参。
6.一种多深度相机动态外参标定装置，其特征在于，包括：
第一获取模块，用于获取多个深度相机在静止状态下的初始外参，所述初始外参用于反映静止状态下深度相机在世界坐标下的位姿；
第二获取模块，用于获取多个深度相机在运动过程中每一帧的RGB图、深度图和IMU数据；
第一位姿确定模块，用于对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息；
第二位姿确定模块，用于利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息；
位姿融合模块，用于将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿；
标定模块，用于根据初始外参和每一深度相机在每一帧的最优位姿，将多个深度相机的视角和位置转换至同一坐标系，实现多个深度相机之间的动态外参标定；
所述对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息包括：
获取两帧RGB图的FAST特征点，以及生成对应FAST特征点的BRIEF描述子；
通过对BRIEF描述子采用特征匹配的方式，确定两帧RGB图的匹配特征点对；
获取两帧深度图中匹配特征点对分别对应的深度信息；
根据两帧深度图中匹配特征点对分别对应的深度信息，利用EPnP算法确定深度相机在每一帧的第一位姿信息；
所述利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息中：
获取在两帧RGB图像对应时间段内深度相机的IMU数据；
根据深度相机的IMU数据，利用IMU预积分测量模型确定深度相机的第二位姿信息；
所述深度相机的IMU数据包括深度相机的角速度和加速度；
所述根据深度相机的IMU数据，利用IMU预积分测量模型确定深度相机的第二位姿信息中：
深度相机第二位姿信息包括旋转的预积分测量数值、位置增量的预积分测量数值和速度增量的预积分测量数值；
所述旋转的预积分测量数值为：
；
其中，为IMU坐标下第i帧深度相机旋转矩阵的转置矩阵，/>为IMU坐标下第j帧深度相机的旋转矩阵，/>为旋转测量噪声；
所述位置增量的预积分测量数值为：
；
其中，为IMU坐标下第i帧深度相机的位置，/>为IMU坐标下第j帧深度相机的位置，/>为IMU坐标下第i帧深度相机的速度，/>为第j帧与第i帧所对应的时间的差值，/>为重力加速度，/>为位置测量噪声；
所述速度增量的预积分测量数值为：
；
其中，为IMU坐标下第j帧深度相机的速度，/>为速度测量噪声；
所述将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿中，将第一位姿信息作为观测结果，将第二位姿信息作为预测结果，使用扩展卡尔曼方法进行融合，并将融合后的位姿作为深度相机在该帧的最优位姿。
7.根据权利要求6所述的多深度相机动态外参标定装置，其特征在于，所述第二位姿确定模块包括：
IMU数据获取单元，用于获取在两帧RGB图像对应时间段内深度相机的IMU数据；
IMU预积分单元，用于根据深度相机的IMU数据，利用IMU预积分测量模型确定深度相机的第二位姿信息；
IMU数据获取单元包括陀螺仪和加速度计；所述陀螺仪和加速度计均安装在深度相机上，所述深度相机一一对应的安装在云台上；所述陀螺仪用于检测深度相机的角速度，所述加速度计用于检测深度相机的加速度。
CN202410324136.1A 2024-03-21 2024-03-21 一种多深度相机动态外参标定方法及其装置 Active CN117934636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410324136.1A CN117934636B (zh) 2024-03-21 2024-03-21 一种多深度相机动态外参标定方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410324136.1A CN117934636B (zh) 2024-03-21 2024-03-21 一种多深度相机动态外参标定方法及其装置

Publications (2)

Publication Number Publication Date
CN117934636A CN117934636A (zh) 2024-04-26
CN117934636B true CN117934636B (zh) 2024-06-14

Family

ID=90756050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410324136.1A Active CN117934636B (zh) 2024-03-21 2024-03-21 一种多深度相机动态外参标定方法及其装置

Country Status (1)

Country Link
CN (1) CN117934636B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111156998A (zh) * 2019-12-26 2020-05-15 华南理工大学 一种基于rgb-d相机与imu信息融合的移动机器人定位方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111156998A (zh) * 2019-12-26 2020-05-15 华南理工大学 一种基于rgb-d相机与imu信息融合的移动机器人定位方法

Also Published As

Publication number Publication date
CN117934636A (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN110296691B (zh) 融合imu标定的双目立体视觉测量方法与系统
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
Zhang et al. A robust and rapid camera calibration method by one captured image
CN107729893B (zh) 一种合模机的视觉定位方法、系统和存储介质
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
CN109297436B (zh) 双目线激光立体测量基准标定方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN111678521B (zh) 一种移动机器人定位精度的评估方法和系统
CN107589069B (zh) 一种物体碰撞恢复系数的非接触式测量方法
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
Koryttsev et al. Practical aspects of range determination and tracking of small drones by their video observation
CN113763479B (zh) 一种折反射全景相机与imu传感器的标定方法
CN112985259B (zh) 基于多目视觉的目标定位方法及系统
CN106871900A (zh) 船舶磁场动态检测中图像匹配定位方法
CN111915685B (zh) 一种变焦摄像机标定方法
CN115717867A (zh) 一种基于机载双相机和目标追踪的桥梁变形测量方法
CN109035343A (zh) 一种基于监控相机的楼层相对位移测量方法
CN114820725A (zh) 目标显示方法、装置、电子设备及存储介质
CN112712566B (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法
TW565736B (en) Method for determining the optical parameters of a camera
CN112419427A (zh) 用于提高飞行时间相机精度的方法
CN112525326A (zh) 一种无标记结构三维振动的计算机视觉测量方法
CN117197241A (zh) 一种基于多目视觉的机器人末端绝对位姿高精度跟踪方法
CN117934636B (zh) 一种多深度相机动态外参标定方法及其装置
Gao et al. Development of a high-speed videogrammetric measurement system with application in large-scale shaking table test

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant