CN112179357B - 基于单目相机的平面运动目标视觉导航方法及系统 - Google Patents

基于单目相机的平面运动目标视觉导航方法及系统 Download PDF

Info

Publication number
CN112179357B
CN112179357B CN202011022982.6A CN202011022982A CN112179357B CN 112179357 B CN112179357 B CN 112179357B CN 202011022982 A CN202011022982 A CN 202011022982A CN 112179357 B CN112179357 B CN 112179357B
Authority
CN
China
Prior art keywords
coordinate system
point
moving target
pose
optical center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011022982.6A
Other languages
English (en)
Other versions
CN112179357A (zh
Inventor
孙祥一
余英建
关棒磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202011022982.6A priority Critical patent/CN112179357B/zh
Publication of CN112179357A publication Critical patent/CN112179357A/zh
Application granted granted Critical
Publication of CN112179357B publication Critical patent/CN112179357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

本发明基于单目相机的平面运动目标视觉导航方法及系统，包括建立世界坐标系、相机坐标系、运动目标坐标系、像片平面坐标系；单目相机在运动目标前行过程中通过实时获取控制点以及控制点落在像平面物理坐标系上的像点对形成2D‑3D点对；将所述2D‑3D点对根据坐标系进行坐标转换,求解运动目标位姿；根据所述运动目标位姿辅助运动目标前行。本发明采用空间几何建模的思想方法、RANSAC算法，将相机光心的所有可能位置的集合建模为空间的以控制点为圆心、以控制点到光心距离为半径的圆，将共线方程中的未知位置参数和姿态参数解耦后分别求解，同时使用RANSAC算法剔除野值，是一种具有高速度、高鲁棒性和高精度实时视觉导航方法。

Description

基于单目相机的平面运动目标视觉导航方法及系统
技术领域
本发明属于视觉导航领域，尤其涉及一种基于单目相机的平面运动目标视觉导航方法及系统。
背景技术
视觉导航方法以其非接触、高精度、低成本等特性越来越受关注，相比于激光、雷达导航方法，视觉导航信息获取阶段只使用光学相机获取图像而不需要主动向目标发射激光、电磁波并接收返回的信息；相比于全球卫星导航系统导航而言，视觉导航不受卫星信号覆盖范围的限制，具有十分强的抗干扰性能，而无线电和GPS信号易受干扰和阻塞，视觉导航可以在室内甚至地下进行，且不需要建立卫星导航系统和研发信号接收装置，成本十分低廉。
平面运动在无人装置应用中是一个重要且频繁出现场景，平面运动目标的视觉导航是视觉导航的一个重要分支，它通过使用较少控制点或者特征点及其对应像点组成的点对，进行相机位姿的实时估计，再根据相机和运动目标的安装关系进一步实时估计运动目标的位置和姿态。在视觉里程计、机器人和无人调运中具有十分重要的应用价值。
目前的基于两对2D-3D点对的绝对位姿估计方法，由于其计算复杂，位姿估计时间长，难以满足实时性要求；还有的方法，由于其没有考虑相机光心和运动目标间的相对位姿，将运动目标的中心等同于光心且相机光轴于运动所在平面平行这种比较理想情况下，因此在实际应用中导致误差较大，定位不准确。
发明内容
本发明要解决的技术问题是怎样在考虑相机光心和运动目标间的相对位姿情况下，快速，实时的进行运动目标的视觉导航，提出了一种基于单目相机的平面运动目标视觉导航方法及系统。
为解决该问题，本发明所采用的技术方案是：
一种基于单目相机的平面运动目标视觉导航方法，包括以下步骤：
步骤1：构建世界坐标系W-XYZ、运动目标坐标系为B-XB YB ZB、相机坐标系C-XC YCZC、像平面物理坐标系
Figure BDA0002701262800000011
图像像素坐标系I-xy，所述单目相机安装在运动目标上，运动目标所在的运动平面为X-Y平面，运动目标坐标系的原点B为运动目标的中心，原点B在世界坐标系中的坐标为tb＝[tx，ty，tz]，所述像平面物理坐标系
Figure BDA0002701262800000021
的原点O为单目相机光轴CZC与像平面的交点，
Figure BDA0002701262800000022
轴和
Figure BDA0002701262800000023
轴方向与相机坐标系一致，图像像素坐标系I-xy，以单目相机所拍摄像片视角方向为
Figure BDA0002701262800000024
的左上角I为原点，x轴和y轴方向与像平面物理坐标系
Figure BDA0002701262800000025
一致；
步骤2：所述单目相机在运动目标前行过程中通过实时获取控制点以及控制点落在像平面物理坐标系上的像点对形成2D-3D点对；
步骤3：将所述2D-3D点对根据步骤1中的坐标系进行坐标转换,求解运动目标位姿；
步骤4：根据所述运动目标位姿辅助运动目标前行。
进一步地，获取2D-3D点对的方法是：
(1)在运动目标活动场景中的控制点上均布设有编码合作标志；
(2)运用模板匹配的方法，提取与控制点所对应的像点；
(3)剔除干扰点，得到2D-3D点对。
进一步地，步骤1中各坐标系之间的关系为：
1)控制点在相机坐标系C-XCYCZC和运动目标坐标系B-XBYBZB中的坐标上的转换关系为：
Figure BDA0002701262800000026
其中
Figure BDA0002701262800000027
为控制点在相机坐标系中的坐标，
Figure BDA0002701262800000028
为控制点在运动目标坐标系中的坐标，tc＝(txc，tyc，tzc)为相机光心C在运动目标坐标系下的坐标；RC为相机坐标系C-XCYCZC相对于运动目标坐标系B-XBYBZB的旋转矩阵
Figure BDA0002701262800000029
角度α为相机坐标系相对于运动目标坐标系的俯仰角；
2)控制点在世界坐标系W-XYZ和运动目标坐标系B-XBYBZB中坐标变换关系为
Figure BDA0002701262800000031
其中
Figure BDA0002701262800000032
分别为控制点在世界坐标系W-XYZ中的坐标，tb＝[tx，ty，tz]为运动目标在世界坐标系中的坐标，
Figure BDA0002701262800000033
为运动目标坐标系相对于世界坐标系的旋转矩阵，θ为运动目标的偏航角；
3)设相机的焦距表示为f，像元尺寸表示为(dx，dy)，相机内参数矩阵
Figure BDA0002701262800000034
其中
Figure BDA0002701262800000035
为等效焦距，(Cx，Cy)为像主点坐标；
4)建立共线方程
Figure BDA0002701262800000036
其中λ为比例系数，
Figure BDA0002701262800000037
为像点齐次坐标，
Figure BDA0002701262800000038
为对应点的世界坐标，u、v、w为中间变量。
进一步地，步骤3中求解运动目标位姿的方法是：
当2D-3D点对为2组时，求解运动目标位姿的方法是：
步骤3.1：求相机光心C到控制点水平距离D；
C为光心，C′为C在世界坐标系X-Y平面的投影，像点p和控制点P是一组2D-3D点对，光轴与水平面的夹角为α，像点p(x，y)的像平面物理坐标系
Figure BDA0002701262800000039
上的坐标
Figure BDA00027012628000000310
满足
Figure BDA00027012628000000311
Figure BDA00027012628000000312
其中(dx，dy)为像元尺寸，(Cx，Cy)为像主点坐标。py为像点在
Figure BDA00027012628000000313
轴上的投影点，Py为与py对应的物方点。光轴与Cpy的夹角为γ，CPy与C′Py的夹角为β，C′Py⊥PPy。
根据小孔成像原理和相似三角形理论，有
Figure BDA0002701262800000041
β＝α-γ， (8)
Figure BDA0002701262800000042
Figure BDA0002701262800000043
Figure BDA0002701262800000044
Figure BDA0002701262800000045
Figure BDA0002701262800000046
f为焦距，|C′C|等于相机光心高度HC≡tz+tzc。联立方程(7)-(13)，解得光心C到控制点的水平距离D＝|C′P|；
步骤3.2：根据所述光心C到控制点的水平距离D＝|C′P|求光心C的坐标；取两个控制点P1(X1，Y1，Z1)，P2(X2，Y2，Z2)，列出方程
Figure BDA0002701262800000047
Figure BDA0002701262800000048
Z＝HC.
将方程化简，得
Figure BDA0002701262800000049
Figure BDA00027012628000000410
Z＝HC， (16)
其中(X，Y)为光心在世界坐标系W-XYZ中的水平坐标，Di(i＝1，2)为光心到控制点的水平距离，联立方程(14)-(16)，求解出光心C在世界坐标系W-XYZ中的坐标(XC0，YC0，ZC0)。
步骤3.3：求解运动目标的偏航角θ并剔除光心坐标解的假根；
分别将两组光心坐标(XC01，YC01，ZC01)，(XC02，YC02，ZC02)代入方程(17)
Figure BDA0002701262800000051
每一个2D-3D点对分别可以计算出一个偏航角θ。当光心坐标取值为真根时，这两个偏航角相差距离要小于光心坐标取值为假根时，故据此可以剔除掉假根。偏航角θ的最终估计结果取光心坐标取值为真根时2个点对求解偏航角θi(i＝1，2)的平均值，即θ＝(θ1+θ2)/2。
步骤3.4：求解运动目标的世界坐标(tx，ty)
根据等式(2)可以计算得到运动目标在世界坐标系中坐标
Figure BDA0002701262800000052
其中
Figure BDA0002701262800000053
为光心在世界坐标系中的坐标，
Figure BDA0002701262800000054
为运动目标坐标系与世界坐标系之间的旋转矩阵，
Figure BDA0002701262800000055
为相机光心在运动目标坐标系中的坐标。
进一步地，当2D-3D点对数大于2时，求解运动目标位姿的方法是：
步骤3.1’：RANSAC算法剔除野值，得到内点集
在RANSAC算法中，随机采样2组点对，计算(tx，ty，θ)，通过公式(4)将每个解合成相应的共线方程，再计算像点重投影误差，通过重投影误差与给定阈值的大小关系来确定能够有效求解(tx，ty，θ)的内点，迭代多次获得最大内点集合。
步骤3.2’：遍历内点集取任意2点对组合求解目标位姿；
遍历内点集中的所有2点组合，分别求解目标位姿参数(txi,tyi,θi)(i＝1,2...sn)，sn为组合总数目。当内点集中点对数为m时，
Figure BDA0002701262800000056
Figure BDA0002701262800000057
为m个物体中任取2个物体的组合数。
步骤3.3’：取均值作为位姿估计值
取步骤3.2中所求目标位姿参数的平均值作为最终估计结果，即
Figure BDA0002701262800000061
进一步地，当2D-3D点对数为1时，求解运动目标位姿的方法是：取上一时刻的偏航角θ作为当前时刻的偏航角，则共线方程(4)的方程的未知参数只有(tx，ty)且次数为一次，直接线性求解未知参数(tx，ty)，输出运动目标的位姿参数(tx，ty，θ)。
当出现短时间内运动目标视野中没有有效控制点时，运动目标的位姿参数不更新；
当单目相机看不到控制点的持续时间超过一个阈值时，发出警报信息。
本发明还提供了一种基于单目相机的平面运动目标视觉导航系统，包括
输入模块：通过单目相机实时采集运动目标前方图像并传入到位姿计算模块中；
位姿计算模块：通过对输入模块所采集的运动目标前方图像进行实时处理，提取所述前方图像的相片中与控制点相对应的像点得到2D-3D点对，通过位姿求解得到运动目标的位姿信息并输出给控制模块；
输入模块：通过单目相机实时采集运动目标前方图像并传入到位姿计算模块中；
位姿计算模块：通过对输入模块所采集的运动目标前方图像进行实时处理，提取所述前方图像的相片中与控制点相对应的像点得到2D-3D点对，通过位姿求解得到运动目标的位姿信息；
输出与警报模块：用于将位姿计算模块求解得到的位姿信息输出或发出警报，同时将位姿信息传递给控制模块；
控制模块，根据输出与警报模块所输出的运动目标位姿信息辅助运动目标前行。
进一步地，所述位姿计算模块包括
控制点提取单元，用于提取输入模块所采集的运动目标前方图像中的控制点信息；
控制点-像点匹配单元，用于将输入模块所采集的运动目标前方图像中的控制点信息即像点与控制点进行匹配，得到2D-3D点对；
2D-3D点对存储单元，用于存储控制点-像点匹配单元得到的2D-3D点对；
位姿求解单元，用于对2D-3D点对存储单元中的2D-3D点对进行位姿求解得到运动目标的位姿信息。
本发明还提供了一种计算机可读介质，存储有基于单目相机的平面运动目标视觉导航方法的计算机程序，所述计算机程序被处理器执行以实现前面所述的基于单目相机的平面运动目标视觉导航方法的步骤。
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有基于单目相机的平面运动目标视觉导航方法的计算机程序，所述处理器执行所述计算机程序时实现前面所述的基于单目相机的平面运动目标视觉导航方法的步骤。
与现有技术相比，本发明所取得的有益效果是：
本发明基于单目相机的平面运动目标视觉导航方法及系统，1)采用空间几何建模的思想方法，将相机光心的所有可能位置的集合建模为空间的以控制点为圆心、以控制点到光心距离为半径的圆，将共线方程中的未知位置参数和姿态参数解耦后分别求解，具有较好的鲁棒性；2)从几何角度出发，不需要迭代即可求解得到精确的位姿结果，其运算速度快、位姿信息精度高，满足实时导航需要。实验模拟数据表明，当不存在误差的理想情况下，本发明方法的计算结果完全正确，当存在一定数量级的高斯噪声时，本发明的方法仍具有较高鲁棒性和精度。
附图说明
图1平面运动目标的单目视觉导航几何模型；
图2平面运动目标单目视觉导航方法流程；
图3单目视觉求解光心到目标水平距离的示意图；
图4平面运动目标的单目视觉导航系统结构图。
具体实施方式
图1至图4示出了本发明一种基于单目相机的平面运动目标视觉导航方法的具体实施例，以码头货车自动调运场景为例，具体包括以下步骤：
步骤1：构建世界坐标系W-XYZ、运动目标坐标系为B-XBYBZB、相机坐标系C-XCYCZC、像平面物理坐标系
Figure BDA0002701262800000071
图像像素坐标系I-xy，所述单目相机安装在运动目标上，运动目标所在的运动平面为X-Y平面，运动目标坐标系的原点B为运动目标的中心，原点B在世界坐标系中的坐标为tb＝[tx，ty，tz]，所述像平面物理坐标系的原点O为单目相机光轴CZC与像平面的交点，
Figure BDA0002701262800000081
轴和
Figure BDA0002701262800000082
轴方向与相机坐标系一致，图像像素坐标系I-xy，以单目相机所拍摄像片视角方向为
Figure BDA0002701262800000083
的左上角I为原点，x轴和y轴方向与像平面物理坐标系
Figure BDA0002701262800000084
一致；
本实施例中，平面运动目标货车的单目视觉导航几何模型，如图1所示，世界坐标系为W-XYZ，运动目标所在的运动平面为X-Y平面；运动目标坐标系为B-XBYBZB，其中原点B为运动目标即货车的中心，其在世界坐标系中的坐标tb＝[tx，ty，tz]，故其在该运动目标坐标系相对于世界坐标系的旋转矩阵
Figure BDA0002701262800000085
其中θ为运动目标的偏航角。
以相机光轴CZC与像片平面的交点O为原点，建立像平面物理坐标系，
Figure BDA0002701262800000086
轴和
Figure BDA0002701262800000087
轴方向与相机坐标系一致，像平面物理坐标系的原点O距离相机坐标系原点C的距离为单目相机的焦距f；图像像素坐标系I-xy，以像片的左上角(视角方向为
Figure BDA0002701262800000088
的左上角)I为原点，x轴和y轴方向与像平面物理坐标系
Figure BDA0002701262800000089
一致。
运动目标在平面X-Y上运动，故其在世界坐标系W-XYZ中的Z坐标是一个定值，即Z≡tz，水平坐标(tx，ty)和偏航角θ随着目标运动而变化，是视觉导航的待求参数。相机和运动目标的安装关系已知，相机光心C在运动目标坐标系B-XBYBZB上的坐标为tc＝(txc，tyc，tzc)，相机坐标系C-XCYCZC相对于运动目标坐标系B-XBYBZB的旋转矩阵为Rc，
Figure BDA00027012628000000810
角度α为相机坐标系相对于运动目标坐标系的俯仰角。
则有
Figure BDA00027012628000000811
其中
Figure BDA0002701262800000091
为控制点在相机坐标系中的坐标，
Figure BDA0002701262800000092
为控制点在运动目标坐标系中的坐标，
控制点在世界坐标系W-XYZ和运动目标坐标系B-XBYBZB中坐标变换关系为
Figure BDA0002701262800000093
其中
Figure BDA0002701262800000094
分别为控制点在世界坐标系W-XYZ中的坐标，tb＝[tx，ty，tz]为运动目标在世界坐标系中的坐标，
本实施例中相机沿用了摄像测量学中的习惯，侧重于动态、实时的采集图像和测量，具体类型和型号可根据实际需要和采样频率来选定。相机的内参数是已知的，相机的焦距为f，像元尺寸表示为(dx，dy)，相机内参数矩阵
Figure BDA0002701262800000095
其中
Figure BDA0002701262800000096
为等效焦距，(Cx，Cy)为像主点坐标。单目相机安装在运动目标货车上，单目相机与运动目标货车的安装关系是已知的，以相机光心C为原点建立相机坐标系C-XCYCZC，相机坐标系相对于运动目标坐标系的滚转角为0，偏航角为0，俯仰角为下视的角度α，如图3所示，这样安排的目的是方便求解相机光心到控制点的水平距离。
建立共线方程
Figure BDA0002701262800000097
其中λ为比例系数，
Figure BDA0002701262800000098
为像点齐次坐标，
Figure BDA0002701262800000099
为对应点的世界坐标。
步骤2：在所述运动目标活动场景中布设若干控制点P，所述单目相机在运动目标前行过程中实时采集图像，并对所述图像进行分析提取控制点P落在像平面物理坐标系上的像点p形成2D-3D点对；
本实施例中，在所述运动目标活动场景中布设若干控制点Pi，i＝1，2…m，控制点的坐标Pi＝(Xi，Yi，Zi)，i＝1，2…m。单目相机在运动目标前行过程中实时采集图像，并分析相片提取与控制点落在像平面物理坐标系上的像点形成2D-3D点对；
本实施例中，从单目相机所采集的图像中提取2D-3D点对的方法是：
(1)在运动目标活动场景中的控制点上均预先布设有编码合作标志；
(2)运用模板匹配的方法，提取与控制点上编码合作标志相对应的像点得到2D-3D点对。通过模板匹配，可以从单目相机所采集的图像中找到是哪个控制点所形成的像点落在了所采集的图像中，从而得到像点-控制点形成的2D-3D点对。
本实施例中，单目相机实时采集图像，并通过模板匹配提取控制点的对应像点pj，j＝1，2，…，n，得到2D-3D点对(pj，Pj)，j＝1，2，…，n。
步骤3：将所述2D-3D点对根据步骤1中的坐标系进行坐标转换,求解运动目标位姿；
本实施例中，求解运动目标位姿的方法如图2所示，
根据单目相机所提取的2D-3D点对数不同，运动目标位姿的求解方法分别为：
1)当单目相机所提取的2D-3D点对为2组时，则运动目标位姿的求解方法是：
步骤3.1：求相机光心C到控制点水平距离D；
如图3所示，C为光心，C′为光心C在世界坐标系X-Y平面的投影，像点p和控制点P是一组2D-3D点对，光轴与水平面的夹角为α，像点p(x，y)的像平面物理坐标系
Figure BDA0002701262800000101
上的坐标
Figure BDA0002701262800000102
满足
Figure BDA0002701262800000103
Figure BDA0002701262800000104
其中(dx，dy)为像元尺寸，(Cx，Cy)为像主点坐标，py为像点在
Figure BDA0002701262800000105
轴上的投影点，Py为与py对应的物方点，光轴与Cpy的夹角为γ，CPy与C′Py的夹角为β，C′Py⊥PPy，像点是指世界坐标系中实际的点(即物点，如控制点)成像在图像上的对应点。
根据小孔成像原理和相似三角形理论，有
Figure BDA0002701262800000106
β＝α-γ， (8)
Figure BDA0002701262800000111
Figure BDA0002701262800000112
Figure BDA0002701262800000113
Figure BDA0002701262800000114
Figure BDA0002701262800000115
f为焦距，|C′C|等于相机光心高度HC≡tz+tzc。联立方程(7)-(13)，解得光心C到控制点P的水平距离D＝|C′P|。
步骤3.2：根据所述光心C到控制点P的水平距离求光心C的坐标；
本实施例中，不加任何约束条件，满足任意一组2D-3D点对的相机光心所在的位置范围为一个X-Y平面上的上半球面，球心为控制点，半径为光心到控制点距离。但是由于相机高度是个固定值HC≡tz+tzc，位置范围变为上述上半球面与Z＝HC平面所交的圆周。
取两个控制点P1(X1，Y1，Z1)，P2(X2，Y2，Z2)，列出方程
Figure BDA0002701262800000116
Figure BDA0002701262800000117
Z＝HC.
将方程化简，得
Figure BDA0002701262800000118
Figure BDA0002701262800000119
Z＝HC， (16)
其中(X，Y)为光心C在世界坐标系W-XYZ中的水平坐标，Z为光心C在世界坐标系中距离水平面X-Y的高度值，Di(i＝1，2)为光心到控制点的水平距离，联立方程(14)-(16)，求解出光心C在世界坐标系W-XYZ中的坐标(XC0，YC0，ZC0)。
本发明通过采用空间几何建模的思想方法，将相机光心的所有可能位置的集合建模为空间的以控制点为圆心、以控制点到光心距离为半径的圆，将共线方程中的未知位置参数和姿态参数解耦后分别求解，具有较好的鲁棒性；从几何角度出发，不需要迭代即可求解得到精确的位姿结果，其运算速度快、位姿信息精度高，满足实时导航需要。
步骤3.3：求解运动目标的偏航角θ并剔除光心坐标解的假根；
分别将两组光心坐标(XC01，YC01，ZC01)，(XC02，YC02，ZC02)代入方程(17)
Figure BDA0002701262800000121
每一个2D-3D点对分别可以计算出一个偏航角θ，当光心坐标取值为真根时，这两个偏航角相差距离要小于光心坐标取值为假根时，故据此可以剔除掉假根，偏航角θ的最终估计结果取光心坐标取值为真根时2个点对求解偏航角θi(i＝1，2)的平均值，即θ＝(θ1+θ2)/2；
步骤3.4：求解运动目标的世界坐标(tx，ty)
根据等式(2)可以计算得到运动目标在世界坐标系中坐标
Figure BDA0002701262800000122
其中
Figure BDA0002701262800000123
为光心C在世界坐标系中的坐标，
Figure BDA0002701262800000124
为运动目标坐标系与世界坐标系之间的旋转矩阵，
Figure BDA0002701262800000125
为相机光心在运动目标坐标系中的坐标；
2)当单目相机所提取的2D-3D点对数大于2时，求解运动目标位姿的方法是：
步骤3.1’：剔除所提取的所有2D-3D点对中的野值，得到内点集；内点集就是剔除了干扰的野值之后剩下的2D-3D点对集。
剔除野值的方法是：
使用RANSAC算法，随机采样2组点对，计算运动目标在世界坐标系中的位姿(tx，ty，θ)，通过公式(4)将每个解合成相应的共线方程，再计算像点重投影误差，通过重投影误差与给定阈值的大小关系来确定能够有效求解(tx，ty，θ)的内点，重复该步骤，直到所有点对都被两两组合求解像点重投影误差后获得最大内点集合；
步骤3.2’：遍历内点集内任意两个2D-3D点对组合并求解每两个点对组合的目标位姿；
遍历内点集中的所有2点组合，分别求解目标位姿参数(txi,tyi,θi)(i＝1,2...sn)，sn为组合总数目，当内点集中点对数为m时，
Figure BDA0002701262800000131
Figure BDA0002701262800000132
为m个物体中任取2个物体的组合数。
步骤3.3’：取步骤3.2中所求目标位姿参数的平均值作为位姿估计值，即
Figure BDA0002701262800000133
3)当单目相机所提取的2D-3D点对数为1时，求解运动目标位姿的方法是：
取上一时刻运动目标的偏航角θ作为当前时刻的偏航角，则根据共线方程(4)线性求解出未知参数(tx，ty)，输出运动目标的位姿参数(tx，ty，θ)；
4)当单目相机在短时间内运动目标的视野中没有提取到有效控制点时，运动目标的位姿参数不更新；
5)当单目相机在持续时间超过一个阈值的时间内都没有提取到有效控制点时，发出警报信息。
本发明同时考虑了一组点对、两组点对、多组点对和极端情况等多种情况，考虑了相机与运动目标的安装关系，具有一定的可扩展性和通用性。
步骤4：根据所述运动目标位姿辅助运动目标前行。
根据步骤3中计算出的货车在场景平面的位置和货车的偏航角(tx，ty，θ)即货车的位姿信息，将该货车的位姿信息发送给货车的控制系统，控制系统根据当前货车的位姿信息决定货车将怎样向前行进。辅助货车完成正常工作。当遇到极端情况，即货车处于工作状态时其单目相机的视野中没有控制点的情况持续时间超过一个阈值，发送警报信号，控制货车停止工作并触发警报模块发出警报。
本发明还提供了一种基于单目相机的平面运动目标视觉导航系统，如图4所示，包括
输入模块：通过单目相机实时采集运动目标前方图像并传入到计算与储存模块中；
位姿计算模块：通过对输入模块所采集的运动目标前方图像进行实时处理，提取所述前方图像的相片中与控制点相对应的像点得到2D-3D点对，通过位姿求解得到运动目标的位姿信息并输出给控制模块；
输入模块：通过单目相机实时采集运动目标前方图像并传入到位姿计算模块中；
位姿计算模块：通过对输入模块所采集的运动目标前方图像进行实时处理，提取所述前方图像的相片中与控制点相对应的像点得到2D-3D点对，通过位姿求解得到运动目标的位姿信息；
输出与警报模块：用于将位姿计算模块求解得到的位姿信息输出或发出警报，同时将位姿信息传递给控制模块；
控制模块，根据输出与警报模块所输出的运动目标位姿信息辅助运动目标前行。
本实施例中，位姿计算模块包括
控制点提取单元，用于提取输入模块所采集的运动目标前方图像中的控制点信息；
控制点-像点匹配单元，用于将输入模块所采集的运动目标前方图像中的控制点信息即像点与控制点进行匹配，得到2D-3D点对；
2D-3D点对存储单元，用于存储控制点-像点匹配单元得到的2D-3D点对；
位姿求解单元，用于对2D-3D点对存储单元中的2D-3D点对进行位姿求解得到运动目标的位姿信息。本实施例中，位姿求解单元中的位姿信息的求解方法使用的是前面所介绍的运动目标位姿的求解方法，根据2D-3D点对存储单元中的点对数使用不同的求解方法。
本发明还提供了一种计算机可读介质，存储有基于单目相机的平面运动目标视觉导航方法的计算机程序，所述计算机程序被处理器执行以实现前面所述的基于单目相机的平面运动目标视觉导航方法的步骤。
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有基于单目相机的平面运动目标视觉导航方法的计算机程序，所述处理器执行所述计算机程序时实现前面所述的基于单目相机的平面运动目标视觉导航方法的步骤。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种基于单目相机的平面运动目标视觉导航方法，其特征在于，包括以下步骤：
步骤1：构建世界坐标系W-XYZ、运动目标坐标系为B-XBYBZB、相机坐标系C-XCYCZC、像平面物理坐标系
Figure FDA0003440336960000011
图像像素坐标系I-xy，所述单目相机安装在运动目标上，运动目标所在的运动平面为X-Y平面，运动目标坐标系的原点B为运动目标的中心，原点B在世界坐标系中的坐标为tb＝[tx,ty,tz]，所述像平面物理坐标系的原点O为单目相机光轴CZC与像平面的交点，
Figure FDA0003440336960000012
轴和
Figure FDA0003440336960000013
轴方向与相机坐标系一致，图像像素坐标系I-xy，以单目相机所拍摄像片视角方向为
Figure FDA0003440336960000014
的左上角I为原点，x轴和y轴方向与像平面物理坐标系
Figure FDA0003440336960000015
一致；
步骤2：所述单目相机在运动目标前行过程中通过实时获取控制点以及控制点落在像平面物理坐标系上的像点对形成2D-3D点对；
步骤3：将所述2D-3D点对根据步骤1中的坐标系进行坐标转换,求解运动目标位姿；
步骤4：根据所述运动目标位姿辅助运动目标前行；
步骤1中各坐标系之间的关系为：
1)控制点在相机坐标系C-XCYCZC和运动目标坐标系B-XBYBZB中的坐标上的转换关系为：
Figure FDA0003440336960000016
其中
Figure FDA0003440336960000017
为控制点在相机坐标系中的坐标，
Figure FDA0003440336960000018
为控制点在运动目标坐标系中的坐标，
tc＝(txc,tyc,tzc)为相机光心C在运动目标坐标系下的坐标；RC为相机坐标系C-XCYCZC相对于运动目标坐标系B-XBYBZB的旋转矩阵
Figure FDA0003440336960000019
角度α为相机坐标系相对于运动目标坐标系的俯仰角；
2)控制点在世界坐标系W-XYZ和运动目标坐标系B-XBYBZB中坐标变换关系为
Figure FDA0003440336960000021
其中
Figure FDA0003440336960000022
分别为控制点在世界坐标系W-XYZ中的坐标，tb＝[tx,ty,tz]为运动目标在世界坐标系中的坐标，
Figure FDA0003440336960000023
为运动目标坐标系相对于世界坐标系的旋转矩阵，θ为运动目标的偏航角；
3)设相机的焦距表示为f，像元尺寸表示为(dx,dy)，相机内参数矩阵
Figure FDA0003440336960000024
其中
Figure FDA0003440336960000025
为等效焦距，(Cx,Cy)为像主点坐标；
4)建立共线方程
Figure FDA0003440336960000026
其中λ为比例系数，
Figure FDA0003440336960000027
为像点齐次坐标，
Figure FDA0003440336960000028
为对应点的世界坐标，u、v、w为中间变量；
步骤3中求解运动目标位姿的方法是：
根据单目相机所提取的2D-3D点对数不同，运动目标位姿的求解方法分别为：
1)当单目相机所提取的2D-3D点对为2组时，则运动目标位姿的求解方法是：
步骤3.1：求相机光心C到控制点水平距离D；
C为光心，C′为光心C在世界坐标系X-Y平面的投影，像点p和控制点P是一组2D-3D点对，光轴与水平面的夹角为α，像点p(x,y)的像平面物理坐标系
Figure FDA0003440336960000029
上的坐标
Figure FDA0003440336960000031
满足
Figure FDA0003440336960000032
Figure FDA0003440336960000033
其中(dx,dy)为像元尺寸，(Cx,Cy)为像主点坐标，py为像点在
Figure FDA0003440336960000034
轴上的投影点，Py为与py对应的物方点，光轴与Cpy的夹角为γ，CPy与C′Py的夹角为β，C′Py⊥PPy；
根据小孔成像原理和相似三角形理论，有
Figure FDA0003440336960000035
β＝α+γ, (8)
Figure FDA0003440336960000036
Figure FDA0003440336960000037
Figure FDA0003440336960000038
Figure FDA0003440336960000039
Figure FDA00034403369600000310
f为焦距，|C′C|等于相机光心高度HC≡tz+tzc，联立方程(7)-(13)，解得光心C到控制点P的水平距离D＝|C′P|
步骤3.2：根据所述光心C到控制点P的水平距离D＝|C′P|求光心C的坐标；取两个控制点P1(X1,Y1,Z1),P2(X2,Y2,Z2)，列出方程
Figure FDA00034403369600000311
Figure FDA00034403369600000312
Z＝HC.
将方程化简，得
Figure FDA00034403369600000313
Figure FDA00034403369600000314
Z＝HC, (16)
其中(X,Y)为光心C在世界坐标系W-XYZ中的水平坐标，Z为光心C在世界坐标系中距离水平面X-Y的高度值，Di(i＝1,2)为光心到控制点的水平距离，联立方程(14)-(16)，求解出光心C在世界坐标系W-XYZ中的坐标(XC0,YC0,ZC0)；
步骤3.3：求解运动目标的偏航角θ并剔除光心坐标解的假根；
分别将两组光心坐标(XC01,YC01,ZC01),(XC02,YC02,ZC02)代入方程(17)
Figure FDA0003440336960000041
每一个2D-3D点对分别可以计算出一个偏航角θ，当光心坐标取值为真根时，这两个偏航角相差距离要小于光心坐标取值为假根时，故据此剔除掉假根，偏航角θ的最终估计结果取光心坐标取值为真根时2个点对求解偏航角θi(i＝1,2)的平均值，即θ＝(θ1+θ2)/2；
步骤3.4：求解运动目标的世界坐标(tx,ty)
根据等式(2)可以计算得到运动目标在世界坐标系中坐标
Figure FDA0003440336960000042
其中
Figure FDA0003440336960000043
为光心C在世界坐标系中的坐标，
Figure FDA0003440336960000044
为运动目标坐标系与世界坐标系之间的旋转矩阵，
Figure FDA0003440336960000045
为相机光心在运动目标坐标系中的坐标；
2)当单目相机所提取的2D-3D点对数大于2时，求解运动目标位姿的方法是：
步骤3.1’：剔除所提取的所有2D-3D点对中的野值，得到内点集；
步骤3.2’：遍历内点集内任意两个2D-3D点对组合并求解每两个点对组合的目标位姿；
遍历内点集中的所有2点组合，分别求解目标位姿参数(txi,tyi,θi)(i＝1,2...sn)，sn为组合总数目，当内点集中点对数为m时，
Figure FDA0003440336960000046
Figure FDA0003440336960000047
为m个物体中任取2个物体的组合数；
步骤3.3’：取步骤3.2中所求目标位姿参数的平均值作为位姿估计值，即
Figure FDA0003440336960000051
3)当单目相机所提取的2D-3D点对数为1时，求解运动目标位姿的方法是：
取上一时刻运动目标的偏航角θ作为当前时刻的偏航角，则根据共线方程(4)线性求解出未知参数(tx,ty)，输出运动目标的位姿参数(tx,ty,θ)；
4)当单目相机在短时间内运动目标的视野中没有提取到有效控制点时，运动目标的位姿参数不更新；
5)当单目相机在持续时间超过一个阈值的时间内都没有提取到有效控制点时，发出警报信息。
2.根据权利要求1所述的方法，其特征在于，获取2D-3D点对的方法是：
(1)在运动目标活动场景中的控制点上均布设有编码合作标志；
(2)运用模板匹配的方法，提取与控制点上编码合作标志相对应的像点得到2D-3D点对；
(3)剔除干扰点，得到2D-3D点对。
3.根据权利要求1所述的方法，其特征在于，步骤3.1’中野值的剔除方法是：使用RANSAC算法，随机采样2组点对，计算运动目标在世界坐标系中的位姿(tx,ty,θ)，通过公式(4)将每个解合成相应的共线方程，再计算像点重投影误差，通过重投影误差与给定阈值的大小关系来确定能够有效求解(tx,ty,θ)的内点，迭代多次求解后获得最大内点集合。
4.一种基于单目相机的平面运动目标视觉导航系统，其特征在于，包括
输入模块：通过单目相机实时采集运动目标前方图像并传入到位姿计算模块中；
位姿计算模块：通过对输入模块所采集的运动目标前方图像进行实时处理，提取所述前方图像的相片中与控制点相对应的像点得到2D-3D点对，通过位姿求解得到运动目标的位姿信息；
输出与警报模块：用于将位姿计算模块求解得到的位姿信息输出或发出警报，同时将位姿信息传递给控制模块；
控制模块，根据输出与警报模块所输出的运动目标位姿信息辅助运动目标前行；
所述位姿计算模块包括
控制点提取单元，用于提取输入模块所采集的运动目标前方图像中的控制点信息；
控制点-像点匹配单元，用于将输入模块所采集的运动目标前方图像中的控制点信息即像点与控制点进行匹配，得到2D-3D点对；
2D-3D点对存储单元，用于存储控制点-像点匹配单元得到的2D-3D点对；
位姿求解单元，用于对2D-3D点对存储单元中的2D-3D点对进行位姿求解得到运动目标的位姿信息；
所述求解得到运动目标的位姿信息的方法包括：
构建世界坐标系W-XYZ、运动目标坐标系为B-XBYBZB、相机坐标系C-XCYCZC、像平面物理坐标系
Figure FDA0003440336960000061
图像像素坐标系I-xy，所述单目相机安装在运动目标上，运动目标所在的运动平面为X-Y平面，运动目标坐标系的原点B为运动目标的中心，原点B在世界坐标系中的坐标为tb＝[tx,ty,tz]，所述像平面物理坐标系的原点O为单目相机光轴CZC与像平面的交点，
Figure FDA0003440336960000062
轴和
Figure FDA0003440336960000063
轴方向与相机坐标系一致，图像像素坐标系I-xy，以单目相机所拍摄像片视角方向为
Figure FDA0003440336960000064
的左上角I为原点，x轴和y轴方向与像平面物理坐标系
Figure FDA0003440336960000065
一致；
其中，各坐标系之间的关系为：
1)控制点在相机坐标系C-XCYCZC和运动目标坐标系B-XBYBZB中的坐标上的转换关系为：
Figure FDA0003440336960000066
其中
Figure FDA0003440336960000067
为控制点在相机坐标系中的坐标，
Figure FDA0003440336960000068
为控制点在运动目标坐标系中的坐标，
tc＝(txc,tyc,tzc)为相机光心C在运动目标坐标系下的坐标；RC为相机坐标系C-XCYCZC相对于运动目标坐标系B-XBYBZB的旋转矩阵
Figure FDA0003440336960000069
角度α为相机坐标系相对于运动目标坐标系的俯仰角；
2)控制点在世界坐标系W-XYZ和运动目标坐标系B-XBYBZB中坐标变换关系为
Figure FDA0003440336960000071
其中
Figure FDA0003440336960000072
分别为控制点在世界坐标系W-XYZ中的坐标，tb＝[tx,ty,tz]为运动目标在世界坐标系中的坐标，
Figure FDA0003440336960000073
为运动目标坐标系相对于世界坐标系的旋转矩阵，θ为运动目标的偏航角；
3)设相机的焦距表示为f，像元尺寸表示为(dx,dy)，相机内参数矩阵
Figure FDA0003440336960000074
其中
Figure FDA0003440336960000075
为等效焦距，(Cx,Cy)为像主点坐标；
4)建立共线方程
Figure FDA0003440336960000076
其中λ为比例系数，
Figure FDA0003440336960000077
为像点齐次坐标，
Figure FDA0003440336960000078
为对应点的世界坐标，u、v、w为中间变量；
求解运动目标位姿的方法是：
根据单目相机所提取的2D-3D点对数不同，运动目标位姿的求解方法分别为：
1)当单目相机所提取的2D-3D点对为2组时，则运动目标位姿的求解方法是：
步骤1：求相机光心C到控制点水平距离D；
C为光心，C′为光心C在世界坐标系X-Y平面的投影，像点p和控制点P是一组2D-3D点对，光轴与水平面的夹角为α，像点p(x,y)的像平面物理坐标系
Figure FDA0003440336960000081
上的坐标
Figure FDA0003440336960000082
满足
Figure FDA0003440336960000083
Figure FDA0003440336960000084
其中(dx,dy)为像元尺寸，(Cx,Cy)为像主点坐标，py为像点在
Figure FDA0003440336960000085
轴上的投影点，Py为与py对应的物方点，光轴与Cpy的夹角为γ，CPy与C′Py的夹角为β，C′Py⊥PPy；
根据小孔成像原理和相似三角形理论，有
Figure FDA0003440336960000086
β＝α+γ, (8)
Figure FDA0003440336960000087
Figure FDA0003440336960000088
Figure FDA0003440336960000089
Figure FDA00034403369600000810
Figure FDA00034403369600000811
f为焦距，|C′C|等于相机光心高度HC≡tz+tzc，联立方程(7)-(13)，解得光心C到控制点P的水平距离D＝|C′P|
步骤2：根据所述光心C到控制点P的水平距离D＝|C′P|求光心C的坐标；取两个控制点P1(X1,Y1,Z1),P2(X2,Y2,Z2)，列出方程
Figure FDA00034403369600000812
Figure FDA00034403369600000813
Z＝HC.
将方程化简，得
Figure FDA00034403369600000814
Figure FDA00034403369600000815
Z＝HC, (16)
其中(X,Y)为光心C在世界坐标系W-XYZ中的水平坐标，Z为光心C在世界坐标系中距离水平面X-Y的高度值，Di(i＝1,2)为光心到控制点的水平距离，联立方程(14)-(16)，求解出光心C在世界坐标系W-XYZ中的坐标(XC0,YC0,ZC0)；
步骤3：求解运动目标的偏航角θ并剔除光心坐标解的假根；
分别将两组光心坐标(XC01,YC01,ZC01),(XC02,YC02,ZC02)代入方程(17)
Figure FDA0003440336960000091
每一个2D-3D点对分别可以计算出一个偏航角θ，当光心坐标取值为真根时，这两个偏航角相差距离要小于光心坐标取值为假根时，故据此剔除掉假根，偏航角θ的最终估计结果取光心坐标取值为真根时2个点对求解偏航角θi(i＝1,2)的平均值，即θ＝(θ1+θ2)/2；
步骤4：求解运动目标的世界坐标(tx,ty)
根据等式(2)可以计算得到运动目标在世界坐标系中坐标
Figure FDA0003440336960000092
其中
Figure FDA0003440336960000093
为光心C在世界坐标系中的坐标，
Figure FDA0003440336960000094
为运动目标坐标系与世界坐标系之间的旋转矩阵，
Figure FDA0003440336960000095
为相机光心在运动目标坐标系中的坐标；
2)当单目相机所提取的2D-3D点对数大于2时，求解运动目标位姿的方法是：
步骤1’：剔除所提取的所有2D-3D点对中的野值，得到内点集；
步骤2’：遍历内点集内任意两个2D-3D点对组合并求解每两个点对组合的目标位姿；
遍历内点集中的所有2点组合，分别求解目标位姿参数(txi,tyi,θi)(i＝1,2...sn)，sn为组合总数目，当内点集中点对数为m时，
Figure FDA0003440336960000096
Figure FDA0003440336960000097
为m个物体中任取2个物体的组合数；
步骤3’：取步骤3.2中所求目标位姿参数的平均值作为位姿估计值，即
Figure FDA0003440336960000101
3)当单目相机所提取的2D-3D点对数为1时，求解运动目标位姿的方法是：
取上一时刻运动目标的偏航角θ作为当前时刻的偏航角，则根据共线方程(4)线性求解出未知参数(tx,ty)，输出运动目标的位姿参数(tx,ty,θ)；
4)当单目相机在短时间内运动目标的视野中没有提取到有效控制点时，运动目标的位姿参数不更新；
5)当单目相机在持续时间超过一个阈值的时间内都没有提取到有效控制点时，发出警报信息。
5.一种计算机可读介质，存储有基于单目相机的平面运动目标视觉导航方法的计算机程序，其特征在于，所述计算机程序被处理器执行以实现权利要求1至3中任一项所述的基于单目相机的平面运动目标视觉导航方法的步骤。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有基于单目相机的平面运动目标视觉导航方法的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的基于单目相机的平面运动目标视觉导航方法的步骤。
CN202011022982.6A 2020-09-25 2020-09-25 基于单目相机的平面运动目标视觉导航方法及系统 Active CN112179357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011022982.6A CN112179357B (zh) 2020-09-25 2020-09-25 基于单目相机的平面运动目标视觉导航方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011022982.6A CN112179357B (zh) 2020-09-25 2020-09-25 基于单目相机的平面运动目标视觉导航方法及系统

Publications (2)

Publication Number Publication Date
CN112179357A CN112179357A (zh) 2021-01-05
CN112179357B true CN112179357B (zh) 2022-04-01

Family

ID=73944512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011022982.6A Active CN112179357B (zh) 2020-09-25 2020-09-25 基于单目相机的平面运动目标视觉导航方法及系统

Country Status (1)

Country Link
CN (1) CN112179357B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128434B (zh) * 2021-04-27 2023-11-21 南京大学 一种对单目rgb图像进行3d目标检测的方法
CN113379840B (zh) * 2021-06-10 2023-02-28 北京航空航天大学 一种基于共面目标的单目视觉位姿估计方法
CN113674353B (zh) * 2021-08-18 2023-05-16 中国人民解放军国防科技大学 一种空间非合作目标精确位姿测量方法
CN115493598B (zh) * 2022-11-15 2023-03-10 西安羚控电子科技有限公司 运动过程中的目标定位方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651953A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于交通指示牌的车辆位姿估计方法
CN108663052A (zh) * 2018-04-28 2018-10-16 北京空间飞行器总体设计部 一种星上自主空间非合作目标相对导航相机指向控制方法
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN109983507A (zh) * 2016-12-21 2019-07-05 英特尔公司 经由二维地图进行基于大规模cnn回归的定位
CN111191625A (zh) * 2020-01-03 2020-05-22 浙江大学 一种激光-单目视觉融合的物体识别与定位方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101085390B1 (ko) * 2008-04-30 2011-11-21 주식회사 코아로직 3ｄ 네비게이션을 위한 영상표현 방법, 장치 및 그 장치를포함한 모바일 장치
WO2012044216A1 (en) * 2010-10-01 2012-04-05 Saab Ab Method and apparatus for solving position and orientation from correlated point features in images
CN110956660B (zh) * 2018-09-26 2023-10-10 深圳市优必选科技有限公司 定位方法、机器人以及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983507A (zh) * 2016-12-21 2019-07-05 英特尔公司 经由二维地图进行基于大规模cnn回归的定位
CN106651953A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于交通指示牌的车辆位姿估计方法
CN108663052A (zh) * 2018-04-28 2018-10-16 北京空间飞行器总体设计部 一种星上自主空间非合作目标相对导航相机指向控制方法
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN111191625A (zh) * 2020-01-03 2020-05-22 浙江大学 一种激光-单目视觉融合的物体识别与定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A fast and robust vision-based horizon tracking method;Hao Guo 等;《2015 12th International Computer Conference on Wavelet Active Media Technology and Information Processing (ICCWAMTIP)》;20160620;第1-4页 *
ＩＥＰｎＰ：一种基于ＥＰｎＰ的相机位姿迭代估计算法;陈鹏 等;《光学学报》;20180430;第38卷(第4期);第1-7页 *

Also Published As

Publication number Publication date
CN112179357A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112179357B (zh) 基于单目相机的平面运动目标视觉导航方法及系统
CN107481270B (zh) 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备
CN107945220B (zh) 一种基于双目视觉的重建方法
Peng et al. Pose measurement and motion estimation of space non-cooperative targets based on laser radar and stereo-vision fusion
US20210141378A1 (en) Imaging method and device, and unmanned aerial vehicle
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
Olson et al. Rover navigation using stereo ego-motion
CN112304307A (zh) 一种基于多传感器融合的定位方法、装置和存储介质
CN112347840A (zh) 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN112567201A (zh) 距离测量方法以及设备
CN113850126A (zh) 一种基于无人机的目标检测和三维定位方法和系统
CN109872372A (zh) 一种小型四足机器人全局视觉定位方法和系统
JP2013187862A (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
CN113848931B (zh) 农机自动驾驶障碍物识别方法、系统、设备和存储介质
CN111862214A (zh) 计算机设备定位方法、装置、计算机设备和存储介质
WO2018169035A1 (en) Imaging system, method of imaging control, image processing apparatus, and image processing program
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
CN113447014A (zh) 室内移动机器人、建图方法、定位方法以及建图定位装置
Briskin et al. Estimating pose and motion using bundle adjustment and digital elevation model constraints
Hintze Autonomous landing of a rotary unmanned aerial vehicle in a non-cooperative environment using machine vision
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
CN111402324A (zh) 一种目标测量方法、电子设备以及计算机存储介质
CN114529585A (zh) 基于深度视觉和惯性测量的移动设备自主定位方法
Yingying et al. Fast-swirl space non-cooperative target spin state measurements based on a monocular camera
Cheng et al. Positioning method research for unmanned aerial vehicles based on meanshift tracking algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant