CN108469729A - 一种基于rgb-d信息的人体目标识别与跟随方法 - Google Patents

一种基于rgb-d信息的人体目标识别与跟随方法 Download PDF

Info

Publication number
CN108469729A
CN108469729A CN201810067530.6A CN201810067530A CN108469729A CN 108469729 A CN108469729 A CN 108469729A CN 201810067530 A CN201810067530 A CN 201810067530A CN 108469729 A CN108469729 A CN 108469729A
Authority
CN
China
Prior art keywords
mobile robot
tracking
target
information
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810067530.6A
Other languages
English (en)
Other versions
CN108469729B (zh
Inventor
董辉
王亚男
童辉
康磊
何佳燊
陈志璇
张文安
俞立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810067530.6A priority Critical patent/CN108469729B/zh
Publication of CN108469729A publication Critical patent/CN108469729A/zh
Application granted granted Critical
Publication of CN108469729B publication Critical patent/CN108469729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B11/00—Automatic controllers
    • G05B11/01—Automatic controllers electric
    • G05B11/36—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
    • G05B11/42—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential for obtaining a characteristic which is both proportional and time-dependent, e.g. P.I., P.I.D.
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor

Abstract

一种基于RGB‑D信息的人体目标识别与跟随方法，包括如下步骤:第一步，识别目标并得到图像坐标系下目标的位置信息；第二步，得到相机坐标下目标位置信息。在相机坐标系下，获得移动机器人的跟踪距离dk和跟踪偏角θk；第三步，建立模型。根据移动机器人与目标的运动关系，建立移动机器人跟随模型和系统量测模型。第四步，采用假设检验的方式引入自适应因子λk，设计自适应KF滤波器。首先，状态初始化，获取移动机器人的初始跟踪状态；其次，进行时间更新；然后，对量测信息进行更新。最后，由自适应因子计算得到新的新息协方差，更新移动机器人状态信息。本发明有效的减小了系统的量测噪声对跟踪系统的影响，稳定性好，能够控制机器人更好的跟随目标。

Description

一种基于RGB-D信息的人体目标识别与跟随方法
技术领域
本发明应用于移动机器人目标跟踪领域，涉及一种基于视觉的并适用于复杂环境的人体目标跟踪方法。
背景技术
基于视觉的人与机器人交互(Human-Robot Interaction，HRI)在社会服务机器人中有着广泛的应用。随着社会服务机器人技术的发展，对人与机器人交互提出了更高的要求。以人体、人脸、眼睛、手部为主要目标的视觉跟踪技术是人与机器人交互的关键技术，是机器人对人以及人的意图进行认知的基础。随着服务机器人技术的迅猛发展，在以人为主要对象的应用环境中，如何更稳定的识别并跟随目标是提高人与机器人交互质量的关键。
目标跟踪是计算机视觉的核心问题之一，是一种融合图像处理、模式识别、人工智能及自动控制等不同领域先进成果的高新技术，在智能监控、人机交互、机器人导航、医学诊断等众多领域有重要的实用价值和广阔的发展前景。
对于众多的目标跟踪算法，一般分为基于区域的目标跟踪、基于模型的目标跟踪、基于变形模板的目标跟踪、基于特征的目标跟踪、基于运动场估计的目标跟踪和混合跟踪算法。近几年来，一些先进的基于RGB信息的目标跟踪算法已经实现了高速追踪，其中，基于Meanshift的目标分割与跟踪算法跟踪效率高。但在实际应用中，目标跟踪面临着诸多挑战，包括照明的变化、目标数量的随机性及目标运动的快慢都会影响跟踪结果。而在3D图像中的目标有且仅有一个位置信息，并且深度信息不受光照影响.因此，基于RGB-D信息的目标跟踪算法已经成为研究人员的研究重点。
人体目标跟踪系统主要由跟踪物体、移动机器人两部分组成。移动机器人为双轮差动驱动的机器人，稳定性好、结构简单、易操作。数据采集设备为RGB-D相机，由红色投影仪、彩色摄像头和红外摄像头三部分组成。考虑RGB-D相机获取深度空间信息的原理是基于“激光散斑”原理的光编码技术,通过实验发现，RGB-D相机获取的深度值与实际标尺测量的距离的偏差会随着物体较RGB-D相机的距离越远越大，并且相机的最佳探测距离为1-3.5m。因此，对于RGB-D相机获取的深度图像，其存在不确定的测量噪声且深度值是可穷举的。
另一方面，当应用环境比较复杂时，基于RGB信息的Meanshift目标跟踪方法鲁棒性差，容易丢失跟踪目标。采用基于RGB-D信息(彩色信息(RGB)和深度信息)的Mean-shift目标跟踪方法，实现了人体目标的自动检测及匹配跟踪。然而基于像素的全局搜索存在无法对目标进行可靠的实时估计的问题。
考虑引入合适的估计器进行可靠的估计，以提高目标跟踪算法的实时性和稳定性。卡尔曼滤波器(Kalman Filter,KF)可提供精度较高且过估计的不确定性较小的估计结果.由于传统的KF不考虑误差(建模误差、数值计算误差、测量误差等)补偿，因而，容易导致不相容的估计结果，即系统状态的估计误差协方差小于其真实协方差.注意到，当估计结果不相容时，滤波器的性能将迅速下降，甚至发散。故能够补偿量测误差带来的影响对提高目标跟踪的实时性和稳定性尤为重要。
发明内容
为了克服视觉传感器和Meanshift跟踪算法的不确定噪声造成的实时性差和不稳定问题，本发明提出了一种基于RGB-D新息的人体目标识别与跟随方法，通过引入自适应因子的方式对系统不确定误差进行补偿，有效的提高目标跟踪的稳定性。
为了解决上述技术问题本发明采用的技术方案如下：
一种基于RGB-D信息的人体目标识别与跟随方法，所述方法包括以下步骤：
第一步，识别并定位目标：通过基于RGB-D信息的Meanshift跟踪方法识别目标并得到目标的位置信息，获得目标的质心坐标cp；
第二步，获得移动机器人跟踪状态：根据相机坐标系与图像坐标系的转换关系得到相机坐标下目标质心的位置信息，结合OpenNI库，在PC端得到目标的深度信息，即目标的3D信息；通过相机坐标系(机器人坐标系)下目标的位置信息，获得移动机器人的跟踪距离dk和跟踪偏角θk；
第三步，建立模型：移动机器人采用PID控制方法，通过移动机器人的跟踪距离dk和跟踪偏角θk计算得到机器人控制输入u1,k，u2,k，u1,k为移动机器人跟踪偏角PID控制的输出，u2,k为移动机器人跟踪距离PID控制的输出，引入比例系数参数Kp1，Kp2和积分系数参数Ki1，Ki2，从而得到移动机器人的运动速度，即左右轮线速度vl,k、vr,k，移动机器人跟踪模型采用匀速模型来描述移动机器人的跟随状态，建立移动机器人跟随模型和系统量测模型；
第四步，采用假设检验的方式引入自适应因子λk，对量测误差进行补偿。
进一步，所述第四步中，设计自适应KF滤波器的过程如下：
首先，状态初始化，获取移动机器人的初始跟踪状态和状态变量对应的协方差矩阵P0|0；其次，进行时间更新，计算k时刻的目标状态的预测值及其协方差矩阵Pk|k-1；然后，对量测信息进行更新，计算量测的预测值和新息协方差Pzz，k；最后，由自适应因子计算得到新的新息协方差更新移动机器人状态信息，得到k时刻的目标状态的估计值及其协方差矩阵和Pk|k。
本发明的有益效果表现在：通过引入自适应因子的方式对系统不确定误差进行补偿，有效的减小系统的量测噪声对跟踪系统的影响，稳定性好，能够控制机器人更好的跟随目标。
附图说明
图1是移动机器人目标跟随方法的程序流程图。
图2是移动机器人目标跟踪系统结构图。
图3是机器人跟随系统状态图。
图4是移动机器人目标跟随方法实现的结果示意图，其中，(a)表示移动机器人跟踪偏角的跟踪误差图，(b)表示移动机器人跟踪距离的跟踪误差图。
具体实施方式
为了使本发明的技术方案、设计思路能更加清晰，下面结合附图再进行详尽描述。
参照图1～4图，一种基于RGB-D信息的人体目标识别与跟随方法，包括以下步骤：
第一步，识别并定位目标：通过基于RGB-D信息的Mean-shift跟踪方法识别目标并得到目标的位置信息，获得目标的质心坐标如图2所示，1为移动机器人，2为RGB-D相机，3为目标质心，4为跟踪目标窗口，5为跟踪目标，6为质心。
第二步，获得移动机器人跟踪状态：根据像素坐标系与相机坐标系和相机坐标系与图像坐标系之间的转换关系可以得到相机坐标下目标质心的位置信息，转换形式如下：
图像像素坐标系与相机坐标系之间的转换矩阵：
其中，(u，v)为像素坐标系下的坐标，(x，y)为图像坐标系下的坐标，这里dx为每个像素在横轴x上的尺寸，dy为每个像素在纵轴y上的尺寸。
图像坐标系与相机坐标系之间的转换矩阵:
其中，(Xc Yc Zc)为相机坐标系下坐标，Xc与图像坐标系x轴平行，Yc轴与图像坐标系y轴平行，Zc为相机光轴，与图像平面垂直。f为相机焦距。
结合上述转换矩阵，可以得到相机坐标系系下目标的位置信息，得到目标的深度信息，即目标的3D信息。通过相机坐标系(机器人坐标系)下目标的位置信息，获得移动机器人的跟踪距离dk和跟踪偏角θk，如图3所示,1为Z-RGB-D相机坐标轴，2为X-RGB-D相机坐标轴，3为质心，4为跟踪偏角，5为跟踪距离，6为移动机器人。跟踪距离为目标距离机器人的深度，跟踪偏角为目标与机器人之间的夹角。
第三步，建立模型，移动机器人采用PID控制方法，通过移动机器人的跟踪距离dk和跟踪偏角θk计算得到u1,k，u2,k，引入比例系数参数和积分系数参数，即
其中，Kp1，Kp2为比例系数参数，Ki1，Ki2为积分系数参数，θk，dk分别为k时刻(k≥1)机器人的跟踪距离和跟踪偏角。
得到移动机器人的运动速度，即左右轮线速度vl,k、vr,k，即
其中，vl，k，vr，k为移动机器人左、右轮线速度。
移动机器人跟踪模型采用匀速模型来描述移动机器人的跟随状态:
xk＝Axk-1+Buk+wk
其中，xk＝[θk，dk]T为k时刻的移动机器人的跟踪目标状态，k＝1，2...为离散序列，θk，dk为k时刻的移动机器人的跟踪偏角和跟踪距离，uk＝[u1k，u2k]为系统输入，wk为零均值且协方差为Q的高斯噪声。A，B是将输入转换为状态的矩阵。
本发明采用基于RGB-D信息的Mean-shift目标跟踪方法对跟踪目标位置进行预处理，计算跟踪偏角、跟踪距离。设其估计误差服从N(0，Rk)的高斯分布，则系统的量测模型可表示为：
zk＝Hxk+vk
其中，系统状态观测zk＝[θk，dk]T，观测矩阵是状态变量到测量的转换矩阵，vk是零均值且协方差为Rk的高斯噪声，且与过程噪声wk不相关。
第四步，采用假设检验的方式引入自适应因子，对系统噪声进行补偿，从而提高滤波器的鲁棒性。
记系统量测zk导出的新息ek：
表示量测的预测值。为简化分析，假设跟踪偏角和跟踪距离的新息序列不相关，则有
其中，Pr(·)表示某个随机事件发生的概率，α为显著性水平，为1-α的置信界。ηk＝diag([ηk(1)，ηk(2)])，ηk(i)＝(ek(i))T(Pk(i，i))-1ek(i)，i＝1，2.ek(i)表示ek的第i个元素，Pzz，k(i，i)表示新息协方差矩阵对角线上第i个元素I为二维单位阵。
当新息序列落在外时，可认为当前的量测噪声协方差矩阵Rk＝[Rθ，kRd，k]T不足以描述量测的不确定性，将引入一个标量的自适应因子λk＝[λθ，kλd，k]T，即令新的量测噪声方差为
使其满足式Rθ，k，Rd，k是移动机器人跟踪偏角和跟踪距离的测量噪声协方差矩阵，则自适应因子为：
其中，Rk(1，1)＝Rθ，k，Rk(2，2)＝Rd，k。
设计自适应KF滤波器，过程如下：
步骤1：状态初始化，获取移动机器人的初始跟踪状态P0|0。移动机器人的初始状态为观测的初始值P0|0。
步骤2：进行时间更新，计算Pk|k-1。
Pk|k-1＝Pk-1|k-1+Q
其中，为k时刻的系统状态的预测值，为k-1时刻的最优状态估计值，Pk|k-1为k时刻的状态对应的协方差矩阵，Δtk为系统状态的采样周期，dr为移动机器人的两个前轮的轮间距，uk-1为k-1时刻对系统的控制量，Q为系统噪声的协方差矩阵。
步骤3：对量测信息进行更新，计算和Pzz，k。
Pzz，k＝HPk|k-1HT+Rk
其中，为k时刻的观测值，观测矩阵是状态变量到测量的转换矩阵，Pzz，k为新息协方差矩阵，Rk为k时刻的系统噪声的协方差矩阵。
步骤4：引入自适应因子λk，计算
其中，为系统新的新息协方差矩阵。
步骤5：状态更新，获得和Pk|k。
其中，Kk表示k时刻的滤波增益，和Pk|k分别是k时刻状态估计值及其协方差矩阵。
通过上面的步骤就可得到移动机器人跟随系统的状态估计值，将得到的估计值作为控制系统的输入，控制机器人的运动状态，即控制机器人跟踪目标。如图4为跟踪误差结果，这样做的目的是为了去除量测噪声造成的不确定误差，提高移动机器人跟随目标的稳定性。

Claims (3)

1.一种基于RGB-D信息的人体目标识别与跟随方法，其特征在于：所述方法包括以下步骤：
第一步，识别目标并定位目标：通过基于RGB-D信息的Meanshift跟踪方法识别目标并得到目标的位置信息，获得目标的质心坐标cp；
第二步，获得移动机器人跟踪状态：根据相机坐标系与图像坐标系的转换关系得到相机坐标下目标质心的位置信息，结合OpenNI库，在PC端得到目标的深度信息，即目标的3D信息；通过相机坐标系下目标的位置信息，获得移动机器人的跟踪距离dk和跟踪偏角θk；
第三步，建立模型：移动机器人采用PID控制方法，通过移动机器人的跟踪距离dk和跟踪偏角θk计算得到机器人控制输入u1,k，u2,k，u1,k为移动机器人跟踪偏角PID控制的输出，u2,k为移动机器人跟踪距离PID控制的输出，引入比例系数参数Kp1，Kp2和积分系数参数Ki1，Ki2，从而得到移动机器人的运动速度，即左右轮线速度vl,k、vr,k，移动机器人跟踪模型采用匀速模型来描述移动机器人的跟随状态，建立移动机器人跟随模型和系统量测模型；
第四步，采用假设检验的方式引入自适应因子λk，对量测误差进行补偿。
2.如权利要求1所述的一种基于RGB-D信息的人体目标识别与跟随方法，其特征在于：所述第四步中，设计自适应KF滤波器的过程如下：首先，状态初始化，获取移动机器人的初始跟踪状态P0|0，其中，P0|0为状态变量对应的协方差矩阵；其次，进行时间更新，计算Pk|k-1，其中，是k时刻的目标状态的预测值，Pk|k-1是k时刻的状态变量对应的协方差矩阵；然后，对量测信息进行更新，计算和Pzz，k，其中，表示量测的预测值，Pzz，k为新息协方差；最后，由自适应因子计算得到新的新息协方差Pzz，k，更新移动机器人状态信息，得到和Pk|k，为k时刻的目标状态的估计值。
3.如权利要求1或2所述的一种基于RGB-D信息的人体目标识别与跟随方法，其特征在于：所述第三步中，通过移动机器人的跟踪距离dk和跟踪偏角θk计算得到u1,k，u2,k，引入比例系数参数和积分系数参数，即
其中，Kp1，Kp2为比例系数参数，Ki1，Ki2为积分系数参数，θk，dk分别为k时刻机器人的跟踪距离和跟踪偏角，(k≥1)；
得到移动机器人的运动速度，即左右轮线速度vl,k、vr,k，即
其中，vl，k，vr，k为移动机器人左、右轮线速度；
移动机器人跟踪模型采用匀速模型来描述移动机器人的跟随状态:
xk＝Axk-1+Buk+wk
其中，xk＝[θk，dk]T为k时刻的移动机器人的跟踪目标状态，k＝1，2...为离散序列，θk，dk为k时刻的移动机器人的跟踪偏角和跟踪距离，uk＝[u1k，u2k]为系统输入，wk为零均值且协方差为Q的高斯噪声。A，B是将输入转换为状态的矩阵；
采用基于RGB-D信息的Mean-shift目标跟踪方法对跟踪目标位置进行预处理，计算跟踪偏角、跟踪距离；设其估计误差服从N(0，Rk)的高斯分布，则系统的量测模型表示为：
zk＝Hxk+vk
其中，系统状态观测zk＝[θk，dk]T，观测矩阵是状态变量到测量的转换矩阵，υk是零均值且协方差为Rk的高斯噪声，且与过程噪声wk不相关。
CN201810067530.6A 2018-01-24 2018-01-24 一种基于rgb-d信息的人体目标识别与跟随方法 Active CN108469729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810067530.6A CN108469729B (zh) 2018-01-24 2018-01-24 一种基于rgb-d信息的人体目标识别与跟随方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810067530.6A CN108469729B (zh) 2018-01-24 2018-01-24 一种基于rgb-d信息的人体目标识别与跟随方法

Publications (2)

Publication Number Publication Date
CN108469729A true CN108469729A (zh) 2018-08-31
CN108469729B CN108469729B (zh) 2020-11-27

Family

ID=63266090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810067530.6A Active CN108469729B (zh) 2018-01-24 2018-01-24 一种基于rgb-d信息的人体目标识别与跟随方法

Country Status (1)

Country Link
CN (1) CN108469729B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112034713A (zh) * 2020-09-07 2020-12-04 山东大学 非理想网络环境下移动目标的最优状态估计方法及系统
CN114047787A (zh) * 2021-12-23 2022-02-15 普宙科技(深圳)有限公司 无人机避障系统、方法、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200485A (zh) * 2014-07-10 2014-12-10 浙江工业大学 一种面向视频监控的人体跟踪方法
US9201425B2 (en) * 2012-10-16 2015-12-01 Electronics And Telecommunications Research Institute Human-tracking method and robot apparatus for performing the same
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106600640A (zh) * 2016-12-12 2017-04-26 杭州视氪科技有限公司 一种基于rgb‑d相机的人脸识别辅助眼镜
CN107909603A (zh) * 2017-12-01 2018-04-13 浙江工业大学 一种面向跟随机器人的视觉跟踪方法
CN110118556A (zh) * 2019-04-12 2019-08-13 浙江工业大学 一种基于协方差交叉融合slam的机器人定位方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9201425B2 (en) * 2012-10-16 2015-12-01 Electronics And Telecommunications Research Institute Human-tracking method and robot apparatus for performing the same
CN104200485A (zh) * 2014-07-10 2014-12-10 浙江工业大学 一种面向视频监控的人体跟踪方法
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106600640A (zh) * 2016-12-12 2017-04-26 杭州视氪科技有限公司 一种基于rgb‑d相机的人脸识别辅助眼镜
CN107909603A (zh) * 2017-12-01 2018-04-13 浙江工业大学 一种面向跟随机器人的视觉跟踪方法
CN110118556A (zh) * 2019-04-12 2019-08-13 浙江工业大学 一种基于协方差交叉融合slam的机器人定位方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HENGLI LIU 等: "People detection and tracking using RGB-D cameras for mobile robots", 《IEEE》 *
SHIUH-KU WENG 等: "Video object tracking using adaptive Kalman filter", 《ES》 *
侯杰虎: "基于 kalman 滤波器的视频运动目标跟踪算法研究", 《CNKI》 *
王亚男: "基于 RGB-D 信息的移动机器人人体目标跟随方法", 《CNKI》 *
王凯: "融合卡尔曼滤波和meanshift的尺度自适应运动目标跟踪算法的研究与实现", 《CNKI》 *
董辉 等: "基于自适应Kalman 滤波的移动机器人人体目标跟随", 《高技术通讯》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112034713A (zh) * 2020-09-07 2020-12-04 山东大学 非理想网络环境下移动目标的最优状态估计方法及系统
CN114047787A (zh) * 2021-12-23 2022-02-15 普宙科技(深圳)有限公司 无人机避障系统、方法、设备及存储介质
CN114047787B (zh) * 2021-12-23 2024-04-05 普宙科技有限公司 无人机避障系统、方法、设备及存储介质

Also Published As

Publication number Publication date
CN108469729B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN109949375B (zh) 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN106981073B (zh) 一种基于无人机的地面运动目标实时跟踪方法及系统
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN109558879A (zh) 一种基于点线特征的视觉slam方法和装置
Xu et al. SLAM of Robot based on the Fusion of Vision and LIDAR
CN106780631A (zh) 一种基于深度学习的机器人闭环检测方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
Jia et al. A Survey of simultaneous localization and mapping for robot
CN113223045A (zh) 基于动态物体语义分割的视觉与imu传感器融合定位系统
Chen et al. A stereo visual-inertial SLAM approach for indoor mobile robots in unknown environments without occlusions
Dame et al. Using mutual information for appearance-based visual path following
Zhang et al. ST-VIO: Visual-inertial odometry combined with image segmentation and tracking
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN108469729A (zh) 一种基于rgb-d信息的人体目标识别与跟随方法
Zhou et al. Information-efficient 3-D visual SLAM for unstructured domains
Li et al. Point-line feature fusion based field real-time RGB-D SLAM
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
Lv et al. Target recognition algorithm based on optical sensor data fusion
Kurenkov et al. Lieposenet: Heterogeneous loss function based on lie group for significant speed-up of posenet training process
Richardson et al. PAS: visual odometry with perspective alignment search
Chen et al. Global Visual And Semantic Observations for Outdoor Robot Localization
Das et al. Sensor fusion in autonomous vehicle using LiDAR and camera sensor with Odometry
Luo et al. Research on SLAM System Based on Binocular Vision and IMU Information
Mei et al. Highly dynamic visual SLAM dense map construction based on indoor environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant