CN113077493A - 一种移动机器人目标跟随的方法及系统 - Google Patents
一种移动机器人目标跟随的方法及系统 Download PDFInfo
- Publication number
- CN113077493A CN113077493A CN202110512907.6A CN202110512907A CN113077493A CN 113077493 A CN113077493 A CN 113077493A CN 202110512907 A CN202110512907 A CN 202110512907A CN 113077493 A CN113077493 A CN 113077493A
- Authority
- CN
- China
- Prior art keywords
- target
- robot
- following
- data
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000036544 posture Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000007704 transition Effects 0.000 claims description 9
- 230000026676 system process Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种移动机器人目标跟随的方法及系统，包括：机器人接收用户发送的机器人目标跟随指令；机器人初始化所需跟随目标的姿态获取装置，并控制机器人身体姿态与跟随目标姿态匹配；机器人通过记载深度摄像机，获取所需跟随目标并计算机器人与跟随目标之间的距离，得到位姿数据；机器人根据目标跟随算法，将位姿数据、姿态数据和里程数据进行统合，使机器人相对于跟随目标的姿态完全匹配，并使两者保持用户设定的相对距离。本发明通过视觉识别跟随目标算法与目标姿态装置获取的姿态信息的融合，实现并提高机器人目标跟随的准确性和稳定性。
Description
技术领域
本发明涉及自动化控制领域，尤其涉及一种移动机器人目标跟随的方法及系统。
背景技术
由于自动化在工业与生活中与人的关系日益密切，与其相关的机器人也在不同的领域中得到了广泛的运用。随着科技的不断发展以及人力成本的不断增加，特别是对于无人化工厂，高危场景的巡检，以及其它对从业人员存在潜在危害和可代替的行业，如何利用机器人提高行业的安全性，高效性，稳定性以及高智能，相比其他自动化领域要求更为苛刻。而在上述行业中，拥有高智能高稳定性则是其行业中非常重要的指标之一，在机器人运用中往往存在在特定场景下单一传感器可靠性不足的问题，例如在移动机器人SLAM功能失效时，需要通过移动机器人的目标跟随能力将机器人带回目标地点。
现有的移动机器人目标跟随主要使用单一视觉识别跟随技术，需要加装深度摄像机并通过目标识别算法获取跟随目标，然而单一深度相机存在应用场景受限，鲁棒性差等缺陷，目标识别算法也存在应用场景单一，易受外界数据干扰等缺点。
发明内容
针对上述问题，本发明提供一种移动机器人目标跟随的方法，用于为了解决机器人在特定场景下单一传感器可靠性不足的问题。
本发明通过以下技术方案实现：
一种移动机器人目标跟随的方法，包括以下步骤：
S1. 机器人接收用户发送的机器人目标跟随指令；
S2. 机器人初始化所需跟随目标的姿态获取装置，并控制机器人身体姿态与跟随目标姿态匹配；
S3. 机器人通过记载深度摄像机，获取所需跟随目标并计算机器人与跟随目标之间的距离，得到位姿数据；
S4. 机器人根据目标跟随算法，将位姿数据、姿态数据和里程数据进行统合，使机器人相对于跟随目标的姿态完全匹配，并使两者保持用户设定的相对距离；
其中，所述步骤S4具体包括以下子步骤：
S401. 当跟随目标开始移动时，获取跟随目标识别样本；
S402. 通过深度学习算法YOLO框架和R-CNN算法训练跟随目标；
S403. 通过双目相机获取目标点云数据,并通过中心点云点,计算出跟随目标相对于双目相机的相对位置与姿态；
S404. 通过卡尔数据融合算法使机器人相对于跟随目标在视觉识别下姿态匹配,并使两者保持用户设定的相对距离。
进一步的，所述卡尔数据融合算法具体包括以下子步骤：
S4041. 根据状态转移方程计算当前状态预测量，所述当前状态预测量包括当前跟随目标的位置和姿态角，计算公式如下：
x(k|k-1)=Ax(k-1|k-1) +Bu(k-1|k-1) （1）；
其中，所述x（k|k-1）表示当前状态（即k时刻）预测量，所述x（k-1|k-1）表示上上一时刻（k-1时刻）状态最优估计量；所述u（k-1|k-1）表示上一时刻（k-1时刻）机器人的线速度和角速度；所述A和B表示状态转移矩阵和过程转移矩阵；
S4042. 根据系统协方差转移，将系统过程噪声协方差误差矩阵计算带入至模型中，具体计算公式如下：
P(k|k-1)=P(k-1|k-1) +Q （2）；
其中，所述P（k|k-1）表示k时刻的系统预测状态量的误差协方差，所述Q表示系统过程噪声误差协方差；
S4043. 根据采集的观测量和计算的观测预测量以及卡尔曼增益修正状态预测量，以获得当前时刻(k时刻的最优估计量)，具体计算公式如下：
X(k|k)= X(k|k-1)+Kg(k) (Z(k)-H*X(k|k-1)) （3）；
其中，所述Kg（k）表示k时刻的卡尔曼增益，所述Z（k）表示k时刻的观测值；所述H*X(k|k-1)为k时刻的故观测预测量；所述H为观测转移矩阵；
S4044. 计算卡尔曼增益，通过系统协方差和观测协方差对最优增益参数进行计算，具体计算公式如下：
Kg(k)= P(k|k-1) / (P(k|k-1) + R) （4）；
其中，所述R表示观测误差协方差；
S4045. 根据公式对系统状态误差协方差进行更新，具体计算公式为：
P(k|k)=（1-Kg(k)）P(k|k-1) （5）。
进一步的，所述根据更新系统最优状态公式计算并判断机器人当前状态是否接近模型具体判断方法为：判断Kg(k) (Z(k)-X(k|k-1))数值，当Kg(k) (Z(k)-X(k|k-1))越接近0时，机器人当前状态越接近与模型。
进一步的，所述相对距离为1.5m，当机器人与跟随目标距离大于1.5m时，机器人自动移动至距离跟随目标1.5m处。
一种移动机器人目标跟随的系统，包括：
控制模块，用于驱动机器人进行目标跟随；
目标识别模块，用于对目标进行拍摄识别；
姿态识别模块，用于对目标的姿态进行识别；
距离识别模块，用于对目标与机器人的相对位置进行识别；
目标跟随模块，用于根据识别的目标姿态信息和位置信息，控制机器人进行跟随。
进一步的，所述目标跟随模块包括：
姿态跟随单元，用于控制机器人进行目标姿态跟随；
距离跟随单元，用于控制机器人进行目标距离跟随。
进一步的，所述目标识别模块与外部机载深度摄像机连接，所述目标识别模块通过机载深度摄像机得到所需目标信息。
本发明的有益效果：本发明通过视觉识别跟随目标算法与目标姿态装置获取的姿态信息的融合，实现并提高机器人目标跟随的准确性和稳定性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提出的方法流程示意图；
图2为本发明实施例提出的系统结构图；
图3为本发明实施例提出的终端设备结构示意图；
图4为本发明实施例提出的计算机可读存储介质结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1，本实施例提出一种移动机器人（狗）目标跟随的方法，包括以下步骤：
S1. 机器人（狗）接收用户发送的机器人（狗）目标跟随指令；
S2. 机器人（狗）初始化所需跟随目标的姿态获取装置，并控制机器人（狗）身体姿态与跟随目标姿态匹配；
S3. 机器人（狗）通过记载深度摄像机，获取所需跟随目标并计算机器人（狗）与跟随目标之间的距离，得到位姿数据；
S4. 机器人（狗）根据目标跟随算法，将位姿数据、姿态数据和里程数据进行统合，使机器人（狗）相对于跟随目标的姿态完全匹配，并使两者保持用户设定的相对距离；
其中，所述步骤S4具体包括以下子步骤：
S401. 当跟随目标开始移动时，获取跟随目标识别样本；
S402. 通过深度学习算法YOLO和R-CNN算法训练跟随目标；
S403. 通过双目相机获取目标点云数据,并通过中心点云点,计算出跟随目标相对于双目相机的相对位置与姿态；
S404. 通过卡尔数据融合算法使机器人（狗）相对于跟随目标在视觉识别下姿态匹配,并使两者保持用户设定的相对距离。
进一步的，所述卡尔数据融合算法具体包括以下子步骤：
S4041. 根据状态转移方程计算当前状态预测量，所述当前状态预测量包括当前跟随目标的位置和姿态角，计算公式如下：
x(k|k-1)=Ax(k-1|k-1) +Bu(k-1|k-1) （1）；
其中，所述x（k|k-1）表示当前状态（即k时刻）预测量，所述x（k-1|k-1）表示上上一时刻（k-1时刻）状态最优估计量；所述u（k-1|k-1）表示上一时刻（k-1时刻）机器人（狗）的线速度和角速度；所述A和B表示状态转移矩阵和过程转移矩阵；
S4042. 根据系统协方差转移，将系统过程噪声协方差误差矩阵计算带入至模型中，具体计算公式如下：
P(k|k-1)=P(k-1|k-1) +Q （2）；
其中，所述P（k|k-1）表示k时刻的系统预测状态量的误差协方差，所述Q表示系统过程噪声误差协方差；
S4043. 根据采集的观测量和计算的观测预测量以及卡尔曼增益修正状态预测量，以获得当前时刻(k时刻的最优估计量)，具体计算公式如下：
X(k|k)= X(k|k-1)+Kg(k) (Z(k)-H*X(k|k-1)) （3）；
其中，所述Kg（k）表示k时刻的卡尔曼增益，所述Z（k）表示k时刻的观测值；所述H*X(k|k-1)为k时刻的故观测预测量；所述H为观测转移矩阵；
S4044. 计算卡尔曼增益，通过系统协方差和观测协方差对最优增益参数进行计算，具体计算公式如下：
Kg(k)= P(k|k-1) / (P(k|k-1) + R) （4）；
其中，所述R表示观测误差协方差；
S4045. 根据公式对系统状态误差协方差进行更新，具体计算公式为：
P(k|k)=（1-Kg(k)）P(k|k-1) （5）。
进一步的，所述根据更新系统最优状态公式计算并判断机器人（狗）当前状态是否接近模型具体判断方法为：判断Kg(k) (Z(k)-X(k|k-1))数值，当Kg(k) (Z(k)-X(k|k-1))越接近0时，机器人（狗）当前状态越接近与模型。
进一步的，所述相对距离为1.5m，当机器人（狗）与跟随目标距离大于1.5m时，机器人（狗）自动移动至距离跟随目标1.5m处。
实施例2
在实施例1的基础上，本实施例提出一种移动机器人（狗）目标跟随的系统，如图2，包括：
控制模块110，用于驱动机器人（狗）进行目标跟随；
目标识别模块120，用于对目标进行拍摄识别；
姿态识别模块130，用于对目标的姿态进行识别；
距离识别模块140，用于对目标与机器人（狗）的相对位置进行识别；
目标跟随模块150，用于根据识别的目标姿态信息和位置信息，控制机器人（狗）进行跟随。
进一步的，所述目标跟随模块包括：
姿态跟随单元151，用于控制机器人（狗）进行目标姿态跟随；
距离跟随单元152，用于控制机器人（狗）进行目标距离跟随。
进一步的，所述目标识别模块120与外部机载深度摄像机连接，所述目标识别模块120通过机载深度摄像机得到所需目标信息。
实施例3
在实施例1的基础上，本实施例提出一种轮式移动机器人（狗）目标跟随方法，应用于一种轮式移动机器人（狗），其中所述相机均为深度相机，所述目标位置为机器人（狗）相对于跟随目标（用户）的姿态角与相对1.5m处的位置。所述系统为机器人（狗）系统，所述姿态获取装置为跟随目标装配的自身姿态角度获取装置。
步骤一：用户通过用户界面或者语音交互发送机器人（狗）目标跟随命令，所述移动机器人（狗）目标跟随功能开始执行，并反馈目标跟随开始状态(相对位置，偏航角）。
步骤二：初始化跟随目标佩戴的姿态获取装备，通过此装备获得用户此时的姿态角，并将此姿态角发送给移动机器人（狗）作为机器人（狗）的姿态命令，使移动机器人（狗）的姿态与目标姿态一致。
步骤三：机器人（狗）利用机载深度摄像机，通过视觉识别跟随目标算法获取所需跟随目标，并计算出机器人（狗）相对于跟随目标的距离，如果大于1.5m则机器人（狗）会自动移动到距离跟随目标1.5m处。
步骤四：当目标开始移动时，利用目标跟随卡尔曼滤波融合算法，使机器狗相对于跟随目标的姿态完全匹配，并使两者保持用户设定的相对距离1.5m。
实施例4
在实施例1的基础上，本实施例提出一种足式移动机器人（狗）目标跟随方法，应用于一种轮式移动机器人（狗），其中所述相机均为深度相机，所述目标位置为机器人（狗）相对于跟随目标（用户）的姿态角与相对1.5m处的位置。所述系统为机器人（狗）系统，所述姿态获取装置为跟随目标装配的自身姿态角度获取装置。
步骤一：用户通过用户界面或者语音交互发送机器人（狗）目标跟随命令，所述移动机器人（狗）目标跟随功能开始执行，并反馈目标跟随开始状态。
步骤二：初始化跟随目标佩戴的姿态获取装备，通过此装备获得用户此时的姿态角，并将此姿态角发送给移动机器人（狗）作为机器人（狗）的姿态命令，使移动机器人（狗）的姿态与目标姿态一致。
步骤三：机器人（狗）利用机载深度摄像机，通过视觉识别跟随目标算法获取所需跟随目标，并计算出机器人（狗）相对于跟随目标的距离，如果大于1.5m则机器人（狗）会自动移动到距离跟随目标1.5m处。
步骤四：当目标开始移动时，(通过视觉识别跟随目标算法:1.获取大量跟随目标识别样本.2.通过深度学习算法YOLO或R-CNN算法训练跟随目标.3.通过双目相机获取的目标点云数据,通过中心点云点,计算出跟随目标相对于双目相机的相对位置与姿态.4.通过卡尔曼滤波数据融合算法使机器狗相对于跟随目标在视觉识别下姿态匹配,并使两者保持用户设定的相对距离1.5m。
实施例5
如图3，在实施例1的基础上，本实施例提出一种移动机器人目标跟随的终端设备，终端设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。
其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本申请实施例中上述任一项一种移动机器人目标跟随的方法，其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。存储器210还可以包括具有一组(至少一个)程序模块215的程序/实用工具214，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的，处理器220可以执行上述计算机程序，以及可以执行程序/实用工具214。
总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
终端设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该终端设备200交互的设备通信，和/或与使得该终端设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且，终端设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与终端设备200的其它模块通信。应当明白，尽管图中未示出，可以结合终端设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
实施例6
在实施例1的基础上，本实施例提出一种移动机器人目标跟随的计算机可读存储介质，所述计算机可读存储介质上存储有指令，该指令被处理器执行时实现上述任一的一种移动机器人目标跟随的方法。其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
图4示出了本实施例提供的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品300不限于此，在本实施例件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，机器人通过视觉识别跟随目标算法与目标姿态装置获取的姿态信息的融合，实现并提高机器人目标跟随的准确性和稳定性。
且本实施例中所提供的方法仅是本发明所对应的设备的加以应用，因此，本发明相关的形状、尺寸、传感器型号，移动机器人的种类，其实际实施时各组件的相关形态需根据实际需 要加以改变。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.一种移动机器人目标跟随的方法，其特征在于，包括以下步骤：
S1. 机器人接收用户发送的机器人目标跟随指令；
S2. 机器人初始化所需跟随目标的姿态获取装置，并控制机器人身体姿态与跟随目标姿态匹配；
S3. 机器人通过记载深度摄像机，获取所需跟随目标并计算机器人与跟随目标之间的距离，得到位姿数据；
S4. 机器人根据目标跟随算法，将位姿数据、姿态数据和里程数据进行统合，使机器人相对于跟随目标的姿态完全匹配，并使两者保持用户设定的相对距离；
其中，所述步骤S4具体包括以下子步骤：
S401. 当跟随目标开始移动时，获取跟随目标识别样本；
S402. 通过深度学习算法YOLO框架和R-CNN算法训练跟随目标；
S403. 通过双目相机获取目标点云数据,并通过中心点云点,计算出跟随目标相对于双目相机的相对位置与姿态；
S404. 通过卡尔数据融合算法使机器人相对于跟随目标在视觉识别下姿态匹配,并使两者保持用户设定的相对距离。
2.根据权利要求1所述的一种移动机器人目标跟随的方法，其特征在于，所述卡尔数据融合算法具体包括以下子步骤：
S4041. 根据状态转移方程计算当前状态预测量，所述当前状态预测量包括当前跟随目标的位置和姿态角，计算公式如下：
x(k|k-1)=Ax(k-1|k-1) +Bu(k-1|k-1) （1）；
其中，所述x（k|k-1）表示当前状态，即k时刻的预测量，所述x（k-1|k-1）表示上上一时刻，即k-1时刻状态最优估计量；所述u（k-1|k-1）表示上一时刻，即k-1时刻机器人的线速度和角速度；所述A和B表示状态转移矩阵和过程转移矩阵；
S4042. 根据系统协方差转移，将系统过程噪声协方差误差矩阵计算带入至模型中，具体计算公式如下：
P(k|k-1)=P(k-1|k-1) +Q （2）；
其中，所述P（k|k-1）表示k时刻的系统预测状态量的误差协方差，所述Q表示系统过程噪声误差协方差；
S4043. 根据采集的观测量和计算的观测预测量以及卡尔曼增益修正状态预测量，以获得当前时刻(k时刻的最优估计量)，具体计算公式如下：
X(k|k)= X(k|k-1)+Kg(k) (Z(k)-H*X(k|k-1)) （3）；
其中，所述Kg（k）表示k时刻的卡尔曼增益，所述Z（k）表示k时刻的观测值；所述H*X(k|k-1)为k时刻的故观测预测量；所述H为观测转移矩阵；
S4044. 计算卡尔曼增益，通过系统协方差和观测协方差对最优增益参数进行计算，具体计算公式如下：
Kg(k)= P(k|k-1) / (P(k|k-1) + R) （4）；
其中，所述R表示观测误差协方差；
S4045. 根据公式对系统状态误差协方差进行更新，具体计算公式为：
P(k|k)=（1-Kg(k)）P(k|k-1) （5）。
3.根据权利要求2所述的一种移动机器人跟随的方法，其特征在于，所述根据更新系统最优状态公式计算并判断机器人当前状态是否接近模型具体判断方法为：判断Kg(k) (Z(k)-X(k|k-1))数值，当Kg(k) (Z(k)-X(k|k-1))越接近0时，机器人当前状态越接近与模型。
4.根据权利要求1所述的一种移动机器人目标跟随的方法，其特征在于，所述相对距离为1.5m，当机器人与跟随目标距离大于1.5m时，机器人自动移动至距离跟随目标1.5m处。
5.一种移动机器人目标跟随的系统，其特征在于，包括：
控制模块，用于驱动机器人进行目标跟随；
目标识别模块，用于对目标进行拍摄识别；
姿态识别模块，用于对目标的姿态进行识别；
距离识别模块，用于对目标与机器人的相对位置进行识别；
目标跟随模块，用于根据识别的目标姿态信息和位置信息，控制机器人进行跟随。
6.根据权利要求5所述的一种移动机器人目标跟随的系统，其特征在于，所述目标跟随模块包括：
姿态跟随单元，用于控制机器人进行目标姿态跟随；
距离跟随单元，用于控制机器人进行目标距离跟随。
7.根据权利要求5所述的一种移动机器人目标跟随的系统，其特征在于，所述目标识别模块与外部机载深度摄像机连接，所述目标识别模块通过机载深度摄像机得到所需目标信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110512907.6A CN113077493A (zh) | 2021-05-11 | 2021-05-11 | 一种移动机器人目标跟随的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110512907.6A CN113077493A (zh) | 2021-05-11 | 2021-05-11 | 一种移动机器人目标跟随的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113077493A true CN113077493A (zh) | 2021-07-06 |
Family
ID=76616481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110512907.6A Pending CN113077493A (zh) | 2021-05-11 | 2021-05-11 | 一种移动机器人目标跟随的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113077493A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114200934A (zh) * | 2021-12-06 | 2022-03-18 | 北京云迹科技股份有限公司 | 机器人目标跟随控制方法、装置、电子设备和存储介质 |
| CN115344051A (zh) * | 2022-10-17 | 2022-11-15 | 广州市保伦电子有限公司 | 一种智能跟随小车的视觉跟随方法及装置 |
| CN115705064A (zh) * | 2021-08-03 | 2023-02-17 | 北京小米移动软件有限公司 | 足式机器人的跟随控制方法、装置及机器人 |
| CN115920420A (zh) * | 2023-02-20 | 2023-04-07 | 自贡创赢智能科技有限公司 | 一种跟随式电动恐龙 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105252532A (zh) * | 2015-11-24 | 2016-01-20 | 山东大学 | 动作捕捉机器人协同柔性姿态控制的方法 |
| CN108594245A (zh) * | 2018-07-04 | 2018-09-28 | 北京国泰星云科技有限公司 | 一种目标物运动监测系统及方法 |
| CN108762309A (zh) * | 2018-05-03 | 2018-11-06 | 浙江工业大学 | 一种基于假设卡尔曼滤波的人体目标跟随方法 |
| CN111699021A (zh) * | 2016-11-21 | 2020-09-22 | 阿斯托计算机断层扫描公司 | 对身体中的目标的三维跟踪 |
| US20210004022A1 (en) * | 2018-11-20 | 2021-01-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and control system for controlling mobile robot |
-
2021
- 2021-05-11 CN CN202110512907.6A patent/CN113077493A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105252532A (zh) * | 2015-11-24 | 2016-01-20 | 山东大学 | 动作捕捉机器人协同柔性姿态控制的方法 |
| CN111699021A (zh) * | 2016-11-21 | 2020-09-22 | 阿斯托计算机断层扫描公司 | 对身体中的目标的三维跟踪 |
| CN108762309A (zh) * | 2018-05-03 | 2018-11-06 | 浙江工业大学 | 一种基于假设卡尔曼滤波的人体目标跟随方法 |
| CN108594245A (zh) * | 2018-07-04 | 2018-09-28 | 北京国泰星云科技有限公司 | 一种目标物运动监测系统及方法 |
| US20210004022A1 (en) * | 2018-11-20 | 2021-01-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and control system for controlling mobile robot |
Non-Patent Citations (1)
| Title |
|---|
| 马晨阳: "基于区域跟踪与人体目标在匹配的移动机器人跟随研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115705064A (zh) * | 2021-08-03 | 2023-02-17 | 北京小米移动软件有限公司 | 足式机器人的跟随控制方法、装置及机器人 |
| CN114200934A (zh) * | 2021-12-06 | 2022-03-18 | 北京云迹科技股份有限公司 | 机器人目标跟随控制方法、装置、电子设备和存储介质 |
| CN115344051A (zh) * | 2022-10-17 | 2022-11-15 | 广州市保伦电子有限公司 | 一种智能跟随小车的视觉跟随方法及装置 |
| CN115920420A (zh) * | 2023-02-20 | 2023-04-07 | 自贡创赢智能科技有限公司 | 一种跟随式电动恐龙 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113077493A (zh) | 一种移动机器人目标跟随的方法及系统 | |
| KR102433743B1 (ko) | 로봇의 지도 구축 및 위치 추적 | |
| Zhang et al. | Virtual submerged floating operational system for robotic manipulation | |
| CN109917818B (zh) | 基于地面机器人的协同搜索围堵方法 | |
| US11331806B2 (en) | Robot control method and apparatus and robot using the same | |
| US20210031364A1 (en) | Backup control based continuous training of robots | |
| US9623564B2 (en) | Target-seeking control method and system for mobile robots | |
| CN113238554A (zh) | 一种基于激光与视觉融合slam技术的室内导航方法及系统 | |
| US11334085B2 (en) | Method to optimize robot motion planning using deep learning | |
| Ionescu | Adaptive simplex architecture for safe, real-time robot path planning | |
| Asadi et al. | Automated object manipulation using vision-based mobile robotic system for construction applications | |
| Bodhale et al. | Path planning for a mobile robot in a dynamic environment | |
| CN115847422A (zh) | 一种用于遥操作的姿态识别方法、装置及系统 | |
| Burlacu et al. | Predictive control architecture for real-time image moments based servoing of robot manipulators | |
| Wu et al. | Infrastructure-free global localization in repetitive environments: An overview | |
| Lekkala et al. | Accurate and augmented navigation for quadcopter based on multi-sensor fusion | |
| CN110853098B (zh) | 机器人定位方法、装置、设备及存储介质 | |
| Tsai et al. | Visually guided picking control of an omnidirectional mobile manipulator based on end-to-end multi-task imitation learning | |
| Carius et al. | Autonomous Mission with a Mobile Manipulator—A Solution to the MBZIRC | |
| CN113043277B (zh) | 多关节机构轨迹规划方法、装置、电子设备及存储介质 | |
| US20220138535A1 (en) | Source-agnostic image processing | |
| Madhira et al. | A quantitative study of mapping and localization algorithms on ROS based differential robot | |
| Ohara et al. | Component-based robot software design for pick-and-place task described by SysML | |
| CN113761091A (zh) | 闭环检测方法、装置、电子设备、系统和存储介质 | |
| Raj et al. | Designing and Analysis of an Architecture of Motion Control for a Mobile Robot Using Simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210706 |