CN109986605A - 一种智能自动跟踪机器人系统及方法 - Google Patents

Abstract

本发明公开了一种智能自动跟踪机器人系统及方法，包括超声波发射模块；超声波编码模块、超声波解码模块、超声波接收模块、摄像模块、识别模块、检测模块、避障决策模块、处理模块、驱动模块、供电模块电性连接，超声波发射模块发射信号到超声波编码模块进行编码防止超声波跟踪定位过程中超声波接收模块受到其他超声波的干扰，超声波接受模块用于接收超声波信号，摄像模块用于采集视频录像，识别模块用于识别障碍物，检测模块用于对障碍物进行分类，避障决策模块根据预先设置的避障规则进行避障，处理模块用于处理信号并向驱动模块发送指令，供电模块用于供电，该跟踪方法的优点是计算量小，速度快，检测精度高，跟踪避障方式更灵活。

Description

一种智能自动跟踪机器人系统及方法

技术领域

本发明属于智能机器人领域，尤其涉及一种智能自动跟踪机器人系统及方法。

背景技术

随着人们生活水平的提高，许多事情可以用机器人代替，自动跟随机器人可以代替人们进行一些我们很难完成或者很危险的事情以及给人们生活带来便捷，例如：在救险、城市交通、环境监控以及工业安全巡防等领域，智能自动跟随机器人也为特殊环境安全巡检提供了新的平台，它能够在工作人员的操控下进行工作，替代人工巡检对象实施接近检测，减少工人的工作强度；在生活中，智能自动跟随机器人可以在堵车的环境中、拥挤的商场中自由的行走，给人们的生活带来便捷，在此基础上我们开发了它的自动跟随功能，在各种场合都有巧妙的应用，比如在超市里与你同行的购物车、在停车场的车辆引导，特别是在服务行业，医疗行业，和生产环境有广阔的应用场景，例如自助餐馆，可以为每一位顾客分配一个跟踪机器人，该机器人持续的为顾客提供服务，或者在仓库该机器人可自动取货后跟随人员，进而节省人力成本，自动跟踪机器人能在大多数生活和生产环境下代替人工，具有高度智能化、适应性和灵活性强、用途广、无空气污染、无导轨、成本底精度搞、可靠性高等优点。

然而市面上的技术多采用超声波跟踪+红外线避障的方式实现机器人跟踪，该方式存在以下问题：超声波跟踪模块容易收到外来超声波的干扰，导致跟踪失效；红外线避障只能进行近距离避障检测，无法预测到远处即将道来的障碍，反应时间过慢，例如远处即将到来的车辆；一些经典的视觉避障方法通常采用颜色特征作为目标模板，通过对整张图像的搜索，可得到障碍物在图像中的位置，从而绕开躲避障碍物，然而，该方法算法计算量大，不适合实时避障，且颜色特征受光照等因素影响大，从而造成精度的降低，甚至无法检测到障碍物。

发明内容

为克服现有技术所存在的问题，本发明提供一种智能自动跟踪机器人系统及方法。

为实现上述目的，本发明提供以下技术方案：一种智能自动跟踪机器人，包括超声波发射器；壳体、超声波接收器A、微处理器、主控面板、驱动器、步进电机A电性连接，其特征在于，所述超声波发射器与超声波编码器电性连接，所述壳体前方设置有摄像头A，所述摄像头A后方设置有超声波接收器A，所述壳体左右两方设置有动轮A与动轮B，所述动轮A连接有步进电机A，所述动轮B连接有步进电机B，所述步进电机A靠近所述超声波接收器A的一方设置有电瓶，所述超声波接收器A远离所述摄像头A的一方设置有主控面板，所述主控面板上设置有驱动器，所述驱动器下方设置有微处理器，所述主控面板上还设置有神经网络加速器，所述神经网络加速器下方设置有单片机处理器。

优选的，,所述壳体后中位置还设置有超声波接收器B和超声波接收器C，且超声波接收器A和超声波接收器B和超声波接收器C的位置形成一个等腰三角形。

优选的，所述摄像头A后方还设置有红外距离传感器。

优选的，所述壳体左右两方还设置有摄像头B和摄像头C。

优选的，所述主控面板上还设置有通讯装置和蓝牙装置。

基于上述一种智能自动跟踪机器人的系统，包括超声波发射模块；超声波编码模块、超声波解码模块、超声波接收模块、摄像模块、识别模块、检测模块、避障决策模块、处理模块、驱动模块、供电模块电性连接，其特征在于所述超声波发射模块发射信号到所述超声波编码模块进行编码，所述超声波接受模块用于接收超声波信号，所述摄像模块用于采集视频录像，所述识别模块用于识别障碍物，所述检测模块用于对障碍物进行分类，所述避障决策模块根据预先设置的避障规则进行避障，所述处理模块用于处理信号并向所述驱动模块发送指令，所述供电模块用于供电。

优选的，所述超声波接收模块设置有3个，且形成一个等腰三角形。

优选的，还包括红外距离探测模块，所述红外距离探测模块用于当所述识别模块和所述检测模块无法识别或检测障碍物时，采用红外避障方式绕开障碍物。

优选的，所述摄像模块有3个，分别设置于前方、左方和右方。

优选的，还包括通讯模块和蓝牙模块。

基于上述一种智能自动跟踪机器人的方法，包括以下步骤：

步骤1、向超声波发射模块发送对接信号，同时处理模块开始计时，当超声波发射模块接收到对接信号后，超声波发射模块开始发送超声波信号，由超声波编码模块对该超声波进行编码；

步骤2、当超声波接收模块接收到超声波信号后，传输给处理模块进行解码并传输到驱动模块进行跟踪；

步骤3、摄像模块获取图像，将图像交给识别模块与检测模块，确定当前障碍物的数量，位置以及类别，识别模块与检测模块将障碍物信息交给避障决策模块进行避障；

步骤4、当识别模块与检测模块无法识别或检测障碍物时，采用红外避障方式绕开障碍物。

优选的，超声波编码模块对于超声波发射模块发射的超声波经过编码输出如下格式的数据：信息头+专属码+信息尾，每一个超声波系统都有唯一的一个专属码，只有当超声波接收器接收到含有自己专属码的超声波时才进行定位跟踪计算。

优选的，超声波发射模块发射超声波信号，分别由3个超声波接收模块接收超声波信号，且3个超声波接收模块形成等腰三角形，由于3个超声波接收模块距离目标跟踪体的距离不同，所以他们接收到超声波的时间是不同的，微处理模块记录3个超声波接收模块接收超声波的时间，经过计算后得到跟踪目标与三个超声波接收器之间的距离，并建立坐标系，通过相应的坐标基计算，得到跟踪目标体在坐标系中的相对位置，实现对跟踪目标体的跟踪，若处理模块检测到QA<QB<QC,可以推断，跟踪目标体Q位于机器人的左前方，此时，微处理模块发送信号给驱动模块左转，直到QA<QB＝QC时，微处理模块发送信号给驱动模块靠近目标。当QA小于等于预设定的距离时，微处理模块发送信号给驱动模块停止。

优选的，识别模块通过神经网络算法训练障碍物识别模型，根据机器人的部署场景，将含有常见的障碍物图像进行采集，对图像数据中的障碍物进行人工标注，将标注好的数据采用darknet神经网络学习框架进行训练，得到障碍物检测识别模型。

优选的，采用的是质心跟踪算法，将摄像头拍摄的第一帧图像输入到障碍物检测识别网络中，将得到的障碍物具体位置，将检测到的障碍物加入跟踪，并设置好一个跟踪半径，跟踪半径的大小与视屏的帧率以及运动速率有关，从第二帧开始，将图像输入到障碍物检测网络中，得到新的障碍物位置，用该障碍物的质心位置与检测模块中障碍物质心位置进行对比，若两质心位置小于跟踪半径，则视为上一帧的跟踪目标，否则视为新障碍物，加入到跟踪列队中，重复第二帧开始后的动作，直到避障结束为止。

优选的，所述避障决策模块接收到识别模块与检测模块的信号，搜索数据库中避障方式做出避障决策，并将避障信息保存在数据库中，开始避障，在避障过程中根据障碍物的位置调整随时变化随时调整避障方法直到避障结束，例如：障碍物是行人、车辆等可移动物体，计算障碍物的移动速度，进行避障；障碍物是水坑、树木等不可移动物体，进行绕行避障。

与现有技术相比，本发明的有益效果是：

本发明采用超声波定位跟踪，超声波编码，视频避障，红外避障以及神经网络算法并根据不同障碍物用不同方式进行避障，配合质心跟踪算法达到防止收到其他信号干扰，计算量小，速度快，检测精度高的效果，解决了传统避障方式存在的计算量大，障碍物高度必须与红外线传感器相同，障碍物检测范围小，不能预测即到来的障碍，导致避障方式单一，不灵活等问题。

附图说明

图1为本发明的结构示意图；

图2为本发明的模块示意图；

图3为本发明的总体框架图；

图4为本发明的视频避障流程图；

图5为障碍物识别模型训练流程图；

图6为质心跟踪算法流程图；

图中：1-超声波发射器、2-超声波编码器、301-超声波接收器A、302-超声波接收器B、303-超声波接收器C、4-壳体、501-动轮A、502-动轮B、601-摄像头A、602-摄像头B、603-摄像头C、7-红外距离传感器、8-主控面板、9-通讯装置、10-蓝牙装置、11-神经网络加速器、12-单片机处理器、13-驱动器、14-微处理器、1501-步进电机A、1502-步进电机B、16-电瓶

具体实施方式

为了便于理解本发明，下面将参照相关附图对智能跟踪机器人系统及方法实施例中的技术方案进行更全面，更清楚的描述。附图中给出了智能跟踪机器人系统及方法首选实施例。但是，智能跟踪机器人系统及方法可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使智能跟踪机器人系统及方法的公开内容更加透彻全面，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供如下技术方案：一种智能自动跟踪机器人，包括超声波发射器(1)；壳体(4)、超声波接收器A(301)、微处理器(14)、主控面板(8)、驱动器(13)、步进电机A(1501)电性连接，其特征在于，所述超声波发射器(1)与超声波编码器(2)电性连接，所述壳体(4)前方设置有摄像头A(601)，所述摄像头A(601)后方设置有超声波接收器A(301)，所述壳体(4)左右两方设置有动轮A(501)与动轮B(502)，所述动轮A(501)连接有步进电机A(1501)，所述动轮B(502)连接有步进电机B(1502)，所述步进电机A(1501)靠近所述超声波接收器A(301)的一方设置有电瓶(16)，所述超声波接收器A(301)远离所述摄像头A(601)的一方设置有主控面板(8)，所述主控面板(8)上设置有驱动器(13)，所述驱动器(13)下方设置有微处理器(14)，所述主控面板(8)上还设置有神经网络加速器(11)，所述神经网络加速器(11)下方设置有单片机处理器(12)。

本实施例中，优选的，所述壳体后中位置还设置有超声波接收器B(302)和超声波接收器C(303)，且超声波接收器A(301)和超声波接收器B(302)和超声波接收器C(303)的位置形成一个等腰三角形。

本实施例中，优选的，所述摄像头A(601)后方还设置有红外距离传感器(7)。

本实施例中，优选的，所述壳体左右两方还设置有摄像头B(602)和摄像头C(603)。

本实施例中，优选的，所述主控面板(8)上还设置有通讯装置(9)和蓝牙装置(10)。

请参阅图2，本发明提供如下技术方案：一种智能自动跟踪机器人系统，包括超声波发射模块；超声波编码模块、超声波解码模块、超声波接收模块、摄像模块、识别模块、检测模块、避障决策模块、处理模块、驱动模块、供电模块电性连接，其特征在于所述超声波发射模块发射信号到所述超声波编码模块进行编码，所述超声波接受模块用于接收超声波信号，所述摄像模块用于采集视频录像，所述识别模块用于识别障碍物，所述检测模块用于对障碍物进行分类，所述避障决策模块根据预先设置的避障规则进行避障，所述处理模块用于处理信号并向所述驱动模块发送指令，所述供电模块用于供电。

本实施例中，优选的，所述超声波接收模块设置有3个，且形成一个等腰三角形。

本实施例中，优选的，还包括红外距离探测模块，所述红外距离探测模块用于当所述识别模块和所述检测模块无法识别或检测障碍物时，采用红外避障方式绕开障碍物。

本实施例中，优选的，所述摄像模块有3个，分别设置于前方、左方和右方。

本实施例中，优选的，还包括通讯模块和蓝牙模块。

请参阅图3，本发明提供如下技术方案：一种智能自动跟踪机器人方法，其特征在于，包括以下步骤：

步骤1、向超声波发射模块发送对接信号，同时处理模块开始计时，当超声波发射模块接收到对接信号后，超声波发射模块开始发送超声波信号，由超声波编码模块对该超声波进行编码；

步骤2、当超声波接收模块接收到超声波信号后，传输给处理模块进行解码并传输到驱动模块进行跟踪；

步骤3、摄像模块获取图像，将图像交给识别模块与检测模块，确定当前障碍物的数量，位置以及类别，识别模块与检测模块将障碍物信息交给避障决策模块进行避障；

步骤4、当识别模块与检测模块无法识别或检测障碍物时，采用红外避障方式绕开障碍物。

本实施例中，优选的，超声波编码模块对于超声波发射模块发射的超声波经过编码输出如下格式的数据：信息头+专属码+信息尾，每一个超声波系统都有唯一的一个专属码，只有当超声波接收器接收到含有自己专属码的超声波时才进行定位跟踪计算，用这种方式解决了多系统同时工作时造成的超声波串扰问题。

本实施例中，优选的，超声波发射模块发射超声波信号，分别由3个超声波接收模块接收超声波信号，且3个超声波接收模块形成等腰三角形，由于3个超声波接收模块距离目标跟踪体的距离不同，所以他们接收到超声波的时间是不同的，微处理模块记录3个超声波接收模块接收超声波的时间，经过计算后得到跟踪目标与三个超声波接收器之间的距离，并建立坐标系，通过相应的坐标基计算，得到跟踪目标体在坐标系中的相对位置，实现对跟踪目标体的跟踪，若处理模块检测到QA<QB<QC,可以推断，跟踪目标体Q位于机器人的左前方，此时，微处理模块发送信号给驱动模块左转，直到QA<QB＝QC时，微处理模块发送信号给驱动模块靠近目标。当QA小于等于预设定的距离时，微处理模块发送信号给驱动模块停止，这样可以与跟踪目标保持一定的跟随距离，当目标跟踪体位于小车的其他方向时，系统的检测原理相同；采用超声波检测原理进行监测，假设位于跟踪目标体上的超声波发射器发射的超声波信号经过空气到达接收器的时间为t，则发射模块和接收模块之间的距离S可表示为：S＝vt，v为超声波在空气中的传播速度，处理模块检测到超声波发射模块到超声波接收模块之间的传输时间t，便可求得距离S；由于三个超声波接收模块成等腰三角形，建立坐标系，|OA|＝a,|OB|＝|OC|＝b均为已知量，S1,S2,S3分别为超声波发射模块到三个超声波接收模块之间的距离，可由S＝vt计算，下面求解跟踪目标体Q在坐标系中的位置，可得到：

可得到跟踪目标体Q在坐标系中的位置Q(x,y):

请参阅图4、图5、图6，本发明提供如下技术方案：一种智能自动跟踪机器人方法，其特征在于，识别模块通过神经网络算法训练障碍物识别模型，根据机器人的部署场景，将含有常见的障碍物图像进行采集，对图像数据中的障碍物进行人工标注，将标注好的数据采用darknet神经网络学习框架进行训练，得到障碍物检测识别模型。

本实施例中，优选的，采用的是质心跟踪算法，将摄像头拍摄的第一帧图像输入到障碍物检测识别网络中，将得到的障碍物具体位置，将检测到的障碍物加入跟踪，并设置好一个跟踪半径，跟踪半径的大小与视屏的帧率以及运动速率有关，从第二帧开始，将图像输入到障碍物检测网络中，得到新的障碍物位置，用该障碍物的质心位置与检测模块中障碍物质心位置进行对比，若两质心位置小于跟踪半径，则视为上一帧的跟踪目标，否则视为新障碍物，加入到跟踪列队中，重复第二帧开始后的动作，直到避障结束为止。

本实施例中，优选的，所述避障决策模块接收到识别模块与检测模块的信号，搜索数据库中避障方式做出避障决策，并将避障信息保存在数据库中，开始避障，在避障过程中根据障碍物的位置调整随时变化随时调整避障方法直到避障结束，例如：障碍物是行人、车辆等可移动物体，计算障碍物的移动速度，进行避障；障碍物是水坑、树木等不可移动物体，进行绕行避障，使用深度学习的方式识别各种物体，对障碍物进行分类识别，运动检测，依据不同策略灵活的对障碍物进行躲避。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (16)

1.一种智能自动跟踪机器人，包括超声波发射器(1)；壳体(4)、超声波接收器A(301)、微处理器(14)、主控面板(8)、驱动器(13)、步进电机A(1501)电性连接，其特征在于，所述超声波发射器(1)与超声波编码器(2)电性连接，所述壳体(4)前方设置有摄像头A(601)，所述摄像头A(601)后方设置有超声波接收器A(301)，所述壳体(4)左右两方设置有动轮A(501)与动轮B(502)，所述动轮A(501)连接有步进电机A(1501)，所述动轮B(502)连接有步进电机B(1502)，所述步进电机A(1501)靠近所述超声波接收器A(301)的一方设置有电瓶(16)，所述超声波接收器A(301)远离所述摄像头A(601)的一方设置有主控面板(8)，所述主控面板(8)上设置有驱动器(13)，所述驱动器(13)下方设置有微处理器(14)，所述主控面板(8)上还设置有神经网络加速器(11)，所述神经网络加速器(11)下方设置有单片机处理器(12)。

2.根据权利要求1所述的一种智能自动跟踪机器人，其特征在于,所述壳体后中位置还设置有超声波接收器B(302)和超声波接收器C(303)，且超声波接收器A(301)和超声波接收器B(302)和超声波接收器C(303)的位置形成一个等腰三角形。

3.根据权利要求2所述的一种智能自动跟踪机器人，其特征在于，所述摄像头A(601)后方还设置有红外距离传感器(7)。

4.根据权利要求3所述的一种智能自动跟踪机器人，其特征在于，所述壳体左右两方还设置有摄像头B(602)和摄像头C(603)。

5.根据权利要求4所述的一种智能自动跟踪机器人，其特征在于，所述主控面板(8)上还设置有通讯装置(9)和蓝牙装置(10)。

6.一种智能自动跟踪机器人系统，包括超声波发射模块；超声波编码模块、超声波解码模块、超声波接收模块、摄像模块、识别模块、检测模块、避障决策模块、处理模块、驱动模块、供电模块电性连接，其特征在于所述超声波发射模块发射信号到所述超声波编码模块进行编码，所述超声波接受模块用于接收超声波信号，所述摄像模块用于采集视频录像，所述识别模块用于识别障碍物，所述检测模块用于对障碍物进行分类，所述避障决策模块根据预先设置的避障规则进行避障，所述处理模块用于处理信号并向所述驱动模块发送指令，所述供电模块用于供电。

7.根据权利要求6所述的一种智能自动跟踪机器人系统，其特征在于，所述超声波接收模块设置有3个，且形成一个等腰三角形。

8.根据权利要求7所述的一种智能自动跟踪机器人系统，其特征在于，还包括红外距离探测模块，所述红外距离探测模块用于当所述识别模块和所述检测模块无法识别或检测障碍物时，采用红外避障方式绕开障碍物。

9.根据权利要求8所述的一种智能自动跟踪机器人系统，其特征在于，所述摄像模块有3个，分别设置于前方、左方和右方。

10.根据权利要求9所述的一种智能自动跟踪机器人系统，其特征在于，还包括通讯模块和蓝牙模块。

11.一种智能自动跟踪机器人方法，其特征在于，包括以下步骤：

步骤1、向超声波发射模块发送对接信号，同时处理模块开始计时，当超声波发射模块接收到对接信号后，超声波发射模块开始发送超声波信号，由超声波编码模块对该超声波进行编码；

步骤2、当超声波接收模块接收到超声波信号后，传输给处理模块进行解码并传输到驱动模块进行跟踪；

步骤3、摄像模块获取图像，将图像交给识别模块与检测模块，确定当前障碍物的数量，位置以及类别，识别模块与检测模块将障碍物信息交给避障决策模块进行避障；

步骤4、当识别模块与检测模块无法识别或检测障碍物时，采用红外避障方式绕开障碍物。

12.根据权利要求11所述的一种智能自动跟踪机器人方法，其特征在于，超声波编码模块对于超声波发射模块发射的超声波经过编码输出如下格式的数据：信息头+专属码+信息尾，每一个超声波系统都有唯一的一个专属码，只有当超声波接收器接收到含有自己专属码的超声波时才进行定位跟踪计算。

13.根据权利要求12所述的一种智能自动跟踪机器人方法，其特征在于，超声波发射模块发射超声波信号，分别由3个超声波接收模块接收超声波信号，且3个超声波接收模块形成等腰三角形，由于3个超声波接收模块距离目标跟踪体的距离不同，所以他们接收到超声波的时间是不同的，微处理模块记录3个超声波接收模块接收超声波的时间，经过计算后得到跟踪目标与三个超声波接收器之间的距离，并建立坐标系，通过相应的坐标基计算，得到跟踪目标体在坐标系中的相对位置，实现对跟踪目标体的跟踪，若处理模块检测到QA<QB<QC,可以推断，跟踪目标体Q位于机器人的左前方，此时，微处理模块发送信号给驱动模块左转，直到QA<QB＝QC时，微处理模块发送信号给驱动模块靠近目标。当QA小于等于预设定的距离时，微处理模块发送信号给驱动模块停止。

14.根据权利要求13所述的一种智能自动跟踪机器人方法，其特征在于，识别模块通过神经网络算法训练障碍物识别模型，根据机器人的部署场景，将含有常见的障碍物图像进行采集，对图像数据中的障碍物进行人工标注，将标注好的数据采用darknet神经网络学习框架进行训练，得到障碍物检测识别模型。

15.根据权利要求14所述的一种智能自动跟踪机器人方法，其特征在于，采用的是质心跟踪算法，将摄像头拍摄的第一帧图像输入到障碍物检测识别网络中，将得到的障碍物具体位置，将检测到的障碍物加入跟踪，并设置好一个跟踪半径，跟踪半径的大小与视屏的帧率以及运动速率有关，从第二帧开始，将图像输入到障碍物检测网络中，得到新的障碍物位置，用该障碍物的质心位置与检测模块中障碍物质心位置进行对比，若两质心位置小于跟踪半径，则视为上一帧的跟踪目标，否则视为新障碍物，加入到跟踪列队中，重复第二帧开始后的动作，直到避障结束为止。

16.根据权利要求15所述的一种智能自动跟踪机器人方法，其特征在于，所述避障决策模块接收到识别模块与检测模块的信号，搜索数据库中避障方式做出避障决策，并将避障信息保存在数据库中，开始避障，在避障过程中根据障碍物的位置调整随时变化随时调整避障方法直到避障结束，例如：障碍物是行人、车辆等可移动物体，计算障碍物的移动速度，进行避障；障碍物是水坑、树木等不可移动物体，进行绕行避障。