CN106444763A - 基于视觉传感器智能自动跟随方法、系统及行李箱 - Google Patents

Abstract

本发明公开的基于视觉传感器智能自动跟随方法如下实现：视觉传感器采集行李箱主人相对行李箱的环境信息，并发送至数据处理模块；数据处理模块识别出行李箱主人，得到行李箱主人相对行李箱的坐标位置；数据处理模块发送指令给驱动模块，驱动行李箱的左右后轮电机运转，通过PID控制器使行李箱和行李箱主人保持在设定范围内；且主控制器通过预测行李箱主人下一步动作，使行李箱与行李箱主人保持同步。本发明还公开了采用上述方法的系统、行李箱。采用本发明可直接利用视觉传感器得到的深度信息判断障碍物的位置并进行避障，识别精度高，避障效果好，不易受外部环境干扰。特别是结合超声波等多种避障方式，还可进一步提高识别精度、避障效果。

Description

基于视觉传感器智能自动跟随方法、系统及行李箱

技术领域

本发明涉及自动化控制领域，特别涉及一种基于视觉传感器智能自动跟随的结构。

背景技术

目前人们出行很不方便，需手提或推行李箱，因此本申请人设计了可驱动的一代智能行李箱。一代智能行李箱上设有供人踩踏的踏板及驱动行走轮，人站在踩踏上手扶行李箱拉杆，可操控行李箱行走。但是一代智能行李箱存在以下缺点：不能自动跟随，还需人工操控。

因此，本申请人申请了二代智能行李箱，二代智能行李箱主要采用基于手机蓝牙基站的定位及导航，基本原理是利用RSSI即信号强度定位，获取蓝牙基站的距离信息，根据多个蓝牙基站的距离信息就可以确定行李箱主人手机的位置。但是二代智能行李箱存在以下缺点：定位精度受到外界电磁频率影响较大，在人流量大电磁辐射较强的室外场合可能会出现较大定位误差，需要配合超声波红外等传感器使用。

因此，有必要研发一种识别精度高、避障效果好的智能自动跟随行李箱。

发明内容

有鉴于此，本发明的目的在于提供一种能提高识别精度高和避障效果的基于视觉传感器智能自动跟随方法。

本发明还提供一种能提高识别精度高和避障效果的基于视觉传感器智能自动跟随系统。

本发明还提供一种能提高识别精度高和避障效果的基于视觉传感器智能自动跟随行李箱。

为了达成上述目的，本发明的解决方案是：

基于视觉传感器智能自动跟随方法，通过主控制器实现，主控制器包括视觉定位模块、避障模块、数据处理模块、驱动模块和PID控制器，主控制器如下实现：

视觉定位模块采集行李箱主人及行李箱的环境信息，经分析获取行李箱主人相对行李箱的位置信息并发送至数据处理模块；

数据处理模块收到位置信息后，建立以行李箱为原点的坐标系，通过人体识别算法识别出行李箱主人，并得到行李箱主人相对行李箱的坐标位置；

避障模块获取行李箱主人至行李箱周边环境的避障信息，并发送至数据处理模块；

数据处理模块根据行李箱主人相对行李箱的坐标位置、避障信息规划线路；数据处理模块根据规划线路发送指令给驱动模块，驱动模块分别驱动行李箱的左后轮电机和右后轮电机运转；数据处理模块根据规划线路发送指令给PID控制器，通过PID控制器使行李箱和行李箱主人之间的相对位置保持在设定范围内；

主控制器使行李箱与行李箱主人如下保持同步：

主控制器根据当前行李箱主人的步态、行走速度、行走方向和行走线路上的障碍物，预测行李箱主人下一步动作：行走速度、行走方向和行走线路；

主控制器根据行李箱主人相对行李箱的坐标位置、避障信息以及预测信息，规划线路，并计算转向机构调整行李箱左前轮和右前轮的转向角度，以及左后轮电机和右后轮电机的转速。

所述主控制器还包括超声波定位模块、无线定位模块和蓝牙定位模块中的一种或多种，超声波定位模块、无线定位模块和蓝牙定位模块分别采集环境信息，经分析获取行李箱主人相对行李箱的位置信息，并发送至所述数据处理模块。

所述避障模块包括视觉避障模块、超声波避障模块、红外避障模块和无线避障模块中的一种或多种合；所述避障模块还采集行李箱主人至行李箱周边环境上人流的行走线路趋势，并发送至所述数据处理模块；所述数据处理模块根据行李箱主人的坐标位置、行李箱的坐标位置、避障信息、人流的行走线路趋势规划线路。

所述主控制器还包括报警模块，报警模块包括手机报警模块、箱子开关报警模块和轮子报警模块；若行李箱与行李箱主人之间超过设定距离，或者行李箱丢失，则进行如下报警：手机报警模块向行李箱主人的手机发送报警信息；若行李箱开锁或者打开，箱子开关报警模块向行李箱主人的手机发送报警信息；轮子报警模块使行李箱的轮子锁死，无法旋转。

基于视觉传感器智能自动跟随系统，该系统为如前所述方法采用的系统。

基于视觉传感器智能自动跟随行李箱，包括箱体、行走机构、驱动电机、转向机构和电源；行走机构包括设置于箱体外表面上的左前轮、右前轮、左后轮和右后轮；驱动电机包括左后轮电机和右后轮电机；

还包括基于视觉传感器智能自动跟随系统，该系统包括主控制器，主控制器包括视觉定位模块、避障模块、数据处理模块、驱动模块和PID控制器；

视觉定位模块采集行李箱主人及行李箱的环境信息，经分析获取行李箱主人相对行李箱的位置信息并发送至数据处理模块；

数据处理模块收到位置信息后，建立以行李箱为原点的坐标系，通过人体识别算法识别出行李箱主人，并得到行李箱主人相对行李箱的坐标位置；

避障模块获取行李箱主人至行李箱周边环境的避障信息，并发送至数据处理模块；

数据处理模块根据行李箱主人相对行李箱的坐标位置、避障信息规划线路；数据处理模块根据规划线路发送指令给驱动模块，驱动模块分别驱动行李箱的左后轮电机和右后轮电机运转；数据处理模块根据规划线路发送指令给PID控制器，通过PID控制器使行李箱和行李箱主人之间的相对位置保持在设定范围内；

主控制器使行李箱与行李箱主人如下保持同步：

主控制器根据当前行李箱主人的步态、行走速度、行走方向和行走线路上的障碍物，预测行李箱主人下一步动作：行走速度、行走方向和行走线路；

主控制器根据行李箱主人相对行李箱的坐标位置、避障信息以及预测信息，规划线路，并计算转向机构调整行李箱左前轮和右前轮的转向角度，以及左后轮电机和右后轮电机的转速；

电源向驱动电机、转向机构和所述系统提供电源。

采用上述方案后，本发明具有以下有益效果：可以直接利用视觉传感器得到的深度信息来判断障碍物的位置，然后使用人工势场法来进行避障，而且识别精度高，避障效果好，不易受外部环境干扰。特别是结合超声波避障模块，还可进一步提高识别精度、避障效果。

附图说明

图1为本发明的框图。

具体实施方式

为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。

实施例一

本实施例为具体应用到行李箱的一个示例。本实施例中，基于视觉传感器智能自动跟随行李箱，简称智能自动跟随行李箱，其主要包括：箱体、行走机构、驱动电机、转向机构、电源和跟随系统。这里的跟随系统是基于视觉传感器智能自动跟随系统的简称。

行走机构包括设置于箱体外表面上的多个轮子，多个轮子分别为左前轮、右前轮、左后轮和右后轮。左前轮、右前轮、左后轮和右后轮可分别采用万向轮，左后轮和右后轮为行李箱提供动力，左前轮、右前轮一方面减后轮驱动的承载压力，一方面能使行李箱的转向更为灵活。

驱动电机包括左后轮电机和右后轮电机。

电源向驱动电机、转向机构和跟随系统提供电源。

跟随系统主要包括主控制器，主控制器包括定位模块、避障模块、数据处理模块、驱动模块和PID控制器。

定位模块可采用视觉定位模块、超声波定位模块、无线定位模块和蓝牙定位模块等中的一种定位模块或多种定位模块。定位模块主要是确定行李箱主人相对行李箱的方位、距离、角度、高度、轮廓、外部特征等位置信息。其中，视觉定位模块主要包括视觉传感器和视觉数据处理模块。无线定位模块以能拆卸的方式设置。无线定位模块包括行李箱主人携带的定位标签，以及设置在行李箱上作为基站的传感器。定位标签和传感器之间进行数据传输，以确定行李箱主人相对行李箱的位置。

较佳地，定位模块中以不易受环境干扰的定位模块为主定位模块，其他定位模块为辅定位模块。可以视觉定位模块为主定位模块，其他的超声波定位模块、无线定位模块和蓝牙定位模块为辅定位模块。

较佳地，主控制器还包括报警模块。报警模块主要包括手机报警模块、箱子开关报警模块、轮子报警模块。若行李箱丢失，手机报警模块向行李箱主人的手机发送报警信息；行李箱一旦打开，箱子开关报警模块向行李箱主人的手机发送报警信息；轮子报警模块使行李箱的轮子锁死，无法旋转。其中本系统可包括手机报警模块、箱子开关报警模块、轮子报警模块中的任一种报警模块或两种以上报警模块。其中，行李箱主人的手机还可替换成任一电子终端，例如智能手表、智能手环、IPAD等。

如图1所示，本实施例中，基于视觉传感器智能自动跟随方法主要如下实现：

视觉传感器将采集到的行李箱主人及行李箱周边的环境信息发送至视觉数据处理模块。视觉数据处理模块经分析、处理后获取行李箱主人相对行李箱的位置信息，并发送至数据处理模块。

其中，环境信息包括障碍物、障碍物的位置、方位及距离等。行李箱主人周边环境、行李箱周边环境可以设定在一个合理的范围内。例如：周边环境分别以行李箱主人、行李箱为圆心，半径为1米、1.5米、2米或若干米的范围，视觉传感器获取该范围内周边环境信息。后面提及的规划线路、避障线路的周边环境也可如上设定。

较佳地，超声波定位模块、无线定位模块也将各自采集的周边环境信息经分析获取行李箱主人相对行李箱的位置信息，并发送至数据处理模块。

数据处理模块收到位置信息之后，建立以行李箱为原点的坐标系。数据处理模块通过人体识别算法识别出行李箱主人，并得到行李箱主人相对行李箱的坐标位置。通过视觉定位模块、超声波定位模块、无线定位模块这些定位模块可提高两者之间相对位置的定位精度，降低、甚至减少周围环境对定位的影响。

避障模块主要获取行李箱主人至行李箱周边环境的避障信息，并发送至数据处理模块。其中避障模块可采用视觉避障模块、超声波避障模块、红外避障模块、无线避障模块等中的一种或多种方式的组合。红外避障模块主要包括红外传感器。红外传感器包括红外发射器、红外接收器。其中，主动式红外传感器自带红外光源，通过对光源的遮挡、反射、折射等光学手段判别被探测物体位置。较佳地，选用反射型主动式红外发射器、红外接收器。

较佳地，避障模块中以不易受环境干扰的避障模块为主避障模块，其他避障模块为辅避障模块。可以视觉避障模块为主避障模块，其他的超声波避障模块、红外避障模块、无线避障模块为辅避障模块。

该周边环境的避障信息包括：从行李箱主人至行李箱之间的线路上周边环境的避障物、行李箱主人周边环境上的避障物、行李箱周边环境上的避障物。周边环境可如前所述进行设定，例如，以行李箱主人至行李箱之间的连线上的每一点为圆心，1米为半径设定为周边环境的范围。

数据处理模块根据行李箱主人相对行李箱的坐标位置、避障信息规划线路。较佳地，避障模块还采集行李箱主人至行李箱周边环境上人流的行走线路趋势，并发送至数据处理模块。数据处理模块规划线路时根据行李箱主人的坐标位置、行李箱的坐标位置、避障信息、人流的行走线路趋势，规划出一条最佳的安全线路。

数据处理模块根据规划线路发送指令给驱动模块，驱动模块分别驱动行李箱的左后轮电机和右后轮电机运转；数据处理模块发送指令给PID控制器，通过PID控制器使行李箱和行李箱主人之间的相对位置保持在设定范围内。

其中，主控制器使行李箱与行李箱主人如下保持同步：

主控制器根据当前行李箱主人的步态、行走速度、行走方向和行走线路上的障碍物，预测行李箱主人下一步动作：行走速度、行走方向和行走线路。

主控制器根据预测信息，以及超声波避障模块获取的避障信息，规划行李箱的避障线路，并计算转向机构调整行李箱左前轮和右前轮的转向角度，以及左后轮电机和右后轮电机的转速。

较佳地，驱动模块接受主控制的速度指令，并将左轮子和右轮子的速度信息反馈给主控制器；主控制器通过蓝牙通信和行李箱主人手机实现通讯；通过行李箱主人手机上的App可控制行李箱运动，并监测行李箱各模块的运行状态。

本发明的定位方法、跟随方法、避障方法如下：

1、数据处理模块接收视觉定位模块、超声波定位模块、无线定位模块、蓝牙定位模块、避障模块的信息，以行李箱为坐标原点建立坐标系，并确定行李箱主人相对于行李箱的坐标位置。

2、数据处理模块通过现有的算法确定周围环境的障碍物相对行李箱的分布位置，即各障碍物的坐标位置。

较佳地，定位模块和避障模块的传感器设置在行李箱的箱体的前后左右外表面上，传感器的接收端、发射端还可设置成旋转式，这样可采集行李箱周边360度的环境信息。

而且还可设置一个地面检测模块，地面检测模块采集规划线路上的地面平坦情况并发送至数据处理模块，数据处理模块以较为平坦的路面优先规划线路。同时，在行李箱的底部设置各类由弹簧、橡胶等构成的吸震机构、减震机构。若地面检测模块检测到地面有凹凸、不平坦，则数据处理模块向驱动模块发出减速的指令，驱动模块控制驱动电机减速，或者控制转向机构，使李箱左前轮和右前轮转向绕开凹凸、不平坦的地面。

3、数据处理模块线路规划模块根据目标位置与周围环境信息规划一条无碰路径，实现行李箱实时跟随、避障。

4、行李箱可通过主控制器绑定行李箱主人的手机，并设定修改、增减手机号的权限。当行李箱主人与行李箱之间距离超过设定距离时，向行李箱主人的手机发出报警信息。

较佳地，行李箱的自主跟随避障还可将跟随模式设置成自动跟随模式、手动跟随模式。当设置成手动跟随模式，行李箱主人可通过手机实现操控：在手机上安装行李箱操控App、用户端等，通过手在手机触摸屏上的触摸动作的方向、快慢可操控行李箱进、退、转向、加减速。当然，也可手握手机，通过摆动手机的摆动方向、摆动快慢可操控行李箱进、退、转向、加减速。

较佳地，若行李箱与行李箱主人之间的相对距离超过设定值、丢失，则进行如下报警：

1、李箱与行李箱主人之间的相对距离超过设定值，报警模块向行李箱主人的手机发送报警信息，一类是短信、微信，一类是手机振动，通过多种方式提醒行李箱主人。

2、行李箱一旦开锁、或开箱，箱子开关报警模块向行李箱主人的手机以短信、微信、振动方式发送报警信息。

3、轮子报警模块使行李箱的轮子锁死，无法旋转，这样行李箱就无法在地面上拖行，增加他人强行拖走行李箱的难度。

较佳地，行李箱主人办理登机、通关、托运，则可将跟随模式对应设置成登机模式、通关模式、托运模式。

而且登机模式与行李箱主人的航班的起落、延机等情形相关联，这样当报警模块接收到航班的起落、延机等信息，在航班起飞直至落地期间，报警模块就会自动相应关闭，这样报警模块就不会在上述情形下发出误报警信息。

通关模式与行李箱主人的通关、安检情形相关联，这样当报警模块接收到通关、安检等信息，在此期间，报警模块就会自动相应关闭，这样报警模块就不会在上述情形下发出误报警信息。

托运模式与行李箱主人的托运情形相关联，这样当报警模块接收到托运等信息，在此期间，报警模块就会自动相应关闭，这样报警模块就不会在上述情形下发出误报警信息。

较佳地，避障模块检测到进入登机、通关、托运等待区域内，则向行李箱主人发送查询信息，并根据行李箱主人的指令确定在跟随模式、自动跟随模式、手动跟随模式、登机模式、通关模式、托运模式等各种模式之间进行自动或手动切换。

实施例二

本实施例中，视觉传感器可采用深度视觉传感器，作为行李箱的“眼睛”感知行李箱主人相对行李箱的位置。

视觉传感器可采用华硕Xtion Pro Live，通过USB接口接到主控制器，主控制器得到Xtion Pro Live的数据之后通过人体识别算法识别出行李箱主人，并得到行李箱主人相对行李箱的位置。

得到行李箱主人相对行李箱的位置之后，主控制器发送指令给驱动模块，驱动模块驱动左轮电机、右轮电机运转，通过PID控制器使行李箱和行李箱主人之间的相对位置保持在一个合理的设定范围内。

主控制器使用USB 5V电压供电，电池为24V-12000mAh锂电池，通过电池管理系统自动检测电池的电量，电量不足时自动报警。驱动模块供电电压为24V，通过can总线和主控制器通信，接受主控制器的速度指令并将左后轮子、右后轮的速度信息反馈给主控制器。主控制器通过蓝牙通信实现和行李箱主人手机的通讯。较佳地，通过手机App控制行李箱运动，并监测行李箱各模块的运行状态。

较佳地，通过多路超声波模块实现行李箱移动过程中的避障。在行李箱的前面、两个侧面分别设置多个超声波传感器，超声波传感器的输出端连接超声波避障模块的输入端，超声波避障模块的输出端连接主控制器的对应输入端。

实施例三

本发明可除了适用于行李箱外，还可适用于以下多种设备，例如：

1、基于视觉传感器智能自动跟随文具用品：基于视觉传感器智能自动跟随书包等。

2、基于视觉传感器智能自动跟随家居生活用品：婴儿车、玩具、桌子、椅子、轮椅、购物车、机场行李车、宠物机器人、清扫机器人、护理机器人、服务机器人、箱包等。

3、基于视觉传感器智能自动跟随办公用品：基于视觉传感器智能自动跟随运输工具等。

4、基于视觉传感器智能自动跟随健身用品。

5、基于视觉传感器智能自动跟随家居办公用品。

当本发明适用上述设备时，上述设备可相应地自动跟随，具体情形与前述实施例类似，具体如下所述：

视觉定位模块采集设备主人及设备的环境信息，经分析获取设备主人相对设备的相对位置信息并发送至数据处理模块。

数据处理模块收到相对位置信息后，建立以设备为原点的坐标系，通过人体识别算法识别出设备主人，并得到设备主人相对设备的坐标位置。

避障模块获取设备主人至设备的周边环境的避障信息，并发送至数据处理模块。

数据处理模块根据设备主人相对设备的坐标位置、避障信息规划线路。数据处理模块根据规划线路发送指令给驱动模块，驱动模块分别驱动设备的一个或多个行走轮驱动电机运转。数据处理模块发送指令给PID控制器，通过PID控制器使设备和设备主人之间的相对位置保持在设定范围内。

主控制器使设备与设备主人如下保持同步：

主控制器根据当前设备主人的步态、行走速度、行走方向和行走线路上的障碍物，预测设备主人下一步动作：行走速度、行走方向和行走线路。

主控制器根据预测信息以及避障信息，规划设备的避障线路，并计算转向机构调整设备一个或多个行走轮的转向角度，以及行走轮驱动电机的转速。

本实施例还可采用上述实施例中的具体结构、测距方法、定位方法、避障方法、跟随方法等，相同之处，在此不再赘述。

上述实施例和附图并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。

Claims (6)

1.基于视觉传感器智能自动跟随方法，其特征在于，通过主控制器实现，主控制器包括视觉定位模块、避障模块、数据处理模块、驱动模块和PID控制器，主控制器如下实现：

视觉定位模块采集行李箱主人及行李箱的环境信息，经分析获取行李箱主人相对行李箱的位置信息并发送至数据处理模块；

数据处理模块收到位置信息后，建立以行李箱为原点的坐标系，通过人体识别算法识别出行李箱主人，并得到行李箱主人相对行李箱的坐标位置；

避障模块获取行李箱主人至行李箱周边环境的避障信息，并发送至数据处理模块；

数据处理模块根据行李箱主人相对行李箱的坐标位置、避障信息规划线路；数据处理模块根据规划线路发送指令给驱动模块，驱动模块分别驱动行李箱的左后轮电机和右后轮电机运转；数据处理模块根据规划线路发送指令给PID控制器，通过PID控制器使行李箱和行李箱主人之间的相对位置保持在设定范围内；

主控制器使行李箱与行李箱主人如下保持同步：

主控制器根据当前行李箱主人的步态、行走速度、行走方向和行走线路上的障碍物，预测行李箱主人下一步动作：行走速度、行走方向和行走线路；

主控制器根据行李箱主人相对行李箱的坐标位置、避障信息以及预测信息，规划线路，并计算转向机构调整行李箱左前轮和右前轮的转向角度，以及左后轮电机和右后轮电机的转速。

2.如权利要求1所述的基于视觉传感器智能自动跟随方法，其特征在于：所述主控制器还包括超声波定位模块、无线定位模块和蓝牙定位模块中的一种或多种，超声波定位模块、无线定位模块和蓝牙定位模块分别采集环境信息，经分析获取行李箱主人相对行李箱的位置信息，并发送至所述数据处理模块。

3.如权利要求1所述的基于视觉传感器智能自动跟随方法，其特征在于：所述避障模块包括视觉避障模块、超声波避障模块、红外避障模块和无线避障模块中的一种或多种合；所述避障模块还采集行李箱主人至行李箱周边环境上人流的行走线路趋势，并发送至所述数据处理模块；所述数据处理模块根据行李箱主人的坐标位置、行李箱的坐标位置、避障信息、人流的行走线路趋势规划线路。

4.如权利要求1所述的基于视觉传感器智能自动跟随方法，其特征在于：所述主控制器还包括报警模块，报警模块包括手机报警模块、箱子开关报警模块和轮子报警模块；若行李箱与行李箱主人之间超过设定距离，或者行李箱丢失，则进行如下报警：手机报警模块向行李箱主人的手机发送报警信息；若行李箱开锁或者打开，箱子开关报警模块向行李箱主人的手机发送报警信息；轮子报警模块使行李箱的轮子锁死，无法旋转。

5.基于视觉传感器智能自动跟随系统，其特征在于：该系统为权利要求1所述方法采用的系统。

6.基于视觉传感器智能自动跟随行李箱，其特征在于：包括箱体、行走机构、驱动电机、转向机构和电源；行走机构包括设置于箱体外表面上的左前轮、右前轮、左后轮和右后轮；驱动电机包括左后轮电机和右后轮电机；

还包括基于视觉传感器智能自动跟随系统，该系统包括主控制器，主控制器包括视觉定位模块、避障模块、数据处理模块、驱动模块和PID控制器；

视觉定位模块采集行李箱主人及行李箱的环境信息，经分析获取行李箱主人相对行李箱的位置信息并发送至数据处理模块；

数据处理模块收到位置信息后，建立以行李箱为原点的坐标系，通过人体识别算法识别出行李箱主人，并得到行李箱主人相对行李箱的坐标位置；

避障模块获取行李箱主人至行李箱周边环境的避障信息，并发送至数据处理模块；

数据处理模块根据行李箱主人相对行李箱的坐标位置、避障信息规划线路；数据处理模块根据规划线路发送指令给驱动模块，驱动模块分别驱动行李箱的左后轮电机和右后轮电机运转；数据处理模块根据规划线路发送指令给PID控制器，通过PID控制器使行李箱和行李箱主人之间的相对位置保持在设定范围内；

主控制器使行李箱与行李箱主人如下保持同步：

主控制器根据当前行李箱主人的步态、行走速度、行走方向和行走线路上的障碍物，预测行李箱主人下一步动作：行走速度、行走方向和行走线路；

主控制器根据行李箱主人相对行李箱的坐标位置、避障信息以及预测信息，规划线路，并计算转向机构调整行李箱左前轮和右前轮的转向角度，以及左后轮电机和右后轮电机的转速；

电源向驱动电机、转向机构和所述系统提供电源。