CN114022929B - 基于行为预测的行李箱身后跟随方法及身侧跟随方法 - Google Patents

Abstract

本发明公开一种基于行为预测的行李箱身后跟随方法及身侧跟随方法，该身后跟随方法包括以下步骤：行李箱通过视觉模块获取包含有目标用户的图像；用户在手机上确定跟随目标；行李箱运动跟随在用户的身后；在跟随过程中，通过视觉模块获取用户的图像，并进行对比分析；若图像中未检测到用户的脸部，但用户的膝部和踝部发生变化时，则判断用户当前为往前移动状态；若图像中未检测到用户的脸部，且用户的膝部和踝部也未发生变化时，则判断用户当前为停止移动状态；若图像中检测到用户的脸部，且用户的身体发生转动、用户身高降低时，则判断用户当前为坐下状态。本发明能够识别用户的行为并作出对应的操作，更加智能和方便。

Description

基于行为预测的行李箱身后跟随方法及身侧跟随方法

技术领域

本发明涉及智能行李箱，具体涉及一种基于行为预测的行李箱身后跟随方法及身侧跟随方法。

背景技术

行李箱是人们日常生活中必不可少的一种工具。传统的拉杆箱虽然实现了携带繁重物品的需求，但是依旧需要人力的拖拽，这不禁会让人感到疲惫，也没有彻底解放人们的双手。

然而，现有技术虽然提供了能够自动跟随的行李箱，但是一般是通过蓝牙或者超声波的方式来识别，定位和跟踪的目的，但是这种技术的也存在弊端，会收到周围环境的干扰。

发明内容

本发明的目的在于克服上述存在的问题，提供一种基于行为预测的行李箱身后跟随方法，该行李箱身后跟随方法能够识别用户的行为并作出对应的操作，更加智能和方便。

本发明的另一个目的在于提供一种基于行为预测的行李身侧跟随方法。

本发明的目的通过以下技术方案实现：

一种基于行为预测的行李箱身后跟随方法，包括以下步骤：

(1)通过移动终端行李箱，打开自动跟随功能；

(2)行李箱通过视觉模块获取包含有目标用户的图像；数据处理模块对图像进行识别处理，生成对应的ROI区域，并上传至移动终端进行显示；用户在手机上确定行李箱需要跟随的目标；利用Re-ID的技术以防止跟踪目标丢失；

(3)点击开始跟随，获取用户当前的位置信息并在主控制器中进行处理，与设定的固定跟随距离进行比较，通过PID控制算法，驱动电机带动行李箱运动固定的距离跟随在用户的身后；

(4)在跟随过程中，行李箱基于MoveNet算法检测用户行为，通过视觉模块获取用户的图像，传递到数据处理模块，通过附带FPN的MobileNetV2算法提取人体中心热图来预测人体实例的中心，然后提取人体关键点热图来精准估计人体关键点的位置，从而判断当前用户的动作，再作出相应的反应，包括以下操作：

将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中未检测到用户的脸部，但用户的膝部和踝部发生变化时，则判断用户当前为往前移动状态，保持跟随任务；

将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中未检测到用户的脸部，且用户的膝部和踝部也未发生变化时，则判断用户当前为停止移动状态，停止跟随任务；

将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中检测到用户的脸部，且用户的身体发生转动、用户身高降低时，则判断用户当前为坐下状态，停止跟随任务，行李箱进入休息状态，退出自动跟随任务；

(5)用户再次起身移动，重新启动行李箱的自动跟随功能。

本发明的一个优选方案，在步骤(2)中，通过Yolo算法检测出图像中的行人并显示到移动终端，一个行人对应一个ROI区域，以便用户接下来确定跟随的目标。

本发明的一个优选方案，在步骤(3)中，行李箱根据卡尔曼滤波预测的轨迹进行路径规划；当识别到前方有行人经过时，行李箱会等待行人通过；若行人在前方停留时间超过2s，行李箱会自动将行人视为障碍物，进行局部路径规划；通过Re-ID技术重新识别用户，通过PID控制运动到指定距离。

本发明的一个优选方案，在步骤(4)中，若用户停止时间小于10s，行李箱判断用户当前为暂停状态，停下等待用户下一步动作；

若用户停止时间超过10s，行李箱会判断用户当前为静止状态，移动到用户身后，并保持自动跟随功能。如果用户重新移动，由于之前已经识别过用户特征，故不用再次识别，待用户移动到固定距离时开始重新跟随。

本发明的一个优选方案，在步骤(4)中，将获取到的当前帧和上一帧交给数据处理模块进行对比，若用户的身体发生转动，且检测到用户的面部关键点面向行李箱时，判断是否为停止状态；若为停止状态，行李箱判断用户当前为需求状态，移动到用户身边待命。

进一步，若用户触碰拉杆上的压力传感器，行李箱退出跟随模式。若后续如用户需要跟随功能，可在移动终端开启。

进一步，若用户非触碰拉杆上的压力传感器，且检测到用户由停止状态切换至移动状态时，则判断为转身移动状态；当用户移动到固定距离时，行李箱重新恢复自动跟随模式。

进一步，将获取到的当前帧和上一帧交给数据处理模块进行对比，当检测到用户的其中一个手臂的右肘和右腕关键点往上移动时，表示用户向上抬起该手臂，则判断用户需要拉杆伸出，驱动拉杆伸出；

当用户触碰拉杆上的压力传感器，行李箱会自动退出跟随模式。后续如用户需要跟随功能，可在移动终端开启。

进一步，将获取到的当前帧和上一帧交给数据处理模块进行对比，当检测到用户的另一个手臂的右肘和右腕关键点往上移动时，表示用户向上抬起该手臂，若拉杆处于拉出状态，则判断用户当前不再需要拉杆，驱动拉杆缩回。此时当用户重新移动时，行李箱会判断用户恢复到了移动态，进而重新开始跟随任务。

本发明的一个优选方案，在步骤(4)中，当数据处理模块对视觉模块获取的图像进行识别并作出初步判断后，再通过与预训练时定义的动作对比，若初步判断符合预训练时定义的动作，则正式发出判断信号，执行对应的操作。

一种基于行为预测的行李箱身侧跟随方法，包括以下步骤：

(1)通过移动终端行李箱，打开自动跟随功能；

(2)行李箱通过视觉模块获取包含有目标用户的图像，并生成ROI区域；通过TP-GAN算法，将获取到的侧脸特征生成正脸，与数据储存模块的正脸信息进行比较，确定行李箱需要跟随的目标；

利用Re-ID的技术以防止跟踪目标丢失，通过卡尔曼滤波的方式进行轨迹预测和目标跟踪；

(3)点击开始跟随，获取用户当前的位置信息并在主控制器中进行处理，与设定的固定跟随距离进行比较，通过PID控制算法，驱动电机带动行李箱运动固定的距离跟随在用户的身侧；

行李箱保持固定距离跟随用户平行移动，当识别到用户移动方向偏离原来移动方向的角度超过设定的角度阈值，转动相应的角度以保持和用户固定距离的平行移动；

(4)在跟随过程中，行李箱基于MoveNet算法检测用户行为，通过视觉模块获取用户的图像，传递到数据处理模块，通过附带FPN的MobileNetV2算法提取人体中心热图来预测人体实例的中心，然后提取人体关键点热图来精准估计人体关键点的位置，从而判断当前用户的动作，再作出相应的反应，包括以下操作：

将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中检测到用户的脸部，且用户的膝部和踝部发生变化时，则判断用户当前为往前移动状态，保持跟随任务；

将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中检测到用户的脸部，但用户的膝部和踝部未发生变化时，则判断用户当前为停止移动状态，停止跟随任务；

将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中检测到用户的脸部，且用户的身体发生转动以及用户身高降低时，则判断用户当前为坐下状态，停止跟随任务，行李箱进入休息状态，退出自动跟随任务；

(5)用户再次起身移动，重新启动行李箱的自动跟随功能。

本发明的一个优选方案，在步骤(2)中，在面部信息的基础上，识别用户的身型和着装信息，用于辅助锁定用户。此时就算用户偶尔将脸转到另外的方向导致行李箱识别不到侧脸，行李箱仍然可以锁定用户。

本发明的一个优选方案，在步骤(4)中，在停止移动状态下，若图像中检测到用户完整的面部关键点，以及检测到用户的其中一个手臂的右肘和右腕关键点往上移动时，表示用户向上抬起该手臂，则判断用户需要拉杆伸出，驱动拉杆伸出；

当用户触碰拉杆上的压力传感器，行李箱会自动退出跟随模式。后续如用户需要跟随功能，可在移动终端开启。

进一步，将获取到的当前帧和上一帧交给数据处理模块进行对比，当检测到用户的另一个手臂的右肘和右腕关键点往上移动时，表示用户向上抬起该手臂，若拉杆处于拉出状态，则判断用户当前不再需要拉杆，驱动拉杆缩回。此时当用户重新移动时，行李箱会判断用户恢复到了移动态，进而重新开始跟随任务。

本发明的一个优选方案，在步骤(4)中，将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中检测到用户完整的面部关键点，且用户的膝部和踝部发生变化时，则判断用户当前为转向及往前移动状态；行李箱向后运动指定距离，并原地转向90度；

进一步，若用户转向后切换至坐下状态，行李箱移动至用户的另一侧，停止跟随任务，行李箱进入休息状态，退出自动跟随任务；

进一步，若用户转向后继续往前移动，行李箱保持跟随任务。

本发明与现有技术相比具有以下有益效果：

1、本发明的行李箱身后跟随方法和身侧跟随方法，能够基于用户的行为，自动执行相应的动作，更加方便和智能；

2、本发明通过视觉识别的手段对比用户的行为动作，预测用户的当前或下一时刻的意图，进而完成用户的指令。

附图说明

图1为本发明中的基于行为预测的行李箱的硬件结构图。

图2为本发明中的行李箱跟随方法的流程图。

具体实施方式

为了使本领域的技术人员很好地理解本发明的技术方案，下面结合实施例和附图对本发明作进一步描述，但本发明的实施方式不仅限于此。

实施例1

参见图1-2，本实施例中的基于行为预测的行李箱包括箱体外壳，带有压力传感器的拉伸杆，位于拉杆侧的小型相机，位于底部的电机和电机控制的万向轮，单片机，蓄电池。

单片机作为主控制器包括视觉模块，路径规划模块，行为检测模块，人机交互模块，数据处理模块，驱动模块，控制模块。

其中，视觉模块用来获取图像信息，并通过图像信息(身型，着装等信息)进行身份识别和锁定用户；路径模块可以进行用户行动的轨迹做路径规划，也可以通过局部路径规划实现避障；行为检测模块，识别人体关键点，并通过关键点的变化判断用户的行为并进行相应的反馈；人际交互模块即包含了手机对行李箱的操控，也包含了报警功能；数据处理模块对接收到各种数据进行处理，并与其他模块间进行交互；驱动和控制模块控制行李箱按照数据处理模块得出的信息驱动行李箱运动。

本实施例中的基于行为预测的行李箱身后跟随方法，包括以下步骤：

(1)手机控制行李箱，打开自动跟随功能。

(2)行李箱首先要通过视觉模块获取一张包含目标用户的图像，然后通过Yolo算法检测出图像中的行人并显示到手机端，考虑到检测时相机可能会捕捉到多个行人信息，在手机上会显示多个ROI区域，因此需要用户在手机上确定行李箱需要跟随的目标，然后利用Re-ID的技术以防止跟踪目标丢失，然后通过卡尔曼滤波的方式进行轨迹预测和目标跟踪。

(3)点击开始跟随，获取用户当前的位置信息并在主控制器中进行处理，与设定的固定跟随距离进行比较，通过PID控制算法，驱动电机带动行李箱运动以维持固定的距离跟随用户移动。在跟踪的过程中行李箱会根据卡尔曼滤波预测的轨迹进行路径规划，而在识别到前方有行人经过时，行李箱会等待行人通过，如果行人在前方停留时间超过2s，行李箱会自动将行人视为障碍物，进行局部路径规划，然后通过Re-ID技术重新识别用户，然后通过PID控制运动到规定距离。

(4)在整个过程中，行李箱会基于MoveNet算法检测用户行为，由于在开始跟随时，用户已经选定了行李箱跟随的目标，所以视觉模块只会固定ROI进行检测，而忽略其他行人信息，这会大幅缩减运算时间。行李箱首先通过视觉模块获取用户图像，传递到数据处理模块，通过附带FPN的MobileNetV2算法提取关键点，这些关键点包含了17个人体关键点(包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯、左膝、右膝、左踝、右踝)，这些关键点与(x，y)坐标系相关联，进而可以判断用户的动作，并按照预训练的动作进行对比，进而判断当前用户在做什么动作，然后进行相应的反应：

a、当用户背对行李箱持续移动时，行李箱会将获取到的当前帧和上一帧交给数据处理模块进行对比，此时检测不到面部的关键点，但是能检测到左右膝和踝的变化，将这种情况与预训练时定义的情况进行对比，进而判断用户当前为移动态，会持续跟随任务。

b、当用户背对行李箱停下时，行李箱会将获取到的当前帧和上一帧交给数据处理模块进行对比，此时检测不到面部的关键点，但是能检测到左右膝和踝并没有发生变化，将这种情况与预训练时定义的情况进行对比，然后根据用户停止时间判断判断用户的状态，如果用户停止时间小于10s，行李箱会判断用户当前为暂停态，也会停下等待用户下一步动作；如果用户停止时间超过10s，行李箱会判断用户当前为静止态，会自动移动到用户身后，并保持自动跟随功能，如果用户重新移动，由于之前已经识别过用户特征，故不用再次识别，待用户移动到固定距离时开始重新跟随。

c、当用户停下并在椅子上坐下休息时，行李箱会将拍摄图像交给数据处理模块处理，此时可能有两种情况：

第一、当椅子位于用户面前时，用户需要先转身180度，然后背对着椅子坐下，此时行李箱会识别到全身关键点的变化判断出用户转身180度，检测到用户的面部关键点和用户最后坐下的状态，通过比较帧与帧之间的变化，能够识别用户此时的动作。

第二、当椅子位于用户身侧时，用户需要先转身90度，然后背对椅子坐下，此时行李箱会识别到全身关键点的变化判断出用户转身90度，检测到用户的一部分面部关键点和用户最后坐下的状态，通过比较帧与帧之间的变化，能够识别用户此时的动作。

当行李箱识别到相应的动作与预训练时定义的情况对比，行李箱会判断用户当前为休息态，会自动运动到用户身边，并自动取消跟踪模式，待用户重新起身，可以重新在手机端选择跟踪模式，此时由于之前已经识别过用户特征，故不用再次识别。

d、当用户转向行李箱并站立时，行李箱将拍摄的图像交给数据处理模块处理，此时能够检测到用户的面部关键点如鼻子和眼睛，并且能过判断出用户处于静止状态，通过与预训练时定义的动作对比，行李箱会判断用户当前为需求态，会移动到到用户身边待命，如果用户触碰拉伸杆上的压力传感器，行李箱会自动退出跟随模式，后续如用户需要跟随功能，可在手机端开启，如果用户并没有触碰拉伸杆上的压力传感器而是过身重新移动时，行李箱此时又检测不到面部关键点，并且判断用户持续移动，当用户移动到固定距离时，行李箱重新恢复自动跟随模式。

e、当用户处于需求态并且用户向上抬起右臂时，视觉模块将拍摄的图像交给数据处理模块处理，此时能够检测到用户的右肘和右腕关键点发生变化，通过与预训练时定义的动作对比，行李箱会判断用户当前需要拉杆伸出，会自动驱动拉杆伸出，当用户触碰拉伸杆上的压力传感器，行李箱会自动退出跟随模式，后续如用户需要跟随功能，可在手机端开启。

f、当用户处于需求态，并且拉伸杆拉出时，此时如果用户向上抬起左臂时，视觉模块将拍摄的图像交给数据处理模块处理，此时能够检测到用户的左肘和左腕关键点发生变化，通过与预训练时定义的动作对比，行李箱会判断用户当前不再需要拉伸杆，进而驱动电机将拉伸杆缩回，此时当用户重新移动时，行李箱会判断用户恢复到了移动态，进而重新开始跟随任务。

实施例2

参见图1-2，本实施例中的基于行为预测的行李箱身侧跟随方法，包括以下步骤：

(1)当行李箱在用户右侧时，手机控制行李箱，打开自动跟随功能。

(2)行李箱通过相机获取用户侧面的图片并生成ROI区域，通过TP-GAN算法，将获取到的侧脸特征生成正脸，与系统内存储的正脸信息进行比较，来作为主要识别用户的方法，同时通过身型，着装等信息作为次要方法识别用户，此时就算用户偶尔将脸转到另外的方向导致行李箱识别不到侧脸，行李箱仍然可以锁定用户。然后利用Re-ID的技术以防止跟踪目标丢失，然后通过卡尔曼滤波的方式进行轨迹预测和目标跟踪。

(3)点击开始跟随，获取用户当前的位置信息并在主控制器中进行处理，与设定的固定跟随距离进行比较，通过PID控制算法，驱动电机带动行李箱运动以维持固定的距离在身侧跟随用户移动。此时行李箱会保持固定距离跟随用户平行移动，当识别到用户移动方向偏离原来移动方向的角度超过设定的角度阈值，也会转动相应的角度以保持和用户固定距离的平行移动。

(4)在整个过程中，行李箱会基于MoveNet算法检测用户行为，由于在开始跟随时，用户已经选定了行李箱跟随的目标，所以视觉模块只会固定ROI进行检测，而忽略其他行人信息，这会大幅缩减运算时间。行李箱首先通过视觉模块获取用户图像，传递到数据处理模块，通过附带FPN的MobileNetV2算法提取关键点，这些关键点包含了17个人体关键点(包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯、左膝、右膝、左踝、右踝)，这些关键点与(x，y)坐标系相关联，进而可以判断用户的动作，并按照预训练的动作进行对比，进而判断当前用户在做什么动作，然后进行相应的反应：

a、当用户侧对行李箱持续移动时，行李箱会将获取到的当前帧和上一帧交给数据处理模块进行对比，此时考虑到用户可能存在玩手机，打电话等操作，因此忽略上肢关键的点变化，主要识别左右膝和踝的变化，将这种情况与预训练时定义的情况进行对比，进而判断用户当前为移动态，行李箱会通过控制算法，在用户身侧固定距离下持续跟随任务。

b、当用户侧对停下时，行李箱会将获取到的当前帧和上一帧交给数据处理模块进行对比，此时依旧忽略上肢关键点的变化检测到左右膝和踝并没有发生变化，将这种情况与预训练时定义的情况进行对比，行李箱会判断用户当前为暂停态，在控制算法下，由于此时用户没有移动，所以行李箱也会停下等待用户下一步动作。

c、当用户处于暂停态时，如果此时用户转头看向行李箱并且向着行李箱的方向抬起右臂时，视觉模块将拍摄的图像交给数据处理模块处理，此时能够检测到用户完整的面部关键点，并且能够检测到用户右肘和右腕关键点发生变化，通过与预训练时定义的动作对比，行李箱会判断用户当前需要拉杆伸出，会自动驱动拉杆伸出，等待用户下一步动作，如果用户触碰拉伸杆，导致压力传感器检测到压力，行李箱会自动退出跟随模式，后续如用户需要跟随功能，可在手机端开启。

d、当拉伸杆拉出，此时如果用户头部转向前方并且向前方抬起右臂时，视觉模块将拍摄的图像交给数据处理模块处理，此时能够检测到用户一部分面部关键点，并且能够检测到用户右肘和右腕关键点发生变化，通过与预训练时定义的动作对比，行李箱会判断用户当前不再需要拉伸杆，并且用户要继续移动，进而驱动电机将拉伸杆缩回，行李箱会判断用户恢复到了移动态，进而重新开始跟随任务。

e、当用户停下并在椅子上坐下休息时，此时可能有三种情况：

第一、当椅子位于用户面前时，用户需要先转身180度，然后背对着椅子坐下，此时行李箱会识别到全身关键点的变化判断出用户转身180度和用户最后坐下的状态，通过比较帧与帧之间的变化，识别用户进行的动作并与预训练时定义的情况对比，行李箱会判断用户当前为休息态，行李箱会停在当前位置并自动取消跟踪模式。

第二、当椅子位于用户身侧(无行李箱的一侧)时，用户需要先向行李箱侧转身90度，然后背对椅子坐下，此时行李箱会识别到全身关键点的变化判断出用户转身90度，并且当用户坐下后能够检测到用户全部的面部关键点，通过比较帧与帧之间的变化，识别用户进行的动作并与预训练时定义的情况对比，行李箱会判断用户当前为休息态，行李箱会停在当前位置并自动取消跟踪模式。

第三、当椅子位于用户身侧(与行李箱同侧)时，用户需要向行李箱侧转身90度正对行李箱，此时行李箱会识别到用户全身关键点的变化和全部面部关键点，并且在2s内，行李箱识别到用户的面部关键点，左右胯，膝和踝并没有发生变化，行李箱将运动过程与预训练时定义的情况对比，行李箱会判断用户当前为休息需求态，行李箱会向前运动一段距离后原地转向90度并停止，目的是为用户让出通向椅子的道路，然后行李箱会停在新的位置并自动取消跟踪模式。

待用户重新起身，可以重新在手机端开启跟踪模式，此时由于之前已经识别过用户特征，故不用再次识别。

在上述跟随过程中，行李箱的自动报警功能可以把报警信息反馈到用户的手机端，报警情况包括：行李箱丢失用户目标或与用户距离超过设定值；行李箱被别人强行拖走或强行开锁；行李箱发生故障。

当用户不再需要自动跟随模式时，可以在手机上取消自动跟随模式。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所做的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.基于行为预测的行李箱身后跟随方法，其特征在于，包括以下步骤：

（1）通过移动终端行李箱，打开自动跟随功能；

（2）行李箱通过视觉模块获取包含有目标用户的图像；数据处理模块对图像进行识别处理，生成对应的ROI区域，并上传至移动终端进行显示；用户在手机上确定行李箱需要跟随的目标；利用Re-ID的技术以防止跟踪目标丢失；

（3）点击开始跟随，获取用户当前的位置信息并在主控制器中进行处理，与设定的固定跟随距离进行比较，通过PID控制算法，驱动电机带动行李箱运动固定的距离跟随在用户的身后；

（4）在跟随过程中，行李箱基于MoveNet算法检测用户行为，通过视觉模块获取用户的图像，传递到数据处理模块，通过附带FPN的MobileNetV2算法提取人体中心热图来预测人体实例的中心，然后提取人体关键点热图来精准估计人体关键点的位置，从而判断当前用户的动作，再作出相应的反应，包括以下操作：

将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中未检测到用户的脸部，但用户的膝部和踝部发生变化时，则判断用户当前为往前移动状态，保持跟随任务；

将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中未检测到用户的脸部，且用户的膝部和踝部也未发生变化时，则判断用户当前为停止移动状态，停止跟随任务；

将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中检测到用户的脸部，且用户的身体发生转动、用户身高降低时，则判断用户当前为坐下状态，停止跟随任务，行李箱进入休息状态，退出自动跟随任务；

将获取到的当前帧和上一帧交给数据处理模块进行对比，当检测到用户的其中一个手臂的右肘和右腕关键点往上移动时，表示用户向上抬起该手臂，则判断用户需要拉杆伸出，驱动拉杆伸出；当用户触碰拉杆上的压力传感器，行李箱会自动退出跟随模式；

将获取到的当前帧和上一帧交给数据处理模块进行对比，当检测到用户的另一个手臂的右肘和右腕关键点往上移动时，表示用户向上抬起该手臂，若拉杆处于拉出状态，则判断用户当前不再需要拉杆，驱动拉杆缩回；

（5）用户再次起身移动，重新启动行李箱的自动跟随功能。

2.根据权利要求1所述的基于行为预测的行李箱身后跟随方法，其特征在于，在步骤（4）中，将获取到的当前帧和上一帧交给数据处理模块进行对比，若用户的身体发生转动，且检测到用户的面部关键点面向行李箱时，判断是否为停止状态；若为停止状态，行李箱判断用户当前为需求状态，移动到用户身边待命。

3.根据权利要求2所述的基于行为预测的行李箱身后跟随方法，其特征在于，若用户触碰拉杆上的压力传感器，行李箱退出跟随模式。

4.根据权利要求2所述的基于行为预测的行李箱身后跟随方法，其特征在于，若用户非触碰拉杆上的压力传感器，且检测到用户由停止状态切换至移动状态时，则判断为转身移动状态；当用户移动到固定距离时，行李箱重新恢复自动跟随模式。

5.基于行为预测的行李箱身侧跟随方法，其特征在于，包括以下步骤：

（1）通过移动终端行李箱，打开自动跟随功能；

（2）行李箱通过视觉模块获取包含有目标用户的图像，并生成ROI区域；通过TP-GAN算法，将获取到的侧脸特征生成正脸，与数据储存模块的正脸信息进行比较，确定行李箱需要跟随的目标；

利用Re-ID的技术以防止跟踪目标丢失，通过卡尔曼滤波的方式进行轨迹预测和目标跟踪；

（3）点击开始跟随，获取用户当前的位置信息并在主控制器中进行处理，与设定的固定跟随距离进行比较，通过PID控制算法，驱动电机带动行李箱运动固定的距离跟随在用户的身侧；

行李箱保持固定距离跟随用户平行移动，当识别到用户移动方向偏离原来移动方向的角度超过设定的角度阈值，转动相应的角度以保持和用户固定距离的平行移动；

（4）在跟随过程中，行李箱基于MoveNet算法检测用户行为，通过视觉模块获取用户的图像，传递到数据处理模块，通过附带FPN的MobileNetV2算法提取人体中心热图来预测人体实例的中心，然后提取人体关键点热图来精准估计人体关键点的位置，从而判断当前用户的动作，再作出相应的反应，包括以下操作：

将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中检测到用户的脸部，且用户的膝部和踝部发生变化时，则判断用户当前为往前移动状态，保持跟随任务；

将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中检测到用户的脸部，但用户的膝部和踝部未发生变化时，则判断用户当前为停止移动状态，停止跟随任务；

在停止移动状态下，若图像中检测到用户完整的面部关键点，以及检测到用户的其中一个手臂的右肘和右腕关键点往上移动时，表示用户向上抬起该手臂，则判断用户需要拉杆伸出，驱动拉杆伸出；当用户触碰拉杆上的压力传感器，行李箱会自动退出跟随模式；

将获取到的当前帧和上一帧交给数据处理模块进行对比，当检测到用户的另一个手臂的右肘和右腕关键点往上移动时，表示用户向上抬起该手臂，若拉杆处于拉出状态，则判断用户当前不再需要拉杆，驱动拉杆缩回；

将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中检测到用户的脸部，且用户的身体发生转动以及用户身高降低时，则判断用户当前为坐下状态，停止跟随任务，行李箱进入休息状态，退出自动跟随任务；

（5）用户再次起身移动，重新启动行李箱的自动跟随功能。

6.根据权利要求5所述的基于行为预测的行李箱身侧跟随方法，其特征在于，在步骤（4）中，将获取到的当前帧和上一帧交给数据处理模块进行对比，若图像中检测到用户完整的面部关键点，且用户的膝部和踝部发生变化时，则判断用户当前为转向及往前移动状态；行李箱向后运动指定距离，并原地转向90度；

若用户转向后切换至坐下状态，行李箱移动至用户的另一侧，停止跟随任务，行李箱进入休息状态，退出自动跟随任务；

若用户转向后继续往前移动，行李箱保持跟随任务。