CN111507225A - 一种智能跟随系统及方法 - Google Patents

一种智能跟随系统及方法 Download PDF

Info

Publication number
CN111507225A
CN111507225A CN202010277782.9A CN202010277782A CN111507225A CN 111507225 A CN111507225 A CN 111507225A CN 202010277782 A CN202010277782 A CN 202010277782A CN 111507225 A CN111507225 A CN 111507225A
Authority
CN
China
Prior art keywords
user
information
mobile device
control command
following
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010277782.9A
Other languages
English (en)
Inventor
张官兴
王赟
郭蔚
黄康莹
张铁亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ewa Intelligent Technology Co ltd
Shaoxing Ewa Technology Co Ltd
Original Assignee
Shanghai Ewa Intelligent Technology Co ltd
Shaoxing Ewa Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ewa Intelligent Technology Co ltd, Shaoxing Ewa Technology Co Ltd filed Critical Shanghai Ewa Intelligent Technology Co ltd
Priority to CN202010277782.9A priority Critical patent/CN111507225A/zh
Publication of CN111507225A publication Critical patent/CN111507225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45CPURSES; LUGGAGE; HAND CARRIED BAGS
    • A45C13/00Details; Accessories
    • A45C13/18Devices to prevent theft or loss of purses, luggage or hand carried bags
    • A45C13/24Devices for sound-producing, piercing, gas-discharging, or the like
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45CPURSES; LUGGAGE; HAND CARRIED BAGS
    • A45C5/00Rigid or semi-rigid luggage
    • A45C5/04Trunks; Travelling baskets
    • A45C5/045Travelling baskets
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本发明公开了一种智能跟随系统及方法,属于智能控制技术领域,系统包括:信息采集模块,处理模块,处理模块具体包括:避障单元,控制单元,驱动单元;方法包括:步骤S1,采集用户的位姿信息和移动设备行进路线上的障碍物信息;步骤S2,根据障碍物信息规划得到第一避障路径,并根据第一避障路径生成第一控制命令;步骤S3,根据位姿信息生成用于执行跟随任务的第二控制命令;步骤S4,根据第一控制命令和第二控制命令控制移动设备移动。有益效果是:使用过程中用户无需穿戴任何附件,不仅提高了用户的使用体验,而且前跟随模式下有利于用户随时掌握行李箱的状态。

Description

一种智能跟随系统及方法
技术领域
本发明涉及智能控制技术领域,尤其涉及一种智能跟随系统及方法。
背景技术
随着人工智能的快速发展,行李箱等移动设备也走上了智能化的道路,现有技术中,出现了通过多个无线感应模块(如蓝牙、无线传感器等)与用户佩戴的便携式通讯装置(如智能手环、智能手机等)之间通过通讯连接,基于信号强度与距离呈线性关系和三角定位等原理来实现智能行李箱对用户的后跟随功能,然而该种方法下的智能跟随功能不仅容易受到电磁环境的干扰,而且用户还需要额外佩戴相应的通讯装置,给用户的使用带来了不便,同时,现有智能行李箱通常只具有后跟随模式,行李箱处于用户的视线以外,不利于用户实时掌握行李箱等移动设备的当前状态。
发明内容
根据现有技术中存在的上述问题,现提供一种智能跟随系统及方法,通过采集用户的姿态信息和距离信息来实现对用户的前跟随功能,同时通过采集行进路径上的障碍物信息来实现避障功能,且使用过程中用户无需穿戴任何附件,不仅提高了用户的使用体验,而且前跟随模式下有利于用户随时掌握移动设备的状态。
上述技术方案具体包括:
一种移动设备前跟随系统,应用于移动设备,其中,所述移动设备前跟随系统设置于所述移动设备内,并通过控制所述移动设备上的移动机构,使得所述移动设备跟随用户移动;
所述智能跟随系统包括:
信息采集模块,用于采集所述用户的位姿信息和所述移动设备行进路线上的障碍物信息;
所述位姿信息用于表示所述用户相对于所述移动设备的朝向和距离;
所述障碍物信息用于表示障碍物相对于所述移动设备的方位、距离以及所述障碍物的尺寸;
处理模块,连接所述信息采集模块和所述移动机构,用于根据所述位姿信息和所述障碍物信息控制所述移动机构执行相应的动作;
所述处理模块具体包括:
避障单元,用于根据所述障碍物信息规划得到第一避障路径;
控制单元,连接所述避障单元,所述控制单元根据所述第一避障路径生成第一控制命令,所述控制单元还根据所述位姿信息生成用于执行跟随任务的第二控制命令;
驱动单元,连接所述控制单元和所述移动机构,用于接收所述第一控制命令和所述第二控制命令并执行,以驱动所述移动机构运动,从而带动所述行李箱移动,所述第一控制命令的执行优先级高于所述第二控制命令。
优选地,其中,所述信息采集模块至少包括:
第一采集模块,设置于所述移动设备的一侧,用于采集所述位姿信息,所述第一采集模块朝向所述用户设置;
第二采集模块,设置于所述移动设备的另一侧,用于采集所述障碍物信息,所述第二采集模块朝向所述移动设备的行进方向设置。
优选地,其中,所述信息采集模块还用于采集所述用户的表征信息,所述表征信息用于表示所述用户的特征,所述移动设备前跟随系统通过所述表征信息来判断当前用户是否为目标跟随用户。
优选地,其中,所述表征信息包括:语音信息、人脸特征信息和手势信息中的一种或多种;
所述处理模块根据所述表征信息生成相应的控制指令,并控制所述移动设备执行相应的动作。
优选地,其中,所述生成相应的控制指令包括:
根据所述语音信息生成相应的语音指令;和/或
根据所述人脸特征信息生成相应的判别指令;和/或
根据所述手势信息生成相应的手势指令。
优选地,其中,所述处理模块还包括:
路径规划单元,连接所述避障单元和所述控制单元,所述路径规划单元根据所述位姿信息处理得到所述用户的预估行进路径,并根据所述预估行进路径和所述第一避障路径拟合得到第二避障路径;
所述控制单元根据所述第二避障路径生成对应的第三控制命令,所述驱动单元根据所述第三控制命令驱动所述移动机构运动。
优选地,其中,所述移动设备前跟随系统还包括:
定位模块,用于获取所述行李箱的当前位置信息;
通讯模块,连接所述定位模块,用于将所述当前位置信息发送至所述用户;
报警模块,用于在检测到所述移动设备被暴力移动或破解时,发出报警信息。
一种移动设备前跟随方法,应用于移动设备,其中包括:
步骤S1,采集用户的位姿信息和所述移动设备行进路线上的障碍物信息,所述位姿信息用于表示所述用户相对于所述移动设备的朝向和距离,所述障碍物信息用于表示障碍物相对于所述移动设备的方位、距离以及所述障碍物的尺寸;
步骤S2,根据所述障碍物信息规划得到第一避障路径,并根据所述第一避障路径生成第一控制命令;
步骤S3,根据所述位姿信息生成用于执行跟随任务的第二控制命令;
步骤S4,根据所述第一控制命令和所述第二控制命令控制所述移动设备移动,并于所述第一控制命令与所述第二控制命令发生冲突时,优先执行第一控制命令。
优选地,其中,于执行所述步骤S1前,还包括如下步骤:
步骤S01,激活并初始化所述移动设备;
步骤S02,获取用户输入的工作模式;
其中,所述工作模式的输入方式包括:按键输入方式、语音输入方式和手势识别输入方式中的一种或多种;
所述工作模式包括解锁模式和跟随模式。
优选地,其中,于所述用户输入的所述工作模式为所述解锁模式时,执行完所述步骤S02后还包括:
步骤S03,持续获取所述用户的位姿信息,并处理得到所述用户与所述移动设备之间的距离值;
步骤S04,判断所述距离值是否大于一第一预设阈值:
若否,则直接对所述用户进行解锁验证;
若是,则转向步骤S05;
步骤S05,控制所述移动设备移动至所述用户附近小于所述第一预设阈值的范围内;
步骤S06,根据所述位姿信息调整所述移动设备的朝向,以便于对所述用户进行所述解锁验证。
优选地,其中,所述解锁验证的过程具体包括:
步骤A1,获取所述用户的特征数据,所述特征数据包括:人脸数据、声纹数据、瞳孔数据和掌静脉数据中的一种或多种;
步骤A2,将所述特征数据与预先储存的用户的特征数据进行比较打分,并输出一第一相似度分值;
步骤A3,判断所述第一相似度分值是否大于一第一预设分值:
若是,则对所述移动设备进行解锁;
若否,则向所述用户发出相应的提示信息。
优选地,其中,于所述用户输入的所述工作模式为所述跟随模式时,执行完所述步骤S02后还包括:
步骤S13,获取当前用户的人脸数据,并与预先存储的用户的人脸数据进行比较打分,并输出一第二相似度分值;
步骤S14,判断所述第二相似度分值是否大于一第二预设分值:
若是,则转向所述步骤S1,执行用户的跟随任务;
若否,则转向步骤S15;
步骤S15,控制所述移动设备原地旋转,采集所述移动设备周围的所有人脸数据;
步骤S16,将所述所有人脸数据分别与预先存储的用户的人脸数据进行比较打分,并将分值大于一第三预设分值的用户输出标记为待识别用户;
所述第二预设分值小于所述第二预设分值;
步骤S17,控制所述移动设备依次接近并采集所述待识别用户的详细人脸数据;
步骤S18,对所述详细人脸数据进行实时打分,并于所述分值大于所述第二预设分值时转向所述步骤S1,执行对应用户的跟随任务。
优选地,其中,所述步骤S18中,于所述详细人脸数据分值均不大于所述第二预设分值时,所述移动设备原地等待和/或发出报警信息。
优选地,其中,所述步骤S1中,通过采集人体的关键点信息和深度信息,并根据人体姿态估计算法处理得到所述用户相对于所述移动设备的朝向,
通过采集人体多个点的深度信息处理得到平均深度信息,并将所述平均深度信息作为所述用户相对于所述移动设备的距离。
优选地,其中,所述步骤S3中还包括:根据所述位姿信息处理得到所述用户的预估行进路径,并根据所述预估行进路径和所述第一避障路径拟合得到第二避障路径,根据所述第二避障路径生成对应的第三控制命令;
所述步骤S4还包括:根据所述第三控制命令控制所述移动设备移动,并于所述第三控制命令与所述第一控制命令和/或所述第二控制命令冲突时,优先执行所述第三控制命令。
上述技术方案的有益效果在于:
提供一种智能跟随系统及方法,通过采集用户的姿态信息和距离信息来实现对用户的前跟随功能,同时通过采集行进路径上的障碍物信息来实现避障功能,且使用过程中用户无需穿戴任何附件,不仅提高了用户的使用体验,而且前跟随模式下有利于用户随时掌握移动设备的状态。
附图说明
图1是本发明的较佳实施例中,一种智能跟随系统的结构示意图;
图2是本发明的较佳实施例中,于图1的基础上,处理模块的结构示意图;
图3-图8是本发明的较佳实施例中,一种智能行李箱的工作过程示意图;
图9是本发明的较佳实施例中,一种移动设备前跟随方法的步骤流程图;
上述说明书附图中附图标记表示说明:
第一采集模块(1),第二采集模块(2),处理模块(3),避障单元(30),控制单元(31),驱动单元(32),路径规划单元(33),定位模块(4),通讯模块(5),报警模块(6),第一避障路径(10),预估行进路径(11),第二避障路径(12)。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
一种移动设备前跟随系统,应用于移动设备,其中移动设备前跟随系统设置于移动设备内,并通过控制移动设备上的移动机构,使得移动设备跟随用户移动;
如图1所示,智能跟随系统包括:
信息采集模块,用于采集用户的位姿信息和移动设备行进路线上的障碍物信息;
位姿信息用于表示用户相对于移动设备的朝向和距离;
障碍物信息用于表示障碍物相对于移动设备的方位、距离以及障碍物的尺寸;
处理模块3,连接信息采集模块和移动机构,用于根据位姿信息和障碍物信息控制移动机构执行相应的动作;
如图2所示,处理模块3具体包括:
避障单元30,用于根据障碍物信息规划得到第一避障路径;
控制单元31,连接避障单元30,控制单元31根据第一避障路径生成第一控制命令,控制单元31还根据位姿信息生成用于执行跟随任务的第二控制命令;
驱动单元32,连接控制单元31和移动机构,用于接收第一控制命令和第二控制命令并执行,以驱动移动机构运动,从而带动行李箱移动,第一控制命令的执行优先级高于第二控制命令。
信息采集模块至少包括:
第一采集模块1,设置于移动设备的一侧,用于采集位姿信息,第一采集模块1朝向用户设置;
第二采集模块2,设置于移动设备的另一侧,用于采集障碍物信息,第二采集模块2朝向移动设备的行进方向设置。
处理模块3还包括:
路径规划单元33,连接避障单元30和控制单元31,路径规划单元根据位姿信息处理得到用户的预估行进路径11,并根据预估行进路径和第一避障路径10拟合得到第二避障路径12;
控制单元根据第二避障路径生成对应的第三控制命令,驱动单元根据第三控制命令驱动移动机构运动。
作为优选的实施方式,如图3所示,第一采集模块1采用深度相机,设置于行李箱上用户面对的一侧,用于在行李箱的前跟随模式中实时进行姿态检测以及距离检测,进而获取用户的姿态信息以及行李箱与用户之间的距离信息。
第一采集模块1通过姿态检测可以获取用户当前的朝向,进而让行李箱知道用户是否要转弯,根据用户朝向角度的改变,控制单元31控制行李箱相应的调整行进方向角,从而保持行李箱与用户处于正向相对的状态。
在本发明的一个具体实施例中,如图4-6所示,第一采集模块1为深度相机,通过采集用户的身上特定的点来检测用于的当前朝向,例如,考虑到人的头部会转动,深度相机可以采集人体两个肩膀预定点之间的连线所在的竖直平面作为人体的朝向面,通过建立空间坐标系,将人体两个肩膀之间连线的中点所在的法线作为朝向面的中心法线,然后通过将该中心法线与第一采集模块1所在的竖直平面的法线相比较,通过一系列的刚体变换、透视变换、平移变换、旋转矩阵变换等处理,可得到人体的朝向面与第一采集模块1所在竖直面之间的夹角,控制单元31通过调整行李箱的位置来确保人体朝向面与第一采集模块1的竖直面互相平行,且两平面间隔预定距离,从而实现行李箱对用户的前跟随功能。
如图7所示,第二采集模块2设置于行李箱上面向行进方向的一则,用于检测行进方向上的障碍物,避免前跟随模式下的行李箱撞到障碍物,第二采集模块2可以采用深度相机,也可以采用超声波、激光雷达、微波雷达等障碍物检测传感器中的一种或多种组合,同时为了避免行李箱在转向时侧面撞击到障碍物,可以于行李箱的侧面也安装障碍物检测装置,进而对行李箱周围进行无死角的障碍物检测。
行李箱在前跟随过程中,当第二采集模块2检测到障碍物位于行李箱的行进路径上时,则将障碍物所在的位置以及障碍物大小等信息发送至避障单元30,避障单元30根据采集到的障碍物信息重新规划当前行进路径,生成第一避障路径10发送至控制单元31,控制单元31根据第一避障路径10生成相应的的第一控制命令来控制驱动单元32工作,
在行李箱前跟随过程中,驱动单元32同时接受到用于控制避障的第一控制命令和用于控制转向的第二控制命令,则优先执行第一控制命令完成避障操作,避障完成后再执行第二控制命令,此处的第二控制命令是实时发送来的,在根据第一控制命令完成避障的过程中,第二控制命令也会跟着第一采集模块1采集到的人体的位置相应的变化,第一控制命令执行完毕后驱动单元32执行最新的第二控制命令来调整行李箱的相对位置,继续保持对用户的前跟随状态。
在本发明的一个具体实施例中,驱动单元32为驱动行李箱行走的动力装置,包括一个主动电机驱动轮和从动的万向轮,在只有一个驱动轮的情况下,可以通过驱动轮与转向舵轮相配合的方式实现行李箱的驱动行走及转向功能,在存在两个驱动轮时,则可以通过PID差速控制的方式来实现行李箱的驱动行走及转向功能。
具体的,在本实施例中,如图8所示,避障单元30根据检测到的障碍物规划出第一避障路径10后,路径规划单元33根据第一采集模块1采集到的用户的姿态信息实时处理得到用户的预估行进路径11,该预估行进路径11是根据用户的朝向预测出来的用户为躲避障碍物可能的行进路径,因此,该预估行进路径11必然也满足躲避障碍物所具备的约束条件;随后,路径规划单元33对预估行进路径11和避障单元30生成的第一避障路径10进行拟合,以修正第一避障路径10,生成第二避障路径12,该拟合过程可以采用折中法对两条路径进行折中拟合,拟合后生成的第二避障路径12既能够满足行李箱避障的要求,又能够趋近于对用户的前跟随,从而可以达到最优跟随的效果,使得在避障结束后,行李箱可以较小的调整动作便能够回到正常的前跟随工作状态。需要说明的是,在控制单元31根据第二避障路径12生成第三控制命令后,驱动单元32优先执行第三控制命令,也就是说,此时的第三控制命令会替代第一控制命令来控制行李箱完成避障动作,避障动作完成后,驱动单元32则继续执行第二控制命令,驱动行李箱回到正常的前跟随工作状态。
在本发明的较佳实施例中,信息采集模块还用于采集用户的表征信息,表征信息用于表示用户的特征,移动设备前跟随系统通过表征信息来判断当前用户是否为目标跟随用户。
表征信息包括:语音信息、人脸特征信息和手势信息中的一种或多种;
处理模块根据表征信息生成相应的控制指令,并控制移动设备执行相应的动作。
生成相应的控制指令包括:
根据语音信息生成相应的语音指令;和/或
根据人脸特征信息生成相应的判别指令;和/或
根据手势信息生成相应的手势指令。
具体的,在本实施例中,信息采集模块还可以包括能够对人体手势进行识别的Kinect相机,通过Kinect相机采集人体关节的位置,并由预先训练的手势分类模型对手势进行识别,生成与手势动作想对应的控制命令。例如,当用户发出举起手动作时,将被识别为“停止”的命令,当用户发出招手的动作时,将被识别为“过来”的命令,控制单元31生成与该手势动作相对应的控制命令,并控制驱动单元32带动行李箱作出停在原地和靠近用户等相应的动作。
具体的,在本实施例中,信息采集模块中包括麦克风,用于采集用户发出的语音信息,控制单元31则根据预设的命令列表将用户的语音指令转换成相应的控制命令,控制驱动单元32带动行李箱完成相应的动作。
在本发明的另一个具体实施例中,控制单元31中可以同时加入声纹识别功能,控制单元31只有在识别到与预设的声纹相符合的语音信息时才会对语音信息进行进一步的处理,这样不仅可以提升行李箱的安全性,还可以避免在噪声环境中误识别语音信息。
具体的,在本实施例中,信息采集模块还可以包括深度相机,用于采集用户的人脸三维数据,并将采集的人脸三维数据与预先存储有认证用户的人脸信息进行比较,进而来判断当前用户是不是合法用户;通过人脸识别功能来确定当前的操作用户是不是授权用户,只有在该用户被授权时,才允许用户的后续操作。
具体的,在本实施例中,行李箱在对当前操作用户的人脸识别通过以后,可以允许用户进行模式选择,在本发明的一个具体实施例中,行李箱具有开箱模式,前跟随模式和后跟随模式三种工作模式,当用户选择开箱模式后,控制单元31控制相应的行李箱电子锁解锁,用户可以打开行李箱取放行李箱内的物品。
在本发明的较佳实施例中,智能跟随系统还包括:
定位模块4,连接处理模块3,用于获取行李箱的当前位置信息;
通讯模块5,连接定位模块4,用于将当前位置信息发送至用户。
具体的,在本实施例中,通讯模块5内可以预先设置有用户的手机号码或绑定预定的移动终端,移动终端通过相应的应用程序实时获取行李箱的当前位置信息。
在本发明的较佳实施例中,预定工作模式包括跟随模式,于跟随模式下,处理模块3于判断结果表示相匹配时,控制行李箱跟随用户运动。
具体的,在本实施例中,在用户通过人脸识别验证以后,可以选择开启跟随模式,此时智能跟随系统通过第一采集模块1实时采集用户的姿态信息和距离信息,实现对用户的前跟随功能。
具体的,在本实施例中,第一采集模块可以伸出行李箱设置,并采用相对行李箱可360度旋转的摄像头,该种情况下,在当前用户的判断结果表示不匹配时,控制单元31控制该摄像头进行旋转,以采集行李箱附近所有用户的面部信息,从而找到授权用户的面部信息;在本发明的另一个具体实施例中,第一采集模块嵌入设置在行李箱的一侧,该种情况下,在当前用户的判断结果表示不匹配时,控制单元31以控制驱动单元32驱动行李箱本体做360度的旋转的方式,带动第一采集模块旋转,以采集行李箱附近所有用户的面部信息。
行李箱在对周围所有用户面部信息均进行判断以后,未发现授权用户时,有三种预定警示动作可供执行,第一种预定警示动作是原地等待,并开启防偷盗模式,该防偷盗模式可以是触摸报警或移动报警,用户触摸行李箱或试图移动行李箱时,行李箱会发出警报声;第二种预定警示动作是向用户的移动终端发送行李箱的当前位置信息,同时开启防偷盗模式;第三种预定警示动作是与用户的移动终端建立连接,并实现行李箱与用户移动终端之间的位置共享,用户可以通过移动终端向行李箱发出指令,分别向同一地方前进,以更快的汇合。
一种移动设备前跟随方法,应用于移动设备,其中包括:
步骤S1,采集用户的位姿信息和移动设备行进路线上的障碍物信息,位姿信息用于表示用户相对于移动设备的朝向和距离,障碍物信息用于表示障碍物相对于移动设备的方位、距离以及障碍物的尺寸;
步骤S2,根据障碍物信息规划得到第一避障路径,并根据第一避障路径生成第一控制命令;
步骤S3,根据位姿信息生成用于执行跟随任务的第二控制命令;
步骤S4,根据第一控制命令和第二控制命令控制移动设备移动,并于第一控制命令与第二控制命令发生冲突时,优先执行第一控制命令。
在本发明的较佳实施例中,于执行步骤S1前,还包括如下步骤:
步骤S01,激活并初始化移动设备;
步骤S02,获取用户输入的工作模式;
其中,工作模式的输入方式包括:按键输入方式、语音输入方式和手势识别输入方式中的一种或多种;
工作模式包括解锁模式和跟随模式。
在本发明的较佳实施例中,于用户输入的工作模式为解锁模式时,执行完步骤S02后还包括:
步骤S03,持续获取用户的位姿信息,并处理得到用户与移动设备之间的距离值;
步骤S04,判断距离值是否大于一第一预设阈值:
若否,则直接对用户进行解锁验证;
若是,则转向步骤S05;
步骤S05,控制移动设备移动至用户附近小于第一预设阈值的范围内;
步骤S06,根据位姿信息调整移动设备的朝向,以便于对用户进行解锁验证。
在本发明的较佳实施例中,解锁验证的过程具体包括:
步骤A1,获取用户的特征数据,特征数据包括:人脸数据、声纹数据、瞳孔数据和掌静脉数据中的一种或多种;
步骤A2,将特征数据与预先储存的用户的特征数据进行比较打分,并输出一第一相似度分值;
步骤A3,判断第一相似度分值是否大于一第一预设分值:
若是,则对移动设备进行解锁;
若否,则向用户发出相应的提示信息。
在本发明的较佳实施例中,于用户输入的工作模式为跟随模式时,执行完步骤S02后还包括:
步骤S13,获取当前用户的人脸数据,并与预先存储的用户的人脸数据进行比较打分,并输出一第二相似度分值;
步骤S14,判断第二相似度分值是否大于一第二预设分值:
若是,则转向步骤S1,执行用户的跟随任务;
若否,则转向步骤S15;
步骤S15,控制移动设备原地旋转,采集移动设备周围的所有人脸数据;
步骤S16,将所有人脸数据分别与预先存储的用户的人脸数据进行比较打分,并将分值大于一第三预设分值的用户输出标记为待识别用户;
第二预设分值小于第二预设分值;
步骤S17,控制移动设备依次接近并采集待识别用户的详细人脸数据;
步骤S18,对详细人脸数据进行实时打分,并于分值大于第二预设分值时转向步骤S1,执行对应用户的跟随任务。
在本发明的较佳实施例中,步骤S18中,于详细人脸数据分值均不大于第二预设分值时,移动设备原地等待和/或发出报警信息。
在本发明的较佳实施例中,步骤S1中,通过采集人体的关键点信息和深度信息,并根据人体姿态估计算法处理得到用户相对于移动设备的朝向,
通过采集人体多个点的深度信息处理得到平均深度信息,并将平均深度信息作为用户相对于移动设备的距离。
在本发明的较佳实施例中,步骤S3中还包括:根据位姿信息处理得到用户的预估行进路径,并根据预估行进路径和第一避障路径拟合得到第二避障路径,根据第二避障路径生成对应的第三控制命令;
步骤S4还包括:根据第三控制命令控制移动设备移动,并于第三控制命令与第一控制命令和/或第二控制命令冲突时,优先执行第三控制命令。
上述技术方案的有益效果在于:
提供一种智能跟随系统及行李箱,通过采集用户的姿态信息和距离信息来实现行李箱对用户的前跟随功能,同时通过采集行进路径上的障碍物信息来实现行李箱的避障功能,且使用过程中用户无需穿戴任何附件,不仅提高了用户的使用体验,而且前跟随模式下有利于用户随时掌握行李箱的状态。
以上所述仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (15)

1.一种移动设备前跟随系统,应用于移动设备,其特征在于,所述移动设备前跟随系统设置于所述移动设备内,并通过控制所述移动设备上的移动机构,使得所述移动设备跟随用户移动;
所述智能跟随系统包括:
信息采集模块,用于采集所述用户的位姿信息和所述移动设备行进路线上的障碍物信息;
所述位姿信息用于表示所述用户相对于所述移动设备的朝向和距离;
所述障碍物信息用于表示障碍物相对于所述移动设备的方位、距离以及所述障碍物的尺寸;
处理模块,连接所述信息采集模块和所述移动机构,用于根据所述位姿信息和所述障碍物信息控制所述移动机构执行相应的动作;
所述处理模块具体包括:
避障单元,用于根据所述障碍物信息规划得到第一避障路径;
控制单元,连接所述避障单元,所述控制单元根据所述第一避障路径生成第一控制命令,所述控制单元还根据所述位姿信息生成用于执行跟随任务的第二控制命令;
驱动单元,连接所述控制单元和所述移动机构,用于接收所述第一控制命令和所述第二控制命令并执行,以驱动所述移动机构运动,从而带动所述行李箱移动,所述第一控制命令的执行优先级高于所述第二控制命令。
2.根据权利要求1所述的移动设备前跟随系统,其特征在于,所述信息采集模块至少包括:
第一采集模块,设置于所述移动设备的一侧,用于采集所述位姿信息,所述第一采集模块朝向所述用户设置;
第二采集模块,设置于所述移动设备的另一侧,用于采集所述障碍物信息,所述第二采集模块朝向所述移动设备的行进方向设置。
3.根据权利要求1所述的移动设备前跟随系统,其特征在于,所述信息采集模块还用于采集所述用户的表征信息,所述表征信息用于表示所述用户的特征,所述移动设备前跟随系统通过所述表征信息来判断当前用户是否为目标跟随用户。
4.根据权利要求3所述的移动设备前跟随系统,其特征在于,所述表征信息包括:语音信息、人脸特征信息和手势信息中的一种或多种;
所述处理模块根据所述表征信息生成相应的控制指令,并控制所述移动设备执行相应的动作。
5.根据权利要求4所述的移动设备前跟随系统,其特征在于,所述生成相应的控制指令包括:
根据所述语音信息生成相应的语音指令;和/或
根据所述人脸特征信息生成相应的判别指令;和/或
根据所述手势信息生成相应的手势指令。
6.根据权利要求1所述的移动设备前跟随系统,其特征在于,所述处理模块还包括:
路径规划单元,连接所述避障单元和所述控制单元,所述路径规划单元根据所述位姿信息处理得到所述用户的预估行进路径,并根据所述预估行进路径和所述第一避障路径拟合得到第二避障路径;
所述控制单元根据所述第二避障路径生成对应的第三控制命令,所述驱动单元根据所述第三控制命令驱动所述移动机构运动。
7.根据权利要求1所述的移动设备前跟随系统,其特征在于,所述移动设备前跟随系统还包括:
定位模块,用于获取所述行李箱的当前位置信息;
通讯模块,连接所述定位模块,用于将所述当前位置信息发送至所述用户;
报警模块,用于在检测到所述移动设备被暴力移动或破解时,发出报警信息。
8.一种移动设备前跟随方法,应用于移动设备,其特征在于,包括:
步骤S1,采集用户的位姿信息和所述移动设备行进路线上的障碍物信息,所述位姿信息用于表示所述用户相对于所述移动设备的朝向和距离,所述障碍物信息用于表示障碍物相对于所述移动设备的方位、距离以及所述障碍物的尺寸;
步骤S2,根据所述障碍物信息规划得到第一避障路径,并根据所述第一避障路径生成第一控制命令;
步骤S3,根据所述位姿信息生成用于执行跟随任务的第二控制命令;
步骤S4,根据所述第一控制命令和所述第二控制命令控制所述移动设备移动,并于所述第一控制命令与所述第二控制命令发生冲突时,优先执行第一控制命令。
9.根据权利要求8所述的移动设备前跟随方法,其特征在于,于执行所述步骤S1前,还包括如下步骤:
步骤S01,激活并初始化所述移动设备;
步骤S02,获取用户输入的工作模式;
其中,所述工作模式的输入方式包括:按键输入方式、语音输入方式和手势识别输入方式中的一种或多种;
所述工作模式包括解锁模式和跟随模式。
10.根据权利要求9所述的移动设备前跟随方法,其特征在于,于所述用户输入的所述工作模式为所述解锁模式时,执行完所述步骤S02后还包括:
步骤S03,持续获取所述用户的位姿信息,并处理得到所述用户与所述移动设备之间的距离值;
步骤S04,判断所述距离值是否大于一第一预设阈值:
若否,则直接对所述用户进行解锁验证;
若是,则转向步骤S05;
步骤S05,控制所述移动设备移动至所述用户附近小于所述第一预设阈值的范围内;
步骤S06,根据所述位姿信息调整所述移动设备的朝向,以便于对所述用户进行所述解锁验证。
11.根据权利要求10所述的移动设备前跟随方法,其特征在于,所述解锁验证的过程具体包括:
步骤A1,获取所述用户的特征数据,所述特征数据包括:人脸数据、声纹数据、瞳孔数据和掌静脉数据中的一种或多种;
步骤A2,将所述特征数据与预先储存的用户的特征数据进行比较打分,并输出一第一相似度分值;
步骤A3,判断所述第一相似度分值是否大于一第一预设分值:
若是,则对所述移动设备进行解锁;
若否,则向所述用户发出相应的提示信息。
12.根据权利要求9所述的移动设备前跟随方法,其特征在于,于所述用户输入的所述工作模式为所述跟随模式时,执行完所述步骤S02后还包括:
步骤S13,获取当前用户的人脸数据,并与预先存储的用户的人脸数据进行比较打分,并输出一第二相似度分值;
步骤S14,判断所述第二相似度分值是否大于一第二预设分值:
若是,则转向所述步骤S1,执行用户的跟随任务;
若否,则转向步骤S15;
步骤S15,控制所述移动设备原地旋转,采集所述移动设备周围的所有人脸数据;
步骤S16,将所述所有人脸数据分别与预先存储的用户的人脸数据进行比较打分,并将分值大于一第三预设分值的用户输出标记为待识别用户;
所述第二预设分值小于所述第二预设分值;
步骤S17,控制所述移动设备依次接近并采集所述待识别用户的详细人脸数据;
步骤S18,对所述详细人脸数据进行实时打分,并于所述分值大于所述第二预设分值时转向所述步骤S1,执行对应用户的跟随任务。
13.根据权利要求12所述的移动设备前跟随方法,其特征在于,所述步骤S18中,于所述详细人脸数据分值均不大于所述第二预设分值时,所述移动设备原地等待和/或发出报警信息。
14.根据权利要求8所述的移动设备前跟随方法,其特征在于,所述步骤S1中,通过采集人体的关键点信息和深度信息,并根据人体姿态估计算法处理得到所述用户相对于所述移动设备的朝向,
通过采集人体多个点的深度信息处理得到平均深度信息,并将所述平均深度信息作为所述用户相对于所述移动设备的距离。
15.根据权利要求8所述的移动设备前跟随方法,其特征在于,所述步骤S3中还包括:根据所述位姿信息处理得到所述用户的预估行进路径,并根据所述预估行进路径和所述第一避障路径拟合得到第二避障路径,根据所述第二避障路径生成对应的第三控制命令;
所述步骤S4还包括:根据所述第三控制命令控制所述移动设备移动,并于所述第三控制命令与所述第一控制命令和/或所述第二控制命令冲突时,优先执行所述第三控制命令。
CN202010277782.9A 2020-04-08 2020-04-08 一种智能跟随系统及方法 Pending CN111507225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010277782.9A CN111507225A (zh) 2020-04-08 2020-04-08 一种智能跟随系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010277782.9A CN111507225A (zh) 2020-04-08 2020-04-08 一种智能跟随系统及方法

Publications (1)

Publication Number Publication Date
CN111507225A true CN111507225A (zh) 2020-08-07

Family

ID=71876045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010277782.9A Pending CN111507225A (zh) 2020-04-08 2020-04-08 一种智能跟随系统及方法

Country Status (1)

Country Link
CN (1) CN111507225A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114415689A (zh) * 2022-01-25 2022-04-29 无锡市金沙田科技有限公司 一种跟随车的决策方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150229906A1 (en) * 2012-09-19 2015-08-13 Follow Inspiration Unipessoal, Lda Self tracking system and its operation method
CN106155065A (zh) * 2016-09-28 2016-11-23 上海仙知机器人科技有限公司 一种机器人跟随方法及用于机器人跟随的设备
CN106444763A (zh) * 2016-10-20 2017-02-22 泉州市范特西智能科技有限公司 基于视觉传感器智能自动跟随方法、系统及行李箱
CN106647730A (zh) * 2016-08-30 2017-05-10 北京九星智元科技有限公司 一种前方随行系统及随行方法和智能移动平台
US20170220040A1 (en) * 2016-02-02 2017-08-03 Justin London Smart luggage systems
CN108549410A (zh) * 2018-01-05 2018-09-18 灵动科技(北京)有限公司 主动跟随方法、装置、电子设备及计算机可读存储介质
CN109032139A (zh) * 2018-07-25 2018-12-18 云南中商正晓农业科技有限公司 智慧式自动跟随学生箱包及其控制系统和商业模式
WO2019061126A1 (zh) * 2017-09-28 2019-04-04 法玛科技顾问股份有限公司 自动随行系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150229906A1 (en) * 2012-09-19 2015-08-13 Follow Inspiration Unipessoal, Lda Self tracking system and its operation method
US20170220040A1 (en) * 2016-02-02 2017-08-03 Justin London Smart luggage systems
CN106647730A (zh) * 2016-08-30 2017-05-10 北京九星智元科技有限公司 一种前方随行系统及随行方法和智能移动平台
CN106155065A (zh) * 2016-09-28 2016-11-23 上海仙知机器人科技有限公司 一种机器人跟随方法及用于机器人跟随的设备
CN106444763A (zh) * 2016-10-20 2017-02-22 泉州市范特西智能科技有限公司 基于视觉传感器智能自动跟随方法、系统及行李箱
WO2019061126A1 (zh) * 2017-09-28 2019-04-04 法玛科技顾问股份有限公司 自动随行系统
CN108549410A (zh) * 2018-01-05 2018-09-18 灵动科技(北京)有限公司 主动跟随方法、装置、电子设备及计算机可读存储介质
CN109032139A (zh) * 2018-07-25 2018-12-18 云南中商正晓农业科技有限公司 智慧式自动跟随学生箱包及其控制系统和商业模式

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李清娟: "《人工智能与产业变革》", 31 January 2020, 上海:上海财经大学出版社, pages: 215 - 220 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114415689A (zh) * 2022-01-25 2022-04-29 无锡市金沙田科技有限公司 一种跟随车的决策方法及系统

Similar Documents

Publication Publication Date Title
CN109389766B (zh) 用于自主车辆的用户识别系统和方法
JP5630318B2 (ja) スマートエントリシステム
CN108327722B (zh) 用于通过移动模式来识别车辆驾驶员的系统和方法
JP4459735B2 (ja) 商品説明ロボット
US9977954B2 (en) Robot cleaner and method for controlling a robot cleaner
US7308112B2 (en) Sign based human-machine interaction
US11858148B2 (en) Robot and method for controlling the same
CN108762477A (zh) 手势检测装置及其运行方法
JP7147259B2 (ja) 車載装置、車載装置の制御方法、及び予備動作推定システム
GB2579539A (en) Vehicle controller
CN111625086A (zh) 基于用户动作的车辆交互方法、系统、设备及存储介质
CN108688593A (zh) 用于通过移动模式来识别车辆的至少一个乘客的系统和方法
WO2019014277A1 (en) AUTONOMOUS ROBOTIC SYSTEM
CN106570451A (zh) 在镜像或反射表面内的自主车辆的自识别
KR102359136B1 (ko) 제스처 인식 방법 및 이를 수행하는 제스처 인식 장치
JP4611675B2 (ja) 顧客応対ロボット
CN111507225A (zh) 一种智能跟随系统及方法
CN112997126A (zh) 一种车辆召唤方法、智能车以及设备
CN114371777A (zh) 一种基于uwb技术的车辆控制方法及系统
JP2020057139A (ja) 機器制御装置
KR102126021B1 (ko) Avm을 이용한 차량 도어 자동개폐 시스템 및 그 방법
KR101962891B1 (ko) 트렁크 자동 열림 장치 및 방법
CN111976744A (zh) 基于打车的控制方法、装置及自动驾驶汽车
CN113799733A (zh) 用于从车辆外部控制车辆的方法、控制装置、系统和车辆
CN114312793A (zh) 一种轨迹模式的匹配方法、匹配系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination