CN109703607B - 一种智能行李车 - Google Patents

Abstract

本发明涉及机场、高铁站、商场运输领域，尤其是一种机场智能行李车或者高铁站行李车，也可以扩展到医院、工厂的物料的无人运输等。针对现有系统难以应对动态环境中人流密度比较大的情况，本发明在多传感器融合识别行人和移动目标以及定位和成图方面，相对于现有系统的创新：1)通过各个小车协作形成全局地图，并实时根据各个小车上传的局部环境信息进行更新和精化；2)融合多种传感器(激光雷达、视觉、里程计、惯性测量单元(IMU))，大大提高了定位精度；3)融合视觉和激光雷达，快速有效的识别行人和移动目标；4)自动充电、自主回位，节省了大量人力；5)小车在停放区可以插入式放置，节省了停放空间，整齐有序。整个系统实用性强，易于落地。

Description

一种智能行李车

技术领域

本发明涉及机场、高铁站运输领域，尤其是一种机场智能行李车或者高铁站行李车。

背景技术

旅客到达机场等公共区域后所需要的服务是多种类型的，比如行李携带、登机服务、寻找登机口、餐饮服务、休闲服务(咖啡、阅读等)，娱乐(游戏、阅读等)，目前这些服务是分散完成的，比如行李是通过行李车完成；登机服务通过柜台或者自助登机柜员机完成；寻找登机口、寻找餐饮服务、寻找咖啡厅等是旅客通过指示牌和口头询问；娱乐则主要通过手机、Pad(平板电脑)甚至笔记本电脑完成。这样就缺少一种综合的服务终端，效率比较低，特别是乘坐飞机旅行的乘客大多是高端客户，时间安排很紧凑，玩玩这种分散的服务方式难以满足其要求。

如果携带行李比较重，那么行李车能够帮助乘客运送行李，但机场目前的行李车需要手推，这样就占用了旅客的一双手，使得用户难以进行其它的任务如接听电话、浏览微信等，当旅客不知道登机口位置的时候，还要分散精力去看指示牌或者询问旁人，而行李比较多或带小孩的乘客，就会显得力不从心；如果有时候在机场候机时间长会感觉无聊，上网玩游戏又怕手机电量不足，而机场充电插座无法支持所有的乘客同时充电和移动充电；特别是餐饮、购物、娱乐、浏览微信的时候带着行李车很不方便，有时找不到机场登机牌自动打印机或排队的人比较多，或者其它一些突发性的问题无法及时获得帮助等等…。本发明设计的机场智能行李车能够解决上述问题，该智能小车能够一站式解决上述问题，采用共享模式，用户可以通过微信或者支付宝付费，享受全面、时尚、轻松、便捷的机场服务。

上述智能小车的技术关键是能够进行感知环境、自我定位和导航、以及对于被服务人的识别和跟随。

这种小车大部分时间呆在室内，在一个陌生的大型室内环境如医院、展览馆、火车站、航站楼、停车场等，常常有快速室内定位和导航的需求，所以室内的定位就非常有市场前景和应用价值。由于各种大型商场大型场馆越来越多，而GPS因为定位信号到达地面时较弱，不能穿透建筑物，同时又受到定位器终端的成本较高等原因的限制，因此，依靠GPS技术无法完成服务机器人的室内精确定位。

对于环境的感知、成图、定位和导航技术上属于同步定位和成图领域(SLAM：Simultaneous Localization And Mapping)，以下简称SLAM，目前主要通过激光雷达和视觉两种方式完成，通过视觉方式的SLAM又称为V-SLAM。目前机器人SLAM系统中用到的传感器主要包括：激光雷达、视觉(单目、双目、深度摄像头等)、惯性传感器(IMU)等。但是目前SLAM系统主要适用于静态环境，由于机场或者高铁站属于人员比较密集的区域，属于动态环境，所以目前的SLAM系统还不能很好的解决智能小车在机场航站楼或者高铁站的定位和导航问题。本发明把激光雷达和视觉组合在一起，并基于FAST-CNN或者FASTER-CNN有效识别行人和其它移动的目标(包括行李车)，使得小车能够比较好的适应这种动态环境。

对于被服务人的识别和跟随属于视觉跟随技术，目前主要采用HOG+SVM等方法来完成，但是这些方法只能获得行人及移动目标的识别，并不能获取其深度信息，所以需要通过其它方法获取深度信息，两者结合才能比较好的获得被识别人的位置信息。但是对于机场航站楼这种人流比较大的环境，仅仅做到上面的这一点还是不够，还需要小车能够识别其它的行人和移动目标并且能够避障。这也是目前基于视觉跟随技术的小车难以进行现场部署的主要原因。本发明综合视觉跟随技术和SLAM技术以及避障技术，很好的解决了商业化部署的问题。

发明内容

本发明的内容在于：针对上述客户的需求和现有技术的不足，提供一种集自主导航、自动避障、智能跟随、语音交互、触摸屏交互、自动充电、服务咨询、上网娱乐、自动归位、在线支付模块、和自主值机等功能于一体的机场智能行李车。

本发明一种机场智能行李车，包括主体框架、人机交互系统、控制系统、定位和导航系统、视觉跟随和引领系统、避障系统、电源系统、驱动系统。

所述主体框架包括行李承重装置和功能框架；所述行李承重装置包括万向轮、驱动轮、轮轴和底盘；所述底盘下安装有激光雷达，万向轮，以及通过轮轴连接的驱动轮；所述功能框架包括两根立柱、行李架，所述立柱之间为中空，方便小车归拢时候后面小车的头部能够插入立柱之间的中空，节省小车的存放空间；其上方立柱之间设置有小物件行李框，称为挂篮；所述行李架与底盘有一定的夹角，方便停放时候后车插入前车立柱的中空部分，以节省停放所占用的空间。

所述人机交互系统主要包括人机交互面板和麦克风。立柱顶端两边设置有面板支撑架，所述人机交互面板嵌入两边面板支撑架中，由螺栓固定；所述人机交互面板上具有两边各两组麦克风，组成4个麦克风组的麦克风阵列，能够确定说话人的方位；

所述人机交互面板上设置有电源开关、复位开关、2个USB充电口、左右两排麦克风和触摸显示屏；所述电源开关，用于控制整车电源接通与断开；所述复位开关，用于控制整车控制系统的复位重启；所述 USB充电口，用于续航用户的手机和平板等智能设备；所述左右两排麦克风，用于定位说话人位置，结合视觉识别的结果，精准识别特定用户的语音命令；所述触摸显示屏，用于控制整车的各项功能，实现智能控制、上网、影音娱乐、便捷购物和信息咨询等任务。

以上结构，USB充电口的设置能够解决现在机场中由于充电插座有限，不能同时为所有乘客提供充电服务，以及充电插座位置固定，无法移动充电的问题，每个使用智能行李车的客户都能随时进行充电，从而有效的解决充电问题；麦克风的设置能够为用户提供语音交流和语音控制的功能，使用快捷和方便，同时帮助文字识别困难的用户的使用；触摸屏的设置能够使用户在显示屏上进行各种控制功能的操作，同时进行上网查询、游戏操作、视频观看、音乐播放等功能，能够进行网上购物，以及对机场内的物品进行购买，通过机场行李车与机场系统连接，商家能实现对用户定位从而送货到点，包括外卖订餐等服务。

以上结构中，所述交互式平板不仅包括触摸屏能够和用户进行交互和语音交互，而且集成了控制系统的各个功能模块，用于实现各个功能的控制，从而为用户提供智能、方便和快捷的功能。

所述控制系统包括有处理机、控制箱里面的下位机等；所述处理机是一台紧凑型计算机，包括足够的计算能力和内存，能够接受视觉数据、激光雷达数据、超声波数据、IMU数据、里程计数据并进行处理，人机数据交互和功能算法处理、定位以及路径规划算法；也能够和后台主机进行通讯，接受后台主机服务器的指令；同时和下位机交互，驱动小车移动；所述下位机为单片机，分别连接电机驱动板和编码器模块，用于运动系统即底层运动的控制；

所述定位和导航系统包括激光雷达和视觉系统、超声波队列、里程计和陀螺仪，能够感知环境，形成环境的地图信息、小车位姿信息，同时连接控制面板，通过触摸显示屏或麦克风分别进行显示和语音，用户只需要给予相关机场地点指令，其可进行智能识别最优路径，然后用户可跟随其到达指定地点。视觉系统包括前后两套深度视觉和鱼眼相机识别装置，固定于挂篮的后板上，所述激光雷达固定于底盘前面的万向轮的前面；所述超声波队列包括左右两边各四个超声波传感器，用来感知侧面的环境信息，不仅用于定位，而且用于避障系统；所述激光雷达装置融合视觉传感器感知周围环境，获得环境的动态地图，并根据用户的要求规划行走路线，带领用户到达登机口或者咖啡厅等用户要求的地点。所述激光雷达为二维激光雷达，以每秒至少10赫兹或者更高的频率扫描周边环境；所述视觉传感器包括前后两组，每组包含一个鱼眼镜头、一个深度相机，所述鱼眼摄像头用于采集周围环境的像素信息，所述深度摄像头不仅能够提供周围环境的彩色像素，而且能够提供相应的深度信息，结合激光雷达的扫描信息获取环境的静态信息(地图)以及自身的位置；所述深度摄像头和激光雷达的融合，用于采集环境中行人和移动目标(如航站楼的接送电瓶车、其它移动中的智能小车)的位置、速度和运动轨迹，实现对于环境信息的位置的感知，从而为路径规划和避障提供基础。

所述视觉跟随和引领系统包括视觉系统和激光雷达以及相应的软件系统。所述视觉系统包括包括前后两套固定于挂篮的后板上以及前板上的视觉传感器和视觉传感器保护外壳；所述视觉传感器包括鱼眼摄像头和深度摄像头，所述鱼眼摄像头用于采集用户的身体体征、外表的色彩和平面信息，来精确识别使用用户，消除其他人员和外物的干扰；所述深度摄像头用于采集环境中的深度信息，实现智能跟随。所述激光雷达固定于底盘前面的万向轮的前面；基于定位和导航系统以及利用深度学习的行人和移动目标识别系统，智能小车既可以带领客户到达指定地点，也可以跟随在客户身后到达指定地点；

所述避障系统实际上是定位导航系统以及视觉跟随和引领系统的辅助系统，包括超声波系统以及相应的软件系统。所述超声波队列包括左右两边各四个超声波传感器，用来感知侧面的环境信息，结合激光雷达和视觉，不仅可以用于辅助定位，还提供360度避障功能；避障有两种类型，可预知的以及不可预知的。

所述电源系统包括一个集中部署的电源模块、电量显示模块及告警模块、分布式供电线路以及自动充电接口，为行李车的各个系统提供电能，所述电量显示和报警模块实时监控电量，当电量低于警戒位时候进行后台报警；所述自动充电接口用来完成自动充电功能；

所述驱动系统包括控制箱里面的驱动板、电机和编码器、驱动轮、万向轮等，所述控制箱设置于立柱下面驱动轮处；所述控制箱中集成了驱动板、电机和编码器；所述驱动板为电机驱动板，用于电机驱动控制；所述编码器提供里程计信息如驱动轮的转速等信息；所述底盘驱动装置包括两个伺服电机、联轴器和电机保护壳；所述伺服电机通过联轴器连接轮轴带动驱动轮运动，通过两个电机实行差速来实现转向；所述电机保护壳为金属保护壳。

以上结构，底盘驱动装置的设置能够实现电动驱动，解决现有的手动行李车，手推费力的问题，在装置中设置有两个电机进行驱动，既能提供强力动力，同时转向方便和精确；电动驱动同时能够进行自动控制，提供更灵活的驱动方式。

本发明一种基础智能行李车，所述支付模块指的是通过扫描二维码选择支付方式，使得用户通过租赁的方式获得小车的使用权。支付模块支持多种支付方式包括但不限于微信支付、支付宝、银行卡。

本发明一种基础智能行李车，能够支持人工推动和自主模式两种基本工作方式，通过人机交互进行这两种基本方式的切换。

所述自主模式又包括4种工作模式：跟随模式、引领模式、自动归位模式、自主充电模式：

所述智能跟随模式：与深度视觉识别装置和底盘驱动装置连接，通过深度视觉识别装置的深度摄像头采集距离数据，以及鱼眼摄像头采集的人体特征数据，经过深度视觉识别模块的处理，从而实现智能行李车自动跟随用户，使得用户摆脱沉重的行李，体验机场轻松旅行的乐趣；该智能车通过识别用户，与用户保持一定距离，用户到那里，它就到那里；用户快，它就快；用户慢，它就慢；用户停，它就停；用户倒退，它就倒退；用户旋转，它也旋转……当用户倒退的时候，该智能车能够监测其后面环境信息，防止后退时撞到行人或者物品。

所述引领模式：小车感知环境，根据用户的需求，带领用户到达用户意欲前行的目的地。小车提供人机交互界面或者语音识别手段，获取用户的目的地信息，然后根据环境信息和对于当前环境的感知，确定行走路线，带领用户前往目的地。在前往过程中，小车通过激光雷达和摄像头识别用户，实时监测与用户的距离。用户快，它就快；用户慢，它就慢；用户停，它就停；用户倒退，它就倒退；用户旋转，它也旋转。

所述自动归位模块，乘客使用完之后开启回收功能，智能行李车搜索和定位最近的存放点，通过自主导航模块，自动移动到存放点，从而节省人力劳动力。由于小车采用了类似购物车的前窄后宽的形状，从上面俯视像一个梯形，所以后面的小车可以插入前面小车，从而节省了存放的空间。

所述自动充电功能，是指小车能自动感知电量多少，当电量低于设定值时候，寻找最近的充电桩的位置，并自动移动到充电桩进行充电。

本发明一种机场智能行李车，所述功能还包括语音互动模块、咨询模块、自动对话模块、自主值机模块；

所述语音互动模块，与麦克风连接，通过语音控制行李车的启动和停止，实现音乐、视频和新闻的播放，实现天气和航班的查询；语音互动模块可实现智能行李车的所有功能的输入；

所述咨询模块，利用无线通信装置连接机场服务系统，通过语音互动系统与机场工作人员通信，咨询关于机场的相关信息；

所述自动对话模块，通过麦克风接收用户的语音，并在数据库中找到相应的内容，做出答复；

以上系统，所述咨询模块可使用户使用智能行李车直接咨询关于机场的相关信息，无须前往柜台；所述智能行李车设置有自动对话模块，在机场无聊的等待中，用户可以和智能行李车进行有趣的语音聊天。

本发明一种机场智能行李车，所述控制系统还包括自主值机系统，客户可以利用触摸屏上的网站或者APP，输入需要的航班信息、身份证信息等，获得系统许可进行选座等动作，生成的登机二维码等可以发送给客户的手机，客户通过手机进行值机功能。本功能目前不提供打印登机牌的功能。

本发明与现有的智能小车相比其优点在于：

1)自主漫游形成环境地图，无需人工干预；各个小车可以共同形成地图，交给后台地图服务器进行合成，由后台服务器根据各个小车上传的局部环境信息进行汇总和精化。这和现有移动小车需要人工提供环境的地图信息不同；

2)对于环境的变化，小车上传到后台地图服务器，地图服务器可以进行地图的更新并下传到各个智能小车；

3)本发明改变了目前仅仅依靠视觉或者仅仅依靠激光雷达定位的方式，将两者连同里程计、惯性测量单元(IMU)融合在一起，大大提高了定位精度

4)改变了以往基于HOG+SVM的行人和移动目标的识别方式，代之以FASTER+CNN并创新性的将深度摄像头、激光雷达等融合在一起，提高了识别率和识别的速度；

5)后台调度服务器可以根据当前人流和客户数量、各个小车的空闲状态，指定空闲的小车自主回到小车停放区，使得小车的使用效率大大提高；

6)小车具有在线支付功能，使得客户按需付费；

7)小车在停放区可以插入式放置，节省了停放空间，整齐有序。

附图说明

图1是从本发明智能小车的后部上方向下看的示意图。

图2是从本发明智能小车的前部上方的俯视图。

图3是基于FASTER-CNN设计的多模态行人和移动目标融合算法框图。

图中标记：1为麦克风，2为交互式平板，3为把手，4为电源模块，5为USB充电插口，6为挂篮，7为后置摄像头，8为处理机，9为左右控制箱，10为左右驱动轮，11为横轴，12为挡板，13为左右立柱，14 为超声波传感器，15为万向轮，16为底盘，17为行李架，18激光雷达，19为充电口，20为前挡板，21 为前置摄像头组。

具体实施方式

下面结合实施例对本发明作进一步的描述。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明一种机场智能行李车，包括主体框架、人机交互系统、控制系统、定位成图和导航系统、视觉跟随和引领系统、避障系统、电源系统、驱动系统，提供环境地图自动生成、更新、精化功能，定位和导航、视觉引领和跟随、自动回位、自动充电、语音交互、语音对话、语音咨询、USB充电、自动避障、自主值机等功能。下面先介绍一下各个功能的实施，然后介绍结构方面的实施。

手推模式和自动模式的切换：

1)当处于跟随和引领模式的时候，客户需要说“运宝，停止”，小车停止后，客户用后握小车的把手(把手上有触觉开关)或者点击触摸屏上的手动、自动转换开关，系统将从“自动”模式转化为“手动”模式，这时候客户手推把手，小车将像现有的行李车一样移动

2)如果要从手动模式切换到自动模式，需要客户根据触摸屏进行设置或者语音指示，请参照[0035]所述。

本发明一种机场智能行李车，所述功能包括自主导航模块、地图自动生成好精化模块、智能跟随模块。所述自主导航模块分别连接激光雷达、视觉传感器装置、里程计和陀螺仪，同时连接人机交互面板，通过触摸显示屏或麦克风分别进行显示和语音收集，用户只需要给予相关机场地点指令，其可进行智能识别最优路径，然后用户可跟随其到达指定地点；

定位功能的实施：

如图1和图2，本发明小车安装了激光雷达和深度摄像头，激光雷达的探测距离可以到达30米，而深度摄像头的探测距离4-6米。在机场航站楼或者超市这种动态环境中，仅仅依靠2维激光雷达来感知环境是不够的，因为2维激光雷达只是在一个平面上扫描环境，得到这个平面上的物体信息。而如果采用多个2 维激光雷达或者3D激光雷达又太复杂或者价格昂贵。本发明采用将2维激光雷达和深度摄像头结合起来的方案，既节省了成本，有能满足动态环境的要求。在这个过程中，本实施方案只使用深度摄像头的深度图像。具体来说，分为以下几步：

1)基于RGB图像的V-SLAM定位

通过提取RGB图像关键帧的ORB特征，前后关键帧的ORB特征进行PnP(Prospectiven Points)方法估计前后帧图像之间智能小车的位姿的变化，从而得到智能小车在前后帧之间的移动情况；当小车重新回到先前到过的地方，系统进行回环检测，消除误差的累积，得到纠错以后的小车位置、轨迹及环境地图；

2)与里程计和IMU的融合

由于视觉容易受到光线变化的影响，或者在小车快速移动或者转弯的时候，容易发生前后帧图像匹配不成功的情况，本发明集成了IMU和里程计的信息在上述1)步的小车位姿估计和回环检测中，这样能有效解决视觉容易跟丢的问题；

3)深度噪声过滤

根据深度图像和RGB图像形成三维点云，根据三维点云的信息区分地面和障碍物，把地面的点云和高于一定高度的点云信息去除，只考虑有可能影响智能小车移动的点云信息；

4)深度信息和激光雷达数据的融合

把步骤3)留下的点云向激光雷达所在的平面进行垂直投影，在同一个激光雷达扫描方向上，如果点云的深度小于激光雷达的深度信息，那么该点云的“点”得以保留；如果点云中的某一点的深度信息大于激光雷达的深度，那么该店被忽略。然后，归拢每一个激光雷达扫描方向上的所有点，求其平均深度，把在平均深度25％-75％的点保留下来，而去掉该范围以外的点；

5)通过激光雷达的scan matching方案，取得智能小车的当前位置及环境信息

本发明将第1) 2) 4) 5)步取得的小车位置，通过非线性优化的方案，进行了多传感器(激光雷达、视觉、 IMU和里程计)的融合，这样可以进一步优化智能小车的位姿以及障碍物的信息，得到小车当前时刻的精确的位置信息以及周围障碍物的空间信息。

通过上述的融合，使得智能小车能够比较准确的感知环境，识别行人和障碍物。

导航和避障功能的实施

通过上述定位功能，同时形成环境的地图信息。在形成了地图信息以后：

1)客户在地图上选择目的地(通过语音交互或者触摸屏交互均可)

2)系统根据目的地和当前位置，根据当前的系统流量和拥挤状况，规划一条最佳路线

3)提醒客户，跟随小车前往目的地

4)在带领客户前往目的地的过程中，时刻通过后置摄像头监控客户的跟随情况，如果客户慢下来，那么小车也慢下来；如果客户赶时间走快了，那么小车也相应快速移动；如果客户停止，那么小车也停止；如果客户消失，那么小车将停在原地进行旋转以期发现客户

在前往目的地的过程中，会有两者不同类型的障碍物，一种是可预知的障碍，如从远处走来的行人或者其它行李车或者载人电瓶车，对于这种类型的避障功能：

5)小车会实时监控环境信息，如果在规划路线上出行行人或者其它移动目标，小车会根据定位和行人及移动目标识别模块，估计移动目标的轨迹，提前进行路径规划，避开此移动目标

对于恶意的冲撞式的障碍物，如从侧面快速插入的移动目标，或者突然扑上来要抓小车的孩子，或者飞来的皮球等，无法提前规划避障路径：

6)采取急停策略，并停止本小车的移动，同时继续通过激光雷达和视觉识别移动目标的位置和速度；

7)采取旋转等策略避开移动目标移动的方向，在不发生碰撞的情况下顺利到达目的地

说话人定位及语音识别

1)客户使用业务时候，通过视觉识别客户的特征(这里的特征与传统的HOG特征不同，是通过FASTER-CNN 识别的行人及移动目标的特征)；

2)客户说话的时候，通过控制面板上的麦克风阵列，识别说话人的位置；

3)将上述方位与视觉和激光雷达的定位结果进行二次确认；

4)在确定了客户的位置和特征以后，接收该说话人的语音；

5)根据语音识别的结果进行特定的服务。

地图精化以及根据地图的重定位

1)每个小车在运行的过程中都会根据一定的条件触发上传给后台地图服务器当前的环境信息，触发的条件包括：小车来到某一地点，扫描当前环境，与整体地图进行对比，如果发现不匹配，那么有可能是环境发生了变化如花盆移动、增加了某个地面基础设施等，这时小车会回传当前的扫描信息给服务器

2)服务器接收到小车的回传，与全局地图进行对比，如果超过一定次数的不匹配或者多个小车对同一区域同时或一定时间内上报给区域与全局地图的不匹配，那么，地图服务器将对全局地图进行更新

3)服务器将更新的区域回传给各个小车

4)小车重定位，是指小车重新加电或者被人为移动到新的位置，小车将自动进行环境扫描，并与全局地图进行对比，以便确定自身在环境中的当前位置。

行人和移动目标(包括其他移动的小车)识别功能的实施：

如附图2，本发明小车安装了激光雷达和深度摄像头，激光雷达的探测距离可以到达30米，而深度摄像头的探测距离4-6米，不同于当前只识别行人和移动目标(如其他行李车、载人小客车等)但是不给出深度信息的行人及移动目标识别系统，本发明：

1)通过深度摄像头和鱼眼相机，利用多模态FASTER-CNN算法识别行人和移动目标

如附图3所示，本发明为了有效识别行人和移动目标，采用了多模态融合的方式，目前使用深度摄像头的深度图像和RGB图像，未来会加入鱼眼相机的图像。算法基于深度网络专家的混合(融合)，这种融合是通过一个额外的网络-门网络(Gating Network)来完成的，该门网络采用各个专家网络的特征表达作为输入。门网络然后根据输入给各个专家网络的输出加权值，并最终决定最后的分类结果F(x)。

在识别出每个行人的基础上，本发明还可以识别各个行人之间的社会关系(如家庭、情侣、工作等关系)，根据社会关系形成“群”(group)的概念。

2)激光雷达采集周围环境中的深度信息，与行人和移动目标的识别结合，得出其深度信息

接上步，在识别出行人和移动目标以后，找出行人和移动目标的深度与激光雷达扫描形成的点云的对应，从而进一步确定行人和移动目标的深度信息，这个对应是通过非线性优化的方法来得到的。

3)上述两个步骤得出的结果用来完成跟随、引领功能的完成

跟随功能的实施

跟随功能是指智能小车识别特定人(即当前任务的客户)，搭载特定人的行李，与特定人保持一定距离进行跟随。这个时候客户在前，小车在后跟随。

1)判读行人的移动速度和轨迹

既然已经识别出行人和移动目标，并且可以实时监控他们的深度信息(也就是距离智能小车的距离信息)，那么就可以根据时间维度得出其移动轨迹和速度

2)在确定了自身位置和速度以及移动轨迹后，根据上述1)步得出的行人的位置、速度和轨迹，就可以计算人体和行李车之间的距离，控制行李车，保持人体和车之间的距离为固定值；

3)发出驱动命令给左右控制箱，驱动轮根据指令进行旋转，驱动小车移动；

3)检测到障碍物时，通过视觉和激光雷达的融合算法，提取障碍物的坐标信息，决定如何防止碰撞、如何进行跟随以及如何进行引领。

引领功能的实施

引领功能是指在客户想要去往某个地点但是不知道该地点位置和如何到达该地点的情况下，客户通过交互告诉小车意欲前往的目的地，小车自行规划路径，并带领客户前往，这个时候小车在前，客户在后跟随。

1)小车按照规划路线行走，判读周围环境信息，进行必要的避障措施

2)同时，监控后面跟随客户的位置和移动速度

客户是小车识别出来的所有周围行人和移动目标中的特定人，即它当前的服务对象，需要可以实时监控他 (她)的位置和深度信息(也就是距离智能小车的距离信息)，那么就可以根据时间维度得出其移动速度；

2)在确定了自身位置和速度以及移动轨迹后，根据上述2)步得出的客户的位置、速度，就可以计算人体和行李车之间的距离，控制行李车，保持客户和车之间的距离为固定值，从而控制自身移动速度，并与客户保持一致的移动节奏；

3)检测到障碍物时，通过视觉和激光雷达的融合算法，提取障碍物的坐标信息，决定如何防止碰撞、如何进行跟随以及如何进行引领。

自动充电功能的实施

1)行李车自身具有电量检测功能，当电量降低到一定程度以后，小车会上报服务器寻求帮助；

2)服务器根据小车的位置和环境中的充电桩的分布，找出最近的可用的充电桩，并指令小车去特定位置寻找空闲的充电桩；

3)小车回到充电桩进行充电。在充电过程中，小车会拒绝客户的服务请求，并在交互式触摸屏行显示“充电中，暂停服务。。。”的字样。

自动充电精准定位的实施：

自动充电时候，要求充电口精准对齐，所以对于定位要求非常高。尽管本发明采用的定位方发创新性的将精度缩小到2-3个厘米，但是对于自动充电还不够：

1)在每个充电坞的中心和两边设置四个二维码图案，并在后台设置这四个二维码的精确的三维位置坐标；

2)深度摄像头的RGB图像识别给二维码，同时其深度图像检测这四个二维码的深度信息；

3)小车本地处理机结合深度摄像头在小车的位置，利用四点确定一个空间位置的原则，计算出小车的三维坐标位置；

4)对照充电坞的三维位置信息，小车规划移动的速度和方向；

5)如果小车距离充电坞的距离大于0并且方向角大于1度，那么重复上述过程，直到对接成功

自动回位功能的实施

1)整个环境会设置一定数量的小车汇集区域。在任意一个时刻，每个小车都会上报自身位置和状态(电量、是否服务中等)给后台调度系统，后台调度系统根据当前的客户数量、客户请求、小车的数量等决定某些小车是否需要回到聚集区域进行待命。

2)如果某个小车接到回归聚集区域的命令，它会自动根据当前的位置寻找最近的聚集区域，然后前往。

3)小车到达停放区以后，会寻找队列，根据激光雷达和视觉组合定位，确定队列尾部的位置，调整角度和速度，以合适的速度自动停合适的队列后面，并以较慢的速度将自己的头部插入前一辆小车立柱的中间；

4)在插入的时候，前车的挡板(如图2的第12标识所示)会被后车推开，挡板是由弹簧控制的，无外力情况下永远直立靠着立柱，当被后车推开是会向前旋转，贴近行李架；待小车退出队列时候，随着前车退出，挡板在弹簧的作用下回回复直立状态

5)在插入的时候，深度相机和激光雷达上报与前一辆小车的距离，达到规定距离后停止，这样如同超级商场里面排成一串的购物车一样，可以大大节省占用的空间。

服务的唤醒、暂停、终止功能的实施：

1)通过人机语音交互，当客户说“运宝，你好！”、“运宝，您好！”、“运宝，过来给我服务！”、“运宝，过来xxxx”等包含上述关键字的时候，系统会自动唤醒，并给客户提供服务

2)当当客户说“运宝，我到了！”、“运宝，谢谢你的服务！”、“运宝，停止！”、“运宝，就这样吧”等包含上述关键字的时候，系统会自动停止，并等待客户的下一个指令

3)当处于引领、跟随服务模式时候，即便客户不说话，小车会保持与客户一定的距离，如果客户停止，则小车停止；如果客户前进，在小车前进；如果客户后退，则小车后退

结合图1和图2所示，本发明一种机场智能行李车，1为麦克风，麦克风为左右边部署，每一边同时分为两组，这样共有四组麦克风，形成一个麦克风阵列，用于通过声音确定说话者的位置；2为交互式平板，3为把手，4为电源模块，5为USB充电插口，6为挂篮，7为后置摄像头，包括一个深度摄像头和鱼眼相机，8为处理机，包括与后台服务器通信的模块，9为左右控制箱，控制箱内包含电机、单片机、编码器等，10为左右驱动轮，11为横轴，12为挡板，挡板通过弹簧和横轴连接，绕横轴转动，在无外力情况下永远直立靠在立柱上，13为左右立柱，14为超声波传感器，15为万向轮，16为底盘，17为行李架， 18为激光雷达，19为充电口，20为前挡板，21为前置摄像头组，前后置摄像头配置相同。

如图3所示，为了提高机场航站楼或者高铁站或者超市这种人流密度比较大的动态环境，采用了一种多模态基于FASTER-CNN提取行人及移动目标特征的方法，通过门网络优化每个模态识别的权重，大大提高了行人识别的准确度和速度。

本发明一种机场智能行李车，所述视觉装置包括视觉传感器和视觉传感器保护外壳，由于与外物或者行人的接触、触摸，容易造成镜头的位移和污损，所以视觉传感器外壳必须坚固，同时不影响镜头的视角；所述视觉传感器包括深度摄像头和鱼眼相机，所述深度摄像头包括RGB摄像和深度摄像头，所述鱼眼摄像头用于在较大角度范围内采集用户的身体体征、外表的色彩，来精确识别使用用户；所述深度摄像头用于采集环境中的深度信息，实现智能跟随。

本发明一种机场智能行李车，所述控制箱内固定下位机、驱动板和电源模块；所述下位机为单片机，用于运动系统即底层运动的控制；所述驱动板为电机驱动板，用于电机驱动控制：所属电源模块，供应行李车的电能；所述单片机和电源模块和处理机相连接，接受处理机发出的使得小车移动的指令；所述单片机分别连接电机驱动板和电源模块。

所述语音互动模块，与麦克风连接，通过语音控制行李车的启动和停止，实现音乐、视频和新闻的播放，实现天气和航班的查询。本发明采用了开源的语音识别系统，支持基于关键字的识别方法，实时性和，识别准确。

所述咨询模块，利用无线通信装置连接机场服务系统，通过语音互动系统与机场工作人员通信，咨询关于机场的相关信息。所述咨询支持两种发起模式，一种是用户直接拨号；另一种是网络浏览中通过点击网页上的电话号码的链接，发起Click-to-Dial功能的语音对话，对方为客服人员，人工回答；

所述自动对话模块，在机场无聊的等待中，用户可以和智能行李车进行有趣的语音聊天；通过麦克风接收用户的语音，并在后台对话数据库中找到相应的内容，做出答复。本发明后台建立了一个适合于机场旅行场景的对话系统，能够比较人性化、智能化的与客户对话。同时加入了防止骚扰系统，避免与在与客户的对话中出现不礼貌的词语。

所述行李车上设置触摸屏，通过触摸显示屏可查询安检点的位置进行自主导航、自主值机、人工咨询、娱乐、在线支付等等功能。

本发明一种机场智能行李车，所述控制系统还包括自主值机系统，客户可以利用触摸屏上的网站或者APP，输入需要的航班信息、身份证信息等，获得系统许可进行选座等动作，生成的登机二维码等可以发送给客户的手机，客户通过手机进行值机功能。本功能目前不提供打印登机牌的功能。

本发明一种机场智能行李车，所述处理器有无线通信模块和WiFi模块，与机场机场系统通信，同后台地图服务器、调度服务器、统计服务器等进行交互，保证小车各项功能的实施；

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (20)

1.本发明一种智能行李车，包括主体框架、人机交互系统、控制系统、定位成图和导航系统、视觉跟随和引领系统、避障系统、电源系统、驱动系统，提供人工方式与自动模式的转换，环境地图自动生成、更新、精化功能，定位和导航、视觉引领和跟随、自动回位、自动充电、语音交互、语音对话、语音咨询、USB充电、自动避障、自主值机、在线支付的功能；定位、成图功能的实施，其特征在于先是分别通过视觉、IMU、里程计，通过激光雷达、IMU、里程计这两条路径获得小车的位姿和环境信息，然后将这两个结果通过非线性优化融合，获得精度更高的结果，其步骤:

步骤a:基于RGB图像的V-SLAM定位，通过提取RGB图像关键帧的ORB特征，前后关键帧的ORB特征进行PnP方法估计前后帧图像之间智能小车的位姿的变化，从而得到智能小车在前后帧之间的移动情况;当小车重新回到先前到过的地方，系统进行回环检测，消除误差的累积，得到纠错以后的小车位置、轨迹及环境地图;

步骤b:与里程计和工MU的融合，由于视觉容易受到光线变化的影响，或者在小车快速移动或者转弯的时候，容易发生前后帧图像匹配不成功的情况，本发明集成了工MU和里程计的信息在上述步骤a的小车位姿估计和回环检测中，这样能有效解决视觉容易跟丢的问题;

步骤c:深度噪声过滤，根据深度图像和RGB图像形成三维点云，根据三维点云的信息区分地面和障碍物，把地面的点云和高于一定高度的点云信息去除，只考虑有可能影响智能小车移动的点云信息;

步骤d:通过激光雷达的scan matching方案，取得智能小车的当前位置及环境信息，这个与步骤a)和步骤b)的位姿信息由于不同的数据源和方法，结果不尽一致；

步骤e:深度信息和激光雷达数据的融合，把步骤c)留下的点云向激光雷达所在的平面进行垂直投影，在同一个激光雷达扫描方向上，如果点云的深度小于激光雷达的深度信息，那么该点云的“点”得以保留;如果点云中的某一点的深度信息大于激光雷达的深度，那么该点云被忽略，然后，归拢每一个激光雷达扫描方向上的所有点，求其平均深度，把在平均深度25%-75%的点保留下来，而去掉被保留的点以外的点;

步骤f:将第a) b) d) e)步取得的小车位置，通过非线性优化的方案，进行了多传感器的融合，这样可以进一步优化智能小车的位姿以及障碍物的信息，得到小车当前时刻的精确的位置信息以及周围障碍物的空间信息。

2.根据权利要求1所述的智能行李车，本发明一种智能行李车，具体包括人机交互面板上安装有麦克风，麦克风为左右边部署，每一边同时分为两组，这样共有四组麦克风，形成一个麦克风阵列，用于通过声音确定说话者的位置;面板上有两个USB充电口;两个立柱中间上部为放置小件物品的挂篮;前端挡板和挂篮后板各自安装有一套视觉装置及保护外壳，每套视觉装置包括一个深度摄像头和鱼眼摄像头;挂篮左侧为中央处理机，可以与后台服务器通信，右侧为电源模块;两个立柱下方各自铆接一个控制箱，控制箱内包含电机、单片机、编码器，连接两个立柱的下方为横轴，横轴通过弹簧与挡板相连，挡板可以绕横轴转动，在无外力情况下永远直立靠在立柱上，可以挡住行李滑落;底盘与行李架成一定夹角，方便后车的前端推开挡板，插入两个立柱的中空，节省小车存放的空间;底盘左右两边各部署4个超声波传感器，用于检测左右障碍物;底盘前端下方为激光雷达，与视觉装置和超声波传感器共同提供定位、成图、导航和避障功能，进而提供智能跟随、引领、自动充电、自动归位功能。

3.根据权利要求1所述的智能行李车，所述主体框架包括行李承重装置和功能框架;所述行李承重装置包括万向轮、驱动轮、轮轴和底盘;所述底盘下安装有激光雷达，万向轮，以及通过轮轴连接的驱动轮;所述功能框架包括两根立柱、行李架、挡板，所述立柱之间为中空，方便小车归拢时候后面小车的头部能够插入立柱之间的中空，节省小车的存放空间;所述立柱顶端两边设置有面板支撑架;所述人机交互面板嵌入两边面板支撑架中，由螺栓固定，并通过数据线和电源线和处理机及电源模块相连，其特征在于，所述挡板通过弹簧套接在横轴上，可以绕横轴转动;所述行李架与底盘有一定的夹角，方便停放时候后车插入前车立柱的中空部分，以节省停放所占用的空间。

4.根据权利要求1所述的智能行李车，所述控制系统包括有处理机、控制箱里面的下位机;所述处理机是一台紧凑型计算机，包括足够的计算能力和内存，能够接受视觉数据、激光雷达数据、超声波数据、工MU数据、里程计数据并进行处理，人机数据交互和功能算法处理、定位以及路径规划算法;也能够和后台主机进行通讯，接受后台主机服务器的指令;同时和下位机交互，驱动小车移动;所述下位机为单片机，分别连接电机驱动板和编码器模块，用于运动系统即底层运动的控制。

5.根据权利要求1所述的智能行李车，所述支付模块指的是通过扫描二维码选择支付方式，使得用户通过租赁的方式获得小车的使用权，支付模块支持多种支付方式包括但不限于微信支付、支付宝、银行卡。

6.根据权利要求1所述的智能行李车，手推模式和自动模式的切换，其特征在于可通过语音或者触摸屏进行切换:

步骤a:当处于跟随和引领模式的时候，客户需要说“运宝，停止”，小车停止后，客户用后握小车的把手或者点击触摸屏上的手动、自动转换开关，系统将从“自动”模式转化为“手动”模式，这时候客户手推把手，小车将像现有的行李车一样移动；

步骤b:如果要从手动模式切换到自动模式，需要客户根据触摸屏进行设置或者按照要求的唤醒词发出语音指示。

7.根据权利要求1所述的智能行李车，导航和避障功能的实施，其特征在于导航的时候监控客户的状态，与客户状态同步并导航和避障:

步骤a:通过前述定位功能，同时形成环境的地图信息，客户在地图上选择目的地；

步骤b:系统根据目的地和当前位置，根据当前的系统流量和拥挤状况，规划一条最佳路线；

步骤c:提醒客户，跟随小车前往目的地；

步骤d:在带领客户前往目的地的过程中，时刻通过后置摄像头监控客户的跟随情况，如果客户慢下来，那么小车也慢下来;如果客户赶时间走快了，那么小车也相应快速移动;如果客户停止，那么小车也停止;如果客户消失，那么小车将停在原地进行旋转以期发现客户；

步骤e:在导航过程中，根据当前的激光雷达的扫描信息和视觉特征的提取，并对照当前的全局地图相应区域的局部地图的信息，如果与先前的信息不匹配，那么把相应特征信息回传给地图服务器，地图服务器进行地图的精化和更新。

8.根据权利要求1所述的智能行李车，避障功能的实施，其特征在于能够支持两种避障方案，即可预测的避障以及突发的意外避障，其步骤:

步骤a:一种是可预知的障碍，如从远处走来的行人或者其它行李车或者载人电瓶车，对于这种类型的避障功能，小车会实时监控环境信息，如果在规划路线上出行行人或者其它移动目标，小车会根据定位和行人及移动目标识别模块，估计移动目标的轨迹，提前进行路径规划，避开此移动目标；

步骤b:对于恶意的冲撞式的障碍物，如从侧面快速插入的移动目标，或者突然扑上来要抓小车的孩子，或者飞来的皮球，无法提前规划避障路径，小车会采取急停策略，暂时停止移动，同时继续通过激光雷达和视觉识别移动目标的位置和速度，并采取旋转的策略避开移动目标移动的方向，在不发生碰撞的情况下继续移动，并顺利到达目的地。

9.根据权利要求1所述的智能行李车，说话人定位及语音识别，其特征在于使用麦克风阵列定位说话人的方位，并与基于激光雷达和视觉的定位相结合，切实执行的是所服务的客户的语音指令，而不是非相关人员所发出的其它指令:

步骤a:客户使用业务时候，通过视觉识别客户的特征；

步骤b:客户说话的时候，通过控制面板上的麦克风阵列，识别说话人的位置，有效克服机场环境噪声影响小车接受客户语音指令的问题;

步骤c:将上述方位与视觉和激光雷达的定位结果进行二次确认;

步骤d:在确定了客户的位置和特征以后，识别所接收的该说话人的语音;

步骤e:根据语音识别的结果进行特定的服务。

10.根据权利要求7所述的智能行李车，步骤e，其特征在于能够根据现场智能小车的扫描信息及环境特征，后台地图服务器地图精化以及根据地图的重定位:

步骤e81:每个小车在运行的过程中都会根据一定的条件触发上传给后台地图服务器当前的环境信息，触发的条件包括:小车来到某一地点，扫描当前环境，与整体地图进行对比，如果发现不匹配，那么是环境发生了变化，该变化包括花盆移动、增加了某个地面基础设施，这时小车会回传当前的扫描信息给服务器;

步骤e82:服务器接收到小车的回传，与全局地图进行对比，如果超过一定次数的不匹配或者多个小车对同一区域同时或一定时间内上报给区域与全局地图的不匹配，那么，地图服务器将对全局地图进行更新；

步骤e83:服务器将更新的区域回传给各个小车；

步骤e84:小车重定位，是指小车重新加电或者被人为移动到新的位置，小车将自动进行环境扫描，并与自身缓冲的全局地图进行对比，以便确定自身在环境中的当前位置。

11.根据权利要求1所述的智能行李车,智能跟随功能的特征在于集成了基于视觉的深度学习以及与激光雷达数据的融合，更好的确定行人和移动目标的深度信息:

步骤a:识别周围行人和移动目标；

步骤b:实时监控他们的深度信息，那么就可以根据时间维度得出其移动轨迹和速度；

步骤c:在确定了自身位置和速度以及移动轨迹后，根据上述步骤a和步骤b得出的行人的位置、速度和轨迹，就可以计算人体和行李车之间的距离，控制行李车，保持人体和车之间的距离为固定值；

步骤d;发出驱动命令给左右控制箱，驱动轮根据指令进行旋转，驱动小车移动；

步骤e:检测到障碍物时，通过视觉和激光雷达的融合算法，提取障碍物的坐标信息，决定如何防止碰撞、如何进行跟随。

12.根据权利要求1所述的智能行李车,智能引领功能的特征在于集成了基于视觉的深度学习以及与激光雷达数据的融合，更好的确定行人和移动目标的深度信息，在智能导航的基础上，带领客户前行:

步骤a:客户选定要前往的目标，并设置为引领模式；

步骤b:小车按照规划路线行走，判读周围环境信息，进行必要的避障措施；

步骤c:同时，监控后面跟随客户的位置和移动速度，客户是小车识别出来的所有周围行人和移动目标中的特定人，即它当前的服务对象，需要可以实时监控人的位置和深度信息，并根据时间维度得出其移动速度；

步骤d;确定了自身位置和速度以及移动轨迹后，根据上述步骤c得出的客户的位置、速度，就可以计算人体和行李车之间的距离，控制行李车，保持客户和车之间的距离为固定值，从而控制自身移动速度，并与客户保持一致的移动节奏;

步骤e:发出驱动命令给左右控制箱，驱动轮根据指令进行旋转，驱动小车移动；

步骤f:检测到障碍物时，通过视觉和激光雷达的融合算法，提取障碍物的坐标信息，决定如何防止碰撞、如何进行引领。

13.根据权利要求11所述的智能行李车，步骤a，其特征在于，与现有单纯依靠视觉进行行人和移动目标的检测、跟踪不同，本发明集成了激光雷达的信息:

步骤a12-1:通过深度摄像头和鱼眼相机，利用多模态FASTER-CNN算法识别行人和移动目标，为了提高机场航站楼或者高铁站或者超市这种人流密度比较大的动态环境，采用了一种多模态基于FASTER-CNN提取行人及移动目标特征的方法，通过门网络优化每个模态识别的权重，大大提高了行人识别的准确度和速度；

步骤a12-2:在识别出每个行人的基础上，本发明还可以识别各个行人之间的社会关系，根据社会关系形成“群”的概念；

步骤a12-3:激光雷达采集周围环境中的深度信息，与行人和移动目标的识别信息相对应，这个对应是通过非线性优化的方法来得到的，得出其精确的深度信息。

14.根据权利要求1所述的智能行李车，自动充电功能，其特征在于先从服务器获得最佳的空闲充电桩的位置，到达充电桩附近后进行精确定位:

步骤a:行李车自身具有电量检测功能，当电量降低到一定程度以后，小车会上报服务器寻求帮助;

步骤b:服务器根据小车的位置和环境中的充电桩的分布，找出最近的可用的充电桩，并指令小车去特定位置寻找空闲的充电桩;

步骤c:到达充电桩附近以后，进行精确定位和对准;

步骤d:小车回到充电桩进行充电，在充电过程中，小车会拒绝客户的服务请求，并在交互式触摸屏行显示“充电中，暂停服务…”的字样。

15.根据权利要求14所述的智能行李车，步骤c，精准定位和对准:

步骤c15-1:在每个充电坞的中心和两边设置四个二维码图案，并在后台设置这四个二维码的精确的三维位置坐标;

步骤c15-2:深度摄像头的RGB图像识别给二维码，同时其深度图像检测这四个二维码的深度信息;

步骤c15-3:小车本地处理机结合深度摄像头在小车的位置，利用四点确定一个空间位置的原则，计算出小车的三维坐标位置;

步骤c15-4:对照充电坞的三维位置信息，小车不断微调移动的速度和方向;

步骤c15-5:如果小车距离充电坞的距离大于0.05米并且方向角大于1度，那么重复上述过程，直到对接成功。

16.根据权利要求1所述的智能行李车，自动回位功能，其特征在于不但能够回到聚集区域，而且能够插入式停放，大大节省存放空间:

步骤a:整个环境会设置一定数量的小车汇集区域，在任意一个时刻，每个小车都会上报自身位置和状态给后台调度系统，后台调度系统根据当前的客户数量、客户请求、小车的数量决定某些小车是否需要回到聚集区域进行待命，

步骤b:如果某个小车接到回归聚集区域的命令，它会自动根据当前的位置寻找最近的聚集区域，然后前往，

步骤c:小车到达停放区以后，会寻找队列，根据激光雷达和视觉组合定位，确定队列尾部的位置，调整角度和速度，以合适的速度自动停合适的队列后面，并以较慢的速度将自己的头部插入前一辆小车立柱的中间;

步骤d:在插入的时候，前车的挡板会被后车推开，挡板是由弹簧控制的，无外力情况下永远直立靠着立柱，当被后车推开是会向前旋转，贴近行李架;

步骤e:在插入的时候，深度相机和激光雷达上报与前一辆小车的距离，达到规定距离后停止，这样如同超级商场里面排成一串的购物车一样，可以大大节省占用的空间;

步骤f:待小车退出队列时候，随着后车退出，前车的挡板在弹簧的作用下恢复到直立状态。

17.根据权利要求1所述的智能行李车，服务的唤醒、暂停、终止功能的实施:

步骤a:通过人机语音交互，当客户说“运宝，你好!”、“运宝，您好!”、“运宝，过来给我服务!”、“运宝，过来xxxx”的时候，系统会自动唤醒，并给客户提供服务；

步骤b:客户通过语音或者触摸屏交互，旋转服务类型，包括智能跟随、引领的模式；

步骤c:当客户说“运宝，我到了!”、“运宝，谢谢你的服务!”、“运宝，停止!”、“运宝，就这样吧”的时候，系统会自动停止，并等待客户的下一个指令；

步骤d:当处于引领、跟随服务模式时候，即便客户不说话，小车会保持与客户一定的距离，如果客户停止，则小车停止;如果客户前进，在小车前进;如果客户后退，则小车后退。

18.根据权利要求1所述的智能行李车，所述语音互动模块，与麦克风连接，通过语音控制行李车的启动和停止，实现音乐、视频和新闻的播放，实现天气和航班的查询，本发明采用了开源的语音识别系统，支持基于关键字的识别方法，实时性强，识别准确率高。

19.根据权利要求1所述的智能行李车，所述咨询模块，利用无线通信装置连接机场服务系统，通过语音互动系统与机场工作人员通信，咨询关于机场的相关信息，所述咨询支持两种发起模式，一种是用户直接拨号;另一种是网络浏览中通过点击网页上的电话号码的链接，发起Click-to-Dial功能的语音对话，对方为客服人员，人工回答。

20.根据权利要求1所述的智能行李车，所述自动对话模块，在机场无聊的等待中，用户可以和智能行李车进行有趣的语音聊天;通过麦克风接收用户的语音，并在后台对话数据库中找到相应的内容，做出答复，本发明后台建立了一个适合于机场旅行场景的对话系统，能够比较人性化、智能化的与客户对话，同时加入了防止骚扰系统，避免与在与客户的对话中出现不礼貌的词语。

Images