CN111906776A - 一种铁路送餐机器人的控制方法及装置 - Google Patents

Abstract

本发明公开了一种铁路送餐机器人的控制方法及装置，其中方法包括接收订餐乘客的信息数据与各车厢内的摄像头采集数据；在进入送餐模式时控制机器人运动至订餐乘客位置处并获取实时图像数据；当实时图像数据满足配送条件，控制机器人进行送餐；若实时图像数据未满足配送条件，则进入代取模式，并接收代取指令与代取数据；当代取数据满足代领条件，控制机器人进行送餐；若代取数据未满足代领条件，则根据接收到的各车厢内的摄像头采集数据与图像数据，获取订餐乘客的位置数据，并对应进入送餐模式。本发明实施例提供的铁路送餐机器人的控制方法及装置，适配多种突发情况，优化了铁路送餐的整个过程，有效提高了送餐机器人的配送准确率与智能化程度。

Description

一种铁路送餐机器人的控制方法及装置

技术领域

本发明涉及餐饮配送技术领域，尤其是涉及一种铁路送餐机器人的控制方法及装置。

背景技术

在餐饮行业中，餐饮机器人作为一种新兴产品而备受瞩目，铁路车厢内也设置有送餐机器人进行工作，但现如今的铁路送餐机器人只具有基本的运动功能，对机器人的控制是采用事先规划好的位置路线，使其在指定的区域中行走，在到达用户指定的位置后完成送餐，较为机械死板。而实际上，如果铁路订餐乘客在机器人送餐的过程中离开自己的位置或位置发生变化，餐饮机器人就不能完美地履行其职责将餐饮准确送达到乘客的手中，或出现将餐饮送到其他乘客手中的配送错误的情况。由此可见，现有的铁路送餐机器人的功能单一，控制方法较为机械，无法准确识别乘客身份，对送餐机器人的控制不够智能化。

发明内容

本发明实施例提供了一种铁路送餐机器人的控制方法及装置，以解决现有的铁路送餐机器人功能单一，控制方法较为机械的技术问题，通过有针对性地配合使用各控制步骤，在机器人送餐过程中准确采集并处理相关数据，提高了送餐机器人的配送准确率与智能化程度。

本发明一实施例提供了一种铁路送餐机器人的控制方法，其包括：

接收订餐乘客的信息数据与各车厢内的摄像头采集数据，并生成订餐乘客的图像数据；

在进入送餐模式时，根据接收到的送餐指令，控制机器人运动至订餐乘客位置处并获取实时图像数据；

当所述实时图像数据满足所述配送条件时，控制机器人进行送餐；

若所述实时图像数据未满足所述配送条件，则退出所述送餐模式，进入代取模式，并接收代取指令与代取数据；

当所述代取数据满足代领条件时，控制机器人进行送餐；

若所述代取数据未满足所述代领条件，则根据接收到的各车厢内的摄像头采集数据与所述图像数据，获取订餐乘客的位置数据，并对应进入所述送餐模式。

作为优选方案，接收订餐乘客的信息数据与各车厢内的摄像头采集数据，并生成订餐乘客的图像数据，具体为：

根据所述摄像头采集数据，以及所述信息数据中的初始图像数据，基于PointNet的点云学习算法与神经网络集成的多视角人脸识别技术划分图像特征样本集，并根据所述图像特征样本集生成对应的所述图像数据。

作为优选方案，当所述实时图像数据满足所述配送条件时，控制机器人进行送餐，具体为：

在检测到所述实时图像数据匹配所述图像特征样本集时，则判断所述配送条件得到满足，控制机器人进行送餐。

作为优选方案，所述代取指令包括语音代取指令。

作为优选方案，所述代取数据包括代取人的车票数据。

作为优选方案，当所述代取数据满足代领条件时，控制机器人进行送餐，具体为：

在检测到所述车票数据中的二维码信息符合所述信息数据中的预留代取人车票信息时，则判断所述代领条件得到满足，控制机器人进行送餐。

作为优选方案，铁路送餐机器人的控制方法还包括：

若所述实时图像数据未满足所述配送条件，则退出所述送餐模式，进入检票模式，并接收实时票务数据；

当所述实时票务数据满足检票条件，控制机器人进行送餐；

若所述实时票务数据未满足检票条件，则控制机器人进入所述代取模式。

作为优选方案，当所述实时票务信息数据满足检票条件，控制机器人进行送餐，具体为：

在检测到所述实时票务数据中的二维码信息符合所述信息数据中的预留订餐者车票信息时，则判断所述检票条件得到满足，控制机器人进行送餐。

作为优选方案，在机器人运动时，控制其进行自动避障。

本发明另一实施例提供了一种铁路送餐机器人的控制装置，包括控制器，所述控制器被配置为：

接收订餐乘客的信息数据与各车厢内的摄像头采集数据，并生成订餐乘客的图像数据；

在进入送餐模式时，根据接收到的送餐指令，控制机器人运动至订餐乘客位置处并获取实时图像数据；

当所述实时图像数据满足所述配送条件时，控制机器人进行送餐；

若所述实时图像数据未满足所述配送条件，则退出所述送餐模式，进入代取模式，并接收代取指令与代取数据；

当所述代取数据满足代领条件时，控制机器人进行送餐；

若所述代取数据未满足所述代领条件，则根据接收到的各车厢内的摄像头采集数据与所述图像数据，获取订餐乘客的位置数据，并进入所述送餐模式。

相比于现有技术，本发明实施例的有益效果在于，通过配合采集送餐机器人的自带摄像头以及列车各车厢内的摄像头的图像数据，能够更准确地对乘客进行图像识别，并且在配送过程中，综合考虑乘客位置变化以及乘客票务信息等因素，通过设置不同的控制策略控制机器人进行相应动作，完美适配多种突发情况，优化了铁路机器人送餐的整个过程，方便了乘客取餐，提升了乘客的订餐体验，有效提高了送餐机器人的配送准确率与智能化程度。

附图说明

图1是本发明实施例中的一种铁路送餐机器人的控制方法的流程示意图；

图2是本发明实施例中的一种铁路送餐机器人的配送流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请的描述中，需要说明的是，除非另有定义，本发明所使用的所有的技术和科学术语与属于本的技术领域的技术人员通常理解的含义相同。本发明中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

本发明一实施例提供了一种铁路送餐机器人的控制方法，具体的，请参见图1，图1为发明实施例提供的一种铁路送餐机器人的控制方法的流程示意图，其中包括：

S101、接收订餐乘客的信息数据与各车厢内的摄像头采集数据，并生成订餐乘客的图像数据；

S102、在进入送餐模式时，根据接收到的送餐指令，控制机器人运动至订餐乘客位置处并获取实时图像数据；

S103、当所述实时图像数据满足所述配送条件时，控制机器人进行送餐；

S104、若所述实时图像数据未满足所述配送条件，则退出所述送餐模式，进入代取模式，并接收代取指令与代取数据；

S105、当所述代取数据满足代领条件时，控制机器人进行送餐；

S106、若所述代取数据未满足所述代领条件，则根据接收到的各车厢内的摄像头采集数据与所述图像数据，获取订餐乘客的位置数据，并进入所述送餐模式。

需要说明的，在接收订餐乘客的信息数据时，可通过铁路点餐系统获取，及乘客在通过点餐系统注册使用时，获取包括乘客的人脸信息、座位信息、车票信息、代取人信息的相关数据，并存储于后台的服务器中，铁路送餐机器人设有通信模块与数据存储模块，在乘客使用APP订餐完成后，意味着机器人进入送餐模式，此时机器人与后台服务器进行通信交互，获取接收订餐乘客的相关信息数据，同时，铁路送餐机器人还可以与各车厢内的摄像头进行通信交互，同步获取由各车厢采集到的乘客面部的相关数据。

在实际送餐过程中，具体的，请参见图2，图2为本发明实施例提供的一种铁路送餐机器人的配送流程图，当乘客订餐后，铁路送餐机器人根据接收到的座位信息，驱动自身的动力模块运动至相应的座位处，在抵达订餐者座位后，开启自身的摄像头进行人脸识别，并获取座位附近的实时图像数据，优选地，铁路送餐机器人的自带摄像头数量为两个，每个车厢内的摄像头数量也为两个，当然，也可根据实际要求与成本限制设置不同数量的摄像头。当铁路送餐机器人的控制器判断实时图像数据满足所述配送条件时(即人脸识别正确)，意味着订餐者的位置并未发生改变，此时控制器发出送餐指令，控制动力部件放下餐饮托盘(也可根据实际需求设置其他送餐动作)，完成送餐；当铁路送餐机器人的控制器判断实时图像数据不满足所述配送条件时(即人脸识别错误)，此时意味着订餐者不在初始座位上，本实施例通过设置的代领功能(代领功能图2未示)，发出语音提示，或在人机交互界面上进行文字提示，抑或通过闪烁相关LED指示灯，以此来提醒周围人员是否需要代领餐饮，并接收周围人员反馈的代取指令，如果有乘客需要进行代取，则获取相关的代取数据，当铁路送餐机器人的控制器判断代取数据满足代领条件时，意味着可以进行代领，此时控制机器人执行上述送餐动作；当铁路送餐机器人的控制器判断代取数据未满足代领条件时，意味着无法进行代领，此时铁路送餐机器人与铁路各车厢内的摄像头进行通信交互，搜寻订餐者图像的具体车厢，以此来确定在订餐者的最新位置数据，在位置数据更新完毕后，成功寻找到订餐者的位置，机器人继续进入上述送餐模式，执行相应的动作；当铁路各车厢内的摄像头均没有搜寻到订餐者的图像时，意味着寻找失败，此时控制将相关的数据发送至后台服务器，然后控制机器人本体待机，等待下一步的操作指令。

作为优选的，在上述实施例中，接收订餐乘客的信息数据与各车厢内的摄像头采集数据，并生成订餐乘客的图像数据，具体为：根据所述摄像头采集数据，以及所述信息数据中的初始图像数据，基于PointNet的点云学习算法与神经网络集成的多视角人脸识别技术划分图像特征样本集，并根据所述图像特征样本集生成对应的所述图像数据。

需要说明的是，在对获取到的各反映乘客面部特征的图像数据进行处理的过程中，神经网络集成的多视角人脸识别技术能够将乘客的面部信息进行数据的补充与优化，并将补充优化后的数据同步至送餐机器人中，以提高送餐的准确率；而PointNet是斯垣福大学在2016年提出的一种点云分类/分割深度学习框架，它能够用于点云数据的多种认知任务，如分类、语义分割和目标识别。不同于图像数据在计算机中的表示通常编码了像素点之间的空间关系，点云数据由无序的数据点构成一个集合来表示，通过对称方法来解决点云存在的无序性问题。PointNet中使用的对称方法概括如下：

F({x1,x2,…xn})≈g[h(x1),h(x2)，…h(xn)]

式子中，f是全局特征的提取函数，h是每一个点的特征提取函数，g是PointNet使用的函数max-pooling。PointNet可以对n个点进行卷积等操作后，通过使用最大池化法对每个维度求其最大值，这样就解决了点云的无序性问题。在数据量很大的情况下，可以通过对点云进行下采样处理提取了整体的全局特征，并去除卷积后特征图中的沉余信息。PointNet还加入了空间变换网络STN，通过STN矫正点云的空间位姿以及特征图位姿。

上述两种技术均是为了优化乘客的面部特征所采用的数据处理算法，可以有效对数据进行三维空间的识别，识别率与准确率都有明显的提高。

作为优选的，在上述实施例中，当所述实时图像数据满足所述配送条件时，控制机器人进行送餐，具体为：在检测到所述实时图像数据匹配所述图像特征样本集时，则判断所述配送条件得到满足，控制机器人进行送餐。将实时图像数据与图像特征样本集进行比对分析，判断二者是否匹配，确保了订餐者信息特征的准确性。

优选的，在上述实施例中，所述代取指令包括语音代取指令，当然，所述代取指令也可根据铁路送餐机器人的结构特征，采取其他形式的指令，例如，机器人本体设置触摸显示屏，在触摸显示屏上设置文字信息提示是否代领，并根据获取到的不同的触摸信号来执行下一步动作。

优选的，在上述实施例中，所述代取数据包括代取人的车票数据，当上述代取指令被激活，则控制机器人获取反映代取人身份的代取数据，通过对获取到的代取数据进行处理，来确定能否执行机器人的代取功能。

作为优选地，在上述实施例中，当所述代取数据满足代领条件时，控制机器人进行送餐，具体为：在检测到所述车票数据中的二维码信息符合所述信息数据中的预留代取人车票信息时，则判断所述代领条件得到满足，控制机器人进行送餐。

二维码条码具有储存量大、保密性高、追踪性高、抗损性强、成本低廉、制作要求低等特性。在票务方面，已经在铁路车票、有轨电车车票上得到了广泛的应用。二维码的票务信息识别主要基于二维码内的信息字段。二维码内信息字段主要包括基本票务信息(售票时间、车票版本、制作者编号、车票金额、交易流水号、车票编号、售票机编号)，进站所需信息(允许进站站点、允许乘坐区间、允许进站截止时间)，出站所需信息(允许出站站点、允许出战截止时间)。

作为获取乘客信息的重要手段，为了能够准确快速的识别票务信息，首先要对原始图像进行预处理，预处理包括：图像灰度处理、图像二值化、中值滤波、图像定位集校正等过程。

二维码票务信息的处理过程主要包括：火车票图像灰度化、火车票图像二值化、火车票图像中值滤波、火车票定位、火车票校正、解码。其中火车票图像灰度化指进行对数图像增强算法，此算法可以将整个画面的亮度增大，算法公式如下：

S＝clog(r+1)

其中，C为常数{c＝255/[log(256)]},r为灰度值，然后将传感器得到的彩色图像进行灰度处理，这样可以加快处理熟读以及节省储存空间。

火车票图像二值化是指将整个火车票图像呈现出明显的黑白效果,调用OpenCV中的函数来完成这一步，具体算法公式如下：

火车票图像中值滤波是指进行消除噪点的操作，使图像更利于处理。

火车票定位是指在OpenCV中调用轮廓检测函数获得二维码所在区域的轮廓,对火车票右下方二维码进行定位，可以通过它的特征，即二维码三个交的位置对车票进行定位。该函数可以对输入的二值图像进行改变，将轮廓绘制出来。

火车票校正是指做闭运算来凸显火车票轮廓，利用Hough变换检测边界线，控制点之间的杰变换实现QR码校正。

解码：通过解码器，将采集到的QR码信息按照国际技术标准进行解码，即可以得到车票的数据信息。

通过二维码票务信息识别到的信息，将其与订餐者在注册时输入的代取人信息进行比对分析，即能够确认代取乘客身份是否正确，提高配送的准确率。

作为优选地，在上述实施例中，铁路送餐机器人的控制方法还包括：若所述实时图像数据未满足所述配送条件，则退出所述送餐模式，进入检票模式(即为图2所示的进行车票识别)，并接收实时票务数据；当所述实时票务数据满足检票条件，控制机器人进行送餐；若所述实时票务数据未满足检票条件，则控制机器人进入所述代取模式。

需要说明的是，目前现有的配送餐机器人并无对订餐者身份进行二次认证，在本实施例中，考虑到在恶劣条件下乘客人脸识别的光线过暗/过亮，乘客面部拥有遮挡物等识别阻拦而导致识别不成功，此时通过二次认证即可实现身份的进一步确认，即机器人能够更加智能地对乘客的身份进行核查，以确保配送的准确度，提高了送餐机器人的智能化程度。

优选地，在上述实施例中，当所述实时票务信息数据满足检票条件，控制机器人进行送餐，具体为：在检测到所述实时票务数据中的二维码信息符合所述信息数据中的预留订餐者车票信息时，则判断所述检票条件得到满足，控制机器人进行送餐。

当然，本实施例中的铁路送餐机器人，考虑到铁路上的复杂环境，还设置有自动避障功能，当机器人在运动过程中，可以通过开启自身的摄像头识别路线附近的环境图像，从而更好地进行避障，防止餐饮倾覆；也可在机器人本体上设置相关的传感器(如红外传感器或超声波传感器)，基于回声定位原理来判断路线附件的障碍物情况，从而合理规划路线驱动自身进行更好的避障。当机器人避障失败时，可以采取语音提示发出提醒，也可设置相应的红外指示灯闪烁提醒附近的乘客，直至障碍物解除，机器人继续行进。

本发明另一实施例提供了铁路送餐机器人的控制装置，包括控制器，所述控制器被配置为：

接收订餐乘客的信息数据与各车厢内的摄像头采集数据，并生成订餐乘客的图像数据；

在进入送餐模式时，根据接收到的送餐指令，控制机器人运动至订餐乘客位置处并获取实时图像数据；

当所述实时图像数据满足所述配送条件时，控制机器人进行送餐；

若所述实时图像数据未满足所述配送条件，则退出所述送餐模式，进入代取模式，并接收代取指令与代取数据；

当所述代取数据满足代领条件时，控制机器人进行送餐；

若所述代取数据未满足所述代领条件，则根据接收到的各车厢内的摄像头采集数据与所述图像数据，获取订餐乘客的位置数据，并进入所述送餐模式。

本发明实施例提供的铁路送餐机器人的控制方法及装置，有益效果在于，通过配合采集送餐机器人的自带摄像头以及列车各车厢内的摄像头的图像数据，能够更准确地对乘客进行图像识别，并且在配送过程中，综合考虑乘客位置变化以及乘客票务信息等因素，通过设置不同的控制策略控制机器人进行相应动作，完美适配多种突发情况，优化了铁路送餐的整个过程，方便了乘客取餐，提升了乘客的订餐体验，有效提高了送餐机器人的配送准确率与智能化程度。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种铁路送餐机器人的控制方法，其特征在于，包括：

接收订餐乘客的信息数据与各车厢内的摄像头采集数据，并生成订餐乘客的图像数据；

在进入送餐模式时，根据接收到的送餐指令，控制机器人运动至订餐乘客位置处并获取实时图像数据；

当所述实时图像数据满足所述配送条件时，控制机器人进行送餐；

若所述实时图像数据未满足所述配送条件，则退出所述送餐模式，进入代取模式，并接收代取指令与代取数据；

当所述代取数据满足代领条件时，控制机器人进行送餐；

若所述代取数据未满足所述代领条件，则根据接收到的各车厢内的摄像头采集数据与所述图像数据，获取订餐乘客的位置数据，并对应进入所述送餐模式。

2.如权利要求1所述的铁路送餐机器人的控制方法，其特征在于，接收订餐乘客的信息数据与各车厢内的摄像头采集数据，并生成订餐乘客的图像数据，具体为：

根据所述摄像头采集数据，以及所述信息数据中的初始图像数据，基于PointNet的点云学习算法与神经网络集成的多视角人脸识别技术划分图像特征样本集，并根据所述图像特征样本集生成对应的所述图像数据。

3.如权利要求2所述的铁路送餐机器人的控制方法，其特征在于，当所述实时图像数据满足所述配送条件时，控制机器人进行送餐，具体为：

在检测到所述实时图像数据匹配所述图像特征样本集时，则判断所述配送条件得到满足，控制机器人进行送餐。

4.如权利要求1所述的铁路送餐机器人的控制方法，其特征在于，所述代取指令包括语音代取指令。

5.如权利要求1所述的铁路送餐机器人的控制方法，其特征在于，所述代取数据包括代取人的车票数据。

6.如权利要求5所述的铁路送餐机器人的控制方法，其特征在于，当所述代取数据满足代领条件时，控制机器人进行送餐，具体为：

在检测到所述车票数据中的二维码信息符合所述信息数据中的预留代取人车票信息时，则判断所述代领条件得到满足，控制机器人进行送餐。

7.如权利要求1所述的铁路送餐机器人的控制方法，其特征在于，还包括：

若所述实时图像数据未满足所述配送条件，则退出所述送餐模式，进入检票模式，并接收实时票务数据；

当所述实时票务数据满足检票条件，控制机器人进行送餐；

若所述实时票务数据未满足检票条件，则控制机器人进入所述代取模式。

8.如权利要求7所述的铁路送餐机器人的控制方法，其特征在于，当所述实时票务信息数据满足检票条件，控制机器人进行送餐，具体为：

在检测到所述实时票务数据中的二维码信息符合所述信息数据中的预留订餐者车票信息时，则判断所述检票条件得到满足，控制机器人进行送餐。

9.如权利要求1所述的铁路送餐机器人的控制方法，其特征在于，在机器人运动时，控制其进行自动避障。

10.一种铁路送餐机器人的控制装置，其特征在于，包括控制器，所述控制器被配置为：

接收订餐乘客的信息数据与各车厢内的摄像头采集数据，并生成订餐乘客的图像数据；

在进入送餐模式时，根据接收到的送餐指令，控制机器人运动至订餐乘客位置处并获取实时图像数据；

当所述实时图像数据满足所述配送条件时，控制机器人进行送餐；

若所述实时图像数据未满足所述配送条件，则退出所述送餐模式，进入代取模式，并接收代取指令与代取数据；

当所述代取数据满足代领条件时，控制机器人进行送餐；

若所述代取数据未满足所述代领条件，则根据接收到的各车厢内的摄像头采集数据与所述图像数据，获取订餐乘客的位置数据，并进入所述送餐模式。

Images