CN109858321B - 一种自动检测残渣量方法、系统、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种自动检测残渣量方法、系统、电子设备及存储介质，该方法包括以下步骤：根据所设定的时间间隔，定时获取桌面当前状态的照片，对照片进行预处理；通过残渣识别模型对预处理后的照片进行图像识别以得到桌面上的残渣放置盘的残渣量；判断残渣量是否超过预设值；若是，则发送信息告知服务终端以收拾残渣，信息包含餐桌号；若否，则结束当前检测流程并等待下一个时间点重新启动检测流程。该方法能实现自动检测残渣量，当残渣量超过预设值时，则会发送信息告知服务终端，从而采取相应的措施处理残渣，及时清理，避免出现残渣堆放不下的情况。

Description

一种自动检测残渣量方法、系统、电子设备及存储介质

技术领域

本发明涉及图像识别领域，尤其涉及一种自动检测残渣量方法、系统、电子设备及存储介质。

背景技术

在餐馆中用餐，一般每个人均匹配一个小盘，用于放置残渣。通常情况下，需要服务员来回巡逻查看餐桌上的用餐情况，查看是否有用户的残渣放置盘内的残渣量较多，从而进行相应的清理。但是，当餐馆很忙时，可能会人手不足，无法安排服务员在餐馆内来回巡逻，导致用户的残渣无法及时清理，出现堆放不下的情况，并且，安排专门的服务员来回巡逻，人力成本高。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种自动检测残渣量方法，其能实现自动检测残渣量，当残渣量超过预设值时，则会发送信息告知服务终端，从而采取相应的措施处理残渣，及时清理，避免出现残渣堆放不下的情况。

本发明的目的之二在于提供一种自动检测残渣量的系统，其能实现自动检测残渣量，当残渣量超过预设值时，则会发送信息告知服务终端，从而采取相应的措施处理残渣，及时清理，避免出现残渣堆放不下的情况。

本发明的目的之三在于提供一种电子设备，其能实现自动检测残渣量，当残渣量超过预设值时，则会发送信息告知服务终端，从而采取相应的措施处理残渣，及时清理，避免出现残渣堆放不下的情况。

本发明的目的之四在于提供一种计算机可读存储介质，该存储介质中的计算机程序运行时能实现自动检测残渣量，当残渣量超过预设值时，则会发送信息告知服务终端，从而采取相应的措施处理残渣，及时清理，避免出现残渣堆放不下的情况。

本发明的目的之一采用如下技术方案实现：

一种自动检测残渣量方法，包括以下步骤：

根据所设定的时间间隔，定时获取桌面当前状态的照片，对所述照片进行预处理；

通过残渣识别模型对预处理后的照片进行图像识别以得到桌面上的残渣放置盘的残渣量；

判断所述残渣量是否超过预设值；

若是，则发送信息告知服务终端以收拾残渣；

若否，则结束当前检测流程并等待下一个时间点重新启动检测流程。

进一步地，所述通过残渣识别模型对预处理后的照片进行图像识别以得到桌面上的残渣放置盘的残渣量具体为：

通过残渣识别模型对预处理后的照片进行识别，得到照片中残渣放置盘所在区域以及残渣所在区域；

根据残渣放置盘所在区域的大小和残渣所在区域的大小计算残渣量，其中，该残渣量为残渣所在区域面积与残渣放置盘所在区域面积的比值。

进一步地，在得到残渣放置盘所在区域之后，还包括步骤：

根据残渣放置盘所在区域相对于参考点的距离及方向，确定残渣放置盘的位置坐标；

根据残渣放置盘的位置坐标查找出与该残渣放置盘所对应的用户的座位号。

进一步地，所述服务终端为服务员终端，服务员可通过服务员终端获知残渣量信息。

进一步地，所述服务终端为残渣收拾机器人，所述信息包含餐桌号以及待收拾的残渣放置盘所对应的用户座位号。

进一步地，还包括以下步骤：在发送信息告知残渣收拾机器人后，判断所述残渣收拾机器人是否已到达目标位置，其中，所述残渣收拾机器人可根据所述信息中的餐桌号以及用户座位号移动至目标位置；

当所述残渣收拾机器人到达目标位置后，获取所述残渣收拾机器人和桌面的照片，对该照片进行图像识别以得出残渣收拾机器人的手臂相对于残渣放置盘的距离及方向；

将所述距离及方向发送给所述残渣收拾机器人以使所述残渣收拾机器人根据所述距离及方向控制残渣收拾机器人的手臂移动至残渣放置盘处并将残渣抓取至所述残渣收拾机器人所携带的垃圾储存装置中。

进一步地，所述预设值为80％。

本发明的目的之二采用如下技术方案实现：

一种自动检测残渣量的系统，包括：摄像头、服务终端以及控制单元，所述控制单元分别与所述摄像头、所述服务终端连接；所述摄像头用于拍摄桌面照片；所述控制单元包括处理器和存储器，所述存储器中存储有可执行计算机程序，所述处理器可读取所述存储器中的计算机程序以实现如上所述的自动检测残渣量方法。

本发明的目的之三采用如下技术方案实现：

一种电子设备，包括处理器和存储器，所述存储器中存储有可执行计算机程序，所述处理器可读取所述存储器中的计算机程序以实现如上所述的自动检测残渣量方法。

本发明的目的之四采用如下技术方案实现：

一种计算机可读存储介质，所述计算机可读存储介质存储有可执行计算机程序，所述计算机程序运行时可实现如上所述的自动检测残渣量方法。

相比现有技术，本发明的有益效果在于：

该方法能实现自动检测餐桌上的残渣量，当残渣量超过预设值时，则会发送信息告知服务终端，从而采取相应的措施处理残渣，及时清理，避免出现残渣堆放不下的情况。通过该方法，无需服务人员在餐馆内来回巡逻，节省人力成本。

附图说明

图1为本发明提供的一种自动检测残渣量方法的流程示意图；

图2为本发明提供的一种自动检测残渣量系统的结构框图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

请参阅图1，一种自动检测残渣量方法，包括以下步骤：

S1、根据所设定的时间间隔，定时获取桌面当前状态的照片，对所述照片进行预处理；

S2、通过残渣识别模型对预处理后的照片进行图像识别以得到桌面上的残渣放置盘的残渣量；

S3、判断所述残渣量是否超过预设值；

S4、若是，则发送信息告知服务终端以收拾残渣；若否，则返回步骤S1。

该方法通过定时拍摄桌面的照片，然后对照片进行图像识别，检测桌面上的残渣放置盘的残渣量超过预设值时，发送信息告知服务终端，以通知相关人员前来清理残渣。

特别地，时间间隔可设置为10分钟，每隔10分钟则启动一次检测流程，拍摄桌面照片从而进行图像识别，以检测残渣量是否超过预设值。

作为一种优选的实施方式，所述通过残渣识别模型对预处理后的照片进行图像识别以得到桌面上的残渣放置盘的残渣量具体为：

通过残渣识别模型对预处理后的照片进行识别，得到照片中残渣放置盘所在区域以及残渣所在区域；

根据残渣放置盘所在区域的大小和残渣所在区域的大小计算残渣量，其中，该残渣量为残渣所在区域面积和残渣放置盘所在区域面积的比值。

残渣识别模型可以将残渣放置盘以及盘中的残渣在照片中圈注出来，残渣放置盘所在区域面积就是残渣放置盘在照片中的面积，残渣所在区域面积就是残渣在照片中的面积。

残渣识别模型采用卷积神经网络来构建，通过大量的装有不同含量残渣的残渣放置盘的照片来训练该残渣识别模型，使其能够从桌面的照片中识别出残渣放置盘以及残渣放置盘中的残渣，并将残渣放置盘及盘中的残渣均标注出来。可通过在餐桌上摆放装有不同含量残渣的残渣放置盘进行拍照而得到大量的照片，并对所有照片中的残渣放置盘及盘中的残渣进行标注，残渣放置盘为一个类别，盘中的残渣为一个类别，形成训练样本，对训练样本进行预处理，然后使用这些训练样本对卷积神经网络模型进行训练，模型收敛之后保存为残渣识别模型。特别地，只有位于残渣放置盘中的物体方会被识别为残渣，在识别的过程中，残渣与残渣放置盘是关联在一起的，而其他餐盘中的菜品由于不是放置在残渣放置盘中，因此不会被识别为残渣。

作为一种优选的实施方式，在得到残渣放置盘所在区域之后，还包括步骤：

根据残渣放置盘所在区域相对于参考点的距离及方向，确定残渣放置盘的位置坐标；

根据残渣放置盘的位置坐标查找出与该残渣放置盘所对应的用户的座位号。

在使用残渣识别模型对照片识别出残渣放置盘所在区域后，可根据残渣放置盘相对于参考点的距离及方向来确定残渣放置盘的位置坐标，可选用桌面中心作为参考点，数据库中存储有残渣放置盘的位置坐标及其对应的用户的座位号，根据图像识别得出的位置坐标查找数据库中匹配的残渣放置盘所对应的用户的座位号；或者直接数据库中直接存储各个座位号所对应的位置坐标，通过图像识别得出残渣放置盘的位置坐标后，查找出与该位置坐标最接近的座位号。

作为一种优选的实施方式，所述服务终端为服务员终端，服务员可通过服务员终端获知残渣量信息。通过给每个服务员匹配一个服务员终端，并且每个服务员分配服务不同的区域，餐桌上的残渣放置盘的残渣量若超过预设值则将信息发送至负责服务该餐桌的员工的服务员终端上。服务员终端接收到信息后会发出提示音，以提醒服务员查看信息，服务员通过信息中的餐桌号前往餐桌位置去收拾残渣。

作为一种变形的实施方式，所述服务终端为残渣收拾机器人，所述信息包含餐桌号以及待收拾的残渣放置盘所对应的用户座位号。可通过残渣收拾机器人自动清理残渣，节省人力成本，并且该方法可应用在无人餐厅中。将信息发送给残渣收拾机器人后，残渣收拾机器人根据信息中的餐桌号以及待清理的用户座位号移动至目标位置处，然后进行残渣清理。残渣清理动作可由残渣收拾机器人执行，也可由用户将残渣倒入残渣收拾机器人所携带的垃圾储存装置中。

作为一种优选的实施方式，还包括以下步骤：在发送信息告知残渣收拾机器人后，判断所述残渣收拾机器人是否已到达目标位置，其中，所述残渣收拾机器人可根据所述信息中的餐桌号以及用户座位号移动至目标位置；判断所述残渣收拾机器人是否到达目标位置的方式为：一是，残渣收拾机器人到达目标位置后自动发出抵达信息，当接收到残渣收拾机器人的抵达信息时，即可执行下一步骤，没有接收到抵达信息则继续等待残渣收拾机器人到达；二是，通过红外传感器等检测装置检测目标位置处是否出现物体，若是，则表明残渣收拾机器人到达目标位置了，即可执行下一步骤，若否，则继续等待残渣收拾机器人到达。

当所述残渣收拾机器人到达目标位置后，获取所述残渣收拾机器人和桌面的照片，对该照片进行图像识别以得出残渣收拾机器人的手臂相对于残渣放置盘的距离及方向；

将所述距离及方向发送给所述残渣收拾机器人以使所述残渣收拾机器人根据所述距离及方向控制残渣收拾机器人的手臂移动至残渣放置盘处并将残渣抓取至所述残渣收拾机器人所携带的垃圾储存装置中。

对该照片进行图像识别以得出残渣收拾机器人的手臂相对于残渣放置盘的距离及方向的具体过程为：通过设置在餐桌上方的摄像头拍摄残渣收拾机器人及桌面的照片，由照片中桌面的尺寸与实际中桌面的尺寸确定照片的显示比例值，对照片进行图像识别，识别出残渣收拾机器人的手臂以及残渣放置盘的位置并标注出来，根据识别结果中两者的位置，计算残渣收拾机器人的手臂到残渣放置盘的距离，该距离为照片显示的距离，并且确定残渣收拾机器人的手臂相对于残渣放置盘的方向，即残渣放置盘位于残渣收拾机器人的哪个方向，然后根据显示比例值以及两者在照片中的距离计算出实际距离，然后控制残渣收拾机器人往残渣放置盘的方向移动实际距离的长度，此时，残渣收拾机器人移动到了残渣放置盘处，进而残渣收拾机器人控制手臂抓取残渣到自身携带的垃圾储存装置中，垃圾储存装置可为垃圾袋，也可为挂靠在残渣收拾机器人身上的垃圾筐。

此外，也可通过残渣收拾机器人抓取残渣放置盘移动到垃圾储存装置中，然后将残渣放置盘中的残渣倾倒在垃圾储存装置中，倾倒完毕后再将残渣放置盘放回至餐桌上的原位置。

作为一种优选的实施方式，所述预设值为80％。将预设值设为80％，在残渣放置盘完全满之前通知服务员，避免服务员当前有其他事情要处理，无法及时去清理而导致用户无法在放置残渣。服务员可以先处理完手上的事情后，再去清理也不会出现残渣放置盘已满的情况。

请参阅图2，本发明还提供了一种自动检测残渣量的系统，包括：摄像头、服务终端以及控制单元，所述控制单元分别与所述摄像头、所述服务终端连接；所述摄像头用于拍摄桌面照片；所述控制单元包括处理器和存储器，所述存储器中存储有可执行计算机程序，所述处理器可读取所述存储器中的计算机程序以实现如上所述的自动检测残渣量方法。

该系统通过摄像头来定时拍摄桌面的照片，控制单元获取摄像头所拍摄的照片，对照片进行预处理后，使用残渣识别模型对预处理后的照片进行图像识别以得到桌面上的残渣放置盘的残渣量；然后判断所述残渣量是否超过预设值；若是，则发送信息告知服务终端以收拾残渣，若否，则结束当前流程，等待下一次拍摄然后再进行判断。

计算桌面上的残渣放置盘的残渣量的具体过程如下：

通过残渣识别模型对预处理后的照片进行识别，得到照片中残渣放置盘所在区域以及残渣所在区域；

根据残渣放置盘所在区域的大小和残渣所在区域的大小计算残渣量，其中，该残渣量为残渣所在区域面积和残渣放置盘所在区域面积的比值。

残渣识别模型采用卷积神经网络来构建，通过将装有不同含量残渣的残渣放置盘的照片来训练该残渣识别模型，使其能够从桌面的照片中识别出照片中的残渣放置盘以及残渣放置盘中的残渣，并将残渣放置盘及盘中的残渣均标注出来。可通过在餐桌上摆放装有不同含量残渣的残渣放置盘进行拍照而得到大量的照片，并对所有照片中的残渣放置盘及盘中的残渣进行标注，残渣放置盘为一个类别，盘中的残渣为一个类别，形成训练样本，对训练样本进行预处理，然后使用这些训练样本对卷积神经网络模型进行训练，模型收敛之后保存为残渣识别模型。

其中，预设值设为80％，在残渣放置盘完全满之前通知服务员，避免服务员当前有其他事情要处理，无法及时去清理而导致用户无法在放置残渣。服务员可以先处理完手上的事情后，再去清理也不会出现残渣放置盘已满的情况。

优选地，所述服务终端为服务员终端，服务员可通过服务员终端获知残渣量信息。通过给每个服务员匹配一个服务员终端，并且每个服务员分配服务不同的区域，餐桌上的残渣放置盘的残渣量若超过预设值则将信息发送至负责服务该餐桌的员工的服务员终端上。服务员终端接收到信息后会发出提示音，以提醒服务员查看信息，服务员通过信息中的餐桌号前往餐桌位置去收拾残渣。

作为一种变形的实施方式，所述服务终端为残渣收拾机器人，所述信息包含餐桌号以及待收拾的残渣放置盘所对应的用户座位号。可通过残渣收拾机器人自动清理残渣，节省人力成本，并且该方法可应用在无人餐厅中。将信息发送给残渣收拾机器人后，残渣收拾机器人根据信息中的餐桌号以及待清理的用户座位号移动至目标位置处，然后进行残渣清理。残渣清理动作可由残渣收拾机器人执行，也可由用户将残渣倒入残渣收拾机器人所携带的垃圾储存装置中。

需要说明的是，用户座位号的确定过程具体如下：

根据残渣放置盘所在区域相对于参考点的距离及方向，确定残渣放置盘的位置坐标；

根据残渣放置盘的位置坐标查找出与该残渣放置盘所对应的用户的座位号。

在使用残渣识别模型对照片识别出残渣放置盘所在区域后，可根据残渣放置盘相对于参考点的距离及方向来确定残渣放置盘的位置坐标，可选用桌面中心作为参考点，数据库中存储有残渣放置盘的位置坐标及其对应的用户的座位号，根据图像识别得出的位置坐标查找数据库中匹配的残渣放置盘所对应的用户的座位号；或者直接数据库中直接存储各个座位号所对应的位置坐标，通过图像识别得出残渣放置盘的位置坐标后，查找出与该位置坐标最接近的座位号。

在发送信息告知残渣收拾机器人后，系统可判断所述残渣收拾机器人是否已到达目标位置，其中，所述残渣收拾机器人可根据所述信息中的餐桌号以及用户座位号移动至目标位置；判断所述残渣收拾机器人是否到达目标位置的方式为：一是，残渣收拾机器人到达目标位置后自动发出抵达信息，当接收到残渣收拾机器人的抵达信息时，即可执行下一步骤，没有接收到抵达信息则继续等待残渣收拾机器人到达；二是，通过红外传感器等检测装置检测目标位置处是否出现物体，若是，则表明残渣收拾机器人到达目标位置了，即可执行下一步骤，若否，则继续等待残渣收拾机器人到达；

当所述残渣收拾机器人到达目标位置后，获取所述残渣收拾机器人和桌面的照片，对该照片进行图像识别以得出残渣收拾机器人的手臂相对于残渣放置盘的距离及方向；

将所述距离及方向发送给所述残渣收拾机器人以使所述残渣收拾机器人根据所述距离及方向控制残渣收拾机器人的手臂移动至残渣放置盘处并将残渣抓取至所述残渣收拾机器人所携带的垃圾储存装置中。

对该照片进行图像识别以得出残渣收拾机器人的手臂相对于残渣放置盘的距离及方向的具体过程为：通过设置在餐桌上方的摄像头拍摄残渣收拾机器人及桌面的照片，由照片中桌面的尺寸与实际中桌面的尺寸确定照片的显示比例值，对照片进行图像识别，识别出残渣收拾机器人的手臂以及残渣放置盘的位置并标注出来，根据识别结果中两者的位置，计算残渣收拾机器人的手臂到残渣放置盘的距离，该距离为照片显示的距离，并且确定残渣收拾机器人的手臂相对于残渣放置盘的方向，即残渣放置盘位于残渣收拾机器人的哪个方向，然后根据显示比例值以及两者在照片中的距离计算出实际距离，然后控制残渣收拾机器人往残渣放置盘的方向移动实际距离的长度，此时，残渣收拾机器人移动到了残渣放置盘处，进而残渣收拾机器人控制手臂抓取残渣到自身携带的垃圾储存装置中，垃圾储存装置可为垃圾袋，也可为挂靠在残渣收拾机器人身上的垃圾筐。

此外，也可通过残渣收拾机器人抓取残渣放置盘移动到垃圾储存装置中，然后将残渣放置盘中的残渣倾倒在垃圾储存装置中，倾倒完毕后再将残渣放置盘放回至餐桌上的原位置。

本发明还提供了一种电子设备，包括处理器和存储器，所述存储器中存储有可执行计算机程序，所述处理器可读取所述存储器中的计算机程序以实现如上所述的自动检测残渣量方法。

此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有可执行计算机程序，所述计算机程序运行时可实现如上所述的自动检测残渣量方法。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (7)

1.一种自动检测残渣量方法，其特征在于，包括以下步骤：

根据所设定的时间间隔，定时获取桌面当前状态的照片，对所述照片进行预处理；

通过残渣识别模型对预处理后的照片进行图像识别以得到桌面上的残渣放置盘的残渣量；具体为：通过残渣识别模型对预处理后的照片进行识别，得到照片中残渣放置盘所在区域以及残渣所在区域；根据残渣放置盘所在区域的大小和残渣所在区域的大小计算残渣量，其中，该残渣量为残渣所在区域的面积与残渣放置盘所在区域的面积的比值；

判断所述残渣量是否超过预设值；

若是，则发送信息告知服务终端以收拾残渣，所述信息包含餐桌号；所述服务终端包括残渣收拾机器人；

若否，则结束当前检测流程并等待下一个时间点重新启动检测流程；

在发送信息告知残渣收拾机器人后，判断所述残渣收拾机器人是否已到达目标位置，其中，所述残渣收拾机器人可根据所述信息中的餐桌号以及用户座位号移动至目标位置；

当所述残渣收拾机器人到达目标位置后，获取所述残渣收拾机器人和桌面的照片，对该照片进行图像识别以得出残渣收拾机器人的手臂相对于残渣放置盘的距离及方向；

将所述距离及方向发送给所述残渣收拾机器人以使所述残渣收拾机器人根据所述距离及方向控制残渣收拾机器人的手臂移动至残渣放置盘处并将残渣抓取至所述残渣收拾机器人所携带的垃圾储存装置中。

2.如权利要求1所述的自动检测残渣量方法，其特征在于，在得到残渣放置盘所在区域之后，还包括步骤：

根据残渣放置盘所在区域相对于参考点的距离及方向，确定残渣放置盘的位置坐标；

根据残渣放置盘的位置坐标查找出与该残渣放置盘所对应的用户的座位号。

3.如权利要求1所述的自动检测残渣量方法，其特征在于，所述服务终端为服务员终端，服务员可通过服务员终端获知残渣量信息。

4.如权利要求1所述的自动检测残渣量方法，其特征在于，所述预设值为80％。

5.一种自动检测残渣量的系统，其特征在于，包括：摄像头、服务终端以及控制单元，所述控制单元分别与所述摄像头、所述服务终端连接；所述摄像头用于拍摄桌面照片；所述控制单元包括处理器和存储器，所述存储器中存储有可执行计算机程序，所述处理器可读取所述存储器中的计算机程序以实现如权利要求1至4任一项所述的自动检测残渣量方法。

6.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有可执行计算机程序，所述处理器可读取所述存储器中的计算机程序以实现如权利要求1至4任一项所述的自动检测残渣量方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行计算机程序，所述计算机程序运行时可实现如权利要求1至4任一项所述的自动检测残渣量方法。

Images