CN113591826B - 一种基于计算机视觉的餐桌清扫智能提醒方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的餐桌清扫智能提醒方法，包括以下步骤：（1）获取餐厅内的视频图像；（2）对获得的每帧视频图像；（3）获取每个餐桌的矩形框位置；（4）在每个餐桌周边位置进行人体检测；（5）对检测到的人体进行持续跟踪；（6）对待检测区域进行持续的人体检测；（7）对餐桌桌面进行清洁度检测。本发明方法采用计算机视觉和人工智能等技术，自动监控分析每个餐桌的清扫状况，当系统判断某一桌的客人离开后且餐桌尚未清扫时，即向餐厅管理者发出餐桌需要清扫提醒。本发明能够实现对餐厅餐桌清扫情况的智能分析，节省人力物力，帮助更高效地管理餐厅，具有重要的现实应用意义。

Description

一种基于计算机视觉的餐桌清扫智能提醒方法

技术领域

本发明涉及图像分析技术领域，特别地，涉及一种基于计算机视觉的餐桌清扫智能提醒系统。

背景技术

随着国家经济形势越来越好，居民的消费热情也越来越高。日常去餐厅消费的人越来越多，一些网红餐厅更是人满为患，常常需要排队很久才能就餐。特别是在用餐高峰期时，很多餐厅常常面临一位难求的情况。这种情况下，一个迫切的现实需求是，当客人用完餐，离开餐厅后，要及时清扫餐桌，做好清洁整理，准备将该餐桌提供给下一个客人用餐。因此，餐厅的管理者们需要及时知悉店里的餐桌清扫状况，在客人离开的时候及时打算餐桌。然而，很多餐厅服务人员繁忙或人手不够，或是很多餐厅采用先付款后用餐的模式，这些餐厅无法及时掌握什么时候应该清扫餐桌。传统的方法需要服务员们时刻盯着用餐餐桌，这样需要消耗大量的人力，且容易发生遗漏，尤其是对那些服务员人数较少的餐厅更加不利。

发明内容

本发明的目的在于提供一种基于计算机视觉的餐桌清扫智能提醒方法，以解决背景技术中提出的问题。

为实现上述目的，本发明提供了一种基于计算机视觉的餐桌清扫智能提醒方法，包括以下步骤：

S1、获取餐厅内的视频图像，其中视频图像包括所有目标检测餐桌；

S2、对获得的每帧视频图像，采用基于深度学习的目标检测技术识别出其中每个餐桌的位置；

S3、获取每个餐桌的矩形框位置；

S4、在每个餐桌周边位置进行人体检测；若检测到某一餐桌周边位置有人体存在，则认为正有客人在此餐桌就餐；

S5、对检测到的人体进行持续跟踪；在检测到人体离开其所就餐的餐桌后，开始计时；就餐客人离开后的餐桌被称为待检测餐桌；

S6、对待检测餐桌进行持续的人体检测；在重新检测到人体出现在该待检测餐桌周边位置后，对该人体进行行人重识别，以确认该行人是暂时离开后又返回的客人还是落座的新客人；如一段时间后，之前就餐的客人仍未落座该待检测餐桌或落座的客人属于新客人，则认为之前就餐的客人已经离开；

S7、对待检测餐桌的桌面进行清洁度检测；若检测到当前待检测餐桌表面存在遗留碗筷及食物残渣的情况，则发出餐桌清扫提醒给服务人员，由服务人员前往该待检测餐桌进行核查或清扫。

进一步的，所述步骤S1中，采用餐厅视频采集系统获取餐厅内的视频图像，所述餐厅视频采集系统包括至少一个摄像头、处理计算机和声光提示器，所述摄像头用于向下俯拍餐桌，所述处理计算机用于接收并处理所述摄像头拍摄的视频数据，所述声光提示器用于与所述处理计算机连接，用于提醒管理者某个餐桌需要清扫。

进一步的，所述步骤S3中，利用Yolo系列检测算法检测出餐桌的矩形框位置。

进一步的，所述步骤S3中，获取每个餐桌的矩形框位置的具体方法为：首先统计连续m帧图像的餐桌检测结果，即每帧图像中每个餐桌的检测矩形框；然后采用非极大值抑制方法确定每个餐桌的矩形框位置。

进一步的，所述步骤S4中，在每个餐桌周边位置进行人体检测的具体方法为：

(1)选取以餐桌中心位置为矩形中心，长宽分别为餐桌矩形框的长宽2倍的矩形区域为待检测区域；

(2)对待检测区域的图像进行人体检测；利用Yolo系列检测算法检测出每个客人的人体矩形框；若检测到人体存在，则认为正有客人在此餐桌就餐。

进一步的，所述步骤S5中，采用卡尔曼滤波方法对人体进行跟踪。

进一步的，所述步骤S6中，采用AlignedReID算法进行行人重识别；若计时到10秒钟的时候，仍然没有客人落座该待检测餐桌或落座的客人属于新客人，则认为之前在该待检测餐桌就餐的客人已经离开，准备进行下一步的桌面清洁度检测；且重新检测到人体出现后，停止计时并归零。

进一步的，所述步骤S7中，对待检测餐桌的桌面进行清洁度检测的具体方法包括以下步骤：

(1)、提前拍摄桌面在完全干净状态下的图像，作为初始干净状态图像；

(2)、将当前时刻的桌面区域图像和初始干净状态桌面区域图像进行对比，利用减背景法获得其差异图像；

(3)、对差异图像区域进行图像分水岭法分割，若分割结果出现超过10块以上的图像块，则认为当前餐桌表面存在遗留碗筷及食物残渣情况，此时应该发出餐桌清扫提醒给服务人员，即立刻发出餐桌清扫的声光提醒，由服务人员前往该餐桌进行核查或清扫。

相比于现有技术，本发明具有以下有益效果：

本发明的一种基于计算机视觉的餐桌清扫智能提醒方法，在餐厅的顶部架设摄像机，采用计算机视觉和人工智能等技术，自动监控分析每个餐桌的清扫状况，当系统判断某一桌的客人离开后且餐桌尚未清扫时，即向餐厅管理者发出餐桌需要清扫提醒。通过该系统，能够实现对餐厅餐桌清扫情况的智能分析，节省人力物力，帮助更高效地管理餐厅，具有重要的现实应用意义。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明一种基于计算机视觉的餐桌清扫智能提醒方法的流程示意图；

图2是本发明中餐厅视频采集系统的结构示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。

请参见图1，本发明实施例的一种基于计算机视觉的餐桌清扫智能提醒系统，包括以下步骤：

步骤一：获取餐厅内的视频图像，其中视频图像包括所有目标检测餐桌；采用餐厅视频采集系统获取餐厅内的视频图像，所述餐厅视频采集系统包括设置在餐厅顶部或其它合适位置的一个或多个摄像头，摄像头用于向下俯拍用餐的餐桌，并将拍摄到的视频数据传输至处理计算机；处理计算机连接硬盘等储存设备，将视频存储在本地数据库中；处理计算机连接一个声光提示器，用于提醒管理者某个餐桌需要清扫。

步骤二：针对获得的每帧视频图像，采用基于深度学习的目标检测技术识别出其中每个餐桌的位置。

步骤三：获取每个餐桌的矩形框位置。优选的，利用Yolo系列检测算法检测出餐桌的矩形框位置。具体方法：首先，统计连续m帧图像的餐桌检测结果，优选的，m大于10，例如m为30帧，即每帧图像中每个餐桌的检测矩形框，然后采用非极大值抑制方法 NMS(NonMaximum Suppression)确定每个餐桌的矩形框位置。本实施例采用多帧图像和非极大值抑制方法，是因为每帧图像中餐桌检测结果可能受图像采集、场景变化、甚至检测算法本身的影响而产生细微变动，采用非极大值抑制方法融合多帧图像的检测结果，能够得到更为精准的餐桌位置识别结果。

步骤四：在每个餐桌周边位置进行人体检测。具体方法：(1)选取以餐桌中心位置为矩形中心，长宽分别为餐桌矩形框的长宽2倍的矩形区域为待检测区域；(2)对待检测区域的图像进行人体检测。这里的实施实例包括但不限于，利用Yolo系列检测算法检测出每个客人的人体矩形框。若检测到人体存在，则认为正在有客人在此餐桌就餐。

步骤五：对检测到的人体进行持续跟踪。本实施例采用卡尔曼滤波方法对人体进行跟踪。鉴于客人有可能短暂离开，例如站起来取东西或者去厕所，所以需要对检测到的人体进行持续跟踪，若检测到某一人体离开其所就餐的餐桌，则存在该客人暂时离开待检测餐桌或者用餐完毕离开餐厅两种可能，因此，在检测到客人离开待检测餐桌后，立即开始计时。就餐客人离开后的餐桌被称为待检测餐桌。

步骤六：对待检测餐桌进行持续的人体检测。在重新检测到人体出现在待检测餐桌周边位置后，对该人体进行行人重识别，用来确认该客人是刚才暂时离开后又返回的客人，还是落座的新客人。本实施例采用AlignedReID算法进行行人重识别。如一段时间后，之前就餐的客人仍未落座待检测餐桌或落座的客人属于新客人，则认为之前就餐的客人已经离开。优选的，若计时到10秒钟的时候，之前就餐的客人仍未落座待检测餐桌，或落座的客人属于新客人，则认为之前就餐的客人已经离开，准备进行下一步的桌面清洁度检测。该处需要说明的是，若重新检测到人体出现在待检测餐桌周边位置后，则停止计时并归零，因为无论是新客人还是归来的旧客人落座该课桌，都不需要开始计时了。该步骤中的计时时间可根据实际需求进行设置，例如计时10S后，则提醒服务人员进行核查之前的就餐人员是否已经离开餐厅，由此来提高餐厅的使用效率，提升餐厅的服务质量。

步骤七：对目标检测餐桌的桌面进行清洁度检测。具体方法：(1)提前拍摄桌面在完全干净状态下的图像，作为初始干净状态图像；(2)将当前时刻的桌面区域图像和初始干净状态桌面区域图像进行对比，利用减背景法获得其差异图像；(3)对差异图像区域进行图像分水岭法分割，若分割结果出现超过10块以上的图像块，则认为当前目标检测餐桌表面存在遗留碗筷及食物残渣情况，此时应该发出餐桌清扫提醒给服务人员，即立刻发出餐桌清扫的声光提醒，由服务人员前往该标检测餐桌进行核查或清扫。该步骤中的服务人员包括管理者或服务员。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于计算机视觉的餐桌清扫智能提醒方法，其特征在于，包括以下步骤：

S1、获取餐厅内的视频图像，其中该视频图像包括所有目标检测餐桌；

S2、对获得的每帧视频图像，采用基于深度学习的目标检测技术识别出其中每个餐桌的位置；

S3、获取每个餐桌的矩形框位置；

S4、在每个餐桌周边位置进行人体检测；若检测到某一餐桌周边位置有人体存在，则认为正有客人在此餐桌就餐；

S5、对检测到的人体进行持续跟踪；在检测到人体离开其所就餐的餐桌后，开始计时；就餐客人离开后的餐桌被称为待检测餐桌；

S6、对待检测餐桌进行持续的人体检测；在重新检测到人体出现在待检测餐桌周边位置后，对该人体进行行人重识别，以确认该行人是暂时离开后又返回的客人还是落座的新客人；如一段时间后，之前就餐的客人仍未落座该待检测餐桌，或落座的客人属于新客人，则认为之前就餐的客人已经离开；

S7、对待检测餐桌的桌面进行清洁度检测；若检测到待检测餐桌表面存在遗留碗筷及食物残渣的情况，则发出餐桌清扫提醒给服务人员，由服务人员前往该待检测餐桌进行核查或清扫。

2.根据权利要求1所述的餐桌清扫智能提醒方法，其特征在于，所述步骤S1中，采用餐厅视频采集系统获取餐厅内的视频图像，所述餐厅视频采集系统包括至少一个摄像头、处理计算机和声光提示器，所述摄像头用于向下俯拍餐桌，所述处理计算机用于接收并处理所述摄像头拍摄的视频数据，所述声光提示器用于与所述处理计算机连接，用于提醒管理者某个餐桌需要清扫。

3.根据权利要求1所述的餐桌清扫智能提醒方法，其特征在于，所述步骤S3中，利用Yolo系列检测算法检测出餐桌的矩形框位置。

4.根据权利要求1所述的餐桌清扫智能提醒方法，其特征在于，所述步骤S3中，获取每个餐桌的矩形框位置的具体方法为：首先统计连续m帧图像的餐桌检测结果，即每帧图像中每个餐桌的检测矩形框；然后采用非极大值抑制方法确定每个餐桌的矩形框位置。

5.根据权利要求1所述的餐桌清扫智能提醒方法，其特征在于，所述步骤S4中，在每个餐桌周边位置进行人体检测的具体方法为：

(1)选取以餐桌中心位置为矩形中心，长宽分别为餐桌矩形框的长宽2倍的矩形区域为待检测区域；

(2)对待检测区域的图像进行人体检测；利用Yolo系列检测算法检测出每个客人的人体矩形框；若检测到人体存在，则认为正有客人在此餐桌就餐。

6.根据权利要求1所述的餐桌清扫智能提醒方法，其特征在于，所述步骤S5中，采用卡尔曼滤波方法对人体进行跟踪。

7.根据权利要求1所述的餐桌清扫智能提醒方法，其特征在于，所述步骤S6中，采用AlignedReID算法进行行人重识别；若计时到10秒钟的时候，仍然没有客人落座该待检测餐桌或落座的客人属于新客人，则认为之前在该待检测餐桌就餐的客人已经离开，准备进行下一步的桌面清洁度检测；且重新检测到人体出现后，停止计时并归零。

8.根据权利要求1所述的餐桌清扫智能提醒方法，其特征在于，所述步骤S7中，对待检测餐桌的桌面进行清洁度检测的具体方法包括以下步骤：

(1)、提前拍摄桌面在完全干净状态下的图像，作为初始干净状态图像；

(2)、将当前时刻的桌面区域图像和初始干净状态桌面区域图像进行对比，利用减背景法获得其差异图像；

(3)、对差异图像区域进行图像分水岭法分割，若分割结果出现超过10块以上的图像块，则认为当前餐桌表面存在遗留碗筷及食物残渣情况，此时应该发出餐桌清扫提醒给服务人员，由服务人员前往该餐桌进行核查或清扫。

Images