CN115761639B - 座位信息智能分析与推荐方法 - Google Patents

Abstract

本申请提供一种座位信息智能分析与推荐方法，安装多个拍摄装置，总视域覆盖需要监视的所有桌椅位置；判断并对监视区域进行区域划分；针对区域内的座位进行分析，区分出已占用座位、未占用座位和疑似占用座位；对座位进行优先级分类；按照座位优先级顺序由高到低推荐目标座位，解决了公共区域座位智能分析与推荐问题。

Description

座位信息智能分析与推荐方法

技术领域

本发明涉及人工智能与图像处理应用于智慧校园的领域，尤其是涉及一种座位信息智能分析与推荐方法。

背景技术

智慧校园新消费互动及校园数字化生活服务平台是指以校园为主场、以学生为服务对象，通过新消费互动模式对传统的校园服务进行数字化、智能化升级，向大学生提供各类生活服务的智慧平台。

高校属于人群规模且集中的区域，高校图书馆和食堂由于具有公共属性，并且开放时间固定，常常会集中涌入大量的学生，对于座位的需求压力较大。由于高校图书馆和食堂面积大并且有可能存在多层，学生并不能很直观的找到合适的座位，可能会存在局部拥挤但另外片区无人就座的情况，难以合理配置座位资源。

由于桌椅数量较大，采用传感器检测空位成本较高，并且存在临时离开的情况，因此也存在检测不准的情况。

另外，对于高校食堂，由于就餐会产生餐盘和就餐垃圾，需要工作人员及时清理，但是工作人员同样面临选择哪些座位清理的难题，因此需要不断地反复在桌椅之间穿梭清理，不仅劳动量极大，同时也会增加高峰期人流拥堵。

发明内容

本发明提供了一种座位信息智能分析与推荐方法，解决了公共区域座位智能分析与推荐问题。

为解决上述技术问题，本发明所采用的技术方案是：一种座位信息智能分析与推荐方法，其特征是：

安装多个拍摄装置，总视域覆盖需要监视的所有桌椅位置；

判断并对监视区域进行区域划分；

针对区域内的座位进行分析，区分出已占用座位、未占用座位和疑似占用座位；

对座位进行优先级分类；

按照座位优先级顺序由高到低推荐目标座位。

优选方案中，包括桌位区域模糊推荐方法：

分析目标桌位位置分布，找出分布边界位置，确定目标桌位最小包围区域；

分析目标桌位最小包围区域内的非目标桌位位置分布，找出分布边界位置，确定所有非目标桌位最大包围区域；

计算各非目标桌位最大包围区域的面积；

推荐桌位优先顺序为：目标桌位最小包围区域优先于面积大的非目标桌位最大包围区域优先于面积小的非目标桌位最大包围区域。

优选方案中，包括座位占用判断方法：

桌面按照对应座位位置进行区域划分；

图像分析座位位置和对应桌面区域；

将出现人体轮廓的座位位置标记为已占用座位，将未出现人体轮廓并且对应桌面区域没有杂物轮廓的座位标记为未占用座位；

对未出现人体轮廓并且对应桌面区域有杂物轮廓的座位进行红外成像，检测座位及对应桌面区域的残余温度；

设定温度阀值，对于小于温度阀值的座位标记为未占用座位，对于大于温度阀值的座位标记为已占用座位。

优选方案中，包括座位占用判定图像处理方法：

采用灰度归一化和直方图均衡化方法对采集图片进行对比度增强，再通过去噪和滤波来去除干扰,提高信噪比；

对该区域图像采用Canny算子与自动阈值分割法相结合的方式对图像进行边缘特征提取，使用find函数将图像边缘信息坐标化；

将find函数坐标化后的图像边缘信息存储成数据集，采用深度学习和强化学习对分类器进行训练；

对单一传入的图像边缘特征信息进行判断，得出桌面杂物是否存在；

将每个桌面区域的边缘特征进行比较分析，按照杂物堆积面积、周长、圆形度、长宽比、紧凑性综合分析，判定物体类型及座位占用情况。

优选方案中，将堆积面积、周长、圆形度、长宽比、紧凑性五项数据组成数据组；

利用基于卷积神经网络的深度学习和基于值函数学习方法的强化学习对数据特征进行处理；

将处理后得到的结果与理想结果对比，根据差异更优策略不断更新，循环执行。

优选方案中，包括入座高峰期判断方法：

设定单人站立面积阀值；

将需求空间布局网格化，通过像素矩阵转换，将需求空间转化为平面坐标图；

选取特定区域作为判断区域，截取特定区域图像，识别人体轮廓，得出区域内人数；

利用区域面积除以区域内人数，得出实际站立面积；

实际站立面积小于单人站立面积阀值，则启动高峰应对状态。

优选方案中，设置显示终端，用于显示座位占用情况。

包括食堂餐桌推荐清理方法：建立系统，主要为图像采集系统、数据储存与处理系统和终端屏幕，摄像头安装在能反应食堂餐位上餐余垃圾堆积的代表性位置，如餐桌正上方、天花板夹角、食堂结构支柱等，摄像头将图像信息(数据产生)传入计算机，利用计算机图形分割及检测算法，形成特征数据，如热源信号，位置(餐桌座位编号)，桌面物品投影形状等数据储存在计算机数据库。

利用以1天为周期的图片数据集来训练分类器(类似阿尔法狗对于围棋的学习)，形成回收特征。分类器训练完成后，采用决策树分类算法对该用餐者使用餐具进行分类，结合后期强化学习的内容不断优化待清理区域的特征，对餐具分类及待清理餐余垃圾的迫切性进行优先级排序，从而形成更优推荐。

通过优先级排序系统自动推荐待清理餐桌编号，并通过微电脑处理将信息通过互联网系统反应在餐厅清理员、或餐厅经理的终端显示器上(智能穿戴设备、电脑)，方便工作人员快速高效作业。

将餐厅布局网格化，通过像素矩阵转换，得到装饰物品存放、餐桌固定区坐标示意图；当用餐者进入餐桌座位，红外热成像摄像头信号区域被触发，计算机调取该区域普通光学摄像头图像,将每个餐位桌面的边缘特征进行比较分析，按照餐余垃圾堆积面积、周长、圆形度、长宽比、紧凑性综合分析，结合后期强化学习的内容不断优化待清理区域的特征，对餐具分类及待清理餐余垃圾的迫切性进行优先级排序，从而形成更优推荐。

利用红外热成像摄像头采集指定坐标区域下的热源信号判断用餐者的存在情况；利用图像边缘特征特区判断餐桌餐具的存在情况；结合两者的逻辑关系判断餐余垃圾是否可以清理。

本发明的有益效果为：利用图像技术，智能识别座位占用情况，方便通过显示终端直观的反馈给需求人员；对座位进行优先级别分类，有效引导人员更加均匀分散的就坐，提升体验感；采用桌位区域模糊推荐方法，将推荐区域整体反馈到显示终端上，需求人员可通过方位快速找到可就坐区域，并且按照喜好随意挑选区域内的座位；结合热成像对疑似占用座位进行智能分析判断，避免出现误就坐或误收餐具的问题。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是典型的图书馆布局。

图2是典型的食堂布局图。

图3是目标桌位最小包围区域内部布局。

图4是区域推荐示意图。

图5是多区域推荐示意图。

图6是本发明的系统结构图。

图7是食堂装饰物品存放区坐标化示意图。

图8是餐桌边缘轮廓特征图。

具体实施方式

实施例1：

如图1-8中，一种座位信息智能分析与推荐方法，其特征是：

安装多个拍摄装置，拍摄装置包括普通云台式摄像头或多个角度的固定式摄像头，另外需要配置带云台的热成像摄像头，总视域覆盖需要监视的所有桌椅位置；

每隔一段时间对拍摄到的图像进行平面投影转化，并将图像拼接成与食堂或图书管布置相同并且成比例的图像；

若监视区域不规则，需要对区域进行划分，例如根据物理界限(如图书馆书架)分界或根据主观上的要求或摄像头分布，人为划分成多个虚拟区域；

针对区域内的座位进行分析，对拍摄的图像进行处理，智能区分出已占用座位、未占用座位和疑似占用座位；

对座位进行优先级分类；

按照座位优先级顺序由高到低推荐目标座位。

由于上高校内往往是多个熟人同时自习或就餐，为了舒适度，大多会选择僻静处和认识的人就餐，因此对每个人单独推荐座位，或将人员限定在集中区域就餐的方法，看似能最大化利用座椅资源，但实际上体验感极差，人员也并不会按照该方法就坐。另外食堂和图书馆座位并不像电影院一样体量小，若按照行列号一一对应推荐就坐，显示终端需要极大，并且需要花费大量的精力找寻对应编号的座椅，十分不人性化。

就餐和自习活动并不是排队进行，高峰期同时观看显示终端的人数不止一个，每次需要推荐多个座位，区域推荐的方式增加高效、快捷。

因此优选的方案采用桌位区域模糊推荐方法：

分析目标桌位位置分布，找出分布边界位置，确定目标桌位最小包围区域；

分析目标桌位最小包围区域内的非目标桌位位置分布，找出分布边界位置，确定所有非目标桌位最大包围区域；

计算各非目标桌位最大包围区域的面积；

推荐桌位优先顺序为：目标桌位最小包围区域优先于面积大的非目标桌位最大包围区域优先于面积小的非目标桌位最大包围区域。

目标桌位为已占用座位、未占用座位和疑似占用座位所位于的桌位，一般桌面为某种具体状态，以食堂为例，需求主体为就餐人员时，目标桌位为未占用座位且桌面干净的桌位，若需求主体为食堂收桌工作人员时，目标座位为未占用座位且桌面杂乱的桌位。

当目标桌位为未占用座位的桌位时，非目标桌位为存在已占用座位或疑似占用座位的桌位。

由于高校食堂和图书管座位一般配置是一桌四凳，首先采用桌位而不是座位推荐能够将图像处理的复杂度降低至原来的四分之一，并且就餐时是一般认识的人聚集就餐，因此无人桌存在占座的概率极低，因此对于疑似占用桌位的判断比疑似占用座位的判断难度更低，拍摄时对于镜头的放大倍速和解析力要求也更低，综合考虑，首先采用桌位作为基本元素判断比座位更加合理。

当高峰期所用桌位均有座位被占用时再启用长焦镜头拍摄具体座位进行座位占用判断，合理利用硬件资源，降低算法复杂度。

优选方案中，包括座位占用判断方法：

桌面按照对应座位位置进行区域划分，例如对四座桌子桌面划分成四个等大的区域；

图像分析座位位置和对应桌面区域，主要是对于桌面的杂物轮廓进行判断，例如识别是图书、餐盘还是就餐垃圾；

将出现人体轮廓的座位位置标记为已占用座位，将未出现人体轮廓并且对应桌面区域没有杂物轮廓的座位标记为未占用座位；

对未出现人体轮廓并且对应桌面区域有杂物轮廓的座位进行红外成像，检测座位及对应桌面区域的残余温度；

设定温度阀值，对于小于温度阀值的座位标记为未占用座位，对于大于温度阀值的座位标记为已占用座位。

总的来说，判别原则为，有人就坐的座位一定为已占用，若座位无人则检测残余温度，食堂和图书馆由于人的行为模式不同，因此临时离开的时间也不同，例如食堂临时离开主要是购买食物，历时数分钟，在图书管可能是找寻图书，时间更长，并且还要基于当日该室内的温度进行综合考虑，确定温度阀值。

优选方案中，包括座位占用判定图像处理方法：

采用灰度归一化和直方图均衡化方法对采集图片进行对比度增强，再通过去噪和滤波来去除干扰,提高信噪比；

对该区域图像采用Canny算子与自动阈值分割法相结合的方式对图像进行边缘特征提取，采用高斯滤波算子平滑含噪图像，获取图像中所有像素点的梯度幅值、梯度方向，对图像中所有像素点的梯度幅值做非极大值抑制运算操作，双阀值滤波参数确定及不同阀值下的边缘连接，阀值的确定是整个阈值分割的关键所在，直接关系到分割结果的好坏，需要建立分割模型(一、二维直方图)，确定求解阀值准则(最大类间方差法、最熵法等)，求解阈值(穷举法、群智能算法等)；

使用find函数将图像边缘信息坐标化；

将find函数坐标化后的图像边缘信息存储成数据集，采用深度学习和强化学习对分类器进行训练；

对单一传入的图像边缘特征信息进行判断，得出桌面杂物是否存在；

将每个桌面区域的边缘特征进行比较分析，按照杂物堆积面积、周长、圆形度、长宽比、紧凑性综合分析，判定物体类型及座位占用情况。

优选方案中，将堆积面积、周长、圆形度、长宽比、紧凑性五项数据组成数据组；

利用基于卷积神经网络的深度学习和基于值函数学习方法的强化学习对数据特征进行处理；

将处理后得到的结果与理想结果对比，根据差异更优策略不断更新，循环执行。

优选方案中，包括入座高峰期判断方法：

设定单人站立面积阀值；

将需求空间布局网格化，通过像素矩阵转换，将需求空间转化为平面坐标图；

选取特定区域作为判断区域，截取特定区域图像，识别人体轮廓，得出区域内人数；

利用区域面积除以区域内人数，得出实际站立面积；

实际站立面积小于单人站立面积阀值，则启动高峰应对状态。

特定区域可选择相对比较狭窄的区域，如食堂门廊。

高峰应对状态主要是针对像食堂一样，工作人员需要对座位需求用户快速反馈的场合，例如就餐垃圾需要及时清理，该桌位才能再次容纳人员就餐。平时由于人流量少，工作人员并不需要积极收拾餐桌，显示终端显示推荐就餐区域时，同时可以按照桌面有垃圾但座位无人的原则显示推荐清理区域，两个区域用不同颜色区分，工作人员去该区域集中清理；当高峰期来临，能集中清理的区域变得极少，因此并且系统精准判断已有人的桌位的无人座位是否为疑似占用座位，指派工作人员准确回收餐盘，清理垃圾。

座位总体优先级为：目标桌位最小包围区域外的座位-非目标桌位最大包围区域内的座位-目标桌位最小包围区域内且非目标桌位最大包围区域外且无人桌的座位-目标桌位最小包围区域内且非目标桌位最大包围区域外且单人占用桌的斜对角座位-目标桌位最小包围区域内且非目标桌位最大包围区域外且单人占用桌的相邻座位-疑似占用座位，为避免争议，疑似占用座位优先级别最低。

实施例2：

在食堂布置多个摄像头，包括红外热成像摄像头、普通光学摄像头；

红外热成像摄像头安装在餐桌正上方；

单球型视频监控器安装在红外热成像摄像头旁；

双枪式视频监控器安装在食堂立体支柱旁；

依据食堂布局不同，安装数量不等的摄像头，满足红外热成像摄像头覆盖食堂某楼层的俯视图内容；单球型视频监控器覆盖食堂某楼层的俯视图内容；双枪式视频监控器覆盖食堂某楼层过道；

采用灰度归一化和直方图均衡化方法对采集图片进行对比度增强，再通过去噪和滤波来去除干扰,提高信噪比；

将餐厅布局的图片网格化，通过像素矩阵转换，得到装饰物品存放、餐桌固定区坐标示意图；

这里将食堂某楼层进行网格化处理，通过Matlab编程得到装饰物品存放区处理图，并建立直角坐标系并确定了装饰物品存放区各分区特征位置坐标，如图7。网格化具体操作是将展区图像存储为BMP格式，用Matlab读入图像并用im2bw命令将图像进行二值化处理。对于视频监控器位置的合理设置应建立一个优化模型来描述；这里将食堂平面区域进行网格化处理，通过视频监控器所能监控到的点数目来反映其监控范围的大小；

为了接下来描述摄像头安装位置及角度的方便，建立图7中所示直角坐标系并确定了贵重物品存放区各分区特征位置坐标；

设原图像的像素矩阵为，二值图像的像素矩阵为，按下式规则转化得到网格化结果。

其中，A(i,j)表示原图像中位于第i行、第j列的像素值，B(i,j)表示二值图像中位于第i行、第j列的像素值。

网格化转换的目的是为了使监控面积大、视频监控器数目少以及尽量位于角落处提供描述的模型。作用是视频监控器位置的合理设置、监控面积大、视频监控器数目少以及尽量位于角落处而进行的一个步骤。

当用餐者进入餐桌座位，红外热成像摄像头信号区域被触发，计算机调取该区域普通光学摄像头图像；

对该区域图像采用Canny算子与自动阈值分割法相结合的方式对图像进行边缘特征提取，使用find函数将图像边缘信息坐标化。

Canny算子为二阶导数算子，其边缘检测步骤包括梯度计算、非极大值抑制、双阈值检测与连接。Canny算子边缘检测遵循以下几个准则：

(1)信噪比准则，保证原图像边缘的准确性，以防伪边缘出现：

式中：G(x)表示边缘函数；h(x)为滤波器脉冲响应。

(2)定位精度准则，原图像的边缘要与追踪到的边缘图像尽可能的接近：

(3)单边响应准则，边缘响应应具有唯一性，防止有多重响应的现象，尽可能抵御虚拟响应：

自动阈值分割:自动阈值分割方法基于图像的灰度直方图，遵循最大类间方差法。假设图像的灰度级集合为E，设灰度级为k的像素数则为n_k，灰度级范围为1,2,3…S，则总像素数为

对其进行归一化后，任一灰度级的像素数占比都可以表示成：

对于上述的灰度直方图，根据最大类间方差法，将灰度图像会分为区域1和区域2两个区域，分别计算这两个区域的面积占比和及平均灰度以及灰度图像的灰度平均值。通过下式计算阈值:

u＝u₁θ₁+u₂θ₂

式中：u、u₁与u₂为灰度图，区域1、2的平均灰度；θ₁、θ₂为区域1、2的面积占比。可以进一步求出这两个区域的方差σ_B ²，阈值即是方差的最大值：

σ_B ²＝θ₁(t)·(u₁-u)²+θ₂(t)·(u₂-u)²

将find函数坐标化后的图像边缘信息存储成数据集，采用深度学习和强化学习对分类器进行训练；

对单一传入的图像边缘特征信息进行判断，得出餐具是否存在；

将每个餐位桌面的边缘特征进行比较分析，按照餐余垃圾堆积面积、周长、圆形度、长宽比、紧凑性综合分析进行最优推荐；

(1)检测餐余垃圾区域面积A，将餐余垃圾所在餐余垃圾区域R上的所有像素点个数进行累加，除以桌面总像素点S，再和桌面实际面积S_real相乘，得到

(2)检测餐余垃圾区域周长C，将餐余垃圾区域R所有的边缘像素点个数累加，除以桌面轮廓总像素点D的比例，再乘以桌面实际周长D_real,得到

(3)餐余垃圾区域圆形度F,将餐余垃圾区域接近圆的程度用圆形度来表示，餐余垃圾形状越扁圆形度越小。

(4)餐余垃圾区域长宽比H,定义长宽比为图像区域最小外接矩形的短边与长边的比值具体数值可以由区域坐标计算来求得。

(5)餐余垃圾区域紧凑性E，表示餐余垃圾区域的面积和最小外接矩形面积之比。

将以上五个数据组成一个数据组，然后利用基于卷积神经网络的深度学习和基于值函数学习方法的强化学习对数据特征进行处理；

(6)将处理后得到的与餐具区分的更优策略不断更新，循环执行；

依据一个人站立时所占据的范围确定单位网格的大小为50×50mm²，对人的总像素投影面积与食堂走道面积之比求值，进一步积分，若积分值超过某一阈值，则决策反馈系统进入高峰应对状态；反之，处于低峰应对状态。高峰应对状态与低峰应对状态的区别在于前者清理对角线座位的餐余垃圾，而后者允许暂缓清理。

若某一热源与餐具同时存在，则终端屏幕显示用餐中；若热源与餐具中餐具存在，则终端屏幕显示座位占用；若餐位对应餐桌区域未发现餐具，出现其他非闭合边缘特征且在另一用餐者对角线位置，则终端屏幕显示推荐清理。

实施例3：

某使用者，男，19岁，独自前往某苑图书馆某楼层自习。

第一步：特征数据采集。用本发明摄像头对该图书馆座位使用者使用的物品边缘特征投影特征数据组经过1天的基本记录，以1天的数据组来训练分类器，分类器训练完成后，采用决策树分类算法，对该使用者使用物品进行分类。

第二步：实时监测与决策。当同时满足指定座位出现热源，及桌面均分区域(四人桌桌面均分区域即四分之一桌面面积)范围内出现与分类器分选出的物品特征相符，即表明此时该范围正在使用中；若热源与桌面物品中只有物品存在，则终端屏幕显示座位占用。

第三步：最佳作业对象推荐。通过整个图书馆某楼层里特征数据的比较进行排序，进行目标推荐。

实施例4：

某两位用餐者，共同前往某苑餐厅就餐，此时正处于高峰用餐期。

第一步：特征数据采集。用本发明摄像头对该食堂用餐者使用的餐具边缘特征投影特征数据组经过1天的基本记录，以1天的数据组来训练分类器，分类器训练完成后，采用决策树分类算法，对该用餐者使用餐具进行分类。

第二步：实时监测与决策。走道面积占比积分值超过某一阈值，则决策反馈系统进入高峰应对状态。当同时满足指定座位出现热源，及桌面均分区域(四人桌桌面均分区域即四分之一桌面面积)范围内出现与分类器分选出的餐具特征相符，即表明此时该范围正在用餐中；若热源与餐具中餐具存在，则终端屏幕显示座位占用；若餐位对应餐桌区域未发现餐具，出现其他非闭合边缘特征且在另一用餐者对角线位置，则终端屏幕显示推荐清理。

第三步：最佳作业对象推荐。通过整个餐厅里特征数据的比较进行排序，进行目标推荐。同时，结合后期强化学习的内容不断优化待清理区域的特征，对餐具分类及待清理餐余垃圾的迫切性进行优先级排序，从而形成更优推荐。

上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims (5)

1.一种座位信息智能分析与推荐方法，其特征是：

安装多个拍摄装置，总视域覆盖需要监视的所有桌椅位置；

判断并对监视区域进行区域划分；

针对区域内的座位进行分析，区分出已占用座位、未占用座位和疑似占用座位；

对座位进行优先级分类；

按照座位优先级顺序由高到低推荐目标座位；

包括座位占用判断方法：

桌面按照对应座位位置进行区域划分；

图像分析座位位置和对应桌面区域；

将出现人体轮廓的座位位置标记为已占用座位，将未出现人体轮廓并且对应桌面区域没有杂物轮廓的座位标记为未占用座位；

对未出现人体轮廓并且对应桌面区域有杂物轮廓的座位进行红外成像，检测座位及对应桌面区域的残余温度；

设定温度阀值，对于小于温度阀值的座位标记为未占用座位，对于大于温度阀值的座位标记为已占用座位；

包括座位占用判定图像处理方法：

采用灰度归一化和直方图均衡化方法对采集图片进行对比度增强，再通过去噪和滤波来去除干扰,提高信噪比；

对该区域图像采用 Canny 算子与自动阈值分割法相结合的方式对图像进行边缘特征提取，使用 find 函数将图像边缘信息坐标化；

将find 函数坐标化后的图像边缘信息存储成数据集，采用深度学习和强化学习对分类器进行训练；

对单一传入的图像边缘特征信息进行判断，得出桌面杂物是否存在；

将每个桌面区域的边缘特征进行比较分析，按照杂物堆积面积、周长、圆形度、长宽比、紧凑性综合分析，判定物体类型及座位占用情况。

2.根据权利要求1所述座位信息智能分析与推荐方法，其特征是：将堆积面积、周长、圆形度、长宽比、紧凑性五项数据组成数据组；

利用基于卷积神经网络的深度学习和基于值函数学习方法的强化学习对数据特征进行处理；

将处理后得到的结果与理想结果对比，根据差异更优策略不断更新，循环执行。

3.根据权利要求1所述座位信息智能分析与推荐方法，其特征是：包括入座高峰期判断方法：

设定单人站立面积阀值；

将需求空间布局网格化，通过像素矩阵转换，将需求空间转化为平面坐标图；

选取特定区域作为判断区域，截取特定区域图像，识别人体轮廓，得出区域内人数；

利用区域面积除以区域内人数，得出实际站立面积；

实际站立面积小于单人站立面积阀值，则启动高峰应对状态。

4.根据权利要求1所述座位信息智能分析与推荐方法，其特征是：设置显示终端，用于显示座位占用情况。

5.根据权利要求1所述座位信息智能分析与推荐方法，其特征是：包括食堂餐桌推荐清理方法：

建立系统，包括图像采集系统、数据储存与处理系统和终端屏幕;

摄像头将图像信息传入计算机，利用计算机图形分割及检测算法，形成特征数据，桌面物品投影形状数据储存在计算机数据库;

利用图片数据集来训练分类器，形成回收特征;

分类器训练完成后，采用决策树分类算法对用餐者使用餐具进行分类，结合后期强化学习的内容不断优化待清理区域的特征;

对餐具分类及待清理餐余垃圾的迫切性进行优先级排序，从而形成更优推荐;

通过优先级排序系统自动推荐待清理餐桌编号，并通过微电脑处理将信息通过互联网系统反应在餐厅清理员、或餐厅经理的终端显示器上;

将餐厅布局网格化，通过像素矩阵转换，得到装饰物品存放、餐桌固定区坐标示意图；

用餐者进入餐桌座位，红外热成像摄像头信号区域被触发，计算机调取该区域普通光学摄像头图像,将每个餐位桌面的边缘特征进行比较分析，按照餐余垃圾堆积面积、周长、圆形度、长宽比、紧凑性综合分析，结合后期强化学习的内容不断优化待清理区域的特征，对餐具分类及待清理餐余垃圾的迫切性进行优先级排序;

利用红外热成像摄像头采集指定坐标区域下的热源信号判断用餐者的存在情况,利用图像边缘特征特区判断餐桌餐具的存在情况,结合两者的逻辑关系判断餐余垃圾是否可以清理。