CN112560759A - 一种基于人工智能明厨亮灶规范检测识别方法，存储装置及服务器 - Google Patents

Abstract

一种基于人工智能明厨亮灶规范检测识别方法，包括以下步骤：S1:收集明厨亮灶相关图片数据；S2:对S1步骤中采集的图片进行清洗；S3:采用模型预测推理明厨亮灶图片；S4:将训练图片与S2步骤中不含明厨亮灶的图片做mixup融合；S5:采用明厨亮灶图片训练pp‑yolo模型；S6:采用训练好的pp‑yolo模型推理预测检测目标对象。本发明采用一种基于人工智能技术的明厨亮灶检测识别方法，为食品卫生安全远程监管提供可视化服务，实现公众直接参与食品安全、全民监督得到有效监督规范,使得明厨亮灶得到监控监管、食品安全得到监控监管，在迈进智能化文明城市上更进一步。

Description

一种基于人工智能明厨亮灶规范检测识别方法，存储装置及 服务器

技术领域

本发明涉及人工智能图像识别领域，属于智能化城市技术领域，具体涉及明厨亮灶规范检测识别方法。

背景技术

明厨亮灶，是国家食品药品监督管理局推行的一项利民工程，明厨亮灶就是通过对关键场所和关键环节的全景展示，让用户把每道工序流程尽收眼底，既是督促餐饮单位加强自律，也是鼓励他律，使餐饮单位全面接受消费者监督，主动保障饮食安全。明厨亮灶系统在企业中应用，主要在于监督餐饮企业、学校食堂等单位的厨房的规范经营，液晶广告机应用主要在于后厨的实时监控和信息的展示，一来通过高清视频画面监督后厨工作人员的规范操作，对商家的用料和食材安全进行监督管理，二来为顾客展示后厨画面，传递食品安全的信心，让顾客吃的安心，买的放心。

现有技术采用人工识别明厨亮灶规范，成本高昂且效率低下不能满足城市市容市貌监督和智能化文明城市建设的需求。

发明内容

为了解决现有技术在城市管理过程中不能对明厨亮灶进行高效率监控监管监督问题，本发明提供一种基于人工智能明厨亮灶规范检测识别方法。

本发明提供一种基于人工智能明厨亮灶规范检测识别方法，包括以下步骤：

S1:收集明厨亮灶相关图片数据；

收集的数据可以是视频监控设备、一张图片或者是视频,针对视频类可以间隔一定帧数抽取一帧,5帧以下差异极小；视频监控可以每间隔10s采集一张,采集的数据格式建议为jpg,图片清晰且不是严重模糊,光暗极端情况。

S2:对S1步骤中采集的图片进行清洗，并分成第一数据集和第二数据集,第一数据集包含明厨亮灶图片,第二数据集不含明厨亮灶图片；

这一部分主要是筛选出符合我们条件的图片,我们将检测目标对象划分7类,分别是[厨师衣服、厨师帽子、人员正面、人员背面、口罩、老鼠、抽烟]类别。符合我们条件的图片则是具有以上7个类别的图片数据,符合这7个类别的划分到含明厨亮灶数据集部分,不含这7个类别的划分到不含明厨亮灶数据集部分。

S3:采用模型预测推理明厨亮灶图片,将识别结果以xml文件保存,xml文件命名规则与识别图片一致,采用labelImg进行校对,对不合理的、错误的检测对象微调或者删除；

在S3步骤中需要有一个基础模型能够检测到[厨师衣服、厨师帽子、人员正面、人员背面、口罩、老鼠、抽烟]这7个类别,如果没有基础模型的可使用lableImg标注200张图片训练的模型作为基础模型。基础模型检测到的数据格式为[[目标类别,该目标类别置信度,x1,y1,x2,y2],[目标对象2],...],之后将xml需要的json转成voc格式xml文件保存,这样一张图片的自动化标注就完成了。

labelImg标注工具是一个图形图像注释工具，采用Python编写而成，并使用Qt作为其图形界面。注释以PASCAL VOC格式保存为XML文件，格式使用了ImageNet。

S4:为增加更多负样本,将训练图片与S2步骤中不含明厨亮灶的图片做mixup融合技巧；

模型泛化能力就是指模型对新样本的适应能力,检测能力。

为增加模型的泛化性,在S2步骤中得到的不含明厨亮灶的图片也作为mixup的辅助图片的一部分,辅助图片融入到S2步骤中得到的含明厨亮灶的训练样本图片中。

Mixup是一种非常规的数据增强方法，一个和数据无关的简单数据增强原则，其以线性插值的方式来构建新的训练样本和标签。mixup有助于有助于消除对错误标签的记忆、对对抗样本的敏感性以及对抗训练的不稳定性。

S5:使用pp-yolo模型训练明厨亮灶图片；

pp-yolo模型参数设置，骨干网络设置为ResNet50，优化算法设置为MomentumOptimizer算法，输入图片大小设置为(608,608)，iters设置为110000，batch_size设置为10，初始学习率设置为0.0001，anchors:设置为[[10,13],[16,30],[33,23],[30,61],[62,45],[59,119],[116,90],[156,198],[373,326]]，yolo_head设置为YOLOv3Head，loss设置为iou_loss；iters，anchors，yolo_head分别为pp-yolo模型的参数。

YOLO最初是由约瑟夫·雷德蒙(Joseph Redmon)创作的，用于检测物体。物体检测是一种计算机视觉技术，它通过在对象周围绘制边框并标识给定框也属于的类标签来对对象进行定位和标记。与大型NLP不同，YOLO设计得很小，可以为设备上的部署提供实时推理速度。PP是PaddlePaddle(由百度编写的深度学习框架)的缩写。PP-YOLO是百度提供的一种深度学习模型。

S6:推理预测检测出来的目标对象一共有[厨师衣服、厨师帽子、人员正面、人员背面、老鼠、抽烟],需要判断每个人员是否正确佩戴,需要使用人员佩戴融合检测算法,将所有的衣服、帽子与人员配对。

因为检测出来的衣服、帽子、口罩是相对于人员来说,需要给检测出来的每件衣服、每顶帽子、每个口罩对应到原本的人,去得到每个人员是否按照规定佩戴厨师衣服、厨师帽子、口罩。对于背对视频监控设备的人员来讲是看不到是否佩戴口罩,故不做口罩的配对。

本发明还提供一种基于人工智能明厨亮灶规范检测识别存储装置，其中存储有多条指令，所述指令适于由处理器加载并执行：

S1:收集明厨亮灶相关图片数据；

S2:对S1步骤中采集的图片进行清洗，并分成第一数据集和第二数据集,第一数据集包含明厨亮灶图片,第二数据集不含明厨亮灶图片；

S3:采用模型预测推理明厨亮灶图片,将识别结果以xml文件保存,xml文件命名规则与识别图片一致,采用labelImg进行校对,对不合理的、错误的检测对象微调或者删除；

S4:将训练图片与S2步骤中不含明厨亮灶的图片做mixup融合；

S5:采用明厨亮灶图片训练pp-yolo模型；

S6:采用训练好的pp-yolo模型推理预测检测目标对象，所述目标对象包括厨师衣服对象、厨师帽子对象、人员正面对象、人员背面对象、口罩对象、老鼠对象、抽烟对象,采用人员佩戴融合检测算法判断每个人员是否正确佩戴帽子和衣服。

进一步的，所述步骤S3中，明厨亮灶图片自动化标注。

所述步骤S5中，pp-yolo模型参数设置，骨干网络设置为ResNet50，优化算法设置为MomentumOptimizer算法，输入图片大小设置为(608,608)，iters设置为110000，batch_size设置为10，初始学习率设置为0.0001，anchors:设置为[[10,13],[16,30],[33,23],[30,61],[62,45],[59,119],[116,90],[156,198],[373,326]]，yolo_head设置为YOLOv3Head，loss设置为iou_loss；iters，anchors，yolo_head分别为pp-yolo模型的参数。

本发明还提供一种基于人工智能明厨亮灶规范检测识别的服务器，包括处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：

S1:收集明厨亮灶相关图片数据；

S2:对S1步骤中采集的图片进行清洗，并分成第一数据集和第二数据集,第一数据集包含明厨亮灶图片,第二数据集不含明厨亮灶图片；

S3:采用模型预测推理明厨亮灶图片,将识别结果以xml文件保存,xml文件命名规则与识别图片一致,采用labelImg进行校对,对不合理的、错误的检测对象微调或者删除；

S4:将训练图片与S2步骤中不含明厨亮灶的图片做mixup融合；

S5:采用明厨亮灶图片训练pp-yolo模型；

S6:采用训练好的pp-yolo模型推理预测检测目标对象，所述目标对象包括厨师衣服对象、厨师帽子对象、人员正面对象、人员背面对象、口罩对象、老鼠对象、抽烟对象,采用人员佩戴融合检测算法判断每个人员是否正确佩戴帽子和衣服。

进一步的，所述步骤S3中，明厨亮灶图片自动化标注。

所述步骤S5中，pp-yolo模型参数设置，骨干网络设置为ResNet50，优化算法设置为MomentumOptimizer算法，输入图片大小设置为(608,608)，iters设置为110000，batch_size设置为10，初始学习率设置为0.0001，anchors:设置为[[10,13],[16,30],[33,23],[30,61],[62,45],[59,119],[116,90],[156,198],[373,326]]，yolo_head设置为YOLOv3Head，loss设置为iou_loss；iters，anchors，yolo_head分别为pp-yolo模型的参数。

本发明的有益效果是,本发明采用一种基于人工智能技术的明厨亮灶检测识别方法，为食品卫生安全远程监管提供可视化服务，实现公众直接参与食品安全、全民监督得到有效监督规范,使得明厨亮灶得到监控监管、食品安全得到监控监管，在迈进智能化文明城市上更进一步。

附图说明

图1为本发明的一种基于人工智能明厨亮灶规范检测识别方法的整体步骤图。

图2为本发明的一种基于人工智能明厨亮灶规范检测识别方法流程图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面将结合附图说明阐述本发明的具体实施过程。

目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。因此，目标检测也就成为了近年来理论和应用的研究热点，它是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分。由于深度学习的广泛运用，目标检测算法得到了较为快速的发展。

参考图2，本申请提供一种基于人工智能明厨亮灶规范检测识别方法，包括一下步骤：

S1:收集明厨亮灶相关视频设备、视频、图片；

收集的数据可以是视频监控设备、一张图片或者是视频,针对视频类可以间隔一定帧数抽取一帧,5帧以下差异极小；视频监控可以每间隔10s采集一张,采集的数据格式建议为jpg,图片清晰可见且不是严重模糊,光暗极端情况。

S2:对S1步骤中采集的图片清洗，并分成2个数据集部分,一部分的含明厨亮灶,另一部分不含明厨亮灶。

这一部分主要是筛选出符合我们条件的图片,我们将检测目标对象划分7类,分别是[厨师衣服、厨师帽子、人员正面、人员背面、口罩、老鼠、抽烟]类别。符合我们条件的图片则是具有以上7个类别的图片数据,符合这7个类别的划分到含明厨亮灶数据集部分,不含这7个类别的划分到不含明厨亮灶数据集部分。

S3:全自动标注+校正核对,用一个模型预测推理明厨亮灶图片,将识别结果以xml文件保存,xml文件命名规则与识别图片一致,校正核对时用labelImg查看是否正确,对不合理的、错误的检测对象微调或者删除；

在S3步骤中需要有一个基础模型能够检测到[厨师衣服、厨师帽子、人员正面、人员背面、口罩、老鼠、抽烟]这7个类别,如果没有基础模型的可使用lableImg标注200张图片训练的模型作为基础模型。基础模型检测到的数据格式为[[目标类别,该目标类别置信度,x1,y1,x2,y2],[目标对象2],...],xml文件所需json格式

之后将xml需要的json转成xml文件保存,这样一张图片的自动化标注就完成了。

S4:为增加更多负样本,将训练图片与S2步骤中不含明厨亮灶的图片做mixup融合技巧；

模型泛化能力就是指模型对新样本的适应能力,检测能力。

为增加模型的泛化性,在S2步骤中得到的不含明厨亮灶的图片也作为mixup的辅助图片的一部分,辅助图片融入到S2步骤中得到的含明厨亮灶的训练样本图片中。

(x_i,x_j),(y_i,y_j)两个数据对是原始数据集中的训练样本对(训练样本和其对应的标签),其中α是一个服从beta分布的参数。

Mixup是一种非常规的数据增强方法，一个和数据无关的简单数据增强原则，其以线性插值的方式来构建新的训练样本和标签。mixup有助于有助于消除对错误标签的记忆、对对抗样本的敏感性以及对抗训练的不稳定性。

S5:使用pp-yolo模型训练明厨亮灶图片；

pp-yolo模型参数设置，骨干网络设置为ResNet50，优化算法设置为MomentumOptimizer算法，输入图片大小设置为(608,608)，iters设置为110000，batch_size设置为10，初始学习率设置为0.0001，anchors:设置为[[10,13],[16,30],[33,23],[30,61],[62,45],[59,119],[116,90],[156,198],[373,326]]，yolo_head设置为YOLOv3Head，loss设置为iou_loss；iters，anchors，yolo_head分别为pp-yolo模型的参数。

YOLO最初是由约瑟夫·雷德蒙(Joseph Redmon)创作的，用于检测物体。物体检测是一种计算机视觉技术，它通过在对象周围绘制边框并标识给定框也属于的类标签来对对象进行定位和标记。与大型NLP不同，YOLO设计得很小，可以为设备上的部署提供实时推理速度。PP是PaddlePaddle(由百度编写的深度学习框架)的缩写。PP-YOLO是百度提供的一种深度学习模型。

S6:推理预测检测出来的目标对象一共有[厨师衣服、厨师帽子、人员正面、人员背面、老鼠、抽烟],需要判断每个人员是否正确佩戴,需要使用人员佩戴融合检测算法,将所有的衣服、帽子与人员配对。

因为检测出来的衣服、帽子、口罩是相对于人员来说,需要给检测出来的每件衣服、每顶帽子、每个口罩对应到原本的人,去得到每个人员是否按照规定佩戴厨师衣服、厨师帽子、口罩。对于背对视频监控设备的人员来讲是看不到是否佩戴口罩,故不做口罩的配对。

申请人通过实验发现采用以下配对公式可以实现最好的配对效果。

具体帽子配对公式如下:

公式中A_{[x1,y1,x2,y2]}表示人员检测坐标位置,B_{[x3,y3,x4,y4]}表示厨师帽子检测坐标位置，若公式等号右侧的条件全部达成则表示帽子配对成功。

具体口罩配对公式如下:

公式中A_{[x1,y1,x2,y2]}表示人员检测坐标位置,B_{[x3,y3,x4,y4]}表示口罩检测坐标位置。

若公式等号右侧的条件全部达成则表示口罩配对成功。

具体衣服配对公式如下:

公式中A_{[x1,y1,x2,y2]}表示人员检测坐标位置,B_{[x3,y3,x4,y4]}表示厨师衣服检测坐标位置。若公式等号右侧的条件全部达成则表示衣服配对成功。

老鼠与抽烟的检测直接放到返回结果中,不需要和人员配对,只要检测到就算是不规范的明厨亮灶行为。

在本发明一实施列对象检测训练过程中，PP-YOLO网络提取其特征图分割为S×S的特征网格，预检测目标中心位于特征网格单元格中，该单元格相对于特征网格左上角坐标的偏移为(c_x，c_y)，目标中心相对于该单元格左上角的偏移为σ(t_y)，σ(t_x)。对应描框的宽高表示为(p_w，p_h)，(X，Y，W，H)为目标真实框相对于特征网格的位置信息，则采用如下公式微调描框接近真实框：

X＝σ(t_x)+c_x

Y＝σ(t_y)+c_y

p_r(object)×IoU(b，object)＝σ(t_o)

σ(t_o)为置信度，p_t(object)是该描框为待检测目标的概率，IoU(b，object)是该描框位置和目标对象真实位置之间的IoU值。e为常数，X、Y代表边界框的中心离开其所在网格单元格边界的偏移，W、H代表边界框真实宽高相对于整幅图像的比例。t_x，t_y，t_w，t_h是模型需要预测的输出，再通过上述公式即可获得预测框相对位置信息(X′，Y′，W′，H′)以及其置性度，从而在原图上绘制目标框图，达到目标检测识别效果。

上述中，采用平均精度mAP值作为模型检测的评价指标，其计算的过程分为6步：

1)计算IoU。计算每一个测试样本预测结果与真实结果的IoU。

2)计算TP、FP、TN的值。其中TP表示被判定为正样本，实际也是正样本的测试样本数，FP表示被判定为正样本，实际是负样本的测试样本数，FN表示被判定为负样本，实际也是负样本的测试样本数。而样本的类别判定依据，采用的是IoU值判定，将IoU值大于置信度的测试样本判定为正样本，其它为负样本，这个置信度一般为0.7。

3)精确率p(Precision)计算。计算公式如下：

4)召回率R(Recall)计算。计算公式如下：

5)AP(Average Precision)值计算。按类别绘制PR曲线，曲线的下面积即为对应类别的AP值。针对COCO格式的数据，计算AP值采用101个插值点(插值AP法)，即在recall坐标轴上，每隔0.01取一个点，总共取101个，则AP值的计算公式如下：

其中p_i表示第i个点下精确率的值，R_i表示第i个点下召回率的值。

6)mAP值计算，mAP是各类别AP值的平均值，假设检测的总类别数为C，第i类的AP值为AP(i)，则mAP值为：

在本发明一实施例中PP-YOLO网络中的损失计算，根据预测结果，分为四部分。其中位置信息损失是简单的平方差，而置信度和类别概率损失为二分类交叉熵，总的损失函数表示为：

公式中第一项是边界框中心坐标的误差项，第二项是边界框的高和宽的误差项，第三项是包含目标的边界框的置信度误差项，第四项是不包括目标的边界框的置信度误差项，第五项是包括目标单元格的分类误差项。

其中β_coord，β_noobj为权重系数，通常边界框坐标预测误差，采用较大的权重值β_coord＝5，而不包含目标的边界框置信度误差，或者，采用较小的权重值β_noobj＝0.5，其它权重值均设为1。S×S表示网格的大小，k为单个单元格绘制的描框个数，

表示特征网格的第i个单元格存在目标，

表示该单元格的第j个边界框负责预测该目标，而

表示特征网格的第i个单元格不存在目标，且第j个边界框负责预测该单元格为背景。c属于类别集合classes，代表其中一个类别，p_i(c)表示第i个单元格为类别c的概率，p′_i(c为第i个单元格为类别c的预测概率。c_i为第i个单元格是类别c的置信度，单元格属于类别c为1,否则为0，c′_i为第i个单元格是类别c的预测置信度。t_x，t_y，t_w和t_h为表示真实框位置的四个参数，t′_x，t′_y，t′_w和t′_h为表示预测框位置的四个参数。

本发明的有益效果是,本发明采用一种基于人工智能技术的明厨亮灶检测识别方法，为食品卫生安全远程监管提供可视化服务，实现公众直接参与食品安全、全民监督得到有效监督规范,使得明厨亮灶得到监控监管、食品安全得到监控监管，在迈进智能化文明城市上更进一步。

Claims (7)

1.一种基于人工智能明厨亮灶规范检测识别方法，其特征在于，包括以下步骤：

S1:收集明厨亮灶相关图片数据；

S2:对S1步骤中采集的图片进行清洗，并分成第一数据集和第二数据集,第一数据集包含明厨亮灶图片,第二数据集不含明厨亮灶图片；

S3:采用模型预测推理明厨亮灶图片,将识别结果以xml文件保存,xml文件命名规则与识别图片一致,采用labelImg进行校对,对不合理的、错误的检测对象微调或者删除；

S4:将训练图片与S2步骤中不含明厨亮灶的图片做mixup融合；

S5:采用明厨亮灶图片训练pp-yolo模型；

S6:采用训练好的pp-yolo模型推理预测检测目标对象，所述目标对象包括厨师衣服对象、厨师帽子对象、人员正面对象、人员背面对象、口罩对象、老鼠对象、抽烟对象,采用人员佩戴融合检测算法判断每个人员是否正确佩戴帽子和衣服。

2.如权利要求1所述的一种基于人工智能明厨亮灶规范检测识别方法，其特征在于，所述步骤S3中，明厨亮灶图片自动化标注。

3.如权利要求1所述的一种基于人工智能明厨亮灶规范检测识别方法，其特征在于，所述步骤S5中，pp-yolo模型参数设置，骨干网络设置为ResNet50，优化算法设置为MomentumOptimizer算法，输入图片大小设置为(608,608)，iters设置为110000，batch_size设置为10，初始学习率设置为0.0001，anchors:设置为[[10,13],[16,30],[33,23],[30,61],[62,45],[59,119],[116,90],[156,198],[373,326]]，yolo_head设置为YOLOv3Head，loss设置为iou_loss；iters，anchors，yolo_head分别为pp-yolo模型的参数。

4.一种基于人工智能明厨亮灶规范检测识别存储装置，其中存储有多条指令，所述指令适于由处理器加载并执行：

S1:收集明厨亮灶相关图片数据；

S2:对S1步骤中采集的图片进行清洗，并分成第一数据集和第二数据集,第一数据集包含明厨亮灶图片,第二数据集不含明厨亮灶图片；

S3:采用模型预测推理明厨亮灶图片,将识别结果以xml文件保存,xml文件命名规则与识别图片一致,采用labelImg进行校对,对不合理的、错误的检测对象微调或者删除；

S4:将训练图片与S2步骤中不含明厨亮灶的图片做mixup融合；

S5:采用明厨亮灶图片训练pp-yolo模型；

S6:采用训练好的pp-yolo模型推理预测检测目标对象，所述目标对象包括厨师衣服对象、厨师帽子对象、人员正面对象、人员背面对象、口罩对象、老鼠对象、抽烟对象,采用人员佩戴融合检测算法判断每个人员是否正确佩戴帽子和衣服。

5.如要求4所述的一种基于人工智能明厨亮灶规范检测识别的存储装置，其特征在于，所述步骤S3中，明厨亮灶图片自动化标注。

所述步骤S5中，pp-yolo模型参数设置，骨干网络设置为ResNet50，优化算法设置为MomentumOptimizer算法，输入图片大小设置为(608,608)，iters设置为110000，batch_size设置为10，初始学习率设置为0.0001，anchors:设置为[[10,13],[16,30],[33,23],[30,61],[62,45],[59,119],[116,90],[156,198],[373,326]]，yolo_head设置为YOLOv3Head，loss设置为iou_loss；iters，anchors，yolo_head分别为pp-yolo模型的参数。

6.一种基于人工智能明厨亮灶规范检测识别的服务器，其特征在于，包括，

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：

S1:收集明厨亮灶相关图片数据；

S2:对S1步骤中采集的图片进行清洗，并分成第一数据集和第二数据集,第一数据集包含明厨亮灶图片,第二数据集不含明厨亮灶图片；

S3:采用模型预测推理明厨亮灶图片,将识别结果以xml文件保存,xml文件命名规则与识别图片一致,采用labelImg进行校对,对不合理的、错误的检测对象微调或者删除；

S4:将训练图片与S2步骤中不含明厨亮灶的图片做mixup融合；

S5:采用明厨亮灶图片训练pp-yolo模型；

S6:采用训练好的pp-yolo模型推理预测检测目标对象，所述目标对象包括厨师衣服对象、厨师帽子对象、人员正面对象、人员背面对象、口罩对象、老鼠对象、抽烟对象,采用人员佩戴融合检测算法判断每个人员是否正确佩戴帽子和衣服。

7.如权利要求6所述的一种基于人工智能明厨亮灶规范检测识别的服务器，其特征在于，

所述步骤S3中，明厨亮灶图片自动化标注。

所述步骤S5中，pp-yolo模型参数设置，骨干网络设置为ResNet50，优化算法设置为MomentumOptimizer算法，输入图片大小设置为(608,608)，iters设置为110000，batch_size设置为10，初始学习率设置为0.0001，anchors:设置为[[10,13],[16,30],[33,23],[30,61],[62,45],[59,119],[116,90],[156,198],[373,326]]，yolo_head设置为YOLOv3Head，loss设置为iou_loss；iters，anchors，yolo_head分别为pp-yolo模型的参数。

Images