CN115100583A - 一种后厨食品安全实时监管的方法及系统 - Google Patents

一种后厨食品安全实时监管的方法及系统 Download PDF

Info

Publication number
CN115100583A
CN115100583A CN202211037125.2A CN202211037125A CN115100583A CN 115100583 A CN115100583 A CN 115100583A CN 202211037125 A CN202211037125 A CN 202211037125A CN 115100583 A CN115100583 A CN 115100583A
Authority
CN
China
Prior art keywords
residual
kitchen
training
layer
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211037125.2A
Other languages
English (en)
Inventor
王欢
张文壮
杨术海
潘海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Junhua High Tech Group Co ltd
Original Assignee
Junhua High Tech Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Junhua High Tech Group Co ltd filed Critical Junhua High Tech Group Co ltd
Priority to CN202211037125.2A priority Critical patent/CN115100583A/zh
Publication of CN115100583A publication Critical patent/CN115100583A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种后厨食品安全实时监管的方法及系统，用于解决由于遮挡导致的饮食安全下降的问题。本申请方法包括：根据后厨区域视频获取后厨区域图像；将后厨区域图像输入训练完成的目标判别网络模型中；通过特征提取基层提取后厨区域图像的人物特征；将人物特征依次输入N个残差模型层，生成第一残差参数、第二残差参数至第N残差参数；通过残差融合层对第一残差参数至第N残差参数依次融合，生成目标残差；将目标残差通过全局平均池化层和计算模块进行分类计算，生成后厨区域图像符合各个出入规则的概率值集合；根据概率值集合确定后厨区域图像中对应人物的出入规则符合结果。

Description

一种后厨食品安全实时监管的方法及系统
技术领域
本申请实施例涉及图像识别领域，尤其涉及一种后厨食品安全实时监管的方法及系统。
背景技术
随着科技不断发展，越来越多的烹饪设备走向智能化和便捷化，使得后厨逐渐提高了烹饪效率以及烹饪安全性。
现有技术中存在不少用于对厨房进行安全监控的设备、系统，比如通过摄像头远程监控后厨现状，以使得客户能够实时监督后厨中的情况，提高后厨透明度，保障了客户的饮食安全。这就是明厨亮灶，是国家食品药品监督管理局推行的一项利民工程，明厨亮灶就是通过对关键场所和关键环节的全景展示，让客户把每道工序流程尽收眼底，主动保障饮食安全。现有的明厨亮灶需要客户去实时监督，但是客户显然无法实时进行监督，并且绝大多数客户对于后厨的运行模式是不了解的，违规操作难以被客户所察觉。尤其是未穿戴好本餐厅厨师服的问题。客户无法准确识别出每一位后厨人员是否穿戴完整的厨师服是否存在遗漏，并且存在后厨人员工作过程中擅自脱下必须的装备。鉴于此，目前采用了卷积神经网络模型识别技术以及机器视觉技术，即通过摄像头拍摄后厨中的人员，通过实时分析其身上的穿戴装备，并且识别该后厨人员穿戴的装备，以此解决上述问题。
但是，随着近来对于食品制作的要求越来越高，众多后厨人员还需要佩戴口罩、手套等较小的器件，并且被要求不能佩戴手环、项链、手表、手机、拖鞋和戒指等。这就使得较小的物件存在被其他佩戴的遮挡的情况发生，甚至存在口罩遮挡人脸无法识别该后厨人员是否为本餐厅备案的后厨工作人员，极大的降低了卷积神经网络检测的精度，导致客户的饮食安全下降。
发明内容
本申请第一方面提供了一种后厨食品安全实时监管的方法，以解决由于遮挡导致的卷积神经网络检测的精度下降，进而导致客户的饮食安全下降的问题，该后厨食品安全实时监管的方法包括：
根据后厨区域视频获取后厨区域图像，后厨区域图像为在后厨管理范围内的图像；
将后厨区域图像输入训练完成的目标判别网络模型中，目标判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
通过特征提取基层提取后厨区域图像的人物特征，人物特征包括人脸特征、口罩特征、厨师服特征；
将人物特征依次输入第一个残差模型层，生成后厨区域图像的第一残差参数；
将第一残差参数输入第二个残差模型层，生成后厨区域图像的第二残差参数；
将第N-1残差参数输入第N个残差模型层，生成后厨区域图像的第N残差参数；
通过残差融合层对第一残差参数至第N残差参数依次融合，生成目标残差；
将目标残差通过全局平均池化层和计算模块进行分类计算，生成后厨区域图像符合各个出入规则的概率值集合；
根据概率值集合确定后厨区域图像中对应人物的出入规则符合结果。
可选的，在根据后厨区域视频获取后厨区域图像之前，方法还包括：
获取后厨训练样本集，后厨训练样本集中包含至少两张后厨人员穿戴完整的样本图像和穿戴不完整的样本图像，穿戴不完整的样本图像标记了不符合的出入规则的目标预测值；
构建初始判别网络模型，初始判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
从后厨训练样本集中选取训练样本，并将训练样本输入初始判别网络模型中；
通过特征提取基层、至少五个残差模型层、残差融合层对训练样本进行残差的提取与融合，生成训练残差；
将训练残差通过全局平均池化层和计算模块进行分类计算，生成训练样本符合各个出入规则的概率值集合；
根据概率值集合、目标预测值和初始判别网络模型的预设损失函数计算损失值，以生成损失值变化数据，损失值变化数据为每一次训练生成的损失值的统计数据；
判断损失值变化数据在预设区间内的损失值是否收敛于0；
若损失值变化数据在预设区间内的损失值收敛于0，则确定初始判别网络模型为目标判别网络模型。
可选的，在判断损失值变化数据在预设区间内的损失值是否收敛于0之后，方法还包括：
若损失值变化数据在预设区间内的损失值不收敛于0，则判断训练样本的训练次数是否达标；
若训练样本的训练次数达标，根据小批梯度下降法更新初始判别网络模型的权重，从后厨训练样本集中重新选取训练样本输入初始判别网络模型中训练；
若训练样本的训练次数未达标，则根据小批梯度下降法更新初始判别网络模型的权重，并将训练样本重新输入初始判别网络模型中训练。
可选的，在根据后厨区域视频获取后厨区域图像之后，方法还包括：
获取参考区域图像和后厨区域图像对应的后厨红外图像，参考区域图像为划分了后厨成员工作区域的图像，工作区域包含高温工作区域；
根据参考区域图像为后厨红外图像进行工作区域的划分；
根据后厨红外图像生成明火隐患区域；
为明火隐患区域进行警告处理。
可选的，根据后厨红外图像生成明火隐患区域，包括：
确定后厨红外图像中温度高于预设值的高温区域；
确定高温区域的高温类型，高温类型包含明火高温、香烟高温、电子设备高温和机械器具高温；
根据高温类型和不处于高温工作区域生成明火隐患区域。
可选的，在根据后厨区域视频获取后厨区域图像之后，方法还包括：
根据参考区域图像为后厨区域图像进行工作区域的划分；
根据像素点色度亮度数据对比后厨区域图像和参考区域图像中的通道区域，生成污渍区域；
为污渍区域进行警告处理。
可选的，在根据参考区域图像为后厨红外图像进行工作区域的划分之后，方法还包括：
根据后厨红外图像确定存在生物区域，并根据生物区域划分生物轮廓；
当生物轮廓属于鼠类时，根据生物轮廓的位置对后厨区域图像进行生物种类分析；
当分析结果为鼠类时，生成鼠类警告。
本申请第二方面提供了一种后厨食品安全实时监管的装置，以解决由于遮挡导致的卷积神经网络检测的精度下降，进而导致客户的饮食安全下降的问题，该后厨食品安全实时监管的装置包括：
第一获取单元，用于根据后厨区域视频获取后厨区域图像，后厨区域图像为在后厨管理范围内的图像；
第一输入单元，用于将后厨区域图像输入训练完成的目标判别网络模型中，目标判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
提取单元，用于通过特征提取基层提取后厨区域图像的人物特征，人物特征包括人脸特征、口罩特征、厨师服特征；
第二输入单元，用于将人物特征依次输入第一个残差模型层，生成后厨区域图像的第一残差参数；
第三输入单元，用于将第一残差参数输入第二个残差模型层，生成后厨区域图像的第二残差参数；
第四输入单元，用于将第N-1残差参数输入第N个残差模型层，生成后厨区域图像的第N残差参数；
融合单元，用于通过残差融合层对第一残差参数至第N残差参数依次融合，生成目标残差；
第一生成单元，用于将目标残差通过全局平均池化层和计算模块进行分类计算，生成后厨区域图像符合各个出入规则的概率值集合；
第一确定单元，用于根据概率值集合确定后厨区域图像中对应人物的出入规则符合结果。
可选的，系统还包括：
第二获取单元，用于获取后厨训练样本集，后厨训练样本集中包含至少两张后厨人员穿戴完整的样本图像和穿戴不完整的样本图像，穿戴不完整的样本图像标记了不符合的出入规则的目标预测值；
构建单元，用于构建初始判别网络模型，初始判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
第五输入单元，用于从后厨训练样本集中选取训练样本，并将训练样本输入初始判别网络模型中；
第二生成单元，用于通过特征提取基层、至少五个残差模型层、残差融合层对训练样本进行残差的提取与融合，生成训练残差；
第三生成单元，用于将训练残差通过全局平均池化层和计算模块进行分类计算，生成训练样本符合各个出入规则的概率值集合；
第四生成单元，用于根据概率值集合、目标预测值和初始判别网络模型的预设损失函数计算损失值，以生成损失值变化数据，损失值变化数据为每一次训练生成的损失值的统计数据；
第一判断单元，用于判断损失值变化数据在预设区间内的损失值是否收敛于0；
第二确定单元，用于当第一判断单元确定损失值变化数据在预设区间内的损失值收敛于0，则确定初始判别网络模型为目标判别网络模型；
可选的，系统还包括：
第二判断单元，用于当第一判断单元确定损失值变化数据在预设区间内的损失值不收敛于0，则判断训练样本的训练次数是否达标；
第一更新单元，用于若训练样本的训练次数达标，根据小批梯度下降法更新初始判别网络模型的权重，从后厨训练样本集中重新选取训练样本输入初始判别网络模型中训练；
第二更新单元，用于若训练样本的训练次数未达标，则根据小批梯度下降法更新初始判别网络模型的权重，并将训练样本重新输入初始判别网络模型中训练。
可选的，系统还包括：
第三获取单元，用于获取参考区域图像和后厨区域图像对应的后厨红外图像，参考区域图像为划分了后厨成员工作区域的图像，工作区域包含高温工作区域；
第一划分单元，用于根据参考区域图像为后厨红外图像进行工作区域的划分；
第五生成单元，用于根据后厨红外图像生成明火隐患区域；
第一警告单元，用于为明火隐患区域进行警告处理。
可选的，第五生成单元，具体为：
确定后厨红外图像中温度高于预设值的高温区域；
确定高温区域的高温类型，高温类型包含明火高温、香烟高温、电子设备高温和机械器具高温；
根据高温类型和不处于高温工作区域生成明火隐患区域。
可选的，系统还包括：
第二划分单元，用于根据参考区域图像为后厨区域图像进行工作区域的划分；
第六生成单元，用于根据像素点色度亮度数据对比后厨区域图像和参考区域图像中的通道区域，生成污渍区域；
第二警告单元，用于为污渍区域进行警告处理。
可选的，系统还包括：
第三确定单元，用于根据后厨红外图像确定存在生物区域，并根据生物区域划分生物轮廓；
分析单元，用于当生物轮廓属于鼠类时，根据生物轮廓的位置对后厨区域图像进行生物种类分析；
第三警告单元，用于当分析结果为鼠类时，生成鼠类警告。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请中，首先根据后厨区域视频获取后厨区域图像，后厨区域图像为在后厨管理范围内的图像。将后厨区域图像输入训练完成的目标判别网络模型中，其中，目标判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成。通过特征提取基层提取后厨区域图像的人物特征，人物特征包括人脸特征、口罩特征、厨师服特征。将人物特征依次输入第一个残差模型层，生成后厨区域图像的第一残差参数。将第一残差参数输入第二个残差模型层，生成后厨区域图像的第二残差参数。将第N-1残差参数输入第N个残差模型层，生成后厨区域图像的第N残差参数。通过残差融合层对第一残差参数至第N残差参数依次融合，生成目标残差。将目标残差通过全局平均池化层和计算模块进行分类计算，生成后厨区域图像符合各个出入规则的概率值集合。根据概率值集合确定后厨区域图像中对应人物的出入规则符合结果。本申请中，运用了残差建立目标判别网络模型的快速通道，并在目标判别网络模型输出时对各残差单元（残差模型层输出的残差）进行融合实现多尺度特征的提取。本实施例中，目标判别网络模型是参考了残差网络的设计思路构建了的一个用于判别的网络模型，其功能是能够实现提取多尺度的特征，抑制部分遮挡带来的影响。
附图说明
图1为本申请实施例中一种后厨食品安全实时监管的方法的一个实施例流程示意图；
图2-1为本申请实施例中一种后厨食品安全实时监管的方法的第一阶段流程示意图；
图2-2为本申请实施例中一种后厨食品安全实时监管的方法的第二阶段流程示意图；
图2-3为本申请实施例中一种后厨食品安全实时监管的方法的第三阶段流程示意图；
图2-4为本申请实施例中一种后厨食品安全实时监管的方法的第四阶段流程示意图；
图2-5为本申请实施例中一种后厨食品安全实时监管的方法的第五阶段流程示意图；
图3为本申请实施例中网络模型网络层的一个实施例流程示意图；
图4为本申请实施例中网络模型网络层的另一个实施例结构示意图；
图5为本申请实施例中网络模型网络层的另一个实施例结构示意图；
图6为本申请实施例中一种后厨食品安全实时监管的系统的一个实施例流程示意图；
图7为本申请实施例中一种电子设备的一个实施例流程示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在现有技术中，随着近来对于食品制作的要求越来越高，众多后厨人员还需要佩戴口罩、手套等较小的器件，并且被要求不能佩戴手环、项链、手表、手机、拖鞋和戒指等。这就使得较小的物件存在被其他佩戴的遮挡的情况发生，甚至存在口罩遮挡人脸无法识别该后厨人员是否为本餐厅备案的后厨工作人员，极大的降低了卷积神经网络检测的精度，导致客户的饮食安全下降。
基于此，本申请提供了一种后厨食品安全实时监管的方法及系统，以解决由于遮挡导致的卷积神经网络检测的精度下降，进而导致客户的饮食安全下降的问题。
下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的方法可以应用于服务器、设备、终端或者其它具备逻辑处理能力的设备，对此，本申请不作限定。为方便描述，下面以执行主体为终端为例进行描述。
请参阅图1，本申请提供了是一种后厨食品安全实时监管的方法的一个实施例，包括：
101、根据后厨区域视频获取后厨区域图像，后厨区域图像为在后厨管理范围内的图像；
终端首先获取后厨区域视频，后厨区域视频是指在预设的后厨区域范围内，通过至少两个摄像头记录的视频。后厨区域至少包括厨房烹饪区、熟菜储存区和进出通道，通过多摄像头同时进行拍摄，可以形成一个3D立体的后厨空间，更加便于检测与识别。
后厨区域图像除了存在烹饪设备，还存在后厨工作人员，在后厨区域图像上会存在后厨工作人员被遮挡的情况，可以是被一些烹饪设备遮挡，也可以是工作人员之间的遮挡，还可以是口罩遮挡。遮挡的对象为厨师服、人脸、规定装备穿戴区域，以及违规装备的穿戴区域，此处不作限定。
例如：穿戴不透明的口罩可能会极大的遮挡后厨工作人员的人脸，穿戴透明的口水罩存在反光折射等问题遮挡人脸，厨师服部分遮挡拖鞋和手表等不符合规则的装备。
102、将后厨区域图像输入训练完成的目标判别网络模型中，目标判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
终端将后厨区域图像输入训练完成的目标判别网络模型中，使得目标判别网络模型对输入的后厨区域图像进行人脸识别和装备识别。
目标判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块。其中，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后，并联一组卷积层-归一化层，最后和一个最大池化层串联排列构成。可以看出，每一个残差模型层中包含3个可分离的卷积层，每个卷积层之后又增加了批量归一化层以防止目标判别网络模型过拟合。并且在个残差模型层的输入和输出间通过一个1×1的卷积核进行卷积，实现快速链接，即输出残差。计算模块为softmax计算模块，用于计算图像中的工作人员身上穿戴对应装备的概率值，以及人脸是否符合备案的后厨工作人员的概率值。
本实施例中，运用残差建立目标判别网络模型的快速通道，并在目标判别网络模型输出时对各残差单元（残差模型层输出的残差）进行融合实现多尺度特征的提取。本实施例中，目标判别网络模型是参考了残差网络的设计思路构建了的一个用于判别的网络模型，其功能是能够实现提取多尺度的特征，抑制部分遮挡带来的影响。
其中，需要说明的是，判断人脸是否符合备案员工的目标判别网络模型与判断工作人员身上穿戴对应装备是否合规的目标判别网络模型可以是两个不同的网络模型，这样能够降低训练时间。
103、通过特征提取基层提取后厨区域图像的人物特征，人物特征包括人脸特征、口罩特征、厨师服特征；
终端通过特征提取基层提取后厨区域图像的人物特征，人物特征包括人脸特征、口罩特征、厨师服特征，除此之外，还包括手表特征、戒指特征和拖鞋特征等，此处不作限定，主要是规定上的装备，都可以进行特征提取。
特征提取基层由三组3*3卷积层-归一化层串联排列构成，形成第一卷积层+第二卷积层+第一归一化层+第三卷积层+第四卷积层+第二归一化层的排列方式。
104、将人物特征依次输入第一个残差模型层，生成后厨区域图像的第一残差参数；
105、将第一残差参数输入第二个残差模型层，生成后厨区域图像的第二残差参数；
106、将第N-1残差参数输入第N个残差模型层，生成后厨区域图像的第N残差参数；
终端将人物特征依次输入第一个残差模型层，生成后厨区域图像的第一残差参数，以使得第一个残差模型层生成第一残差参数。本实施例中的残差参数由一系列残差组成，目的是为了防止随着残差网络模型深度的加深导致的梯度消失和梯度爆炸，以及残差网络模型过拟合问题。
残差参数的计算方式为：假设第一个残差模型层输入为Xl,分别经过串联排列的三组3*3卷积层-归一化层，和另一组并联的卷积层-归一化层，公式如下：
Figure 448755DEST_PATH_IMAGE001
yl是第l个残差参数的输出,F是残差函数，Fxl为Xl的残差计算值。
Xl+1为第二个残差模型层的输入：
Figure 655745DEST_PATH_IMAGE002
Figure 565933DEST_PATH_IMAGE003
Yl+1是第l+1个残差参数的输出,F（yl）是残差函数F在yl处的残差计算值，Fxl+1为Xl+1的残差计算值。
终端将第N-1残差输入第N个残差模型层，生成后厨区域图像的第N残差参数，公式如下：
Figure 225584DEST_PATH_IMAGE004
107、通过残差融合层对第一残差参数至第N残差参数依次融合，生成目标残差；
终端通过残差融合层对第一残差参数至第N残差参数依次融合，生成目标残差。具体为首先通过步骤106的方式融合第一残差参数和第二残差参数，再将第三残差参数融合，依次融合到最后的第N残差参数。
当存在5个残差模型层，第一个残差模型层输出的第一残差参数输入第二个残差模型层，第二个残差模型层输出的第二残差参数，第二个残差模型层输出的第二残差参数输入第三个残差模型层，第二个残差模型层输出的第三残差参数。以此类推，最终生成的残差参数有第一残差参数、第二残差参数、第三残差参数、第四残差参数和第五残差参数，首先将第一残差参数和第二残差参数单元融合生成第一残差融合参数，再将第一残差融合参数和第三残差参数融合，生成第二残差融合参数，以此类推，经过多次融合之后，生成目标残差。
108、将目标残差通过全局平均池化层和计算模块进行分类计算，生成后厨区域图像符合各个出入规则的概率值集合；
终端将目标残差通过全局平均池化层和softmax计算模块进行分类计算，生成后厨区域图像符合各个出入规则的概率值集合。
具体计算方式如下：
Figure 246630DEST_PATH_IMAGE005
其中ex为指数函数，yi表示输出层中第个输入神经元，分母的运算表示输出层中共有n个输出神经元，并计算所有输出层中的输入神经元的指数和，
Figure 308127DEST_PATH_IMAGE006
表示第i个神经元的输出，softmax(yi)为概率值集合。
目标判别网络模型会给出后厨工作人员佩戴了某种装备的概率，当这个装备是符合出入规则的时，则这个概率为符合对应的出入规则的概率。例如：目标判别网络模型得出该后厨人员穿戴厨师帽的概率为百分之80，则可以表示为该后厨人员符合出入规则“必须穿戴厨师帽”的概率有百分之80。目标判别网络模型得出该后厨人员穿戴口罩的概率为百分之10，则可以表示为该后厨人员符合出入规则“必须穿戴口罩”的概率有百分之10。目标判别网络模型得出该后厨人员为备案的人员的概率为百分之20，则可以表示为该后厨人员符合出入规则“非备案员工不得出入后厨”的概率有百分之20。
109、根据概率值集合确定后厨区域图像中对应人物的出入规则符合结果。
终端根据概率值集合的高低，结合预设的阈值，确定后厨区域图像中对应人物的出入规则符合结果。例如：员工1，属于备案人员的概率超过了预设值，则不显示该条规则违规。佩戴口罩的概率低于预设值，则显示违反该条规则。以此类推，将违反的规则列出并标注对应的后厨人员。
本实施例中，首先终端根据后厨区域视频获取后厨区域图像，后厨区域图像为在后厨管理范围内的图像。终端将后厨区域图像输入训练完成的目标判别网络模型中，其中，目标判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后，并联一组卷积层-归一化层，最后和一个最大池化层串联排列构成。终端通过特征提取基层提取后厨区域图像的人物特征，人物特征包括人脸特征、口罩特征、厨师服特征。终端将人物特征依次输入第一个残差模型层，生成后厨区域图像的第一残差参数。终端将第一残差参数输入第二个残差模型层，生成后厨区域图像的第二残差参数。终端将第N-1残差参数输入第N个残差模型层，生成后厨区域图像的第N残差参数。终端通过残差融合层对第一残差参数至第N残差参数依次融合，生成目标残差。终端将目标残差通过全局平均池化层和计算模块进行分类计算，生成后厨区域图像符合各个出入规则的概率值集合。终端根据概率值集合确定后厨区域图像中对应人物的出入规则符合结果。本实施例中，运用了残差建立目标判别网络模型的快速通道，并在目标判别网络模型输出时对各残差单元（残差模型层输出的残差）进行融合实现多尺度特征的提取。本实施例中，目标判别网络模型是参考了残差网络的设计思路构建了的一个用于判别的网络模型，其功能是能够实现提取多尺度的特征，抑制部分遮挡带来的影响。
请参阅图2-1、图2-2、图2-3、图2-4和图2-5，本申请提供了是一种后厨食品安全实时监管的方法的一个实施例，包括：
201、获取后厨训练样本集，后厨训练样本集中包含至少两张后厨人员穿戴完整的样本图像和穿戴不完整的样本图像，穿戴不完整的样本图像标记了不符合的出入规则的目标预测值；
终端获取后厨训练样本集，其中，后厨训练样本集中包含备案后厨人员的图像，这些图像中至少两张后厨人员穿戴完整的样本图像，以及穿戴不完整的样本图像，训练过程中能够对指定的备案人员件识别，以及对穿戴的装备进行识别。每一张样本图像标记了对应的不符合的出入规则的目标预测值，对于清晰的装备，目标预测值设置高一些，对于被遮挡或者是模糊的装备，目标预测值设置低一些。
202、构建初始判别网络模型，初始判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
终端构建初始判别网络模型，初始判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块。
其中，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后，并联一组卷积层-归一化层，最后和一个最大池化层串联排列构成。
残差融合层也由多层可拆分的卷积层组成，残差融合层一次融合两个残差单元，达到对各残差单元进行融合实现多尺度特征的提取的功能，能够实现提取多尺度的特征，抑制部分遮挡带来的影响。
203、从后厨训练样本集中选取训练样本，并将训练样本输入初始判别网络模型中；
终端从后厨训练样本集中选取训练样本，并将训练样本输入初始判别网络模型中。具体的终端可以从后厨训练样本集中随机抽取一定数量的样本，同时进行训练。本实施例中，采用批量大小为32的小批量训练初始判别网络模型，通过多次迭代，达到训练效果。本实施例中，迭代的次数约为25000次。
终端将选取出来的一个批次的训练样本输入初始判别网络模型中，以使得初始判别网络模型对训练样本进行学习分析，训练初始判别网络模型。
对于初始判别网络模型的训练可以总结为如下例子：将训练样本输入多尺度的初始判别网络模型，这张训练图像的为穿戴完整的图像，对于厨师服目标预测值是百分之八十以上，对于厨师帽的目标预测值为百分之七十以上。通过特征提取基层进行特征提取之后，一次通过中5个残差模型层实现特征提取，通过输出层全局平均池化结合计算模块和交叉熵损失函数计算特征的损失值，实现装备穿戴预测分类。
204、通过特征提取基层、至少五个残差模型层、残差融合层对训练样本进行残差的提取与融合，生成训练残差；
205、将训练残差通过全局平均池化层和计算模块进行分类计算，生成训练样本符合各个出入规则的概率值集合；
本实施例中，步骤204和步骤205的详细过程通步骤103至步骤108，此处不做赘述。
206、根据概率值集合、目标预测值和初始判别网络模型的预设损失函数计算损失值，以生成损失值变化数据，损失值变化数据为每一次训练生成的损失值的统计数据；
终端根据概率值集合、目标预测值和初始判别网络模型的预设损失函数计算损失值，以生成损失值变化数据，损失值变化数据为每一次训练生成的损失值的统计数据。
分类器由全局平均池化层和计算模块构成，该分类为多分类问题，故在初始判别网络模型训练过程中采用的损失函数为交叉熵损失函数，其表达式为：
Figure 326898DEST_PATH_IMAGE007
其中Loss为损失值，C的参数含义是总样本的数量，yi为第i个训练样本的真实表情的目标预测值，Pi即为初始残差模型输出的概率值集合softmax(yi)。下面对该交叉熵损失函数的使用方式进行举例说明：
在数字识别任务中，如果数字样本是数字“5”，那么真实分布应该为：[0,0,0,0,0,1,0,0,0,0]，如果网络输出的分布为：[0.1,0.1,0,0,0,0.7,0,0.1,0,0]，则应为10，那么计算损失函数得：
Figure 539092DEST_PATH_IMAGE008
如果网络输出的分布为：[0.2,0.3,0.1,0,0,0.3,0.1,0,0,0]，那么计算损失函数得：
Figure 98250DEST_PATH_IMAGE009
上述两种情况对比，第一个分布的损失通过交叉熵函数计算出的损失值明显低于第二个分布通过交叉熵函数计算出的损失值的损失，说明第一个分布更接近于真实分布。
本实施例中的损失值变化数据为每一次损失值的记录数据，收敛的标准以损失值达到预设的阈值内超过预定次数。例如输入一张训练样本，厨师服的未穿戴，则在该训练样本中，对于厨师服目标预测值为低于百分之十，计算出损失值之后，发现最近10000次的初始判别网络模型都达到了趋于0的区域，则表示初始判别网络模型收敛，即训练完成。
207、判断损失值变化数据在预设区间内的损失值是否收敛于0；
终端判断损失值变化数据在预设区间内的损失值是否收敛于0，当损失值变化数据在预设区间内，所有的损失值的大小以及趋势都收敛于0时，则可以确定初始判别网络模型训练完成，执行步骤208。若损失值变化数据在预设区间内的损失值不收敛于0，则执行步骤209。
208、若损失值变化数据在预设区间内的损失值收敛于0，则确定初始判别网络模型为目标判别网络模型；
若损失值变化数据在预设区间内的损失值收敛于0，则终端确定初始判别网络模型为目标判别网络模型。
当损失值变化数据在预设区间内，所有的损失值的大小以及趋势都收敛于0时，则可以确定初始判别网络模型训练完成，则可以将初始判别网络模型确定为目标判别网络模型。
下面进行举例说明：当损失值变化数据中，最新的10000次训练这个区间内，产生的所有损失值都小于0.001，并且每一个损失值都比前一个损失值的绝对值的数值小，即收敛于0，可以确定训练完成，进而确定初始判别网络模型为目标判别网络模型。
209、若损失值变化数据在预设区间内的损失值不收敛于0，则判断训练样本的训练次数是否达标；
当损失值变化数据在预设区间内，不是所有的损失值的大小以及趋势都收敛于0时，则确定初始判别网络模型训练尚未完成。这时需要判断训练样本的训练次数是否达标，即当前的训练样本是否完成了预设次数的训练，若是，则执行步骤210，若否，则执行步骤211。
210、若训练样本的训练次数达标，根据小批梯度下降法更新初始判别网络模型的权重，从后厨训练样本集中重新选取训练样本输入初始判别网络模型中训练；
当终端确定训练样本的训练次数达标，则需要根据小批梯度下降法更新初始判别网络模型的权重，则把训练过程中获取到的训练样本的特征和概率值集合进行模型保存。
本实施例中，通过小批梯度下降法更新初始判别网络模型，其中批训练的梯度更新方式的公式为：
Figure 14253DEST_PATH_IMAGE010
n是批量大小(batchsize)，
Figure 203926DEST_PATH_IMAGE011
是学习率(learning rate)，
Figure 900487DEST_PATH_IMAGE012
为关于x和
Figure 201018DEST_PATH_IMAGE013
更新子函数，是人为设置的。
使用反向梯度求导，请参考图3，图3为一个卷积神经网络模型网络层示意图。
左侧为第一层，也是输入层，输入层包含两个神经元a和b。中间为第二层，也是隐含层，隐含层包含两个神经元c和d。右侧为第三层，也是输出层，输出层包含e和f，每条线上标的
Figure 299424DEST_PATH_IMAGE014
是层与层之间连接的权重。
Figure 394419DEST_PATH_IMAGE015
代表第l层第j个神经元，与上一层（l-1）第k个神经元输出相对应的权重。
Figure 578276DEST_PATH_IMAGE016
代表第l层第j个神经元输出。
Figure 682498DEST_PATH_IMAGE017
代表第l层第j个神经元输入。
Figure 573093DEST_PATH_IMAGE018
代表第l层第j个神经元偏置。
W代表权重矩阵，Z代表输入矩阵，A代表输出矩阵，Y代表标准答案。
L代表卷积神经网络模型的层数。
Figure 166886DEST_PATH_IMAGE019
向前传播的方法，即将输入层的信号传输至隐藏层，以隐藏层节点c为例，站在节点c上往后看（输入层的方向），可以看到有两个箭头指向节点c，因此a，b节点的信息将传递给c，同时每个箭头有一定的权重，因此对于c节点来说，输入信号为：
Figure 510142DEST_PATH_IMAGE020
同理，节点d的输入信号为：
Figure 480372DEST_PATH_IMAGE021
由于终端善于做带有循环的任务，因此可以用矩阵相乘来表示：
Figure 225475DEST_PATH_IMAGE022
所以，隐藏层节点经过非线性变换后的输出表示如下：
Figure 724589DEST_PATH_IMAGE023
同理，输出层的输入信号表示为权重矩阵乘以上一层的输出：
Figure 617459DEST_PATH_IMAGE024
同样，输出层节点经过非线性映射后的最终输出表示为：
Figure 63483DEST_PATH_IMAGE025
输入信号在权重矩阵们的帮助下，得到每一层的输出，最终到达输出层。可见，权重矩阵在前向传播信号的过程中扮演着运输兵的作用，起到承上启下的功能。
请参考图4，图4为一个卷积神经网络模型网络层示意图。向后传播的方法，既然梯度下降需要每一层都有明确的误差才能更新参数，所以接下来的重点是如何将输出层的误差反向传播给隐藏层。
其中输出层、隐藏层节点的误差如图所示，输出层误差已知，接下来对隐藏层第一个节点c作误差分析。还是站在节点c上，不同的是这次是往前看（输出层的方向），可以看到指向c节点的两个蓝色粗箭头是从节点e和节点f开始的，因此对于节点c的误差肯定是和输出层的节点e和f有关。输出层的节点e有箭头分别指向了隐藏层的节点c和d，因此对于隐藏节点e的误差不能被隐藏节点c霸为己有，而是要服从按劳分配的原则（按权重分配），同理节点f的误差也需服从这样的原则，因此对于隐藏层节点c的误差为：
Figure 725409DEST_PATH_IMAGE026
Figure 598687DEST_PATH_IMAGE027
是在隐藏层节点c处的一个误差，其中w的含义与前文中W的含义相同，即
Figure 978853DEST_PATH_IMAGE028
与前述公式中
Figure 962989DEST_PATH_IMAGE029
的含义相同，以此类推。同理，对于隐藏层节点d的误差为：
Figure 745001DEST_PATH_IMAGE030
Figure 789180DEST_PATH_IMAGE031
是在节点d的一个误差，
Figure 656642DEST_PATH_IMAGE032
和
Figure 444469DEST_PATH_IMAGE033
为已知的基础误差值，为了减少工作量，可写成矩阵相乘的形式：
Figure 80987DEST_PATH_IMAGE034
该矩阵比较繁琐，可简化到前向传播的形式，不破坏它们的比例，因此我们可以忽略掉分母部分，所以重新成矩阵形式为：
Figure 296068DEST_PATH_IMAGE035
该权重矩阵，其实是前向传播时权重矩阵w的转置，因此简写形式如下：
Figure 385246DEST_PATH_IMAGE036
输出层误差在转置权重矩阵的帮助下，传递到了隐藏层，这样我们就可以利用间接误差来更新与隐藏层相连的权重矩阵。可见，权重矩阵在反向传播的过程中同样扮演着运输兵的作用，只不过这次是搬运的输出误差，而不是输入信号。
请参考图5，图5为一个卷积神经网络模型网络层示意图。接下来需要进行链式求导，上面介绍了输入信息的前向传播与输出误差的后向传播，接下来就根据求得的误差来更新参数。
首先对隐藏层的w11进行参数更新，更新之前让我们从后往前推导，直到预见w11为止，计算方式如下：
Figure 242344DEST_PATH_IMAGE037
Figure 671051DEST_PATH_IMAGE038
Figure 119350DEST_PATH_IMAGE039
因此误差对w11求偏导如下：
Figure 899087DEST_PATH_IMAGE040
求导得如下公式（所有值已知）：
Figure 105683DEST_PATH_IMAGE041
同理，误差对于w12的偏导如下：
Figure 185634DEST_PATH_IMAGE042
同样，求导得w12的求值公式：
Figure 273676DEST_PATH_IMAGE043
同理，误差对于偏置求偏导如下：
Figure 275130DEST_PATH_IMAGE044
同理，误差对于偏置求偏导如下：
Figure 270768DEST_PATH_IMAGE045
接着对输入层的w11进行参数更新，更新之前我们依然从后往前推导，直到预见第一层的w11为止：
Figure 408488DEST_PATH_IMAGE046
Figure 464169DEST_PATH_IMAGE047
Figure 952919DEST_PATH_IMAGE048
Figure 486668DEST_PATH_IMAGE049
Figure 10054DEST_PATH_IMAGE050
因此误差对输入层的w11求偏导如下：
Figure 174319DEST_PATH_IMAGE051
求导得如下公式：
Figure 947103DEST_PATH_IMAGE052
同理，输入层的其他三个参数按照同样的方法即可求出各自的偏导，此处不做赘述。在每个参数偏导数明确的情况下，带入梯度下降公式即可：
Figure 222226DEST_PATH_IMAGE053
Figure 662435DEST_PATH_IMAGE054
至此，利用链式法则来对每层参数进行更新的任务已经完成。
在更新了预训练卷积神经网络的权重之后，还需要把训练过程中获取到的训练样本的特征和概率分布进行模型保存，目的是在每一组训练样本的训练次数达标之后，保留一个模型，以使得在后续训练过程中出现泛化、过拟合等问题时，还可以使用原先保存下来的初始判别网络模型。
211、若训练样本的训练次数未达标，则根据小批梯度下降法更新初始判别网络模型的权重，并将训练样本重新输入初始判别网络模型中训练；
当终端确定训练样本的训练次数未达标，则同样需要根据小批梯度下降法更新初始判别网络模型的权重，再将训练样本重新输入初始判别网络模型中进行训练。小批梯度下降法更新初始判别网络模型的权重，其方法同步骤211，此处不做赘述。
212、根据后厨区域视频获取后厨区域图像，后厨区域图像为在后厨管理范围内的图像；
213、将后厨区域图像输入训练完成的目标判别网络模型中，目标判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
214、通过特征提取基层提取后厨区域图像的人物特征，人物特征包括人脸特征、口罩特征、厨师服特征；
215、将人物特征依次输入第一个残差模型层，生成后厨区域图像的第一残差参数；
216、将第一残差参数输入第二个残差模型层，生成后厨区域图像的第二残差参数；
217、将第N-1残差参数输入第N个残差模型层，生成后厨区域图像的第N残差参数；
218、通过残差融合层对第一残差参数至第N残差参数依次融合，生成目标残差；
219、将目标残差通过全局平均池化层和计算模块进行分类计算，生成后厨区域图像符合各个出入规则的概率值集合；
220、根据概率值集合确定后厨区域图像中对应人物的出入规则符合结果；
本实施例中的步骤212至220与前述实施例中步骤101至109类似，此处不再赘述。
221、获取参考区域图像和后厨区域图像对应的后厨红外图像，参考区域图像为划分了后厨成员工作区域的图像，工作区域包含高温工作区域；
222、根据参考区域图像为后厨红外图像进行工作区域的划分；
223、确定后厨红外图像中温度高于预设值的高温区域；
224、确定高温区域的高温类型，高温类型包含明火高温、香烟高温、电子设备高温和机械器具高温；
225、根据高温类型和不处于高温工作区域生成明火隐患区域；
226、为明火隐患区域进行警告处理；
终端获取参考区域图像和后厨区域图像对应的后厨红外图像，其中，参考区域图像为每一个摄像头拍摄的标准图像，在图像上标注了各个工作区域，有炒菜区域、摆盘区域、通道区域、食材处理区域和烤箱区域等。后厨红外图像为同一个摄像头通过红外方式拍摄的图像，主要用于表明温度高的区域。
终端根据参考区域图像为后厨红外图像进行工作区域的划分，再确定后厨红外图像中温度高于预设值的高温区域，根据划分的工作区域以及温度值确定高温类型。例如：炒菜区域中炒锅底部的温度虽然超过了预设值，但是是属于设备高温和机械器具高温，在设备高温和机械器具高温上属于正常高温范畴。如在食材切洗区域存在超过预设值的高温，则定义为明火高温。在烤箱工作区域上存在高温区域，但是烤箱在工作时，则定义为电子设备高温。当存在后厨人员烹饪区域存在点状高温区域时，则定义为香烟高温。
需要说明的是，在炒菜区域存在高温超过一个临界值时，也会被定义为明火高温，主要是由于厨师的不当操作导致明火长时间位于炒菜区域。或者是高温区域位于通道这类非高温工作区域时，也会被定义为明火高温。
终端根据高温类型和不处于高温工作区域生成明火隐患区域，当检测到存在不正常的高温情况，则会生成明火隐患区域，并且为明火隐患区域进行警告处理。
227、根据参考区域图像为后厨区域图像进行工作区域的划分；
228、根据像素点色度亮度数据对比后厨区域图像和参考区域图像中的通道区域，生成污渍区域；
229、为污渍区域进行警告处理；
具体的，终端根据参考区域图像为后厨区域图像进行工作区域的划分，在通道区域或配菜区域等需要保持清洁的区域上进行检测，判断是否存在水渍、油渍或者酱料等污垢，具体是根据对比后厨区域图像和参考区域图像，在对应的区域上对比RGB像素值的差别，如果差距大于预设值，则表示存在污垢，为污渍区域进行警告处理。
230、根据后厨红外图像确定存在生物区域，并根据生物区域划分生物轮廓；
231、当生物轮廓属于鼠类时，根据生物轮廓的位置对后厨区域图像进行生物种类分析；
232、当分析结果为鼠类时，生成鼠类警告。
终端根据后厨红外图像确定存在生物区域，并根据生物区域划分生物轮廓，当生物轮廓属于鼠类时，根据生物轮廓的位置对后厨区域图像进行生物种类分析，当分析结果为鼠类时，生成鼠类警告。
本实施例中，首先进行目标判别网络模型的训练灰阶。获取后厨训练样本集，构建初始判别网络模型，并且将后厨训练样本集中的训练样本输入初始判别网络模型中训练。终端通过特征提取基层、至少五个残差模型层、残差融合层对训练样本进行残差的提取与融合，生成训练残差。再将将训练残差通过全局平均池化层和计算模块进行分类计算，生成训练样本符合各个出入规则的概率值集合。终端根据概率值集合、目标预测值和初始判别网络模型的预设损失函数计算损失值，以生成损失值变化数据，再根据损失值变化数据判断模型是否训练完成，并且不断更新迭代模型的权重，直到模型训练完成。
首先终端根据后厨区域视频获取后厨区域图像，后厨区域图像为在后厨管理范围内的图像。终端将后厨区域图像输入训练完成的目标判别网络模型中，其中，目标判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成。终端通过特征提取基层提取后厨区域图像的人物特征，人物特征包括人脸特征、口罩特征、厨师服特征。终端将人物特征依次输入第一个残差模型层，生成后厨区域图像的第一残差参数。终端将第一残差参数输入第二个残差模型层，生成后厨区域图像的第二残差参数。终端将第N-1残差参数输入第N个残差模型层，生成后厨区域图像的第N残差参数。终端通过残差融合层对第一残差参数至第N残差参数依次融合，生成目标残差。终端将目标残差通过全局平均池化层和计算模块进行分类计算，生成后厨区域图像符合各个出入规则的概率值集合。终端根据概率值集合确定后厨区域图像中对应人物的出入规则符合结果。
并且，还通过参考区域图像和后厨区域图像对应的后厨红外图像确定明火隐患区域，根据像素点色度亮度数据对比后厨区域图像和参考区域图像中的通道区域，生成污渍区域，根据后厨红外图像确定存在生物区域，并根据生物区域划分生物轮廓，当生物轮廓属于鼠类时，根据生物轮廓的位置对后厨区域图像进行生物种类分析，当分析结果为鼠类时，生成鼠类警告。
本实施例中，运用了残差建立目标判别网络模型的快速通道，并在目标判别网络模型输出时对各残差单元（残差模型层输出的残差）进行融合实现多尺度特征的提取。本实施例中，目标判别网络模型是参考了残差网络的设计思路构建了的一个用于判别的网络模型，其功能是能够实现提取多尺度的特征，抑制部分遮挡带来的影响。
其次，通过图像分析热源的类型和区域，进而确定是否存在明火隐患，污渍隐患和鼠类隐患。
请参阅图6，本申请提供了一种后厨食品安全实时监管的系统的一个实施例，包括：
第二获取单元601，用于获取后厨训练样本集，后厨训练样本集中包含至少两张后厨人员穿戴完整的样本图像和穿戴不完整的样本图像，穿戴不完整的样本图像标记了不符合的出入规则的目标预测值；
构建单元602，用于构建初始判别网络模型，初始判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
第五输入单元603，用于从后厨训练样本集中选取训练样本，并将训练样本输入初始判别网络模型中；
第二生成单元604，用于通过特征提取基层、至少五个残差模型层、残差融合层对训练样本进行残差的提取与融合，生成训练残差；
第三生成单元605，用于将训练残差通过全局平均池化层和计算模块进行分类计算，生成训练样本符合各个出入规则的概率值集合；
第四生成单元606，用于根据概率值集合、目标预测值和初始判别网络模型的预设损失函数计算损失值，以生成损失值变化数据，损失值变化数据为每一次训练生成的损失值的统计数据；
第一判断单元607，用于判断损失值变化数据在预设区间内的损失值是否收敛于0；
第二确定单元608，用于当第一判断单元607确定损失值变化数据在预设区间内的损失值收敛于0，则确定初始判别网络模型为目标判别网络模型；
第二判断单元609，用于当第一判断单元607确定损失值变化数据在预设区间内的损失值不收敛于0，则判断训练样本的训练次数是否达标；
第一更新单元610，用于若训练样本的训练次数达标，根据小批梯度下降法更新初始判别网络模型的权重，从后厨训练样本集中重新选取训练样本输入初始判别网络模型中训练；
第二更新单元611，用于若训练样本的训练次数未达标，则根据小批梯度下降法更新初始判别网络模型的权重，并将训练样本重新输入初始判别网络模型中训练；
第一获取单元612，用于根据后厨区域视频获取后厨区域图像，后厨区域图像为在后厨管理范围内的图像；
第一输入单元613，用于将后厨区域图像输入训练完成的目标判别网络模型中，目标判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，特征提取基层由三组3*3卷积层-归一化层串联排列构成，残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
提取单元614，用于通过特征提取基层提取后厨区域图像的人物特征，人物特征包括人脸特征、口罩特征、厨师服特征；
第二输入单元615，用于将人物特征依次输入第一个残差模型层，生成后厨区域图像的第一残差参数；
第三输入单元616，用于将第一残差参数输入第二个残差模型层，生成后厨区域图像的第二残差参数；
第四输入单元617，用于将第N-1残差参数输入第N个残差模型层，生成后厨区域图像的第N残差参数；
融合单元618，用于通过残差融合层对第一残差参数至第N残差参数依次融合，生成目标残差；
第一生成单元619，用于将目标残差通过全局平均池化层和计算模块进行分类计算，生成后厨区域图像符合各个出入规则的概率值集合；
第一确定单元620，用于根据概率值集合确定后厨区域图像中对应人物的出入规则符合结果。
第三获取单元621，用于获取参考区域图像和后厨区域图像对应的后厨红外图像，参考区域图像为划分了后厨成员工作区域的图像，工作区域包含高温工作区域；
第一划分单元622，用于根据参考区域图像为后厨红外图像进行工作区域的划分；
第五生成单元623，用于根据后厨红外图像生成明火隐患区域；
可选的，第五生成单元623，具体为：
确定后厨红外图像中温度高于预设值的高温区域；
确定高温区域的高温类型，高温类型包含明火高温、香烟高温、电子设备高温和机械器具高温；
根据高温类型和不处于高温工作区域生成明火隐患区域。
第一警告单元624，用于为明火隐患区域进行警告处理；
第二划分单元625，用于根据参考区域图像为后厨区域图像进行工作区域的划分；
第六生成单元626，用于根据像素点色度亮度数据对比后厨区域图像和参考区域图像中的通道区域，生成污渍区域；
第二警告单元627，用于为污渍区域进行警告处理；
第三确定单元628，用于根据后厨红外图像确定存在生物区域，并根据生物区域划分生物轮廓；
分析单元629，用于当生物轮廓属于鼠类时，根据生物轮廓的位置对后厨区域图像进行生物种类分析；
第三警告单元630，用于当分析结果为鼠类时，生成鼠类警告。
请参阅图7，本申请提供了一种电子设备，包括：
处理器701、存储器702、输入输出单元703以及总线704。
处理器701与存储器702、输入输出单元703以及总线704相连。
存储器701保存有程序，处理器701调用程序以执行如图1至图2-1、图2-2、图2-3、图2-4和图2-5中的方法。
本申请提供了一种计算机可读存储介质，计算机可读存储介质上保存有程序，程序在计算机上执行时执行如图1至图2-1、图2-2、图2-3、图2-4和图2-5中的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种后厨食品安全实时监管的方法，其特征在于，包括：
根据后厨区域视频获取后厨区域图像，所述后厨区域图像为在后厨管理范围内的图像；
将所述后厨区域图像输入训练完成的目标判别网络模型中，所述目标判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，所述特征提取基层由三组3*3卷积层-归一化层串联排列构成，所述残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
通过所述特征提取基层提取所述后厨区域图像的人物特征，所述人物特征包括人脸特征、口罩特征、厨师服特征；
将所述人物特征依次输入第一个残差模型层，生成所述后厨区域图像的第一残差参数；
将所述第一残差参数输入第二个残差模型层，生成所述后厨区域图像的第二残差参数；
将所述第N-1残差参数输入第N个残差模型层，生成所述后厨区域图像的第N残差参数；
通过所述残差融合层对所述第一残差参数至所述第N残差参数依次融合，生成目标残差；
将所述目标残差通过所述全局平均池化层和所述计算模块进行分类计算，生成所述后厨区域图像符合各个出入规则的概率值集合；
根据所述概率值集合确定所述后厨区域图像中对应人物的出入规则符合结果。
2.根据权利要求1所述的方法，其特征在于，在所述根据后厨区域视频获取后厨区域图像之前，所述方法还包括：
获取后厨训练样本集，所述后厨训练样本集中包含至少两张后厨人员穿戴完整的样本图像和穿戴不完整的样本图像，所述穿戴不完整的样本图像标记了不符合的出入规则的目标预测值；
构建初始判别网络模型，所述初始判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，所述特征提取基层由两组3*3卷积层-归一化层串联排列构成，所述残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
从所述后厨训练样本集中选取训练样本，并将所述训练样本输入所述初始判别网络模型中；
通过所述特征提取基层、至少五个残差模型层、所述残差融合层对所述训练样本进行残差的提取与融合，生成训练残差；
将所述训练残差通过所述全局平均池化层和所述计算模块进行分类计算，生成所述训练样本符合各个出入规则的概率值集合；
根据所述概率值集合、目标预测值和所述初始判别网络模型的预设损失函数计算损失值，以生成损失值变化数据，所述损失值变化数据为每一次训练生成的损失值的统计数据；
判断所述损失值变化数据在预设区间内的损失值是否收敛于0；
若所述损失值变化数据在预设区间内的损失值收敛于0，则确定所述初始判别网络模型为目标判别网络模型。
3.根据权利要求2所述的方法，其特征在于，在所述判断所述损失值变化数据在预设区间内的损失值是否收敛于0之后，所述方法还包括：
若所述损失值变化数据在预设区间内的损失值不收敛于0，则判断所述训练样本的训练次数是否达标；
若所述训练样本的训练次数达标，根据小批梯度下降法更新所述初始判别网络模型的权重，从所述后厨训练样本集中重新选取训练样本输入所述初始判别网络模型中训练；
若所述训练样本的训练次数未达标，则根据小批梯度下降法更新所述初始判别网络模型的权重，并将所述训练样本重新输入所述初始判别网络模型中训练。
4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述根据后厨区域视频获取后厨区域图像之后，所述方法还包括：
获取参考区域图像和所述后厨区域图像对应的后厨红外图像，所述参考区域图像为划分了后厨成员工作区域的图像，所述工作区域包含高温工作区域；
根据所述参考区域图像为所述后厨红外图像进行工作区域的划分；
根据所述后厨红外图像生成明火隐患区域；
为所述明火隐患区域进行警告处理。
5.根据权利要求4所述的方法，其特征在于，所述根据所述后厨红外图像生成明火隐患区域，包括：
确定所述后厨红外图像中温度高于预设值的高温区域；
确定所述高温区域的高温类型，所述高温类型包含明火高温、香烟高温、电子设备高温和机械器具高温；
根据所述高温类型和不处于高温工作区域生成明火隐患区域。
6.根据权利要求4所述的方法，其特征在于，在所述根据后厨区域视频获取后厨区域图像之后，所述方法还包括：
根据所述参考区域图像为所述后厨区域图像进行工作区域的划分；
根据像素点色度亮度数据对比所述后厨区域图像和所述参考区域图像中的通道区域，生成污渍区域；
为所述污渍区域进行警告处理。
7.根据权利要求4所述的方法，其特征在于，在所述根据所述参考区域图像为所述后厨红外图像进行工作区域的划分之后，所述方法还包括：
根据所述后厨红外图像确定存在生物区域，并根据所述生物区域划分生物轮廓；
当所述生物轮廓属于鼠类时，根据所述生物轮廓的位置对所述后厨区域图像进行生物种类分析；
当分析结果为鼠类时，生成鼠类警告。
8.一种后厨食品安全实时监管的系统，其特征在于，包括：
第一获取单元，用于根据后厨区域视频获取后厨区域图像，所述后厨区域图像为在后厨管理范围内的图像；
第一输入单元，用于将所述后厨区域图像输入训练完成的目标判别网络模型中，所述目标判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，所述特征提取基层由三组3*3卷积层-归一化层串联排列构成，所述残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
提取单元，用于通过所述特征提取基层提取所述后厨区域图像的人物特征，所述人物特征包括人脸特征、口罩特征、厨师服特征；
第二输入单元，用于将所述人物特征依次输入第一个残差模型层，生成所述后厨区域图像的第一残差参数；
第三输入单元，用于将所述第一残差参数输入第二个残差模型层，生成所述后厨区域图像的第二残差参数；
第四输入单元，用于将所述第N-1残差参数输入第N个残差模型层，生成所述后厨区域图像的第N残差参数；
融合单元，用于通过所述残差融合层对所述第一残差参数至所述第N残差参数依次融合，生成目标残差；
第一生成单元，用于将所述目标残差通过所述全局平均池化层和所述计算模块进行分类计算，生成所述后厨区域图像符合各个出入规则的概率值集合；
第一确定单元，用于根据所述概率值集合确定所述后厨区域图像中对应人物的出入规则符合结果。
9.根据权利要求8所述的系统，其特征在于，所述系统还包括：
第二获取单元，用于获取后厨训练样本集，所述后厨训练样本集中包含至少两张后厨人员穿戴完整的样本图像和穿戴不完整的样本图像，所述穿戴不完整的样本图像标记了不符合的出入规则的目标预测值；
构建单元，用于构建初始判别网络模型，所述初始判别网络模型包括一个特征提取基层、至少五个残差模型层、残差融合层、一个全局平均池化层和一个计算模块，所述特征提取基层由三组3*3卷积层-归一化层串联排列构成，所述残差模型层由两组卷积层-归一化层串联排列后并联一组卷积层-归一化层最后和一个最大池化层串联排列构成；
第五输入单元，用于从所述后厨训练样本集中选取训练样本，并将所述训练样本输入所述初始判别网络模型中；
第二生成单元，用于通过所述特征提取基层、至少五个残差模型层、所述残差融合层对所述训练样本进行残差的提取与融合，生成训练残差；
第三生成单元，用于将所述训练残差通过所述全局平均池化层和所述计算模块进行分类计算，生成所述训练样本符合各个出入规则的概率值集合；
第四生成单元，用于根据所述概率值集合、目标预测值和所述初始判别网络模型的预设损失函数计算损失值，以生成损失值变化数据，所述损失值变化数据为每一次训练生成的损失值的统计数据；
第一判断单元，用于判断所述损失值变化数据在预设区间内的损失值是否收敛于0；
第二确定单元，用于当第一判断单元确定所述损失值变化数据在预设区间内的损失值收敛于0，则确定所述初始判别网络模型为目标判别网络模型。
10.根据权利要求9所述的系统，其特征在于，所述系统还包括：
第二判断单元，用于当第一判断单元确定所述损失值变化数据在预设区间内的损失值不收敛于0，则判断所述训练样本的训练次数是否达标；
第一更新单元，用于若所述训练样本的训练次数达标，根据小批梯度下降法更新所述初始判别网络模型的权重，从所述后厨训练样本集中重新选取训练样本输入所述初始判别网络模型中训练；
第二更新单元，用于若所述训练样本的训练次数未达标，则根据小批梯度下降法更新所述初始判别网络模型的权重，并将所述训练样本重新输入所述初始判别网络模型中训练。
CN202211037125.2A 2022-08-29 2022-08-29 一种后厨食品安全实时监管的方法及系统 Pending CN115100583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211037125.2A CN115100583A (zh) 2022-08-29 2022-08-29 一种后厨食品安全实时监管的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211037125.2A CN115100583A (zh) 2022-08-29 2022-08-29 一种后厨食品安全实时监管的方法及系统

Publications (1)

Publication Number Publication Date
CN115100583A true CN115100583A (zh) 2022-09-23

Family

ID=83301711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211037125.2A Pending CN115100583A (zh) 2022-08-29 2022-08-29 一种后厨食品安全实时监管的方法及系统

Country Status (1)

Country Link
CN (1) CN115100583A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293442A1 (en) * 2017-04-06 2018-10-11 Ants Technology (Hk) Limited Apparatus, methods and computer products for video analytics
CN109146322A (zh) * 2018-09-12 2019-01-04 深圳市商汤科技有限公司 监控方法及装置和系统、电子设备以及存储介质
CN111325047A (zh) * 2018-12-13 2020-06-23 博西华电器（江苏）有限公司 烹饪安全辅助方法、系统、厨房电器及其组合
CN113011567A (zh) * 2021-03-31 2021-06-22 深圳精智达技术股份有限公司 一种卷积神经网络模型的训练方法及装置
CN114863422A (zh) * 2022-03-02 2022-08-05 深圳市优优视界科技有限公司 一种检测食品加工的模型训练方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293442A1 (en) * 2017-04-06 2018-10-11 Ants Technology (Hk) Limited Apparatus, methods and computer products for video analytics
CN109146322A (zh) * 2018-09-12 2019-01-04 深圳市商汤科技有限公司 监控方法及装置和系统、电子设备以及存储介质
CN111325047A (zh) * 2018-12-13 2020-06-23 博西华电器（江苏）有限公司 烹饪安全辅助方法、系统、厨房电器及其组合
CN113011567A (zh) * 2021-03-31 2021-06-22 深圳精智达技术股份有限公司 一种卷积神经网络模型的训练方法及装置
CN114863422A (zh) * 2022-03-02 2022-08-05 深圳市优优视界科技有限公司 一种检测食品加工的模型训练方法及系统

Similar Documents

Publication Publication Date Title
CN109670591A (zh) 一种神经网络的训练方法及图像匹配方法、装置
CN111666920B (zh) 目标物品佩戴检测方法、装置、存储介质及电子装置
CN110414400A (zh) 一种施工现场安全帽穿戴自动检测方法及系统
Morales et al. Automatic detection of optic disc based on PCA and stochastic watershed
CN114582030A (zh) 一种基于服务机器人的行为识别方法
CN114937232A (zh) 医废处理人员防护用具穿戴检测方法、系统和设备
KR20140124087A (ko) 사용자 단말기를 이용한 개인 스타일 추천 시스템과 방법 및 그 방법을 컴퓨터로 실행시키기 위한 프로그램 코드를 저장한 기록매체
JP2019109843A (ja) 分類装置、分類方法、属性認識装置、及び機械学習装置
DiMattina et al. Detecting natural occlusion boundaries using local cues
CN117475502B (zh) 基于矿用的虹膜和人脸融合识别方法及系统
JP2018181204A (ja) 対象物推定装置
CN115100583A (zh) 一种后厨食品安全实时监管的方法及系统
CN111898463B (zh) 烟火检测识别方法和装置、存储介质及电子装置
CN106778803B (zh) 一种基于红外图像识别技术的指甲定位方法及美甲设备
Junior et al. On the effect of age perception biases for real age regression
CN113537124B (zh) 模型训练方法、装置与存储介质
Rodriguez et al. Interactive Genetic Algorithm with fitness modeling for the development of a color simulation system based on customer’s preference
KR102430742B1 (ko) 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
CN210515222U (zh) 一种利用多目3d视觉传感技术防控儿童近视的系统
Montazeri et al. Automatically eye detection with different gray intensity image conditions
Adinehvand et al. An efficient multistage segmentation method for accurate hard exudates and lesion detection in digital retinal images
Martynov et al. Darks and stripes: Effects of clothing on weight perception
Barman et al. Image processing using case-based reasoning: A survey
Shruthi et al. Detection and classification of diabetic retinopathy condition in retinal images
Messias et al. Color-based superpixel semantic segmentation for fire data annotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220923

RJ01 Rejection of invention patent application after publication