CN113177519A - 一种基于密度估计的后厨脏乱差评价方法 - Google Patents

一种基于密度估计的后厨脏乱差评价方法 Download PDF

Info

Publication number
CN113177519A
CN113177519A CN202110572399.0A CN202110572399A CN113177519A CN 113177519 A CN113177519 A CN 113177519A CN 202110572399 A CN202110572399 A CN 202110572399A CN 113177519 A CN113177519 A CN 113177519A
Authority
CN
China
Prior art keywords
dirty
kitchen
image
messy
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110572399.0A
Other languages
English (en)
Other versions
CN113177519B (zh
Inventor
谢军伟
蔡承学
詹文鹏
陈弘林
罗鸣
童同
高钦泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Imperial Vision Information Technology Co ltd
Original Assignee
Fujian Imperial Vision Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Imperial Vision Information Technology Co ltd filed Critical Fujian Imperial Vision Information Technology Co ltd
Priority to CN202110572399.0A priority Critical patent/CN113177519B/zh
Publication of CN113177519A publication Critical patent/CN113177519A/zh
Application granted granted Critical
Publication of CN113177519B publication Critical patent/CN113177519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于密度估计的后厨脏乱差评价方法，包括以下步骤；步骤S1、收集后厨视频，从其对应的视频帧中抽取后厨图像X；步骤S2、以人工在后厨图像X内标注出图像中存在的脏乱差区域形成尺寸在预设范围内的标注框，并对脏乱差情况进行评分
Figure DEST_PATH_IMAGE001
；步骤S3、根据标注框的分布及标签来构建与后厨图像X同等大小的脏乱密度图M；对多幅脏乱密度图M进行尺寸处理及归一化；步骤S4、以后厨图像X、脏乱密度图M的图像数据构建及训练用于脏乱差评价算法的神经网络；步骤S5、以神经网络来对视频图像中的后厨脏乱差程度进行评估；本发明通过卷积神经网络自动对场景的脏乱差情况进行打分，同时采用脏乱密度图标识出脏乱差具体位置，有助于商家改进后厨环境。

Description

一种基于密度估计的后厨脏乱差评价方法
技术领域
本发明涉及图像分析技术领域，尤其是一种基于密度估计的后厨脏乱差评价方法。
背景技术
在2018年国家市场监管总局关于印发餐饮服务明厨亮灶工作指导意见的通知(国市监食监二〔2018〕32号)中，为了督促餐饮服务者，加强食品安全管理，规范加工过程，推动餐饮服务食品安全社会共治，根据《中华人民共和国食品安全法》的有关规定，国家市场监管总局制定了《餐饮服务明厨亮灶工作指导意见》。作为明厨亮灶中重要的一项，对后厨脏乱差进行评估和评价是当前市场监督管理局关注的重点。通过智慧明厨亮灶子系统向消费者公开食品加工烹饪、冷菜专间等制作重点区域食品加工操作过程，以及对“脏乱差”智能分析评估。从源头上公开透明监管，利用智能分析算法，及时通知及时整改，加强整体餐饮行业自律以及信息公开透明度。
后厨“脏乱差”可以更具体地表述为，“脏”和“乱”分别表示后厨的状态，“差”是对后厨的综合评价。图像中存在的脏乱差区域可以分为以下几个类别：
1、地面污渍
2、墙面油污(污渍)
3、墙面地面破损
4、地面碎屑食物残渣
5、地面杂物复杂
6、桌面混乱
这些类别有的本身粒度微小，评价难度大，属于不规则的目标，评价难度大。同时脏乱差还集中存在图像中桌面混乱，地面杂物多等大粒度，怎么才能获取到图像中存在的脏乱情况？为了对后厨“脏乱差”做出评价，本发明设计了对后厨脏乱差评价网络，并且为了能够对具体什么位置出现“脏”，“乱”的情况，本文设计了对脏乱差区域的热力图，对图像中爆出脏乱差的区域进行进一步的标识。
以往的工作中并没有对后厨图像脏乱差的研究，更多的研究基于图像中存在的热力图，进行人流或者数据分布的研究。也有基于数据的热力图生成方法，但相对于后厨脏乱差而言，并没有那么多的数据进行图像的绘制。
为了解决以上算法的问题，使得脏乱差评估与标识出脏乱差具体区域位置在一个网络内完成，本发明构建了创新性卷积神经网络，可以覆盖图像中广泛的内容变化对图像中的脏乱差进行评分，并且可以根据其识别的内容自适应地学习脏乱差规则，并对于脏乱差区域绘制热力图标识出脏乱差的具体位置。借助对神经网络的改进和持续优化，当前在实际场景中已经可以做到实时的脏乱差判别。
发明内容
本发明提出一种基于密度估计的后厨脏乱差评价方法，通过卷积神经网络自动对场景的脏乱差情况进行打分，同时采用脏乱密度图标识出脏乱差具体位置，有助于商家改进后厨环境。
本发明采用以下技术方案。
一种基于密度估计的后厨脏乱差评价方法，所述方法包括以下步骤；
步骤S1、收集后厨视频，从其对应的视频帧中抽取后厨图像X；
步骤S2、以人工画框的方式，在后厨图像X内标注出图像中存在的脏乱差区域形成尺寸在预设范围内的标注框，并对脏乱差情况进行评分Dscore；
步骤S3、根据标注框的分布及标签来构建与后厨图像X同等大小的脏乱密度图M；对多幅脏乱密度图M进行尺寸处理及归一化；
步骤S4、以后厨图像X、脏乱密度图M的图像数据构建及训练用于脏乱差评价算法的神经网络；
步骤S5、以训练完成的神经网络来对视频图像中的后厨脏乱差程度进行评估。
在步骤S2中，在人工画框时，标注出的脏乱差区域的尺寸范围为10x10至240x240像素，所述评分Dscore介于0-1.0之间，越接近于0表示越脏乱。
在步骤S2中，在人工画框时，按以下脏乱差特征在后厨图像X中画出标注框：A、地面污渍，B、墙面存在油污或污渍，C、墙面地面破损，D、地面碎屑食物残渣，E、地面杂物数量多且无序分布,F、桌面物品混乱。
在画标注框时，具体标注特征为；
a、对污渍进行标注，即结合全场景光照情况，以及区域纹理情况，对不符合地面、墙面、桌面原色的黑色污渍或灰色污渍进行画框标注；
b、对渣渍进行标注，即对场景中地面上出现的不符合后厨管理规范、分散突兀的颗粒进行画框标注；所述颗粒包括饭渣颗粒或菜叶颗粒。
c、对水渍进行标注，即对地面上水渍反光与泼溅，以及存在明显的干湿分布的湿区域进行画框标注。
d、对裂纹进行标注，即对墙面与地面存在的裂纹，地面出现的破损区域进行画框标注。
在步骤S3中，以几何自适应核方法把输入图像转换为网络结构所需要的脏乱密度图M，具体方法为：
设x为后厨图像X中的任意一个点；δ为X的标注数据框的集合；每个人工标注框中心点xi表示为δ(x-xi)，则对于标注有N个脏乱差区域的后厨图像的标签以公式表示为：
Figure BDA0003083214190000031
其中
Figure BDA0003083214190000032
为K个近邻的脏乱区域的平均距离
Figure BDA0003083214190000033
Figure BDA0003083214190000034
为标准差为σi的高斯核函数；β为控制参数，β＝0.3，以此构建出与后厨图像X同等大小的脏乱密度图M。
所述步骤S3中对多幅脏乱密度图M进行尺寸处理及归一化，用于解决不同图像的大小不一，宽高比不齐的问题，其方法是，对于后厨图像X与其对应的图像脏乱密度图M，保持其图像的宽高比，统一缩放到720*576，对于后厨图像X的输入图像，采用0.5填充图像剩余的非图像区域，对于图像脏乱密度图M采用0值填充剩余的图像位置。
所述步骤S3中对多幅脏乱密度图M进行归一化，具体方法为，对后厨图像X统一归一化到0-1.0之间，对于脏乱密度图M同样进行归一化到0-1.0之间，采用左右翻转对后厨图像X和对应的脏乱密度图M进行数据增强，以提升神经网络的鲁棒性。
在步骤S4中，构建用于脏乱差评价算法的神经网络时，设定神经网络核心网络中特征提取阶段由23个卷积块组成，包括一个卷积层，一个Relu激活函数，其中一个大卷积块的计算公式是：
Fn＝R(Wn*Fn-1+Bn) 公式一；
其中R表示非线性激活函数Relu；Wn、Bn分别表示特征提取阶段中卷积层的权重和偏置；Fn-1表示上一个卷积输出的特征图；Fn表示当前特征提取阶段得到的输出特征图；卷积核大小的取值范围为3、5、7。
在训练用于脏乱差评价算法的神经网络时，将后厨图像X作为神经网络的输入，采用MSEloss和L1loss进行网络训练，初始的学习率为1×10-5；训练过程分为多个子训练迭代；每次获取一批数量为12的图像数据X和M；每完成一个固定的训练迭代后逐步减小学习率，直至学习率减小到1×10-6为止；其训练过程中，脏乱差评价算法loss包含两部分，分别为脏乱差密度区域部分和脏乱差综合评分部分；脏乱差密度区域部分采用了MSEloss，脏乱差综合评分部分采用了L1loss，总的loss以公式定义如下。
Figure BDA0003083214190000041
其中M′为网络输出的脏乱差密度图；Mbicubic为脏乱差密度图M采用bicubic宽高各降采样为
Figure BDA0003083214190000042
后脏乱差密度图；N为M′总的像素个数，并且M′与Mbicubic总的像素个数相同；abs为绝对值函数；Dscore为标注的图像脏乱差综合评分；D′score为网络预测的图像脏乱差综合评分；λ为权重因子，取值为0.3。
训练用于脏乱差评价算法的神经网络时，总计的子训练周期不少于50万个；若在每个训练周期完成后，神经网络对后厨图片生成的评估结果与其对应的标注的脏乱差标注结果存在较大出入时，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数再执行每一个网络的初始训练步骤；
若在完成一个子训练周期后，神经网络对后厨图片生成的脏乱差评价结果可以识别出图像中存在的污渍、渣渍、水渍、裂纹特征，或完成所有预设的子训练周期的次数后，则认为神经网络已完成训练。
本发明可使得脏乱差评估与标识出脏乱差具体区域位置在一个神经网络内完成，通过构建的创新性卷积神经网络，可以覆盖图像中广泛的内容变化对图像中的脏乱差进行评分，并且可以根据其识别的内容自适应地学习脏乱差规则，并对于脏乱差区域绘制热力图标识出脏乱差的具体位置，本发明借助对神经网络的改进和持续优化，当前在实际场景中已经可以做到实时的脏乱差判别。
本发明的优点主要体现在两个方面：
第一，首次采用神经网络对后厨的脏乱差情况进行了评价，不仅对脏乱差程度进行了打分，同时对每张图像中存在的脏乱差区域进行了标识，对市场监督管理部门执法提供了依据，同时对餐饮商家进一步改善后厨环境提供了参考。
第二，结合最新的密度估计研究成果，采用多尺度特征与不同感受野特征相互融合的算法，形成了简洁的脏乱差评价网络，并且在Nvidia2070GPU上可以达到实时的展示效果。本发明的脏乱差评价方法通过生成图像中脏乱差的区域热力图和评分，结合改进的网络结构，对图像中存在的脏乱差区域进行标识。生成的脏乱差区域准确可靠，评分客观准确。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明的图像标注过程示意图；
附图2是本发明训练神经网络的流程示意图；
附图3是用于后厨脏乱差评价的神经网络的结构示意图；
附图4是本发明所述方法实施效果的示意图(左侧为原图，右侧为绘制的热力图，右侧灰低白字为综合评分，分数越低越脏乱)；
附图5是本发明所述方法实施效果的另一示意图(左侧为原图，右侧为绘制的热力图，右侧灰低白字为综合评分)。
具体实施方式
如图所示，一种基于密度估计的后厨脏乱差评价方法，所述方法包括以下步骤；
步骤S1、收集后厨视频，从其对应的视频帧中抽取后厨图像X；
步骤S2、以人工画框的方式，在后厨图像X内标注出图像中存在的脏乱差区域形成尺寸在预设范围内的标注框，并对脏乱差情况进行评分Dscore；
步骤S3、根据标注框的分布及标签来构建与后厨图像X同等大小的脏乱密度图M；对多幅脏乱密度图M进行尺寸处理及归一化；
步骤S4、以后厨图像X、脏乱密度图M的图像数据构建及训练用于脏乱差评价算法的神经网络；
步骤S5、以训练完成的神经网络来对视频图像中的后厨脏乱差程度进行评估。
在步骤S2中，在人工画框时，标注出的脏乱差区域的尺寸范围为10x10至240x240像素，所述评分Dscore介于0-1.0之间，越接近于0表示越脏乱。
在步骤S2中，在人工画框时，按以下脏乱差特征在后厨图像X中画出标注框：A、地面污渍，B、墙面存在油污或污渍，C、墙面地面破损，D、地面碎屑食物残渣，E、地面杂物数量多且无序分布,F、桌面物品混乱。
在画标注框时，具体标注特征为；
a、对污渍进行标注，即结合全场景光照情况，以及区域纹理情况，对不符合地面、墙面、桌面原色的黑色污渍或灰色污渍进行画框标注；
b、对渣渍进行标注，即对场景中地面上出现的不符合后厨管理规范、分散突兀的颗粒进行画框标注；所述颗粒包括饭渣颗粒或菜叶颗粒。
c、对水渍进行标注，即对地面上水渍反光与泼溅，以及存在明显的干湿分布的湿区域进行画框标注。
d、对裂纹进行标注，即对墙面与地面存在的裂纹，地面出现的破损区域进行画框标注。
在步骤S3中，以几何自适应核方法把输入图像转换为网络结构所需要的脏乱密度图M，具体方法为：
设x为后厨图像X中的任意一个点；δ为X的标注数据框的集合；每个人工标注框中心点xi表示为δ(x-xi)，则对于标注有N个脏乱差区域的后厨图像的标签以公式表示为：
Figure BDA0003083214190000071
其中
Figure BDA0003083214190000072
为K个近邻的脏乱区域的平均距离
Figure BDA0003083214190000073
Figure BDA0003083214190000074
为标准差为σi的高斯核函数；β为控制参数，β＝0.3，以此构建出与后厨图像X同等大小的脏乱密度图M。
所述步骤S3中对多幅脏乱密度图M进行尺寸处理及归一化，用于解决不同图像的大小不一，宽高比不齐的问题，其方法是，对于后厨图像X与其对应的图像脏乱密度图M，保持其图像的宽高比，统一缩放到720*576，对于后厨图像X的输入图像，采用0.5填充图像剩余的非图像区域，对于图像脏乱密度图M采用0值填充剩余的图像位置。
所述步骤S3中对多幅脏乱密度图M进行归一化，具体方法为，对后厨图像X统一归一化到0-1.0之间，对于脏乱密度图M同样进行归一化到0-1.0之间，采用左右翻转对后厨图像X和对应的脏乱密度图M进行数据增强，以提升神经网络的鲁棒性。
在步骤S4中，构建用于脏乱差评价算法的神经网络时，设定神经网络核心网络中特征提取阶段由23个卷积块组成，包括一个卷积层，一个Relu激活函数，其中一个大卷积块的计算公式是：
Fn＝R(Wn*Fn-1+Bn) 公式一；
其中R表示非线性激活函数Relu；Wn、Bn分别表示特征提取阶段中卷积层的权重和偏置；Fn-1表示上一个卷积输出的特征图；Fn表示当前特征提取阶段得到的输出特征图；卷积核大小的取值范围为3、5、7。
在训练用于脏乱差评价算法的神经网络时，将后厨图像X作为神经网络的输入，采用MSEloss和L1loss进行网络训练，初始的学习率为1×10-5；训练过程分为多个子训练迭代；每次获取一批数量为12的图像数据X和M；每完成一个固定的训练迭代后逐步减小学习率，直至学习率减小到1×10-6为止；其训练过程中，脏乱差评价算法loss包含两部分，分别为脏乱差密度区域部分和脏乱差综合评分部分；脏乱差密度区域部分采用了MSEloss，脏乱差综合评分部分采用了L1loss，总的loss以公式定义如下。
Figure BDA0003083214190000081
其中M′为网络输出的脏乱差密度图；Mbicubic为脏乱差密度图M采用bicubic宽高各降采样为
Figure BDA0003083214190000082
后脏乱差密度图；N为M′总的像素个数，并且M′与Mbicubic总的像素个数相同；abs为绝对值函数；Dscore为标注的图像脏乱差综合评分；D′score为网络预测的图像脏乱差综合评分；λ为权重因子，取值为0.3。
训练用于脏乱差评价算法的神经网络时，总计的子训练周期不少于50万个；若在每个训练周期完成后，神经网络对后厨图片生成的评估结果与其对应的标注的脏乱差标注结果存在较大出入时，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数再执行每一个网络的初始训练步骤；
若在完成一个子训练周期后，神经网络对后厨图片生成的脏乱差评价结果可以识别出图像中存在的污渍、渣渍、水渍、裂纹特征，或完成所有预设的子训练周期的次数后，则认为神经网络已完成训练。

Claims (10)

1.一种基于密度估计的后厨脏乱差评价方法，其特征在于：所述方法包括以下步骤；
步骤S1、收集后厨视频，从其对应的视频帧中抽取后厨图像X；
步骤S2、以人工画框的方式，在后厨图像X内标注出图像中存在的脏乱差区域形成尺寸在预设范围内的标注框，并对脏乱差情况进行评分Dscore；
步骤S3、根据标注框的分布及标签来构建与后厨图像X同等大小的脏乱密度图M；对多幅脏乱密度图M进行尺寸处理及归一化；
步骤S4、以后厨图像X、脏乱密度图M的图像数据构建及训练用于脏乱差评价算法的神经网络；
步骤S5、以训练完成的神经网络来对视频图像中的后厨脏乱差程度进行评估。
2.根据权利要求1所述的一种基于密度估计的后厨脏乱差评价方法，其特征在于：在步骤S2中，在人工画框时，标注出的脏乱差区域的尺寸范围为10x10至240x240像素，所述评分Dscore介于0-1.0之间，越接近于0表示越脏乱。
3.根据权利要求2所述的一种基于密度估计的后厨脏乱差评价方法，其特征在于：在步骤S2中，在人工画框时，按以下脏乱差特征在后厨图像X中画出标注框：A、地面污渍，B、墙面存在油污或污渍，C、墙面地面破损，D、地面碎屑食物残渣，E、地面杂物数量多且无序分布，F、桌面物品混乱。
4.根据权利要求3所述的一种基于密度估计的后厨脏乱差评价方法，其特征在于：在画标注框时，具体标注特征为；
a、对污渍进行标注，即结合全场景光照情况，以及区域纹理情况，对不符合地面、墙面、桌面原色的黑色污渍或灰色污渍进行画框标注；
b、对渣渍进行标注，即对场景中地面上出现的不符合后厨管理规范、分散突兀的颗粒进行画框标注；所述颗粒包括饭渣颗粒或菜叶颗粒。
c、对水渍进行标注，即对地面上水渍反光与泼溅，以及存在明显的干湿分布的湿区域进行画框标注。
d、对裂纹进行标注，即对墙面与地面存在的裂纹，地面出现的破损区域进行画框标注。
5.根据权利要求1所述的一种基于密度估计的后厨脏乱差评价方法，其特征在于：在步骤S3中，以几何自适应核方法把输入图像转换为网络结构所需要的脏乱密度图M，具体方法为：
设x为后厨图像X中的任意一个点；δ为X的标注数据框的集合；每个人工标注框中心点xi表示为δ(x-xi)，则对于标注有N个脏乱差区域的后厨图像的标签以公式表示为：
Figure FDA0003083214180000021
其中
Figure FDA0003083214180000022
为K个近邻的脏乱区域的平均距离
Figure FDA0003083214180000023
Figure FDA0003083214180000024
为标准差为σi的高斯核函数；β为控制参数，β＝0.3，以此构建出与后厨图像X同等大小的脏乱密度图M。
6.根据权利要求1所述的一种基于密度估计的后厨脏乱差评价方法，其特征在于：所述步骤S3中对多幅脏乱密度图M进行尺寸处理及归一化，用于解决不同图像的大小不一，宽高比不齐的问题，其方法是，对于后厨图像X与其对应的图像脏乱密度图M，保持其图像的宽高比，统一缩放到720*576，对于后厨图像X的输入图像，采用0.5填充图像剩余的非图像区域，对于图像脏乱密度图M采用0值填充剩余的图像位置。
7.根据权利要求1所述的一种基于密度估计的后厨脏乱差评价方法，其特征在于：所述步骤S3中对多幅脏乱密度图M进行归一化，具体方法为，对后厨图像X统一归一化到0-1.0之间，对于脏乱密度图M同样进行归一化到0-1.0之间，采用左右翻转对后厨图像X和对应的脏乱密度图M进行数据增强，以提升神经网络的鲁棒性。
8.根据权利要求7所述的一种基于密度估计的后厨脏乱差评价方法，其特征在于：在步骤S4中，构建用于脏乱差评价算法的神经网络时，设定神经网络核心网络中特征提取阶段由23个卷积块组成，包括一个卷积层，一个Relu激活函数，其中一个大卷积块的计算公式是：
Fn＝R(Wn*Fn-1+Bn) 公式一；
其中R表示非线性激活函数Relu；Wn、Bn分别表示特征提取阶段中卷积层的权重和偏置；Fn-1表示上一个卷积输出的特征图；Fn表示当前特征提取阶段得到的输出特征图；卷积核大小的取值范围为3、5、7。
9.根据权利要求8所述的一种基于密度估计的后厨脏乱差评价方法，其特征在于：在训练用于脏乱差评价算法的神经网络时，将后厨图像X作为神经网络的输入，采用MSE loss和L1 loss进行网络训练，初始的学习率为1×10-5；训练过程分为多个子训练迭代；每次获取一批数量为12的图像数据X和M；每完成一个固定的训练迭代后逐步减小学习率，直至学习率减小到1×10-6为止；
其训练过程中，脏乱差评价算法loss包含两部分，分别为脏乱差密度区域部分和脏乱差综合评分部分；脏乱差密度区域部分采用了MSE loss，脏乱差综合评分部分采用了L1loss，总的loss以公式定义如下。
Figure FDA0003083214180000031
其中M′为网络输出的脏乱差密度图；Mbicubic为脏乱差密度图M采用bicubic宽高各降采样为
Figure FDA0003083214180000032
后脏乱差密度图；N为M′总的像素个数，并且M′与Mbicubic总的像素个数相同；abs为绝对值函数；Dscore为标注的图像脏乱差综合评分；D′score为网络预测的图像脏乱差综合评分；λ为权重因子，取值为0.3。
10.根据权利要求9所述的一种基于密度估计的后厨脏乱差评价方法，其特征在于：训练用于脏乱差评价算法的神经网络时，总计的子训练周期不少于50万个；若在每个训练周期完成后，神经网络对后厨图片生成的评估结果与其对应的标注的脏乱差标注结果存在较大出入时，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数再执行每一个网络的初始训练步骤；
若在完成一个子训练周期后，神经网络对后厨图片生成的脏乱差评价结果可以识别出图像中存在的污渍、渣渍、水渍、裂纹特征，或完成所有预设的子训练周期的次数后，则认为神经网络已完成训练。
CN202110572399.0A 2021-05-25 2021-05-25 一种基于密度估计的后厨脏乱差评价方法 Active CN113177519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110572399.0A CN113177519B (zh) 2021-05-25 2021-05-25 一种基于密度估计的后厨脏乱差评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110572399.0A CN113177519B (zh) 2021-05-25 2021-05-25 一种基于密度估计的后厨脏乱差评价方法

Publications (2)

Publication Number Publication Date
CN113177519A true CN113177519A (zh) 2021-07-27
CN113177519B CN113177519B (zh) 2021-12-14

Family

ID=76929979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110572399.0A Active CN113177519B (zh) 2021-05-25 2021-05-25 一种基于密度估计的后厨脏乱差评价方法

Country Status (1)

Country Link
CN (1) CN113177519B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032280A1 (en) * 2015-07-27 2017-02-02 Salesforce.Com, Inc. Engagement estimator
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN108710858A (zh) * 2018-05-22 2018-10-26 中国计量大学 一种基于表情识别的城市幸福指数动态热力图生成方法
CN110096929A (zh) * 2018-01-30 2019-08-06 微软技术许可有限责任公司 基于神经网络的目标检测
CN110517487A (zh) * 2019-08-16 2019-11-29 重庆特斯联智慧科技股份有限公司 基于热力图变化识别的城市区域交通资源调控方法及系统
CN111079806A (zh) * 2019-12-03 2020-04-28 南京硅基智能科技有限公司 一种后厨卫生的监控方法及系统
CN111340758A (zh) * 2020-02-17 2020-06-26 天津中科智能识别产业技术研究院有限公司 一种基于深度神经网络的高效虹膜图像质量评价新方法
CN111507320A (zh) * 2020-07-01 2020-08-07 平安国际智慧城市科技股份有限公司 后厨违规行为检测方法、装置、设备和存储介质
CN111931631A (zh) * 2020-08-05 2020-11-13 成佃丰 基于bim和人工智能的猪饮用水检测成像方法
CN111985316A (zh) * 2020-07-10 2020-11-24 上海富洁科技有限公司 一种用于道路智能清扫的路面垃圾感知方法
CN112183403A (zh) * 2020-09-30 2021-01-05 郑州迈拓信息技术有限公司 一种基于计算机视觉的光伏清洗机器人清洗速度调节方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
US20170032280A1 (en) * 2015-07-27 2017-02-02 Salesforce.Com, Inc. Engagement estimator
CN110096929A (zh) * 2018-01-30 2019-08-06 微软技术许可有限责任公司 基于神经网络的目标检测
CN108710858A (zh) * 2018-05-22 2018-10-26 中国计量大学 一种基于表情识别的城市幸福指数动态热力图生成方法
CN110517487A (zh) * 2019-08-16 2019-11-29 重庆特斯联智慧科技股份有限公司 基于热力图变化识别的城市区域交通资源调控方法及系统
CN111079806A (zh) * 2019-12-03 2020-04-28 南京硅基智能科技有限公司 一种后厨卫生的监控方法及系统
CN111340758A (zh) * 2020-02-17 2020-06-26 天津中科智能识别产业技术研究院有限公司 一种基于深度神经网络的高效虹膜图像质量评价新方法
CN111507320A (zh) * 2020-07-01 2020-08-07 平安国际智慧城市科技股份有限公司 后厨违规行为检测方法、装置、设备和存储介质
CN111985316A (zh) * 2020-07-10 2020-11-24 上海富洁科技有限公司 一种用于道路智能清扫的路面垃圾感知方法
CN111931631A (zh) * 2020-08-05 2020-11-13 成佃丰 基于bim和人工智能的猪饮用水检测成像方法
CN112183403A (zh) * 2020-09-30 2021-01-05 郑州迈拓信息技术有限公司 一种基于计算机视觉的光伏清洗机器人清洗速度调节方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
M. TOĞAÇAR ET AL: "Brain Hemorrhage Detection based on Heat Maps, Autoencoder and CNN Architecture", 《2019 1ST INTERNATIONAL INFORMATICS AND SOFTWARE ENGINEERING CONFERENCE (UBMYK)》 *
SNWANG_MISS: "《https://blog.csdn.net/snwang_miss/article/details/77851203》", 5 September 2017 *
张世杰等: "基于深度学习区域融合的骨龄评价研究", 《现代计算机》 *
我拿BUFF: "《https://blog.csdn.net/gaohuazhao/article/details/52345688》", 28 August 2016 *

Also Published As

Publication number Publication date
CN113177519B (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN110544251B (zh) 基于多迁移学习模型融合的大坝裂缝检测方法
CN104794491B (zh) 基于预分类的模糊聚类钢板表面缺陷检测方法
CN107230202B (zh) 路面病害图像的自动识别方法和系统
CN103593670B (zh) 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
CN101783012B (zh) 一种基于暗原色的自动图像去雾方法
CN103048329B (zh) 一种基于主动轮廓模型的路面裂缝检测方法
CN108416766B (zh) 双侧入光式导光板缺陷视觉检测方法
CN110119687A (zh) 基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法
CN115082683A (zh) 一种基于图像处理的注塑缺陷检测方法
CN106096610A (zh) 一种基于支持向量机的文档图像二值化方法
CN103853724B (zh) 多媒体数据分类方法及装置
CN111080636B (zh) 彩钢瓦表面缺陷的cnn语义分割自学习检测方法
CN105512666A (zh) 一种基于视频的河道垃圾识别方法
CN114972356B (zh) 塑料制品表面缺陷检测识别方法及系统
CN108961230B (zh) 结构表面裂缝特征的识别与提取方法
CN113554629A (zh) 基于人工智能的带钢红锈缺陷检测方法
CN108181316A (zh) 一种基于机器视觉的竹条缺陷检测方法
CN112132196B (zh) 一种结合深度学习和图像处理的烟盒缺陷识别方法
CN110110780A (zh) 一种基于对抗神经网络和海量噪声数据的图片分类方法
CN110751606B (zh) 一种基于神经网络算法的泡沫图像处理方法及系统
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN109598681A (zh) 一种对称唐卡修复后图像的无参考质量评价方法
CN108921857A (zh) 一种面向监视场景的视频图像焦点区域分割方法
Niu et al. Data augmentation on defect detection of sanitary ceramics
CN113989585B (zh) 一种基于多特征融合语义分割的中厚板表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant