CN113177519B - 一种基于密度估计的后厨脏乱差评价方法 - Google Patents
一种基于密度估计的后厨脏乱差评价方法 Download PDFInfo
- Publication number
- CN113177519B CN113177519B CN202110572399.0A CN202110572399A CN113177519B CN 113177519 B CN113177519 B CN 113177519B CN 202110572399 A CN202110572399 A CN 202110572399A CN 113177519 B CN113177519 B CN 113177519B
- Authority
- CN
- China
- Prior art keywords
- dirty
- kitchen
- image
- messy
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000011156 evaluation Methods 0.000 claims abstract description 32
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 239000002245 particle Substances 0.000 claims description 6
- 239000002893 slag Substances 0.000 claims description 6
- 239000010794 food waste Substances 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 235000007164 Oryza sativa Nutrition 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 235000009566 rice Nutrition 0.000 claims description 3
- 235000013311 vegetables Nutrition 0.000 claims description 3
- 240000007594 Oryza sativa Species 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 abstract description 2
- 235000013305 food Nutrition 0.000 description 6
- 239000008187 granular material Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011278 co-treatment Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/12—Hotels or restaurants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Primary Health Care (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于密度估计的后厨脏乱差评价方法,包括以下步骤;步骤S1、收集后厨视频,从其对应的视频帧中抽取后厨图像X;步骤S2、以人工在后厨图像X内标注出图像中存在的脏乱差区域形成尺寸在预设范围内的标注框,并对脏乱差情况进行评分;步骤S3、根据标注框的分布及标签来构建与后厨图像X同等大小的脏乱密度图M;对多幅脏乱密度图M进行尺寸处理及归一化;步骤S4、以后厨图像X、脏乱密度图M的图像数据构建及训练用于脏乱差评价算法的神经网络;步骤S5、以神经网络来对视频图像中的后厨脏乱差程度进行评估;本发明通过卷积神经网络自动对场景的脏乱差情况进行打分,同时采用脏乱密度图标识出脏乱差具体位置,有助于商家改进后厨环境。
Description
技术领域
本发明涉及图像分析技术领域,尤其是一种基于密度估计的后厨脏乱差评价方法。
背景技术
在2018年国家市场监管总局关于印发餐饮服务明厨亮灶工作指导意见的通知(国市监食监二〔2018〕32号)中,为了督促餐饮服务者,加强食品安全管理,规范加工过程,推动餐饮服务食品安全社会共治,根据《中华人民共和国食品安全法》的有关规定,国家市场监管总局制定了《餐饮服务明厨亮灶工作指导意见》。作为明厨亮灶中重要的一项,对后厨脏乱差进行评估和评价是当前市场监督管理局关注的重点。通过智慧明厨亮灶子系统向消费者公开食品加工烹饪、冷菜专间等制作重点区域食品加工操作过程,以及对“脏乱差”智能分析评估。从源头上公开透明监管,利用智能分析算法,及时通知及时整改,加强整体餐饮行业自律以及信息公开透明度。
后厨“脏乱差”可以更具体地表述为,“脏”和“乱”分别表示后厨的状态,“差”是对后厨的综合评价。图像中存在的脏乱差区域可以分为以下几个类别:
1、地面污渍
2、墙面油污(污渍)
3、墙面地面破损
4、地面碎屑食物残渣
5、地面杂物复杂
6、桌面混乱
这些类别有的本身粒度微小,评价难度大,属于不规则的目标,评价难度大。同时脏乱差还集中存在图像中桌面混乱,地面杂物多等大粒度,怎么才能获取到图像中存在的脏乱情况?为了对后厨“脏乱差”做出评价,本发明设计了对后厨脏乱差评价网络,并且为了能够对具体什么位置出现“脏”,“乱”的情况,本文设计了对脏乱差区域的热力图,对图像中爆出脏乱差的区域进行进一步的标识。
以往的工作中并没有对后厨图像脏乱差的研究,更多的研究基于图像中存在的热力图,进行人流或者数据分布的研究。也有基于数据的热力图生成方法,但相对于后厨脏乱差而言,并没有那么多的数据进行图像的绘制。
为了解决以上算法的问题,使得脏乱差评估与标识出脏乱差具体区域位置在一个网络内完成,本发明构建了创新性卷积神经网络,可以覆盖图像中广泛的内容变化对图像中的脏乱差进行评分,并且可以根据其识别的内容自适应地学习脏乱差规则,并对于脏乱差区域绘制热力图标识出脏乱差的具体位置。借助对神经网络的改进和持续优化,当前在实际场景中已经可以做到实时的脏乱差判别。
发明内容
本发明提出一种基于密度估计的后厨脏乱差评价方法,通过卷积神经网络自动对场景的脏乱差情况进行打分,同时采用脏乱密度图标识出脏乱差具体位置,有助于商家改进后厨环境。
本发明采用以下技术方案。
一种基于密度估计的后厨脏乱差评价方法,所述方法包括以下步骤;
步骤S1、收集后厨视频,从其对应的视频帧中抽取后厨图像X;
步骤S2、以人工画框的方式,在后厨图像X内标注出图像中存在的脏乱差区域形成尺寸在预设范围内的标注框,并对脏乱差情况进行评分Dscore;
步骤S3、根据标注框的分布及标签来构建与后厨图像X同等大小的脏乱密度图M;对多幅脏乱密度图M进行尺寸处理及归一化;
步骤S4、以后厨图像X、脏乱密度图M的图像数据构建及训练用于脏乱差评价算法的神经网络;
步骤S5、以训练完成的神经网络来对视频图像中的后厨脏乱差程度进行评估。
在步骤S2中,在人工画框时,标注出的脏乱差区域的尺寸范围为10x10至240x240像素,所述评分Dscore介于0-1.0之间,越接近于0表示越脏乱。
在步骤S2中,在人工画框时,按以下脏乱差特征在后厨图像X中画出标注框:A、地面污渍,B、墙面存在油污或污渍,C、墙面地面破损,D、地面碎屑食物残渣,E、地面杂物数量多且无序分布,F、桌面物品混乱。
在画标注框时,具体标注特征为;
a、对污渍进行标注,即结合全场景光照情况,以及区域纹理情况,对不符合地面、墙面、桌面原色的黑色污渍或灰色污渍进行画框标注;
b、对渣渍进行标注,即对场景中地面上出现的不符合后厨管理规范、分散突兀的颗粒进行画框标注;所述颗粒包括饭渣颗粒或菜叶颗粒。
c、对水渍进行标注,即对地面上水渍反光与泼溅,以及存在明显的干湿分布的湿区域进行画框标注。
d、对裂纹进行标注,即对墙面与地面存在的裂纹,地面出现的破损区域进行画框标注。
在步骤S3中,以几何自适应核方法把输入图像转换为网络结构所需要的脏乱密度图M,具体方法为:
设x为后厨图像X中的任意一个点;δ为X的标注数据框的集合;每个人工标注框中心点xi表示为δ(x-xi),则对于标注有N个脏乱差区域的后厨图像的标签以公式表示为:
所述步骤S3中对多幅脏乱密度图M进行尺寸处理及归一化,用于解决不同图像的大小不一,宽高比不齐的问题,其方法是,对于后厨图像X与其对应的图像脏乱密度图M,保持其图像的宽高比,统一缩放到720*576,对于后厨图像X的输入图像,采用0.5填充图像剩余的非图像区域,对于图像脏乱密度图M采用0值填充剩余的图像位置。
所述步骤S3中对多幅脏乱密度图M进行归一化,具体方法为,对后厨图像X统一归一化到0-1.0之间,对于脏乱密度图M同样进行归一化到0-1.0之间,采用左右翻转对后厨图像X和对应的脏乱密度图M进行数据增强,以提升神经网络的鲁棒性。
在步骤S4中,构建用于脏乱差评价算法的神经网络时,设定神经网络核心网络中特征提取阶段由23个卷积块组成,包括一个卷积层,一个Relu激活函数,其中一个大卷积块的计算公式是:
Fn=R(Wn*Fn-1+Bn) 公式一;
其中R表示非线性激活函数Relu;Wn、Bn分别表示特征提取阶段中卷积层的权重和偏置;Fn-1表示上一个卷积输出的特征图;Fn表示当前特征提取阶段得到的输出特征图;卷积核大小的取值范围为3、5、7。
在训练用于脏乱差评价算法的神经网络时,将后厨图像X作为神经网络的输入,采用MSEloss和L1loss进行网络训练,初始的学习率为1×10-5;训练过程分为多个子训练迭代;每次获取一批数量为12的图像数据X和M;每完成一个固定的训练迭代后逐步减小学习率,直至学习率减小到1×10-6为止;其训练过程中,脏乱差评价算法loss包含两部分,分别为脏乱差密度区域部分和脏乱差综合评分部分;脏乱差密度区域部分采用了MSEloss,脏乱差综合评分部分采用了L1loss,总的loss以公式定义如下。
其中M′为网络输出的脏乱差密度图;Mbicubic为脏乱差密度图M采用bicubic宽高各降采样为后脏乱差密度图;N为M′总的像素个数,并且M′与Mbicubic总的像素个数相同;abs为绝对值函数;Dscore为标注的图像脏乱差综合评分;D′score为网络预测的图像脏乱差综合评分;λ为权重因子,取值为0.3。
训练用于脏乱差评价算法的神经网络时,总计的子训练周期不少于50万个;若在每个训练周期完成后,神经网络对后厨图片生成的评估结果与其对应的标注的脏乱差标注结果存在较大出入时,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数再执行每一个网络的初始训练步骤;
若在完成一个子训练周期后,神经网络对后厨图片生成的脏乱差评价结果可以识别出图像中存在的污渍、渣渍、水渍、裂纹特征,或完成所有预设的子训练周期的次数后,则认为神经网络已完成训练。
本发明可使得脏乱差评估与标识出脏乱差具体区域位置在一个神经网络内完成,通过构建的创新性卷积神经网络,可以覆盖图像中广泛的内容变化对图像中的脏乱差进行评分,并且可以根据其识别的内容自适应地学习脏乱差规则,并对于脏乱差区域绘制热力图标识出脏乱差的具体位置,本发明借助对神经网络的改进和持续优化,当前在实际场景中已经可以做到实时的脏乱差判别。
本发明的优点主要体现在两个方面:
第一,首次采用神经网络对后厨的脏乱差情况进行了评价,不仅对脏乱差程度进行了打分,同时对每张图像中存在的脏乱差区域进行了标识,对市场监督管理部门执法提供了依据,同时对餐饮商家进一步改善后厨环境提供了参考。
第二,结合最新的密度估计研究成果,采用多尺度特征与不同感受野特征相互融合的算法,形成了简洁的脏乱差评价网络,并且在Nvidia2070GPU上可以达到实时的展示效果。本发明的脏乱差评价方法通过生成图像中脏乱差的区域热力图和评分,结合改进的网络结构,对图像中存在的脏乱差区域进行标识。生成的脏乱差区域准确可靠,评分客观准确。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明:
附图1是本发明的图像标注过程示意图;
附图2是本发明训练神经网络的流程示意图;
附图3是用于后厨脏乱差评价的神经网络的结构示意图;
附图4是本发明所述方法实施效果的示意图(左侧为原图,右侧为绘制的热力图,右侧灰低白字为综合评分,分数越低越脏乱);
附图5是本发明所述方法实施效果的另一示意图(左侧为原图,右侧为绘制的热力图,右侧灰低白字为综合评分)。
具体实施方式
如图所示,一种基于密度估计的后厨脏乱差评价方法,所述方法包括以下步骤;
步骤S1、收集后厨视频,从其对应的视频帧中抽取后厨图像X;
步骤S2、以人工画框的方式,在后厨图像X内标注出图像中存在的脏乱差区域形成尺寸在预设范围内的标注框,并对脏乱差情况进行评分Dscore;
步骤S3、根据标注框的分布及标签来构建与后厨图像X同等大小的脏乱密度图M;对多幅脏乱密度图M进行尺寸处理及归一化;
步骤S4、以后厨图像X、脏乱密度图M的图像数据构建及训练用于脏乱差评价算法的神经网络;
步骤S5、以训练完成的神经网络来对视频图像中的后厨脏乱差程度进行评估。
在步骤S2中,在人工画框时,标注出的脏乱差区域的尺寸范围为10x10至240x240像素,所述评分Dscore介于0-1.0之间,越接近于0表示越脏乱。
在步骤S2中,在人工画框时,按以下脏乱差特征在后厨图像X中画出标注框:A、地面污渍,B、墙面存在油污或污渍,C、墙面地面破损,D、地面碎屑食物残渣,E、地面杂物数量多且无序分布,F、桌面物品混乱。
在画标注框时,具体标注特征为;
a、对污渍进行标注,即结合全场景光照情况,以及区域纹理情况,对不符合地面、墙面、桌面原色的黑色污渍或灰色污渍进行画框标注;
b、对渣渍进行标注,即对场景中地面上出现的不符合后厨管理规范、分散突兀的颗粒进行画框标注;所述颗粒包括饭渣颗粒或菜叶颗粒。
c、对水渍进行标注,即对地面上水渍反光与泼溅,以及存在明显的干湿分布的湿区域进行画框标注。
d、对裂纹进行标注,即对墙面与地面存在的裂纹,地面出现的破损区域进行画框标注。
在步骤S3中,以几何自适应核方法把输入图像转换为网络结构所需要的脏乱密度图M,具体方法为:
设x为后厨图像X中的任意一个点;δ为X的标注数据框的集合;每个人工标注框中心点xi表示为δ(x-xi),则对于标注有N个脏乱差区域的后厨图像的标签以公式表示为:
所述步骤S3中对多幅脏乱密度图M进行尺寸处理及归一化,用于解决不同图像的大小不一,宽高比不齐的问题,其方法是,对于后厨图像X与其对应的图像脏乱密度图M,保持其图像的宽高比,统一缩放到720*576,对于后厨图像X的输入图像,采用0.5填充图像剩余的非图像区域,对于图像脏乱密度图M采用0值填充剩余的图像位置。
所述步骤S3中对多幅脏乱密度图M进行归一化,具体方法为,对后厨图像X统一归一化到0-1.0之间,对于脏乱密度图M同样进行归一化到0-1.0之间,采用左右翻转对后厨图像X和对应的脏乱密度图M进行数据增强,以提升神经网络的鲁棒性。
在步骤S4中,构建用于脏乱差评价算法的神经网络时,设定神经网络核心网络中特征提取阶段由23个卷积块组成,包括一个卷积层,一个Relu激活函数,其中一个大卷积块的计算公式是:
Fn=R(Wn*Fn-1+Bn) 公式一;
其中R表示非线性激活函数Relu;Wn、Bn分别表示特征提取阶段中卷积层的权重和偏置;Fn-1表示上一个卷积输出的特征图;Fn表示当前特征提取阶段得到的输出特征图;卷积核大小的取值范围为3、5、7。
在训练用于脏乱差评价算法的神经网络时,将后厨图像X作为神经网络的输入,采用MSEloss和L1loss进行网络训练,初始的学习率为1×10-5;训练过程分为多个子训练迭代;每次获取一批数量为12的图像数据X和M;每完成一个固定的训练迭代后逐步减小学习率,直至学习率减小到1×10-6为止;其训练过程中,脏乱差评价算法loss包含两部分,分别为脏乱差密度区域部分和脏乱差综合评分部分;脏乱差密度区域部分采用了MSEloss,脏乱差综合评分部分采用了L1loss,总的loss以公式定义如下。
其中M′为网络输出的脏乱差密度图;Mbicubic为脏乱差密度图M采用bicubic宽高各降采样为后脏乱差密度图;N为M′总的像素个数,并且M′与Mbicubic总的像素个数相同;abs为绝对值函数;Dscore为标注的图像脏乱差综合评分;D′score为网络预测的图像脏乱差综合评分;λ为权重因子,取值为0.3。
训练用于脏乱差评价算法的神经网络时,总计的子训练周期不少于50万个;若在每个训练周期完成后,神经网络对后厨图片生成的评估结果与其对应的标注的脏乱差标注结果存在较大出入时,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数再执行每一个网络的初始训练步骤;
若在完成一个子训练周期后,神经网络对后厨图片生成的脏乱差评价结果可以识别出图像中存在的污渍、渣渍、水渍、裂纹特征,或完成所有预设的子训练周期的次数后,则认为神经网络已完成训练。
Claims (7)
1.一种基于密度估计的后厨脏乱差评价方法,其特征在于:所述方法包括以下步骤;
步骤S1、收集后厨视频,从其对应的视频帧中抽取后厨图像X;
步骤S2、以人工画框的方式,在后厨图像X内标注出图像中存在的脏乱差区域形成尺寸在预设范围内的标注框,并对脏乱差情况进行评分Dscore;
步骤S3、根据标注框的分布及标签来构建与后厨图像X同等大小的脏乱密度图M;对多幅脏乱密度图M进行尺寸处理及归一化;
步骤S4、以后厨图像X、脏乱密度图M的图像数据构建及训练用于脏乱差评价算法的神经网络;
步骤S5、以训练完成的神经网络来对视频图像中的后厨脏乱差程度进行评估;所述步骤S3中对多幅脏乱密度图M进行归一化,具体方法为,对后厨图像X统一归一化到0-1.0之间,对于脏乱密度图M同样进行归一化到0-1.0之间,采用左右翻转对后厨图像X和对应的脏乱密度图M进行数据增强,以提升神经网络的鲁棒性;
在步骤S4中,构建用于脏乱差评价算法的神经网络时,设定神经网络核心网络中特征提取阶段由23个卷积块组成,包括一个卷积层,一个Relu激活函数,其中一个大卷积块的计算公式是:
Fn=R(Wn*Fn-1+Bn) 公式一;
其中R表示非线性激活函数Relu;Wn、Bn分别表示特征提取阶段中卷积层的权重和偏置;Fn-1表示上一个卷积输出的特征图;Fn表示当前特征提取阶段得到的输出特征图;卷积核大小的取值范围为3、5、7;
在训练用于脏乱差评价算法的神经网络时,将后厨图像X作为神经网络的输入,采用MSE loss和L1 loss进行网络训练,初始的学习率为1×10-5;训练过程分为多个子训练迭代;每次获取一批数量为12的图像数据X和M;每完成一个固定的训练迭代后逐步减小学习率,直至学习率减小到1×10-6为止;
其训练过程中,脏乱差评价算法loss包含两部分,分别为脏乱差密度区域部分和脏乱差综合评分部分;脏乱差密度区域部分采用了MSE loss,脏乱差综合评分部分采用了L1loss,总的loss以公式定义如下;
公式二;
2.根据权利要求1所述的一种基于密度估计的后厨脏乱差评价方法,其特征在于:在步骤S2中,在人工画框时,标注出的脏乱差区域的尺寸范围为10*10至240*240像素,所述评分Dscore介于0-1.0之间,越接近于0表示越脏乱。
3.根据权利要求2所述的一种基于密度估计的后厨脏乱差评价方法,其特征在于:在步骤S2中,在人工画框时,按以下脏乱差特征在后厨图像X中画出标注框:A、地面污渍,B、墙面存在油污或污渍,C、墙面地面破损,D、地面碎屑食物残渣,E、地面杂物数量多且无序分布,F、桌面物品混乱。
4.根据权利要求3所述的一种基于密度估计的后厨脏乱差评价方法,其特征在于:在画标注框时,具体标注特征为;
a、对污渍进行标注,即结合全场景光照情况,以及区域纹理情况,对不符合地面、墙面、桌面原色的黑色污渍或灰色污渍进行画框标注;
b、对渣渍进行标注,即对场景中地面上出现的不符合后厨管理规范、分散突兀的颗粒进行画框标注;所述颗粒包括饭渣颗粒或菜叶颗粒;
c、对水渍进行标注,即对地面上水渍反光与泼溅,以及存在明显的干湿分布的湿区域进行画框标注;
d、对裂纹进行标注,即对墙面与地面存在的裂纹,地面出现的破损区域进行画框标注。
6.根据权利要求1所述的一种基于密度估计的后厨脏乱差评价方法,其特征在于:所述步骤S3中对多幅脏乱密度图M进行尺寸处理及归一化,用于解决不同图像的大小不一,宽高比不齐的问题,其方法是,对于后厨图像X与其对应的图像脏乱密度图M,保持其图像的宽高比,统一缩放到720*576,对于后厨图像X的输入图像,采用0.5填充图像剩余的非图像区域,对于图像脏乱密度图M采用0值填充剩余的图像位置。
7.根据权利要求1所述的一种基于密度估计的后厨脏乱差评价方法,其特征在于:训练用于脏乱差评价算法的神经网络时,总计的子训练周期不少于50万个;
若在每个训练周期完成后,神经网络对后厨图片生成的评估结果与其对应的标注的脏乱差标注结果存在出入时,则继续进行反向传播,利用梯度下降优化算法更新卷积权值参数和偏置参数再执行每一个网络的初始训练步骤;
若在完成一个子训练周期后,神经网络对后厨图片生成的脏乱差评价结果可以识别出图像中存在的污渍、渣渍、水渍、裂纹特征,或完成所有预设的子训练周期的次数后,则认为神经网络已完成训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110572399.0A CN113177519B (zh) | 2021-05-25 | 2021-05-25 | 一种基于密度估计的后厨脏乱差评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110572399.0A CN113177519B (zh) | 2021-05-25 | 2021-05-25 | 一种基于密度估计的后厨脏乱差评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113177519A CN113177519A (zh) | 2021-07-27 |
CN113177519B true CN113177519B (zh) | 2021-12-14 |
Family
ID=76929979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110572399.0A Active CN113177519B (zh) | 2021-05-25 | 2021-05-25 | 一种基于密度估计的后厨脏乱差评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113177519B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110517487A (zh) * | 2019-08-16 | 2019-11-29 | 重庆特斯联智慧科技股份有限公司 | 基于热力图变化识别的城市区域交通资源调控方法及系统 |
CN111079806A (zh) * | 2019-12-03 | 2020-04-28 | 南京硅基智能科技有限公司 | 一种后厨卫生的监控方法及系统 |
CN111340758A (zh) * | 2020-02-17 | 2020-06-26 | 天津中科智能识别产业技术研究院有限公司 | 一种基于深度神经网络的高效虹膜图像质量评价新方法 |
CN111507320A (zh) * | 2020-07-01 | 2020-08-07 | 平安国际智慧城市科技股份有限公司 | 后厨违规行为检测方法、装置、设备和存储介质 |
CN111931631A (zh) * | 2020-08-05 | 2020-11-13 | 成佃丰 | 基于bim和人工智能的猪饮用水检测成像方法 |
CN111985316A (zh) * | 2020-07-10 | 2020-11-24 | 上海富洁科技有限公司 | 一种用于道路智能清扫的路面垃圾感知方法 |
CN112183403A (zh) * | 2020-09-30 | 2021-01-05 | 郑州迈拓信息技术有限公司 | 一种基于计算机视觉的光伏清洗机器人清洗速度调节方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11074495B2 (en) * | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
US20170032280A1 (en) * | 2015-07-27 | 2017-02-02 | Salesforce.Com, Inc. | Engagement estimator |
CN110096929A (zh) * | 2018-01-30 | 2019-08-06 | 微软技术许可有限责任公司 | 基于神经网络的目标检测 |
CN108710858B (zh) * | 2018-05-22 | 2021-07-06 | 中国计量大学 | 一种基于表情识别的城市幸福指数动态热力图生成方法 |
-
2021
- 2021-05-25 CN CN202110572399.0A patent/CN113177519B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110517487A (zh) * | 2019-08-16 | 2019-11-29 | 重庆特斯联智慧科技股份有限公司 | 基于热力图变化识别的城市区域交通资源调控方法及系统 |
CN111079806A (zh) * | 2019-12-03 | 2020-04-28 | 南京硅基智能科技有限公司 | 一种后厨卫生的监控方法及系统 |
CN111340758A (zh) * | 2020-02-17 | 2020-06-26 | 天津中科智能识别产业技术研究院有限公司 | 一种基于深度神经网络的高效虹膜图像质量评价新方法 |
CN111507320A (zh) * | 2020-07-01 | 2020-08-07 | 平安国际智慧城市科技股份有限公司 | 后厨违规行为检测方法、装置、设备和存储介质 |
CN111985316A (zh) * | 2020-07-10 | 2020-11-24 | 上海富洁科技有限公司 | 一种用于道路智能清扫的路面垃圾感知方法 |
CN111931631A (zh) * | 2020-08-05 | 2020-11-13 | 成佃丰 | 基于bim和人工智能的猪饮用水检测成像方法 |
CN112183403A (zh) * | 2020-09-30 | 2021-01-05 | 郑州迈拓信息技术有限公司 | 一种基于计算机视觉的光伏清洗机器人清洗速度调节方法 |
Non-Patent Citations (2)
Title |
---|
Brain Hemorrhage Detection based on Heat Maps, Autoencoder and CNN Architecture;M. Toğaçar et al;《2019 1st International Informatics and Software Engineering Conference (UBMYK)》;20191231;全文 * |
基于深度学习区域融合的骨龄评价研究;张世杰等;《现代计算机》;20200930(第9期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113177519A (zh) | 2021-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110544251B (zh) | 基于多迁移学习模型融合的大坝裂缝检测方法 | |
CN104794491B (zh) | 基于预分类的模糊聚类钢板表面缺陷检测方法 | |
CN110119687A (zh) | 基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法 | |
CN109376792A (zh) | 基于多通道残差神经网络的光伏电池外观缺陷分类方法 | |
CN108416766B (zh) | 双侧入光式导光板缺陷视觉检测方法 | |
CN115082683A (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
CN106096610A (zh) | 一种基于支持向量机的文档图像二值化方法 | |
CN111080636B (zh) | 彩钢瓦表面缺陷的cnn语义分割自学习检测方法 | |
CN105512666A (zh) | 一种基于视频的河道垃圾识别方法 | |
CN113554629A (zh) | 基于人工智能的带钢红锈缺陷检测方法 | |
CN112132196B (zh) | 一种结合深度学习和图像处理的烟盒缺陷识别方法 | |
CN108181316A (zh) | 一种基于机器视觉的竹条缺陷检测方法 | |
CN110110780A (zh) | 一种基于对抗神经网络和海量噪声数据的图片分类方法 | |
CN110751606B (zh) | 一种基于神经网络算法的泡沫图像处理方法及系统 | |
CN109859199B (zh) | 一种sd-oct图像的淡水无核珍珠质量检测的方法 | |
CN109598681A (zh) | 一种对称唐卡修复后图像的无参考质量评价方法 | |
CN113221881B (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
Niu et al. | Data augmentation on defect detection of sanitary ceramics | |
CN113989585B (zh) | 一种基于多特征融合语义分割的中厚板表面缺陷检测方法 | |
CN115082776A (zh) | 一种基于图像识别的电能表自动检测系统及方法 | |
CN114863125A (zh) | 一种书法/美术作品智能评分方法及系统 | |
CN111667465A (zh) | 一种基于远红外图像的金属洗手盆缺陷检测方法 | |
CN113177519B (zh) | 一种基于密度估计的后厨脏乱差评价方法 | |
CN107992799A (zh) | 面向烟雾检测应用的预处理方法 | |
CN114155453B (zh) | 冰柜商品图像识别训练方法、识别方法及占有率计算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |