CN111401310B - 基于人工智能的厨房卫生安全监督管理方法 - Google Patents
基于人工智能的厨房卫生安全监督管理方法 Download PDFInfo
- Publication number
- CN111401310B CN111401310B CN202010271411.XA CN202010271411A CN111401310B CN 111401310 B CN111401310 B CN 111401310B CN 202010271411 A CN202010271411 A CN 202010271411A CN 111401310 B CN111401310 B CN 111401310B
- Authority
- CN
- China
- Prior art keywords
- image
- person
- head
- task
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 17
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 13
- 230000006399 behavior Effects 0.000 claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 13
- 230000036541 health Effects 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000005538 encapsulation Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 description 17
- 230000008901 benefit Effects 0.000 description 9
- 230000000391 smoking effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000011897 real-time detection Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于人工智能的厨房卫生安全监督管理方法，包含步骤：基于图像采集设备采集的厨房内视频序列中的当前帧采用神经网络定位人头部位置；根据人头部位置获得人头部区域图像，通过神经网络进行特征提取得到人头部特征图，对特征图进行分类从而判断该人是否有目标行为，将目标行为以警示的方式显示到当前帧；通过编码转换将生成的视频流用RTMP推流的形发送到客户端显示。本发明能够准确检测图像中的人头部区域，并且可对头部区域进行检测，判断该人是否有不合要求的目标行为。
Description
技术领域
本发明属于模式识别、计算机视觉、食品卫生安全、安防等技术领域，更具体地涉及一种厨房卫生安全监督管理方法。
背景技术
厨房卫生安全是食品卫生安全中极其重要的一个领域，厨房工作人员穿戴合规、行为规范又是厨房卫生安全中至关重要的一个环节，随着人们对外出就餐时厨房安全卫生重视程度的增加，因此如何自动对厨房中不合乎规范的穿戴、行为进行监测成为亟待解决的问题。
随着深度学习、人工智能在图像领域的蓬勃发展，图像检测、分类任务技术取得重大进步。但在厨房安全卫生领域，还没有可自动检测厨房不规范行为的方法，大量的监控视频还需要人工分析，不仅效率底下，还造成劳动力浪费。由此可见，智能化厨房监测仍然是一个亟待解决的问题。
发明内容
为解决上述的技术问题，本发明提出一种基于人工智能的厨房卫生安全监督管理方法。
本发明是这样实现的，基于人工智能的厨房卫生安全监督管理方法，包括以下步骤：
S1.利用图像采集设备实时采集厨房内目标区域图像；
S2.提取图像采集设备采集到的实时帧图像，利用神经网络定位人头部位置；
S3.基于人头部位置得到头部区域图像，利用神经网络识别该头部区域图像是否有目标行为，并将识别到的信息显示到当前帧；
S4.将载有识别信息的视频流转码后利用RTMP推流至客户端显示。
其中，所述图像采集设备包括RGB图像采集设备、NIR图像采集设备、TOF图像采集设备的一种或几种。
进一步的，步骤S2包含步骤：
S21.提取当前时间戳下视频序列的帧图像，并将该图像编码为程序可以处理的图像格式；
S22.对输入图像进行多尺度变换得到图像金字塔，利用全连接网络对多尺度变换后得到的每个尺度的图像分别卷积计算，提取特征，得到全局特征图；
S23.将全局特征图进行卷积变换，将变换后的结果输出到两个分支，一个分支用于回归人头部所在的位置，另一个分支用于分类得到的区域是否为人头部，从而得到输入图像帧中人头部区域的位置。
进一步的，步骤S3包含步骤：
S31.根据人头部位置在输入实时帧图像中裁剪到人头部区域的图像；
S32.利用神经网络对人头部区域图像进行多任务分类，判别该人是否有目标行为；
S33.将识别到的信息在当前帧显示，并对目标行为进行高亮显示。
进一步的，步骤S4包含步骤：
S41.对载有检测结果的图像进行YUV H264编码，采用FLV的方式进行封装；
S42.将FLV封装后的序列利用RTMP进行推流，客户端根据推流地址即可实时的显示检测结果。
进一步的，步骤S23中，用于回归人头部位置的损失和用于分类是否为人头部区域的损失分别计算，然后相加得到最终损失；最终损失表达式为：
其中，是人头部区域分类的损失，pi代表模型预测概率，/>代表真实标签；/>是人头部位置回归的损失，ti是预测头部框坐标位置参数，/>是其对应的真实值；Ncls为训练RPN过程中生成的anchor个数，Nreg是特征图的尺寸大小。
进一步的，步骤S32中，所述多任务分类采用早停的机制，多任务损失函数的表达式如下：
其中，比率值ri用于衡量task i相对于所有task的优化程度，值越大，表明优化程度相对于其他task优化程度低，通过对优化程度的衡量来控制梯度反向传播的值的大小，达到早停的效果；
Lgrad是模型最终的梯度方向，Gθ(t)是所有task的平均梯度，θ代表任务的输入，Etask代表当前时刻t,所有任务的梯度取平均，第i个任务t时刻的梯度为Li(t,θ)，代表t时刻对任务i的梯度乘以的权重，t时刻第i个任务权重与梯度相乘的结果用/>表示；通过修改不同任务的损失权重，达到多任务训练的难度均衡，从而使得模型可以更快的收敛。
本发明能够准确检测图像中的人头部区域，并且可对头部区域进行检测，判断该人是否佩戴工作帽；对正面的头部区域进行检测，判断该人是否有不符合安全要求的目标行为，如没有佩戴口罩，没有戴工作帽，吸烟。
与其他监控方法相比，本发明有益效果如下：
1.本发明采取全局和局部的解耦设计，全局和局部的解耦使得头部检测与不安全行为识别更为高效准确；使得预测任务更为高效准确。首先在整张图像上检测人头部区域所在位置，进一步地根据头部区域所在位置得到头部区域图像，然后利用多任务分类器，判别该区域是否有不安全行为，比如未按照要求佩戴安全帽、口罩以及是否在工作区域吸烟行为。
2.本发明针对多属性分类任务采用早停的机制提高分类的准确率以及鲁棒性，考虑到不同任务样本数量不多，采用多任务的形式，让不同任务共享底层特征，使得不同任务之间互相受益，针对容易过拟合的任务，采用早停的机制，实现所有的任务在一个大网络上都可以有良好的表现。
3.本发明将检测后的图像通过转码利用RTMP推流到客户端播放，使其能够实时监测到处理后的视频，可即时的对厨房中不满足要求的行为作出响应，极大提高了监控的效率，降低了监控人力成本。
附图说明
图1是本发明提出的厨房卫生安全监督管理方法的流程框图；
图2是本发明一实施例提出对检测区域进行多尺度变换后进行预测的示例；
图3是本发明一实施例提出共享底层特征的多任务训练示意图；
图4(a)是本发明一实施例提出的从图像采集拍摄到监控检测系统处理再到将视频流以RTMP的形式推流到客户端的流程；
图4(b)是本发明一实施例提出的监控客户端对厨房实时监控的结果；
图4(c)是本发明一实施例提出的步骤S2、S3方法对图像进行实时检测的结果示意图；
图4(d)是本发明一实施例提出的实时检测结果推流到客户端进行显示的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。所描述的实施例子仅旨在便于对本发明的理解，而对其不起任何限定作用。
本发明将深度学习应用于厨房安全监控中，利用深度学习在图像处理方面的优势，在整张图像上检测人头部区域所在位置，进一步地根据头部区域所在的位置得到头部区域的图像，然后利用多任务分类器，判别该区域是否有不安全的行为，比如未按照要求佩戴安全帽、口罩，以及是否有在工作区域吸烟的行为，可以即时的对厨房中不满足要求的行为作出响应，极大的提高了监控的效率，降低了监控的人力成本。
如图1所示，本发明公开了一种厨房卫生安全监督管理方法，包括如下步骤：
步骤S1、利用图像采集设备采集厨房内图像；
步骤S2、提取采集设备采集到的实时帧图像，利用神经网络定位人头部所在的位置；
步骤S3、基于头部位置得到头部区域图像，利用神经网络识别该图像是否有不安全行为，并将识别信息显示到当前帧；
步骤S4、载有识别信息的视频流转码后利用RTMP推流至客户端显示。
具体地，利用图像采集设备对厨房内的图像进行采集，将采集到的图像进行多尺度变换，将变换后的图像利用全卷积网络进行特征提取，这使得算法可对视频中多尺度人头部区域均可检测，增加检测方法的准确度与鲁棒性。
具体地，由于方法中需要对是否佩戴工作帽、是否佩戴口罩、是否在工作区域内吸烟的行为进行判断，同时样本的数量又不是特别巨大，故而采用多任务的形式，让不同的任务共享底层特征，使得不同任务之间互相受益，针对样本数量少，训练容易过拟合的问题，采用早停的机制，实现所有的任务在一个大的网络上都可以有良好的表现。
具体地，将检测的结果显示到实时帧上，检测后的图像通过转码利用RTMP推流到客户端进行直播，使其能够实时的检测到处理后的视频，可以即时的对厨房中不满足要求的行为作出响应，极大的提高了监控的效率，降低了监控的人力成本。
具体地，上述步骤S2具体包括以下步骤：
步骤S21、提取当前时间戳下视频序列的帧图像，并将该图像编码为程序可以处理的图像格式。
步骤S22、对输入图像进行多尺度变换，利用全连接网络对多尺度变换后的图像进行特征提取，得到全局特征图。
步骤S23、将全局特征图进行卷积变换，将变换后的结果输出到两个分支，一个分支用于回归人头部所在的位置，另一个分支用于分类得到的区域是否为人的头部，从而得到输入图像帧中人头部区域的准确位置。
具体的，是基于全局特征图中超过响应阈值的响应点进行映射，映射到输入图像中从而得到人头部所在的准确位置。
具体地，上述步骤S3具体包括以下步骤：
步骤S31、根据步骤S2中得到人头部位置，在输入实时帧图像中裁剪到人头部区域的图像。
步骤S32、利用神经网络对得到的人头部区域图像进行多任务分类，提取特征，判别该人是否佩戴工作帽、是否佩戴口罩、是否吸烟。
具体是通过神经网络进行特征提取，得到人头部特征图，对人头部特征图进行分类，从而判断该人是否佩戴工作帽、是否戴口罩、是否存在吸烟行为。
步骤S33、将判别到的信息在当前帧进行显示，对于不满足安全要求的行为比如未佩戴安全帽、未佩戴口罩、在工作区吸烟的行为进行高亮显示。
具体地，上述步骤S4具体包括以下步骤：
步骤S41、对载有检测结果的图像进行YUV H264编码，采用FLV的方式进行封装。
步骤S42、将FLV封装后的序列，利用RTMP进行推流，客户端根据推流地址即可实时的显示检测结果。
具体地，上述步骤S53中用于人头部位置回归的损失和用于判别是否为人头部区域的损失需要分别计算，然后相加得到最终的损失；所述最终的损失越小，人头的位置和判别结果越准确；所述最终的损失的表达式为：
其中，是人头部区域分类的损失，pi代表模型预测概率，/>代表真实标签；/>是人头部位置回归的损失，ti是预测头部框坐标位置参数，/>是其对应的真实值；Ncls为训练RPN过程中生成的anchor个数，Nreg是特征图(feature map)的尺寸大小。
具体地，上述步骤S62中多任务分类采用早停的机制，鉴于口罩、帽子、吸烟样本数量不多，但每个分类任务底层特征是共享的，采用多分类的形式使得不同任务之间互相受益，针对于容易过拟合的任务，采用早停的机制，可以在一个足够大的网络上使得所有任务都表现良好，基于多任务早停策略使得安全帽、口罩、吸烟行为检测更为鲁棒。所述多任务损失函数的表达式如下：
t时间任务i的梯度：
所以task的平均梯度
损失函数：
其中，比率值ri用于衡量task i相对于所有task的优化程度，值越大，表明优化程度相对于其他task优化程度低，通过对优化程度的衡量来控制梯度反向传播的值的大小，达到早停的效果；
Lgrad是模型最终的梯度方向，Gθ(t)是所有task的平均梯度，θ代表任务的输入，Etask代表当前时刻t,所有任务的梯度取平均，第i个任务t时刻的梯度为Li(t,θ)，代表t时刻对任务i的梯度乘以的权重，t时刻第i个任务权重与梯度相乘的结果用/>表示；通过修改不同任务的损失权重，达到多任务训练的难度均衡，从而使得模型可以更快的收敛。
优选地，当控制不同任务的样本数量均衡时，上述task优化程度可以保持大致一致。
以下通过具体实施例对本发明提出的基于人工智能的厨房卫生安全监督管理方法进行详细说明。
实施例
本实施例提出的基于人工智能的厨房卫生安全监督管理方法，适用于厨房安全卫生的实时监控，并可对不满足规范的行为，比如未佩戴安全帽、未佩戴口罩、在工作区域吸烟等行为进行实时预警，可以对厨房区域进行自动的监管，节省人力成本。
下面以厨房工作帽检测为例，参照附图2-4，对本实施例提出的厨房卫生安全监管方法的实施细节做进一步详细说明：
步骤S1、利用图像采集设备采集厨房内图像序列，图像采集设备可为RGB摄像头、NIR摄像头或者TOF摄像头；
步骤S2、提取采集设备采集到的实时帧图像，利用神经网络定位人头部所在的位置；具体包括以下步骤：
步骤S21、提取当前时间戳下视频序列的帧图像，并将该图像编码为程序可以处理的图像格式。
步骤S22、对输入图像进行多尺度变换，利用全连接网络对多尺度变换后的图像进行特征提取，得到全局特征图。
步骤S23、将全局特征图进行卷积变换，将变换后的结果输出到两个分支，一个分支用于回归人头部所在的位置，另一个分支用于分类得到的区域是否为人的头部，从而得到输入图像帧中人头部区域的准确位置。用于人头部位置回归的损失和用于判别是否为人头部区域的损失需要分别计算，然后相加得到最终的损失；所述损失越小，人头的位置和判别结果越准确；所述损失的表达式为：
其中，是人头部区域分类的损失，pi代表模型预测概率，/>代表真实标签；/>是人头部位置回归的损失，ti是预测头部框坐标位置参数，/>是其对应的真实值；Ncls为训练RPN过程中生成的anchor个数，Nreg是特征图的尺寸大小。
值得说明的是，利用图像采集设备对厨房内的图像进行采集，将采集到的图像进行多尺度变换，将变换后的图像利用全卷积网络进行特征提取，这使得算法可以对视频中多尺度人头部区域均可检测。增加检测方法的准确度与鲁棒性。如图3所示，展示了对检测区域进行多尺度变换后进行预测的示例。
步骤S3、基于头部位置得到头部区域图像，利用神经网络识别该图像是否有不安全行为，并将识别信息显示到当前帧。具体包括以下步骤：
步骤S31、根据步骤S2中得到人头部位置，在输入实时帧图像中裁剪到人头部区域的图像。
值得说明的是，如果图像采集设备拍摄到的是RGB的图像，则保留RGB的三个通道并作为全连接网络的输入。
值得说明的是，如果图像采集设备拍摄到的是NIR或者TOF图像，则将对应的图像转换为灰度图像，扩展为三个通道后，送作为全连接网络的输入。
步骤S32、利用神经网络，对得到的头部区域图像进行多任务分类，判别该人是否佩戴工作帽、是否佩戴口罩、是否吸烟。多任务分类采用早停的机制，鉴于口罩、帽子、吸烟样本数量不多，但每个分类任务底层特征是共享的，采用多分类的形式使得不同任务之间互相受益，针对于容易过拟合的任务，采用早停的机制，可以在一个足够大的网络上使得所有任务都表现良好。所述多任务损失函数的表达式如下：
t时间任务i的梯度：
所以task的平均梯度
损失函数：
其中，比率值ri用于衡量task i相对于所有task的优化程度，值越大，表明优化程度相对于其他task优化程度低，通过对优化程度的衡量来控制梯度反向传播的值的大小，达到早停的效果；
Lgrad是模型最终的梯度方向，Gθ(t)是所有task的平均梯度，θ代表任务的输入，Etask代表当前时刻t,所有任务的梯度取平均，第i个任务t时刻的梯度为Li(t,θ)，代表t时刻对任务i的梯度乘以的权重，t时刻第i个任务权重与梯度相乘的结果用/>表示；通过修改不同任务的损失权重，达到多任务训练的难度均衡，从而使得模型可以更快的收敛。
值得说明的是，由于方法中需要对是否佩戴工作帽、是否佩戴口罩、是否在工作区域内吸烟的行为进行判断，同时样本的数量又不是特别巨大，故而采用多任务的形式，让不同的任务共享底层特征，使得不同任务之间互相受益，针对样本数量少，训练容易过拟合的问题，采用早停的机制，实现所有的任务在一个大的网络上都可以有良好的表现。
步骤S4、载有识别信息的视频流转码后利用RTMP推流至客户端显示。
如图4(a)展示了从图像采集拍摄到监控检测系统处理再到将视频流以RTMP的形式推流到客户端的流程。如图4(b)展示了监控客户端对厨房实时监控的结果。如图4(c)展示了步骤S2、S3方法对图像进行实时检测的结果。如图4(d)展示了实时的检测结果推流到客户端进行显示的效果图。
综上，本实施例提出的厨房卫生安全监督管理方法，其优点如下：
第一、利用全卷积网络对图像采集设备采集到的图像进行，可以对任意尺寸的输入图像进行检测，对输入图像做多尺度变换后，可以对图像上不同尺寸的人头区域进行检测。
第二、采用多任务的形式，让不同的任务共享底层特征，使得不同任务之间互相受益，针对样本数量少，训练容易过拟合的问题，采用早停的机制，实现所有的任务在一个大的网络上都可以有良好的表现。
第三、将载有识别信息的图像转码后利用RTMP推流，可以让客户方便的在手机端以及电脑端进行厨房安全卫生管控。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于人工智能的厨房卫生安全监督管理方法，包括步骤：
S1.利用图像采集设备实时采集厨房内目标区域图像；
S2.提取图像采集设备采集到的实时帧图像，利用神经网络定位人头部位置；
S3.基于人头部位置得到头部区域图像，利用神经网络识别该头部区域图像是否有目标行为，并将识别到的信息显示到当前帧；
S4.将载有识别信息的视频流转码后利用RTMP推流至客户端显示；
步骤S3包含步骤：
S31.根据人头部位置在输入实时帧图像中裁剪到人头部区域的图像；
S32.利用神经网络对人头部区域图像进行多任务分类，判别该人是否有目标行为；
S33.将识别到的信息在当前帧显示，并对目标行为进行高亮显示；
步骤S32中，所述多任务分类采用早停的机制，多任务损失函数的表达式如下：
其中，比率值ri用于衡量task i相对于所有task的优化程度，值越大，表明优化程度相对于其他task优化程度低，通过对优化程度的衡量来控制梯度反向传播的值的大小，达到早停的效果；Lgrad是模型最终的梯度方向，Gθ(t)是所有task的平均梯度，θ代表任务的输入，Etask代表当前时刻t,所有任务的梯度取平均，第i个任务t时刻的梯度为Li(t,θ)，代表t时刻对任务i的梯度乘以的权重，t时刻第i个任务权重与梯度相乘的结果用/>表示；通过修改不同任务的损失权重，达到多任务训练的难度均衡，从而使得模型可以更快的收敛。
2.如权利要求1所述的基于人工智能的厨房卫生安全监督管理方法，所述图像采集设备包括RGB图像采集设备、NIR图像采集设备、TOF图像采集设备的一种或几种。
3.如权利要求1所述的基于人工智能的厨房卫生安全监督管理方法，其特征在于，步骤S2包含步骤：
S21.提取当前时间戳下视频序列的帧图像，并将该图像编码为程序可以处理的图像格式；
S22.对输入图像进行多尺度变换得到图像金字塔，利用全连接网络对多尺度变换后得到的每个尺度的图像分别卷积计算，提取特征，得到全局特征图；
S23.将全局特征图进行卷积变换，将变换后的结果输出到两个分支，一个分支用于回归人头部所在的位置，另一个分支用于分类得到的区域是否为人头部，从而得到输入图像帧中人头部区域的位置。
4.如权利要求1所述的基于人工智能的厨房卫生安全监督管理方法，其特征在于，步骤S4包含步骤：
S41.对载有检测结果的图像进行YUV H264编码，采用FLV的方式进行封装；
S42.将FLV封装后的序列利用RTMP进行推流，客户端根据推流地址即可实时的显示检测结果。
5.如权利要求1所述的基于人工智能的厨房卫生安全监督管理方法，其特征在于，步骤S23中，用于回归人头部位置的损失和用于分类是否为人头部区域的损失分别计算，然后相加得到最终损失；最终损失表达式为：
其中，是人头部区域分类的损失，pi代表模型预测概率，/>代表真实标签；是人头部位置回归的损失，ti是预测头部框坐标位置参数，/>是其对应的真实值；Ncls为训练RPN过程中生成的anchor个数，Nreg是feature map的尺寸大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010271411.XA CN111401310B (zh) | 2020-04-08 | 2020-04-08 | 基于人工智能的厨房卫生安全监督管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010271411.XA CN111401310B (zh) | 2020-04-08 | 2020-04-08 | 基于人工智能的厨房卫生安全监督管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111401310A CN111401310A (zh) | 2020-07-10 |
| CN111401310B true CN111401310B (zh) | 2023-08-29 |
Family
ID=71433103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010271411.XA Active CN111401310B (zh) | 2020-04-08 | 2020-04-08 | 基于人工智能的厨房卫生安全监督管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111401310B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112087672B (zh) * | 2020-08-13 | 2021-11-23 | 浙江大学 | 一种使用智能终端及服务器的视频流描述生成方法 |
| CN112381071A (zh) * | 2021-01-11 | 2021-02-19 | 深圳市一心视觉科技有限公司 | 一种视频流中目标的行为分析方法、终端设备及介质 |
| CN112560809A (zh) * | 2021-02-19 | 2021-03-26 | 广东海启星海洋科技有限公司 | 一种实时展示识别效果的方法及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372662A (zh) * | 2016-08-30 | 2017-02-01 | 腾讯科技（深圳）有限公司 | 安全帽佩戴的检测方法和装置、摄像头、服务器 |
| CN106897662A (zh) * | 2017-01-06 | 2017-06-27 | 北京交通大学 | 基于多任务学习的人脸关键特征点的定位方法 |
| CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
| CN108319934A (zh) * | 2018-03-20 | 2018-07-24 | 武汉倍特威视系统有限公司 | 基于视频流数据的安全帽佩戴情况检测方法 |
| CN108875906A (zh) * | 2018-04-20 | 2018-11-23 | 华侨大学 | 一种多尺度逐步累加的卷积神经网络学习方法 |
| CN109033953A (zh) * | 2018-06-14 | 2018-12-18 | 深圳市博威创盛科技有限公司 | 多任务学习深度网络的训练方法、设备及存储介质 |
| CN110046557A (zh) * | 2019-03-27 | 2019-07-23 | 北京好运达智创科技有限公司 | 基于深度神经网络判别的安全帽、安全带检测方法 |
| CN110059662A (zh) * | 2019-04-26 | 2019-07-26 | 山东大学 | 一种深度视频行为识别方法及系统 |
| CN110532355A (zh) * | 2019-08-27 | 2019-12-03 | 华侨大学 | 一种基于多任务学习的意图与槽位联合识别方法 |
| CN110728223A (zh) * | 2019-10-08 | 2020-01-24 | 济南东朔微电子有限公司 | 一种基于深度学习的安全帽佩戴识别方法 |
| CN110738127A (zh) * | 2019-09-19 | 2020-01-31 | 福建师范大学福清分校 | 基于无监督深度学习神经网络算法的安全帽识别方法 |
| CN110909703A (zh) * | 2019-11-29 | 2020-03-24 | 中电福富信息科技有限公司 | 一种基于人工智能的明厨亮灶场景下厨师帽的检测方法 |
-
2020
- 2020-04-08 CN CN202010271411.XA patent/CN111401310B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372662A (zh) * | 2016-08-30 | 2017-02-01 | 腾讯科技（深圳）有限公司 | 安全帽佩戴的检测方法和装置、摄像头、服务器 |
| CN106897662A (zh) * | 2017-01-06 | 2017-06-27 | 北京交通大学 | 基于多任务学习的人脸关键特征点的定位方法 |
| CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
| CN108319934A (zh) * | 2018-03-20 | 2018-07-24 | 武汉倍特威视系统有限公司 | 基于视频流数据的安全帽佩戴情况检测方法 |
| CN108875906A (zh) * | 2018-04-20 | 2018-11-23 | 华侨大学 | 一种多尺度逐步累加的卷积神经网络学习方法 |
| CN109033953A (zh) * | 2018-06-14 | 2018-12-18 | 深圳市博威创盛科技有限公司 | 多任务学习深度网络的训练方法、设备及存储介质 |
| CN110046557A (zh) * | 2019-03-27 | 2019-07-23 | 北京好运达智创科技有限公司 | 基于深度神经网络判别的安全帽、安全带检测方法 |
| CN110059662A (zh) * | 2019-04-26 | 2019-07-26 | 山东大学 | 一种深度视频行为识别方法及系统 |
| CN110532355A (zh) * | 2019-08-27 | 2019-12-03 | 华侨大学 | 一种基于多任务学习的意图与槽位联合识别方法 |
| CN110738127A (zh) * | 2019-09-19 | 2020-01-31 | 福建师范大学福清分校 | 基于无监督深度学习神经网络算法的安全帽识别方法 |
| CN110728223A (zh) * | 2019-10-08 | 2020-01-24 | 济南东朔微电子有限公司 | 一种基于深度学习的安全帽佩戴识别方法 |
| CN110909703A (zh) * | 2019-11-29 | 2020-03-24 | 中电福富信息科技有限公司 | 一种基于人工智能的明厨亮灶场景下厨师帽的检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111401310A (zh) | 2020-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070033B (zh) | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 | |
| CN108009473B (zh) | 基于目标行为属性视频结构化处理方法、系统及存储装置 | |
| CN108053427B (zh) | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 | |
| CN110738127B (zh) | 基于无监督深度学习神经网络算法的安全帽识别方法 | |
| CN111401310B (zh) | 基于人工智能的厨房卫生安全监督管理方法 | |
| CN109117827B (zh) | 基于视频的工服工帽穿戴状态自动识别方法与报警系统 | |
| CN108052859B (zh) | 一种基于聚类光流特征的异常行为检测方法、系统及装置 | |
| CN110728223A (zh) | 一种基于深度学习的安全帽佩戴识别方法 | |
| CN111047818A (zh) | 一种基于视频图像的森林火灾预警系统 | |
| CN106128022B (zh) | 一种智慧金睛识别暴力动作报警方法 | |
| CN112396658B (zh) | 一种基于视频的室内人员定位方法及定位系统 | |
| CN102201146B (zh) | 基于主动红外视频的零照度环境火灾烟雾识别方法 | |
| CN104036236B (zh) | 一种基于多参数指数加权的人脸性别识别方法 | |
| CN108062349A (zh) | 基于视频结构化数据及深度学习的视频监控方法和系统 | |
| CN109377703A (zh) | 一种基于机器视觉的森林防火预警系统及其方法 | |
| CN107911663A (zh) | 一种基于计算机视觉检测的电梯乘客危险行为智能识别预警系统 | |
| CN109359577B (zh) | 一种基于机器学习的复杂背景下人数检测系统 | |
| CN106210634A (zh) | 一种智慧金睛识别人员倒地报警方法和装置 | |
| CN110991315A (zh) | 一种基于深度学习的安全帽佩戴状态实时检测方法 | |
| CN112149761A (zh) | 一种基于YOLOv4改进算法的电力智慧工地违规行为检测方法 | |
| CN112084963B (zh) | 一种监控预警方法、系统及存储介质 | |
| CN112906481A (zh) | 一种基于无人机实现森林火情检测的方法 | |
| CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
| CN115035088A (zh) | 一种基于yolov5和姿态估计的安全帽佩戴检测方法 | |
| CN113283369A (zh) | 一种港口码头作业人员安全防护措施监控系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 300457 unit 1001, block 1, msd-g1, TEDA, No.57, 2nd Street, Binhai New Area Economic and Technological Development Zone, Tianjin Patentee after: Tianjin Zhongke intelligent identification Co.,Ltd. Address before: 300457 unit msd-g1-1001, TEDA, No.57, 2nd Street, Tianjin Economic and Technological Development Zone, Binhai New Area, Tianjin Patentee before: TIANJIN ZHONGKE INTELLIGENT IDENTIFICATION INDUSTRY TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd. |
|
| CP03 | Change of name, title or address |