CN109147254A - 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 - Google Patents

一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 Download PDF

Info

Publication number
CN109147254A
CN109147254A CN201810791162.XA CN201810791162A CN109147254A CN 109147254 A CN109147254 A CN 109147254A CN 201810791162 A CN201810791162 A CN 201810791162A CN 109147254 A CN109147254 A CN 109147254A
Authority
CN
China
Prior art keywords
frame
convolutional neural
training
neural networks
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810791162.XA
Other languages
English (en)
Other versions
CN109147254B (zh
Inventor
张海剑
蔡忠强
胡月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201810791162.XA priority Critical patent/CN109147254B/zh
Publication of CN109147254A publication Critical patent/CN109147254A/zh
Application granted granted Critical
Publication of CN109147254B publication Critical patent/CN109147254B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/10Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Emergency Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于卷积神经网络的视频野外火灾烟雾实时检测方法。本发明通过实验模拟方式收集烟雾图像数据集并创建训练集、测试集及验证集;分别对训练集、测试集及验证集进行自动标注结合人工调整,分别得到带真实标签的训练集、测试集以及验证集;对带真实标签的训练集以及验证集进行图像旋转处理、颜色通道加减色处理、缩放处理得到处理后带真实标签的训练集、验证集;初始化卷积神经网络参数,根据缩放处理后带真实标签的训练集训练建立好的卷积神经网络模型;实时采集待检测野外监控画面图像,通过训练后卷积神经网络模型预测烟雾目标检测框并进行优化;在训练后卷积神经网络模型给出的目标检测结果上进行帧间置信度增强以及重定位。

Description

一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
技术领域
本发明属于烟雾检测的技术领域,特别涉及一种基于卷积神经网络的视频野外火灾烟雾实时检测方法。
背景技术
野外火灾由于自然的温度因素或者人为焚烧秸秆等人类活动原因时有发生,发生地点隐蔽或监管区域面积过大,一旦发生火灾可能会造成巨大的经济损失。早期的野外火灾检测依靠巡视员站在高处的瞭望台监视,但是繁重的监视任务和人有限的精力造成有时不能提前发现火灾做出预警,同时野外火灾也存在难以布置温度传感器等传统技术的局限性,所以近年来,许多学者将目光从火灾中的火焰目标转移到了火灾发生同时产生的烟雾目标,火灾早期烟雾目标比较明显,能够更快的帮助人们做出预测和判决。采用视频监控,利用图像处理进行野外火灾烟雾目标检测技术得到较大发展。现今主流的野外火灾烟雾检测分为两种思路:第一种,利用烟雾的动态特征与静态特征相结合的思路进行烟雾检测,该种思路往往先采用大量的烟雾图片训练分类器,然后对待检测视频常常利用帧间烟雾的动态特征,采用帧间差,光流法等算法先确定疑似烟雾区域,然后对疑似烟雾区域提取边缘,形状或者小波域等静态特征使用分类器进行分类,确定最终烟雾检测结果。第二种:采用端到端的卷积神经网络模型,直接利用目标检测的成熟技术例如Faster RCNN模型,在训练网络之前,收集大量样本,样本可以是来自真实自然环境,也可以通过合成烟雾样本技术增加样本的多样性,以保证训练能够学习到烟雾的本质特征,提高烟雾检测鲁棒性。但是以上方法仍然存在烟雾检测的实时性和准确度难以兼顾的问题。所以本发明面向野外环境,在传统光学摄像头获取的监控视频上采用基于深度学习的目标检测方法进行烟雾检测。目标检测实际上是在图像中同时给出感兴趣目标的类别和位置。基于深度学习的目标检测算法一般采用卷积神经网络结构,利用待检测目标的大量已标注数据对卷积神经网络采用合适的学习策略进行训练,同时完成目标检测中的两大基本问题:定位和分类。测试阶段,加载训练好的网络模型进行预测判别,经过相关后处理,提升检测鲁棒性,完成烟雾检测任务,做出相应的预警,给相关人员决策提供依据和参考。
发明内容
本发明的目的在于提供一种基于卷积神经网络的视频野外视频火灾烟雾实时检测方法,该方法能够在实际环境中高精度且实时完成烟雾检测任务,具体方法流程如图1所示。
本发明提供的基于卷积神经网络的野外视频火灾烟雾实时检测方法包括以下具体步骤:
步骤1:通过实验模拟方式收集烟雾图片,在以上图片中随机挑选具有光照变化、尺度变化和场景变化的烟雾图片组成烟雾图像数据集,对烟雾图像数据集进行标注,将已标注烟雾图像按比例划分为训练集、测试集及验证集,在测试集的基础上添加两段视频数据一起作为评估的数据集;
步骤2:根据fDSST跟踪算法分别对训练集、测试集及验证集进行自动标注结合人工调整,分别得到带真实标签的训练集,带真实标签的测试集以及带真实标签的验证集;
步骤3:对带真实标签的训练集和带真实标签的验证集中每个样本图片分别进行图像旋转处理以及颜色通道的加减色处理,图像旋转处理以及颜色通道的加减色处理后组成扩充后带真实标签的训练集以及扩充后带真实标签的验证集,对扩充后带真实标签的训练集以及扩充后带真实标签的验证集进行缩放处理,分别得到缩放处理后带真实标签的训练集以及缩放处理后带真实标签的验证集;
步骤4:采用基于微调训练思想设定相关参数和学习策略以初始化卷积神经网络参数,根据步骤3中缩放处理后带真实标签的训练集训练卷积神经网络得到训练后卷积神经网络;
步骤5:实时采集待检测野外监控画面图像,将视频流中的每一帧图片经过上述步骤3中所述缩放处理以及边界补齐操作得到训练后卷积神经网络的标准输入尺寸图像,然后通过网络的前向传播得到输出计算,输出结果包含烟雾目标的位置信息和置信度概率信息,利用置信度阈值TS去除低置信度目标检测框,然后采用非极大值抑制技术得到最后训练后卷积神经网络预测最优的烟雾目标检测框;
步骤6:在训练后卷积神经网络给出的目标检测结果上进行帧间置信度增强以及重定位;
作为优选,步骤1中所述图像数据集为D,步骤1中所述已标注烟雾图像为
步骤1中所述训练集为STrain用以建立网络模型,步骤1中所述验证集为SValid用来帮助选择模型中的超参数,步骤1中所述测试集为STest用来评估模型的泛化能力,评估的数据集为SValuate用于综合评估本文提出方法的鲁棒性;
作为优选,步骤2中所述训练集为STrain,所述验证集为SValid,所述测试集为STest
步骤2中所述fDSST跟踪算法分别对训练集STrain、测试集SValid及验证集STest进行自动标注结合人工调整具体过程为:
设t-1帧中烟雾目标位置为Pt-1,目标尺度为St-1,第一帧的目标位置人为给出;
设t-1帧位置模型At-1和尺度模型Bt-1,初始位置模型和尺度模型由目标周围样本给出;
采用t-1帧中的目标的具体位置和尺度,以及位置模型At-1和尺度模型Bt-1,利用相关滤波法得到t帧的目标位置估计Pt和目标尺度St
用目标周围的样本更新t帧位置模型At和尺度模型Bt
根据上述自动标注结合人工调整得到步骤2中所述带真实标签的训练集为STraingt,带真实标签的测试集为STestgt,带真实标签的验证集为SValidgt,人工调整的具体原则为:尽可能给定紧密的包围框使得物体刚好被标注框包围,同时背景部分尽可能少;
作为优选,步骤3中所述带真实标签的训练集STraingt和带真实标签的验证集SValidgt中每个样本图片为F(x,y);
步骤3中所述图像旋转处理为:
输入图像F(x,y)中的任意某一点坐标为(x0,y0),首先人为指定旋转角度θ,图像旋转中心为原始图像F(x,y)的正中心,则由以下公式可以得到旋转后的图像G(x,y)中对应点坐标(x,y),
将旋转后的图像G(x,y)进一步采取插值得到旋转处理后图像;
颜色通道的加减色处理为:
对带真实标签的训练集STraingt和带真实标签的验证集SValidgt中每个样本图片F(x,y)三通道RGB图像在HSV空间内进行加减色处理,然后反变换回RGB彩色空间,作为增强后的图片,处理公式如下:
上述公式中,Hue(i,j),Saturation(i,j),Value(i,j)分别为H,S,V三个分通道在某一像素点值,λ,β,γ分别为H通道的增减色变化值,S通道增减色调整因子,H通道增减色调整因子,这三个值在数据增强中是随机生成,然后分别对相应通道进行增减色调整,然后转换为RGB图像,做为最后的增强图像的;
图像旋转处理以及颜色通道的加减色处理后带真实标签的训练集联合原始带真实标签的训练集STraingt组成扩充后带真实标签的训练集STrainepgt
图像旋转处理以及颜色通道的加减色处理后带真实标签的验证集联合原始带真实标签的验证集SValidgt组成扩充后带真实标签的验证集SValidepgt
步骤3中所述缩放处理为将扩充后带真实标签的训练集为STrainepgt和扩充后带真实标签的验证集SValidepgt中所有样本图像作为输入图像,按照长宽比例缩放:
假设某一原始输入图像为Iorg,其图片尺寸的宽和高是W×H,创建符合网络输入要求尺寸为416×416的三通道图像Inetblack,其像素值全为0;
如果W>H,保持宽高比的情况下缩放得到图像Iresize的尺寸宽高为如果W<H,先将Iorg做图像旋转操作,且顺时针旋转90度得到Irotate,Irotate在保持宽高比的情况下缩放得到图像Iresize的尺寸宽高为最后把Iresize放置到Inetblack的正中间即可得到实际上网络的输入训练图像Inetin
对应的烟雾真实标签位置也要按照同比例缩放;
作为优选,步骤4中所述采用基于微调训练思想设定相关参数和学习策略以初始化卷积神经网络参数为:
在经典图像数据集ImageNet选择其中1000类目标通过训练卷积神经网络得到的预训练模型M,M中保存的是卷积神经网络的权值信息,在用烟雾检测的卷积神经网络加载M中的权值信息作为模型的初始值;
缩放处理后带真实标签的训练集训练卷积神经网络为:
构建并训练卷积神经网络,卷积神经网络模型由22个卷积层和5个最大池化层组成,该模型在输入为尺寸为416×416的三通道RGB训练图像,经过卷积神经网络模型的计算,最后得到输出尺寸为13×13×5×(5+classes),classes为检测目标的总类别数目;
首先初始化卷积神经网络模型中所有参数,然后分批次输入训练图像,经过卷积神经网络计算得到预测输出,然后根据卷积神经网络输入和训练样本的实际标注标签比较,采用损失函数计算网络训练的损失值:
上式中lh和lw为纵向和横向网格的数量,在网络输入图像尺寸为416×416情况下,有lw=lh=13,ln为网络每个网格预测的包围框数量,且ln=5,网络借助每个网格处固定位置的5个锚盒,通过网络预测相对锚盒的偏移来预测包围框的位置,λnoobj,λobj,λclass,λcoord以及0.01均为平衡不同损失的系数,平衡的具体损失对应到公式中为非目标物体的置信度损失,包含物体置信度损失,类别损失,包含目标对应的锚盒的位置损失,不包含目标对应的锚盒的位置损失。表示第i个网格中的第j个包围框包含目标物体,表示第i个网格中的第j个包围框不包含任何目标物体,C表示包围框是否包含目标的真实置信度,表示网络预测的包围框是否包含目标的真实置信度。p(c)为真实类别概率,为预测类别概率,(x,y,w,h)为真实的目标包围框中心坐标和长宽,为预测的包围框中心坐标和长宽,(px,py,pw,ph)为之前固定的锚盒的位置参数;
该函数的值称为输出层误差δ,δ反映了网络的预测输出和实际样本标签的拟合程度,本发明中采用的是加权平方损失函数,利用神经网络中经典的误差反向传播算法,结合求导链式法则和随机梯度下降可以完成卷积神经网络中全部参数的更新,在达到指定训练轮次且损失函数收敛后结束训练,记经过烟雾数据集训练收敛的卷积神经网络记为训练后卷积神经网络;
作为优选,步骤5中所述标准输入图像为416*416;
作为优选,步骤6中所述帧间置信度增强为:
设定高置信度阈值TSH,利用帧间的相关性,假设t-1帧某个目标Objectt-1置信度为Ct-1,t帧某个目标Objectt的置信度为Ct,如果前一帧Objectt-1置信度高于TSH,后一帧Objectt置信度低于步骤3中的阈值TS,且在Objectt-1和Objectt目标检测结果框在前后两帧变化不大的情况下,则可以采用前后两帧的平均概率来代替后一帧的概率,置信度增强公式表示如下:
上式中IOU为交并比,若存在两个建议框Bbox1和Bbox2,则IOU可用公式定义如下:
置信度增强公式中的λIOU在本发明中取0.5,实际上该值一定程度上反映了物体运动的速度,取值越大,表明物体在两帧图像之间的对应区域目标运动变化不大。采用置信度增强公式调整了t帧某个目标Objectt的置信度Ct后,本发明再次采用置信度阈值TS进行判断,防止置信度增强过度;
上述置信度增强操作是针对t-1帧每个置信度超过TSH的目标检测框都在t帧遍历所有置信度低于TS的检测框,对符合置信度增强公式条件的目标框对(Objectt-1,Objectt)做置信度增强操作;
步骤6中所述重定位为:
同时观察到野外烟雾多呈现白色,采用自适应阈值分割技术对检测的结果中对应每个烟雾检测包围框内的图像进行二值化分割,然后采用轮廓提取技术,选取最大面积轮廓Scontourmax的最小外接矩形Srectanglemin,最小外接矩形可以通过以下算法简单获得:
最大面积轮廓Scontourmax内所有点的横坐标集合X和纵坐标集合Y;
寻找集合X的最大值max(X)和最小值min(X),寻找集合Y的最大值max(Y)和最小值min(Y),则最小外接矩形Srectanglemin的左上角坐标为(min(X),min(Y)),右下角坐标为(max(X),max(Y));
假设某一个烟雾检测包围框为Bdetect,其图像长宽为Wdetect×Hdetect,则估计烟雾目标占烟
雾检测包围框的比例Pdetect如果Pdetect高于一定阈值PTh则用Srectanglemin坐标来代替训练后卷积神经网络预测的目标位置,否则保持训练后卷积神经网络预测的目标位置不变。
本发明针对野外环境提出了基于卷积神经网络的烟雾实时检测方法,本发明所提供的方法能够在一定条件下完成高精度且实时的烟雾监测任务。
附图说明
图1:本发明训练流程图和测试流程图;
图2:本发明的烟雾数据库图像示意图;
图3:标注烟雾图片数据的操作界面和包围框示意图;
图4:卷积神经网络结构示意图;
图5:本发明测试视频和测试图片环境示意图;
图6:本发明检测结果示意图;
图7:本发明检测的PR曲线图;
图8:本发明标注对比结果。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施示例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
下面结合图1至图8介绍本发明的实施方式。本发明实施方式包括以下步骤:
步骤1:通过实验模拟方式收集烟雾图片,在以上图片中随机挑选具有光照变化、尺度变化和场景变化的烟雾图片组成烟雾图像数据集,对烟雾图像数据集进行标注,将已标注烟雾图像按比例划分为训练集、测试集及验证集,在测试集的基础上添加两段视频数据一起作为评估的数据集;
步骤1中所述图像数据集为D,步骤1中所述已标注烟雾图像为D;
步骤1中所述训练集为STrain用以建立网络模型,步骤1中所述验证集为SValid用来帮助选择模型中的超参数,步骤1中所述测试集为STest用来评估模型的泛化能力,评估的数据集为SValuate用于综合评估本文提出方法的鲁棒性,步骤1中所述将已标注烟雾图像按比例划分为6:2:2;
步骤2:根据fDSST跟踪算法分别对训练集、测试集及验证集进行自动标注结合人工调整,分别得到带真实标签的训练集,带真实标签的测试集以及带真实标签的验证集;
步骤2中所述训练集为STrain,所述验证集为SValid,所述测试集为STest
步骤2中所述fDSST跟踪算法分别对训练集STrain、测试集SValid及验证集STest进行自动标注结合人工调整具体过程为:
设t-1帧中烟雾目标位置为Pt-1,目标尺度为St-1,第一帧的目标位置人为给出;
设t-1帧位置模型At-1和尺度模型Bt-1,初始位置模型和尺度模型由目标周围样本给出;
采用t-1帧中的目标的具体位置和尺度,以及位置模型At-1和尺度模型Bt-1,利用相关滤波法得到t帧的目标位置估计Pt和目标尺度St
用目标周围的样本更新t帧位置模型At和尺度模型Bt
根据上述自动标注结合人工调整得到步骤2中所述带真实标签的训练集为STraingt,带真实标签的测试集为STestgt,带真实标签的验证集为SValidgt,人工调整的具体原则为:尽可能给定紧密的包围框使得物体刚好被标注框包围,同时背景部分尽可能少;
步骤3:对带真实标签的训练集和带真实标签的验证集中每个样本图片分别进行图像旋转处理以及颜色通道的加减色处理,图像旋转处理以及颜色通道的加减色处理后组成扩充后带真实标签的训练集以及扩充后带真实标签的验证集,对扩充后带真实标签的训练集以及扩充后带真实标签的验证集进行缩放处理,分别得到缩放处理后带真实标签的训练集以及缩放处理后带真实标签的验证集;
步骤3中所述带真实标签的训练集STraingt和带真实标签的验证集SValidgt中每个样本图片为F(x,y);
步骤3中所述图像旋转处理为:
输入图像F(x,y)中的任意某一点坐标为(x0,y0),首先人为指定旋转角度θ,图像旋转中心为原始图像F(x,y)的正中心,则由以下公式可以得到旋转后的图像G(x,y)中对应点坐标(x,y),
将旋转后的图像G(x,y)进一步采取插值得到旋转处理后图像;
颜色通道的加减色处理为:
对带真实标签的训练集STraingt和带真实标签的验证集SValidgt中每个样本图片F(x,y)三通道RGB图像在HSV空间内进行加减色处理,然后反变换回RGB彩色空间,作为增强后的图片,处理公式如下:
上述公式中,Hue(i,j),Saturation(i,j),Value(i,j)分别为H,S,V三个分通道在某一像素点值,λ,β,γ分别为H通道的增减色变化值,S通道增减色调整因子,H通道增减色调整因子,这三个值在数据增强中是随机生成,然后分别对相应通道进行增减色调整,然后转换为RGB图像,做为最后的增强图像的;
图像旋转处理以及颜色通道的加减色处理后带真实标签的训练集组成扩充后带真实标签的训练集STrainepgt
图像旋转处理以及颜色通道的加减色处理后带真实标签的验证集组成扩充后带真实标签的验证集SValidepgt
步骤3中所述缩放处理为将扩充后带真实标签的训练集为STrainepgt和扩充后带真实标签的验证集SValidepgt中所有样本图像作为输入图像,按照长宽比例缩放:
假设某一原始输入图像为Iorg,其图片尺寸的宽和高是W×H,创建符合网络输入要求尺寸为416×416的三通道图像Inetblack,其像素值全为0;
如果W>H,保持宽高比的情况下缩放得到图像Iresize的尺寸宽高为如果W<H,先将Iorg做图像旋转操作,且顺时针旋转90度得到Irotate,Irotate在保持宽高比的情况下缩放得到图像Iresize的尺寸宽高为最后把Iresize放置到Inetblack的正中间即可得到实际上网络的输入训练图像Inetin
对应的烟雾真实标签位置也要按照同比例缩放;
原始输入图像为Iorg,其尺寸的高和宽是1920×1080,缩放后的图像记为Ires,令高为416,则缩放后图像的宽为1080/1920×416,显然缩放后图像的尺寸是小于卷积神经网络要求的图像输入尺寸416x416,故可创建三通道全黑图像Inetin,即每个通道的数值均为0,尺寸为416x416,将Ires镶嵌入Inetin正中间即可
步骤4:采用基于微调训练思想设定相关参数和学习策略以初始化卷积神经网络参数,根据步骤3中缩放处理后带真实标签的训练集训练卷积神经网络得到训练后卷积神经网络;
步骤4中所述采用基于微调训练思想设定相关参数和学习策略以初始化卷积神经网络参数为:
在经典图像数据集ImageNet选择其中1000类目标通过训练卷积神经网络得到的预训练模型M,M中保存的是卷积神经网络的权值信息,在用烟雾检测的卷积神经网络加载M中的权值信息作为模型的初始值;
缩放处理后带真实标签的训练集训练卷积神经网络为:
构建并训练卷积神经网络,卷积神经网络模型由22个卷积层和5个最大池化层组成,该模型在输入为尺寸为416×416的三通道RGB训练图像,经过卷积神经网络模型的计算,最后得到输出尺寸为13×13×5×(5+classes),classes为检测目标的总类别数目;
首先初始化卷积神经网络模型中所有参数,然后分批次输入训练图像,经过卷积神经网络计算得到预测输出,然后根据卷积神经网络输入和训练样本的实际标注标签比较,采用损失函数计算网络训练的损失值:
上式中lh和lw为纵向和横向网格的数量,在网络输入图像尺寸为416×416情况下,有lw=lh=13,ln为网络每个网格预测的包围框数量,且ln=5,网络借助每个网格处固定位置的5个锚盒,通过网络预测相对锚盒的偏移来预测包围框的位置,λnoobj,λobj,λclass,λcoord以及0.01均为平衡不同损失的系数,平衡的具体损失对应到公式中为非目标物体的置信度损失,包含物体置信度损失,类别损失,包含目标对应的锚盒的位置损失,不包含目标对应的锚盒的位置损失。表示第i个网格中的第j个包围框包含目标物体,表示第i个网格中的第j个包围框不包含任何目标物体,C表示包围框是否包含目标的真实置信度,表示网络预测的包围框是否包含目标的真实置信度。p(c)为真实类别概率,为预测类别概率,(x,y,w,h)为真实的目标包围框中心坐标和长宽,为预测的包围框中心坐标和长宽,(px,py,pw,ph)为之前固定的锚盒的位置参数;
该函数的值称为输出层误差δ,δ反映了网络的预测输出和实际样本标签的拟合程度,本发明中采用的是加权平方损失函数,利用神经网络中经典的误差反向传播算法,结合求导链式法则和随机梯度下降可以完成卷积神经网络中全部参数的更新,在达到指定训练轮次且损失函数收敛后结束训练,记经过烟雾数据集训练收敛的卷积神经网络记为训练后卷积神经网络;
步骤5:实时采集待检测野外监控画面图像,将视频流中的每一帧图片经过上述步骤3中所述缩放处理以及边界补齐操作得到训练后卷积神经网络的标准输入尺寸图像,然后通过网络的前向传播得到输出计算,输出结果包含烟雾目标的位置信息和置信度概率信息,利用置信度阈值TS去除低置信度目标检测框,然后采用非极大值抑制技术得到最后训练后卷积神经网络预测最优的烟雾目标检测框;
步骤5中所述标准输入图像为416*416;
步骤6:在训练后卷积神经网络给出的目标检测结果上进行帧间置信度增强以及重定位;
步骤6中所述帧间置信度增强为:
设定高置信度阈值TSH,利用帧间的相关性,假设t-1帧某个目标Objectt-1置信度为Ct-1,t帧某个目标Objectt的置信度为Ct,如果前一帧Objectt-1置信度高于TSH,后一帧Objectt置信度低于步骤3中的阈值TS,且在Objectt-1和Objectt目标检测结果框在前后两帧变化不大的情况下,则可以采用前后两帧的平均概率来代替后一帧的概率,置信度增强公式公式表示如下:
上式中IOU为交并比,若存在两个建议框Bbox1和Bbox2,则IOU可用公式定义如下:
置信度增强公式中的λIOU在本发明中取0.5,实际上该值一定程度上反映了物体运动的速度,取值越大,表明物体在两帧图像之间的对应区域目标运动变化不大。采用置信度增强公式调整了t帧某个目标Objectt的置信度Ct后,本发明再次采用置信度阈值TS进行判断,防止置信度增强过度;
上述置信度增强操作是针对t-1帧每个置信度超过TSH的目标检测框都在t帧遍历所有置信度低于TS的检测框,对符合置信度增强公式条件的目标框对(Objectt-1,Objectt)做置信度增强操作;
步骤6中所述重定位为:
同时观察到野外烟雾多呈现白色,采用自适应阈值分割技术对检测的结果中对应每个烟雾检测包围框内的图像进行二值化分割,然后采用轮廓提取技术,选取最大面积轮廓Scontourmax的最小外接矩形Srectanglemin,最小外接矩形可以通过以下算法简单获得:
最大面积轮廓Scontourmax内所有点的横坐标集合X和纵坐标集合Y;
寻找集合X的最大值max(X)和最小值min(X),寻找集合Y的最大值max(Y)和最小值min(Y),则最小外接矩形Srectanglemin的左上角坐标为(min(X),min(Y)),右下角坐标为(max(X),max(Y));
假设某一个烟雾检测包围框为Bdetect,其图像长宽为Wdetect×Hdetect,则估计烟雾目标占烟
雾检测包围框的比例Pdetect如果Pdetect高于一定阈值PTh则用Srectanglemin坐标来代替训练后卷积神经网络预测的目标位置,否则保持训练后卷积神经网络预测的目标位置不变。
卷积神经网络对每张图都会预测13×13×5个包围框,设定包围框的置信度阈值为TS,则假设高于阈值的建议框被保留,数目为M,故这些建议框构成一个建议框和置信度分数对的集合,不妨记为{(B1,S1),(B2,S2),…,(BM,SM)},其中Bi,i∈1,2,...,M表示每一个建议框的左上顶点和右下定点的坐标,Si,i∈1,2,...,M为每个建议框对应的置信度分数,则非极大值抑制算法描述如下:
按照建议框的置信度分数排序,首先选出置信度分数最大的建议框。假定排序结果集合为{(BM,SM),(B2,S2),…,(B5,S5),(B1,S1)},排序结果结合从左至右置信度分数单调递减。
对置信度最大的建议框BM和剩余所有的建议框求重叠度IOU,IOU计算公式如下:
上式表示两个建议框的IOU等于两个建议框相交的面积和相并的面积之比。
假设BM和B1的重合度大于预先设定的重合度抑制阈值TIOU,把B1从①中描述的排序结果集合中删除,得到有序集合{(BM,SM),(B2,S2),…,(B5,S5)},重复计算删除所有与BM重合度大于阈值的建议框之后,将BM删除并加入到最终的目标检测建议框序列中。
接着寻找在排序结果集合中最大置信度的建议框,并重复步骤②③,直到排序结果集合为空,则完成了NMS算法。
显示最终的目标检测建议框序列。
帧间置信度增强以及重定位
由于烟雾目标不是汽车等物体会进行快速的移动,在较稳定的视频监控中,前后帧烟雾目标位置不产生突变,且帧间该目标不会发生剧烈变化,即突然消失和出现。基于以上观察得到的经验,本发明假设前一帧检测到了一个或多个高置信概率(置信度大于本发明前述定义的高置信度阈值TSH)的烟雾目标。而当前帧检测为无任何目标被检测到(可能是真的无目标,也可能是概率偏低而被阈值抑制了),则不采用传统的单帧NMS非极大值抑制,改为两帧非极大值抑制,采用以下方法来提升当前帧中某些目标候选框的置信度,使其超过置信度阈值为TS,判定为目标。假设当前帧帧数为T,上一帧为T-1,假设T-1帧在经过阈值TS选择,非极大值抑制并同时满足置信度大于TSH之后检测到的目标包围框序列为对应每个框的置信度分数序列为相应的记第T帧的候选的包围框序列为对应每个框置信度的分数为:
本发明中λIOU=0.5,该公式表示对于T-1帧每一个目标寻找下一帧中对应IOU重合度不低于0.5的候选包围框,且使得这个包围框对的置信度之和psumi最大。则提升对应的置信度分数再利用相应的阈值TS控制置信度提升后的候选目标框是该被抑制还是判定为目标输出。
同时观察到野外烟雾多呈现白色,白色物体在数字图像中具有RGB三个颜色通道的像素值均比较大的特点,所以首先采用自适应阈值分割处理检出的目标图像区域,自适应阈值分割具体有以下步骤:
将卷积神经网络检测出的单个或多个烟雾区域图像转换为灰度图像,设某一个检出的烟雾区域图像为F(x,y),将三通道彩色图像F(x,y)转换为灰度图像G(x,y);
对灰度图像G(x,y)的所有像素值相加求和得到值为sum_value。
利用以下公式对灰度图像G(x,y)进行分割:
上式中S(x,y)为分割后二值图像,gheight和gwidth为灰度图像G(x,y)的高和宽。
对二值图像S(x,y)做轮廓提取,对轮廓面积进行排序得到最大面积为ASmax的轮廓,并设置阈值TS为0.2*(gheight*gwidth),如果低于该阈值认为未正确分割烟雾区域或错误分割烟雾区域,保持原来的候选框位置不做修改,如果高于该阈值则对提取的最大面积轮廓求取最小外接矩形,采用该外接矩形位置来代替原来的候选框位置。
根据上述实施方式步骤,由于本发明属于目标检测领域,目标检测领域的评价指标通常为平均准确度(Average Precision,简称AP)以及实时性指标检测速度,平均准确度的计算是准确率-召回率曲线(PR曲线)的线下面积,PR曲线的思想在[0,1]区间内选取0,0.1,...,1等11个不同召回率的水平下求最大准确率,由于召回率越高往往准确率越低,所以PR曲线线下面积能反映系统的综合性能。由于本发明还属于烟雾检测的视频监控领域,在相关论文中存在以视频中烟雾检测的准确率和召回率作为评价系统的性能指标。本发明评价将采用两种不同评价指标对提出的野外火灾烟雾检测算法进行评估。评估的测试数据集包括中国科技大学火灾科学重点实验室收集的含烟雾目标图片2537张以及2段来自Bilkent大学于2004年创建的烟雾数据集。测试数据如图5所示,这些测试图片无重复图片,并且均给出了真实的烟雾目标位置标签。测试视频采用自动标注技术和人为筛选,修正得到了真实的烟雾目标位置。在测试图片和视频上的检测结果如图6所示。
在建议框置信概率阈值设为0.19,非极大值抑制阈值设为0.1的情况下,采用训练的卷积神经网络测试2537张图,通过结果可以绘制PR曲线图,PR曲线图如图7所示。
计算PR图的线下面积,可以得到烟雾目标检测的AP为0.9257。
在2段视频上采用fDSST追踪算法进行标注,并进行人为调整给出2段视共9105帧的标注结果,采用文中所提算法检测后统计可得,如图8所示。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于卷积神经网络的视频野外火灾烟雾实时检测方法,其特征在于,包括以下步骤:
步骤1:通过实验模拟方式收集烟雾图片,在以上图片中随机挑选具有光照变化、尺度变化和场景变化的烟雾图片组成烟雾图像数据集,对烟雾图像数据集进行标注,将已标注烟雾图像按比例划分为训练集、测试集及验证集,在测试集的基础上添加两段视频数据一起作为评估的数据集;
步骤2:根据fDSST跟踪算法分别对训练集、测试集及验证集进行自动标注结合人工调整,分别得到带真实标签的训练集,带真实标签的测试集以及带真实标签的验证集;
步骤3:对带真实标签的训练集和带真实标签的验证集中每个样本图片分别进行图像旋转处理以及颜色通道的加减色处理,图像旋转处理以及颜色通道的加减色处理后组成扩充后带真实标签的训练集以及扩充后带真实标签的验证集,对扩充后带真实标签的训练集以及扩充后带真实标签的验证集进行缩放处理,分别得到缩放处理后带真实标签的训练集以及缩放处理后带真实标签的验证集;
步骤4:采用基于微调训练思想设定相关参数和学习策略以初始化卷积神经网络参数,根据步骤3中缩放处理后带真实标签的训练集训练卷积神经网络得到训练后卷积神经网络;
步骤5:实时采集待检测野外监控画面图像,将视频流中的每一帧图片经过上述步骤3中所述缩放处理以及边界补齐操作得到训练后卷积神经网络的标准输入尺寸图像,然后通过网络的前向传播得到输出计算,输出结果包含烟雾目标的位置信息和置信度概率信息,利用置信度阈值TS去除低置信度目标检测框,然后采用非极大值抑制技术得到最后训练后卷积神经网络预测最优的烟雾目标检测框;
步骤6:在训练后卷积神经网络给出的目标检测结果上进行帧间置信度增强以及重定位。
2.根据权利要求1所述的基于卷积神经网络的视频野外火灾烟雾实时检测方法,步骤1中所述图像数据集为D,步骤1中所述已标注烟雾图像为
步骤1中所述训练集为STrain用以建立网络模型,步骤1中所述验证集为SValid用来帮助选择模型中的超参数,步骤1中所述测试集为STest用来评估模型的泛化能力,评估的数据集为SValuate用于综合评估本文提出方法的鲁棒性。
3.根据权利要求1所述的基于卷积神经网络的视频野外火灾烟雾实时检测方法,步骤2中所述训练集为STrain,所述验证集为SValid,所述测试集为STest
步骤2中所述fDSST跟踪算法分别对训练集STrain、测试集SValid及验证集STest进行自动标注结合人工调整具体过程为:
设t-1帧中烟雾目标位置为Pt-1,目标尺度为St-1,第一帧的目标位置人为给出;
设t-1帧位置模型At-1和尺度模型Bt-1,初始位置模型和尺度模型由目标周围样本给出;
采用t-1帧中的目标的具体位置和尺度,以及位置模型At-1和尺度模型Bt-1,利用相关滤波法得到t帧的目标位置估计Pt和目标尺度St
用目标周围的样本更新t帧位置模型At和尺度模型Bt
根据上述自动标注结合人工调整得到步骤2中所述带真实标签的训练集为STraingt,带真实标签的测试集为STestgt,带真实标签的验证集为SValidgt,人工调整的具体原则为:尽可能给定紧密的包围框使得物体刚好被标注框包围,同时背景部分尽可能少。
4.根据权利要求1所述的基于卷积神经网络的视频野外火灾烟雾实时检测方法,步骤3中所述带真实标签的训练集STraingt和带真实标签的验证集SValidgt中每个样本图片为F(x,y);
步骤3中所述图像旋转处理为:
输入图像F(x,y)中的任意某一点坐标为(x0,y0),首先人为指定旋转角度θ,图像旋转中心为原始图像F(x,y)的正中心,则由以下公式可以得到旋转后的图像G(x,y)中对应点坐标(x,y),
将旋转后的图像G(x,y)进一步采取插值得到旋转处理后图像;
颜色通道的加减色处理为:
对带真实标签的训练集STraingt和带真实标签的验证集SValidgt中每个样本图片F(x,y)三通道RGB图像在HSV空间内进行加减色处理,然后反变换回RGB彩色空间,作为增强后的图片,处理公式如下:
上述公式中,Hue(i,j),Saturation(i,j),Value(i,j)分别为H,S,V三个分通道在某一像素点值,λ,β,γ分别为H通道的增减色变化值,S通道增减色调整因子,H通道增减色调整因子,这三个值在数据增强中是随机生成,然后分别对相应通道进行增减色调整,然后转换为RGB图像,做为最后的增强图像的;
图像旋转处理以及颜色通道的加减色处理后带真实标签的训练集联合原始带真实标签的训练集STraingt组成扩充后带真实标签的训练集STrainepgt
图像旋转处理以及颜色通道的加减色处理后带真实标签的验证集联合原始带真实标签的验证集SValidgt组成扩充后带真实标签的验证集SValidepgt
步骤3中所述缩放处理为将扩充后带真实标签的训练集为STrainepgt和扩充后带真实标签的验证集SValidepgt中所有样本图像作为输入图像,按照长宽比例缩放:
假设某一原始输入图像为Iorg,其图片尺寸的宽和高是W×H,创建符合网络输入要求尺寸为416×416的三通道图像Inetblack,其像素值全为0;
如果W>H,保持宽高比的情况下缩放得到图像Iresize的尺寸宽高为如果W<H,先将Iorg做图像旋转操作,且顺时针旋转90度得到Irotate,Irotate在保持宽高比的情况下缩放得到图像Iresize的尺寸宽高为最后把Iresize放置到Inetblack的正中间即可得到实际上网络的输入训练图像Inetin
对应的烟雾真实标签位置也要按照同比例缩放。
5.根据权利要求1所述的基于卷积神经网络的视频野外火灾烟雾实时检测方法,步骤4中所述采用基于微调训练思想设定相关参数和学习策略以初始化卷积神经网络参数为:
在经典图像数据集ImageNet选择其中1000类目标通过训练卷积神经网络得到的预训练模型M,M中保存的是卷积神经网络的权值信息,在用烟雾检测的卷积神经网络加载M中的权值信息作为模型的初始值;
缩放处理后带真实标签的训练集训练卷积神经网络为:
构建并训练卷积神经网络,卷积神经网络模型由22个卷积层和5个最大池化层组成,该模型在输入为尺寸为416×416的三通道RGB训练图像,经过卷积神经网络模型的计算,最后得到输出尺寸为13×13×5×(5+classes),classes为检测目标的总类别数目;
首先初始化卷积神经网络模型中所有参数,然后分批次输入训练图像,经过卷积神经网络计算得到预测输出,然后根据卷积神经网络输入和训练样本的实际标注标签比较,采用损失函数计算网络训练的损失值:
上式中lh和lw为纵向和横向网格的数量,在网络输入图像尺寸为416×416情况下,有lw=lh=13,ln为网络每个网格预测的包围框数量,且ln=5,网络借助每个网格处固定位置的5个锚盒,通过网络预测相对锚盒的偏移来预测包围框的位置,λnoobj,λobj,λclass,λcoord以及0.01均为平衡不同损失的系数,平衡的具体损失对应到公式中为非目标物体的置信度损失,包含物体置信度损失,类别损失,包含目标对应的锚盒的位置损失,不包含目标对应的锚盒的位置损失,表示第i个网格中的第j个包围框包含目标物体,表示第i个网格中的第j个包围框不包含任何目标物体,C表示包围框是否包含目标的真实置信度,表示网络预测的包围框是否包含目标的真实置信度,p(c)为真实类别概率,为预测类别概率,(x,y,w,h)为真实的目标包围框中心坐标和长宽,为预测的包围框中心坐标和长宽,(px,py,pw,ph)为之前固定的锚盒的位置参数;
该函数的值称为输出层误差δ,δ反映了网络的预测输出和实际样本标签的拟合程度,本发明中采用的是加权平方损失函数,利用神经网络中经典的误差反向传播算法,结合求导链式法则和随机梯度下降可以完成卷积神经网络中全部参数的更新,在达到指定训练轮次且损失函数收敛后结束训练,记经过烟雾数据集训练收敛的卷积神经网络记为训练后卷积神经网络。
6.根据权利要求1所述的基于卷积神经网络的视频野外火灾烟雾实时检测方法,步骤5中所述标准输入图像为416*416。
7.根据权利要求1所述的基于卷积神经网络的视频野外火灾烟雾实时检测方法,步骤6中所述帧间置信度增强为:
设定高置信度阈值TSH,利用帧间的相关性,假设t-1帧某个目标Objectt-1置信度为Ct-1,t帧某个目标Objectt的置信度为Ct,如果前一帧Objectt-1置信度高于TSH,后一帧Objectt置信度低于步骤3中的阈值TS,且在Objectt-1和Objectt目标检测结果框在前后两帧变化不大的情况下,则可以采用前后两帧的平均概率来代替后一帧的概率,置信度增强公式表示如下:
上式中IOU为交并比,若存在两个建议框Bbox1和Bbox2,则IOU可用公式定义如下:
置信度增强公式中的λIOU在本发明中取0.5,实际上该值一定程度上反映了物体运动的速度,取值越大,表明物体在两帧图像之间的对应区域目标运动变化不大;采用置信度增强公式调整了t帧某个目标Objectt的置信度Ct后,本发明再次采用置信度阈值TS进行判断,防止置信度增强过度;
上述置信度增强操作是针对t-1帧每个置信度超过TSH的目标检测框都在t帧遍历所有置信度低于TS的检测框,对符合置信度增强公式条件的目标框对(Objectt-1,Objectt)做置信度增强操作;
步骤6中所述重定位为:
同时观察到野外烟雾多呈现白色,采用自适应阈值分割技术对检测的结果中对应每个烟雾检测包围框内的图像进行二值化分割,然后采用轮廓提取技术,选取最大面积轮廓Scontourmax的最小外接矩形Srectanglemin,最小外接矩形可以通过以下算法简单获得:
最大面积轮廓Scontourmax内所有点的横坐标集合X和纵坐标集合Y;
寻找集合X的最大值max(X)和最小值min(X),寻找集合Y的最大值max(Y)和最小值min(Y),则最小外接矩形Srectanglemin的左上角坐标为(min(X),min(Y)),右下角坐标为(max(X),max(Y));
假设某一个烟雾检测包围框为Bdetect,其图像长宽为Wdetect×Hdetect,则估计烟雾目标占烟
雾检测包围框的比例Pdetect如果Pdetect高于一定阈值PTh则用Srectanglemin坐标来代替训练后卷积神经网络预测的目标位置,否则保持训练后卷积神经网络预测的目标位置不变。
CN201810791162.XA 2018-07-18 2018-07-18 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 Expired - Fee Related CN109147254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810791162.XA CN109147254B (zh) 2018-07-18 2018-07-18 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810791162.XA CN109147254B (zh) 2018-07-18 2018-07-18 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法

Publications (2)

Publication Number Publication Date
CN109147254A true CN109147254A (zh) 2019-01-04
CN109147254B CN109147254B (zh) 2021-05-18

Family

ID=64801182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810791162.XA Expired - Fee Related CN109147254B (zh) 2018-07-18 2018-07-18 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法

Country Status (1)

Country Link
CN (1) CN109147254B (zh)

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803108A (zh) * 2019-01-22 2019-05-24 国网信息通信产业集团有限公司 一种图像识别方法和装置
CN109816045A (zh) * 2019-02-11 2019-05-28 青岛海信智能商用系统股份有限公司 一种商品识别方法及装置
CN109815863A (zh) * 2019-01-11 2019-05-28 北京邮电大学 基于深度学习和图像识别的烟火检测方法和系统
CN109829550A (zh) * 2019-02-01 2019-05-31 北京金山数字娱乐科技有限公司 模型评价方法和装置、模型评价系统及其训练方法和装置
CN109978136A (zh) * 2019-03-05 2019-07-05 厦门美图之家科技有限公司 一种训练目标网络的方法、计算设备及存储介质
CN109977790A (zh) * 2019-03-04 2019-07-05 浙江工业大学 一种基于迁移学习的视频烟雾检测与识别方法
CN110135522A (zh) * 2019-05-28 2019-08-16 金陵科技学院 一种检测与标注遥感图像小目标一体化的智能方法
CN110287822A (zh) * 2019-06-10 2019-09-27 浙江大学城市学院 一种铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法
CN110348390A (zh) * 2019-07-12 2019-10-18 创新奇智(重庆)科技有限公司 一种火焰检测模型的训练方法、计算机可读介质及系统
CN110363104A (zh) * 2019-06-24 2019-10-22 中国科学技术大学 一种柴油黑烟车的检测方法
CN110458019A (zh) * 2019-07-10 2019-11-15 哈尔滨工程大学 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN110473375A (zh) * 2019-08-14 2019-11-19 成都睿云物联科技有限公司 森林火灾的监测方法、装置、设备和系统
CN110706227A (zh) * 2019-10-14 2020-01-17 普联技术有限公司 一种物品状态检测方法、系统、终端设备及存储介质
CN110765844A (zh) * 2019-09-03 2020-02-07 华南理工大学 一种基于对抗学习的非感应式餐盘图像数据自动标注方法
CN110782005A (zh) * 2019-09-27 2020-02-11 山东大学 基于弱标注数据进行跟踪的图像标注方法及系统
CN110852347A (zh) * 2019-10-17 2020-02-28 天津大学 采用改进YOLO v3的火灾检测方法
CN111079638A (zh) * 2019-12-13 2020-04-28 河北爱尔工业互联网科技有限公司 基于卷积神经网络的目标检测模型训练方法、设备和介质
CN111178267A (zh) * 2019-12-30 2020-05-19 成都数之联科技有限公司 一种用于监测非法捕鱼的视频行为识别方法
CN111178275A (zh) * 2019-12-30 2020-05-19 浙江中创天成科技有限公司 一种基于卷积神经网络的火灾检测方法
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备
CN111242133A (zh) * 2020-01-14 2020-06-05 济南浪潮高新科技投资发展有限公司 一种gan隐藏层单元与生成图像中物体相关性的方法及系统
CN111415304A (zh) * 2020-02-26 2020-07-14 中国农业大学 基于级联深度网络的水下视觉增强方法和装置
WO2020146501A1 (en) * 2019-01-10 2020-07-16 Verily Life Sciences Llc Surgical workflow and activity detection based on surgical videos
CN111428695A (zh) * 2019-11-01 2020-07-17 武汉纺织大学 一种基于深度学习与地域特征的秸秆燃烧检测方法
CN111461209A (zh) * 2020-03-30 2020-07-28 深圳市凯立德科技股份有限公司 一种模型训练装置和方法
CN111476129A (zh) * 2020-03-27 2020-07-31 潍坊申海科技有限公司 一种基于深度学习的土壤杂质检测方法
CN111489006A (zh) * 2019-01-29 2020-08-04 深圳富桂精密工业有限公司 火灾发展态势预测方法、装置及计算机可存储介质
CN111539600A (zh) * 2020-04-07 2020-08-14 北京航天自动控制研究所 一种基于测试的神经网络目标检测稳定性评价方法
CN111553403A (zh) * 2020-04-23 2020-08-18 山东大学 基于伪3d卷积神经网络的烟雾检测方法及系统
CN111680632A (zh) * 2020-06-10 2020-09-18 深延科技(北京)有限公司 基于深度学习卷积神经网络的烟火检测方法及系统
CN111709991A (zh) * 2020-05-28 2020-09-25 武汉工程大学 一种铁路工机具的检测方法、系统、装置和存储介质
CN111723860A (zh) * 2020-06-17 2020-09-29 苏宁云计算有限公司 一种目标检测方法及装置
CN111768359A (zh) * 2019-03-27 2020-10-13 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN111985267A (zh) * 2019-05-21 2020-11-24 长沙智能驾驶研究院有限公司 多目标检测方法、装置、计算机设备、车辆和存储介质
CN112034456A (zh) * 2020-08-27 2020-12-04 五邑大学 烟雾巡检系统、方法、控制装置及存储介质
CN112052744A (zh) * 2020-08-12 2020-12-08 成都佳华物链云科技有限公司 一种环境检测模型训练方法、环境检测方法及装置
CN112560675A (zh) * 2020-12-15 2021-03-26 三峡大学 Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN112633174A (zh) * 2020-12-23 2021-04-09 电子科技大学 一种基于改进的YOLOv4高穹顶场景下火灾检测方法、存储介质
CN112633231A (zh) * 2020-12-30 2021-04-09 珠海大横琴科技发展有限公司 一种火灾识别的方法和装置
CN112733941A (zh) * 2021-01-12 2021-04-30 山东大学 基于保壳性的医疗用途神经网络鲁棒性验证方法及系统
CN112801148A (zh) * 2021-01-14 2021-05-14 西安电子科技大学 基于深度学习的火情识别定位系统及方法
CN112861635A (zh) * 2021-01-11 2021-05-28 西北工业大学 一种基于深度学习的火灾及烟雾实时检测方法
CN112926437A (zh) * 2021-02-22 2021-06-08 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112949849A (zh) * 2021-01-27 2021-06-11 武汉星巡智能科技有限公司 采用边缘计算优化智能摄像头检测模型的方法和装置
CN113033553A (zh) * 2021-03-22 2021-06-25 深圳市安软科技股份有限公司 多模式融合的火灾检测方法、装置、相关设备及存储介质
CN113076683A (zh) * 2020-12-08 2021-07-06 国网辽宁省电力有限公司锦州供电公司 用于变电站行为监测的卷积神经网络模型的建模方法
CN113191451A (zh) * 2021-05-21 2021-07-30 北京文安智能技术股份有限公司 图像数据集处理方法和目标检测模型训练方法
CN113378872A (zh) * 2020-03-10 2021-09-10 Sap欧洲公司 多标记分类神经网络的可靠性校准
CN113408361A (zh) * 2021-05-25 2021-09-17 中国矿业大学 一种基于深度学习的矿用输送带大块物料检测方法及系统
CN113409250A (zh) * 2021-05-26 2021-09-17 杭州电子科技大学 一种基于卷积神经网络的焊点检测方法
CN113657238A (zh) * 2021-08-11 2021-11-16 南京精益安防系统科技有限公司 基于神经网络的火灾早期预警方法、存储介质及终端设备
CN113776408A (zh) * 2021-09-13 2021-12-10 北京邮电大学 一种闸门开度尺读数方法
CN113870870A (zh) * 2021-12-02 2021-12-31 自然资源部第一海洋研究所 一种基于卷积神经网络的海洋哺乳动物发声实时识别方法
CN113920391A (zh) * 2021-09-17 2022-01-11 北京理工大学 一种基于生成尺度自适应真值图的目标计数方法
CN114022685A (zh) * 2020-07-17 2022-02-08 南京南瑞信息通信科技有限公司 一种安全员位置检测方法及系统
CN114445729A (zh) * 2021-09-30 2022-05-06 太原理工大学 一种基于改进yolo算法的小目标火灾检测方法
CN115147586A (zh) * 2022-07-28 2022-10-04 深圳大学 基于深度学习的烟雾检测方法、装置、设备及存储介质
CN117953432A (zh) * 2024-03-26 2024-04-30 湖北信通通信有限公司 一种基于ai算法的烟火智能识别方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101251942B1 (ko) * 2012-11-14 2013-04-08 양산시 산불감지시스템 및 그 제어방법
CN104050480A (zh) * 2014-05-21 2014-09-17 燕山大学 基于计算机视觉的吸烟烟雾检测方法
CN106646651A (zh) * 2016-12-14 2017-05-10 中国科学院遥感与数字地球研究所 一种火灾火点检测方法
CN106991400A (zh) * 2017-04-05 2017-07-28 北京中燕信息技术有限公司 一种火灾烟雾检测方法及装置
CN107025443A (zh) * 2017-04-06 2017-08-08 江南大学 基于深度卷积神经网络的堆场烟雾监测及在线模型更新方法
CN107423760A (zh) * 2017-07-21 2017-12-01 西安电子科技大学 基于预分割和回归的深度学习目标检测方法
CN107527009A (zh) * 2017-07-11 2017-12-29 浙江汉凡软件科技有限公司 一种基于yolo目标检测的遗留物检测方法
CN108108695A (zh) * 2017-12-22 2018-06-01 湖南源信光电科技股份有限公司 基于红外视频图像的火焰检测识别方法
CN108121931A (zh) * 2017-12-18 2018-06-05 广州市动景计算机科技有限公司 二维码数据处理方法、装置及移动终端
KR101869442B1 (ko) * 2017-11-22 2018-06-20 공주대학교 산학협력단 화재 감지 장치 및 방법
CN108241663A (zh) * 2016-12-26 2018-07-03 天津职业技术师范大学 一种基于图像检索的图像归类方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101251942B1 (ko) * 2012-11-14 2013-04-08 양산시 산불감지시스템 및 그 제어방법
CN104050480A (zh) * 2014-05-21 2014-09-17 燕山大学 基于计算机视觉的吸烟烟雾检测方法
CN106646651A (zh) * 2016-12-14 2017-05-10 中国科学院遥感与数字地球研究所 一种火灾火点检测方法
CN108241663A (zh) * 2016-12-26 2018-07-03 天津职业技术师范大学 一种基于图像检索的图像归类方法
CN106991400A (zh) * 2017-04-05 2017-07-28 北京中燕信息技术有限公司 一种火灾烟雾检测方法及装置
CN107025443A (zh) * 2017-04-06 2017-08-08 江南大学 基于深度卷积神经网络的堆场烟雾监测及在线模型更新方法
CN107527009A (zh) * 2017-07-11 2017-12-29 浙江汉凡软件科技有限公司 一种基于yolo目标检测的遗留物检测方法
CN107423760A (zh) * 2017-07-21 2017-12-01 西安电子科技大学 基于预分割和回归的深度学习目标检测方法
KR101869442B1 (ko) * 2017-11-22 2018-06-20 공주대학교 산학협력단 화재 감지 장치 및 방법
CN108121931A (zh) * 2017-12-18 2018-06-05 广州市动景计算机科技有限公司 二维码数据处理方法、装置及移动终端
CN108108695A (zh) * 2017-12-22 2018-06-01 湖南源信光电科技股份有限公司 基于红外视频图像的火焰检测识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周凤: "基于证据理论和神经网络的烟雾图像检测", 《现代电子技术》 *

Cited By (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020146501A1 (en) * 2019-01-10 2020-07-16 Verily Life Sciences Llc Surgical workflow and activity detection based on surgical videos
US11605161B2 (en) 2019-01-10 2023-03-14 Verily Life Sciences Llc Surgical workflow and activity detection based on surgical videos
CN109815863A (zh) * 2019-01-11 2019-05-28 北京邮电大学 基于深度学习和图像识别的烟火检测方法和系统
CN109803108A (zh) * 2019-01-22 2019-05-24 国网信息通信产业集团有限公司 一种图像识别方法和装置
CN111489006A (zh) * 2019-01-29 2020-08-04 深圳富桂精密工业有限公司 火灾发展态势预测方法、装置及计算机可存储介质
CN109829550B (zh) * 2019-02-01 2022-03-04 北京金山数字娱乐科技有限公司 模型评价方法和装置、模型评价系统及其训练方法和装置
CN109829550A (zh) * 2019-02-01 2019-05-31 北京金山数字娱乐科技有限公司 模型评价方法和装置、模型评价系统及其训练方法和装置
CN109816045A (zh) * 2019-02-11 2019-05-28 青岛海信智能商用系统股份有限公司 一种商品识别方法及装置
CN109977790A (zh) * 2019-03-04 2019-07-05 浙江工业大学 一种基于迁移学习的视频烟雾检测与识别方法
CN109978136A (zh) * 2019-03-05 2019-07-05 厦门美图之家科技有限公司 一种训练目标网络的方法、计算设备及存储介质
CN111768359A (zh) * 2019-03-27 2020-10-13 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN111985267A (zh) * 2019-05-21 2020-11-24 长沙智能驾驶研究院有限公司 多目标检测方法、装置、计算机设备、车辆和存储介质
CN110135522B (zh) * 2019-05-28 2023-03-28 金陵科技学院 一种检测与标注遥感图像小目标一体化的智能方法
CN110135522A (zh) * 2019-05-28 2019-08-16 金陵科技学院 一种检测与标注遥感图像小目标一体化的智能方法
CN110287822A (zh) * 2019-06-10 2019-09-27 浙江大学城市学院 一种铁皮石斛栽培中基于视觉目标检测的蜗牛虫害防治方法
CN110363104A (zh) * 2019-06-24 2019-10-22 中国科学技术大学 一种柴油黑烟车的检测方法
CN110363104B (zh) * 2019-06-24 2022-07-15 中国科学技术大学 一种柴油黑烟车的检测方法
CN110458019B (zh) * 2019-07-10 2023-03-24 哈尔滨工程大学 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN110458019A (zh) * 2019-07-10 2019-11-15 哈尔滨工程大学 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN110348390A (zh) * 2019-07-12 2019-10-18 创新奇智(重庆)科技有限公司 一种火焰检测模型的训练方法、计算机可读介质及系统
CN110473375A (zh) * 2019-08-14 2019-11-19 成都睿云物联科技有限公司 森林火灾的监测方法、装置、设备和系统
CN110765844A (zh) * 2019-09-03 2020-02-07 华南理工大学 一种基于对抗学习的非感应式餐盘图像数据自动标注方法
CN110765844B (zh) * 2019-09-03 2023-05-26 华南理工大学 一种基于对抗学习的非感应式餐盘图像数据自动标注方法
CN110782005A (zh) * 2019-09-27 2020-02-11 山东大学 基于弱标注数据进行跟踪的图像标注方法及系统
CN110782005B (zh) * 2019-09-27 2023-02-17 山东大学 基于弱标注数据进行跟踪的图像标注方法及系统
CN110706227B (zh) * 2019-10-14 2022-07-05 普联技术有限公司 一种物品状态检测方法、系统、终端设备及存储介质
CN110706227A (zh) * 2019-10-14 2020-01-17 普联技术有限公司 一种物品状态检测方法、系统、终端设备及存储介质
CN110852347B (zh) * 2019-10-17 2023-07-18 天津大学 采用改进YOLO v3的火灾检测方法
CN110852347A (zh) * 2019-10-17 2020-02-28 天津大学 采用改进YOLO v3的火灾检测方法
CN111428695A (zh) * 2019-11-01 2020-07-17 武汉纺织大学 一种基于深度学习与地域特征的秸秆燃烧检测方法
CN111079638A (zh) * 2019-12-13 2020-04-28 河北爱尔工业互联网科技有限公司 基于卷积神经网络的目标检测模型训练方法、设备和介质
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备
CN111178275A (zh) * 2019-12-30 2020-05-19 浙江中创天成科技有限公司 一种基于卷积神经网络的火灾检测方法
CN111178267A (zh) * 2019-12-30 2020-05-19 成都数之联科技有限公司 一种用于监测非法捕鱼的视频行为识别方法
CN111242133A (zh) * 2020-01-14 2020-06-05 济南浪潮高新科技投资发展有限公司 一种gan隐藏层单元与生成图像中物体相关性的方法及系统
CN111415304A (zh) * 2020-02-26 2020-07-14 中国农业大学 基于级联深度网络的水下视觉增强方法和装置
CN113378872A (zh) * 2020-03-10 2021-09-10 Sap欧洲公司 多标记分类神经网络的可靠性校准
CN111476129A (zh) * 2020-03-27 2020-07-31 潍坊申海科技有限公司 一种基于深度学习的土壤杂质检测方法
CN111461209B (zh) * 2020-03-30 2024-04-09 深圳市凯立德科技股份有限公司 一种模型训练装置和方法
CN111461209A (zh) * 2020-03-30 2020-07-28 深圳市凯立德科技股份有限公司 一种模型训练装置和方法
CN111539600B (zh) * 2020-04-07 2023-09-01 北京航天自动控制研究所 一种基于测试的神经网络目标检测稳定性评价方法
CN111539600A (zh) * 2020-04-07 2020-08-14 北京航天自动控制研究所 一种基于测试的神经网络目标检测稳定性评价方法
CN111553403A (zh) * 2020-04-23 2020-08-18 山东大学 基于伪3d卷积神经网络的烟雾检测方法及系统
CN111553403B (zh) * 2020-04-23 2023-04-18 山东大学 基于伪3d卷积神经网络的烟雾检测方法及系统
CN111709991A (zh) * 2020-05-28 2020-09-25 武汉工程大学 一种铁路工机具的检测方法、系统、装置和存储介质
CN111709991B (zh) * 2020-05-28 2023-11-07 武汉工程大学 一种铁路工机具的检测方法、系统、装置和存储介质
CN111680632A (zh) * 2020-06-10 2020-09-18 深延科技(北京)有限公司 基于深度学习卷积神经网络的烟火检测方法及系统
CN111723860A (zh) * 2020-06-17 2020-09-29 苏宁云计算有限公司 一种目标检测方法及装置
CN111723860B (zh) * 2020-06-17 2022-11-18 苏宁云计算有限公司 一种目标检测方法及装置
CN114022685A (zh) * 2020-07-17 2022-02-08 南京南瑞信息通信科技有限公司 一种安全员位置检测方法及系统
CN114022685B (zh) * 2020-07-17 2022-10-21 南京南瑞信息通信科技有限公司 一种安全员位置检测方法及系统
CN112052744A (zh) * 2020-08-12 2020-12-08 成都佳华物链云科技有限公司 一种环境检测模型训练方法、环境检测方法及装置
CN112052744B (zh) * 2020-08-12 2024-02-09 成都佳华物链云科技有限公司 一种环境检测模型训练方法、环境检测方法及装置
CN112034456B (zh) * 2020-08-27 2023-10-17 五邑大学 烟雾巡检系统、方法、控制装置及存储介质
CN112034456A (zh) * 2020-08-27 2020-12-04 五邑大学 烟雾巡检系统、方法、控制装置及存储介质
CN113076683A (zh) * 2020-12-08 2021-07-06 国网辽宁省电力有限公司锦州供电公司 用于变电站行为监测的卷积神经网络模型的建模方法
CN113076683B (zh) * 2020-12-08 2023-08-08 国网辽宁省电力有限公司锦州供电公司 用于变电站行为监测的卷积神经网络模型的建模方法
CN112560675B (zh) * 2020-12-15 2022-06-21 三峡大学 Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN112560675A (zh) * 2020-12-15 2021-03-26 三峡大学 Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN112633174A (zh) * 2020-12-23 2021-04-09 电子科技大学 一种基于改进的YOLOv4高穹顶场景下火灾检测方法、存储介质
CN112633231A (zh) * 2020-12-30 2021-04-09 珠海大横琴科技发展有限公司 一种火灾识别的方法和装置
CN112861635B (zh) * 2021-01-11 2024-05-14 西北工业大学 一种基于深度学习的火灾及烟雾实时检测方法
CN112861635A (zh) * 2021-01-11 2021-05-28 西北工业大学 一种基于深度学习的火灾及烟雾实时检测方法
CN112733941B (zh) * 2021-01-12 2022-06-21 山东大学 基于神经网络的高鲁棒用户分类方法及系统
CN112733941A (zh) * 2021-01-12 2021-04-30 山东大学 基于保壳性的医疗用途神经网络鲁棒性验证方法及系统
CN112801148A (zh) * 2021-01-14 2021-05-14 西安电子科技大学 基于深度学习的火情识别定位系统及方法
CN112949849B (zh) * 2021-01-27 2024-03-26 武汉星巡智能科技有限公司 采用边缘计算优化智能摄像头检测模型的方法和装置
CN112949849A (zh) * 2021-01-27 2021-06-11 武汉星巡智能科技有限公司 采用边缘计算优化智能摄像头检测模型的方法和装置
CN112926437A (zh) * 2021-02-22 2021-06-08 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112926437B (zh) * 2021-02-22 2024-06-11 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN113033553A (zh) * 2021-03-22 2021-06-25 深圳市安软科技股份有限公司 多模式融合的火灾检测方法、装置、相关设备及存储介质
CN113033553B (zh) * 2021-03-22 2023-05-12 深圳市安软科技股份有限公司 多模式融合的火灾检测方法、装置、相关设备及存储介质
CN113191451A (zh) * 2021-05-21 2021-07-30 北京文安智能技术股份有限公司 图像数据集处理方法和目标检测模型训练方法
CN113191451B (zh) * 2021-05-21 2024-04-09 北京文安智能技术股份有限公司 图像数据集处理方法和目标检测模型训练方法
CN113408361A (zh) * 2021-05-25 2021-09-17 中国矿业大学 一种基于深度学习的矿用输送带大块物料检测方法及系统
CN113408361B (zh) * 2021-05-25 2023-09-19 中国矿业大学 一种基于深度学习的矿用输送带大块物料检测方法及系统
CN113409250A (zh) * 2021-05-26 2021-09-17 杭州电子科技大学 一种基于卷积神经网络的焊点检测方法
CN113657238A (zh) * 2021-08-11 2021-11-16 南京精益安防系统科技有限公司 基于神经网络的火灾早期预警方法、存储介质及终端设备
CN113657238B (zh) * 2021-08-11 2024-02-02 南京精益安防系统科技有限公司 基于神经网络的火灾早期预警方法、存储介质及终端设备
CN113776408A (zh) * 2021-09-13 2021-12-10 北京邮电大学 一种闸门开度尺读数方法
CN113776408B (zh) * 2021-09-13 2022-09-13 北京邮电大学 一种闸门开度尺读数方法
CN113920391A (zh) * 2021-09-17 2022-01-11 北京理工大学 一种基于生成尺度自适应真值图的目标计数方法
CN113920391B (zh) * 2021-09-17 2024-06-25 北京理工大学 一种基于生成尺度自适应真值图的目标计数方法
CN114445729B (zh) * 2021-09-30 2024-03-29 太原理工大学 一种基于改进yolo算法的小目标火灾检测方法
CN114445729A (zh) * 2021-09-30 2022-05-06 太原理工大学 一种基于改进yolo算法的小目标火灾检测方法
CN113870870A (zh) * 2021-12-02 2021-12-31 自然资源部第一海洋研究所 一种基于卷积神经网络的海洋哺乳动物发声实时识别方法
CN115147586B (zh) * 2022-07-28 2024-03-26 深圳大学 基于深度学习的烟雾检测方法、装置、设备及存储介质
CN115147586A (zh) * 2022-07-28 2022-10-04 深圳大学 基于深度学习的烟雾检测方法、装置、设备及存储介质
CN117953432A (zh) * 2024-03-26 2024-04-30 湖北信通通信有限公司 一种基于ai算法的烟火智能识别方法及系统
CN117953432B (zh) * 2024-03-26 2024-06-11 湖北信通通信有限公司 一种基于ai算法的烟火智能识别方法及系统

Also Published As

Publication number Publication date
CN109147254B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN109147254A (zh) 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN109902677B (zh) 一种基于深度学习的车辆检测方法
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
US10984532B2 (en) Joint deep learning for land cover and land use classification
CN107145908B (zh) 一种基于r-fcn的小目标检测方法
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN112084869B (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN110796168A (zh) 一种基于改进YOLOv3的车辆检测方法
CN103714339B (zh) 基于矢量数据的sar影像道路损毁信息提取方法
CN104484681B (zh) 基于空间信息和集成学习的高光谱遥感影像分类方法
CN109446925A (zh) 一种基于卷积神经网络的电力设备检测算法
Carmel et al. Combining Location and Classification Error Sources for Estimating Multi-Temporal
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN113240688A (zh) 一种一体化洪涝灾害精准监测预警方法
CN106127204A (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN107871119A (zh) 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN109815997A (zh) 基于深度学习的识别车辆损伤的方法和相关装置
CN110533695A (zh) 一种基于ds证据理论的轨迹预测装置及方法
CN108304820A (zh) 一种人脸检测方法、装置及终端设备
CN108280440A (zh) 一种果林识别方法和系统
CN110443969A (zh) 一种火点检测方法、装置、电子设备及存储介质
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN108710913A (zh) 一种基于深度学习的开关柜图像开关状态自动识别方法
CN109740676A (zh) 基于相似目标的物体检测迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210518