CN108416963A - 基于深度学习的森林火灾预警方法及系统 - Google Patents

基于深度学习的森林火灾预警方法及系统 Download PDF

Info

Publication number
CN108416963A
CN108416963A CN201810419169.9A CN201810419169A CN108416963A CN 108416963 A CN108416963 A CN 108416963A CN 201810419169 A CN201810419169 A CN 201810419169A CN 108416963 A CN108416963 A CN 108416963A
Authority
CN
China
Prior art keywords
fire
forest
unmanned plane
image
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810419169.9A
Other languages
English (en)
Other versions
CN108416963B (zh
Inventor
刘嵩
邱达
李梦
赵家磊
刘家琪
韦亚萍
李劲
向绍成
刘佳芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Licheng Chengdu Westone Information Industry Inc
Hubei University for Nationalities
Original Assignee
Hubei Licheng Chengdu Westone Information Industry Inc
Hubei University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Licheng Chengdu Westone Information Industry Inc, Hubei University for Nationalities filed Critical Hubei Licheng Chengdu Westone Information Industry Inc
Priority to CN201810419169.9A priority Critical patent/CN108416963B/zh
Publication of CN108416963A publication Critical patent/CN108416963A/zh
Application granted granted Critical
Publication of CN108416963B publication Critical patent/CN108416963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/005Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/06Electric actuation of the alarm, e.g. using a thermally-operated switch
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Alarm Systems (AREA)
  • Fire Alarms (AREA)

Abstract

本发明公开了一种基于深度学习的森林火灾预警方法及系统,属于消防安全领域,方法包括:S1,无人机实时感测行驶区域的温度、湿度信息,拍摄和传送行驶区域的森林图像至地面站;同步发送位置信息至地面站;S2,根据温度和湿度信息进行火灾预警判断,发送火灾预警信号至地面站;S3,地面站接收火灾预警信号并采用深度学习算法处理森林图像,获得是否预发生火灾或存在火灾结果;S4,将火灾信息发送给森林管理中心。感测温度和湿度信息并进行比较处理,直观判断该区域是否有发生火灾的可能性,当可能发生火灾时,通过深度学习算法对森林图像进行处理,能精确识别出火灾预发生情况和已发生情况,便于相关人员第一时间准确获知火灾情况。

Description

基于深度学习的森林火灾预警方法及系统
技术领域
本发明涉及消防安全领域,特别是涉及一种基于深度学习的森林火灾预警方法及系统。
背景技术
森林火灾的定义是:在森林区域内,突发性的引起失去人为控制的大片林木的燃烧,而且蔓延速度非常快。森林防火是中国防灾减灾的重要组成部分,对森林资源的保护和优良生态环境的发展都有重大意义,对中国能源的发展具有重大影响。
森林防火监测主要采用人工缭望、远程视频监控、卫星遥感和无人机巡护的方式。人工缭望方式是在制高点设立缭望哨,值班人员24小时轮流值班,由于人为的疏忽和过失,会使得许多火情未能及早发现,延误扑火时间,造成严重后果。远程视频监控方式是在林区搭建大量的视频监控点,监控点配备摄像机,通过有线或无线网络将实时画面传送到监控中心,由中心人员实施监控。该方式不需直接派驻人员到林区现场,但在远距离上人工很难识别早期火情。尤其是可见光摄像机监控系统,在夜间,几乎没有可探测的光谱范围的光照,视频图像上几乎是漆黑一片,很难发现和判断林火。即便换成热红外视频监控,森林环境复杂,容易存在监控死点,从而造成隐患。卫星遥感方式是通过对遥感照片的处理后发现林火,但卫星只能发现较大区域的林火,在火灾早期无法发现;同时还存在遥感图像分辨率不足、灵活性差等问题。无人机空中巡护相对来说优点较为突出,且有较好的适应性和实时性。
现有技术中,在无人机上设置红外摄像仪或摄像头,通过对红外摄像仪的拍摄图像进行热像差值、烟雾分析等处理;或者通过摄像头拍摄视频进行图像处理,识别火灾的预发生或已发生情况。由于红外热成像仪靠温差成像,而一般目标温差都不大,因此红外热图像对比度低,使分辨细节能力变差,不能透过透明的障碍物看清目标;而常用的摄像头视频图像处理方法不能精确识别出火灾预发生情况和已发生情况。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种基于深度学习的森林火灾预警方法及系统。
为了实现本发明的上述目的,根据本发明的第一个方面,本发明提供了一种基于深度学习的森林火灾预警方法,该方法包括:
S1,无人机沿设定路线对森林进行巡检,实时感测行驶区域的温度和/或湿度信息,以及拍摄和传送行驶区域的森林图像至地面站;
同步发送行驶区域的位置信息至地面站;
S2,根据温度和湿度信息进行火灾预警判断,
当温度高于或等于温度报警阈值,和/或湿度低于或等于湿度报警阈值时,发送火灾预警信号至地面站,无人机悬停,实时拍摄和传送所处区域的森林图像至地面站;
当温度低于温度报警阈值,和/或湿度高于湿度报警阈值时,无人机沿设定路线继续对森林进行巡检;
S3,地面站接收火灾预警信号后,采用深度学习算法处理森林图像,判断森林图像对应区域是否预发生火灾或存在火灾,若预发生火灾或存在火灾,继续处理无人机发送的森林图像,获取火灾的实时情况,若非预发生火灾或不存在火灾,地面站发送继续巡检信号至无人机,无人机沿设定路线继续对森林进行巡检;
S4,地面站将火灾预警信号、是否有火灾、火灾实时情况以及位置信息发送给森林管理中心;
或者所述无人机沿设定路线等高飞行。
通过感测无人机行驶区域的温度和湿度信息并进行比较处理,能直观粗略的判断该区域是否有发生火灾的可能性,当有可能发生火灾时,地面站通过深度学习算法对该区域的森林图像进行处理,能精确识别出火灾预发生情况和已发生情况,便于相关人员第一时间准确获知火灾情况;通过火灾预警信号能及时预知火灾,有利于森林保护相关人员做好准备,尽早处理火灾,减小损失;且当接收火灾预警信号后才进行森林图像处理,能减小地面站的运算量,加快巡检速度、扩大无人机的巡检范围,该方法实现了自动检测、自动识别和自动反馈,更高效更智能的保护森林。无人机等高飞行便于获得拍摄角度相同的稳定图像,便于后续图像处理。
在本发明的一种优选实施方式中,在所述步骤S3中,地面站采用深度学习算法处理森林图像的过程为:
对森林图像使用R-CNN网络检测是否存在一个或多个着火区域;
若存在着火区域,对每个着火区域使用一个能覆盖该着火区域的最小面积的方框进行标记,计算方框面积的总和与森林图像面积的比值,若比值小于第一火灾阈值,认为预发生火灾,若比值大于等于第一火灾阈值,认为发生火灾;
或者若存在着火区域,对所有着火区域使用一个能覆盖住所有着火区域的最小面积的方框进行标记,计算方框面积与森林图像面积的比值,若比值小于第二火灾阈值,认为预发生火灾,若比值大于等于第二火灾阈值,认为发生火灾;
若不存在着火区域,则认为非预发生火灾以及不存在火灾。
通过区域卷积神经网络R-CNN,能够有效识别出森林图像中的着火区域,通过使用覆盖住着火区域的最小面积的方框标记,对于形状不规则的着火区域,能够快速的进行着火区域面积估计;通过设置第一火灾阈值或第二火灾阈值,能有效区分出预发生火灾和已经发生火灾,以及通过方框面积或者面积总和与森林图像面积的比值的大小,可以判断已发生火灾或者预发生火灾的严重程度,便于管理人员及时做出应对措施。
在本发明的一种优选实施方式中,在所述步骤S1中,无人机的巡检路线的设定方法为:使用GPS模块设定巡检路线的起点和终点,通过栅格分解规划最佳路径。
在本发明的一种优选实施方式中,在所述步骤S1中,在每幅森林图像传送时,绑定有无人机实时的位置信息;
和/或在火灾预警信号传送时绑定有无人机实时的位置信息。
便于将森林图像和火灾预警信号于位置信息准确对应。
在本发明的一种优选实施方式中,在所述步骤S1中,还包括光照调整步骤,包括:
感测光照强度,当光照强度低于光照强度阈值时,开启照明灯补充光照;当光照强度高于或等于光照强度阈值时,关闭照明灯。
保证摄像头拍照时具有足够的光照强度,确保拍摄图片的有效性。
根据本发明的第二个方面,本发明提供了一种基于深度学习的森林火灾预警系统,该系统包括至少一个无人机和地面站;
所述无人机按照各自设定路线对森林进行巡检,无人机上设置有处理器、温度传感器、湿度传感器、GPS模块、无线传输模块、摄像头和驱动组件,所述温度传感器输出端与处理器温度输入端连接,所述湿度传感器输出端与处理器湿度输入端连接,所述GPS模块输出端与处理器GPS输入端连接,所述无线传输模块数据通信端与处理器的数据通信端连接,所述摄像头输出端与处理器视频输入端连接;所述驱动组件的控制端与处理器驱动输出端连接;
或者所述无人机还包括测高模块,所述测高模块高度输出端与处理器的高度输入端连接;
所述地面站接收无人机发送的森林图像和火灾预警信号,包括与无人机的无线传输模块无线连接的无线通信模块、通过深度学习算法对森林图像进行处理的图像处理平台,以及GSM模块,所述无线通信模块输出端与图像处理平台输入端连接,图像处理平台输出端与GSM模块输入端连接。
本系统通过温度传感器和湿度传感器获取无人机行驶区域的温度和湿度信息并进行比较处理,能直观粗略的判断该区域是否有发生火灾的可能性;图像处理平台通过深度学习算法能精确识别出火灾预发生情况和已发生情况,便于相关人员第一时间准确获知火灾情况;通过GSM模块便于将火灾信息及时通知相关管理人员进行预防和处理。该系统可同时支持多台无人机,巡检范围广;测高模块实时检测无人机垂直于地面的高度,将检测高度输入到处理器,处理器内部的存储单元存储着预设高度,将检测高度与预设高度比较获得差值,根据差值处理器控制驱动组件运行,调整无人机高度,使其等高飞行,进而获得拍摄角度相同的稳定图像,有利于后续图像处理。
在本发明的一种优选实施方式中,所述无人机还包括照明灯和光照传感器,所述光照传感器输出端与处理器光照输入端连接,所述处理器照明控制端与照明灯的开启端连接。
保证摄像头拍照时具有足够的光照强度,确保拍摄图片的有效性。
在本发明的一种优选实施方式中,所述GSM模块通过无线网络与森林管理中心连接,所述森林管理中心为服务器或者森林管理人员的手持终端。
便于相关管理人员及时获知火灾信息。
附图说明
图1是本发明一具体实施方式中森林火灾预警方法流程图;
图2是本发明一具体实施方式中森林火灾预警系统的系统框图;
图3是本发明一具体实施方式中森林火灾预警系统功能图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
在本发明的一种森林火灾预警方法的实施方式中,图1所示为该实施方式的流程图,该方法包括:
S1,无人机沿设定路线对森林进行巡检,实时感测行驶区域的温度和/或湿度信息,以及拍摄和传送行驶区域的森林图像至地面站;
同步发送行驶区域的位置信息至地面站;
S2,根据温度和湿度信息进行火灾预警判断,
当温度高于或等于温度报警阈值,和/或湿度低于或等于湿度报警阈值时,发送火灾预警信号至地面站,无人机悬停,实时拍摄和传送所处区域的森林图像至地面站;
当温度低于温度报警阈值,和/或湿度高于湿度报警阈值时,无人机沿设定路线继续对森林进行巡检;
S3,地面站接收火灾预警信号后,采用深度学习算法处理森林图像,判断森林图像对应区域是否预发生火灾或存在火灾,若预发生火灾或存在火灾,继续处理无人机发送的森林图像,获取火灾的实时情况,若非预发生火灾或不存在火灾,地面站发送继续巡检信号至无人机,无人机沿设定路线继续对森林进行巡检;
S4,地面站将火灾预警信号、是否有火灾、火灾实时情况以及位置信息发送给森林管理中心;
或者无人机沿设定路线等高飞行。
深度学习是机器学习研究中的一个新的领域,其动机在于建立能模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学习的概念源于人工神经网络的研究,含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边或特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
在本实施方式中,深度学习算法可为卷积神经网络算法或者深度置信网算法,其中,卷积神经网络就是一种深度的监督学习下的机器学习模型,而深度置信网就是一种无监督学习下的机器学习模型。无人机也可间隔较短时间拍摄森林图像,如间隔1秒;位置信息可连续采集后发送给地面站,优选的,其采集时间间隔小于森林图像拍摄时间。
在本实施方式中,因为在森林某一区域预发生火灾或已经发生火灾时,该区域上空的温度会升高,湿度下降,因此当满足检测到温度高于或等于温度报警阈值条件,和湿度低于或等于湿度报警阈值条件中的任一个或两个时,无人机内部的处理器控制驱动组件使无人机在该上空悬停,继续实时拍摄下方的森林图像,发送至地面站处理。在两个条件均不满足时,无人机拍摄该区域下方的森林图像并传送至地面站后,沿预定路线继续航行拍摄,优选的,地面站也实时处理这些图像,及时发现预发生火灾和已发生火灾的险情,温度检测和湿度检测一起使用,进行双重检测,避免因温度传感器和湿度传感器意外故障导致的火灾巡检失误。温度报警阈值和湿度报警阈值存储于无人机处理器内部的存储单元中,可多次试验获取,或者依据经验设定。
在本实施方式中,火灾预警信号以及发出该信号时无人机的位置信息地面站会及时上传到森林管理中心,地面站对森林图像的深度学习处理结果连同位置信息也会上传到森林管理中心;无人机和地面站通过无线通信模式传递火灾预警信号和继续巡检信号,可通过数传电台传输,也可通过WIFI、RFID等方式传输。
在本实施方式中,无人机可等高飞行,便于获得拍摄角度相同的稳定森林图像,便于后续图像处理,飞行高度可为15米、20米、25米或30米等。
在本发明的一种优选实施方式中,在步骤S3中,地面站采用深度学习算法处理森林图像的过程为:
对森林图像使用R-CNN网络检测是否存在一个或多个着火区域;
若存在着火区域,对每个着火区域使用一个能覆盖该着火区域的最小面积的方框进行标记,计算方框面积的总和与森林图像面积的比值,若比值小于第一火灾阈值,认为预发生火灾,若比值大于等于第一火灾阈值,认为发生火灾;
或者若存在着火区域,对所有着火区域使用一个能覆盖住所有着火区域的最小面积的方框进行标记,计算方框面积与森林图像面积的比值,若比值小于第二火灾阈值,认为预发生火灾,若比值大于等于第二火灾阈值,认为发生火灾;
若不存在着火区域,则认为非预发生火灾以及不存在火灾。
在本实施方式中,第一火灾阈值和第二火灾阈值可以相等或者不相等,由于对所有着火区域使用一个能覆盖住所有着火区域的最小面积的方框进行标记时,该方框覆盖了部分未着火区域,为了更精确,可将第二火灾阈值设置稍大于第一火灾阈值。第一火灾阈值和第二火灾阈值可为1/10。在本实施方式中,第一火灾阈值和/或第二火灾阈值可设置为一个变化区间,可依据季节、天气情况、或者风速大小变化取值。如在秋季和冬季,或者高温,或者有大风的情况下,可将第一火灾阈值和/或第二火灾阈值设置变化区间中的较小值,反之则设置为变化区间中的较大值。这样检测获得的预发生火灾信号和已发生火灾信号更准确,更贴切于现时环境,便于管理人员有足够的时间应对,以及做出最恰当的应对措施。
在本实施方式中,对森林图像使用R-CNN网络检测是否存在一个或多个着火区域的步骤包括:
S31,首先对无人机传输的每幅图像用一些视觉方法(例如Selective Search)生成大量候选区域;
S32,其次,对每个候选区域用卷积神经网络CNN进行特征表示,最终形成高维特征向量;
S33,然后,将这些特征量送入一个线性分类器计算类别得分,用于判断候选区域中是否包含着火区域,以及着火区域的数量;
S34,最后,对着火区域的位置和大小进行一个精细的回归。
R-CNN(Region based Convolutional Neural Network),即基于区域提议的卷积神经网络。步骤S31中候选区域提议是选择性的搜索,使用得分最高的前部分区域可以有效地减少后面特征提取的计算量,能很好地应对尺度问题;卷积神经网络CNN在实现上可采用图形计算单元GPU进行并行计算,能极大地提升计算效率;外围框回归使得对着火区域定位的精确性进一步提升。
RCNN在训练阶段包括:
(1)用选择性搜索集中生成每张图片的候选区域,并对每个候选区域用CNN提取特征,这里CNN采用的是训练好的ImageNet网络;
(2)其次,利用候选区域和提取出的特征对ImageNet网络进行调优,调优依据标准的反向传播算法进行,从特征层开始向后调整各层权重;
(3)然后,以特征层输出的高维特征向量和着火区域类别标签为输入,训练分类器,分类器可为支持向量机;
(4)最后,训练对着火区域外围框位置和大小进行精细回归的回归器。
在本发明的一种优选实施方式中,在步骤S1中,无人机的巡检路线的设定方法为:使用GPS模块设定巡检路线的起点和终点,通过栅格分解规划最佳路径。在本实施方式中,最佳路径可为能够避障且距离最短的路径。
在本发明的一种优选实施方式中,在步骤S1中,在每幅森林图像传送时,绑定有无人机实时的位置信息;
和/或在火灾预警信号传送时绑定有无人机实时的位置信息。
便于将森林图像和火灾预警信号于位置信息准确对应。
在本实施方式中,当森林图像拍摄完成后,或产生火灾预报警信号后,获取实时位置信息,将位置信息数据插入森林图像数据或火灾预警信号数据中。
在本发明的一种优选实施方式中,在步骤S1中,还包括光照调整步骤,包括:
感测光照强度,当光照强度低于光照强度阈值时,开启照明灯补充光照;当光照强度高于或等于光照强度阈值时,关闭照明灯。
保证摄像头拍照时具有足够的光照强度,确保拍摄图片的有效性。
在本实施方式中,光照强度阈值可选傍晚或黎明任意时刻的光照强度值,其存储于无人机处理器内部的存储器中。
在本发明森林火灾预警系统的一种实施方式中,如图2所示为该实施方式的系统框图,图3所示为该系统的功能图,该系统包括至少一个无人机和地面站;
无人机按照各自设定路线对森林进行巡检,无人机上设置有处理器、温度传感器、湿度传感器、GPS模块、无线传输模块、摄像头和驱动组件,温度传感器输出端与处理器温度输入端连接,湿度传感器输出端与处理器湿度输入端连接,GPS模块输出端与处理器GPS输入端连接,无线传输模块数据通信端与处理器的数据通信端连接,摄像头输出端与处理器视频输入端连接;驱动组件的控制端与处理器驱动输出端连接;
或者无人机还包括测高模块,测高模块高度输出端与处理器的高度输入端连接;
地面站接收无人机发送的森林图像和火灾预警信号,包括与无人机的无线传输模块无线连接的无线通信模块、通过深度学习算法对森林图像进行处理的图像处理平台,以及GSM模块,无线通信模块输出端与图像处理平台输入端连接,图像处理平台输出端与GSM模块输入端连接。
在本实施方式中,摄像头可选用高清航拍摄像头,无人机的无线传输模块与地面站的无线通信模块的无线连接可通过数传电台,一般的数传电台采用的接口协议有TTL接口、RS485接口和RS232接口,不过也有一些CAN-BUS总线接口,频率有2.4GHZ、433MHZ、900MHZ、915MHZ,一般433MHZ的较多,因为433MHZ是个开放的频段,再加上433MHZ波长较长,穿透力强等优势所以大部分民用用户一般都是用的433MHZ,距离在5千米到15千米不等,甚至更远。无人机的无线传输模块与地面站的无线通信模块的无线连接还可以通过如WIFI等其它射频通信实现。驱动组件包括马达、螺旋桨等部件。地面站的图像处理平台可选用MCU+FPGA异构的快速图像处理器。
在本实施方式中,测高模块基于光波或者电磁波测距原理实现测高功能。测高模块包括安装在无人机舱底外部的红外发射模块和红外接收模块,以及处理器内部集成的计时器;红外发射模块控制端与处理器红外发射端连接,红外发射模块数字输出端与处理器红外接收端连接,红外发射模块被处理器控制间隔时间t发射红外光波至地面,由红外接收模块接收反射回来的红外光波,通过计时器记录发射和接收时间差值。或者测高模块包括天线、发射匹配电路、接收匹配电路、射频芯片,射频芯片发射调制模拟信号至发射匹配电路输入端,发射匹配电路输出端与天线输入端连接,天线输出端与接收匹配电路输入端连接,接收匹配电路输出端与射频芯片接收端连接,射频芯片通过SPI、I2C等通讯接口与处理器连接,射频芯片间隔时间t输出发射调制模拟信号至发射匹配电路,同时向处理器发送计时开始信号,发射调制模拟信号由天线发射电磁波至地面,反射回来的电磁波信号,经天线传递至接收匹配电路,再传至射频芯片,射频芯片接收后同步发送计时截止信号至处理器,处理器获得时间差值,优选的,天线可垂直地面设置在无人机舱底外部。
由于无人机的航行速度相较于光速或者电磁波速度非常小,该时间差值除以2后乘以光速获得无人机飞行高度。时间t可为正整数分钟,如2分钟、4分钟。处理器将实测飞行高度和预设飞行高度进行比较处理,从而决策驱动组件的动力增减。
在本发明的一种优选实施方式中,无人机还包括照明灯和光照传感器,光照传感器输出端与处理器光照输入端连接,处理器照明控制端与照明灯的开启端连接。
在本实施方式中,照明灯靠近摄像头设置。
在本发明的一种优选实施方式中,GSM模块通过无线网络与森林管理中心连接,森林管理中心为服务器或者森林管理人员的手持终端。
在本实施方式中,火灾信息GSM模块可直接发送通知短信至管理人员手机,也可发送火灾信息至森林管理中心的服务器,管理人员通过网页查看。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种基于深度学习的森林火灾预警方法,其特征在于,包括:
S1,无人机沿设定路线对森林进行巡检,实时感测行驶区域的温度和/或湿度信息,以及拍摄和传送行驶区域的森林图像至地面站;
同步发送行驶区域的位置信息至地面站;
S2,根据温度和湿度信息进行火灾预警判断,
当温度高于或等于温度报警阈值,和/或湿度低于或等于湿度报警阈值时,发送火灾预警信号至地面站,无人机悬停,实时拍摄和传送所处区域的森林图像至地面站;
当温度低于温度报警阈值,和/或湿度高于湿度报警阈值时,无人机沿设定路线继续对森林进行巡检;
S3,地面站接收火灾预警信号后,采用深度学习算法处理森林图像,判断森林图像对应区域是否预发生火灾或存在火灾,若预发生火灾或存在火灾,继续处理无人机发送的森林图像,获取火灾的实时情况,若非预发生火灾或不存在火灾,地面站发送继续巡检信号至无人机,无人机沿设定路线继续对森林进行巡检;
S4,地面站将火灾预警信号、是否有火灾、火灾实时情况以及位置信息发送给森林管理中心;
或者所述无人机沿设定路线等高飞行。
2.如权利要求1所述的森林火灾预警方法,其特征在于,在所述步骤S3中,地面站采用深度学习算法处理森林图像的过程为:
对森林图像使用R-CNN网络检测是否存在一个或多个着火区域;
若存在着火区域,对每个着火区域使用一个能覆盖该着火区域的最小面积的方框进行标记,计算方框面积的总和与森林图像面积的比值,若比值小于第一火灾阈值,认为预发生火灾,若比值大于等于第一火灾阈值,认为发生火灾;
或者若存在着火区域,对所有着火区域使用一个能覆盖住所有着火区域的最小面积的方框进行标记,计算方框面积与森林图像面积的比值,若比值小于第二火灾阈值,认为预发生火灾,若比值大于等于第二火灾阈值,认为发生火灾;
若不存在着火区域,则认为非预发生火灾以及不存在火灾。
3.如权利要求1所述的森林火灾预警方法,其特征在于,在所述步骤S1中,无人机的巡检路线的设定方法为:使用GPS模块设定巡检路线的起点和终点,通过栅格分解规划最佳路径。
4.如权利要求1所述的森林火灾预警方法,其特征在于,在所述步骤S1中,在每幅森林图像传送时,绑定有无人机实时的位置信息;
和/或在火灾预警信号传送时绑定有无人机实时的位置信息。
5.如权利要求1所述的森林火灾预警方法,其特征在于,在所述步骤S1中,还包括光照调整步骤,包括:
感测光照强度,当光照强度低于光照强度阈值时,开启照明灯补充光照;当光照强度高于或等于光照强度阈值时,关闭照明灯。
6.利用权利要求1-5中任一所述方法的森林火灾预警系统,其特征在于,包括至少一个无人机和地面站;
所述无人机按照各自设定路线对森林进行巡检,无人机上设置有处理器、温度传感器、湿度传感器、GPS模块、无线传输模块、摄像头和驱动组件,所述温度传感器输出端与处理器温度输入端连接,所述湿度传感器输出端与处理器湿度输入端连接,所述GPS模块输出端与处理器GPS输入端连接,所述无线传输模块数据通信端与处理器的数据通信端连接,所述摄像头输出端与处理器视频输入端连接;所述驱动组件的控制端与处理器驱动输出端连接;
或者所述无人机还包括测高模块,所述测高模块高度输出端与处理器的高度输入端连接;
所述地面站接收无人机发送的森林图像和火灾预警信号,包括与无人机的无线传输模块无线连接的无线通信模块、通过深度学习算法对森林图像进行处理的图像处理平台,以及GSM模块,所述无线通信模块输出端与图像处理平台输入端连接,图像处理平台输出端与GSM模块输入端连接。
7.如权利要求6所述的森林火灾预警系统,其特征在于,所述无人机还包括照明灯和光照传感器,所述光照传感器输出端与处理器光照输入端连接,所述处理器照明控制端与照明灯的开启端连接。
8.如权利要求6所述的森林火灾预警系统,其特征在于,所述GSM模块通过无线网络与森林管理中心连接,所述森林管理中心为服务器或者森林管理人员的手持终端。
CN201810419169.9A 2018-05-04 2018-05-04 基于深度学习的森林火灾预警方法及系统 Active CN108416963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810419169.9A CN108416963B (zh) 2018-05-04 2018-05-04 基于深度学习的森林火灾预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810419169.9A CN108416963B (zh) 2018-05-04 2018-05-04 基于深度学习的森林火灾预警方法及系统

Publications (2)

Publication Number Publication Date
CN108416963A true CN108416963A (zh) 2018-08-17
CN108416963B CN108416963B (zh) 2020-01-24

Family

ID=63137635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810419169.9A Active CN108416963B (zh) 2018-05-04 2018-05-04 基于深度学习的森林火灾预警方法及系统

Country Status (1)

Country Link
CN (1) CN108416963B (zh)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920191A (zh) * 2019-01-16 2019-06-21 深圳壹账通智能科技有限公司 火灾报警方法、装置、计算机设备和存储介质
CN110097727A (zh) * 2019-04-30 2019-08-06 暨南大学 基于模糊贝叶斯网络的森林火灾预警方法及系统
CN110314314A (zh) * 2019-05-27 2019-10-11 安徽中科中涣防务装备技术有限公司 一种加油站智能防控装置及系统
CN110347103A (zh) * 2019-07-18 2019-10-18 重庆大学 一种基于计算机控制的村庄安全监测系统
CN110443197A (zh) * 2019-08-05 2019-11-12 珠海格力电器股份有限公司 一种视觉场景智能理解方法及系统
CN110793641A (zh) * 2019-12-05 2020-02-14 国网天津市电力公司 一种基于4g网络传输的红外热像检测系统及方法
CN111080955A (zh) * 2019-12-30 2020-04-28 重庆市海普软件产业有限公司 一种森林防火智能控制系统及方法
CN111639825A (zh) * 2020-07-01 2020-09-08 广东工业大学 基于A-Star算法是森林火灾指示逃生路径方法及系统
CN111695541A (zh) * 2020-06-18 2020-09-22 深圳天海宸光科技有限公司 基于机器视觉的无人机森林防火系统及方法
CN112150751A (zh) * 2020-08-27 2020-12-29 福建信通慧安科技有限公司 一种火灾探测器、网关及火灾预警系统
CN112184628A (zh) * 2020-09-04 2021-01-05 埃洛克人工智能科技(南京)有限公司 一种红外双波图像及云端预警的巡堤防汛查险系统及方法
CN112330915A (zh) * 2020-10-29 2021-02-05 五邑大学 无人机森林防火预警方法、系统、电子设备和存储介质
CN112382043A (zh) * 2020-10-23 2021-02-19 杭州翔毅科技有限公司 基于卫星监测的灾害预警方法、设备、存储介质及装置
CN112465119A (zh) * 2020-12-08 2021-03-09 武汉理工光科股份有限公司 一种基于深度学习的消防险情预警方法及装置
CN112887915A (zh) * 2021-01-26 2021-06-01 荔波县黄江河国家湿地公园管理站 一种基于北斗短报文的森林防火智能终端通信方法
CN112906481A (zh) * 2021-01-23 2021-06-04 招商新智科技有限公司 一种基于无人机实现森林火情检测的方法
CN113103944A (zh) * 2021-04-02 2021-07-13 重庆万重山智能科技有限公司 一种拖车及其基于无人机的森林火灾监测系统
CN113110579A (zh) * 2021-04-16 2021-07-13 深圳市艾赛克科技有限公司 基于热辐射的无人机巡检方法、装置、无人机及存储介质
CN113240881A (zh) * 2021-07-12 2021-08-10 环球数科集团有限公司 一种基于多特征融合的火灾识别系统
CN113256926A (zh) * 2021-05-11 2021-08-13 仲永东 基于施工安全保护的主动式围栏系统
CN113283324A (zh) * 2021-05-14 2021-08-20 成都鸿钰网络科技有限公司 一种基于动态图像的森林防火预警方法及系统
CN113537198A (zh) * 2021-07-31 2021-10-22 北京晟天行科技有限公司 一种无人机图像采集时自动拍照的控制方法
CN113970931A (zh) * 2020-07-22 2022-01-25 海鹰航空通用装备有限责任公司 一种基于多无人机的监控装置和方法
CN114037910A (zh) * 2021-11-29 2022-02-11 东北林业大学 一种无人机森林火灾检测系统
CN114115278A (zh) * 2021-11-26 2022-03-01 东北林业大学 一种基于fpga的森林防火机器人行进间避障系统
CN114157836A (zh) * 2021-11-19 2022-03-08 中国铁塔股份有限公司黑龙江省分公司 基于候选框融合的森林防火调度系统
CN114155694A (zh) * 2021-12-27 2022-03-08 北京卓翼智能科技有限公司 一种自动巡航带有高温预警功能无人机
CN114170754A (zh) * 2021-12-09 2022-03-11 中科计算技术西部研究院 基于大数据的林业维护管理系统
CN114758465A (zh) * 2022-03-30 2022-07-15 南京林业大学 一种基于无人集群协同智能技术的森林保护方法
CN114879744A (zh) * 2022-07-01 2022-08-09 浙江大学湖州研究院 一种基于机器视觉的夜间作业无人机系统
CN115641516A (zh) * 2022-02-24 2023-01-24 李学广 一种无人机遥控显示方法
CN115909628A (zh) * 2022-10-26 2023-04-04 广州国巡机器人科技有限公司 一种基于次声波探测技术的森林火灾探测方法及系统
CN116139428A (zh) * 2023-02-28 2023-05-23 生态环境部南京环境科学研究所 一种基于森林生态系统损害的预警方法
CN116206417A (zh) * 2023-04-27 2023-06-02 苏州尚集思智能技术有限公司 一种森林防火预警系统及方法
CN116820128A (zh) * 2023-06-27 2023-09-29 深圳市慧明捷科技有限公司 一种实现大片森林的自动巡防系统
CN117636608A (zh) * 2024-01-26 2024-03-01 中国民用航空飞行学院 一种基于深度估计的高大空间火灾监测方法、设备及介质
CN118397776A (zh) * 2024-06-25 2024-07-26 广东时汇信息科技有限公司 一种基于数据融合的校园安全监管系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102021016894A2 (pt) * 2021-08-26 2023-03-07 André Augusto Ceballos Melo Método e sistema de inteligência artificial e inteligência de enxame em ambientes simulados para drones e robôs autônomos para supressão de incêndios florestais.

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834920A (zh) * 2015-05-25 2015-08-12 成都通甲优博科技有限责任公司 一种无人机多光谱图像的智能林火识别方法及装置
CN205068679U (zh) * 2015-10-15 2016-03-02 河北中科遥感信息技术有限公司 一种林区火灾预防专用无人机
CN205460617U (zh) * 2016-01-30 2016-08-17 内蒙古宇通博辉航空航天科技发展有限公司 一种以无人机为平台的灭火系统
CN106448019A (zh) * 2016-11-14 2017-02-22 徐志勇 用于实时监测森林火灾的无人机监护系统
CN206075465U (zh) * 2016-08-24 2017-04-05 深圳市捷佳技术开发科技有限公司 一种用于实时监测森林火灾的新型航拍无人机
CN206115629U (zh) * 2016-10-21 2017-04-19 南昌航空大学 火灾监控飞行器四轴航拍系统
CN106955443A (zh) * 2017-04-18 2017-07-18 南京三宝弘正视觉科技有限公司 一种火灾处理机器人和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834920A (zh) * 2015-05-25 2015-08-12 成都通甲优博科技有限责任公司 一种无人机多光谱图像的智能林火识别方法及装置
CN205068679U (zh) * 2015-10-15 2016-03-02 河北中科遥感信息技术有限公司 一种林区火灾预防专用无人机
CN205460617U (zh) * 2016-01-30 2016-08-17 内蒙古宇通博辉航空航天科技发展有限公司 一种以无人机为平台的灭火系统
CN206075465U (zh) * 2016-08-24 2017-04-05 深圳市捷佳技术开发科技有限公司 一种用于实时监测森林火灾的新型航拍无人机
CN206115629U (zh) * 2016-10-21 2017-04-19 南昌航空大学 火灾监控飞行器四轴航拍系统
CN106448019A (zh) * 2016-11-14 2017-02-22 徐志勇 用于实时监测森林火灾的无人机监护系统
CN106955443A (zh) * 2017-04-18 2017-07-18 南京三宝弘正视觉科技有限公司 一种火灾处理机器人和系统

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109920191A (zh) * 2019-01-16 2019-06-21 深圳壹账通智能科技有限公司 火灾报警方法、装置、计算机设备和存储介质
CN110097727A (zh) * 2019-04-30 2019-08-06 暨南大学 基于模糊贝叶斯网络的森林火灾预警方法及系统
CN110314314A (zh) * 2019-05-27 2019-10-11 安徽中科中涣防务装备技术有限公司 一种加油站智能防控装置及系统
CN110347103A (zh) * 2019-07-18 2019-10-18 重庆大学 一种基于计算机控制的村庄安全监测系统
CN110443197A (zh) * 2019-08-05 2019-11-12 珠海格力电器股份有限公司 一种视觉场景智能理解方法及系统
CN110793641A (zh) * 2019-12-05 2020-02-14 国网天津市电力公司 一种基于4g网络传输的红外热像检测系统及方法
CN111080955A (zh) * 2019-12-30 2020-04-28 重庆市海普软件产业有限公司 一种森林防火智能控制系统及方法
CN111695541A (zh) * 2020-06-18 2020-09-22 深圳天海宸光科技有限公司 基于机器视觉的无人机森林防火系统及方法
CN111639825A (zh) * 2020-07-01 2020-09-08 广东工业大学 基于A-Star算法是森林火灾指示逃生路径方法及系统
CN111639825B (zh) * 2020-07-01 2024-02-23 广东工业大学 基于A-Star算法的森林火灾指示逃生路径方法及系统
CN113970931A (zh) * 2020-07-22 2022-01-25 海鹰航空通用装备有限责任公司 一种基于多无人机的监控装置和方法
CN112150751A (zh) * 2020-08-27 2020-12-29 福建信通慧安科技有限公司 一种火灾探测器、网关及火灾预警系统
CN112184628A (zh) * 2020-09-04 2021-01-05 埃洛克人工智能科技(南京)有限公司 一种红外双波图像及云端预警的巡堤防汛查险系统及方法
CN112184628B (zh) * 2020-09-04 2024-04-02 埃洛克人工智能科技(南京)有限公司 一种红外双波图像及云端预警的巡堤防汛查险系统及方法
CN112382043A (zh) * 2020-10-23 2021-02-19 杭州翔毅科技有限公司 基于卫星监测的灾害预警方法、设备、存储介质及装置
CN112330915A (zh) * 2020-10-29 2021-02-05 五邑大学 无人机森林防火预警方法、系统、电子设备和存储介质
CN112465119A (zh) * 2020-12-08 2021-03-09 武汉理工光科股份有限公司 一种基于深度学习的消防险情预警方法及装置
CN112906481A (zh) * 2021-01-23 2021-06-04 招商新智科技有限公司 一种基于无人机实现森林火情检测的方法
CN112887915A (zh) * 2021-01-26 2021-06-01 荔波县黄江河国家湿地公园管理站 一种基于北斗短报文的森林防火智能终端通信方法
CN113103944A (zh) * 2021-04-02 2021-07-13 重庆万重山智能科技有限公司 一种拖车及其基于无人机的森林火灾监测系统
CN113110579A (zh) * 2021-04-16 2021-07-13 深圳市艾赛克科技有限公司 基于热辐射的无人机巡检方法、装置、无人机及存储介质
CN113256926A (zh) * 2021-05-11 2021-08-13 仲永东 基于施工安全保护的主动式围栏系统
CN113283324B (zh) * 2021-05-14 2022-03-25 成都鸿钰网络科技有限公司 一种基于动态图像的森林防火预警方法及系统
CN113283324A (zh) * 2021-05-14 2021-08-20 成都鸿钰网络科技有限公司 一种基于动态图像的森林防火预警方法及系统
CN113240881A (zh) * 2021-07-12 2021-08-10 环球数科集团有限公司 一种基于多特征融合的火灾识别系统
CN113537198A (zh) * 2021-07-31 2021-10-22 北京晟天行科技有限公司 一种无人机图像采集时自动拍照的控制方法
CN113537198B (zh) * 2021-07-31 2023-09-01 北京晟天行科技有限公司 一种无人机图像采集时自动拍照的控制方法
CN114157836A (zh) * 2021-11-19 2022-03-08 中国铁塔股份有限公司黑龙江省分公司 基于候选框融合的森林防火调度系统
CN114115278A (zh) * 2021-11-26 2022-03-01 东北林业大学 一种基于fpga的森林防火机器人行进间避障系统
CN114037910A (zh) * 2021-11-29 2022-02-11 东北林业大学 一种无人机森林火灾检测系统
CN114170754A (zh) * 2021-12-09 2022-03-11 中科计算技术西部研究院 基于大数据的林业维护管理系统
CN114155694A (zh) * 2021-12-27 2022-03-08 北京卓翼智能科技有限公司 一种自动巡航带有高温预警功能无人机
CN115641516A (zh) * 2022-02-24 2023-01-24 李学广 一种无人机遥控显示方法
CN115641516B (zh) * 2022-02-24 2023-09-22 李学广 一种无人机遥控显示方法
CN114758465B (zh) * 2022-03-30 2024-03-15 南京林业大学 一种基于无人集群协同智能技术的森林保护方法
CN114758465A (zh) * 2022-03-30 2022-07-15 南京林业大学 一种基于无人集群协同智能技术的森林保护方法
CN114879744A (zh) * 2022-07-01 2022-08-09 浙江大学湖州研究院 一种基于机器视觉的夜间作业无人机系统
CN115909628A (zh) * 2022-10-26 2023-04-04 广州国巡机器人科技有限公司 一种基于次声波探测技术的森林火灾探测方法及系统
CN116139428B (zh) * 2023-02-28 2023-09-15 生态环境部南京环境科学研究所 一种基于森林生态系统损害的预警方法
CN116139428A (zh) * 2023-02-28 2023-05-23 生态环境部南京环境科学研究所 一种基于森林生态系统损害的预警方法
CN116206417B (zh) * 2023-04-27 2023-07-07 苏州尚集思智能技术有限公司 一种森林防火预警系统及方法
CN116206417A (zh) * 2023-04-27 2023-06-02 苏州尚集思智能技术有限公司 一种森林防火预警系统及方法
CN116820128A (zh) * 2023-06-27 2023-09-29 深圳市慧明捷科技有限公司 一种实现大片森林的自动巡防系统
CN116820128B (zh) * 2023-06-27 2024-06-07 深圳市慧明捷科技有限公司 一种实现大片森林的自动巡防系统
CN117636608A (zh) * 2024-01-26 2024-03-01 中国民用航空飞行学院 一种基于深度估计的高大空间火灾监测方法、设备及介质
CN117636608B (zh) * 2024-01-26 2024-04-19 中国民用航空飞行学院 一种基于深度估计的高大空间火灾监测方法、设备及介质
CN118397776A (zh) * 2024-06-25 2024-07-26 广东时汇信息科技有限公司 一种基于数据融合的校园安全监管系统及方法

Also Published As

Publication number Publication date
CN108416963B (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
CN108416963A (zh) 基于深度学习的森林火灾预警方法及系统
CN110097727A (zh) 基于模糊贝叶斯网络的森林火灾预警方法及系统
KR101533905B1 (ko) 비행장 내의 이물질, 파편 또는 손상 검출 감시 시스템 및 방법
CN110133573A (zh) 一种基于多元传感器信息融合的自主低空无人机防御系统
KR101378071B1 (ko) 양식장 및 인공어초 도난 방지 감시 시스템 및 방법
CN108227606B (zh) 一种基于多源感知的船舶安防智能管理系统
KR101948569B1 (ko) 라이다 센서 및 팬틸트줌 카메라를 활용한 비행체 식별 시스템 및 그 제어 방법
CN101968913B (zh) 一种森林火灾区域的火焰跟踪方法
CN110321853A (zh) 基于视频智能检测的分布式电缆防外破系统
CN206990108U (zh) 一种基于无人机的火烟监控系统
CN106054928A (zh) 一种基于无人机网络的全地域火灾发生测定方法
CN106709498A (zh) 一种无人机拦截系统
CN206893109U (zh) 一种无人机监测系统
CN206629277U (zh) 一种wsn监测系统
CN108037545A (zh) 一种针对无人机的定向式光学干扰系统
US20190152595A1 (en) Apparatus for Sustained Surveillance and Deterrence with Unmanned Aerial Vehicles (UAV)
KR20190097624A (ko) 악용된 드론을 무력화하는 안티드론 시스템 및 운용방법
CN112000133B (zh) 低空飞行器/飞手的识别系统、反制系统及识别方法
CN110647170A (zh) 一种基于无人机的航标巡检装置与方法
CN109035665A (zh) 一种新型森林火灾预警系统及火灾预警方法
CN106774422A (zh) 一种无人机识别方法及系统
CN114115296A (zh) 一种重点区域智能巡检与预警系统及方法
CN210835732U (zh) 一种基于无人机的航标巡检装置
CN111298329A (zh) 一种无人机平台的森林防火灭火系统
CN103024031A (zh) 可组网的环境智能自动探测、指挥控制执行系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant