CN110108704A - 一种蓝藻自动监测预警方法及其自动监测预警系统 - Google Patents
一种蓝藻自动监测预警方法及其自动监测预警系统 Download PDFInfo
- Publication number
- CN110108704A CN110108704A CN201910388234.0A CN201910388234A CN110108704A CN 110108704 A CN110108704 A CN 110108704A CN 201910388234 A CN201910388234 A CN 201910388234A CN 110108704 A CN110108704 A CN 110108704A
- Authority
- CN
- China
- Prior art keywords
- cyanobacteria
- image
- automatic monitoring
- pixel
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000192700 Cyanobacteria Species 0.000 title claims abstract description 183
- 238000012544 monitoring process Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 239000003643 water by type Substances 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 17
- 210000002569 neuron Anatomy 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 13
- 238000013145 classification model Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 210000004218 nerve net Anatomy 0.000 claims 1
- 238000005303 weighing Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 8
- 241000195493 Cryptophyta Species 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 241000196324 Embryophyta Species 0.000 description 4
- 241001062009 Indigofera Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 201000004384 Alopecia Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000009360 aquaculture Methods 0.000 description 1
- 244000144974 aquaculture Species 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 229930002868 chlorophyll a Natural products 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000012851 eutrophication Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003094 microcapsule Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 230000000243 photosynthetic effect Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000003053 toxin Substances 0.000 description 1
- 231100000765 toxin Toxicity 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Biochemistry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种蓝藻自动监测预警方法及其自动监测预警系统,该方法包括以下步骤:实时拍摄一定水域中蓝藻的图像,获取相应的蓝藻图像;对蓝藻图像进行腐蚀、膨胀,并填充空洞,获取蓝藻图像的RGB直方图;将蓝藻图像转换为灰度图,求得LBP图谱,以获取LBP直方图;获取蓝藻图像的颜色特征和纹理特征;在决策级对颜色特征和纹理特征加权融合,形成融合特征;以融合特征识别蓝藻图像的蓝藻区域;计算蓝藻区域占整幅的蓝藻图像的像素占比;根据像素占比,判定蓝藻图像所位于的标准范围,并发出相应的预警信息。本发明对于小样本、高维空间以及不确定性下的多特征融合有良好的应用效果,不过度依赖样本数量与质量,实现对蓝藻的监测预警。
Description
技术领域
本发明涉及蓝藻预警技术领域的一种预警方法,尤其涉及一种蓝藻自动监测预警方法,还涉及该蓝藻自动监测预警方法的蓝藻自动监测预警系统。
背景技术
蓝藻又名蓝绿藻,是一类进化历史悠久、革兰氏染色阴性、无鞭毛、含叶绿素A,但不含叶绿体(区别于真核生物的藻类)、能进行产氧性光合作用的大型单细胞原核生物。它的发展使整个地球大气从无氧状态发展到有氧状态,从而孕育了一切好氧生物的进化和发展。但是,有的蓝细菌在受氮、磷等元素污染后引起富营养化的海水“赤潮”和湖泊的“水华”,给渔业和养殖业带来严重危害。此外,还有少数水生种类如微囊蓝细菌属会产生可诱发人类肝癌的毒素。因而,在国内众多湖泊,都设置了蓝藻预警系统。
其中,关于蓝藻预警主要有四类方法:一是卫星遥感监测、二是人工检测、三是无人机检测、四是水下自动监测。但是,这四类方法均有不足,比如:卫星遥感监测会受到天气影响,常常因水域被云层覆盖而无法监测;人工监测、无人机监测覆盖的水域面积小;水下自动监测法的成本较高、效果一般。这些蓝藻预警方法监测的效果较差,不能满足实际的蓝藻监测需求。
发明内容
针对现有的技术问题,本发明提供一种蓝藻自动监测预警方法及其自动监测预警系统,解决了现有的蓝藻预警方法效果较差,不能满足实际的蓝藻监测需求的问题。
本发明采用以下技术方案实现:一种蓝藻自动监测预警方法,其包括以下步骤:
实时拍摄一定水域中蓝藻的图像,获取相应的蓝藻图像;
对所述蓝藻图像进行腐蚀、膨胀,并填充空洞,以消除噪声,获取所述蓝藻图像的RGB直方图;
将所述蓝藻图像转换为灰度图,求得LBP图谱,以获取LBP直方图;
通过二类分类模型对所述RGB直方图的特征进行分类,以训练所述RGB直方图的特征,获取所述蓝藻图像的颜色特征;通过神经网络模型对所述LBP直方图的特征进行训练,获取所述蓝藻图像的纹理特征;
在决策级对所述颜色特征和所述纹理特征加权融合,形成融合特征;
以所述融合特征识别所述蓝藻图像的蓝藻区域;
通过遍历所述蓝藻图像的像素,计算所述蓝藻区域占整幅的所述蓝藻图像的像素占比;
预设蓝藻占比的各个标准范围及相应预警信息;根据所述像素占比,判定所述蓝藻图像所位于的标准范围,并发出相应的预警信息。
作为上述方案的进一步改进,所述二类分类模型为SVM算法模型,所述神经网络模型为多层神经网络BP算法模型。
作为上述方案的进一步改进,所述像素占比为:
Y=(X*/X)×100%
其中,X*为所述蓝藻区域的像素点个数,X为所述蓝藻图像的总像素点个数。
进一步地,在Y小于等于20%时,判定出现轻度蓝藻水华,并发出绿色预警信号;在Y大于20%且小于等于50%时,判定出现中度蓝藻水华,并发出黄色预警信号;在Y大于50%时,判定出现重度蓝藻水华,并发出红色预警信号。
作为上述方案的进一步改进,所述二类分类模型的模型函数为:
式中,k(xi,xj)为核函数,b为参数,αi为非负系数,xi和yi为样本,xj为中心点。
作为上述方案的进一步改进,所述核函数为:
式中,σ为带宽。
作为上述方案的进一步改进,所述神经网络模型的第j个隐藏层神经元的输入为:
所述神经网络模型的第q个输出经元的输入为:
所述神经网络模型的第一轮训练的均方误差为:
其中,Vij为第i个输入神经元到第j个隐藏层神经元的权重,Wij为第i个隐藏层神经元到第j个输出层神经元的权重,bi为第i个隐藏层神经元的输出,θi为第i个输出层的阈值。
作为上述方案的进一步改进,所述颜色特征和所述纹理特征加权融合的公式为:
Ic=λοIa+(1k×l-λ)οIb
其中,Ia和Ib为输入矩阵,Ic为k*1阶的输出矩阵,ο为基本积,λ为权重矩阵。
本发明还提供一种蓝藻自动监测预警系统,其应用上述任意所述的蓝藻自动监测预警方法,其包括:
现场监测子系统,其包括摄像头、图像采集模块以及通讯模块;所述摄像头用于实时拍摄一定水域中蓝藻的图像;所述图像采集模块用于根据所述摄像头拍摄的实时图像,生成对应的蓝藻图像;所述通讯模块用于发送所述蓝藻图像;以及
远程控制子系统,其包括图像处理模块、数据库和实时信息反馈系统;所述图像处理模块用于接收所述蓝藻图像,并对所述蓝藻图像进行腐蚀、膨胀,并填充空洞,以消除噪声,获取所述蓝藻图像的RGB直方图;所述图像处理模块还用于将所述蓝藻图像转换为灰度图,求得LBP图谱,以获取LBP直方图;所述图像处理模块通过二类分类模型对所述RGB直方图的特征进行分类,以训练所述RGB直方图的特征,获取所述蓝藻图像的颜色特征,并通过神经网络模型对所述LBP直方图的特征进行训练,获取所述蓝藻图像的纹理特征,且在决策级对所述颜色特征和所述纹理特征加权融合,形成融合特征;所述图像处理模块以所述融合特征识别所述蓝藻图像的蓝藻区域,通过遍历所述蓝藻图像的像素,计算所述蓝藻区域占整幅的所述蓝藻图像的像素占比;所述图像处理模块根据所述像素占比,判定所述蓝藻图像所位于的标准范围,并驱使所述实时信息反馈系统发出相应的预警信息;所述数据库用于储存所述图像处理模块的处理结果。
作为上述方案的进一步改进,所述现场监测子系统还包括电源模块;所述电源模块用于以不同的电压向所述摄像头、所述图像采集模块以及所述通讯模块供电;
所述摄像头为球机摄像头,所述通信模块为4G或5G通讯模块。
本发明的蓝藻自动监测预警方法,其融合颜色特征和纹理特征,通过RGB直方图提取颜色特征,并且在此之前进行膨胀、腐蚀、填充空洞预处理,通过LBP直方图提取纹理特征,同时在此之前将图像灰度化,然后采用SVM和BP算法分别训练这颜色和纹理特征,在决策级进行加权融合,以此识别蓝藻区域,另外通过遍历像素求得蓝藻区域占所摄整幅图的像素占比,利用占比值代表水华程度,从而实现分级预警。本发明的这种预警方法支持向量机的分类,对于小样本、高维空间以及不确定性下的多特征融合有良好的应用效果,而且不过度依赖样本数量与质量。
本发明的蓝藻自动监测预警系统,其基于摄像头进行蓝藻预警监测,并且通过4G或5G通讯模块将数据进行传输,视频图像数据传输更为便捷,能够有效进行蓝藻的实时监测以及预警。在对蓝藻进行长期监测后,利用数据库将数字存储,并可通过大数据分析提高先验模型的有效性,从而提高监测的精准性,甚至可以逐步实现对蓝藻水华的预测功能。而且,摄像头采用球机摄像头,能够多倍变焦、防水、可远程操纵,能够远距离监测,多点布局联合监测实现对湖泊的全水域监测。
附图说明
图1为本发明实施例1的蓝藻自动监测预警方法的流程图;
图2为本发明实施例1的蓝藻自动监测预警方法处理程度A的蓝藻水华后的LBP图谱示意图;
图3为本发明实施例1的蓝藻自动监测预警方法处理程度B的蓝藻水华后的LBP图谱示意图;
图4为本发明实施例1的蓝藻自动监测预警方法处理程度C的蓝藻水华后的LBP图谱示意图;
图5为本发明实施例1的蓝藻自动监测预警方法处理程度D的蓝藻水华后的LBP图谱示意图;
图6为本发明施例1的蓝藻自动监测预警方法计算出蓝藻占比为36%的蓝藻图;
图7为本发明施例1的蓝藻自动监测预警方法计算出蓝藻占比为73%的蓝藻图;
图8为本发明施例1的蓝藻自动监测预警方法计算出蓝藻占比为96%的蓝藻图;
图9为本发明施例1的蓝藻自动监测预警方法计算出蓝藻占比为88%的蓝藻图;
图10为本发明实施例2的蓝藻自动监测预警系统的框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例1
请参阅图1,本实施例提供了一种蓝藻自动监测预警方法,其包括下面的这些步骤。这里需要说明的是,本实施例的预警方法通过对巢湖的监测预警进行说明。
步骤1、实时拍摄一定水域中蓝藻的图像,获取相应的蓝藻图像。获取蓝藻图像的方式可以多种多样,在本实施例中,通过球机摄像头和图像采集模块获得蓝藻图像。现有的摄像头已经实现星光级夜视、几十倍变焦,可看千米,因此,在巢湖常发蓝藻水华处安装球机摄像头采集蓝藻视频图像,多点联合监测,能够实现对巢湖的全水域监测。在实际的安装中,可以将多个球机摄像头布置在湖泊的多个区域,以形成对湖泊的全面监测,同时,可以根据需要,选择合适拍摄范围的摄像头,保证对湖泊的全面覆盖。另外,由于球机摄像头可具有远程控制的功能,因而可以远程对摄像头进行控制,如进行变焦。而且,球机摄像头能够防水,能够长久地进行监测。
步骤2、对蓝藻图像进行腐蚀、膨胀,并填充空洞,以消除噪声,获取蓝藻图像的RGB直方图。RGB颜色空间广泛应用于图像处理,并且很多硬件设备也是使用的RGB颜色。一般也用该颜色空间表示数字图像,此颜色空间可用笛卡尔坐标系表示,三个坐标分别对应于R、G、B三种颜色。有两种图像直方图均衡算法十分常用,一个是以RGB为基准建立三原色的直方图,另一个是以YUV格式仅对亮度分量作直方图均衡,本实施例通过RGB直方图可以表征图像的颜色特征。
步骤3、将蓝藻图像转换为灰度图,求得LBP图谱,以获取LBP直方图。LBP算子是一种全局特征,可以描述图像的纹理特征。原始LBP算子为3*3阶,求LBP值公式为:
其中,(xc,yc)为中心像素,ic为灰度值,s(x)为符号函数。
LBP算子的旋转不变性、灰度不变性使得图像平移、旋转以及光照不均匀等干扰因素的影响得以规避。所以,其在机器视觉和模式识别领域都得到了十分广泛的应用。
请参阅图2-5,LBP直方图序列属于一阶统计特征,可以较好地描述图像纹理特性。LBP算法能够准确的对纹理特征进行描述,它主要有两个优点,一个是LBP算子的灰度分布情况不受光照条件影响,具有很强的鲁棒性,另一个是LBP算法是定义在小区域内的,经过比较运算得到,计算效率高,便于实时处理。本实施例通过LBP描述纹理特征从而实现蓝藻与水草等干扰因素的区分。
步骤4、通过二类分类模型对RGB直方图的特征进行分类,以训练RGB直方图的特征,获取蓝藻图像的颜色特征;通过神经网络模型对LBP直方图的特征进行训练,获取蓝藻图像的纹理特征。在本实施例中,二类分类模型为SVM算法模型,神经网络模型为多层神经网络BP算法模型。
SVM算法不需要进行高维空间映射,取而代之的是核函数,它以最大间隔为核心,以支持向量作为训练结果,使得最终结果仅仅通过部分向量就可决定,能够提取较大样本。SVM有两个基础要素,其一是VC维理论,其二是结构风险最小化。它通过有限的样本信息在学习能力和模型复杂度两者之间寻找最佳的平衡点,以此获得最佳泛化能力。SVM算法以构造最优分类面进行分类,最优分类面是指此分类面不仅能够有效地分开两类,而且能够使得两类间的间隔是最大的。在本实施例中,采用的核函数为高斯核,即:
式中,σ为带宽。
具体理论运算过程如下:
设φ(x)为x映射后的特征向量,此时,在特征空间中的划分超平面的模型为f(x)=wTφ(x)+b,w和b为参数
因计算φ(xi)T*φ(xj)十分复杂,设存在函数:
k(xi,xj)≤φ(xi),φ(xi)T*φ(xj)≤φ(xj)
此时:
求解得模型为:
此式中,k(xi,xj)为核函数,b为参数,αi为非负系数,xi和yi为样本,xj为中心点。
而BP算法通过正向传播信号以及反向传播误差进行学习,首先样本通过输入层,再进入隐层,最后到达输出层。若是输出不符合预期时,便反向传播误差,将误差传到隐层再传到输入层。对于学习过程的各层权值修正,是不断循环的进行的。权值的不断修正,也是网络的一种训练过程。这个过程一直持续到输出的误差能够被接受,或者达到事先设定的学习次数。因多层前馈网络的训练往往使用误反向传播算法,所以常常将多层前馈网络直接叫做BP网络。
BP算法的第j个隐藏层神经元的输入为:
BP算法的第q个输出经元的输入为:
BP算法的第一轮训练的均方误差为:
其中,Vij为第i个输入神经元到第j个隐藏层神经元的权重,Wij为第i个隐藏层神经元到第j个输出层神经元的权重,bi为第i个隐藏层神经元的输出,θi为第i个输出层的阈值。
步骤5、在决策级对颜色特征和纹理特征加权融合,形成融合特征。本实施例需支持向量机的分类方法对于小样本、高维空间以及不确定性下的多特征融合有良好的应用效果,而且不过度依赖样本数量与质量。对于多分类器融合的情形,权值指的是每一组分类器判决结果在最终融合结果中所占的重要性。对于分类问题,分类器判决的准确性是能够作为描述这种重要性的一种指标。为此,本实施例法采用分区块加权融合,颜色特征和纹理特征加权融合的公式为:
Ic=λοIa+(1k×l-λ)οIb
其中,Ia和Ib为输入矩阵,Ic为k*1阶的输出矩阵,ο为基本积,λ为权重矩阵。
步骤6、以融合特征识别蓝藻图像的蓝藻区域。
步骤7、通过遍历蓝藻图像的像素,计算蓝藻区域占整幅的蓝藻图像的像素占比。在本实施例中,像素占比为:
Y=(X*/X)×100%
其中,X*为蓝藻区域的像素点个数,X为蓝藻图像的总像素点个数。
步骤8、预设蓝藻占比的各个标准范围及相应预警信息;根据像素占比,判定蓝藻图像所位于的标准范围,并发出相应的预警信息。各个标准范围的定义可以根据实际的蓝藻爆发状态以及湖泊的现状进行设定,在本实施例中,分级的标准为:在Y小于等于20%时,判定出现轻度蓝藻水华,并发出绿色预警信号;在Y大于20%且小于等于50%时,判定出现中度蓝藻水华,并发出黄色预警信号;在Y大于50%时,判定出现重度蓝藻水华,并发出红色预警信号。
这里需要指出的是,在上述步骤中,步骤2和步骤3不分先后,可同时执行,也可前后执行。
由于蓝藻颜色特征明显,蓝藻的不断聚集会使湖水的颜色发生变化,其聚集的密度不同亦会导致颜色的不同,这些都会让有蓝藻的湖水区别于没有蓝藻的湖水,并且能够根据不同的颜色及颜色的深浅程度设置不同的监测阈值,从而实验蓝藻水华的预警。而且,将颜色特征与纹理特征融合,可提高监测精确度,也将蓝藻与水草、树叶倒影区分开来。本实施例中以巢湖十五里河入湖口所拍摄的蓝藻图作为算法验证,实验结果表明本实施例的预警方法能够有效地区分出蓝藻与水草,并能够给出大致蓝藻占比,以此占比作为分级预警根据。而且,所得结果与目测大致相当。实验结果如图6-9所示,其中,前三幅图有不同程度的蓝藻水华,而第四幅图含有水草等干扰因素。
综上所述,本实施例的蓝藻自动监测预警方法,其具有以下优点:
该方法融合颜色特征和纹理特征,通过RGB直方图提取颜色特征,并且在此之前进行膨胀、腐蚀、填充空洞预处理,通过LBP直方图提取纹理特征,同时在此之前将图像灰度化,然后采用SVM和BP算法分别训练这颜色和纹理特征,在决策级进行加权融合,以此识别蓝藻区域,另外通过遍历像素求得蓝藻区域占所摄整幅图的像素占比,利用占比值代表水华程度,从而实现分级预警。本发明的这种预警方法支持向量机的分类,对于小样本、高维空间以及不确定性下的多特征融合有良好的应用效果,而且不过度依赖样本数量与质量。
实施例2
请参阅图10,本实施例提供了一种蓝藻自动监测预警系统,其应用实施例1中的蓝藻自动监测预警方法。在本实施例中,蓝藻自动监测预警系统包括现场监测子系统和远程控制子系统。
现场监测子系统包括摄像头、图像采集模块以及通讯模块,还可包括电源模块。其中,图像采集模块以及通讯模块可以组成集中控制中心。摄像头用于实时拍摄一定水域中蓝藻的图像,在本实施例中,摄像头为球机摄像头。图像采集模块用于根据所述摄像头拍摄的实时图像,生成对应的蓝藻图像。通讯模块用于发送蓝藻图像至远程控制子系统。通讯模块为4G或5G通讯模块,在本实施例中,通讯模块选用移远EC20来进行4G传输图像与定位信息,供电电压是3.3~4.3V,具有高效性。此模块为Mini PCIe的标准封装模式,它不仅支持LTE,UMTS,也支持GSM/GPRS网络,能通过MIMO技术来降低误码率,以此改善传输质量。
远程控制子系统包括图像处理模块、数据库和实时信息反馈系统。图像处理模块用于接收所述蓝藻图像,并对所述蓝藻图像进行腐蚀、膨胀,并填充空洞,以消除噪声,获取所述蓝藻图像的RGB直方图。图像处理模块还用于将所述蓝藻图像转换为灰度图,求得LBP图谱,以获取LBP直方图。图像处理模块通过二类分类模型对所述RGB直方图的特征进行分类,以训练所述RGB直方图的特征,获取所述蓝藻图像的颜色特征,并通过神经网络模型对所述LBP直方图的特征进行训练,获取所述蓝藻图像的纹理特征,且在决策级对所述颜色特征和所述纹理特征加权融合,形成融合特征。图像处理模块以所述融合特征识别所述蓝藻图像的蓝藻区域,通过遍历所述蓝藻图像的像素,计算所述蓝藻区域占整幅的所述蓝藻图像的像素占比。图像处理模块根据像素占比,判定蓝藻图像所位于的预设标准范围,并驱使实时信息反馈系统发出相应的预警信息。数据库用于储存图像处理模块的处理结果,丰富数据库内容将有助于算法先验模型的准确性。此外,实时信息反馈系统也能展示远程传输过来的定位信息,方便对蓝藻的定点治理。
在这里需要说明的是,图像处理模块可以包括多个单元,每个单元用于执行实施例1中步骤2-8中的其中一步,这样就能够形成一个单元的集合,以便于模块的设计和使用。
综上所述,本实施例的蓝藻自动监测预警系统具有以下优点:
该自动监测预警系统基于摄像头进行蓝藻预警监测,并且通过4G或5G通讯模块将数据进行传输,视频图像数据传输更为便捷,能够有效进行蓝藻的实时监测以及预警。在对蓝藻进行长期监测后,利用数据库将数字存储,并可通过大数据分析提高先验模型的有效性,从而提高监测的精准性,甚至可以逐步实现对蓝藻水华的预测功能。而且,摄像头采用球机摄像头,能够多倍变焦、防水、可远程操纵,能够远距离监测,多点布局联合监测实现对湖泊的全水域监测。
实施例3
本实施例提供一种计算机终端,其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现实施例1的蓝藻自动监测预警方法的步骤。
实施例1或2的方法在应用时,可以软件的形式进行应用,如设计成独立运行的程序,安装在计算机终端上,计算机终端可以是电脑、智能手机以及其他物联网设备等。实施例1或2的方法也可以设计成嵌入式运行的程序,安装在计算机终端上,如安装在单片机上。
实施例4
本实施例提供一种计算机可读存储介质,其上存储有计算机程序。程序被处理器执行时,实现实施例1的蓝藻自动监测预警方法的步骤。
实施例1或2的方法在应用时,可以软件的形式进行应用,如设计成计算机可读存储介质可独立运行的程序,计算机可读存储介质可以是U盘,设计成U盾,通过U盘设计成通过外在触发启动整个方法的程序。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种蓝藻自动监测预警方法,其特征在于,其包括以下步骤:
实时拍摄一定水域中蓝藻的图像,获取相应的蓝藻图像;
对所述蓝藻图像进行腐蚀、膨胀,并填充空洞,以消除噪声,获取所述蓝藻图像的RGB直方图;
将所述蓝藻图像转换为灰度图,求得LBP图谱,以获取LBP直方图;
通过二类分类模型对所述RGB直方图的特征进行分类,以训练所述RGB直方图的特征,获取所述蓝藻图像的颜色特征;通过神经网络模型对所述LBP直方图的特征进行训练,获取所述蓝藻图像的纹理特征;
在决策级对所述颜色特征和所述纹理特征加权融合,形成融合特征;
以所述融合特征识别所述蓝藻图像的蓝藻区域;
通过遍历所述蓝藻图像的像素,计算所述蓝藻区域占整幅的所述蓝藻图像的像素占比;
预设蓝藻占比的各个标准范围及相应预警信息;根据所述像素占比,判定所述蓝藻图像所位于的标准范围,并发出相应的预警信息。
2.如权利要求1所述的蓝藻自动监测预警方法,其特征在于,所述二类分类模型为SVM算法模型,所述神经网络模型为多层神经网络BP算法模型。
3.如权利要求1所述的蓝藻自动监测预警方法,其特征在于,所述像素占比为:
Y=(X*/X)×100%
其中,X*为所述蓝藻区域的像素点个数,X为所述蓝藻图像的总像素点个数。
4.如权利要求3所述的蓝藻自动监测预警方法,其特征在于,在Y小于等于20%时,判定出现轻度蓝藻水华,并发出绿色预警信号;在Y大于20%且小于等于50%时,判定出现中度蓝藻水华,并发出黄色预警信号;在Y大于50%时,判定出现重度蓝藻水华,并发出红色预警信号。
5.如权利要求1所述的蓝藻自动监测预警方法,其特征在于,所述二类分类模型的模型函数为:
式中,k(xi,xj)为核函数,b为参数,αi为非负系数,xi和yi为样本,xj为中心点。
6.如权利要求5所述的蓝藻自动监测预警方法,其特征在于,所述核函数为:
式中,σ为带宽。
7.如权利要求1所述的蓝藻自动监测预警方法,其特征在于,所述神经网络模型的第j个隐藏层神经元的输入为:
所述神经网络模型的第q个输出经元的输入为:
所述神经网络模型的第一轮训练的均方误差为:
其中,Vij为第i个输入神经元到第j个隐藏层神经元的权重,Wij为第i个隐藏层神经元到第j个输出层神经元的权重,bi为第i个隐藏层神经元的输出,θi为第i个输出层的阈值。
8.如权利要求1所述的蓝藻自动监测预警方法,其特征在于,所述颜色特征和所述纹理特征加权融合的公式为:
Ic=λοIa+(1k×l-λ)οIb
其中,Ia和Ib为输入矩阵,Ic为k*1阶的输出矩阵,ο为基本积,λ为权重矩阵。
9.一种蓝藻自动监测预警系统,其应用如权利要求1-8中任意一项所述的蓝藻自动监测预警方法,其特征在于,其包括:
现场监测子系统,其包括摄像头、图像采集模块以及通讯模块;所述摄像头用于实时拍摄一定水域中蓝藻的图像;所述图像采集模块用于根据所述摄像头拍摄的实时图像,生成对应的蓝藻图像;所述通讯模块用于发送所述蓝藻图像;以及
远程控制子系统,其包括图像处理模块、数据库和实时信息反馈系统;所述图像处理模块用于接收所述蓝藻图像,并对所述蓝藻图像进行腐蚀、膨胀,并填充空洞,以消除噪声,获取所述蓝藻图像的RGB直方图;所述图像处理模块还用于将所述蓝藻图像转换为灰度图,求得LBP图谱,以获取LBP直方图;所述图像处理模块通过二类分类模型对所述RGB直方图的特征进行分类,以训练所述RGB直方图的特征,获取所述蓝藻图像的颜色特征,并通过神经网络模型对所述LBP直方图的特征进行训练,获取所述蓝藻图像的纹理特征,且在决策级对所述颜色特征和所述纹理特征加权融合,形成融合特征;所述图像处理模块以所述融合特征识别所述蓝藻图像的蓝藻区域,通过遍历所述蓝藻图像的像素,计算所述蓝藻区域占整幅的所述蓝藻图像的像素占比;所述图像处理模块根据所述像素占比,判定所述蓝藻图像所位于的标准范围,并驱使所述实时信息反馈系统发出相应的预警信息;所述数据库用于储存所述图像处理模块的处理结果。
10.如权利要求9所述的蓝藻自动监测预警系统,其特征在于,所述现场监测子系统还包括电源模块;所述电源模块用于以不同的电压向所述摄像头、所述图像采集模块以及所述通讯模块供电;
所述摄像头为球机摄像头,所述通信模块为4G或5G通讯模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910388234.0A CN110108704A (zh) | 2019-05-10 | 2019-05-10 | 一种蓝藻自动监测预警方法及其自动监测预警系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910388234.0A CN110108704A (zh) | 2019-05-10 | 2019-05-10 | 一种蓝藻自动监测预警方法及其自动监测预警系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110108704A true CN110108704A (zh) | 2019-08-09 |
Family
ID=67489278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910388234.0A Pending CN110108704A (zh) | 2019-05-10 | 2019-05-10 | 一种蓝藻自动监测预警方法及其自动监测预警系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110108704A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111024695A (zh) * | 2019-12-10 | 2020-04-17 | 山东星云环境科技有限公司 | 一种天地一体的ai智能水环保实时监测系统 |
CN111122816A (zh) * | 2019-12-30 | 2020-05-08 | 重庆商勤科技有限公司 | 基于在线监测与图像识别相结合的水华预警系统及方法 |
CN113505813A (zh) * | 2021-06-11 | 2021-10-15 | 国网浙江省电力有限公司嘉兴供电公司 | 一种基于云计算的高压断路器分布式大数据存储方法 |
CN113510960A (zh) * | 2021-08-17 | 2021-10-19 | 安徽坤健生物科技有限公司 | 一种餐厨垃圾资源化利用生物处理方法 |
CN113509996A (zh) * | 2021-08-17 | 2021-10-19 | 安徽坤健生物科技有限公司 | 一种基于餐厨垃圾生物处理的鱼饲料生产系统 |
CN114088907A (zh) * | 2021-11-05 | 2022-02-25 | 常州市环境科学研究院 | 一种水、陆、空一体化的浅水湖泊蓝藻水华监测及预警系统 |
CN114973490A (zh) * | 2022-05-26 | 2022-08-30 | 南京大学 | 一种基于人脸识别的监控预警系统 |
CN116152748A (zh) * | 2023-04-19 | 2023-05-23 | 水利部交通运输部国家能源局南京水利科学研究院 | 基于蓝藻识别的河湖监管方法及其系统 |
CN116258896A (zh) * | 2023-02-02 | 2023-06-13 | 山东产研卫星信息技术产业研究院有限公司 | 一种基于空天地一体化的赤潮准实时监测方法 |
CN117890258A (zh) * | 2024-03-15 | 2024-04-16 | 水利部交通运输部国家能源局南京水利科学研究院 | 无接触、可视化藻密度原位监测系统与监测方法 |
CN118097562A (zh) * | 2024-04-18 | 2024-05-28 | 广东海洋大学 | 一种海藻增殖情况远程监测方法 |
CN118097562B (zh) * | 2024-04-18 | 2024-07-05 | 广东海洋大学 | 一种海藻增殖情况远程监测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102221551A (zh) * | 2011-06-02 | 2011-10-19 | 中国科学院计算技术研究所 | 一种蓝藻监测装置及方法 |
CN105160319A (zh) * | 2015-08-31 | 2015-12-16 | 电子科技大学 | 一种在监控视频下实现行人再识别的方法 |
CN105740883A (zh) * | 2016-01-21 | 2016-07-06 | 南京大学 | 一种计算机中基于轮廓和纹理的对羽毛片进行分类的方法 |
CN107273905A (zh) * | 2017-06-14 | 2017-10-20 | 电子科技大学 | 一种结合运动信息的目标主动轮廓跟踪方法 |
CN107292339A (zh) * | 2017-06-16 | 2017-10-24 | 重庆大学 | 基于特征融合的无人机低空遥感影像高分地貌分类方法 |
-
2019
- 2019-05-10 CN CN201910388234.0A patent/CN110108704A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102221551A (zh) * | 2011-06-02 | 2011-10-19 | 中国科学院计算技术研究所 | 一种蓝藻监测装置及方法 |
CN105160319A (zh) * | 2015-08-31 | 2015-12-16 | 电子科技大学 | 一种在监控视频下实现行人再识别的方法 |
CN105740883A (zh) * | 2016-01-21 | 2016-07-06 | 南京大学 | 一种计算机中基于轮廓和纹理的对羽毛片进行分类的方法 |
CN107273905A (zh) * | 2017-06-14 | 2017-10-20 | 电子科技大学 | 一种结合运动信息的目标主动轮廓跟踪方法 |
CN107292339A (zh) * | 2017-06-16 | 2017-10-24 | 重庆大学 | 基于特征融合的无人机低空遥感影像高分地貌分类方法 |
Non-Patent Citations (3)
Title |
---|
司马海峰 等: "《遥感图像分类中的智能计算方法》", 31 January 2018 * |
王丽霞 等: "基于数码摄像的蓝藻识别研究及工程实现", 《安徽农业科学》 * |
计明军 等: "《预测与决策方法》", 31 August 2018 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111024695A (zh) * | 2019-12-10 | 2020-04-17 | 山东星云环境科技有限公司 | 一种天地一体的ai智能水环保实时监测系统 |
CN111122816A (zh) * | 2019-12-30 | 2020-05-08 | 重庆商勤科技有限公司 | 基于在线监测与图像识别相结合的水华预警系统及方法 |
CN113505813A (zh) * | 2021-06-11 | 2021-10-15 | 国网浙江省电力有限公司嘉兴供电公司 | 一种基于云计算的高压断路器分布式大数据存储方法 |
CN113510960A (zh) * | 2021-08-17 | 2021-10-19 | 安徽坤健生物科技有限公司 | 一种餐厨垃圾资源化利用生物处理方法 |
CN113509996A (zh) * | 2021-08-17 | 2021-10-19 | 安徽坤健生物科技有限公司 | 一种基于餐厨垃圾生物处理的鱼饲料生产系统 |
CN114088907A (zh) * | 2021-11-05 | 2022-02-25 | 常州市环境科学研究院 | 一种水、陆、空一体化的浅水湖泊蓝藻水华监测及预警系统 |
CN114973490A (zh) * | 2022-05-26 | 2022-08-30 | 南京大学 | 一种基于人脸识别的监控预警系统 |
CN116258896A (zh) * | 2023-02-02 | 2023-06-13 | 山东产研卫星信息技术产业研究院有限公司 | 一种基于空天地一体化的赤潮准实时监测方法 |
CN116258896B (zh) * | 2023-02-02 | 2023-09-26 | 山东产研卫星信息技术产业研究院有限公司 | 一种基于空天地一体化的赤潮准实时监测方法 |
CN116152748A (zh) * | 2023-04-19 | 2023-05-23 | 水利部交通运输部国家能源局南京水利科学研究院 | 基于蓝藻识别的河湖监管方法及其系统 |
CN117890258A (zh) * | 2024-03-15 | 2024-04-16 | 水利部交通运输部国家能源局南京水利科学研究院 | 无接触、可视化藻密度原位监测系统与监测方法 |
CN117890258B (zh) * | 2024-03-15 | 2024-05-14 | 水利部交通运输部国家能源局南京水利科学研究院 | 无接触、可视化藻密度原位监测系统与监测方法 |
CN118097562A (zh) * | 2024-04-18 | 2024-05-28 | 广东海洋大学 | 一种海藻增殖情况远程监测方法 |
CN118097562B (zh) * | 2024-04-18 | 2024-07-05 | 广东海洋大学 | 一种海藻增殖情况远程监测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110108704A (zh) | 一种蓝藻自动监测预警方法及其自动监测预警系统 | |
CN107818326B (zh) | 一种基于场景多维特征的船只检测方法及系统 | |
KR102095555B1 (ko) | 필드양식장 불법행위감시가 가능한 무인비행체 및 인공지능 딥러닝을 이용한 불법행위 분석과 인식에 따른 감시 방법 | |
Cane et al. | Evaluating deep semantic segmentation networks for object detection in maritime surveillance | |
CN110084234B (zh) | 一种基于实例分割的声呐图像目标识别方法 | |
CN113807464B (zh) | 基于改进yolo v5的无人机航拍图像目标检测方法 | |
CN106570485B (zh) | 一种基于深度学习的筏式养殖遥感图像场景标注方法 | |
Zheng et al. | Dehaze-AGGAN: Unpaired remote sensing image dehazing using enhanced attention-guide generative adversarial networks | |
Levy et al. | Automated analysis of marine video with limited data | |
CN107731011B (zh) | 一种港口泊船监测方法、系统及电子设备 | |
CN110991257B (zh) | 基于特征融合与svm的极化sar溢油检测方法 | |
CN110516723B (zh) | 一种基于深度张量融合的多模态地基云图识别方法 | |
Wang et al. | Deep learning-based visual detection of marine organisms: A survey | |
CN112419333B (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
CN112712052A (zh) | 一种机场全景视频中微弱目标的检测识别方法 | |
CN110443155A (zh) | 一种基于卷积神经网络的视觉航标识别与分类方法 | |
Han et al. | Research on multiple jellyfish classification and detection based on deep learning | |
Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
CN114596480A (zh) | 一种基于yolov5优化的海底生物目标检测方法和系统 | |
He et al. | A novel image recognition algorithm of target identification for unmanned surface vehicles based on deep learning | |
Li et al. | Detection of marine oil spills based on HOG feature and SVM classifier | |
CN116704688A (zh) | 海洋浮标被动防御方法及系统 | |
Zhao et al. | Ocean ship detection and recognition algorithm based on aerial image | |
Liang et al. | Recognition and classification of ornamental fish image based on machine vision | |
CN104615987B (zh) | 一种基于误差反传神经网络的飞机残骸智能识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190809 |
|
WD01 | Invention patent application deemed withdrawn after publication |