CN107833221B - 一种基于多通道特征融合和机器学习的漏水检测方法 - Google Patents
一种基于多通道特征融合和机器学习的漏水检测方法 Download PDFInfo
- Publication number
- CN107833221B CN107833221B CN201711231503.XA CN201711231503A CN107833221B CN 107833221 B CN107833221 B CN 107833221B CN 201711231503 A CN201711231503 A CN 201711231503A CN 107833221 B CN107833221 B CN 107833221B
- Authority
- CN
- China
- Prior art keywords
- image
- water leakage
- image block
- channel
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 134
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 230000004927 fusion Effects 0.000 title claims abstract description 27
- 238000010801 machine learning Methods 0.000 title claims abstract description 18
- 230000008859 change Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000010606 normalization Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000012706 support-vector machine Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims 1
- 230000005764 inhibitory process Effects 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013145 classification model Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多通道特征融合和机器学习的漏水检测方法，首先选择漏水检测的区域得到待检测视频图像序列，然后对选定的待检测视频图像序列通过动态变化区域图像块提取和分割得到待分类图像块集合，对待分类图像块集合提取的特征包括梯度通道特征，HOG通道，LUV色彩空间的L通道特征，对样本集合中提取这三个特征归一化融合后进行SVM训练，得到一个分类器，将待分类图像块提取的特征集合输入分类器即可得到待预测漏水图片的分类结果，最后采用非极大值抑制的方法并进行简单的统计以及阈值控制得到最终的漏水检测结果。本发明具有非接触性，成本低的优点，并能对漏水的程度提供一定的信息，能够在一定条件下完成高精度的漏水检测。
Description
技术领域
本发明属于视频监控系统中的图像处理领域，特别涉及用多通道特征融合和机器学习的方法进行漏水检测。
背景技术
漏水检测领域传统的技术大体可以分为两种，第一种是采用传感器技术，利用水的导电性或者漏水点产生声波和负压波等物理特性进行漏水检测，常见的漏水检测产品有传感电缆和漏水相关检测仪等；第二种采用红外热成像技术，在周围物体和水存在一定温差时，对热成像图像进行简单的图像分割完成漏水检测任务。近年来，图像识别技术应用于视频监控系统的发展如火如荼，Pascal Mettes等研究学者针对水体检测的工作取得了很好的效果，但采用图像处理技术处理光学视频进行的漏水检测工作几乎未有研究学者涉足。
在智能化工厂建设的浪潮中，许多传统工厂对采用自动化和智能化技术来对工厂设备进行异常情况检测有着极大的需求。工厂的异常情况检测中，管道等设备的漏水检测是重要一环。然而面对工厂复杂的电磁环境和实际需求，传统的检测方式存在着无法统计漏水速率以及硬件成本高等问题难以克服，难以满足要求。而本发明采用数字图像处理的手段能降低硬件成本并能在给出漏水判决结果的同时对漏水频率估计提供一定信息来解决工厂漏水检测问题。值得注意的是，水流或水滴存在着颜色透明的问题，所以本发明在背景和水流或水滴存在对比度的情况下，利用传统光学摄像头获取的监控视频，采取基于机器学习的方法进行漏水检测。基于机器学习的分类方法即利用已有被标记分类结果的样本，选取合适的图像特征表示样本的图像性质，将特征集合采用学习策略训练一个分类模型，一般使用的有监督分类器有SVM、Adaboost、Random forest等，最后把预测图像作为测试样本，利用已经训练好的模型对测试样本进行预测，从而完成对待预测样本的分类。
发明内容
本发明的目的在于提供一种基于多通道融合和机器学习的漏水检测方法，该方法能够在实际环境中完成高精度的漏水检测任务。
本发明提供的一种基于多通道融合和机器学习的漏水检测方法，具体包括以下步骤：
步骤1，获取原始漏水检测区域视频，根据需要对原始视频中的漏水检测区域进行选取，选定结果记为待检测视频序列VROI；
步骤2，运动变化图像块提取，包括对步骤1得到的待检测视频序列，利用帧间差算法得到差分图像，以固定尺寸且不重叠矩形框对差分图像分块，再对每一块图像的像素值进行累加统计，利用阈值提取得到待检测视频序列中的运动变化图像块集合；
步骤3，运动变化图像块分割，包括对步骤2获得的运动变化图像块集合中每一个图像块进行有重叠的块分割，得到待分类图像块集合；
步骤4，特征提取，包括对步骤3待分类图像块集合中每个待分类图像块分别进行特征提取，提取的特征包括梯度通道特征，HOG通道特征，LUV色彩空间的L通道特征，然后对以上三种通道特征分别进行归一化，最后串联融合得到多通道特征；
步骤5，对漏水图片和非漏水图片构成的训练样本集合提取多通道特征，并利用SVM模型进行训练得到分类器，然后利用分类器对每个待分类图像块进行二分类预测，分类结果为漏水图像块和无漏水图像块；
步骤6，对分类器得到的每一帧图像内所有的漏水图像块采用非极大值抑制策略，取最高置信度的漏水图像块为最后的输出结果，然后对一定数目连续帧中检测出的漏水图像块的数目进行统计，完成最终的漏水检测。
进一步的，步骤2中运动变化图像块提取的具体实现方式如下，
首先对待检测视频图像序列VROI的第t-2帧和第t帧利用帧间差算法得到t时刻对应差分图像Dt，其中t＝3,5,...,n，n取值为不大于VROI总帧数的最大奇数值，设差分图像Dt的尺寸为宽W像素，高H像素，然后采用固定尺寸宽为W1像素，高为H1像素长度的不重叠矩形框对差分图像Dt分块，得到图像块数目为floor(W/W1)×floor(H/H1)，其中floor为向下取整函数，再对每一图像块内的像素值进行累加统计，利用最大阈值TH和最小阈值TL筛选出阈值范围内的运动变化图像块集
其中i，j为矩形框左上角坐标。
进一步的，步骤3中运动变化图像块分割的具体实现方式如下，
对运动变化图像块集中
的每个运动变化图像块均采用了N×N的滑动窗分块，设x方向滑动步长为Sx个像素，y方向的滑动步长为Sy个像素，则一个W1×H1的运动变化图像块可以分割为M个尺寸为N×N的待分类图像块，假设t时刻的待检测视频序列提取的运动变化区域图像块集合的元素数目为S，则能得到M*S个元素的待分类图像块集合
其中i，j为待分类图像块的左上角坐标，W2和H2均为N。
进一步的，步骤4中梯度通道特征为梯度幅值，提取方式如下，
设f(x,y)为待分类图像块集合中每个待分类图像块对应像素点坐标的像素值，则像素点(x,y)在x方向上的梯度gx和y方向上的梯度gy表示为，
gx＝f(x+1,y)-f(x-1,y)
gy＝f(x,y+1)-f(x,y-1)
则梯度幅值计算公式为，
其中，
为(x,y)处的梯度幅值。
进一步的，步骤4中HOG通道特征的提取方式如下，
①对输入图像进行灰度化处理，其中输入图像指待分类图像块集合中每个待分类图像块；
②采用Gamma校正法对输入图像进行颜色空间归一化；
③计算图像每个像素点的梯度幅值和梯度方向；
④将图像划分为多个尺寸为C1*C2像素的细胞单元cell，对每一个cell块所有像素的梯度直方图考虑梯度方向的情况下进行角度投影，投影策略为：首先将整个360度的圆等分成12个份，对角的两份认为是一个bin，因此得到6个bin，每个bin包含60度；然后根据梯度幅值通道中每个像素点的梯度方向，以梯度幅值为权重在9个bin上投影，从而得到6个方向的细胞单元描述特征；
⑤将多个小的cell组合形成一个尺寸为B1*B2像素的图像块block，把一个block内的所有cell得到的细胞单元描述特征进行串联得到一个block的HOG特征；
⑥将所有图像块的HOG特征串联，组合形成表示整个输入图像的HOG特征。
进一步的，还包括步骤7，利用混淆矩阵计算检测精度，设混淆矩阵中实际是正样本预测为正样本的个数为TP，实际是负样本预测为正样本的个数为FP，实际是正样本预测为负样本的个数为FN，实际是负样本预测为负样本的个数为TN，则检测精度的计算公式为
进一步的，步骤1中通过静止摄像头获取原始漏水检测区域视频。
与现有技术相比，本发明具有以下优点：本发明所提供的一种基于多通道特征融合和机器学习的漏水检测方法，相比于传统的传感电缆检测漏水，本发明具有非接触性，成本低的优点，并能对漏水的程度提供一定的信息(即一定时间内的漏频率)。相比于简单的帧间差等动态检测模型，本发明采用运动检测和分类模型能有效的减少环境噪声和人为等其他物体出现在画面中的干扰，采用单位时间内统计平均策略能较好的减少虚警，给决策人员提供较好的参考结果。实验表明，本发明方法能够在实验条件及实际环境条件下完成高精度的漏水检测，漏水检测精度达到90％左右，在图像目标检测领域，该检测精度已经基本能够达到实用的分类水平。
附图说明
图1为本发明实施例流程图；
图2为本发明实施例中漏水图像和非漏水图像的三种特征通道图像；
图3为本发明实施例中SVM二分类器训练流程简图；
图4为本发明实施例中NMS算法过程实例说明图；
图5为本发明实施中拍摄自制视频的实验环境图像。
具体实施方式
传统的热成像检测漏水思路采用简单的阈值分割能在水和周围物体存在一定温差的情况下取得较好效果，本发明前期利用水滴的运动轮廓提取的方式进行漏水检测，由于环境干扰会产生类似水滴的轮廓，效果不佳，因而采用机器学习的方式，但仅采用单一的特征不能完全反应漏水水滴的视觉特性，考虑到图像的不同特征表示之间存在着互补的信息，融合不同类型的特征能获得更高的分类正确率。所以，本发明的方法采用多通道特征融合，利用机器学习的分类模型进行漏水检测，具体的流程如图1所示。
下面对基于多通道特征融合和机器学习的漏水检测方法的原理以及相关定义加以说明。1.漏水检测区域选取
利用市面上购买的监控摄像头大体分为两种即网络摄像头和USB摄像头，对监控摄像头进行相应配置，如设置分辨率等参数对摄像头进行初始化，然后摄像头角度正对监控区域即可在网络端口或者硬件端口获取视频流得到原始视频序列Vseq，由于实际检测图像的尺寸较大，考虑到实际的检测目标可能只集中与图像某一区域，人工选择出该区域可以减少检测算法的计算开销，注意人工选择的区域可以是全图。在图像库OpenCV中可以用Rect类对Vseq视频序列截取对应的人工选择区域作为待检测视频序列记为VROI来进行漏水检测算法的实施。2.运动变化图像块提取和分割
帧间差算法是通过对视频图像序列的相邻两帧图像作差分运算来得到运动物体大致轮廓的方法。针对水流目标较小，全图搜索检测计算成本较高的特点，先利用水流的运动特性采取帧间差算法得到差分图像，对差分图像采用固定尺寸不重叠图像分块，再对每一块的像素值进行累加统计，设定固定阈值筛选得到运动变化图像块集合，再经过简单的分块策略即可得到最后待分类图像块集合。
具体做法：①运动变化图像块提取策略：首先对待检测视频图像序列VROI的第t-2帧和第t帧利用帧间差算法得到t时刻对应差分图像Dt，其中t＝3,5,...,n,n取值为不大于VROI总帧数的最大奇数值，差分图像Dt的尺寸为宽W像素，高H像素，然后采用固定尺寸宽为W1像素，高为H1像素长度的不重叠矩形框对差分图像Dt分块，分块过程中由于W/W1和H/H1并不一定为帧数，考虑到漏水检测实际，边界部分不进行补充扩展像素操作，得到图像块数目为floor(W/W1)×floor(H/H1)，其中floor为向下取整函数。再对每一图像块内的像素值进行累加统计，利用最大阈值TH和最小阈值TL筛选出阈值范围内的运动变化图像块集
其中i，j为矩形框左上角坐标，在本发明实施例中选择W1和H1均为64像素,TH取为500，TL取为10，在W1和H1的数值选择上尺寸应当适中，尺寸过大或者过小均会造成后续分割以及分类的计算成本，影响检测的实时性；而TL阈值的合理设置能减少图像噪声的影响，同时考虑到检测目标水流或者较大水滴为小目标，帧间差运动变化较弱，如果图像块像素值累加和较高可能是人等物体的干扰以及光照的突变，采用并合理设置TH阈值能够减弱其他目标和环境突变的干扰。②运动图像块分割策略：对检测出尺寸为W1×H1像素的的运动变化图像块集中
的每个运动变化图像块均采用了N×N的滑动窗对图像分块，x方向滑动步长为Sx个像素，y方向的滑动步长为Sy个像素，则一个W1×H1的运动变化图像块可以分割为M个尺寸为N×N的待分类图像块。即假设t时刻的待检测视频帧提取的运动变化区域图像块集合的元素数目为S，则能得到M*S个元素的待分类图像块集合
其中i，j为待分类图像块的左上角坐标，W2和H2均为N。考虑到水流和水滴的尺寸大小、空间位置分布以及后续的特征提取，设置N的取值不宜过大或过小，本发明实施例中建议直接设定N为32。Sx和Sy取值应小于32，防止水流图像分布在待分类图像块边缘或者被不同的待分类图像块分裂造成后续的分类失败，所以在本发明实施例中，N取值为32，Sx取值为16，Sy取值为32，待分类图像块集合
元素个数总数目为8*S。
3.特征提取
本发明的特征选择采用多通道特征融合策略，该特征包含梯度通道特征、HOG通道特征和Luv色彩空间中的L通道特征，漏水图像和非漏水图像的三种种通道特征如图2所示。
(1)、梯度通道
梯度幅值通道：数学定义中，标量场中的梯度反映了函数在某点变化最快方向和大小。将图像视为一个函数f(x,y)，则对于指定像素位置(x,y)处的梯度为：
其中gx为像素(x,y)在x方向上的梯度值，gy为像素(x,y)在y方向上的梯度值，注意：梯度是一个有方向的矢量，故梯度幅值和梯度方向依次如下两式：
在实际的图像处理中，由于图像函数f(x,y)中x和y取值是离散的，其中(x,y)为图像像素点坐标，f(x,y)为对应像素点坐标的像素值，故像素(x,y)在x方向上的梯度gx和y方向上的梯度gy表示为：
gx＝f(x+1,y)-f(x-1,y)
gy＝f(x,y+1)-f(x,y-1)
图像梯度反映了目标的边缘强度和方向，并由此可以得到目标物体的形状信息。本发明不考虑像素点的梯度方向信息，直接将梯度幅值作为图像的梯度通道特征。
(2)、HOG通道
方向梯度直方图(Histogram of Oriented Gradient,HOG)在计算机视觉和图像处理中可以用来进行目标识别，由法国研究人员者Navneet Dalal和Bill Triggs，发表在2005年的CVPR文章《Histograms of oriented gradients for human detection》中首次提出，在这篇文章中，他们用这个算法实现了静态图像的行人检测，HOG通过计算和统计图像局部区域的方向直方图来构成特征，该特征可视为在梯度通道的基础上考虑了梯度方向特性，反映了图像的边缘方向变化规律。
HOG的简单生成过程如下所示：
①对输入图像进行灰度化处理，即三通道彩色图像转换为灰度图像；
②采用Gamma校正法对输入图像进行颜色空间归一化；
③计算图像每个像素点的梯度值和梯度方向；
④将图像划分为多个小的细胞单元(cell)，如分成6*6像素大小的cell，对每一个cell块所有像素的梯度直方图考虑梯度方向的情况下进行角度投影，投影策略为：首先将整个360度的圆等分成12个份，对角的两份认为是一个bin，这样可以得到6个bin，每个bin包含60度。然后根据梯度幅值通道中每个像素点的梯度方向，以梯度幅值为权重在9个bin上投影，这样就可以得到6个方向的细胞单元描述特征。
⑤将多个小的cell组合形成一个图像块(block)，例如3*3个cell组成一个block，block可以视为一个滑动的窗口，根据x方向和y方向滑动步长设定的不同，可能不同的block之间存在重叠的cell，对每一个重叠的block块内cell进行对比度归一化。把一个block内的所有cell得到的细胞单元描述特征进行串联即可得到一个block的HOG特征；
⑥把所有图像块内的HOG特征串联组合形成表示整个输入图像的HOG特征。
对于HOG特征的提取，假设细胞单元cell尺寸为C1*C2像素，图像块block尺寸为B1*B2，block在x方向的滑动步长为S1，y方向的滑动步长为S2，图像尺寸假定为64x128像素，注意这里图像尺寸假定对仅仅为说明Hog特征最后提取的维度问题。则可以得到最后提取的HOG特征维度为：
DimensionHog＝[(64-B1)/S1+1]*[(128-B2)/S2+1]*(B1/C1)*(B2/C2)*6
注意到有HOG特征产生的步骤可以看出B1的取值应该是C1的整数倍，B2的取值应该是C2的整数倍。
(3)、L通道
Luv颜色通道：CIE-Luv颜色空间是国际照明委员会于1976年推出的色标制，期望建立与视觉统一的颜色空间，L是亮度，u和v是色度坐标，L的取值范围是[0,100]，u和v的取值范围是[-100,+100]，Luv颜色空间在颜色空间分类中属于相对色彩空间，更加能反映真实世界图像的颜色属性，能够提高目标模型对颜色变化的鲁棒性。实验训练实践中发现L通道更加能反映水流局部亮度较高的特征。
4.多通道融合特征训练分类器
梯度通道特征、Hog通道特征和L通道特征，它们任意一个都能单独用来进行图像分类，但是一般情况下仅仅使用单一特征并不能完全反映图像中水滴的视觉特性，不同特征之间存在着对于图像表示互补的关系。
在本发明中提取特征的输入图像尺寸选为了32×32，提取HOG特征通道时将细胞单元cell的尺寸取为4×4像素，block的尺寸取为8×8像素，block在x方向和y方向的滑动步长均设为8个像素，根据HOG特征维度计算公式得到384维的HOG特征；HOG特征计算时采用了4x4的cell的策略计算，对于梯度通道也采取相应的策略进行处理并达到降维目的。由于输入图像尺寸为32×32，所以提取梯度通道特征和L通道特征可以得到尺寸均为32×32的梯度通道特征图和L通道特征图，采用4×4的模板，模板内权重系数全为1，模板与特征图像对应位置像素相乘求和的结果作为一个特征值，模板在特征图像上滑动，x方向和y方向滑动步长均设定为4，并做相应相乘求和操作，这样就可以将尺寸为32×32像素的梯度通道特征和L通道特征，降低维度得到两个尺寸为8×8像素的通道特征图。由于三种通道的特征值范围不同，所以采取min-max归一化分别进行处理后进行串联融合组成多通道融合特征可以获得高精度的漏水检测。
上述提及的min-max归一化方法，采用的是对原始数据进行线性变换到一定区间[a,b]内，该区间常常取做[0,1],给定特征向量为X＝[x1,x2,…,xn]，X为行向量，其中n为特征向量的维度，对特征向量X进行某种类型的归一化后的特征向量为X*＝[x1 *,x2 *,…,xn *]，X*为行向量。
min-max归一化公式如下：
由上述分析可知，本发明提取的多通道融合特征的维度为HOG通道特征，降维后的梯度通道特征和L通道特征三者特征维度之和，即
Dall＝DHog+DGrad+DL＝384+64+64＝512
由于目前并没有公开的非连续的漏水水滴和水流的图像库，在Pascal Mettes等研究学者的论文中提及的水流均为连续不停的，并且本发明也针对的是深色(主要为黑色和深蓝色等)背景下的漏水检测，所以自制视频进行相关的训练和检测。自制视频为12段，对12段视频每个视频随机提取若干帧，以n×n尺寸的窗口随机截取负样本非漏水图片2100张，其中n的取值为{n|32≤n≤64,n∈Z}，筛选的截取不同尺寸的正样本漏水图片1050张(尽量使得水滴和水流处于画面的中间)，共3150张图片作为训练样本。在训练时正负样本均采用尺寸变换统一尺寸为32x32，以方便提取相同维度的特征。
对于3150张样本，每个样本提取特征的维度为512维，采用SVM分类模型训练得到分类器。SVM(支持向量机)是由V.Vapnik在1995年针对二分类问题提出的基于结构风险最小化准则的机器学习方法，该模型主要思想是在原始特征空间或者经映射后的特征空间中寻求分类间隔最大的最优分割超平面，在使用SVM分类算法时，将样本点落在最优分割平面的左右边作为二分类的结果。SVM模型分为在原始特征空间线性可分和线性不可分两种情况，本发明采取原始特征空间线性可分假设训练出相应的SVM模型。
SVM分类器原理概述如下：
设原始的样本集为(Xi,yi)(i＝1,2,…,n),X∈Rd,y∈{-1,1}是二分类的类别标号。设最优分割平面为W·X+b＝0，
如果原始样本集在特征空间X中线性可分，则求最优分割平面的问题可以转化为下列凸二次规划问题：
该凸二次规划问题可以转化为对偶优化问题：
最终得到的最优分类函数为：
SVM模型采用SMO算法求解相关优化问题，优化求解算法的终止条件相关参数为最大迭代次数和迭代精度，在训练过程中本发明设定最大迭代次数为20000，迭代精度为1e-6。训练的简要流程如图3所示。
5.非极大值抑制检测
非极大值抑制，简称为NMS算法，该算法源于ICPR2006的文章《Efficient Non-Maximum Suppression》，在目标检测和定位等领域被广泛使用。对于目标具体位置定位的过程中，常见采取两种方法即滑动框搜索策略和生成建议框搜索策略均会产生很多候选区域，而且候选区域会出现交叉重叠，难以满足实际的定位或者统计等任务的需求，NMS算法利用重叠阈值控制需要被抑制的重叠比例，选取重叠候选区域中最大置信度的检测框作为最后的检测结果输出。举例说明NMS算法，假设存在两个检测框，其中一个框的置信度为a，另一个置信度为b，如果设定重叠阈值设为Tc，即两个框的重叠区域面积比率大于Tc，即选择两个框中置信度最高的，即置信度为max(a,b)对应的检测框的为输出结果，置信度低的结果直接删除。如图4为NMS算法举例说明过程，a取为0.99，b取为0.9，Tc取为0.5，显然易计算得出两个检测框重叠面积比率大于0.5，故置信度为0.99的检测框被选出，置信度为0.90的检测框被抑制。注意，两个检测框的设定是可以扩展到多个检测框的，区别在于对符合重叠区域面积的一系列检测框进行置信度排序，取最高置信度的检测框为最后的输出结果。
6.漏水结果判决
由于本发明采取的是间隔一帧的帧间差，即t和t-2时刻帧间差，并考虑到检测漏水问题的实际，选取1s时间作为漏水结果判决的统计时间间隔，统计的策略为：由于采用间隔差分，当视频帧率为30fps时，对连续1s时间内15帧检测出的所有漏水图像块数目进行求和统计，然后设定统计漏水次数阈值TLeakage，高于该阈值判定该1s内发生漏水情况，低于该阈值则认为是误检造成的，未发生漏水情况，本发明实施例中TLeakage取3。
7.测试视频结果统计和评估
由于本发明的漏水检测主要是基于多通道特征提取和SVM二分类器，并且图像漏水暂无明确的检测评价标准体系，所以借鉴传统的基于分类器的评价体系，待分类图像块在提取特征之后经SVM分类器分类能给出正负类别以及样本点距离平面的距离，即对应样本点归为某一类的置信度，置信度衡量了输入图像属于某一类的概率大小。所以本发明实施例中采取置信度作为阈值也能调整分类结果。基于分类器的评价体系较为常见采用的是混淆矩阵，混淆矩阵是以矩阵的形式反映出预测结果跟实际结果的对比，见表7-1。
表7-1二值分类的混淆矩阵
| 预测为正样本 | 预测为负样本 | |
| 实际是正样本 | TP | FN |
| 实际是负样本 | FP | TN |
则可以算出以下4种评价指标：
召回率也称为检测率(Recall Rate):
检测精度(Precision)：
误报率(False Positive Rate)：
漏检率(Miss Rate)：
召回率反映了被正确检测到的漏水目标占所有漏水目标的比重；检测精度反映了判定出的漏水目标中真正漏水目标占的比重；误报率反映了被误判成漏水目标的负样本占所有负样本的比重；漏检率反映了被误判为负样本的漏水目标占所有漏水目标的比重。本发明中由于采用的是将水流视为多段水流或者水滴的组合，较难定义所有的漏水目标的数目，所以仅仅给出漏水检测精度数据。由于本发明并不是纯粹的分类问题，所以其他指标并不是必须指标，在分类器评价指标之后本发明还相应的给出了漏水警报次数的精度作为参考。
以下为三段自制视频检测结果的评价，自制视频检测环境如图5所示，背景均为黑色或深蓝色背景。视频1和视频2两段视频帧率均为30帧/s，帧尺寸均为1920x1080(帧宽×帧高)，视频1共990帧，视频拍摄内容为人为控制水龙头水流模拟漏水环境，检测范围为全图像帧检测。视频2共1440帧，拍摄地点为实际工厂某区域，检测范围为人工选取的检测区域。视频3的视频帧率为30帧/s，帧尺寸为640x480，共990帧，拍摄地点为室内环境，视频内容为人为用塑料瓶漏水模拟实际漏水水流情况，检测范围为全图像帧检测。值的注意的是，实验检测环境没有存在大量的反光物体和类似水流的长条状这种难以区分的物体。
在实验条件下不同阈值下的检测参数如表7-2、7-3和7-4所示。
表7-2视频1不同阈值下检测参数
表7-3视频2不同阈值下检测参数
表7-4视频3不同阈值下检测参数
从上述表中可以看出，分类的检测精度能够较稳定的达到90％，说明本发明训练的分类器针对发明指定的相关场景的漏水图像具有一定泛化能力，在图像目标检测领域，该检测精度已经基本能够达到实用的分类水平。
本实验主要面向工厂环境，所以通过漏水分类的结果应当给出是否漏水的安全警报提示，所以本实验对漏水检测的漏水安全警报准确率也进行了统计，但是由于在漏水分类精度上无法达到100％，所以采用了1s时间内所有检测为漏水图像块的数目进行累加求平均值策略(1s时间内，视频帧率为30fps，采取间隔一帧的差分，所以最后统计的是15帧图片的所有漏水图像块)，并使用简单的尝试阈值进行控制，实验发现，本发明所在检测环境中统计次数的阈值设为0.2，分类器置信度阈值设为0.5，可达到较好效果。对于检测实验环境，由于分类精度统计的视频1的20s视频中一直发生漏水事件，没有太大统计意义。所以将视频1换成同一环境下的另外一个视频作为安全警报提示统计中的评估视频1。视频2和3仍然用于安全警报提示统计的评估视频2和3。表7-5为漏水警报次数的相关检测参数。
表7-5视频漏水警报次数检测参数
本发明通过多个阈值限制以及人工选择检测区域策略，得到漏水警报的次数召回率大于70％，但是召回率存在波动，由于视频2为工厂图像，存在遮挡和较弱的水流目标，难以检测出来，而视频1和3背景相对简单，水流清晰，所以获得较高的召回率。在检测精度上，由于采用了平均统计策略取代单帧分类结果直接预测能提高结果的鲁棒性。在实际的运用中，在本发明给定的背景要求下，该方法可以作为一种较稳定的方法作为异常处理检测漏水手段作为参考，并且本实验给出的1s时间内的漏水数目在同一检测场景下对漏水程度大小估计具有一定参考意义。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (5)
1.一种基于多通道特征融合和机器学习的漏水检测方法，其特征在于，包括如下步骤：
步骤1，获取原始漏水检测区域视频，根据需要对原始视频中的漏水检测区域进行选取，选定结果记为待检测视频序列VROI；
步骤2，运动变化图像块提取，包括对步骤1得到的待检测视频序列，利用帧间差算法得到差分图像，以固定尺寸且不重叠矩形框对差分图像分块，再对每一块图像的像素值进行累加统计，利用阈值提取得到待检测视频序列中的运动变化图像块集合；
步骤3，运动变化图像块分割，包括对步骤2获得的运动变化图像块集合中每一个图像块进行有重叠的块分割，得到待分类图像块集合；
对运动变化图像块集中
的每个运动变化图像块均采用了N×N的滑动窗分块，其中，W1、H1分别为不重叠矩形框的宽和高，设x方向滑动步长为Sx个像素，y方向的滑动步长为Sy个像素，则一个W1×H1的运动变化图像块可以分割为M个尺寸为N×N的待分类图像块，假设t时刻的待检测视频序列提取的运动变化区域图像块集合的元素数目为S，则能得到M*S个元素的待分类图像块集合
其中i，j为待分类图像块的左上角坐标，W2和H2均为N；
步骤4，特征提取，包括对步骤3待分类图像块集合中每个待分类图像块分别进行特征提取，提取的特征包括梯度通道特征，HOG通道特征，LUV色彩空间的L通道特征，然后对以上三种通道特征分别进行归一化，最后串联融合得到多通道特征；
步骤4中HOG通道特征的提取方式如下，
①对输入图像进行灰度化处理，其中输入图像指待分类图像块集合中每个待分类图像块；
②采用Gamma校正法对输入图像进行颜色空间归一化；
③计算图像每个像素点的梯度幅值和梯度方向；
④将图像划分为多个尺寸为C1*C2像素的细胞单元cell，对每一个cell块所有像素的梯度直方图考虑梯度方向的情况下进行角度投影，投影策略为：首先将整个360度的圆等分成12个份，对角的两份认为是一个bin，因此得到6个bin，每个bin包含60度；然后根据梯度幅值通道中每个像素点的梯度方向，以梯度幅值为权重在9个bin上投影，从而得到6个方向的细胞单元描述特征；
⑤将多个小的cell组合形成一个尺寸为B1*B2像素的图像块block，把一个block内的所有cell得到的细胞单元描述特征进行串联得到一个block的HOG特征；
⑥将所有图像块的HOG特征串联，组合形成表示整个输入图像的HOG特征；
对于HOG特征的提取，细胞单元cell尺寸为C1*C2像素，图像块block尺寸为B1*B2，block在x方向的滑动步长为S1，y方向的滑动步长为S2，图像尺寸为64x128像素，则得到最后提取的HOG特征维度为：
DimensionHog＝[(64-B1)/S1+1]*[(128-B2)/S2+1]*(B1/C1)*(B2/C2)*6
其中，B1的取值是C1的整数倍，B2的取值是C2的整数倍；
步骤5，对漏水图像和非漏水图像构成的训练样本集合提取多通道特征，并利用SVM模型进行训练得到分类器，然后利用分类器对每个待分类图像块进行二分类预测，分类结果为漏水图像块和无漏水图像块；
步骤6，对分类器得到的每一帧图像内所有的漏水图像块采用非极大值抑制策略，取最高置信度的漏水图像块为最后的输出结果，然后对一定数目连续帧中检测出的漏水图像块的数目进行统计，完成最终的漏水检测。
2.如权利要求1所述的一种基于多通道特征融合和机器学习的漏水检测方法，其特征在于：步骤2中运动变化图像块提取的具体实现方式如下，
首先对待检测视频图像序列VROI的第t-2帧和第t帧利用帧间差算法得到t时刻对应差分图像Dt，其中t＝3,5,...,n，n取值为不大于VROI总帧数的最大奇数值，设差分图像Dt的尺寸为宽W像素，高H像素，然后采用固定尺寸宽为W1像素，高为H1像素长度的不重叠矩形框对差分图像Dt分块，得到图像块数目为floor(W/W1)×floor(H/H1)，其中floor为向下取整函数，再对每一图像块内的像素值进行累加统计，利用最大阈值TH和最小阈值TL筛选出阈值范围内的运动变化图像块集
其中i，j为矩形框左上角坐标。
3.如权利要求2所述的一种基于多通道特征融合和机器学习的漏水检测方法，其特征在于：步骤4中梯度通道特征为梯度幅值，提取方式如下，
设f(x,y)为待分类图像块集合中每个待分类图像块对应像素点坐标的像素值，则像素点(x,y)在x方向上的梯度gx和y方向上的梯度gy表示为，
gx＝f(x+1,y)-f(x-1,y)
gy＝f(x,y+1)-f(x,y-1)
则梯度幅值计算公式为，
其中，
为(x,y)处的梯度幅值。
4.如权利要求1-3中任一权利要求所述的一种基于多通道特征融合和机器学习的漏水检测方法，其特征在于：还包括步骤7，利用混淆矩阵计算检测精度，设混淆矩阵中实际是正样本预测为正样本的个数为TP，实际是负样本预测为正样本的个数为FP，实际是正样本预测为负样本的个数为FN，实际是负样本预测为负样本的个数为TN，则检测精度的计算公式为
5.如权利要求1所述的一种基于多通道特征融合和机器学习的漏水检测方法，其特征在于：步骤1中通过静止摄像头获取原始漏水检测区域视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711231503.XA CN107833221B (zh) | 2017-11-29 | 2017-11-29 | 一种基于多通道特征融合和机器学习的漏水检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711231503.XA CN107833221B (zh) | 2017-11-29 | 2017-11-29 | 一种基于多通道特征融合和机器学习的漏水检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107833221A CN107833221A (zh) | 2018-03-23 |
| CN107833221B true CN107833221B (zh) | 2020-08-07 |
Family
ID=61646817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711231503.XA Active CN107833221B (zh) | 2017-11-29 | 2017-11-29 | 一种基于多通道特征融合和机器学习的漏水检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107833221B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647698B (zh) * | 2018-05-21 | 2021-11-30 | 西安电子科技大学 | 特征提取与描述方法 |
| CN109034219B (zh) * | 2018-07-12 | 2021-08-24 | 上海商汤智能科技有限公司 | 图像的多标签类别预测方法及装置、电子设备和存储介质 |
| CN109268928B (zh) * | 2018-09-12 | 2020-10-23 | 长安大学 | 一种供热监控系统 |
| CN109488888B (zh) * | 2018-11-06 | 2020-07-17 | 沈阳天眼智云信息科技有限公司 | 基于对红外温度场多元分析的金属管道泄漏监测方法 |
| CN109523529B (zh) * | 2018-11-12 | 2021-07-13 | 西安交通大学 | 一种基于surf算法的输电线路缺陷识别方法 |
| CN109800824B (zh) * | 2019-02-25 | 2019-12-20 | 中国矿业大学(北京) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 |
| CN110553151B (zh) * | 2019-07-17 | 2021-05-07 | 石化盈科信息技术有限责任公司 | 一种管道泄漏监测方法和系统 |
| CN110458044A (zh) * | 2019-07-22 | 2019-11-15 | 苏州慧润百年物联科技有限公司 | 一种基于图像识别的判断地面浸水方法 |
| CN110792928B (zh) * | 2019-09-24 | 2021-08-10 | 中国石油化工股份有限公司 | 一种基于大数据的组合算法的管道泄漏诊断方法 |
| CN110795599B (zh) * | 2019-10-18 | 2022-04-15 | 山东师范大学 | 基于多尺度图的视频突发事件监测方法及系统 |
| CN110728679B (zh) * | 2019-10-23 | 2024-09-24 | 合肥盛东信息科技有限公司 | 一种管接头漏水智能监测方法 |
| CN111317953B (zh) * | 2019-12-29 | 2021-06-15 | 杭州拓深科技有限公司 | 一种基于智能算法的消防用水管网漏水监测方法 |
| CN113280265B (zh) * | 2020-02-20 | 2022-08-05 | 中国石油天然气股份有限公司 | 工况识别方法、装置、计算机设备以及存储介质 |
| CN111428748B (zh) * | 2020-02-20 | 2023-06-27 | 重庆大学 | 一种基于hog特征和svm的红外图像绝缘子识别检测方法 |
| CN111445539A (zh) * | 2020-03-23 | 2020-07-24 | 九牧厨卫股份有限公司 | 一种阳台积水检测方法、处理装置及智能晾衣架系统 |
| CN113837213B (zh) * | 2020-06-24 | 2023-07-28 | 中国科学院沈阳自动化研究所 | 一种基于贝叶斯的深潜器多变量融合及漏水检测方法 |
| CN112288691A (zh) * | 2020-10-16 | 2021-01-29 | 国电大渡河枕头坝发电有限公司 | 一种基于图像处理的水电厂内滴水检测方法 |
| CN112784828B (zh) * | 2021-01-21 | 2022-05-17 | 珠海市杰理科技股份有限公司 | 基于方向梯度直方图的图像检测方法、装置、计算机设备 |
| CN113160173B (zh) * | 2021-04-22 | 2022-02-01 | 哈尔滨市科佳通用机电股份有限公司 | 基于Laws纹理特征的抗蛇形减震器漏油检测方法及系统 |
| CN113673612A (zh) * | 2021-08-25 | 2021-11-19 | 河南农业大学 | 一种高场不对称离子迁移谱图分类识别方法、装置及设备 |
| CN113902749A (zh) * | 2021-09-30 | 2022-01-07 | 上海商汤临港智能科技有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
| CN113688801B (zh) * | 2021-10-22 | 2022-02-15 | 南京智谱科技有限公司 | 一种基于光谱视频的化工气体泄漏检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529522A (zh) * | 2016-11-07 | 2017-03-22 | 湖南源信光电科技有限公司 | 一种基于积分通道特征的车牌定位方法 |
| CN106802215A (zh) * | 2015-11-20 | 2017-06-06 | 沈阳新松机器人自动化股份有限公司 | 一种水管漏水检测装置及检测方法 |
| CN106845434A (zh) * | 2017-02-09 | 2017-06-13 | 东华大学 | 一种基于支持向量机的图像型机房漏水监测方法 |
-
2017
- 2017-11-29 CN CN201711231503.XA patent/CN107833221B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106802215A (zh) * | 2015-11-20 | 2017-06-06 | 沈阳新松机器人自动化股份有限公司 | 一种水管漏水检测装置及检测方法 |
| CN106529522A (zh) * | 2016-11-07 | 2017-03-22 | 湖南源信光电科技有限公司 | 一种基于积分通道特征的车牌定位方法 |
| CN106845434A (zh) * | 2017-02-09 | 2017-06-13 | 东华大学 | 一种基于支持向量机的图像型机房漏水监测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于视频的火焰检测方法;陈磊 等;《计算机工程与设计》;20140930;第35卷(第9期);第3143-3147,3195页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107833221A (zh) | 2018-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107833221B (zh) | 一种基于多通道特征融合和机器学习的漏水检测方法 | |
| US8170278B2 (en) | System and method for detecting and tracking an object of interest in spatio-temporal space | |
| Ali et al. | Multiple human tracking in high-density crowds | |
| Zhao et al. | A people counting system based on face detection and tracking in a video | |
| US20070098222A1 (en) | Scene analysis | |
| CN104601964A (zh) | 非重叠视域跨摄像机室内行人目标跟踪方法及系统 | |
| Jiang et al. | Multiple pedestrian tracking using colour and motion models | |
| Zheng et al. | Cross-line pedestrian counting based on spatially-consistent two-stage local crowd density estimation and accumulation | |
| KR100572768B1 (ko) | 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법 | |
| Hu et al. | A novel approach for crowd video monitoring of subway platforms | |
| Surkutlawar et al. | Shadow suppression using rgb and hsv color space in moving object detection | |
| Bullkich et al. | Moving shadow detection by nonlinear tone-mapping | |
| CN103489012A (zh) | 一种基于支持向量机的人群密集度检测方法及系统 | |
| Zhao et al. | APPOS: An adaptive partial occlusion segmentation method for multiple vehicles tracking | |
| Smith et al. | Resolving hand over face occlusion | |
| Li et al. | Robust object tracking in crowd dynamic scenes using explicit stereo depth | |
| Hung et al. | Real-time counting people in crowded areas by using local empirical templates and density ratios | |
| Hu et al. | Motion objects detection based on higher order statistics and hsv color space | |
| Suzan et al. | Detection And Tracking of Moving Objects Using Hybrid Model (GMM & Horn-Schunck) | |
| Hung et al. | Local empirical templates and density ratios for people counting | |
| Mudjirahardjo | A Study On Human Motion Detection-Toward Abnormal Motion Identification | |
| Nallasivam et al. | Advanced Perspective on Human Detection system with Hybrid Feature Set | |
| Fuentes et al. | Assessment of image processing techniques as a means of improving personal security in public transport | |
| Lin et al. | Integrating bottom-up and top-down processes for accurate pedestrian counting | |
| Kim et al. | Fast car/human classification using triple directional edge property and local relations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |