CN113469158B - 基于卷积神经网络的非法危化品运输车辆识别方法及系统 - Google Patents
基于卷积神经网络的非法危化品运输车辆识别方法及系统 Download PDFInfo
- Publication number
- CN113469158B CN113469158B CN202111035738.8A CN202111035738A CN113469158B CN 113469158 B CN113469158 B CN 113469158B CN 202111035738 A CN202111035738 A CN 202111035738A CN 113469158 B CN113469158 B CN 113469158B
- Authority
- CN
- China
- Prior art keywords
- chemical substance
- image
- vehicle
- classification
- dangerous chemical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000126 substance Substances 0.000 title claims abstract description 203
- 239000000383 hazardous chemical Substances 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000004364 calculation method Methods 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims description 28
- 230000005284 excitation Effects 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012797 qualification Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 230000032258 transport Effects 0.000 description 45
- 238000002790 cross-validation Methods 0.000 description 6
- 238000005094 computer simulation Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000002360 explosive Substances 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000013626 chemical specie Substances 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010238 partial least squares regression Methods 0.000 description 1
- 231100000572 poisoning Toxicity 0.000 description 1
- 230000000607 poisoning effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 235000013547 stew Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于卷积神经网络的非法危化品运输车辆识别方法,包括以下步骤:S100、获取训练数据,进行数据标准化处理;S200、利用卷积神经网络计算模型进行卷积运算,获得训练好的计算模型和最终标注图像库;S300、获取本地危化车数据库和待识别数据,对待识别数据进行计算识别,并与最终标注图像库进行对比判定,输出危化品车辆特征或疑似危化品车辆特征,接着与本地危化车数据库进行判定,区分标准危化品运输车辆和非法危化品运输车辆。本发明还公开了基于卷积神经网络的非法危化品运输车辆识别系统,利用图像识别和卷积神经网络计算模型,可识别出交通图片流中的标准危化品运输车辆和非法危化品运输车辆,耗时少,减轻人力成本。
Description
技术领域
本发明涉及危化品物流的智能识别技术领域,尤其涉及基于卷积神经网络的非法危化品运输车辆识别方法及系统。具体来说,属于IPC分类中的G06Q10/08。
背景技术
随着我国经济的快速发展,道路和物流运输量不断增加,交通安全和畅通已成为重中之重,尤其是危险化学品的仓储和物流。由于其易燃、易爆、易中毒、易污染等特点,在运输过程中发生事故会造成巨大的损失。对于危化品的管控运输,需要涉及多个部门的的协同运作,这些部门之间需要实时的信息互通,并且还要根据需要在特定的情况下对不同的部门显示特定的信息,以提高信息的利用效率,但是现有技术中,往往很难做到危化品运输车辆的全面监控。
现有技术1:专利申请号为CN206610441U的公开了一种智能危化品车辆区域进出监控系统,包括安装在管控区域出入口处的视频/射频识别装置、安装在危化品物流车辆上的定位模块和车辆身份信息模块、和安装在危化品管控中心处的危化品区域进出管控设施。该技术方案可以实现在特定区域、对特定类型的危化品物流进行相应的管控,但在日常路面中除了标准的危化品专用运输车辆,还有一些没有资质的车辆也在运输相关危化品,对于没有资质的车辆运输危化品的管控无法实现,不适用于交通道路中危化品运输车辆的全面监管。
现有技术2:专利申请号为CN110689306A的公开了一种基于二维码的危化品公路运输管理系统及其运行方法,包括二维码解码装置、设置在危化品运输车辆上的二维码标签、资料管理服务器及分别与资料管理服务器通过网络连接的危化品公路运输信息采集装置、危化品基础信息数据库服务器与web服务器,公众可扫描二维码获得危化品名称、理化性质、危害特性、安全技术说明、装卸操作规程、运输要求及危化品泄漏后所需采取的处置方法。该技术方案通过识别危化品运输车辆上的二维码标签进行识别,不能识别出非法危化品运输车辆。
综上所述,现有技术均是针对有资质的合法危化品运输车辆进行监管,而日常路面中除了标准的危化品专用运输车辆,还有一些没有资质的车辆也在运输相关危化品,对于这种车辆的识别也是非常困难的。如何在巨大的车流量中,寻找到危化品或者疑似危化品的信息和轨迹是一个现实问题。若所有道路全面进行人工监管,则耗时长,人力成本高,无法实现。
发明内容
本发明的目的是提供基于卷积神经网络的非法危化品运输车辆识别方法及系统,可对交通图片流提取出危化品或者疑似危化品的信息和轨迹,识别出标准危化品运输车辆和非法危化品运输车辆,减轻人力成本。
为了实现上述目的,本发明采用了如下技术方案:
基于卷积神经网络的非法危化品运输车辆识别方法及系统,包括以下步骤:
S100、获取训练数据,接着对训练数据进行数据标准化处理,所述训练数据为初始标注图像库,初始标注图像库包括标注过分类的危化品图片、危化品图标和标准危化品运输车辆例图;
S200、利用卷积神经网络计算模型对处理后的训练数据进行卷积运算,进行学习、训练和修正,获得训练好的计算模型和最终标注图像库;
S300、获取本地危化车数据库和待识别数据,利用训练好的计算模型对待识别数据进行计算识别,并与最终标注图像库进行对比判定,输出危化品车辆特征或疑似危化品车辆特征,将危化品车辆特征或疑似危化品车辆特征与本地危化车数据库进行判定,区分标准危化品运输车辆和非法危化品运输车辆。
其中步骤S100进一步包括:
S110、图像灰度处理:对训练数据的图像进行高斯模糊,降低图像噪声,接着对图像的R,G,B三通道进行加权灰度处理;
S120、图像边缘分析:使用canny算法对灰度化图像中的边缘进行检测,输出图像信息;
S130、图像切割:基于图像边缘分析结果,对图像中不影响内容的部分进行切割,分割为几张不同的新图像,以提高识别率;
S140、图像向量化;将图像向量化,转换为平面二维数组,每个像素点的灰度值信息,表示向量中一个特征的信息;
S150、图像标准化:统一图像信息的分辨率大小,进行标准化处理。
所述步骤S150进一步包括:
S151、规定输入图像分辨率为200*200;
S152、采用最近邻插值法将图像的分辨率改写为200*200;
S153、对图像的向量组进行归一化处理,所得结果放在原位置,得到归一化的向量组。
步骤S200进一步包括:
S210、卷积运算和预测:将处理后的训练数据输入卷积神经网络计算模型,卷积神经网络计算模型包括两个卷积网络A和B,卷积网络A为高斯模糊-灰度化处理的标准化向量卷积网络,卷积网络B为高斯模糊-RGB全通道的标准化向量卷积网络,计算获得预测结果,预测结果包括A分类(A class)、A评分(A score)、B分类(B class)、B评分(B class),并规定预测结果对分类影响的初始权重分别为和,;
S220、验证判定后进行激励:将每次预测结果中的A分类和B分类分别与对应训练数据标注的分类进行验证判定,若A分类和B分类均判定为正确或均判定为错误,则权重不变,即,;若A分类和B分类中仅有一个判定正确,则判定正确的进行正向激励,判定错误的进行负向激励,即A分类判定正确而B分类判定错误时,,,B分类判定正确而A分类判定错误时,,;其中,为后验激励率,,为激励后的影响A分类的权重,为激励后的影响B分类的权重;
S230、比较A分类和B分类、以及对应的权重,输出分类结果R和评分结果P:当A分类和B分类相同时,,;当A分类和B分类不同且时,,;当A分类和B分类不同且时,,;当A分类和B分类不同且时,对应的图像进入人工标注库;
S260、再学习:基于人工标注后的修正标注图像库,再次输入卷积神经网络计算模型进行预测计算,对卷积神经网络计算模型反复进行训练和修正,从而获得训练好的计算模型和最终标注图像库。
步骤S300中的本地危化车数据库为本地交通主管部门提供的登记在册的标准危化品运输车辆信息,待识别数据为批量交通图片流,批量交通图片流包括车身危化品图标、货物危化品图片、车辆行驶轨迹和车辆信息。
步骤S300进一步包括:
S310、获取待识别数据中的车身危化品图标(密封车)、货物危化品图片(非密封车)、车辆行驶轨迹和车辆信息;
S320、将车身危化品图标和货物危化品图片输入训练好的卷积神经网络计算模型进行计算,并与最终标注图像库进行对比判定,输出危化品车辆特征或疑似危化品车辆特征;
S330、将危化品车辆特征或疑似危化品车辆特征和本地危化车数据库进行对比,若特征均吻合,则为合法危化车运输车辆,若有其中一项以上特征不吻合,则为非法危化车运输车辆。
步骤S330进一步包括:
S331、通过图像识别车牌是否为有效车牌,并与本地危化品车辆数据库进行比对,若车身上无车牌或为无效车牌,则相应地判定为无牌危化品运输车辆或套牌危化品运输车辆;
S332、通过图像识别非密封车辆上的货物类型与本地车辆信息进行运营类型比较,若运营类型不相符,则判定为无资格证危化品运输车辆;
S333、若车辆轨迹数据不属于本地危化车数据库,则判定为跨域危化品运输车辆/非法目的地危化品运输车辆。
本发明还提供了基于卷积神经网络的非法危化品运输车辆识别系统,可实现上述所述的方法,包括:
第一数据输入处理单元:用于获取训练数据和对训练数据进行标准化处理,所述训练数据为初始标注图像库;
卷积运算单元:与所述第一数据输入处理单元相连接,用于对处理后的训练数据进行卷积运算,学习训练后获得最终标注图像库;
第二数据输入处理单元:与所述卷积运算单元相连接,用于获取待识别数据,将待识别数据输入训练好的卷积运算单元,获得危化品车辆特征或疑似危化品车辆特征;
判定输出单元:与所述第二数据输入处理单元相连接,用于获取本地危化车数据库,对危化品车辆特征或疑似危化品车辆特征和最终标注图像库对比,输出判定结果。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序执行时实现上述所述的方法。
本发明还提供了一种电子设备,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行上述所述的方法。
综上所述,本发明的有益技术效果为:
(1)本发明利用图像识别和卷积神经网络计算模型,对交通图片流进行批量识别,提取出危化品或者疑似危化品的信息和轨迹,可识别出标准危化品运输车辆和非法危化品运输车辆,相对于人工识别和人工监管,耗时少,极大地减轻了人力成本。
(2)用标注图片的卷积结果和标注信息作为本卷积神经网络计算模型的训练集,通过梯度提升算法来训练模型,可以有效地改善图像属性标注精度,并通过预留训练数据、交叉验证、人工标注修正等方式对模型进行调整,使得计算模型对训练集的识别正确率达到预期结果,最终提升了模型对交通图片流的预测准确率。
(3)同时可进一步对非法危化品运输车辆进行细分为跨域危化品运输车辆/非法目的地危化品运输车辆,输出结果直观易懂,方便交通监管人员后期跟踪和管理。
(4)卷积神经网络计算模型在学习训练时,模型会保存自己的形式和参数,随时可以移植到其他系统环境,提升其灵活度和便携性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为实施例1中基于卷积神经网络的非法危化品运输车辆识别方法的工作流程示意图;
图2为实施例1中爆炸品图标经过灰度化、高斯模糊和边缘分析后的结果示例;
图3为实施例1中图像切割的结果示例;
图4为实施例1中图像经过向量化处理后得到的图像向量化数组示例;
图5为实施例1中卷积神经网络计算模型的结构工作流程图;
图6为实施例2中基于卷积神经网络的非法危化品运输车辆识别系统的结构示意图;
图7为实施例3中电子设备的结构示意图。
附图标记:401、第一数据输入处理单元;402、卷积运算单元;403、第二数据输入处理单元;404、判定输出单元;501、处理器;502、存储器;503、通信接口。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
下面首先对本申请文件涉及的技术术语进行解释:
标准危化品运输车辆:一般是具有资质且在合法的行驶时间、行驶道路内运输危化品的车辆。
非法危化品运输车车辆:指的是具有无牌、套牌、跨域、无资格证、非法目的地运输危化品行为的车辆。
高斯模糊(Gaussian Blur):也叫高斯平滑,一般用于减少图像噪声以及降低细节层次,也用于计算机视觉算法中的预先处理阶段,以增强图像在不同比例大小下的图像效果。
R,G,B权重:RGB色彩模式是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。加权灰度处理中,通过对RGB三个色彩通道值的加权取样来进行灰度值计算。
canny算法:是一个多级边缘检测算法,可以保留原有图像属性的情况下,显著减少图像的数据规模,分为以下5个步骤:1)应用高斯滤波来平滑图像,目的是去除噪声;2)找寻图像的强度梯度(intensity gradients);3)应用非最大抑制(non-maximumsuppression)技术来消除边误检(本来不是但检测出来是);4)应用双阈值的方法来决定可能的(潜在的)边界;5)利用滞后技术来跟踪边界。
最近邻插值法:将变换后的图像中的原像素点最邻近像素的灰度值赋给原像素点的方法。
卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer)。
卷积层:卷积神经网络中每层卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的网路能从低级特征中迭代提取更复杂的特征。
梯度提升(Gradient Boosting)算法:Gradient Boosting是Boosting中的一大类算法,它的思想借鉴于梯度下降法,其基本原理是根据当前模型损失函数的负梯度信息来训练新加入的弱分类器,然后将训练好的弱分类器以累加的形式结合到现有模型中。具体应用可参考张红斌 、邱蝶蝶、邬任重、朱涛、滑瑾、姬东鸿于2019年4月发表的《基于极端梯度提升树算法的图像属性标注》,该文章指出:基于极端梯度提升树( eXtreme gradientboosting, XGBoost) 算法的图像属性标注模型,以改善标注性能:提取图像局部二值模式( local binary patterns,LBP) 、灰度纹理空间包络特征( Gist) 、尺度不变特征变换(scale invariant feature transform,SIFT) 、视觉几何组( visual geometry group,VGG) 等特征,以准确刻画图像视觉内容; 基于图像特征, 采用 XGBoost 算法集成弱分类器为强分类器, 完成图像属性标注;深入挖掘图像属性蕴含的深层语义,构建全新的、层次化的属性表示体系,以贴近人类客观认知;设计迁移学习策略并合理组合分类模型,进一步改善标注性能。试验表明: Gist 特征能真实刻画图像视觉内容; 执行基础迁移学习后,标注精准度比迁移学习前最优指标提升 8.69% ; 执行混合型迁移学习后,合理组合分类模型,标注精准度比基础迁移学习的最优指标提升 17.55% 。模型有效地改善图像属性标注精度。
交叉验证(Cross-validation):主要用于建模应用中,例如PCR、PLS回归建模中。在给定的建模样本中,拿出大部分样本进行建模型,留小部分样本用刚建立的模型进行预报,并求这小部分样本的预报误差,记录它们的平方加和。用交叉验证的目的是为了得到可靠稳定的模型。
实施例1
参照图1,为本发明公开的基于卷积神经网络的非法危化品运输车辆识别方法,包括以下步骤:
S100、获取训练数据,接着对训练数据进行数据标准化处理,所述训练数据为初始标注图像库,初始标注图像库包括标注过分类的危化品图片、危化品图标和标准危化品运输车辆例图。
其中,步骤S100进一步包括:
S110、图像灰度处理:对训练数据的图像进行高斯模糊,降低图像噪声,接着对图像的R,G,B三通道进行加权灰度处理,本实施例中,R,G,B权重分别选取0.299,0.587,0.114。
S120、图像边缘分析:使用canny算法对灰度化图像中的边缘进行检测,输出图像信息。爆炸品图标经过灰度化、高斯模糊和边缘分析后的结果示例参照图2所示。
S130、图像切割:基于图像边缘分析结果,对图像中不影响内容的部分进行切割,分割为几张不同的新图像,以提高识别率,并可以使图像的有效内容最小化。图像切割的结果示例参照图3所示。
S140、图像向量化;将图像向量化,转换为平面二维数组,每个像素点的灰度值信息,表示向量中一个特征的信息。经过向量化处理后得到的图像向量化数组示例参照图4所示。
S150、图像标准化:统一图像信息的分辨率大小,进行标准化处理。
图像标准化进一步包括以下步骤:
S151、规定输入图像分辨率为200*200;
S152、采用最近邻插值法将图像的分辨率改写为200*200;
S153、对图像的向量组进行归一化处理,统一除去255.0,所得结果放在原位置,得到归一化的向量组。
S200、利用卷积神经网络计算模型对处理后的训练数据进行卷积运算,进行学习、训练和修正,获得训练好的计算模型和最终标注图像库。
其中,步骤S200进一步包括:
S210、卷积运算和预测:将处理后的训练数据输入卷积神经网络计算模型,参照图5,卷积神经网络计算模型包括两个初始卷积层A和B,初始卷积层A和B后分别是卷积层+池化层,卷积层+池化层的组合可以出现多次,出现次数是根据模型的需要而设定的,在本实施例中设置为两次。卷积运算的目的是提取输入的不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的模型结构能从低级特征中迭代提取更复杂的特征,以满足实际计算需求。初始卷积层A为高斯模糊-灰度化处理的标准化向量卷积网络,卷积网络B为高斯模糊-RGB全通道的标准化向量卷积网络,接着进行卷积运算获得预测结果,预测结果包括A分类(A class)、A评分(A score)、B分类(B class)、B评分(Bclass),并规定预测结果对分类影响的初始权重分别为和,;
S220、验证判定后进行激励:将每次预测结果中的A分类和B分类分别与对应训练数据标注的分类进行验证判定,若A分类和B分类均判定为正确或均判定为错误,则权重不变,即,;若A分类和B分类中仅有一个判定正确,则判定正确的进行正向激励,判定错误的进行负向激励,即A分类判定正确而B分类判定错误时,,,B分类判定正确而A分类判定错误时,,;其中,为后验激励率,,为激励后的影响A分类的权重,为激励后的影响B分类的权重。经过激励后的预测结果如下表1所示:
表1 预测结果判定与权重变动对应表
S230、比较A分类和B分类、以及对应的权重,输出分类结果R和评分结果P:当A分类和B分类相同时,,;当A分类和B分类不同且时,,;当A分类和B分类不同且时,,;当A分类和B分类不同且时,对应的图像进入人工标注库。对应输出结果如下表2所示:
表2 比较结果与输出结果对应表
其中,修正标注图像库中的图片以标注分类和标注二维向量组的形式进行保存,例如:标注分类1003_explosive.jpg,标注向量1003_explosive.vec。
S260、再学习:基于人工标注后的修正标注图像库,再次输入卷积神经网络计算模型进行预测计算,对卷积神经网络计算模型反复进行训练和修正,从而获得训练好的计算模型和最终标注图像库。
用标注图片的卷积结果和标注信息作为本卷积神经网络计算模型的训练集,通过梯度提升算法来训练模型,可以有效地改善图像属性标注精度,并通过预留训练数据、交叉验证、人工标注修正等方式对模型进行调整,使得计算模型对训练集的识别正确率达到预期结果。
S300、获取本地危化车数据库和待识别数据,利用训练好的计算模型对待识别数据进行计算识别,并与最终标注图像库进行对比判定,输出危化品车辆特征或疑似危化品车辆特征。将危化品车辆特征或疑似危化品车辆特征与本地危化车数据库进行判定,区分标准危化品运输车辆和非法危化品运输车辆。
其中,本地危化车数据库为本地交通主管部门提供的登记在册的标准危化品运输车辆信息,包括但不限于车牌、危化品种类、车身登记颜色、车身长宽等信息,待识别数据为批量交通图片流,批量交通图片流包括车身危化品图标(密封车)、货物危化品图片(非密封车)、车辆行驶轨迹和车辆信息。
步骤S300进一步包括:
S310、获取待识别数据中的车身危化品图标(密封车)、货物危化品图片(非密封车)、车辆行驶轨迹和车辆信息,其中,车辆信息包括车牌、车身颜色、车身长宽等特征。
针对密封车,则需要对贴附或印在车身上的危化品图标进行识别、计算和预测;针对非密封车,则需要对车上货物的货物危化品图片进行识别、计算和预测。
S320、将车身危化品图标和货物危化品图片输入训练好的卷积神经网络计算模型进行计算预测,并与最终标注图像库进行对比判定,输出危化品车辆特征或疑似危化品车辆特征。其中,危化品车辆特征或疑似危化品车辆特征包括危化品分类、车辆车牌信息、车辆行驶轨迹数据、车辆信息。
危化品分类包括爆炸品,压缩气体和液化气体,易燃液体等8大类。输出的预测结果示例:[‘explosive’,34.73],表示对应图像的危化品分类为爆炸品。
S330、将危化品车辆特征或疑似危化品车辆特征和本地危化车数据库进行对比,若特征均吻合,则为合法危化车运输车辆,若有其中一项以上特征不吻合,则为非法危化车运输车辆。
其中,非法危化车运输车辆的判定进一步包括以下步骤:
S331、通过图像识别车牌是否为有效车牌,并与本地危化品车辆数据库进行比对,若车身上无车牌,则判定为无牌危化品运输车辆;若车牌为无效车牌,则判定为套牌危化品运输车辆。
其中,套牌危化品运输车辆的具体判定过程为判断车牌、车身颜色、车身长宽是否与登记的信息一致,若有不一致的,则为套牌危化品运输车辆。
S332、通过图像识别非密封车辆上的货物类型与本地车辆信息进行运营类型比较,若运营类型不相符,则判定为无资格证危化品运输车辆。
比如,有些小型运输车辆在未取得本地交通管理部分核发的相关证件的情况下,非法运输煤气罐等货物,此种情况判定为无资格证危化品运输车辆。
S333、若车辆轨迹数据不属于本地危化车数据库,则判定为跨域危化品运输车辆/非法目的地危化品运输车辆。
本实施例的工作原理及有益效果为:
本实施例利用标注图片的卷积结果和标注信息作为本卷积神经网络计算模型的训练集,通过梯度提升算法来训练模型,并通过预留训练数据、交叉验证、人工标注修正等方式对模型进行调整,使得计算模型对训练集的识别正确率达到预期结果,最终提升了模型对交通图片流的预测准确率。利用图像识别和卷积神经网络计算模型,对交通图片流进行批量识别,提取出危化品或者疑似危化品的信息和轨迹,识别出标准危化品运输车辆和非法危化品运输车辆,且可以进一步对非法危化品运输车辆进行细分,输出结果直观易懂,方便交通监管人员后期跟踪和管理。相对于人工识别和人工监管,耗时少,极大地减轻了人力成本。
实施例2
参照图6,基于卷积神经网络的非法危化品车辆识别系统,包括第一数据输入处理单元401、卷积运算单元402、第二数据输入处理单元403和判定输出单元404,其中,卷积运算单元402与第一数据输入处理单元401相连接,第二数据输入处理单元403和卷积运算单元402相连接,判定输出单元404和第二数据输入处理单元403相连接。
第一数据输入处理单元401用于获取训练数据和对训练数据进行标准化处理,训练数据为初始标注图像库。
卷积运算单元402包括卷积神经网络计算模型,用于对处理后的训练数据进行卷积运算,学习训练后获得最终标注图像库。卷积神经网络计算模型在学习训练时,模型会保存自己的形式和参数,随时可以移植到其他系统环境,提升其灵活度和便携性。
第二数据输入处理单元403用于获取待识别数据,将待识别数据输入训练好的卷积运算单元402,获得危化品车辆特征或疑似危化品车辆特征。
判定输出单元404用于获取本地危化车数据库,对危化品车辆特征或疑似危化品车辆特征和最终标注图像库进行对比,输出判定结果。
该系统可实现前述方法实施例中对应的方法,其具体实施过程可以参见前述方法实施例,此处不再赘述。
实施例3
参照图7,为本发明提供的电子设备实施例,该电子设备包括:处理器501,以及,用于存储处理器501的可执行指令的存储器502。可选的,还可以包括:通信接口503,用于与其他设备进行通信。
其中,处理器501配置为经由执行所述可执行指令来执行前述方法实施例对应的方法,其具体实施过程可以参见前述方法实施例,此处不再赘述。
实施例4
本发明还提供一种计算机可读存储介质,其上存储有计算机程序(或称计算机可执行指令),所述计算机程序执行时可实现前述方法实施例中对应的方法,其具体实施过程可以参见前述方法实施例,此处不再赘述。
其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.基于卷积神经网络的非法危化品运输车辆识别方法,其特征在于,包括以下步骤:
S100、获取训练数据,接着对训练数据进行数据标准化处理,所述训练数据为初始标注图像库,初始标注图像库包括标注过分类的危化品图片、危化品图标和标准危化品运输车辆例图;
S200、利用卷积神经网络计算模型对处理后的训练数据进行卷积运算,进行学习、训练和修正,获得训练好的计算模型和最终标注图像库;
步骤S200进一步包括:
S210、卷积运算和预测:将处理后的训练数据输入卷积神经网络计算模型,卷积神经网络计算模型包括两个卷积网络A和B,卷积网络A为高斯模糊-灰度化处理的标准化向量卷积网络,卷积网络B为高斯模糊-RGB全通道的标准化向量卷积网络,计算获得预测结果,预测结果包括A分类、A评分、B分类、B评分,分别用、、、表示,并规定预测结果对分类影响的初始权重分别为和,;
S220、验证判定后进行激励:将每次预测结果中的A分类和B分类分别与对应训练数据标注的分类进行验证判定,若A分类和B分类均判定为正确或均判定为错误,则权重不变,即,;若A分类和B分类中仅有一个判定正确,则判定正确的进行正向激励,判定错误的进行负向激励,即A分类判定正确而B分类判定错误时,,,B分类判定正确而A分类判定错误时,,;其中,为后验激励率,,为激励后的影响A分类的权重,为激励后的影响B分类的权重;
S230、比较A分类和B分类、以及对应的权重,输出分类结果R和评分结果P:当A分类和B分类相同时,,;当A分类和B分类不同且时,,;当A分类和B分类不同且时,,;当A分类和B分类不同且时,对应的图像进入人工标注库;
S260、再学习:基于人工标注后的修正标注图像库,再次输入卷积神经网络计算模型进行预测计算,对卷积神经网络计算模型反复进行训练和修正,从而获得训练好的计算模型和最终标注图像库;
S300、获取本地危化车数据库和待识别数据,利用训练好的计算模型对待识别数据进行计算识别,并与最终标注图像库进行对比判定,输出危化品车辆特征或疑似危化品车辆特征,将危化品车辆特征或疑似危化品车辆特征与本地危化车数据库进行判定,区分标准危化品运输车辆和非法危化品运输车辆。
2.根据权利要求1所述的基于卷积神经网络的非法危化品运输车辆识别方法,其特征在于,其中步骤S100进一步包括:
S110、图像灰度处理:对训练数据的图像进行高斯模糊,降低图像噪声,接着对图像的R,G,B三通道进行加权灰度处理;
S120、图像边缘分析:使用canny算法对灰度化图像中的边缘进行检测,输出图像信息;
S130、图像切割:基于图像边缘分析结果,对图像中不影响内容的部分进行切割,分割为几张不同的新图像,以提高识别率;
S140、图像向量化;将图像向量化,转换为平面二维数组,每个像素点的灰度值信息,表示向量中一个特征的信息;
S150、图像标准化:统一图像信息的分辨率大小,进行标准化处理。
3.根据权利要求2所述的基于卷积神经网络的非法危化品运输车辆识别方法,其特征在于,所述步骤S150进一步包括:
S151、规定输入图像分辨率为200*200;
S152、采用最近邻插值法将图像的分辨率改写为200*200;
S153、对图像的向量组进行归一化处理,所得结果放在原位置,得到归一化的向量组。
4.根据权利要求1所述的基于卷积神经网络的非法危化品运输车辆识别方法,其特征在于,步骤S300中的本地危化车数据库为本地交通主管部门提供的登记在册的标准危化品运输车辆信息,待识别数据为批量交通图片流,批量交通图片流包括车身危化品图标、货物危化品图片、车辆行驶轨迹和车辆信息。
5.根据权利要求4所述的基于卷积神经网络的非法危化品运输车辆识别方法,其特征在于,步骤S300进一步包括:
S310、获取待识别数据中的车身危化品图标、货物危化品图片、车辆行驶轨迹和车辆信息;
S320、将车身危化品图标和货物危化品图片输入训练好的卷积神经网络计算模型进行计算,并与最终标注图像库进行对比判定,输出危化品车辆特征或疑似危化品车辆特征;
S330、将危化品车辆特征或疑似危化品车辆特征和本地危化车数据库进行对比,若特征均吻合,则为合法危化车运输车辆,若有其中一项以上特征不吻合,则为非法危化车运输车辆。
6.根据权利要求5所述的基于卷积神经网络的非法危化品运输车辆识别方法,其特征在于,步骤S330进一步包括:
S331、通过图像识别车牌是否为有效车牌,并与本地危化品车辆数据库进行比对,若车身上无车牌或为无效车牌,则相应地判定为无牌危化品运输车辆或套牌危化品运输车辆;
S332、通过图像识别非密封车辆上的货物类型与本地车辆信息进行运营类型比较,若运营类型不相符,则判定为无资格证危化品运输车辆;
S333、若车辆轨迹数据不属于本地危化车数据库,则判定为跨域危化品运输车辆/非法目的地危化品运输车辆。
7.基于卷积神经网络的非法危化品运输车辆识别系统,用于实现上述权利要求1~6任一项所述的方法,其特征在于,包括:
第一数据输入处理单元(401):用于获取训练数据和对训练数据进行标准化处理,所述训练数据为初始标注图像库;
卷积运算单元(402):与所述第一数据输入处理单元(401)相连接,用于对处理后的训练数据进行卷积运算,学习训练后获得最终标注图像库;
第二数据输入处理单元(403):与所述卷积运算单元(402)相连接,用于获取待识别数据,将待识别数据输入训练好的卷积运算单元(402),获得危化品车辆特征或疑似危化品车辆特征;
判定输出单元(404):与所述第二数据输入处理单元(403)相连接,用于获取本地危化车数据库,对危化品车辆特征或疑似危化品车辆特征和最终标注图像库进行对比,输出判定结果。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序执行时实现权利要求1~6任一项所述的方法。
9.一种电子设备,其特征在于,包括:
处理器(501);以及
存储器(502),用于存储所述处理器(501)的可执行指令;
其中,所述处理器(501)配置为经由执行所述可执行指令来执行权利要求1~6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111035738.8A CN113469158B (zh) | 2021-09-06 | 2021-09-06 | 基于卷积神经网络的非法危化品运输车辆识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111035738.8A CN113469158B (zh) | 2021-09-06 | 2021-09-06 | 基于卷积神经网络的非法危化品运输车辆识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113469158A CN113469158A (zh) | 2021-10-01 |
CN113469158B true CN113469158B (zh) | 2021-11-19 |
Family
ID=77867483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111035738.8A Active CN113469158B (zh) | 2021-09-06 | 2021-09-06 | 基于卷积神经网络的非法危化品运输车辆识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113469158B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114155495B (zh) * | 2022-02-10 | 2022-05-06 | 西南交通大学 | 跨海桥梁中车辆运行的安全监控方法、装置、设备及介质 |
CN114627653B (zh) * | 2022-05-12 | 2022-08-02 | 浙江电马云车科技有限公司 | 基于双目识别的5g智能道闸管理系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886731A (zh) * | 2017-11-03 | 2018-04-06 | 武汉元鼎创天信息科技有限公司 | 一种非法营运车辆智能检测方法 |
CN108875803A (zh) * | 2018-05-30 | 2018-11-23 | 长安大学 | 一种基于视频图像的危化品运输车辆检测与识别方法 |
CN109934161A (zh) * | 2019-03-12 | 2019-06-25 | 天津瑟威兰斯科技有限公司 | 基于卷积神经网络的车辆识别与检测方法及系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105373782A (zh) * | 2015-11-16 | 2016-03-02 | 深圳市哈工大交通电子技术有限公司 | 一种从图片或者视频中自动识别危化品车辆的方法 |
CN106709486A (zh) * | 2016-11-11 | 2017-05-24 | 南京理工大学 | 基于深度卷积神经网络的自动车牌识别方法 |
CN111353555A (zh) * | 2020-05-25 | 2020-06-30 | 腾讯科技(深圳)有限公司 | 一种标注检测方法、装置及计算机可读存储介质 |
CN111523527B (zh) * | 2020-07-02 | 2020-10-27 | 平安国际智慧城市科技股份有限公司 | 特种运输车辆监控方法、装置、介质及电子设备 |
CN111859872A (zh) * | 2020-07-07 | 2020-10-30 | 中国建设银行股份有限公司 | 一种文本标注方法和装置 |
CN111898502A (zh) * | 2020-07-20 | 2020-11-06 | 北京格灵深瞳信息技术有限公司 | 危险品车辆识别方法、装置及计算机存储介质、电子设备 |
CN111860690B (zh) * | 2020-07-31 | 2024-05-28 | 河北交投智能科技股份有限公司 | 基于深度学习的危险品车辆检测与识别方法 |
CN112200231B (zh) * | 2020-09-29 | 2024-04-30 | 深圳市信义科技有限公司 | 一种危险品车辆识别方法、系统、装置及介质 |
-
2021
- 2021-09-06 CN CN202111035738.8A patent/CN113469158B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886731A (zh) * | 2017-11-03 | 2018-04-06 | 武汉元鼎创天信息科技有限公司 | 一种非法营运车辆智能检测方法 |
CN108875803A (zh) * | 2018-05-30 | 2018-11-23 | 长安大学 | 一种基于视频图像的危化品运输车辆检测与识别方法 |
CN109934161A (zh) * | 2019-03-12 | 2019-06-25 | 天津瑟威兰斯科技有限公司 | 基于卷积神经网络的车辆识别与检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113469158A (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113469158B (zh) | 基于卷积神经网络的非法危化品运输车辆识别方法及系统 | |
Siriborvornratanakul | An automatic road distress visual inspection system using an onboard in‐car camera | |
WO2020124247A1 (en) | Automated inspection system and associated method for assessing the condition of shipping containers | |
CN106707293A (zh) | 用于车辆的障碍物识别方法和装置 | |
CN111797829A (zh) | 一种车牌检测方法、装置、电子设备和存储介质 | |
CN110766039B (zh) | 渣土车运输状态识别方法、介质、设备及渣土车 | |
Ahmadi et al. | An integrated machine learning model for automatic road crack detection and classification in urban areas | |
CN111626295B (zh) | 车牌检测模型的训练方法和装置 | |
CN110929635B (zh) | 基于信任机制下面部交并比的假脸视频检测方法及系统 | |
CN111325769A (zh) | 一种目标对象检测方法及装置 | |
CN110309843B (zh) | 一种电力设备图像中多类部件的自动识别方法 | |
CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
CN113052295B (zh) | 一种神经网络的训练方法、物体检测方法、装置及设备 | |
Hoang et al. | A novel approach for detection of pavement crack and sealed crack using image processing and salp swarm algorithm optimized machine learning | |
CN112749653A (zh) | 行人检测方法、装置、电子设备及存储介质 | |
CN111881958A (zh) | 车牌分类识别方法、装置、设备及存储介质 | |
Liu et al. | Occlusion‐robust traffic sign detection via cascaded colour cubic feature | |
Han et al. | Vision-based crack detection of asphalt pavement using deep convolutional neural network | |
CN115995056A (zh) | 一种基于深度学习的桥梁病害自动识别方法 | |
CN107316296A (zh) | 一种基于对数变换的遥感图像变化检测方法及装置 | |
CN114067186A (zh) | 一种行人检测方法、装置、电子设备及存储介质 | |
CN116129100A (zh) | 一种货车零件定位与故障识别方法、装置、设备及介质 | |
CN115760854A (zh) | 基于深度学习的电力设备缺陷检测方法、装置及电子设备 | |
CN115512098A (zh) | 一种桥梁电子化巡检系统及巡检方法 | |
CN114219073A (zh) | 属性信息的确定方法、装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |