CN116343137B - 一种基于人工智能的尾气异常汽车大数据检测方法及系统 - Google Patents
一种基于人工智能的尾气异常汽车大数据检测方法及系统 Download PDFInfo
- Publication number
- CN116343137B CN116343137B CN202310188620.1A CN202310188620A CN116343137B CN 116343137 B CN116343137 B CN 116343137B CN 202310188620 A CN202310188620 A CN 202310188620A CN 116343137 B CN116343137 B CN 116343137B
- Authority
- CN
- China
- Prior art keywords
- automobile
- tail gas
- image
- detected
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 165
- 238000001514 detection method Methods 0.000 title claims abstract description 140
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 25
- 230000005856 abnormality Effects 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000012216 screening Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 29
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于人工智能的尾气异常汽车大数据检测方法及系统,涉及汽车尾气异常检测技术领域。获取道路中正在行驶的待检测汽车的多张汽车尾部区域图像;分别对各张汽车尾部区域图像进行预处理;然后基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测;根据多个平均显著性区域对多张汽车尾部区域预处理图像进行筛选,得到待检测图像;然后基于多尺度的稀疏编码相似度匹配方法进行匹配;然后根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中;最后确定待检测汽车的尾气异常结果。能够更加精准地对汽车尾气是否异常进行判断,从而提高了汽车尾气异常检测精度。
Description
技术领域
本发明涉及汽车尾气异常检测技术领域,具体而言,涉及一种基于人工智能的尾气异常汽车大数据检测方法及系统。
背景技术
随着时代的发展,越来越多的政府部门、企业、家庭购买了汽车,使出行变得越来越便捷。然而,随着汽车数量的急剧增加,汽车尾气所造成的污染问题也越来越严重。传统的汽车尾气异常检测通常依靠人工检验的方式完成,极大地增加了人力资源消耗。
为减少人力资源消耗,目前在部分城市,交通部门已经将基于图像的异常检测技术应用于汽车尾气的异常检测,但是,现有的汽车尾气异常检测精度仍然无法保持较高水平,随着人工智能领域技术的不断更新换代,给汽车尾气异常检测提供了直接的支持,因此,提出一种基于人工智能的智慧交通尾气异常汽车大数据检测方法有非常重要的价值和意义。
发明内容
本发明的目的在于提供一种基于人工智能的尾气异常汽车大数据检测方法及系统,用以改善现有技术中汽车尾气异常检测精度仍然无法保持较高水平的问题。
第一方面,本申请实施例提供一种基于人工智能的尾气异常汽车大数据检测方法,包括以下步骤:
获取道路中正在行驶的待检测汽车的多张汽车尾部区域图像;
分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像;
基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域;
根据多个平均显著性区域对多张汽车尾部区域预处理图像进行筛选,得到待检测图像;
基于多尺度的稀疏编码相似度匹配方法将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像进行匹配,得到匹配结果;
根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果;
根据异常检测结果确定待检测汽车的尾气异常结果。
上述实现过程中,通过获取道路中正在行驶的待检测汽车的多张汽车尾部区域图像;然后分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像;然后基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域;然后根据多个平均显著性区域对多张汽车尾部区域预处理图像进行筛选,得到待检测图像;然后基于多尺度的稀疏编码相似度匹配方法将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像进行匹配,得到匹配结果;然后根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果;最后根据异常检测结果确定待检测汽车的尾气异常结果。利用基于多图像增强的平均显著性检测方法,对多张汽车尾部区域图像进行检测,可以挑选出高质量的待检测图像,为精准的汽车尾气异常检测提供了直接的支持;然后利用基于多尺度的稀疏编码相似度匹配方法,计算待检测图像和所有模板图像的相似度。从而可以直接对某些汽车尾气异常的情况进行判别(无需进行后续检验),在保证判别正确率的前提下显著地降低了计算资源消耗;再利用基于多权重的SVM模型对正负训练样本进行训练,得到了更加精准的汽车尾气异常检测模型,能够更加精准地对汽车尾气是否异常进行判断,从而提高了汽车尾气异常检测精度。
基于第一方面,在本发明的一些实施例中,分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像的步骤包括以下步骤:
获取并根据当前天气信息分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像。
基于第一方面,在本发明的一些实施例中,基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域的步骤包括以下步骤:
对各张汽车尾部区域预处理图像采用多种图像增强方法分别进行图像增强,生成多个增强图像;
分别对各个增强图像进行显著性检测,生成多个显著性区域;
对多个显著性区域求取平均值,生成各张汽车尾部区域预处理图像对应的平均显著性区域。
基于第一方面,在本发明的一些实施例中,基于多尺度的稀疏编码相似度匹配方法将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像进行匹配,得到匹配结果的步骤包括以下步骤:
将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像分别进行多尺度重建,生成多个尺度待检测图像和多个尺度尾气异常模板图像;
分别对各个尺度待检测图像和各个尺度尾气异常模板图像进行稀疏编码,生成各个尺度待检测图像编码和各个尺度尾气异常模板图像编码;
根据各个尺度待检测图像编码和各个尺度尾气异常模板图像编码,利用欧式距离计算得到待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像在各个尺度下的相似度;
根据待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像在各个尺度下的相似度得到匹配结果。
基于第一方面,在本发明的一些实施例中,根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果的步骤包括以下步骤:
判断匹配结果是否为匹配成功,若是,则生成待检测汽车的尾气异常结果为尾气异常汽车;若否,则将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果。
基于第一方面,在本发明的一些实施例中,还包括以下步骤:
获取尾气正常图像作为正训练样本;
获取尾气异常图像作为负训练样本;
利用预置的多权重SVM模型对正训练样本和负训练样本进行训练,得到汽车尾气异常检测模型。
基于第一方面,在本发明的一些实施例中,还包括以下步骤:
根据待检测汽车的尾气异常结果对待检测汽车进行车牌识别,生成车牌识别结果;
根据车牌识别结果得到待检测汽车的车主信息;
将尾气异常结果发送至车主。
第二方面,本申请实施例提供一种基于人工智能的尾气异常汽车大数据检测系统,包括:
汽车尾部区域图像获取模块,用于获取道路中正在行驶的待检测汽车的多张汽车尾部区域图像;
图像预处理模块,用于分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像;
显著性检测模块,用于基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域;
图像筛选模块,用于根据多个平均显著性区域对多张汽车尾部区域预处理图像进行筛选,得到待检测图像;
尾气异常图像匹配模块,用于基于多尺度的稀疏编码相似度匹配方法将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像进行匹配,得到匹配结果;
尾气异常检测模块,用于根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果;
汽车尾气异常确定模块,用于根据异常检测结果确定待检测汽车的尾气异常结果。
上述实现过程中,汽车尾部区域图像获取模块通过获取道路中正在行驶的待检测汽车的多张汽车尾部区域图像;图像预处理模块分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像;显著性检测模块基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域;图像筛选模块根据多个平均显著性区域对多张汽车尾部区域预处理图像进行筛选,得到待检测图像;尾气异常图像匹配模块基于多尺度的稀疏编码相似度匹配方法将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像进行匹配,得到匹配结果;尾气异常检测模块根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果;汽车尾气异常确定模块根据异常检测结果确定待检测汽车的尾气异常结果。利用基于多图像增强的平均显著性检测方法,对多张汽车尾部区域图像进行检测,可以挑选出高质量的待检测图像,为精准的汽车尾气异常检测提供了直接的支持;然后利用基于多尺度的稀疏编码相似度匹配方法,计算待检测图像和所有模板图像的相似度。从而可以直接对某些汽车尾气异常的情况进行判别(无需进行后续检验),在保证判别正确率的前提下显著地降低了计算资源消耗;再利用基于多权重的SVM模型对正负训练样本进行训练,得到了更加精准的汽车尾气异常检测模型,能够更加精准地对汽车尾气是否异常进行判断,从而提高了汽车尾气异常检测精度。
第三方面,本申请实施例提供一种电子设备,其包括存储器,用于存储一个或多个程序;处理器。当一个或多个程序被处理器执行时,实现如上述第一方面中任一项的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
本发明实施例至少具有如下优点或有益效果:
本发明实施例提供一种基于人工智能的尾气异常汽车大数据检测方法及系统,通过获取道路中正在行驶的待检测汽车的多张汽车尾部区域图像;然后分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像;然后基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域;然后根据多个平均显著性区域对多张汽车尾部区域预处理图像进行筛选,得到待检测图像;然后基于多尺度的稀疏编码相似度匹配方法将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像进行匹配,得到匹配结果;然后根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果;最后根据异常检测结果确定待检测汽车的尾气异常结果。利用基于多图像增强的平均显著性检测方法,对多张汽车尾部区域图像进行检测,可以挑选出高质量的待检测图像,为精准的汽车尾气异常检测提供了直接的支持;然后利用基于多尺度的稀疏编码相似度匹配方法,计算待检测图像和所有模板图像的相似度。从而可以直接对某些汽车尾气异常的情况进行判别(无需进行后续检验),在保证判别正确率的前提下显著地降低了计算资源消耗;再利用基于多权重的SVM模型对正负训练样本进行训练,得到了更加精准的汽车尾气异常检测模型,能够更加精准地对汽车尾气是否异常进行判断,从而提高了汽车尾气异常检测精度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种基于人工智能的尾气异常汽车大数据检测方法流程图;
图2为本发明实施例提供的步骤S130的详细流程图;
图3为本发明实施例提供的步骤S150的详细流程图;
图4为本发明实施例提供的一种基于人工智能的尾气异常汽车大数据检测系统结构框图;
图5为本发明实施例提供的一种电子设备的结构框图。
图标:110-汽车尾部区域图像获取模块;120-图像预处理模块;130-显著性检测模块;140-图像筛选模块;150-尾气异常图像匹配模块;160-尾气异常检测模块;170-汽车尾气异常确定模块;101-存储器;102-处理器;103-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的各个实施例及实施例中的各个特征可以相互组合。
请参看图1,图1为本发明实施例提供的一种基于人工智能的尾气异常汽车大数据检测方法流程图。该基于人工智能的尾气异常汽车大数据检测方法,包括以下步骤:
步骤S110:获取道路中正在行驶的待检测汽车的多张汽车尾部区域图像;对于特定一辆正在行驶的汽车,可以利用道路中已经安装的摄像头,对汽车尾部区域进行连续拍照,得到多张汽车尾部区域图像。
步骤S120:分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像;上述预处理可以是根据当前天气情况进行处理,具体包括一些步骤:
获取并根据当前天气信息分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像。上述预处理包括图像去雨、图像去雾等。例如:如果天气状况较好,获取到当前天气信息为晴,无需对多张汽车尾部区域图像进行处理;如果存在下雨、雾天等情况,则可以利用图像去雨技术、图像去雾技术对多张汽车尾部区域图像进行处理。上述图像去雨技术、图像去雾技术均属于现有技术,在此就不再赘述。利用图像去雨技术、图像去雾技术对多张汽车尾部区域图像进行处理,保证了非理想天气情况下仍然能够较为准确地检测出汽车尾气是否异常。
步骤S130:基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域;请参看图2,图2为本发明实施例提供的步骤S130的详细流程图,上述基于多图像增强的平均显著性检测方法具体包括以下步骤:
首先,对各张汽车尾部区域预处理图像采用多种图像增强方法分别进行图像增强,生成多个增强图像;对于任意一张汽车尾部区域预处理图像利用多种图像增强方法分别对图像进行增强处理,上述图像增强方法包括空间域法、频率域法、基于深度学习的图像增强等。上述图像增强采用现有的技术就可以实现,在此就不做赘述。
然后,分别对各个增强图像进行显著性检测,生成多个显著性区域;上述显著性检测采用现有的显著性检测方法就可以实现,在此就不再赘述。
最后,对多个显著性区域求取平均值,生成各张汽车尾部区域预处理图像对应的平均显著性区域。将得到的多个显著性区域进行平均,得到该汽车尾部区域图像的平均显著性区域。
步骤S140:根据多个平均显著性区域对多张汽车尾部区域预处理图像进行筛选,得到待检测图像;上述筛选过程是将多张汽车尾部区域预处理图像的平均显著性区域进行对比,将平均显著性区域最大的汽车尾部区域预处理图像作为待检测图像。通过筛选可以从多个图像中筛选出包含显著性区域最大的图像作为待检测图像,即包含尾气信息最多的图像作为待检测图像,以提高尾气数据检测的准确度。
步骤S150:基于多尺度的稀疏编码相似度匹配方法将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像进行匹配,得到匹配结果;上述预置的尾气异常模板图像集可以是通过人工收集一些尾气异常的汽车尾部区域图像作为尾气异常模板图像,比如网络下载、人工拍摄,保证收集的尾气异常模板图像质量较高即可。
上述进行匹配可以是利用基于多尺度的稀疏编码相似度匹配方法,计算待检测图像和所有尾气异常模板图像的相似度。请参看图3,图3为本发明实施例提供的步骤S150的详细流程图。具体包括以下步骤:
首先,将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像分别进行多尺度重建,生成多个尺度待检测图像和多个尺度尾气异常模板图像;上述置的尾气异常模板图像集包括有多个尾气异常模板图像,分别对各个尾气异常模板图像进行多尺度重建。
然后,分别对各个尺度待检测图像和各个尺度尾气异常模板图像进行稀疏编码,生成各个尺度待检测图像编码和各个尺度尾气异常模板图像编码;在每个尺度下,将待检测图像和所有尾气异常模板图像进行稀疏编码。
然后,根据各个尺度待检测图像编码和各个尺度尾气异常模板图像编码,利用欧式距离计算得到待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像在各个尺度下的相似度;利用欧式距离计算待检测图像和所有尾气异常模板图像在每个尺度下的相似度。
最后,根据待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像在各个尺度下的相似度得到匹配结果。如果在每个尺度下,待检测图像和某一个尾气异常模板图像都有较高的相似度,直接认定待检测图像和该尾气异常模板图像相似度较高,匹配结果为匹配成功;反之,匹配结果为匹配不成功。
步骤S160:根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果;如果待检测图像和任意一个模板图像相似度很高,即匹配结果为匹配成功,则直接将待检测图像认定为尾气异常图像,无需进行后续检验;否则,继续进行下一步,具体包括以下步骤:
判断匹配结果是否为匹配成功,若是,则生成待检测汽车的尾气异常结果为尾气异常汽车;若否,则将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果。
上述预置的汽车尾气异常检测模型是预先训练好的,上述汽车尾气异常检测模型训练过程包括以下步骤:
第一步,获取尾气正常图像作为正训练样本;可以收集部分尾气普通优良图像、部分尾气显著优良图像作为正训练样本,比如部分尾气普通优良图像、部分尾气显著优良图像各30-50张。
第二步,获取尾气异常图像作为负训练样本;收集部分尾气普通异常图像、部分尾气显著异常图像作为负训练样本,比如部分尾气普通异常图像、部分尾气显著异常图像各30-50张。
第三步,利用预置的多权重SVM模型对正训练样本和负训练样本进行训练,得到汽车尾气异常检测模型。具体地,在训练的过程中,尾气显著优良图像和尾气显著异常图像均占两倍权重,其它和传统SVM模型一致。
步骤S170:根据异常检测结果确定待检测汽车的尾气异常结果。利用汽车尾气异常检测模型对待检测图像进行判别,如果待检测图像得分较高,直接认定为尾气正常图像;如果待检测图像得分较低,直接认定为尾气异常图像。若异常检测结果为尾气异常图像,直接将待检测图像对应的汽车认定为尾气异常汽车。
上述实现过程中,通过获取道路中正在行驶的待检测汽车的多张汽车尾部区域图像;然后分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像;然后基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域;然后根据多个平均显著性区域对多张汽车尾部区域预处理图像进行筛选,得到待检测图像;然后基于多尺度的稀疏编码相似度匹配方法将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像进行匹配,得到匹配结果;然后根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果;最后根据异常检测结果确定待检测汽车的尾气异常结果。利用基于多图像增强的平均显著性检测方法,对多张汽车尾部区域图像进行检测,可以挑选出高质量的待检测图像,为精准的汽车尾气异常检测提供了直接的支持;然后利用基于多尺度的稀疏编码相似度匹配方法,计算待检测图像和所有模板图像的相似度。从而可以直接对某些汽车尾气异常的情况进行判别(无需进行后续检验),在保证判别正确率的前提下显著地降低了计算资源消耗;再利用基于多权重的SVM模型对正负训练样本进行训练,得到了更加精准的汽车尾气异常检测模型,能够更加精准地对汽车尾气是否异常进行判断,从而提高了汽车尾气异常检测精度。
在本实施例的一些实施方式中,还包括以下步骤:
首先根据待检测汽车的尾气异常结果对待检测汽车进行车牌识别,生成车牌识别结果;若待检测汽车的尾气异常结果为尾气异常汽车,则进行车牌识别,然后根据车牌识别结果得到待检测汽车的车主信息;最后将尾气异常结果发送至车主,从而提醒车主对尾气问题及时处理,减少污染。
基于同样的发明构思,本发明还提出一种基于人工智能的尾气异常汽车大数据检测系统,请参看图4,图4为本发明实施例提供的一种基于人工智能的尾气异常汽车大数据检测系统结构框图。该基于人工智能的尾气异常汽车大数据检测系统包括:
汽车尾部区域图像获取模块110,用于获取道路中正在行驶的待检测汽车的多张汽车尾部区域图像;
图像预处理模块120,用于分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像;
显著性检测模块130,用于基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域;
图像筛选模块140,用于根据多个平均显著性区域对多张汽车尾部区域预处理图像进行筛选,得到待检测图像;
尾气异常图像匹配模块150,用于基于多尺度的稀疏编码相似度匹配方法将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像进行匹配,得到匹配结果;
尾气异常检测模块160,用于根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果;
汽车尾气异常确定模块170,用于根据异常检测结果确定待检测汽车的尾气异常结果。
上述实现过程中,汽车尾部区域图像获取模块110通过获取道路中正在行驶的待检测汽车的多张汽车尾部区域图像;图像预处理模块120分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像;显著性检测模块130基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域;图像筛选模块140根据多个平均显著性区域对多张汽车尾部区域预处理图像进行筛选,得到待检测图像;尾气异常图像匹配模块150基于多尺度的稀疏编码相似度匹配方法将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像进行匹配,得到匹配结果;尾气异常检测模块160根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果;汽车尾气异常确定模块170根据异常检测结果确定待检测汽车的尾气异常结果。利用基于多图像增强的平均显著性检测方法,对多张汽车尾部区域图像进行检测,可以挑选出高质量的待检测图像,为精准的汽车尾气异常检测提供了直接的支持;然后利用基于多尺度的稀疏编码相似度匹配方法,计算待检测图像和所有模板图像的相似度。从而可以直接对某些汽车尾气异常的情况进行判别(无需进行后续检验),在保证判别正确率的前提下显著地降低了计算资源消耗;再利用基于多权重的SVM模型对正负训练样本进行训练,得到了更加精准的汽车尾气异常检测模型,能够更加精准地对汽车尾气是否异常进行判断,从而提高了汽车尾气异常检测精度。
请参阅图5,图5为本申请实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103,该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块,如本申请实施例所提供的一种基于人工智能的尾气异常汽车大数据检测系统对应的程序指令/模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中,存储器101可以是但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(ElectricErasable Programmable Read-Only Memory,EEPROM)等。
处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器102可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(DigitalSignal Processing,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-ProgrammableGate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解,图5所示的结构仅为示意,电子设备还可包括比图5中所示更多或者更少的组件,或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (9)
1.一种基于人工智能的尾气异常汽车大数据检测方法,其特征在于,包括以下步骤:
获取道路中正在行驶的待检测汽车的多张汽车尾部区域图像;
分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像;
基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域;
根据多个平均显著性区域对多张汽车尾部区域预处理图像进行筛选,得到待检测图像;
基于多尺度的稀疏编码相似度匹配方法将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像进行匹配,得到匹配结果,包括:将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像分别进行多尺度重建,生成多个尺度待检测图像和多个尺度尾气异常模板图像;分别对各个尺度待检测图像和各个尺度尾气异常模板图像进行稀疏编码,生成各个尺度待检测图像编码和各个尺度尾气异常模板图像编码;根据各个尺度待检测图像编码和各个尺度尾气异常模板图像编码,利用欧式距离计算得到待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像在各个尺度下的相似度;根据待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像在各个尺度下的相似度得到匹配结果;
根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果;
根据异常检测结果确定待检测汽车的尾气异常结果。
2.根据权利要求1所述的基于人工智能的尾气异常汽车大数据检测方法,其特征在于,所述分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像的步骤包括以下步骤:
获取并根据当前天气信息分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像。
3.根据权利要求1所述的基于人工智能的尾气异常汽车大数据检测方法,其特征在于,所述基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域的步骤包括以下步骤:
对各张汽车尾部区域预处理图像采用多种图像增强方法分别进行图像增强,生成多个增强图像;
分别对各个增强图像进行显著性检测,生成多个显著性区域;
对多个显著性区域求取平均值,生成各张汽车尾部区域预处理图像对应的平均显著性区域。
4.根据权利要求1所述的基于人工智能的尾气异常汽车大数据检测方法,其特征在于,所述根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果的步骤包括以下步骤:
判断匹配结果是否为匹配成功,若是,则生成待检测汽车的尾气异常结果为尾气异常汽车;若否,则将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果。
5.根据权利要求1所述的基于人工智能的尾气异常汽车大数据检测方法,其特征在于,还包括以下步骤:
获取尾气正常图像作为正训练样本;
获取尾气异常图像作为负训练样本;
利用预置的多权重SVM模型对正训练样本和负训练样本进行训练,得到汽车尾气异常检测模型。
6.根据权利要求1所述的基于人工智能的尾气异常汽车大数据检测方法,其特征在于,还包括以下步骤:
根据待检测汽车的尾气异常结果对待检测汽车进行车牌识别,生成车牌识别结果;
根据车牌识别结果得到待检测汽车的车主信息;
将尾气异常结果发送至车主。
7.一种基于人工智能的尾气异常汽车大数据检测系统,其特征在于,包括:
汽车尾部区域图像获取模块,用于获取道路中正在行驶的待检测汽车的多张汽车尾部区域图像;
图像预处理模块,用于分别对各张汽车尾部区域图像进行预处理,得到多张汽车尾部区域预处理图像;
显著性检测模块,用于基于多图像增强的平均显著性检测方法对多张汽车尾部区域预处理图像分别进行显著性检测,生成多个平均显著性区域;
图像筛选模块,用于根据多个平均显著性区域对多张汽车尾部区域预处理图像进行筛选,得到待检测图像;
尾气异常图像匹配模块,用于基于多尺度的稀疏编码相似度匹配方法将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像进行匹配,得到匹配结果,包括:将待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像分别进行多尺度重建,生成多个尺度待检测图像和多个尺度尾气异常模板图像;分别对各个尺度待检测图像和各个尺度尾气异常模板图像进行稀疏编码,生成各个尺度待检测图像编码和各个尺度尾气异常模板图像编码;根据各个尺度待检测图像编码和各个尺度尾气异常模板图像编码,利用欧式距离计算得到待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像在各个尺度下的相似度;根据待检测图像与预置的尾气异常模板图像集中的尾气异常模板图像在各个尺度下的相似度得到匹配结果;
尾气异常检测模块,用于根据匹配结果将待检测图像输入至预置的汽车尾气异常检测模型中,得到异常检测结果;
汽车尾气异常确定模块,用于根据异常检测结果确定待检测汽车的尾气异常结果。
8.一种电子设备,其特征在于,包括:
存储器,用于存储一个或多个程序;
处理器;
当所述一个或多个程序被所述处理器执行时,实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310188620.1A CN116343137B (zh) | 2023-02-21 | 2023-02-21 | 一种基于人工智能的尾气异常汽车大数据检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310188620.1A CN116343137B (zh) | 2023-02-21 | 2023-02-21 | 一种基于人工智能的尾气异常汽车大数据检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116343137A CN116343137A (zh) | 2023-06-27 |
CN116343137B true CN116343137B (zh) | 2024-04-19 |
Family
ID=86893972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310188620.1A Active CN116343137B (zh) | 2023-02-21 | 2023-02-21 | 一种基于人工智能的尾气异常汽车大数据检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116343137B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101851492B1 (ko) * | 2017-01-23 | 2018-04-23 | 건국대학교 산학협력단 | 번호판 인식 방법 및 번호판 인식 장치 |
WO2019071976A1 (zh) * | 2017-10-12 | 2019-04-18 | 北京大学深圳研究生院 | 基于区域增长和眼动模型的全景图像显著性检测方法 |
WO2021151276A1 (zh) * | 2020-05-20 | 2021-08-05 | 平安科技(深圳)有限公司 | 基于oct图像的图像识别方法、装置、设备及存储介质 |
WO2021217859A1 (zh) * | 2020-04-30 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 目标异常识别方法、装置、电子设备及存储介质 |
WO2022048051A1 (zh) * | 2020-09-02 | 2022-03-10 | 厦门理工学院 | 一种基于北斗的工程车尾气排放监控追踪系统 |
CN114332513A (zh) * | 2022-03-15 | 2022-04-12 | 北京嘉沐安科技有限公司 | 一种面向智慧城市的新能源汽车异常停放大数据检测方法 |
CN115100450A (zh) * | 2022-08-26 | 2022-09-23 | 北京海上升科技有限公司 | 基于人工智能的智慧交通品牌汽车大数据检测方法及系统 |
CN115661833A (zh) * | 2022-10-11 | 2023-01-31 | 北京惠朗时代科技有限公司 | 一种基于简易拍照的目标商品大数据精准识别方法与系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220301689A1 (en) * | 2021-03-16 | 2022-09-22 | Genentech, Inc. | Anomaly detection in medical imaging data |
-
2023
- 2023-02-21 CN CN202310188620.1A patent/CN116343137B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101851492B1 (ko) * | 2017-01-23 | 2018-04-23 | 건국대학교 산학협력단 | 번호판 인식 방법 및 번호판 인식 장치 |
WO2019071976A1 (zh) * | 2017-10-12 | 2019-04-18 | 北京大学深圳研究生院 | 基于区域增长和眼动模型的全景图像显著性检测方法 |
WO2021217859A1 (zh) * | 2020-04-30 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 目标异常识别方法、装置、电子设备及存储介质 |
WO2021151276A1 (zh) * | 2020-05-20 | 2021-08-05 | 平安科技(深圳)有限公司 | 基于oct图像的图像识别方法、装置、设备及存储介质 |
WO2022048051A1 (zh) * | 2020-09-02 | 2022-03-10 | 厦门理工学院 | 一种基于北斗的工程车尾气排放监控追踪系统 |
CN114332513A (zh) * | 2022-03-15 | 2022-04-12 | 北京嘉沐安科技有限公司 | 一种面向智慧城市的新能源汽车异常停放大数据检测方法 |
CN115100450A (zh) * | 2022-08-26 | 2022-09-23 | 北京海上升科技有限公司 | 基于人工智能的智慧交通品牌汽车大数据检测方法及系统 |
CN115661833A (zh) * | 2022-10-11 | 2023-01-31 | 北京惠朗时代科技有限公司 | 一种基于简易拍照的目标商品大数据精准识别方法与系统 |
Non-Patent Citations (2)
Title |
---|
基于深度学习和稀疏组合的异常事件检测方法;齐华青;;电子测量技术(20);全文 * |
基于背景差分法的尾气烟度检测系统设计;薛梦;郧建平;梁赫西;艾勇;周凌林;裘兆炳;;电子技术应用(05);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116343137A (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110909598B (zh) | 一种基于深度学习的非机动车道交通违法行驶识别方法 | |
CN114332513B (zh) | 一种面向智慧城市的新能源汽车异常停放大数据检测方法 | |
CN109697397B (zh) | 一种目标检测方法及装置 | |
CN115100450B (zh) | 基于人工智能的智慧交通品牌汽车大数据检测方法及系统 | |
CN113963147B (zh) | 一种基于语义分割的关键信息提取方法及系统 | |
US11328586B2 (en) | V2X message processing for machine learning applications | |
Ravirathinam et al. | Automatic license plate recognition for indian roads using faster-rcnn | |
Azad et al. | New method for optimization of license plate recognition system with use of edge detection and connected component | |
CN111008554B (zh) | 一种基于深度学习的动态交通斑马线内不礼让行人识别方法 | |
CN115761701A (zh) | 激光雷达点云数据增强方法及装置、设备、存储介质 | |
Wang et al. | Real-time vehicle target detection in inclement weather conditions based on YOLOv4 | |
CN116343137B (zh) | 一种基于人工智能的尾气异常汽车大数据检测方法及系统 | |
CN116664505A (zh) | 一种车底部件完整性分析方法及装置 | |
CN117765486A (zh) | 模型训练、车道线检测方法、装置、电子设备及存储介质 | |
CN115713630A (zh) | 基于人工智能的低质量盖章图像大数据识别方法及系统 | |
CN115661784B (zh) | 一种面向智慧交通的交通标志图像大数据识别方法与系统 | |
CN114882552A (zh) | 基于深度学习的营运车内人员口罩佩戴状态检查方法 | |
Sugiharto et al. | Automated Detection of Driver and Passenger Without Seat Belt using YOLOv8. | |
CN112861874A (zh) | 一种基于多滤波器去噪结果的专家场去噪方法及系统 | |
CN108932453B (zh) | 一种车辆备胎检测方法及装置 | |
Yin et al. | Towards perspective-free pavement distress detection via deep learning | |
CN113516165B (zh) | 一种基于图像金字塔匹配后验的客户满意度判别方法 | |
Patel et al. | Driving with Deep Learning: A Robust Traffic Sign Detection and Classification System | |
CN117894292A (zh) | 基于人工智能的交通标志精准识别和语音提示方法及系统 | |
CN113255558A (zh) | 一种基于单幅图像的司机疲劳驾驶低耗识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |