CN115496918B - 基于计算机视觉的高速公路路况异常检测方法及系统 - Google Patents

基于计算机视觉的高速公路路况异常检测方法及系统 Download PDF

Info

Publication number
CN115496918B
CN115496918B CN202211432231.0A CN202211432231A CN115496918B CN 115496918 B CN115496918 B CN 115496918B CN 202211432231 A CN202211432231 A CN 202211432231A CN 115496918 B CN115496918 B CN 115496918B
Authority
CN
China
Prior art keywords
crack
window
characteristic
suspected
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211432231.0A
Other languages
English (en)
Other versions
CN115496918A (zh
Inventor
李镇
常志宏
郭子英
李永建
谷金
王健
王际涛
王川
张帅
任朝阳
谷丽蕊
康上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Hi Speed Co Ltd
Original Assignee
Shandong Hi Speed Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Hi Speed Co Ltd filed Critical Shandong Hi Speed Co Ltd
Priority to CN202211432231.0A priority Critical patent/CN115496918B/zh
Publication of CN115496918A publication Critical patent/CN115496918A/zh
Application granted granted Critical
Publication of CN115496918B publication Critical patent/CN115496918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像数据处理技术领域,具体涉及一种基于计算机视觉的高速公路路况异常检测方法及系统,该方法为:获取高速公路路面的灰度图像并进行尺度变换得到多张变换图像,将每张变换图像划分为多个子区域,根据每个子区域对应的海森矩阵得到疑似裂纹像素点,进而得到疑似裂纹区域;构建窗口在疑似裂纹区域中滑动,基于每个窗口内的疑似裂纹像素点的位置、窗口内疑似裂纹像素点与窗口中心点的欧式距离、窗口内疑似裂纹像素点的数量分别得到裂纹特征角度、裂纹间距指数以及裂纹数量指数,进而构建窗口对应的滤波器对相对于的窗口滤波,以得到裂纹特征图像;利用裂纹特征图像得到高速公路路面的裂纹异常区域,提高了裂纹异常区域检测的准确性。

Description

基于计算机视觉的高速公路路况异常检测方法及系统
技术领域
本发明涉及图像数据处理技术领域,具体涉及一种基于计算机视觉的高速公路路况异常检测方法及系统。
背景技术
近些年来随着国民经济水平的不断发展和提高,我国国内高速公路通车总里程早已位居世界前列。同时,高速公路里程也随着不同地区之间经济发展交流的日益频繁而飞速增长,给人们的日常生活带来了极大的便捷,但伴随而来的高速公路路况异常导致的交通事故和安全隐患问题仍不容忽视。
沥青结构路面具有多方面优点,例如易于养护、平整度好以及施工期短等,因此高速公路修建过程中大多采用沥青路面的结构形式;但由于沥青结构路面设计建设过程中容易受到外界施工质量的影响,同时由于长时间暴露于复杂多变的自然环境中,在实际通车后很容易导致路面出现不同程度的裂纹缺陷破损,尤其以车辙和横向裂纹为主,影响了高速公路路面的使用性能,增加了交通负荷。
现有对路面裂纹检测的方法大多是基于图像进行,可以较为便捷直观的识别出路面是否存在裂纹缺陷,节省了大量人力,但往往实际采集得到的图像中裂纹特征并不明显,基于裂纹特征不明显的图像进行裂纹缺陷识别会产生较大的误差,无法保证检测结果的准确度。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于计算机视觉的高速公路路况异常检测方法及系统,所采用的技术方案具体如下:
第一方面,本发明一个实施例提供了一种基于计算机视觉的高速公路路况异常检测方法,该方法包括以下步骤:
获取高速公路路面的灰度图像;
对所述灰度图像进行尺度变换得到对应的至少两张变换图像,将每张变换图像划分为至少两个子区域,构建每个所述子区域对应的海森矩阵,以得到每个所述子区域的特征值;
根据每个所述子区域的特征值获取所述子区域的疑似裂纹像素点,根据所有所述子区域的疑似裂纹像素点得到对应变换图像中的疑似裂纹区域;
构建窗口在所述疑似裂纹区域中滑动,基于每个窗口内的疑似裂纹像素点的位置获取对应窗口的裂纹特征角度,基于每个窗口内疑似裂纹像素点与窗口中心点的欧式距离得到裂纹间距指数,并基于每个窗口内疑似裂纹像素点的数量得到裂纹数量指数;根据所述裂纹特征角度、所述裂纹间距指数以及所述裂纹数量指数构建滤波器;
利用所述滤波器对相对应的窗口进行滤波得到窗口特征图像,基于所有所述窗口特征图像得到裂纹特征图像;
利用所述裂纹特征图像进行缺陷判别得到高速公路路面的裂纹异常区域。
优选的,所述根据每个所述子区域的特征值获取所述子区域的疑似裂纹像素点的步骤,包括:
每个所述子区域对应至少两个特征值,基于所述子区域的每个特征值获取对应的特征向量,所述特征向量的数量与特征值的数量一致;
选取特征值最小时对应的特征向量的方向为裂纹绵延方向,所述子区域中在所述裂纹绵延方向上的像素点为疑似裂纹像素点。
优选的,所述基于每个窗口内的疑似裂纹像素点的位置获取对应窗口的裂纹特征角度的步骤,包括:
以窗口内第一个疑似裂纹像素点为基准,计算窗口内其他疑似裂纹像素点与作为基准的疑似裂纹像素点之间的欧式距离,选取欧式距离的最大值对应的疑似裂纹区域为评估点;
连接所述评估点与作为基准的疑似裂纹像素点得到线段,线段的长度为对应的欧式距离;获取基准的疑似裂纹像素点与所述评估点之间在垂直方向上的垂直距离,所述垂直距离与线段的欧式距离的比值为窗口的裂纹特征角度。
优选的,所述基于每个窗口内疑似裂纹像素点与窗口中心点的欧式距离得到裂纹间距指数的步骤,包括:
计算窗口内所有疑似裂纹像素点与窗口中心点的欧式距离的平均值,所述平均值为裂纹间距指数。
优选的,所述基于每个窗口内疑似裂纹像素点的数量得到裂纹数量指数的步骤,包括:
统计窗口内像素点的总数量,窗口内疑似裂纹像素点的数量与所述总数量的比值为裂纹数量指数。
优选的,所述根据所述裂纹特征角度、所述裂纹间距指数以及所述裂纹数量指数构建滤波器的步骤,包括:
所述滤波器的函数表达式为:
Figure SMS_1
Figure SMS_2
Figure SMS_3
其中,
Figure SMS_5
表示窗口对应的裂纹特征角度;
Figure SMS_8
表示窗口对应的裂纹间距指数;
Figure SMS_10
表示窗口对应的裂纹数量指数;
Figure SMS_6
表示相位角;
Figure SMS_9
表示频域坐标;
Figure SMS_12
表示长宽比;
Figure SMS_14
表示自然常数;
Figure SMS_4
表示正弦函数;
Figure SMS_7
表示坐标;
Figure SMS_11
表示余弦函数;
Figure SMS_13
表示自然常数。
优选的,所述构建每个所述子区域对应的海森矩阵,以得到每个所述子区域的特征值的步骤,包括:
利用SVD算法对每个所述子区域对应的海森矩阵进行计算,得到所述子区域的特征值。
优选的,所述基于所有所述窗口特征图像得到裂纹特征图像的步骤,包括:
对所有变换图像中对应窗口的窗口特征图像进行加权求和得到局部裂纹特征图像;
其中,每个窗口特征图像的权重为:获取所述窗口特征图像对应窗口的所述裂纹数量指数与所述裂纹间距指数的比值,以所述比值的负数作为幂指数,以自然常数
Figure SMS_15
为底数构建指数函数,所述指数函数的倒数为所述窗口特征图像的权重;
变换图像中所有窗口对应的局部裂纹特征图像拼接得到裂纹区域特征图像;获取非疑似裂纹区域的图像,将非疑似裂纹区域的图像与所述裂纹区域特征图像拼接得到裂纹特征图像。
优选的,所述利用所述裂纹特征图像进行缺陷判别得到高速公路路面的裂纹异常区域的步骤,包括:
将所述裂纹特征图像输入训练完成的SVM判别器中,所述SVM判别器输出所述裂纹特征图像中每个疑似裂纹区域为裂纹异常区域的概率值,当所述概率值大于预设阈值时,对应所述疑似裂纹区域为裂纹异常区域。
第二方面,本发明另一个实施例提供了一种基于计算机视觉的高速公路路况异常检测系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器在执行所述计算机程序时,实现上述基于计算机视觉的高速公路路况异常检测方法中任意一项所述方法的步骤。
本发明具有如下有益效果:本发明实施例中对高速公路路面的灰度图像进行分析,首先将灰度图像进行尺度变换得到多张变换图像,根据多张变换图像对路面的情况进行分析,提高了分析的全面性,通过获取变换图像中每个子区域的海森矩阵,进而得到对应的特征值和特征向量,基于特征值和特征向量获取裂纹绵延方向进而识别出疑似裂纹像素点,结合各子区域的海森矩阵使得疑似裂纹像素点的选取更加可靠;由选取出的疑似裂纹像素点获取每张变换图像中的疑似裂纹区域,利用滑窗对疑似裂纹区域中每个局部窗口进行分析,通过窗口内包括的所有疑似裂纹像素点的空间位置以及数量等特征获取窗口对应的裂纹特征角度、裂纹间距指数以及裂纹数量指数,并基于窗口对应的裂纹特征角度、裂纹间距指数以及裂纹数量指数构建出窗口对应的滤波器,通过每个窗口自适应对应的滤波器进行滤波处理得到窗口特征图像,特征提取的较为准确并且每个滤波器是基于窗口自身疑似裂纹像素点获取,适应性更强,进而根据所有变换图像中特征信息明显的对应的窗口特征图像进行融合以得到灰度图像对应的裂纹特征图像,该裂纹特征图像中的特征信息表现较好,基于效果更好的裂纹特征图像进行路面裂纹异常的检测,减少了检测误差,确保了检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于计算机视觉的高速公路路况异常检测方法流程图;
图2为本发明一个实施例所提供的一种特征向量与裂纹绵延方向的关系示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于计算机视觉的高速公路路况异常检测方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本申请适用于对高速公路路面上裂纹缺陷的检测,下面结合附图具体的说明本发明所提供的一种基于计算机视觉的高速公路路况异常检测方法及系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于计算机视觉的高速公路路况异常检测方法流程图,该方法包括以下步骤:
步骤S100,获取高速公路路面的灰度图像。
为了能够获取实时的高速公路路况,及时发现异常情况并调整行车状态,避免事故的发生,本发明实施例中采用车载的行车记录仪对实际行驶路况进行拍摄采集,从而得到高速公路的路况对应的实时视频。为减少计算成本,提高异常检测结果的准确性和可靠性,对采集到的实时视频进行预处理,由于高速公路上的行驶状况复杂,且行车速度较快,为了更好的获取高速公路路况的图像信息,设置抽样的时间间隔,以该时间间隔对实时视频进行抽样处理,时间间隔设置为
Figure SMS_16
Figure SMS_17
为采集高速公路路况实时视频的实际驾驶车速;由此根据时间间隔在实时视频中进行抽样处理,得到每间隔
Figure SMS_18
时间的图像,对抽样出的高速公路路况对应的多帧图像分析。
进一步的,为了减少后续分析过程中噪声的影响,采用双边滤波方法对高速公路路况对应的图像进行滤波处理,尽可能消除和减弱拍摄过程中的随机噪声,避免噪声的额外干扰,提高异常检测的准确性。由于实际拍摄的图像为RGB图像,为便于对图像数据进行处理,对双边滤波降噪后的图像进行灰度化得到对应的灰度图像,双边滤波方法与灰度化均为现有公知手段,灰度化处理的具体方法实施者可自行选取,本发明实施例中利用加权平均法对图像进行灰度化处理,以得到每帧滤波处理后的图像的灰度图像,基于灰度图像进行高速公路路面状况是否存在异常进行检测。
步骤S200,对灰度图像进行尺度变换得到对应的至少两张变换图像,将每张变换图像划分为至少两个子区域,构建每个子区域对应的海森矩阵,以得到每个子区域的特征值。
由于自然场景中多变的环境以及长时间通车碾压会导致高速公路出现裂纹破损的异常缺陷情况,因此为了对高速公路路面的裂纹区域进行检测识别,对高速公路对应的每帧灰度图像进行分析,以获取该帧灰度图像对应的高速公路路面区域是否存在裂纹缺陷。
考虑到实际拍摄的角度问题,在获取的原始高速公路表面的灰度图像可能存在裂纹缺陷不明显的情况,因此本发明实施例对每帧灰度图像进行尺度变换,得到对应的多个尺度的变换图像,由于不同的尺度会呈现不同的细节信息,因此利用每帧灰度图像对应的多个变换图像进行分析,更充分的提取高速公路路面的特征信息,以提高对裂纹异常缺陷检测的可靠度。
假设高速公路对应的原始的灰度图像为
Figure SMS_19
,在变换尺度
Figure SMS_20
下对应的变换图像为:
Figure SMS_21
其中,
Figure SMS_22
表示变换图像;
Figure SMS_23
表示卷积操作;
Figure SMS_24
表示变换尺度
Figure SMS_25
对应的高斯变换函数,灰度图像会随着高斯变换函数中变换尺度
Figure SMS_26
的取值发生相应的变化,高斯变换函数为:
Figure SMS_27
其中,
Figure SMS_28
为自然常数;
Figure SMS_29
表示像素点坐标;
Figure SMS_30
表示自然常数;当变换尺度
Figure SMS_31
时,对应的变换图像即为原始的灰度图像,当变换尺度
Figure SMS_32
取值越大时,对应原始的灰度图像的多余特征信息会被抑制,裂纹缺陷的特征信息会被凸显。
作为一个优选示例,本发明实施例中设置变换尺度
Figure SMS_33
分为别16、64和128,也即是基于三个变换尺度
Figure SMS_34
的高斯变换函数对原始的灰度图像进行卷积操作得到对应的变换图像,且所有变换图像的大小与原始的灰度图像的大小一致,利用高斯变换函数对原始图像进行卷积操作的方法为现有公知手段,不再详细说明。
对获取的每个变换图像中的特征信息进行提取,由于海森矩阵可以较好的处理图像中的特征信息,因此本发明实施例中通过构建变换图像中的海森矩阵来获取变换图像中裂纹特征的特征信息;将变换图像均分为多个子区域,每个子区域构建一个对应的海森矩阵,作为一个优选示例,设置子区域的大小为2*2,则每个子区域都可对应得到一个大小为2*2的海森矩阵,海森矩阵的构建为公知技术,不再详细说明;最终每个子区域对应的海森矩阵的表示为:
Figure SMS_35
其中,
Figure SMS_38
表示子区域在
Figure SMS_40
方向上的二阶偏导数;
Figure SMS_42
表示区域在
Figure SMS_37
方向上的二阶偏导数;
Figure SMS_39
Figure SMS_43
分别表示子区域在
Figure SMS_44
方向上的混合偏导数,且
Figure SMS_36
Figure SMS_41
表示海森矩阵,其中每个偏导数的计算方法为公知技术,不再赘述。
海森矩阵是二维正定矩阵,其对应有两个特征值和两个特征向量;两个特征值表示了图像在两个特征向量所指方向上图形曲率大小和方向,即各向异性;本发明实施例中采用SVD算法获取海森矩阵的特征值,则通过SVD算法对变换图像中每个海森矩阵进行计算均可得到两个特征值,将特征值分别表示为
Figure SMS_45
Figure SMS_46
;通过两个特征值可对应得到两个特征向量,特征向量分别表示为
Figure SMS_47
Figure SMS_48
,通过特征值获取特征向量的方法为数学计算的常识,不再详细推理。
以此类推,获取每张变换图像中每个子区域对应的海森矩阵,并基于每个子区域对应的海森矩阵获取对应的特征值和特征向量。
步骤S300,根据每个子区域的特征值获取子区域的疑似裂纹像素点,根据所有子区域的疑似裂纹像素点得到对应变换图像中的疑似裂纹区域。
由于海森矩阵为二维正定矩阵,因此通过两个特征值得到的两个特征向量必定相互正交;每个子区域对应至少两个特征值,基于子区域的每个特征值获取对应的特征向量,特征向量的数量与特征值的数量一致;选取特征值最大时对应的特征向量的方向为裂纹绵延方向,子区域中在裂纹绵延方向上的像素点为疑似裂纹像素点。
由于二阶导数可反映出子区域内梯度变化的快慢,当特征值
Figure SMS_49
时,对应的特征向量
Figure SMS_50
Figure SMS_51
会存在如图2所示的方向关系,较大的特征值对应二阶偏导数较大的特征,梯度变化大,与裂纹垂直;较小的特征值对应二阶偏导数较小的特征,梯度变化小,与裂纹走向一致;也即是较大特征值
Figure SMS_52
对应的特征向量
Figure SMS_53
与高速公路路面的裂纹绵延方向垂直,较小特征值
Figure SMS_54
对应的特征向量
Figure SMS_55
与高速公路路面的裂纹绵延方向一致。
根据海森矩阵中的较小特征值对应的特征向量的方向找出裂纹绵延方向,并将子区域内在裂纹绵延方向上的像素点标记为疑似裂纹像素点;裂纹绵延方向是以图像坐标系的原点为基础的方向,图像坐标系的原点为左上角第一个点;以此类推,可根据每个子区域对应海森矩阵得到该子区域中的疑似裂纹像素点,以此得到变换图像中所有的疑似裂纹像素点;对所有的疑似裂纹像素点进行连通域分析可得到至少一个疑似裂纹连通域,获取疑似裂纹连通域的最小外接矩形,该最小外接矩形对应的区域即为变换图像中的疑似裂纹区域;以此类推,可得到不同变换图像中的疑似裂纹区域。
步骤S400,构建窗口在疑似裂纹区域中滑动,基于每个窗口内的疑似裂纹像素点的位置获取对应窗口的裂纹特征角度,基于每个窗口内疑似裂纹像素点与窗口中心点的欧式距离得到裂纹间距指数,并基于每个窗口内疑似裂纹像素点的数量得到裂纹数量指数;根据裂纹特征角度、裂纹间距指数以及裂纹数量指数构建滤波器。
由步骤S300中得到每张变换图像中的疑似裂纹区域,进一步对疑似裂纹区域中的信息进行分析提取,在疑似裂纹区域中判断是否存在缺陷。构建任意大小的窗口在每个疑似裂纹区域中滑动,本发明实施例中设定窗口的大小为9*9,滑动步长为1,也即是以疑似裂纹区域中每个像素点为窗口中心点构建9*9的窗口,对疑似裂纹区域中所有的窗口进行分析。
首先,计算每个窗口内的裂纹特征角度,由于窗口是疑似裂纹区域中的一部分区域,并且疑似裂纹区域中包括较多的疑似裂纹像素点,则每个窗口内也会存在疑似裂纹像素点,以窗口内第一个疑似裂纹像素点为基准,计算窗口内其他疑似裂纹像素点与作为基准的疑似裂纹像素点之间的欧式距离,选取欧式距离的最大值对应的疑似裂纹区域为评估点;连接评估点与作为基准的疑似裂纹像素点得到线段,线段的长度为对应的欧式距离;获取基准的疑似裂纹像素点与评估点之间在垂直方向上的垂直距离,获取垂直距离与线段的欧式距离的比值,对该比值进行反余弦函数计算得到窗口的裂纹特征角度。
具体的,以窗口内第一个疑似裂纹像素点
Figure SMS_57
作为基准,选取窗口内其他疑似裂纹像素点与该疑似裂纹像素点
Figure SMS_60
之间的欧式距离,选取欧式距离最大的疑似裂纹像素点作为评估点,连接疑似裂纹像素点
Figure SMS_62
与该评估点得到一条线段,并且最大的欧式距离为该线段的长度,记为
Figure SMS_58
;由于疑似裂纹像素点
Figure SMS_59
与评估点的分布不同,获取疑似裂纹像素点
Figure SMS_63
在垂直方向上与评估点之间的垂直距离记为
Figure SMS_64
,则根据该垂直距离
Figure SMS_56
以及连接线段的欧式距离
Figure SMS_61
获取该窗口的裂纹特征角度,裂纹特征角度的计算为:
Figure SMS_65
其中,
Figure SMS_66
表示疑似裂纹像素点
Figure SMS_67
与评估点之间连接线段的欧式距离;
Figure SMS_68
表示疑似裂纹像素点
Figure SMS_69
与评估点之间的垂直距离;
Figure SMS_70
表示裂纹特征角度,裂纹特征角度的角度值越大,说明裂纹弯曲的越明显;
Figure SMS_71
表示反余弦函数计算,目的是将距离的比值转换为对应的角度值。
然后,获取每个窗口内的裂纹间距指数,用于反映窗口内疑似裂纹像素点分布的密集程度,分布的越密集则对应窗口内的裂纹缺陷情况越严重;计算窗口内所有疑似裂纹像素点与窗口中心点的欧式距离的平均值,平均值为裂纹间距指数。
具体的,统计窗口内所有疑似裂纹像素点的数量,将疑似裂纹像素点的数量记为
Figure SMS_72
,计算窗口内每个疑似裂纹像素点与该窗口的中心像素点
Figure SMS_73
之间的欧式距离,根据窗口内所有疑似裂纹像素点与中心像素点
Figure SMS_74
之间的欧式距离的均值作为该窗口的裂纹间距指数,即裂纹间距指数为:
Figure SMS_75
其中,
Figure SMS_77
表示窗口对应的裂纹间距指数;
Figure SMS_79
表示窗口内所有疑似裂纹像素点的数量;
Figure SMS_81
表示欧式距离的计算;
Figure SMS_78
表示窗口内第
Figure SMS_80
个疑似裂纹像素点与中心像素点
Figure SMS_82
之间的欧式距离;
Figure SMS_83
表示窗口内所有疑似裂纹像素点与中心像素点
Figure SMS_76
之间的欧式距离的求和结果,该求和结果越小,表明窗口内疑似裂纹像素点与中心像素点位置的偏离越小,也就是疑似裂纹像素点的分布越密集,存在裂纹缺陷的可能性越大。
进一步的,统计窗口内像素点的总数量,窗口内疑似裂纹像素点的数量与总数量的比值为裂纹数量指数。也即是获取窗口内疑似裂纹像素点的占比作为该窗口内的裂纹数量指数,已知窗口内疑似裂纹像素点的数量为
Figure SMS_84
,则根据窗口内所有疑似裂纹像素点的数量在窗口内的占比得到裂纹数量指数,即裂纹数量指数为:
Figure SMS_85
其中,
Figure SMS_86
表示窗口的裂纹数量指数;
Figure SMS_87
表示窗口内疑似裂纹像素点的数量;
Figure SMS_88
表示窗口内所有像素点的数量,本发明实施例中
Figure SMS_89
;当
Figure SMS_90
的取值越大时,表明窗口内疑似裂纹像素点的数量占比越大,存在裂纹缺陷的可能性越大,则对应的裂纹数量指数越大。
在对图像特征进行提取时常用的方法包括Gabor滤波,但该方法往往在不同场景的处理下会产生误差,因此根据每个窗口对应的裂纹特征角度、裂纹间距指数以及裂纹数量指数构建适应于本实施例场景的Gabor滤波器,基于更能够代表窗口内裂纹特征的指标对Gabor滤波器中的参数进行修改,以使得通过Gabor滤波器进行增强变换的图像与实际场景结合的更加紧密,提高对高速公路路况上识别的精度。基于窗口内裂纹特征角度、裂纹间距指数以及裂纹数量指数构建的Gabor滤波器的函数表达式为:
Figure SMS_91
Figure SMS_92
Figure SMS_93
其中,
Figure SMS_96
表示裂纹特征角度;
Figure SMS_99
表示窗口对应的裂纹间距指数;
Figure SMS_103
表示窗口的裂纹数量指数;
Figure SMS_95
表示相位角,取经验值为
Figure SMS_100
Figure SMS_101
表示频域坐标;
Figure SMS_105
表示长宽比,决定着Gabor核函数图像的椭圆率;
Figure SMS_94
表示自然常数;
Figure SMS_98
表示正弦函数;
Figure SMS_102
表示余弦函数;
Figure SMS_104
表示坐标;
Figure SMS_97
表示自然常数。
需要说明的是,Gabor滤波器的函数表达式为公知技术,本发明实施例中通过改变函数表达式中的部分参数以使得该滤波器更加适用于本实施例的场景。
基于相同的方法,可得到变换函数中每个窗口对应的裂纹特征角度、裂纹间距指数以及裂纹数量指数,则根据每个窗口对应的裂纹特征角度、裂纹间距指数以及裂纹数量指数可构建出该窗口对应的Gabor滤波器,以每个窗口对应的Gabor滤波器可完成对每个窗口的特征提取,也即是对窗口内每个像素点利用该窗口对应的Gabor滤波器进行滤波处理得到对应的裂纹特征值,具体手段为现有公知技术,不再赘述。
步骤S500,利用滤波器对相对应的窗口进行滤波得到窗口特征图像,基于所有窗口特征图像得到裂纹特征图像。
由于高速公路上均为高速行驶,在行驶过程中,若拍摄角度存在变化,则会对高速公路路面上实际存在的某个裂纹特征提取造成差异,也即是在灰度图像对应的多个变换图像中的特征提取可能存在不同,因此根据多个变化图像中的特征进行融合得到融合后的裂纹特征图像。
考虑到疑似裂纹区域中每个窗口均可对应到变换图像中得到相应的窗口图像,因此Gabor滤波器对窗口图像中每个像素点进行滤波处理后可得到对应的裂纹特征值,窗口图像中所有像素点的裂纹特征值构成窗口特征图像;选取每个变换图像中对应窗口的窗口特征图像,所有变换图像中对应窗口的窗口特征图像进行加权求和得到局部裂纹特征图像;其中,每个窗口特征图像的权重为:获取窗口特征图像对应窗口的裂纹数量指数与裂纹间距指数的比值,以比值的负数作为幂指数,以自然常数
Figure SMS_106
为底数构建指数函数,指数函数的倒数为窗口特征图像的权重;变换图像中所有窗口对应的局部裂纹特征图像拼接得到裂纹区域特征图像;获取非疑似裂纹区域的图像,将非疑似裂纹区域的图像与裂纹区域特征图像拼接得到裂纹特征图像。
具体的,本发明实施例中变换尺度
Figure SMS_108
分为别16、64和128,且变换图像的大小与灰度图像大小一致;在变换尺度
Figure SMS_112
时,变换后的图像实质为原始的灰度图像,则该变换图像中疑似裂纹区域中每个窗口均可根据其对应的Gabor滤波器获取窗口特征图像内每个像素点对应的裂纹特征值,以此可获取灰度图像的疑似裂纹区域中每个窗口对应的窗口特征图像;同理,在变换尺度
Figure SMS_116
Figure SMS_110
以及
Figure SMS_113
对应的变换图像中,根据疑似缺陷区域中每个窗口对应的Gabor滤波器获取窗口特征图像,则每个窗口位置共对应4张窗口特征图像,分别标记为:
Figure SMS_115
Figure SMS_119
Figure SMS_107
以及
Figure SMS_111
Figure SMS_117
Figure SMS_118
Figure SMS_109
Figure SMS_114
根据4张窗口特征图像的融合得到每个窗口最终的局部裂纹特征图像,窗口特征图像融合的方法是对4张窗口特征图像进行加权求和再求平均,以得到最终的局部裂纹特征图像,局部裂纹特征图像的具体计算以及每个窗口特征图像的权重的获取为:
Figure SMS_120
Figure SMS_121
其中,
Figure SMS_122
表示局部裂纹特征图像;
Figure SMS_126
表示变换尺度
Figure SMS_132
对应的变换图像中的窗口特征图像;
Figure SMS_125
表示变换尺度
Figure SMS_128
对应的变换图像中的窗口特征图像的权重;
Figure SMS_133
表示变换尺度
Figure SMS_135
对应的变换图像中的窗口的裂纹间距指数;
Figure SMS_123
表示变换尺度
Figure SMS_129
对应的变换图像中的窗口的裂纹数量指数;
Figure SMS_131
表示自然常数;
Figure SMS_134
表示裂纹数量指数与裂纹间距指数的比值,裂纹间距指数越小,且裂纹数量指数越大时,该项的取值越大,也即是为窗口内包含裂纹特征的可能性越大;
Figure SMS_124
的取值越大,则
Figure SMS_127
的取值越小,进而
Figure SMS_130
的取值越大,也即是窗口内包含裂纹特征的可能性越大,则该窗口特征图像的权重越大。
根据所有变换图像中疑似裂纹区域的所有窗口特征图像分别进行融合得到局部裂纹特征图像,所有局部裂纹图像的拼接得到疑似裂纹区域对应的裂纹区域特征图像,裂纹区域特征图像与非疑似裂纹区域的图像进行拼接即可得到灰度图像对应的裂纹特征图像。
步骤S600,利用裂纹特征图像进行缺陷判别得到高速公路路面的裂纹异常区域。
基于上述步骤S500得到高速公路上每帧灰度图像对应的裂纹特征图像,该裂纹特征图像较好的表达出了中的裂纹信息,基于效果更好的裂纹特征图像进行高速公路路面上裂纹的判断。
本发明实施例中采用训练完成的SVM判别器进行路面上裂纹的判断,将步骤S300中得到的疑似裂纹区域对应到该裂纹特征图像上,裂纹特征图像输入训练完成的SVM判别器中可得到每个疑似裂纹区域为裂纹异常区域的概率值,当训练完成的SVM判别器输出疑似裂纹区域的概率值大于预设阈值0.85时,判定该疑似裂纹区域为裂纹异常区域。
需要说明的是,预设阈值的设置实施者可根据实际情况进行调整,0.85为本实施例中给出的一种优选示例。
其中,SVM判别器的训练集是由人为标定好的真实可靠的高速公路缺陷图像构成的,使用SMO优化算法,同时采用合页损失(Hinge Loss)对SVM判别器进行训练优化,具体训练过程为现有公知技术,不再赘述。
综上所述,本发明实施例通过获取高速公路路面的灰度图像;对灰度图像进行尺度变换得到对应的至少两张变换图像,将每张变换图像划分为至少两个子区域,构建每个子区域对应的海森矩阵,以得到每个子区域的特征值;根据每个子区域的特征值获取子区域的疑似裂纹像素点,根据所有子区域的疑似裂纹像素点得到对应变换图像中的疑似裂纹区域;构建窗口在疑似裂纹区域中滑动,基于每个窗口内的疑似裂纹像素点的位置获取对应窗口的裂纹特征角度,基于每个窗口内疑似裂纹像素点与窗口中心点的欧式距离得到裂纹间距指数,并基于每个窗口内疑似裂纹像素点的数量得到裂纹数量指数;根据裂纹特征角度、裂纹间距指数以及裂纹数量指数构建滤波器;利用滤波器对相对应的窗口进行滤波得到窗口特征图像,基于所有窗口特征图像得到裂纹特征图像;利用裂纹特征图像进行缺陷判别得到高速公路路面的裂纹异常区域,提高了裂纹异常区域检测的准确度。
基于与上述方法实施例相同的发明构思,本发明实施例还提供了一种基于计算机视觉的高速公路路况异常检测系统,该系统包括:存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述一种基于计算机视觉的高速公路路况异常检测方法实施例中的步骤,例如图1所示的步骤。该一种基于计算机视觉的高速公路路况异常检测方法在上述实施例中已经详细说明,不再赘述。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于计算机视觉的高速公路路况异常检测方法,其特征在于,该方法包括以下步骤:
获取高速公路路面的灰度图像;
对所述灰度图像进行尺度变换得到对应的至少两张变换图像,将每张变换图像划分为至少两个子区域,构建每个所述子区域对应的海森矩阵,以得到每个所述子区域的特征值;
根据每个所述子区域的特征值获取所述子区域的疑似裂纹像素点,根据所有所述子区域的疑似裂纹像素点得到对应变换图像中的疑似裂纹区域;
构建窗口在所述疑似裂纹区域中滑动,基于每个窗口内的疑似裂纹像素点的位置获取对应窗口的裂纹特征角度,基于每个窗口内疑似裂纹像素点与窗口中心点的欧式距离得到裂纹间距指数,并基于每个窗口内疑似裂纹像素点的数量得到裂纹数量指数;根据所述裂纹特征角度、所述裂纹间距指数以及所述裂纹数量指数构建滤波器;
利用所述滤波器对相对应的窗口进行滤波得到窗口特征图像,基于所有所述窗口特征图像得到裂纹特征图像;
利用所述裂纹特征图像进行缺陷判别得到高速公路路面的裂纹异常区域;
其中,所述基于每个窗口内的疑似裂纹像素点的位置获取对应窗口的裂纹特征角度的步骤,包括:
以窗口内第一个疑似裂纹像素点为基准,计算窗口内其他疑似裂纹像素点与作为基准的疑似裂纹像素点之间的欧式距离,选取欧式距离的最大值对应的疑似裂纹像素点为评估点;
连接所述评估点与作为基准的疑似裂纹像素点得到线段,线段的长度为对应的欧式距离;获取基准的疑似裂纹像素点与所述评估点之间在垂直方向上的垂直距离,获取所述垂直距离与线段的欧式距离的比值,并对所述比值进行反余弦函数计算得到窗口的裂纹特征角度。
2.根据权利要求1所述的一种基于计算机视觉的高速公路路况异常检测方法,其特征在于,所述根据每个所述子区域的特征值获取所述子区域的疑似裂纹像素点的步骤,包括:
每个所述子区域对应至少两个特征值,基于所述子区域的每个特征值获取对应的特征向量,所述特征向量的数量与特征值的数量一致;
选取特征值最小时对应的特征向量的方向为裂纹绵延方向,所述子区域中在所述裂纹绵延方向上的像素点为疑似裂纹像素点。
3.根据权利要求1所述的一种基于计算机视觉的高速公路路况异常检测方法,其特征在于,所述基于每个窗口内疑似裂纹像素点与窗口中心点的欧式距离得到裂纹间距指数的步骤,包括:
计算窗口内所有疑似裂纹像素点与窗口中心点的欧式距离的平均值,所述平均值为裂纹间距指数。
4.根据权利要求1所述的一种基于计算机视觉的高速公路路况异常检测方法,其特征在于,所述基于每个窗口内疑似裂纹像素点的数量得到裂纹数量指数的步骤,包括:
统计窗口内像素点的总数量,窗口内疑似裂纹像素点的数量与所述总数量的比值为裂纹数量指数。
5.根据权利要求1所述的一种基于计算机视觉的高速公路路况异常检测方法,其特征在于,所述根据所述裂纹特征角度、所述裂纹间距指数以及所述裂纹数量指数构建滤波器的步骤,包括:
所述滤波器的函数表达式为:
Figure DEST_PATH_IMAGE001
Figure DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE005
其中,
Figure 649513DEST_PATH_IMAGE006
表示窗口对应的裂纹特征角度;
Figure DEST_PATH_IMAGE007
表示窗口对应的裂纹间距指数;
Figure 570195DEST_PATH_IMAGE008
表示窗口对 应的裂纹数量指数;
Figure DEST_PATH_IMAGE009
表示相位角;
Figure 44033DEST_PATH_IMAGE010
表示频域坐标;
Figure DEST_PATH_IMAGE011
表示长宽比;
Figure 327247DEST_PATH_IMAGE012
表示自然常数;
Figure DEST_PATH_IMAGE013
表示正弦函数;
Figure 508566DEST_PATH_IMAGE014
表示坐标;
Figure DEST_PATH_IMAGE015
表示余弦函数;
Figure 916544DEST_PATH_IMAGE016
表示自然常数。
6.根据权利要求1所述的一种基于计算机视觉的高速公路路况异常检测方法,其特征在于,所述构建每个所述子区域对应的海森矩阵,以得到每个所述子区域的特征值的步骤,包括:
利用SVD算法对每个所述子区域对应的海森矩阵进行计算,得到所述子区域的特征值。
7.根据权利要求1所述的一种基于计算机视觉的高速公路路况异常检测方法,其特征在于,所述基于所有所述窗口特征图像得到裂纹特征图像的步骤,包括:
对所有变换图像中对应窗口的窗口特征图像进行加权求和得到局部裂纹特征图像;
其中,每个窗口特征图像的权重为:获取所述窗口特征图像对应窗口的所述裂纹数量 指数与所述裂纹间距指数的比值,以所述比值的负数作为幂指数,以自然常数
Figure 53128DEST_PATH_IMAGE012
为底数构建 指数函数,所述指数函数的倒数为所述窗口特征图像的权重;
变换图像中所有窗口对应的局部裂纹特征图像拼接得到裂纹区域特征图像;获取非疑似裂纹区域的图像,将非疑似裂纹区域的图像与所述裂纹区域特征图像拼接得到裂纹特征图像。
8.根据权利要求1所述的一种基于计算机视觉的高速公路路况异常检测方法,其特征在于,所述利用所述裂纹特征图像进行缺陷判别得到高速公路路面的裂纹异常区域的步骤,包括:
将所述裂纹特征图像输入训练完成的SVM判别器中,所述SVM判别器输出所述裂纹特征图像中每个疑似裂纹区域为裂纹异常区域的概率值,当所述概率值大于预设阈值时,对应所述疑似裂纹区域为裂纹异常区域。
9.一种基于计算机视觉的高速公路路况异常检测系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器在执行所述计算机程序时,实现如权利要求1-8任意一项所述方法的步骤。
CN202211432231.0A 2022-11-16 2022-11-16 基于计算机视觉的高速公路路况异常检测方法及系统 Active CN115496918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211432231.0A CN115496918B (zh) 2022-11-16 2022-11-16 基于计算机视觉的高速公路路况异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211432231.0A CN115496918B (zh) 2022-11-16 2022-11-16 基于计算机视觉的高速公路路况异常检测方法及系统

Publications (2)

Publication Number Publication Date
CN115496918A CN115496918A (zh) 2022-12-20
CN115496918B true CN115496918B (zh) 2023-03-21

Family

ID=85115858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211432231.0A Active CN115496918B (zh) 2022-11-16 2022-11-16 基于计算机视觉的高速公路路况异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN115496918B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861294B (zh) * 2023-02-09 2023-05-16 山东天意机械股份有限公司 一种基于计算机视觉的混凝土生产异常检测方法及装置
CN116052008B (zh) * 2023-04-03 2023-06-02 华南理工大学 一种建筑废弃物分拣与处理系统
CN116152749B (zh) * 2023-04-20 2023-06-23 青岛义龙包装机械有限公司 基于数字孪生的齿轮磨损智能监测方法
CN116228601B (zh) * 2023-05-08 2023-07-21 山东中都机器有限公司 一种火车双向平煤的平煤效果视觉监控方法
CN116228775B (zh) * 2023-05-10 2023-07-04 实德电气集团有限公司 基于机器视觉的接触器完整性检测方法
CN116342586B (zh) * 2023-05-17 2023-08-04 中铁九局集团第一建设有限公司 基于机器视觉的路面质量检测方法
CN116309578B (zh) * 2023-05-19 2023-08-04 山东硅科新材料有限公司 一种应用硅烷偶联剂的塑料耐磨性图像辅助检测方法
CN116612470B (zh) * 2023-07-17 2023-09-26 临沂农业科技职业学院(筹) 一种基于视觉特征的面包检测方法以及系统
CN117173661B (zh) * 2023-11-02 2024-01-26 中铁五局集团成都工程有限责任公司 基于计算机视觉的沥青道路质量检测方法
CN117557873B (zh) * 2024-01-12 2024-04-05 四川高速公路建设开发集团有限公司 一种基于图像识别的隧道掌子面裂隙识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998323A (zh) * 2022-07-19 2022-09-02 南通飞旋智能科技有限公司 基于注意力机制的螺纹钢异常判定方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5806786B1 (ja) * 2015-04-17 2015-11-10 ヴィスコ・テクノロジーズ株式会社 画像認識装置
JP6969865B2 (ja) * 2016-09-07 2021-11-24 東芝インフラシステムズ株式会社 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム
EP3596449A4 (en) * 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING AUTOMATIC LEARNING ALGORITHMS
CN113538433B (zh) * 2021-09-17 2021-11-26 海门市创睿机械有限公司 基于人工智能的机械铸件缺陷检测方法及系统
CN114723704B (zh) * 2022-04-01 2023-04-18 绍兴乾雍纺织有限公司 一种基于图像处理的纺织品质量评估方法
CN114926410A (zh) * 2022-04-29 2022-08-19 江苏永占管道科技有限公司 制动盘外观缺陷检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998323A (zh) * 2022-07-19 2022-09-02 南通飞旋智能科技有限公司 基于注意力机制的螺纹钢异常判定方法

Also Published As

Publication number Publication date
CN115496918A (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN115496918B (zh) 基于计算机视觉的高速公路路况异常检测方法及系统
CN109743879B (zh) 一种基于动态红外热像图处理的地下管廊渗漏检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
Juneja et al. Performance evaluation of edge detection techniques for images in spatial domain
CN110781885A (zh) 基于图像处理的文本检测方法、装置、介质及电子设备
CN108182383B (zh) 一种车窗检测的方法及设备
CN108664840A (zh) 图像识别方法及装置
CN114549981A (zh) 一种基于深度学习的智能巡检指针式仪表识别及读数方法
CN107665348B (zh) 一种变电站数字仪表的数字识别方法和装置
CN109635733B (zh) 基于视觉显著性和队列修正的停车场和车辆目标检测方法
CN108257125B (zh) 一种基于自然场景统计的深度图像质量无参考评价方法
CN114998310B (zh) 基于图像处理的显著性检测方法及系统
CN112862744B (zh) 一种基于超声图像的电容内部缺陷智能检测方法
CN115909256B (zh) 基于道路视觉图像的道路病害检测方法
CN113537211A (zh) 一种基于非对称iou的深度学习车牌框定位方法
CN114926441A (zh) 一种注塑件加工成型的缺陷检测方法及系统
CN113239733A (zh) 一种多车道车道线检测方法
CN111598845A (zh) 基于深度学习与neo-6m定位模块的路面裂缝检测与定位的方法
CN110348307B (zh) 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统
Adu-Gyamfi et al. Functional evaluation of pavement condition using a complete vision system
CN113408519A (zh) 一种基于模板旋转匹配的指针仪表读数的方法及系统
CN117197700A (zh) 智能化无人巡检接触网缺陷识别系统
CN115761606A (zh) 基于图像处理的箱体电能表识别方法及装置
Wang et al. Fast Blur Detection Algorithm for UAV Crack Image Sets
CN113822361B (zh) 一种基于汉明距离的sar图像相似程度度量方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant