CN113191269B - 一种基于5g+ai智能分析的路面路况实时监测方法 - Google Patents

一种基于5g+ai智能分析的路面路况实时监测方法 Download PDF

Info

Publication number
CN113191269B
CN113191269B CN202110483062.2A CN202110483062A CN113191269B CN 113191269 B CN113191269 B CN 113191269B CN 202110483062 A CN202110483062 A CN 202110483062A CN 113191269 B CN113191269 B CN 113191269B
Authority
CN
China
Prior art keywords
image data
road surface
analysis
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110483062.2A
Other languages
English (en)
Other versions
CN113191269A (zh
Inventor
吴宗魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Wiscom Vision Technology Co ltd
Original Assignee
Nanjing Wiscom Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Wiscom Vision Technology Co ltd filed Critical Nanjing Wiscom Vision Technology Co ltd
Priority to CN202110483062.2A priority Critical patent/CN113191269B/zh
Publication of CN113191269A publication Critical patent/CN113191269A/zh
Application granted granted Critical
Publication of CN113191269B publication Critical patent/CN113191269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/048Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30132Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于5G+AI智能分析的路面路况实时监测方法,包括根据装置行驶距离,采集路面图像数据;对所述采集到的图像数据进行数据分析;根据分析后的所述图像数据,判断路面是否异常。本发明方法一方面能够实现任意变化车速状况下的数据采集,对无效的重复数据自动过滤,在降低采集数据量的同时,提升数据采集的便携性和采集效率,另一方面减少了后端数据分析量,从而使得数据分析效率更高。

Description

一种基于5G+AI智能分析的路面路况实时监测方法
技术领域
本发明涉及路面分析的技术领域,尤其涉及一种基于5G+AI智能分析的路面路况实时监测方法。
背景技术
当前,路面路况的智能化识别主要基于AI技术,对采集影像进行分析,从而检测出目标病害。但是现有的进行图像采集检测的方法,需要车辆尽可能保持匀速采集,且采集数据量大。由于在实际应用中,受交通现场实际情况(如:拥堵、红绿灯等)影响,很难保证采集速度长期处于匀速状态,使得现有技术在应用过程中受到一定程度的限制,使用不够方便,此外,不加区分的统一采集会使采集数据中有大量重复冗余数据,大量数据需要上传后台,也会造成传输时间增加,并且后端需要进行大量数据处理,使得数据处理和分析时间增加,导致数据采集后的传输及分析需耗费较多时间,降低工作效率。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有路面图像采集及处理中存在的问题,提出了本发明。
因此,本发明解决的技术问题是:传统的图像采集包括视频采集和定时采集,采集到的图像数据量大,会产生大量重复和冗余数据,并且定时采集时,若装置速度过快,间隔时间不够短,则相邻采集的两张照片没有重叠,会漏掉一部分路面数据无法采集到,若车速过慢,则相邻采集的两张照片重叠过多,导致重复冗余数据过多,若车速时快时慢,则会导致采集遗漏和采集重复两种情况均会出现,会给图像的分析工作带来大量麻烦,降低工作效率。
为解决上述技术问题,本发明提供如下技术方案:根据装置行驶距离,采集路面图像数据;对所述采集到的图像数据进行轻量化数据分析;根据分析后的所述图像数据,判断路面是否异常。
作为本发明所述的基于5G+AI智能分析的路面路况实时监测方法的一种优选方案,其中:所述根据装置行驶距离采集路面图像数据包括,根据所述装置行驶距离,采用等间距算法,实现路面图像的采集。
作为本发明所述的基于5G+AI智能分析的路面路况实时监测方法的一种优选方案,其中:所述等间距算法包括,所述装置在速度条件下,采集路面图像数据;在所述采集路面图像数据时,对装置的行进位置进行实时定位;判断所述实时定位与上一张照片定位的行进距离是否超出设定阈值;超出则触发下一次图像采集。
作为本发明所述的基于5G+AI智能分析的路面路况实时监测方法的一种优选方案,其中:所述采集路面图像数据包括,计算采集到的第一张图像中覆盖的路面长度。
作为本发明所述的基于5G+AI智能分析的路面路况实时监测方法的一种优选方案,其中:所述判断是否超出设定阈值包括,设定所述第一张图像中覆盖的路面长度为L,为保障对路面的图像采集不会产生遗漏,所述设定阈值取值的计算公式为如下:
T=L-L*O
其中:T为设定的阈值,O为相邻两张图片的重合度。
作为本发明所述的基于5G+AI智能分析的路面路况实时监测方法的一种优选方案,其中:所述重合度包括,将所述相邻两张图片的重合度设置为15%。
作为本发明所述的基于5G+AI智能分析的路面路况实时监测方法的一种优选方案,其中:所述数据分析包括,使用AI服务器,利用YOLO算法对所述采集到的图像数据进行轻量化分析,判断路面是否异常,再将判断出异常的图像数据传输至高精度的深度学习算法,进一步判断路面异常情况。
作为本发明所述的基于5G+AI智能分析的路面路况实时监测方法的一种优选方案,其中:包括,所述图像数据采集以及图像路面损害分析过程,均利用5G进行信息传输。
本发明的有益效果:本发明方法一方面能够实现任意变化车速状况下的数据采集,对无效的重复数据自动过滤,在降低采集数据量的同时,提升数据采集的便携性和采集效率,另一方面减少了后端数据分析量,从而使得数据分析效率更高。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明第一个实施例提供的基于5G+AI智能分析的路面路况实时监测方法的基本流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1,为本发明的一个实施例,提供了一种基于5G+AI智能分析的路面路况实时监测方法,包括:
S1:根据装置行驶距离,采集路面图像数据。其中需要说明的是,
根据装置行驶距离采集路面图像数据包括,利用装置行驶距离,采用等间距算法,实现路面图像的采集,其中,装置为可搭载相机的移动物体,包括汽车、自行车、无人机等。
进一步的是,等间距算法包括:
装置在速度条件下,采集路面图像数据,
在采集路面图像数据时,对装置的行进位置进行实时定位;
判断实时定位与上一张照片定位的行进距离是否超出设定阈值;
超出则触发下一次图像采集。
更进一步的是,
在采集并获取第一张图像照片时,需要计算图像中覆盖的路面长度,为阈值的设定提供条件,阈值的求取过程为:设定第一张图像中覆盖的路面长度为L,为保障对路面的图像采集不会产生遗漏,设定阈值取值的计算公式为如下:
T=L-L*O
其中:T为设定的阈值,O为相邻两张图片的重合度,在本发明中将相邻两张图片的重合度设置为15%。
S2:对采集到的图像数据进行轻量化数据分析。其中需要说明的是,
使用AI服务器,利用YOLO算法对采集到的图像数据进行轻量化分析,以保证采集到的路面图像数据避免了重复、冗余的问题,由于YOLO算法的特性为计算速度快,实时性高,因此保障了路面数据采集和监测的实时性。
S3:根据分析后的图像数据,判断路面是否异常。其中需要说明的是,
将YOLO算法实时分析后的图像数据上传云端进一步进行高精度分析,由于YOLO算法分析的精准度相对较低,会出现将正常图像判断为异常图像的情况,因此本发明将检测出异常问题的图像,再利用图像精准度判定较高的深度学习(RCNN)模型,进行二次分析处理,判断路面异常情况,并且更进一步的是,对图像数据采集以及图像路面损害分析过程,均利用5G进行信息传输。
传统的图像处理方法中,受装置移动速度的影响,尤其是在实际应用中,例如,在车辆行驶的过程中,受交通现场实际情况(如:拥堵、红绿灯等)影响,很难保证采集速度长期处于匀速状态,因此会造成采集到的图像,在汽车行驶时,若车速过快,间隔时间不够短,则相邻采集的两张照片没有重叠,会导致漏掉部分路面数据没有采集;若车速过慢,则相邻采集的两张照片重叠过多,会导致数据采集重复冗余;若车速时快时慢,则采集遗漏和采集重复两种情况均会出现,对路面状况的分析造成了大量麻烦;一方面无效、重复的数据,会使得分析过程重复,若要保障分析的速度,需要高精的服务器以及算法来实现,提高了分析成本,也降低了工作效率,另一方面,采集的图像对路面情况的覆盖如有缺失,则会导致一部分路面无法经过分析,进而产生了异常路面的遗漏,降低了整体异常状况分析工作的精度。
本发明方法,在进行图像数据采集时,通过车辆的行驶距离,实现图像采集的过程,利用GPS/北斗模块,在进行图像采集时,对车辆进行实时定位,记录下每一次拍摄照片的定位,并且对车辆的行驶距离进行测算,与上一张照片相比,车辆的行驶距离达到阈值,则进行下一张照片的拍摄,并依此规律进行接下来的图像拍摄,直至路面监测工作结束。
在进行阈值选择时,要对采集到的路面第一张图像进行分析,测算出第一张图像中,覆盖到的路面长度,并以此作为阈值计算的依据,在进行阈值计算时,为了保障两张照片之间不出现采集遗漏问题,一般相邻两张照片之间需要有一定的重叠度,通过实验计算发现,相邻两种照片之间的重叠度达到10%~15%时,在采集过程中对照片的采集遗漏问题以及重叠度问题可以达到最优,但是,由于在图像采集的过程中,行驶距离达到阈值,启动相机进行下一张照片拍摄时,程序的启动可能会有延迟的情况,车辆会在延迟的时间段内,向前行驶一段距离,导致照片之间的重叠度减少,因此在本发明中将重叠度设置为15%,以使整体的重叠度控制在10%~15%。
实施例2
本发明另一个实施例,为对本方法中采用的技术效果加以验证说明,本实施例采用传统根据时间间隔采集图像的技术方案与本发明方法进行对比测试,以科学论证的手段对比试验结果,以验证本方法所具有的真实效果。
传统的根据时间间隔采集图像的技术方案,每隔0.5秒采集一张路面图像,选取一段长为30km的路段进行测试,在同一辆汽车上安装传统与本申请两套采集装置,并且两种装置安装在相邻位置,在行驶时进行同步采集,在两种采集装置中,所使用的相机参数设置保持一致,在路段行驶过程中,对比两种采集装置对路面图像的采集,比较的数据包括照片数量、图像的总大小、图像数据的传输时间以及后台分析时间,其对比结果如下表1所示:
表1:测试对比数据。
Figure BDA0003049167860000061
/>
可以看出,本发明方法与传统方法相比,采集照片的数量、照片大小较小,并且数据传输以及对采集的数据进行分析的时间与传统方法相比,大大减少,有效地提升了检测效率,具有实用性。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于5G+AI智能分析的路面路况实时监测方法,其特性在于,包括:
根据装置行驶距离,采用等间距算法,采集路面图像数据;
其中,所述等间距算法包括,
所述装置在速度条件下,采集路面图像数据;
在所述采集路面图像数据时,对装置的行进位置进行实时定位;
判断所述实时定位与上一张照片定位的行进距离是否超出设定阈值;
超出则触发下一次图像采集;
所述采集路面图像数据包括,
计算采集到的第一张图像中覆盖的路面长度;
其中,所述判断是否超出设定阈值包括,
设定所述第一张图像中覆盖的路面长度为L,为保障对路面的图像采集不会产生遗漏,所述设定阈值取值的计算公式为如下:
T=L-L*O
其中:T为设定的阈值,O为相邻两张图片的重合度;
对所述采集到的图像数据进行数据分析;根据分析后的所述图像数据,判断路面是否异常。
2.如权利要求1所述的基于5G+AI智能分析的路面路况实时监测方法,其特征在于:所述重合度包括,
将所述相邻两张图片的重合度设置为15%。
3.如权利要求1所述的基于5G+AI智能分析的路面路况实时监测方法,其特征在于:所述数据分析包括,
使用AI服务器,利用YOLO算法对所述采集到的图像数据进行轻量化分析,判断路面是否异常,再将判断出异常的图像数据传输至高精度的深度学习算法,进一步判断路面异常情况。
4.如权利要求1所述的基于5G+AI智能分析的路面路况实时监测方法,其特征在于:包括,所述图像数据采集以及图像路面异常分析过程,均利用5G进行信息传输。
CN202110483062.2A 2021-04-30 2021-04-30 一种基于5g+ai智能分析的路面路况实时监测方法 Active CN113191269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110483062.2A CN113191269B (zh) 2021-04-30 2021-04-30 一种基于5g+ai智能分析的路面路况实时监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110483062.2A CN113191269B (zh) 2021-04-30 2021-04-30 一种基于5g+ai智能分析的路面路况实时监测方法

Publications (2)

Publication Number Publication Date
CN113191269A CN113191269A (zh) 2021-07-30
CN113191269B true CN113191269B (zh) 2023-06-09

Family

ID=76983500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110483062.2A Active CN113191269B (zh) 2021-04-30 2021-04-30 一种基于5g+ai智能分析的路面路况实时监测方法

Country Status (1)

Country Link
CN (1) CN113191269B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870456A (zh) * 2019-02-01 2019-06-11 上海智能交通有限公司 一种路面健康状况快速检测系统及方法
CN111553236A (zh) * 2020-04-23 2020-08-18 福建农林大学 基于道路前景图像的路面病害目标检测与实例分割方法
CN112307221A (zh) * 2019-08-02 2021-02-02 上海碧虎网络科技有限公司 一种基于云端控制的动态数据采集分析方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870456A (zh) * 2019-02-01 2019-06-11 上海智能交通有限公司 一种路面健康状况快速检测系统及方法
CN112307221A (zh) * 2019-08-02 2021-02-02 上海碧虎网络科技有限公司 一种基于云端控制的动态数据采集分析方法及系统
CN111553236A (zh) * 2020-04-23 2020-08-18 福建农林大学 基于道路前景图像的路面病害目标检测与实例分割方法

Also Published As

Publication number Publication date
CN113191269A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
US11486548B2 (en) System for detecting crack growth of asphalt pavement based on binocular image analysis
CN109870456B (zh) 一种路面健康状况快速检测系统及方法
CN108986539B (zh) 停车管理系统、方法、车辆信息采集装置及管理服务器
KR102061264B1 (ko) C-its 기반 차량위치정보를 이용한 돌발 상황 감지시스템
CN111721809B (zh) 一种玻璃幕墙结构胶检测方法、装置、无人机及存储介质
CN110046584B (zh) 一种基于无人机巡检的道路裂纹检测装置及检测方法
CN106550443B (zh) 采集定位信号的方法及装置
CN105303826A (zh) 一种违章侧方停车取证装置及方法
CN107767687A (zh) 基于双目立体视觉的空闲停车位检测方法及系统
CN106096207A (zh) 一种基于多目视觉的旋翼无人机抗风评估方法及系统
CN113191269B (zh) 一种基于5g+ai智能分析的路面路况实时监测方法
CN115604550A (zh) 一种高速下的精准定距拍照装置以及方法
CN103306186A (zh) 一种水泥混凝土路面构造深度的检测算法
CN117197412B (zh) 一种基于ar的公路病害智能巡检系统及方法
JP2022003335A (ja) 劣化診断装置、劣化診断システム、劣化診断方法、プログラム
CN103680137A (zh) 基于智能交通监控系统的图像获取方法及装置
CN113900436A (zh) 巡检控制方法、装置、设备和存储介质
WO2021077270A1 (zh) 一种获取目标距离的方法、控制装置及移动平台
CN105303825A (zh) 一种违章斜侧方停车取证装置及方法
CN105472247B (zh) 一种基于无人驾驶飞行器上的多路图形图像处理系统及方法
CN112493228B (zh) 一种基于三维信息估算的激光驱鸟方法及系统
CN115144843A (zh) 一种物体位置的融合方法及装置
US11483485B2 (en) Device for collecting photos of field surface feature and information measurement and calculation method
CN114445988A (zh) 一种能够实现智能管控的无人值守电子哨兵及其工作方法
CN113810662A (zh) 一种联动抓拍装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant