CN110647949A - 一种基于深度学习的汽车鸣笛抓拍装置的校准方法 - Google Patents

一种基于深度学习的汽车鸣笛抓拍装置的校准方法 Download PDF

Info

Publication number
CN110647949A
CN110647949A CN201910997915.7A CN201910997915A CN110647949A CN 110647949 A CN110647949 A CN 110647949A CN 201910997915 A CN201910997915 A CN 201910997915A CN 110647949 A CN110647949 A CN 110647949A
Authority
CN
China
Prior art keywords
sound source
black
sound
automobile
snapshot device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910997915.7A
Other languages
English (en)
Other versions
CN110647949B (zh
Inventor
郑慧峰
朱勤丰
王月兵
曹永刚
郭世旭
赵鹏
高兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Metrology
Original Assignee
China University of Metrology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Metrology filed Critical China University of Metrology
Priority to CN201910997915.7A priority Critical patent/CN110647949B/zh
Publication of CN110647949A publication Critical patent/CN110647949A/zh
Application granted granted Critical
Publication of CN110647949B publication Critical patent/CN110647949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Molecular Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明涉及一种基于深度学习的汽车鸣笛抓拍装置的校准方法及系统，校准系统包括：汽车鸣笛抓拍装置、声源、黑白格圆盘、传动装置、信号发生装置和计算机。所述的汽车鸣笛抓拍装置固定安装于声源正对处，与处理数据的计算机相连；声源装载于由多段导轨组成的传动装置上，在声源正后方固定有黑白格圆盘；声源与信号发生装置相连，用于模拟不同汽车鸣笛声。通过神经网络捕捉鸣笛抓拍装置生成声相云图中的声源、伪彩图、黑白格圆盘，进而计算得到定位精度及分辨力精度。本发明快速实时检测鸣笛抓拍装置性能，确保产品研发质量，提高企业对研发产品的性能指标要求。

Description

一种基于深度学习的汽车鸣笛抓拍装置的校准方法
技术领域
本发明涉及机器学习与声学测量领域，特别涉及一种基于深度学习的汽车鸣笛抓拍装置的校准方法。
背景技术
随着城市居民的机动车保有数量逐年持续增加,城市交通的压力也越来越大,交通污染现象已经成为了一个不可忽视的问题。汽车鸣笛噪声作为交通污染的重要组成部分已经对人们的生活产生了巨大的影响。我国相关执法部门也颁布相关的法律来限制或禁止某些路段的汽车鸣笛声,交警部门常采取巡逻纠违等方式对汽车鸣笛加以监管，但是人工执法不但效率低下,且浪费了大量的人力物力,所以如何能高效的对城市交通中的违法鸣笛行为进行定位和识别成为了该领域待研究的关键问题。
2016年6月，全国首套鸣笛抓拍装置于福州市上路执法，鸣笛抓拍装置作为一套交通管理系统能对道路交通中的乱鸣喇叭行为进行准确识别抓拍、证据记录，能够帮助交通执法部门快速准确地锁定违章鸣笛车辆的方位。目前该装置已在北京、上海、广州等多个大型城市投入使用，查处乱鸣喇叭违法行为数百起。
目前国内仅有的声源定位校准规范——《声源识别定位系统(波束形成法)校准规范》初步为声源定位系统的定量评价提供了技术标准，但是校准规范只适用于基于波束形成算法的声源定位系统，且描述的校准过程仅限于室内校准，未对现场校准作相应规范。鸣笛抓拍装置作为声源定位系统的分支，其所拍摄的声相云图声源定位成像结果也无统一的衡量标准，因此如何准确严谨的对汽车鸣笛抓拍装置进行校准，以及设计一套明确的校准方法具有深远的意义。
发明内容
为了解决上述问题，本发明提供了一种基于深度学习的汽车鸣笛抓拍装置的校准方法，通过这个方法可以客观的对汽车鸣笛抓拍装置的定位精度、分辨力精度进行校准。
为了实现上述目的，本发明采用以下技术方案来实现：
本发明将汽车鸣笛抓拍装置固定安装于声源正对处，与处理数据的计算机相连；传动装置由多段导轨组成，用于移动声源；于顶端导轨处放置声源，通过信号发生装置驱动声源，其中信号发生装置包括信号发生器及功率放大器；在声源正后方固定有黑白格圆盘。所述的声源与信号发生装置用于产生不同声强、频率的声信号，实现汽车鸣笛抓拍装置对于不同汽车喇叭的定位分辨性能测试。所述的传动装置可以将多个声源调至前后左右同一水平面多处位置，满足汽车鸣笛抓拍装置对单个、多个声源不同位置的定位分辨性能测试要求。当声源发声时，汽车鸣笛抓拍装置会相应的生成声相云图。计算机通过神经网络对云图中的声源、伪彩图、黑白格圆盘进行定位识别，根据图中带有刻度的黑白格圆盘可初步得到汽车鸣笛抓拍装置的定位误差与分辨率误差，并且得到图像像素与真实物理空间的比例关系，将误差从像素的表现形式转换到实际误差，进而计算得出汽车鸣笛抓拍装置的定位精度与分辨力精度，实现参数精确量化。
本发明的有益效果为：
本发明首先通过图片中黑白格圆盘的刻度值可初步得到汽车鸣笛抓拍装置的定位误差与分辨率误差，使得装置误差范围一目了然，后续通过深度学习的方法获取鸣笛抓拍装置声相云图中的声源、伪彩图，并且使用黑白格圆盘辅助计算得到汽车鸣笛抓拍装置的性能指标，避免人工对声源和伪彩图位置的实时实地测量，以及测量带来的人工误差，并且可以达到对汽车鸣笛抓拍装置实时监测的要求。
该校准方法解决了目前国内外还没有统一的标准和规范来衡量汽车鸣笛抓拍装置的技术指标和精度的问题，为计量部门制定相应规范，开展相关研究提供了技术思路。通过对汽车鸣笛抓拍装置进行校准研究，可以督促其产品研发质量的有效提升，提高企业对研发产品的性能指标要求。
附图说明
图1为本发明原理图。
①声源②黑白格圆盘③传动装置④信号发生装置⑤鸣笛抓拍装置⑥计算机。
图2为本发明对汽车鸣笛抓拍装置定位精度的校准示意图。
图3为本发明对汽车鸣笛抓拍装置分辨力精度的校准示意图。
具体实施方式
下面结合本发明的具体实施方式和附图对本发明校准方法作进一步描述，从而本发明的有益效果将进一步明确。
如图1所示，一种汽车鸣笛抓拍装置的校准系统包括声源①、黑白格圆盘②、传动装置③、信号发生装置④、鸣笛抓拍装置⑤和计算机⑥。
本发明将汽车鸣笛抓拍装置固定安装于声源正对处，与处理数据的计算机相连；声源装载于有多段导轨组成的传动装置上，在声源正后方固定有黑白格圆盘；声源与信号发生装置相连，其中信号发生装置包括信号发生器及功率放大器。所述的声源与信号发生装置用于产生不同声强、频率的声信号，实现汽车鸣笛抓拍装置对于不同汽车喇叭的定位分辨性能测试。所述的带有刻度的黑白格圆盘可初步得到汽车鸣笛抓拍装置的定位误差与分辨率误差，并且结合深度学习可计算得到图像像素与真实物理空间的比例关系，将误差从像素的表现形式转换到实际误差。所述的传动装置可以将多个声源调至前后左右同一水平面多处位置，满足汽车鸣笛抓拍装置对单个、多个声源不同位置的定位分辨性能测试要求。计算机通过神经网络对声源、伪彩图、黑白格圆盘进行定位识别，完成定位误差及分辨率误差的计算。
一种基于深度学习的汽车鸣笛抓拍装置的校准方法，校准过程的具体步骤为：
步骤一：在进行校准工作之前，拍摄大量包含声源、伪彩图、黑白格圆盘的图片，加以人工标注制作成数据集，用来训练定位三者的神经网络。
步骤二：如图2所示，将声源移动至黑白格圆盘的圆心位置。根据需要测量汽车鸣笛抓拍装置的性能要求确定声源与抓拍装置的距离关系，将两者放于同一水平线的正对位置。通过信号发生装置驱动声源，汽车鸣笛抓拍装置抓拍标准声源，产生声相云图。通过黑白格圆盘上的刻度值可以得出声源中心到伪彩图中心的距离，初步确定定位误差的大小。将声相云图输入神经网络获取声源、伪彩图、黑白格棋盘的图像信息(声源中心至伪彩图中心的像素距离、黑白格棋盘直径的像素距离)。根据实际黑白格棋盘直径长度与其直径的像素距离计算出图像像素与真实物理空间的比例关系，进而计算出汽车鸣笛抓拍装置在该位置的定位误差，实现对定位精度指标的校准。
步骤三：如图3所示，在传动装置上安装两个声源，信号发生驱动声源发声，汽车鸣笛抓拍装置抓拍声源，产生声相云图。在导轨上调整两声源之间的距离，使汽车鸣笛抓拍装置抓拍得到的伪彩图相切，并记录声相云图。通过黑白格圆盘上的刻度值可以得出两声源中心的间距，初步确定分辨率误差的大小。将声相云图输入神经网络获取声源、黑白格棋盘的图像信息(两声源中心的像素距离、黑白格棋盘直径的像素距离)。根据实际黑白格棋盘直径长度与其直径的像素距离计算出图像像素与真实物理空间的比例关系，进而计算出汽车鸣笛抓拍装置在该位置的分辨率误差，实现对分辨率精度指标的校准。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (2)

1.一种基于深度学习的汽车鸣笛抓拍装置的校准方法，其特征在于：汽车鸣笛抓拍装置固定安装于声源正对处，与处理数据的计算机相连；传动装置由多段导轨组成，用于移动声源；于顶端导轨处放置声源，通过信号发生装置驱动声源，其中信号发生装置包括信号发生器及功率放大器；在声源正后方固定有黑白格圆盘。所述的声源与信号发生装置用于产生不同声强、频率的声信号，实现汽车鸣笛抓拍装置对于不同汽车喇叭的定位分辨性能测试。所述的传动装置可以将多个声源调至前后左右同一水平面多处位置，满足汽车鸣笛抓拍装置对单个、多个声源不同位置的定位分辨性能测试要求。当声源发声时，汽车鸣笛抓拍装置会相应的生成声相云图。计算机通过神经网络对云图中的声源、伪彩图、黑白格圆盘进行定位识别，根据图中带有刻度的黑白格圆盘可初步得到汽车鸣笛抓拍装置的定位误差与分辨率误差，并且得到图像像素与真实物理空间的比例关系，将误差从像素的表现形式转换到实际误差，完成定位误差及分辨率误差的计算。
2.根据权利要求1所述的一种基于深度学习的汽车鸣笛抓拍装置的校准方法，其特征在于：校准过程的具体步骤为：
步骤一：在进行校准工作之前，拍摄大量包含声源、伪彩图、黑白格圆盘的图片，加以人工标注制作成数据集，用来训练定位三者的神经网络。
步骤二：将声源移动至黑白格圆盘的圆心位置。根据需要测量汽车鸣笛抓拍装置的性能要求确定声源与抓拍装置的距离关系，将两者放于同一水平线的正对位置。通过信号发生装置驱动声源，汽车鸣笛抓拍装置抓拍标准声源，产生声相云图。通过黑白格圆盘上的刻度值可以得出声源中心到伪彩图中心的距离，初步确定定位误差的大小。将声相云图输入神经网络获取声源、伪彩图、黑白格棋盘的图像信息(声源中心至伪彩图中心的像素距离、黑白格棋盘直径的像素距离)。根据实际黑白格棋盘直径长度与其直径的像素距离计算出图像像素与真实物理空间的比例关系，进而计算出汽车鸣笛抓拍装置在该位置的定位误差，实现对定位精度指标的校准。
步骤三：在传动装置上安装两个声源，信号发生驱动声源发声，汽车鸣笛抓拍装置抓拍声源，产生声相云图。在导轨上调整两声源之间的距离，使汽车鸣笛抓拍装置抓拍得到的伪彩图相切，并记录声相云图。通过黑白格圆盘上的刻度值可以得出两声源中心的间距，初步确定分辨率误差的大小。将声相云图输入神经网络获取声源、黑白格棋盘的图像信息(两声源中心的像素距离、黑白格棋盘直径的像素距离)。根据实际黑白格棋盘直径长度与其直径的像素距离计算出图像像素与真实物理空间的比例关系，进而计算出汽车鸣笛抓拍装置在该位置的分辨率误差，实现对分辨率精度指标的校准。
CN201910997915.7A 2019-10-21 2019-10-21 一种基于深度学习的汽车鸣笛抓拍装置的校准方法 Active CN110647949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910997915.7A CN110647949B (zh) 2019-10-21 2019-10-21 一种基于深度学习的汽车鸣笛抓拍装置的校准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910997915.7A CN110647949B (zh) 2019-10-21 2019-10-21 一种基于深度学习的汽车鸣笛抓拍装置的校准方法

Publications (2)

Publication Number Publication Date
CN110647949A true CN110647949A (zh) 2020-01-03
CN110647949B CN110647949B (zh) 2024-02-20

Family

ID=68994406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910997915.7A Active CN110647949B (zh) 2019-10-21 2019-10-21 一种基于深度学习的汽车鸣笛抓拍装置的校准方法

Country Status (1)

Country Link
CN (1) CN110647949B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915918A (zh) * 2020-06-19 2020-11-10 中国计量大学 一种基于动态特性的汽车鸣笛抓拍装置现场校准系统及方法
CN112858998A (zh) * 2021-01-22 2021-05-28 中国计量大学 一种汽车鸣笛抓拍装置现场检定系统及方法
CN117804520A (zh) * 2024-02-29 2024-04-02 杭州爱华仪器有限公司 一种用于声学成像仪检定的系统及调节方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130300820A1 (en) * 2009-04-14 2013-11-14 Huawei Device Co., Ltd. Remote presenting system, device, and method
WO2016019768A1 (zh) * 2014-08-04 2016-02-11 杭州海康威视数字技术股份有限公司 用于视频监控的声源定向控制装置及方法
CN207082221U (zh) * 2017-05-24 2018-03-09 长沙艾克赛普仪器设备有限公司 违法鸣笛多目标实时抓拍电子警察系统
CN109375225A (zh) * 2018-11-09 2019-02-22 杭州兆华电子有限公司 一种声学雷达测量系统及其测量方法
CN109389994A (zh) * 2018-11-15 2019-02-26 北京中电慧声科技有限公司 用于智能交通系统的声源识别方法及装置
CN109409353A (zh) * 2017-08-18 2019-03-01 上海其高电子科技有限公司 基于dcnn目标识别的车辆鸣笛监测方法及系统
CN109587406A (zh) * 2018-11-09 2019-04-05 江苏新和网络科技发展有限公司 一种违法鸣笛辅助执法系统
CN109579980A (zh) * 2018-11-28 2019-04-05 中车长春轨道客车股份有限公司 基于混响室及消声室的轨道车辆门系统的隔声测试方法
CN109816987A (zh) * 2019-01-24 2019-05-28 苏州清听声学科技有限公司 一种汽车鸣笛电子警察执法抓拍系统及其抓拍方法
CN109858479A (zh) * 2018-07-10 2019-06-07 上海其高电子科技有限公司 基于图像配准的机动车违法鸣笛抓拍系统
CN110033623A (zh) * 2019-04-25 2019-07-19 中国计量大学 一种汽车鸣笛抓拍装置的现场校准方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130300820A1 (en) * 2009-04-14 2013-11-14 Huawei Device Co., Ltd. Remote presenting system, device, and method
WO2016019768A1 (zh) * 2014-08-04 2016-02-11 杭州海康威视数字技术股份有限公司 用于视频监控的声源定向控制装置及方法
CN207082221U (zh) * 2017-05-24 2018-03-09 长沙艾克赛普仪器设备有限公司 违法鸣笛多目标实时抓拍电子警察系统
CN109409353A (zh) * 2017-08-18 2019-03-01 上海其高电子科技有限公司 基于dcnn目标识别的车辆鸣笛监测方法及系统
CN109858479A (zh) * 2018-07-10 2019-06-07 上海其高电子科技有限公司 基于图像配准的机动车违法鸣笛抓拍系统
CN109375225A (zh) * 2018-11-09 2019-02-22 杭州兆华电子有限公司 一种声学雷达测量系统及其测量方法
CN109587406A (zh) * 2018-11-09 2019-04-05 江苏新和网络科技发展有限公司 一种违法鸣笛辅助执法系统
CN109389994A (zh) * 2018-11-15 2019-02-26 北京中电慧声科技有限公司 用于智能交通系统的声源识别方法及装置
CN109579980A (zh) * 2018-11-28 2019-04-05 中车长春轨道客车股份有限公司 基于混响室及消声室的轨道车辆门系统的隔声测试方法
CN109816987A (zh) * 2019-01-24 2019-05-28 苏州清听声学科技有限公司 一种汽车鸣笛电子警察执法抓拍系统及其抓拍方法
CN110033623A (zh) * 2019-04-25 2019-07-19 中国计量大学 一种汽车鸣笛抓拍装置的现场校准方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915918A (zh) * 2020-06-19 2020-11-10 中国计量大学 一种基于动态特性的汽车鸣笛抓拍装置现场校准系统及方法
CN112858998A (zh) * 2021-01-22 2021-05-28 中国计量大学 一种汽车鸣笛抓拍装置现场检定系统及方法
CN112858998B (zh) * 2021-01-22 2023-09-05 中国计量大学 一种汽车鸣笛抓拍装置现场检定系统及方法
CN117804520A (zh) * 2024-02-29 2024-04-02 杭州爱华仪器有限公司 一种用于声学成像仪检定的系统及调节方法

Also Published As

Publication number Publication date
CN110647949B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN110647949B (zh) 一种基于深度学习的汽车鸣笛抓拍装置的校准方法
Li et al. Dynamic simulation and characteristics analysis of traffic noise at roundabout and signalized intersections
CN112965077B (zh) 一种基于车载激光雷达的道路巡检系统与方法
CN103760536B (zh) 雷达测速仪的现场检测方法
CN112040226B (zh) 鸣笛抓拍系统声光图像时间一致性的校准装置及校准方法
CN104730501A (zh) 机动车雷达测速仪现场仿真方法及检测装置
CN112942294B (zh) 一种路基均匀性检测方法、装置、设备及可读存储介质
CN1696686A (zh) 混凝土灌注桩质量检测系统
CN112229355B (zh) 一种基于信号处理和挂车响应的桥梁移动检测方法和系统
CN103810758A (zh) 联合gps/北斗可信判决taxi计价器准确性工作方法及其装置
CN110033623A (zh) 一种汽车鸣笛抓拍装置的现场校准方法及系统
CN108548833B (zh) 一种混凝土脱空检测方法、装置及终端设备
CN105913059A (zh) 一种车辆vin码的自动识别系统及其控制方法
CN108398438A (zh) 一种缺陷检测车和缺陷检测方法
CN111599203A (zh) 一种机动车鸣笛抓拍装置关键参数测量方法研究
CN104897463A (zh) 一种钢-混凝土组合件受力变形的实时检测装置及其的检测方法
CN114118241A (zh) 一种基于车载雷达的道路信息检测系统
CN112726351B (zh) 一种车载便携轻量化智能巡检方法与系统
CN103308710A (zh) 一种基于压电式传感器的机动车速度检测装置及方法
CN203535815U (zh) 机动车超速自动监测系统现场测速误差检定装置
WO2017036000A1 (zh) 一种基于电源控制及输出脉冲频率的转速检测装置
CN107064538A (zh) 一种车速测量方法
Liu et al. A method of measuring the powertrain noise for the indoor prediction of pass-by noise
CN100543795C (zh) 一种公路测速系统的检验方法及其装置
CN113727098A (zh) 一种基于目标检测的鸣笛抓拍装置现场校准系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant