CN113064172A - 基于毫米波雷达与机器视觉融合的汽车安全换道方法 - Google Patents
基于毫米波雷达与机器视觉融合的汽车安全换道方法 Download PDFInfo
- Publication number
- CN113064172A CN113064172A CN202110289726.1A CN202110289726A CN113064172A CN 113064172 A CN113064172 A CN 113064172A CN 202110289726 A CN202110289726 A CN 202110289726A CN 113064172 A CN113064172 A CN 113064172A
- Authority
- CN
- China
- Prior art keywords
- target
- radar
- roi
- vehicle
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提出了一种基于毫米波雷达与机器视觉融合的汽车安全换道方法,包括以下步骤:S1、将毫米波雷达获取的目标进行分类,通过滤波剔除干扰目标,获取有效目标;S2、将有效目标映射至视觉图像中,并生成相应的雷达目标ROI,实现雷达与视觉的空间融合;S3、对雷达目标ROI进行对称性分析,改进雷达目标ROI横向位置;S4、判断雷达目标ROI中是否含有车辆,若雷达目标ROI内存在车辆,则采用KCF算法跟踪该车辆,根据自车与前车的相对距离与相对速度判断自车是否可以换道;若雷达目标ROI内不存在车辆,则保持车辆在原车道行驶。本发明打破了单传感器自身设计的局限性,综合了雷达与视觉的优势,具有准确率高、鲁棒性好的特点。
Description
技术领域
本发明属于汽车高级辅助驾驶的技术领域,尤其涉及一种基于毫米波雷达与机器视觉融合的汽车安全换道方法。
背景技术
随着智能交通系统的发展,人们对自动驾驶汽车的普遍兴趣越来越大。汽车制造商已经开始将自动驾驶技术商业化。例如,高级驾驶辅助系统(ADAS)[1]开发了一种支持司机安全和舒适驾驶的系统。ADAS提供多种交通便利系统,如前方碰撞警告(FCW)、车道保持辅助(LKA)和智能巡航控制(SCC)。这些辅助驾驶系统以各种车辆传感器为基础工作。传感器识别和监控周围的环境,收集分析所需的数据。为了提高检测精度,通常将各种辅助系统组合在一起。这种驾驶辅助系统可被视为迈向完全自主驾驶的中间一步。
发明内容
为了提供一种精度高、速度快的安全换道方法,为此,本发明提出了一种基于毫米波雷达与机器视觉融合的汽车安全换道方法,具体方案如下:
基于毫米波雷达与机器视觉融合的汽车安全换道方法,包括以下步骤:
S1、将毫米波雷达获取的目标进行分类,通过滤波剔除干扰目标,获取有效目标;
S2、将有效目标映射至视觉图像中,并生成相应的雷达目标ROI,实现雷达与视觉的空间融合;
S3、对雷达目标ROI进行对称性分析,改进雷达目标ROI横向位置;
S4、判断雷达目标ROI中是否含有车辆,若雷达目标ROI内存在车辆,则采用KCF算法跟踪该车辆,根据自车与前车的相对距离与相对速度判断自车是否可以换道;若雷达目标ROI内不存在车辆,则保持车辆在原车道行驶。
本发明的有益效果在于:本发明打破了单传感器自身设计的局限性,综合了雷达与视觉的优势,能够为驾驶员提供精准换道时机,具有准确率高、鲁棒性好的特点。
附图说明
图1为毫米波雷达目标相对距离坐标分解图。
图2为毫米波雷达与机器视觉融合流程图。
具体实施方式
参照图1,本发明提出一种基于毫米波雷达与机器视觉融合的汽车安全换道方法,具体包括以下步骤:
S1、将毫米波雷达获取的目标分为4类:空目标、非危险目标、虚假目标以及有效目标,通过滤波剔除干扰目标,保留有效目标;
步骤S1的分步骤如下:
S11、将雷达探测的任一目标数据描述为如下向量:
x=(r,α,v)#(1)
其中r表示探测物体的距离;a表示探测物体的方位角;v表示探测物体的速度;
S12、将雷达探测目标的相对距离分解为:相对纵向距离distY与相对横向距离distX,图1为毫米波雷达目标相对距离坐标分解图。其求解公式如式(2):
S13、通过设定横向范围X1与纵向范围Y1,约束distX和distY的范围,保留满足公式(3)的目标作为备选跟踪目标:
空目标的特征为相对距离为0、相对速度为81.91以及方位角为0,可通过比较目标参数是否匹配前面特征数值来对剔除空目标。
S14、确定待跟踪目标,设定4个参数:某个雷达目标连续被探测到的次数FindTimes、对应雷达目标连续丢失的次数LostTimes、TF与TL;TF与TL分别为对应雷达目标连续被探测到的次数FindTimes与雷达目标连续丢失的次数LostTimes的判别阈值;雷达目标连续被探测到的次数FindTimes与雷达目标连续丢失的次数LostTimes的初始值均为0,设定目标连续被探测到的次数FindTimes大于TF的目标为待跟踪目标;
S15、利用扩展卡尔曼滤波算法预测下一周期目标信息;Xn=[xn,yn,vxn,vyn]为描述目标运动的状态向量,xn、yn、vxn、vyn分别为第n周期内获得的有效目标横向相对距离、纵向相对距离、横向相对速度以及纵向相对速度,下一周期目标预测值可通过式(4)获得:
其中,T为雷达扫描周期,在本实施例中设定为50ms,xn+1|n、yn+1|n、vxn+1|n、vyn+1|n为根据上一周期计算所得的最终状态值。
S16、通过公式(5)计算本周期目标状态预测值与本周期目标实际测量值的差值,判断二者是否指代同一目标。若是同一目标,则对应的目标连续被探测到的次数FindTimes加1;否则对应的目标连续被探测到的次数FindTimes减1,雷达目标连续丢失的次数LostTimes加1;
其中,xn+1、yn+1、vxn+1、vyn+1是本周期有效目标实际测量值,Δx、Δy、Δvx、Δvy是目标实际测量值与预测值之间的准许误差。
S17、根据本周期每个目标的目标连续被探测到的次数FindTimes与雷达目标连续丢失的次数LostTimes大小,确定是否继续跟踪;若满足目标连续被探测到的次数FindTimes>TF且雷达目标连续丢失的次数LostTimes<TL时,则将该目标作为有效目标,继续跟踪;若满足雷达目标连续丢失的次数LostTimes>TL时,则判断该目标为干扰目标,将其抛弃并重新选定跟踪目标。
S2、采用基于伪逆的单值化估计方法将毫米波雷达有效目标映射至视觉图像中成雷达目标ROI,实现雷达与视觉的空间融合;其中生成相应的雷达目标ROI是通过利用Adaboost算法训练出的车辆检测器对视觉图像中的车辆进行识别生成的。
S3、通过对称轴检测算法对雷达目标ROI进行对称性分析,改进雷达目标ROI横向位置;
步骤S3的分步骤如下:
S31、遮挡推理;具体如下:
S311、假设ROI1和ROI2分别为两个不同探测目标对应的感兴趣区域,ROI1左上角与右上角坐标分别为(a1,b1)、(c1,d1);ROI2左上角与右上角坐标分别为(a2,b2)、(c2,d2)。ROI1与ROI2的相交矩形为R,其左上角与右上角坐标为(a,b)、(c,d),参数a、b、c、d通过公式(6)求得:
根据公式(7)判断ROI1与ROI2是否相交:
若不相交,则两ROI不存在遮挡现象;若ROI1与ROI2相交,则其相交结果必然是一个矩形。
S312、采用公式(8)计算ROI1与ROI2的相交面积joinarea:
joinarea=(c-a)(d-b)#(8)
若相交面积joinarea满足公式(9),则转到步骤S33;否则判定ROI1与ROI2没有相互遮挡;
S313、若拥有较小ROI的目标的纵向距离大于拥有较大ROI的目标的纵向距离,则认为拥有较小ROI的目标被遮挡;否则未被遮挡。
S32、对称检测;具体如下:
S321、确定对称轴搜索范围:由于雷达横向探测距离误差较大,导致投影在像素坐标系中的点可能会出现在车身任意位置。扩大对称轴搜索范围,以防止原ROI范围内不存在车辆对称轴。现以原ROI为中心,将原ROI左右各扩展一个与原ROI大小相同的ROI,以此为对称轴搜索范围;
S322、对称检测:在对称搜索范围内扫过与原ROI大小相同的窗口,扫描步长为D,利用SNCC算法计算每个位置的对称相关值,对称相关值最大的为对称轴所在位置。
S33、对称检验:以对称相关值的峰值出现位置为基准,为能够完成检测出物体特征,设定其左右边界不得超过原ROI的1.5倍,若超过,则不改变原雷达目标的投影位置。
S4、采用基于Adaboost算法训练的车辆检测器判断雷达目标ROI中是否含有车辆,若雷达目标ROI内存在车辆,则采用KCF算法跟踪该车辆,分别设置速度阈值V1与相对距离阈值X1,若目标车辆的速度与相对距离满足公式则车辆可调换车道。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (9)
1.基于毫米波雷达与机器视觉融合的汽车安全换道方法,其特征在于,包括以下步骤:
S1、将毫米波雷达获取的目标进行分类,通过滤波剔除干扰目标,获取有效目标;
S2、将有效目标映射至视觉图像中,并生成相应的雷达目标ROI,实现雷达与视觉的空间融合;
S3、对雷达目标ROI进行对称性分析,改进雷达目标ROI横向位置;
S4、判断雷达目标ROI中是否含有车辆,若雷达目标ROI内存在车辆,则采用KCF算法跟踪该车辆,若雷达目标ROI内不存在车辆,根据自车与前车的相对距离与相对速度判断自车是否可以换道;若雷达目标ROI内不存在车辆,则保持车辆在原车道行驶。
2.根据权利要求1所述的基于毫米波雷达与机器视觉融合的汽车安全换道方法,其特征在于,步骤S2中将有效目标映射至视觉图像中采用基于伪逆的单值化估计的方法。
3.根据权利要求1所述的基于毫米波雷达与机器视觉融合的汽车安全换道方法,其特征在于,步骤S3中对雷达目标ROI进行对称性分析是通过对称轴检测算法。
4.根据权利要求1所述的基于毫米波雷达与机器视觉融合的汽车安全换道方法,其特征在于,步骤S4中判断雷达目标ROI中是否含有车辆是采用基于Adaboost算法训练的车辆检测器。
6.根据权利要求1所述的基于毫米波雷达与机器视觉融合的汽车安全换道方法,其特征在于,步骤S1的分步骤如下:
S11、将雷达探测的任一目标数据描述为如下向量:
x=(r,α,v)#(1)
其中r表示探测物体的距离;a表示探测物体的方位角;v表示探测物体的速度;
S12、将雷达探测目标的相对距离分解为:相对纵向距离distY与相对横向距离distX,其求解公式如式(2):
S13、通过设定横向范围X1与纵向范围Y1,约束distX和distY的范围,保留满足公式(3)的目标作为备选跟踪目标:
S14、确定待跟踪目标,设定4个参数:某个雷达目标连续被探测到的次数FindTimes、对应雷达目标连续丢失的次数LostTimes、TF与TL;TF与TL分别为对应雷达目标连续被探测到的次数FindTimes与雷达目标连续丢失的次数LostTimes的判别阈值;雷达目标连续被探测到的次数FindTimes与雷达目标连续丢失的次数LostTimes的初始值均为0,设定目标连续被探测到的次数FindTimes大于TF的目标为待跟踪目标;
S15、利用扩展卡尔曼滤波算法预测下一周期目标信息;Xn=[xn,yn,vxn,vyn]为描述目标运动的状态向量,xn、yn、vxn、vyn分别为第n周期内获得的有效目标横向相对距离、纵向相对距离、横向相对速度以及纵向相对速度,下一周期目标预测值可通过式(4)获得:
其中,T为雷达扫描周期,xn+1|n、yn+1|n、vxn+1|n、vyn+1|n为根据上一周期计算所得的最终状态值;
S16、通过公式(5)计算本周期目标状态预测值与本周期目标实际测量值的差值,判断二者是否指代同一目标;若是同一目标,则对应的目标连续被探测到的次数FindTimes加1;否则对应的目标连续被探测到的次数FindTimes减1,雷达目标连续丢失的次数LostTimes加1;
其中,xn+1、yn+1、vxn+1、vyn+1是本周期有效目标实际测量值,Δx、Δy、Δvx、Δvy是目标实际测量值与预测值之间的准许误差;
S17、根据本周期每个目标的目标连续被探测到的次数FindTimes与雷达目标连续丢失的次数LostTimes大小,确定是否继续跟踪;若满足目标连续被探测到的次数FindTimes>TF且雷达目标连续丢失的次数LostTimes<TL时,则将该目标作为有效目标,继续跟踪;若满足雷达目标连续丢失的次数LostTimes>TL时,则判断该目标为干扰目标,将其抛弃并重新选定跟踪目标。
7.根据权利要求1所述的基于毫米波雷达与机器视觉融合的汽车安全换道方法,其特征在于,步骤S3的分步骤如下:
S31、遮挡推理;
S32、对称检测;
S33、对称检验,以对称相关值的峰值出现位置为基准,为能够完成检测出物体特征,设定其左右边界不得超过原ROI的1.5倍,若超过,则不改变原雷达目标的投影位置。
8.根据权利要求7所述的基于毫米波雷达与机器视觉融合的汽车安全换道方法,其特征在于,步骤S31的分步骤具体如下:
S311、假设ROI1和ROI2分别为两个不同探测目标对应的感兴趣区域,ROI1左上角与右上角坐标分别为(a1,b1)、(c1,d1);ROI2左上角与右上角坐标分别为(a2,b2)、(c2,d2),ROI1与ROI2的相交矩形为R,其左上角与右上角坐标为(a,b)、(c,d),参数a、b、c、d通过公式(6)求得:
根据公式(7)判断ROI1与ROI2是否相交:
若不相交,则两ROI不存在遮挡现象;若ROI1与ROI2相交,则其相交结果是一个矩形;
S312、采用公式(8)计算ROI1与ROI2的相交面积joinarea:
joinarea=(c-a)(d-b)#(8)
若相交面积joinarea满足公式(9),则转到步骤S33;否则判定ROI1与ROI2没有相互遮挡;
S313、若拥有较小ROI的目标的纵向距离大于拥有较大ROI的目标的纵向距离,则认为拥有较小ROI的目标被遮挡;否则未被遮挡。
9.根据权利要求7所述的基于毫米波雷达与机器视觉融合的汽车安全换道方法,其特征在于,步骤S32的分步骤如下:
S321、确定对称轴搜索范围:扩大对称轴搜索范围,以原ROI为中心,将原ROI左右各扩展一个与原ROI大小相同的ROI,以此为对称轴搜索范围;
S322、对称检测:在对称搜索范围内扫过与原ROI大小相同的窗口,扫描步长为D,利用SNCC算法计算每个位置的对称相关值,对称相关值最大的为对称轴所在位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110289726.1A CN113064172B (zh) | 2021-03-16 | 2021-03-16 | 基于毫米波雷达与机器视觉融合的汽车安全换道方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110289726.1A CN113064172B (zh) | 2021-03-16 | 2021-03-16 | 基于毫米波雷达与机器视觉融合的汽车安全换道方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113064172A true CN113064172A (zh) | 2021-07-02 |
CN113064172B CN113064172B (zh) | 2023-12-19 |
Family
ID=76561528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110289726.1A Active CN113064172B (zh) | 2021-03-16 | 2021-03-16 | 基于毫米波雷达与机器视觉融合的汽车安全换道方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113064172B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113807168A (zh) * | 2021-08-05 | 2021-12-17 | 北京蜂云科创信息技术有限公司 | 一种车辆行驶环境感知方法、车载设备和存储介质 |
CN114608556A (zh) * | 2022-03-01 | 2022-06-10 | 浙江吉利控股集团有限公司 | 数据处理方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109017791A (zh) * | 2017-06-09 | 2018-12-18 | 丰田自动车株式会社 | 车道变更辅助装置 |
US20190100211A1 (en) * | 2017-09-29 | 2019-04-04 | Neusoft Corporation | Vehicle lane-changing control method, vehicle lanechanging control device and related equipment |
-
2021
- 2021-03-16 CN CN202110289726.1A patent/CN113064172B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109017791A (zh) * | 2017-06-09 | 2018-12-18 | 丰田自动车株式会社 | 车道变更辅助装置 |
US20190100211A1 (en) * | 2017-09-29 | 2019-04-04 | Neusoft Corporation | Vehicle lane-changing control method, vehicle lanechanging control device and related equipment |
Non-Patent Citations (3)
Title |
---|
JIHUN KIM 等: ""Radar and Vision Sensor Fusion for Object Detection in Autonomous Vehicle Surroundings"", 《ICUFN 2018》, pages 76 - 78 * |
王贺: ""雷达摄像头数据融合在智能辅助驾驶的应用"", "雷达摄像头数据融合在智能辅助驾驶的应用", no. 11, pages 15 - 18 * |
赵望宇 等: ""融合毫米波雷达与单目视觉的前车检测与跟踪"", 《武汉大学学报•信息科学版》, vol. 44, no. 12, pages 1832 - 1840 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113807168A (zh) * | 2021-08-05 | 2021-12-17 | 北京蜂云科创信息技术有限公司 | 一种车辆行驶环境感知方法、车载设备和存储介质 |
CN114608556A (zh) * | 2022-03-01 | 2022-06-10 | 浙江吉利控股集团有限公司 | 数据处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113064172B (zh) | 2023-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Polychronopoulos et al. | Sensor fusion for predicting vehicles' path for collision avoidance systems | |
CN106054174B (zh) | 使用雷达和摄像机用于横越交通应用的融合方法 | |
Guo et al. | A multimodal ADAS system for unmarked urban scenarios based on road context understanding | |
US8605947B2 (en) | Method for detecting a clear path of travel for a vehicle enhanced by object detection | |
US7372977B2 (en) | Visual tracking using depth data | |
Ferryman et al. | Visual surveillance for moving vehicles | |
US6819779B1 (en) | Lane detection system and apparatus | |
US7889116B2 (en) | Object detecting apparatus | |
US7266220B2 (en) | Monitoring device, monitoring method and program for monitoring | |
CN111144432B (zh) | 在传感器融合系统中消除模糊检测的方法 | |
US8406472B2 (en) | Method and system for processing image data | |
Kim | Realtime lane tracking of curved local road | |
CN113850102B (zh) | 基于毫米波雷达辅助的车载视觉检测方法及系统 | |
CN113064172B (zh) | 基于毫米波雷达与机器视觉融合的汽车安全换道方法 | |
CN112154455A (zh) | 数据处理方法、设备和可移动平台 | |
Wang et al. | Vehicle detection and width estimation in rain by fusing radar and vision | |
WO2020143916A1 (en) | A method for multi-modal sensor fusion using object trajectories for cross-domain correspondence | |
CN108021899A (zh) | 基于双目相机的车载智能前车防撞预警方法 | |
Gaikwad et al. | An improved lane departure method for advanced driver assistance system | |
KR101568745B1 (ko) | 적외선 영상 기반의 차량 보조 장치 및 방법 | |
Gruyer et al. | Vehicle detection and tracking by collaborative fusion between laser scanner and camera | |
Hofmann et al. | EMS-vision: Application to hybrid adaptive cruise control | |
Hofmann et al. | Radar and vision data fusion for hybrid adaptive cruise control on highways | |
Michalke et al. | Towards a closer fusion of active and passive safety: Optical flow-based detection of vehicle side collisions | |
Kim et al. | An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |