CN107168327A - 一种基于双目视觉的无人驾驶汽车雾天主动避险的方法 - Google Patents

一种基于双目视觉的无人驾驶汽车雾天主动避险的方法 Download PDF

Info

Publication number
CN107168327A
CN107168327A CN201710452915.XA CN201710452915A CN107168327A CN 107168327 A CN107168327 A CN 107168327A CN 201710452915 A CN201710452915 A CN 201710452915A CN 107168327 A CN107168327 A CN 107168327A
Authority
CN
China
Prior art keywords
binocular vision
msub
mrow
gray
greasy weather
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710452915.XA
Other languages
English (en)
Inventor
韩毅
丁振森
马浩越
王露
张天宇
余泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201710452915.XA priority Critical patent/CN107168327A/zh
Publication of CN107168327A publication Critical patent/CN107168327A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明公开了一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,首先通过双目视觉系统对前方进行拍摄,获得双目视觉图;然后再对所得双目视觉图进行平滑、光顺、去噪预处理,从预处理后的双目视觉图中寻找相对清晰的特征区域,并在GPU并行架构下,计算得到浓密的视差图,将得到的视差图信息反映到灰度空间0~255,利用了双目视觉系统中视差与深度的关系,无需对物体进行三维重建,只需要不断对比前后两帧图片的深度信息并判断是否达到安全阈值,便能够实现无人驾驶车辆的主动避险,该方法既能够在天气晴朗,光线良好的情况下快速判断车距,主动停车避险,又能够在雾天等光线不良的情况下,保证算法的可靠性。

Description

一种基于双目视觉的无人驾驶汽车雾天主动避险的方法
技术领域
本发明属于无人驾驶车辆主动安全领域,尤其涉及一种基于双目视觉的无人驾驶汽车雾天主动避险的方法。
背景技术
近年来,我国汽车产业一直高歌猛进,发展势头迅猛。汽车智能化,汽车信息化,无人驾驶等汽车行业先进领域发展快速,利用双目视觉系统,模仿人的眼睛,对汽车行进过程中前方物体进行三维重建的技术也越来越多的应用到无人驾驶汽车当中。对物体进行三维重建的目的主要是用来实现无人驾驶汽车的主动避险。
双目视觉系统属于仿真生物视觉系统,属于计算机视觉领域,传统的双目视觉技术是首先对摄像机标定,用来模仿人的双眼,然后用标定好的摄像机获取两张双目图像,然后提取两张图片上的特征信息进行立体匹配,最后计算匹配好的同名特征点或者特征区域的视差信息,进而反算求出深度信息,最后利用所计算出来的信息进行物体的三维模型重建。
传统的双目视觉系统,虽然可以实现但是需要的时间比较长,无法应用于无人驾驶汽车上,为了解决这一问题,采用GPU加速处理图片以及利用深度学习的方法快速识别物体的技术应运而生,深度学习的算法,主要是选择和组织合适的神经网络结构,通过监督学习的方法,控制整个神经网络,来加快处理一对图片所需要的时间,然而,这种算法有仍然有比较大的缺陷,在光线较弱的雾天或者反光路面算法容易失效,并且由于物体特征比较模糊,无法对物体进行识别以及三维重建。进而导致车辆在雾天行驶时,无法有效地避免危险。
发明内容
本发明的目的在于提供一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,以克服现有技术的不足。
为达到上述目的,本发明采用如下技术方案:
一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,具体包括以下步骤:
1)、首先通过双目视觉系统对前方进行拍摄,获得双目视觉图;
2)、对所得双目视觉图进行平滑、光顺、去噪预处理;
3)、从预处理后的双目视觉图中寻找相对清晰的特征区域,并在GPU并行架构下,计算得到浓密的视差图;
4)、将得到的视差图信息反映到灰度空间0~255;
5)、初始灰度值设为H0=0,并搜索第一帧图像的灰度的最大值记为H1;
6)、判断H1是否大于H0;如果否,说明H1=H0=0,前方无物体;如果为是,说明前方有物体,并将H1的灰度值赋给H0;
7)、将赋值后的H0与根据汽车行驶速度和制动减速度得到的安全灰度阈值T作比较,如果H0>=T,说明无人驾驶车辆与物体之间的距离小于安全距离,汽车主动紧急制动避险,如果H0<T,说明前方物体暂时没有与无人驾驶汽车相碰的危险,车辆按原速行驶,并继续对前方进行不断的循环拍摄与判断。
进一步的,步骤1)中获取的双目视觉图指通过双目视觉系统分别获取左图片A和右图片B。
进一步的,步骤4)中,灰度初始值H0是指人为规定的无障碍物时的灰度值,即H0=0。
进一步的,步骤(4)中视差图信息与灰度空间值的关系:
利用三角形的相似关系可以得出:
左图片
右图片
这两个公式分别是以点O和点O’为坐标原点,左图片A和右图片B的向量方向相反,因此视差为:
上式中d为视差值,Z为深度,由于d与灰度空间值成正比例关系。
进一步的,其中λ=1.2。
进一步的,步骤7)中安全灰度阈值T的计算方法如下:
制动过程中车速为:
t0是开始采取制动到制动开始起作用所需要的时间,v0为采取制动措施前的初始车速,v(0)=v0,v(t0+t1)=0;是平均制动减速度;
对车速v(t)进行积分可求出制动距离
引入安全系数λ,λ为实际安全距离E与制动距离S之比,从而实际安全距离可表示为:
E=λS
安全灰度阈值T=255-E,即可得到安全灰度阈值T。
进一步的,步骤3)中,从预处理后的双目图像中通过深度学习的方法,从深度神经网络系统中快速寻找相对清晰的特征区域P0。
进一步的,步骤2)和步骤3)中双目视觉图包括天气良好情况下拍摄的图片和雾天拍摄的特征不清晰的图片。
与现有技术相比,本发明具有以下有益的技术效果:
本发明一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,首先通过双目视觉系统对前方进行拍摄,获得双目视觉图;然后再对所得双目视觉图进行平滑、光顺、去噪预处理,从预处理后的双目视觉图中寻找相对清晰的特征区域,并在GPU并行架构下,计算得到浓密的视差图,将得到的视差图信息反映到灰度空间0~255,初始灰度值设为H0=0,并搜索第一帧图像的灰度的最大值记为H1,判断H1是否大于H0;如果否,说明H1=H0=0,前方无物体;如果为是,说明前方有物体,并将H1的灰度值赋给H0,将赋值后的H0与根据汽车行驶速度和制动减速度得到的安全灰度阈值T作比较,如果H0>=T,说明无人驾驶车辆与物体之间的距离小于安全距离,汽车主动紧急制动避险,如果H0<T,说明前方物体暂时没有与无人驾驶汽车相碰的危险,车辆按原速行驶,并继续对前方进行不断的循环拍摄与判断,利用了双目视觉系统中视差与深度的关系,无需对物体进行三维重建,只需要不断对比前后两帧图片的深度信息并判断是否达到安全阈值,便能够实现无人驾驶车辆的主动避险,该方法既能够在天气晴朗,光线良好的情况下快速判断车距,主动停车避险,又能够在雾天等光线不良的情况下,保证算法的可靠性。
附图说明
图1为本发明系统结构示意图。
图2为平行配置双目视觉系统计算原理图。
图3为灰度与距离的关系示意图。
具体实施方式
下面结合附图对本发明做进一步详细描述:
如图1所示,一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,具体包括以下步骤:
1)、首先通过双目视觉系统对前方进行拍摄,获得双目视觉图;
2)、对所得双目视觉图进行平滑、光顺、去噪预处理;
3)、从预处理后的双目视觉图中寻找相对清晰的特征区域,并在GPU并行架构下,计算得到浓密的视差图;
4)、将得到的视差图信息反映到灰度空间0~255;
5)、初始灰度值设为H0=0,并搜索第一帧图像的灰度的最大值记为H1;
6)、判断H1是否大于H0;如果否,说明H1=H0=0,前方无物体;如果为是,说明前方有物体,并将H1的灰度值赋给H0;
7)、将赋值后的H0与根据汽车行驶速度和制动减速度得到的安全灰度阈值T作比较,如果H0>=T,说明无人驾驶车辆与物体之间的距离小于安全距离,汽车主动紧急制动避险,如果H0<T,说明前方物体暂时没有与无人驾驶汽车相碰的危险,车辆按原速行驶,并继续对前方进行不断的循环拍摄与判断。
步骤1)中获取的双目视觉图指通过双目视觉系统分别获取左图片A和右图片B。
步骤3)中,从预处理后的双目图像中通过深度学习的方法,从深度神经网络系统中快速寻找相对清晰的特征区域P0。
步骤4)中,灰度初始值H0是指人为规定的无障碍物时的灰度值,即H0=0。
步骤4)中视差图信息与灰度空间值的关系:
以平行配置的双目视觉系统为例,其视觉系统简易的计算原理图如图2所示:
利用三角形的相似关系可以得出:
左图片
右图片
这两个公式分别是以点O和点O’为坐标原点,左图片A和右图片B的向量方向相反,因此视差为:
由上面的公式可以看出视差d与深度Z成反比例关系,其他形式的双目视觉系统不改变其视差与深度的反比例关系,由于d与灰度成正比例关系,因此,灰度与深度Z也成反比例关系,即灰度值能够直接反应物体的深度情况,灰度值越高说明物体越靠近摄像机,灰度值越低说明物体越远离摄像机。
步骤7)中安全灰度阈值T的计算方法如下:
制动过程中车速为:
t0是开始采取制动到制动开始起作用所需要的时间,v0为采取制动措施前的初始车速,v(0)=v0,v(t0+t1)=0;是平均制动减速度;
对车速v(t)进行积分可求出制动距离
引入安全系数λ,λ为实际安全距离E与制动距离S之比,从而实际安全距离可表示为:
E=λS
把λ=1时的车距称为准安全车距,如果前方物体与无人驾驶车辆的距离在准安全车距以上,则可防止车辆与物体相撞,安全起见取λ=1.2。
步骤2)和步骤3)中双目视觉图既可以是在晴天天气良好情况下拍摄的图片,也可以是在雾天拍摄的特征不清晰的双目图片。如图3所示,灰度与距离的关系示意图,距离越近灰度值越大就是中间那个黑色的,慢慢随着距离变远。
将实际安全车距反映到灰度空间0-255,便可得到我们需要的安全灰度阈值T,根据我国交通法规,当能见度小于500米大于200米时,时速不得超过80公里;能见度小于200米大于100米时,时速不得超过60公里;能见度小于100米大于50米时,时速不得超过40公里;能见度在30米以内时,时速应控制在20公里以下;一般视距10米左右时,时速应控制在5公里以下;雾天行车的最高时速为80km/h,此时所需的安全距离最大,反映到灰度空间的灰度阈值最小,随着速度的降低灰度阈值逐渐增大,因此安全灰度阈值是一个随速度变化而变化的量。

Claims (8)

1.一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,其特征在于,具体包括以下步骤:
1)、首先通过双目视觉系统对前方进行拍摄,获得双目视觉图;
2)、对所得双目视觉图进行平滑、光顺、去噪预处理;
3)、从预处理后的双目视觉图中寻找相对清晰的特征区域,并在GPU并行架构下,计算得到浓密的视差图;
4)、将得到的视差图信息反映到灰度空间0~255;
5)、初始灰度值设为H0=0,并搜索第一帧图像的灰度的最大值记为H1;
6)、判断H1是否大于H0;如果否,说明H1=H0=0,前方无物体;如果为是,说明前方有物体,并将H1的灰度值赋给H0;
7)、将赋值后的H0与根据汽车行驶速度和制动减速度得到的安全灰度阈值T作比较,如果H0>=T,说明无人驾驶车辆与物体之间的距离小于安全距离,汽车主动紧急制动避险,如果H0<T,说明前方物体暂时没有与无人驾驶汽车相碰的危险,车辆按原速行驶,并继续对前方进行不断的循环拍摄与判断。
2.根据权利要求1所述的一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,其特征在于,步骤1)中获取的双目视觉图指通过双目视觉系统分别获取左图片A和右图片B。
3.根据权利要求1所述的一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,其特征在于,步骤4)中,灰度初始值H0是指人为规定的无障碍物时的灰度值,即H0=0。
4.根据权利要求2所述的一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,其特征在于,步骤(4)中视差图信息与灰度空间值的关系:
利用三角形的相似关系可以得出:
左图片
右图片
这两个公式分别是以点O和点O’为坐标原点,左图片A和右图片B的向量方向相反,因此视差为:
<mrow> <mi>d</mi> <mo>=</mo> <mi>x</mi> <mo>-</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mi>x</mi> <mo>+</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <mi>b</mi> <mi>f</mi> </mrow> <mi>Z</mi> </mfrac> </mrow>
上式中d为视差值,Z为深度,由于d与灰度空间值成正比例关系。
5.根据权利要求2所述的一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,其特征在于,其中λ=1.2。
6.根据权利要求1所述的一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,其特征在于,步骤7)中安全灰度阈值T的计算方法如下:
制动过程中车速为:
<mrow> <mi>V</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <msub> <mi>v</mi> <mn>0</mn> </msub> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>t</mi> <mo>&amp;le;</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>v</mi> <mn>0</mn> </msub> <mo>-</mo> <munderover> <mo>&amp;Integral;</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> <mrow> <msub> <mi>t</mi> <mn>0</mn> </msub> <mo>+</mo> <msub> <mi>t</mi> <mn>1</mn> </msub> </mrow> </munderover> <mover> <mi>a</mi> <mo>&amp;OverBar;</mo> </mover> <mi>d</mi> <mi>t</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>t</mi> <mn>0</mn> </msub> <mo>&amp;le;</mo> <mi>t</mi> <mo>&amp;le;</mo> <msub> <mi>t</mi> <mn>1</mn> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
t0是开始采取制动到制动开始起作用所需要的时间,v0为采取制动措施前的初始车速,v(0)=v0,v(t0+t1)=0;是平均制动减速度;
对车速v(t)进行积分可求出制动距离
<mrow> <mi>S</mi> <mo>=</mo> <msub> <mi>t</mi> <mn>0</mn> </msub> <msub> <mi>v</mi> <mn>0</mn> </msub> <mo>+</mo> <msup> <msub> <mi>v</mi> <mn>0</mn> </msub> <mn>2</mn> </msup> <mo>/</mo> <mn>2</mn> <mover> <mi>a</mi> <mo>&amp;OverBar;</mo> </mover> </mrow>
引入安全系数λ,λ为实际安全距离E与制动距离S之比,从而实际安全距离可表示为:
E=λS
安全灰度阈值T=255-E,即可得到安全灰度阈值T。
7.根据权利要求1所述的一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,其特征在于,步骤3)中,从预处理后的双目图像中通过深度学习的方法,从深度神经网络系统中快速寻找相对清晰的特征区域P0。
8.根据权利要求1所述的一种基于双目视觉的无人驾驶汽车雾天主动避险的方法,其特征在于,步骤2)和步骤3)中双目视觉图包括天气良好情况下拍摄的图片和雾天拍摄的特征不清晰的图片。
CN201710452915.XA 2017-06-15 2017-06-15 一种基于双目视觉的无人驾驶汽车雾天主动避险的方法 Pending CN107168327A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710452915.XA CN107168327A (zh) 2017-06-15 2017-06-15 一种基于双目视觉的无人驾驶汽车雾天主动避险的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710452915.XA CN107168327A (zh) 2017-06-15 2017-06-15 一种基于双目视觉的无人驾驶汽车雾天主动避险的方法

Publications (1)

Publication Number Publication Date
CN107168327A true CN107168327A (zh) 2017-09-15

Family

ID=59818725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710452915.XA Pending CN107168327A (zh) 2017-06-15 2017-06-15 一种基于双目视觉的无人驾驶汽车雾天主动避险的方法

Country Status (1)

Country Link
CN (1) CN107168327A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230437A (zh) * 2017-12-15 2018-06-29 深圳市商汤科技有限公司 场景重建方法和装置、电子设备、程序和介质
CN108573215A (zh) * 2018-03-16 2018-09-25 海信集团有限公司 道路反光区域检测方法、装置和终端
CN110525225A (zh) * 2019-08-22 2019-12-03 广州易流新能源汽车科技有限公司 一种无人驾驶电动汽车的制动方法、储存介质及其开发方法
CN111649695A (zh) * 2020-06-05 2020-09-11 苏州若柏视智能科技有限公司 一种双目视觉传感器及物体识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230437A (zh) * 2017-12-15 2018-06-29 深圳市商汤科技有限公司 场景重建方法和装置、电子设备、程序和介质
CN108230437B (zh) * 2017-12-15 2021-11-09 深圳市商汤科技有限公司 场景重建方法和装置、电子设备、程序和介质
CN108573215A (zh) * 2018-03-16 2018-09-25 海信集团有限公司 道路反光区域检测方法、装置和终端
CN108573215B (zh) * 2018-03-16 2021-08-03 海信集团有限公司 道路反光区域检测方法、装置和终端
CN110525225A (zh) * 2019-08-22 2019-12-03 广州易流新能源汽车科技有限公司 一种无人驾驶电动汽车的制动方法、储存介质及其开发方法
CN110525225B (zh) * 2019-08-22 2022-03-22 易特智行科技(张家口)有限公司 一种无人驾驶电动汽车的制动方法、储存介质及其开发方法
CN111649695A (zh) * 2020-06-05 2020-09-11 苏州若柏视智能科技有限公司 一种双目视觉传感器及物体识别方法

Similar Documents

Publication Publication Date Title
CN107168327A (zh) 一种基于双目视觉的无人驾驶汽车雾天主动避险的方法
CN108725440B (zh) 前向碰撞控制方法和装置、电子设备、程序和介质
CN102390370B (zh) 一种基于立体视觉的车辆行驶应急处理装置及方法
Tarel et al. Vision enhancement in homogeneous and heterogeneous fog
CN102227758B (zh) 摄像装置
CN107972662A (zh) 一种基于深度学习的车辆前向碰撞预警方法
CN107202983A (zh) 基于图像识别和毫米波雷达融合的自动刹车方法和系统
Chan et al. Vehicle detection under various lighting conditions by incorporating particle filter
WO2022151664A1 (zh) 一种基于单目摄像头的3d物体检测方法
CN102069770A (zh) 基于双目立体视觉的汽车主动安全控制系统及其控制方法
CN101941438A (zh) 安全车距智能检控装置与方法
US20210271866A1 (en) Pedestrian action recognition and localization using rgb images
CN102910168A (zh) 图像处理装置
WO2021164463A1 (zh) 检测方法、装置及存储介质
CN111507171A (zh) 根据驾驶员状态自动调整驾驶员辅助装置的方法和装置
CN110969064A (zh) 一种基于单目视觉的图像检测方法、装置及存储设备
CN115123298A (zh) 适用于双桥转向无驾驶室矿用作业车辆的主动感知系统
CN107517592A (zh) 汽车可行驶区域实时检测方法和系统
CN112116809A (zh) 基于v2x技术的非视距车辆防碰撞方法及装置
CN115187963A (zh) 车辆障碍物检测方法、系统、设备、介质及程序
CN112373460A (zh) 基于场景变化动态调整阈值的车辆侧翻预警方法及系统
Jain et al. Relative vehicle velocity estimation using monocular video stream
US20220009486A1 (en) Calculation device for vehicle travel control and travel control system using same
CN114973199A (zh) 一种基于卷积神经网络的轨道交通列车障碍物检测方法
US10953885B2 (en) Road surface detecting apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170915