CN108663688A - 一种用于移动物体检测障碍的传感器 - Google Patents

一种用于移动物体检测障碍的传感器 Download PDF

Info

Publication number
CN108663688A
CN108663688A CN201710187060.2A CN201710187060A CN108663688A CN 108663688 A CN108663688 A CN 108663688A CN 201710187060 A CN201710187060 A CN 201710187060A CN 108663688 A CN108663688 A CN 108663688A
Authority
CN
China
Prior art keywords
linear laser
laser
reflecting surface
emitter
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710187060.2A
Other languages
English (en)
Inventor
张舒怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710187060.2A priority Critical patent/CN108663688A/zh
Publication of CN108663688A publication Critical patent/CN108663688A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Toys (AREA)

Abstract

一种用于移动物体检测障碍的传感器,它包含至少一个数字成像模块、一个线状激光发射装置,以及至少一个存在反射面的反射镜或反射棱镜或导光管,线状激光发射装置将激光信号发射至反射面,一个或多个反射面将线状激光发射装置发射的线状激光在离开整套传感器信号发射装置前的光路通过反射延长一次或多次,所述的反射面是与线状激光的张角一致的长条状的反射镜或反射棱镜或导光管,反射面长条方向呈平面或曲面,数字成像模块主要用于将线状激光线在移动物体前方的投影线摄入成像模块的CCD(或CMOS)感光元件上,根据该激光线在感光元件上的位置形状,就能判别激光线在地面的投影线有没有被其他物体(障碍物)遮挡住。

Description

一种用于移动物体检测障碍的传感器
技术领域
主要用于机器人一类的自主移动设备在移动过程中检测前方整个投影面上可能碰到的障碍物,也适应于汽车、船舶等交通工具的自动驾驶或辅助驾驶中。
背景技术
机器人在检测移动方向(一般为前方)上的障碍物时,最好是移动方向的整个面(机器人在前方的投影面)都能检测到,否则,那怕是机器人的一个边角都可能撞上障碍物,如果是这样这个自动移动的装置就不可靠,因此机器人在检测前方障碍时最好采用面传感器。比如,机器人需要检测会不会被茶几、沙发下沿卡住(或撞坏家具)、前方地面的凸起机器人是否能够越过、机器人的边角是否会撞人等,目前机器人上常用的检测障碍的传感器有红外线或超声波,需要安装多个,且不能覆盖整个投影面,但是如果为了扩大覆盖面而在整个面上都安装这类传感器,一则成本较高,二则信号覆盖就扩散了,相当于把机器人的机体范围放大了,原来可以进入的通道也变得不可进了;同样带自动驾驶或辅助驾驶的交通工具等在检测移动方向(一般为前方)道路上的障碍物时,最好是移动方向的整个面(机器人/交通工具在前方的投影面)都能检测到,否则,那怕是汽车的一个边角都可能撞上障碍物(或人)。
发明内容
本发明就是为了解决这个传感器的覆盖问题,能够让移动物体在移动方向的整个面上检测到障碍物,提供这种覆盖面宽的传感器。
本发明是这样设计的:
一种用于移动物体检测障碍的传感器,其特征在于所述的传感器包含至少一个数字成像模块、一个线状激光发射装置,以及至少一个存在反射面的反射镜或反射棱镜或导光管,线状激光发射装置将激光信号发射至反射面,一个或多个反射面将线状激光发射装置发射的线状激光在离开整套传感器信号发射装置前的光路通过反射延长一次或多次,所述的反射面是与线状激光的张角一致的长条状的反射镜或反射棱镜或导光管,反射面长条方向呈平面或曲面,数字成像模块主要用于将线状激光线在移动物体前方的投影线摄入成像模块的CCD(或CMOS)感光元件上,根据该激光线在感光元件上的位置形状,就能判别激光线在地面的投影线有没有被其他物体(障碍物)遮挡住,除了激光线(合作目标),其他物体(非合作目标)在感光元件上的成像可被忽略。
所述的线状激光发射装置为至少一个一字线激光发射头,且如果一字线激光发射头多于一个时,这多个一字线激光发射头的张角在一平面上。
传感器信号发射装置出光处的反射面整体为一个面。
传感器信号发射装置出光处的反射面为多个面,多个面将信号反射至多个方向;线状激光发射装置也可有多个,每个朝向多个反射面的其中一个面;或者线状激光发射装置为一个,这个线状激光发射装置包含多个朝向多个反射面其中一个面的一字线激光发射头。
线状激光发射装置还附带上下转动机构或摆动机构,转动机构或摆动机构能将线状激光来回转动一些角度,通过转动将线状激光朝向反射面的不同位置。
传感器信号发射装置出光处的反射面还附带上下转动机构或摆动机构,线状激光发射装置发出的激光线平行于移动物体的轮轴(比如汽车),转动机构或摆动机构能将出光处的反射面来回转动一些角度,通过转动,出光处的反射面反射的线状激光传递到前方水平方向不同角度。
传感器信号发射装置出光处的反射装置还附带左右转动或摆动机构,线状激光发射装置发出的激光线垂直于地面,转动机构能将出光处的反射面反射的线状激光传递到前方垂直方向不同角度。
所述的线状激光发射装置也可安装在移动物体上的固定高度。一般线状激光发射装置设置在移动物体顶部,所发出的线状激光大致朝向移动物体前下方。
传感器信号发射装置带升降机构, 升降机构将出光处的反射面抬升或下降。
虽然出光张角大的一字线激光发射头能将激光线立刻变长,但是其亮度也迅速衰减,本发明的目的之一还在于要约束线状激光发射装置的张角、保证线状激光的亮度,并且让线状激光离开移动物体本体前基本扩张到相应的长度。
附图说明
图1(a、b、c、d)以轿车为例前方障碍物判别示意图(其中a’、b’、c’、d’分别为a、b、c、d的成像示意图)。
图2为本发明前方障碍物距离计算原理图。
图3为本发明的另一例(垂直方向扫描)障碍物距离判别示意图。
图4为针对类人形机器人传感器信号发射装置信号覆盖示意图(其中a、b为未用本发明的机器人、c、d为设置了本发明的传感器的机器人)。
图5(a、b、c)为本发明的机器人小车(比如扫地机器人)传感器安装方式示意图。
图6(a、b、c)为本发明传感器信号发射装置结构示意图(其中a为侧面剖面图,b为a的正面剖面图,c为另一种结构剖面图)。
图7(a、b)为本发明的两例多个线状激光传感器信号发射装置并列安装结构示意图。
图8(a、b、c、d)本发明的另两例(垂直方向扫描)传感器信号发射装置结构示意图。
图9为本发明的机器人小车带旋转的传感器信号发射装置安装方式示意图(其中a、b为俯视图,c为b的侧视图)。
图10(a、b、c)为带旋转的传感器信号发射装置的工作示意图(圆圈内为局部放大图)。
图11(a、b、c、d、e、f)为旋转机构示意图。
图12为一种自动驾驶汽车传感器安装示意图。
图13(a、b)为一种在轿车上带升降杆的线状激光发射装置工作示意图(13a圆圈内为局部放大图)。
图14(a、b、c)为另一种在轿车上安装的升降杆工作示意图(14c为局部放大图)。
图15为一种升降架示意图。
实施例:
一种用于移动物体检测障碍的传感器,其特征在于所述的传感器包含至少一个数字成像模块2、一个朝向前方地面的线状激光发射装置1,以及至少一个存在反射面3的反射镜31或反射棱镜32或导光管,线状激光发射装置1将激光信号发射至反射面3,一个或多个反射面3将线状激光发射装置1发射的线状激光在离开整套传感器信号发射装置前的光路通过反射延长一次或多次,所述的反射面3是与线状激光1的张角一致的长条状的反射镜31或反射棱镜32或导光管,反射面3长条方向呈平面或曲面。
至少一个数字成像模块2设置在移动物体前面板附近低于或高于线状激光发射装置1处,大致设置的位置一般是移动物体的半高位置,可以兼顾成像模块的视角,数字成像模块主要用于将线状激光线在移动物体前方的投影线摄入成像模块的CCD(或CMOS)感光元件上,根据该线状激光(点激光连成的线或线段激光或线段激光连成的线段)在感光元件上的位置形状,就能判别线状激光在地面的投影线有没有被其他物体(障碍物)遮挡住,除了线状激光(合作目标),其他物体(非合作目标)在感光元件上的成像可被忽略,因为一般的障碍物都落地(有脚),尤其汽车的轮子,在前方地面上能被检测到,那么障碍物也就存在。
无障碍时,地面上的激光线稳定投影在固定位置(因为比如公路有一定的斜度,投影的激光线并不一定是一直线),如图1a/1a’,有障碍凸起时,一部分激光线照在凸起的障碍上,其在成像模块上的投影会上移(记录下首次上移的时间),如图1b/1b’、1c/1c’,根据上移的偏移量,能计算出障碍物的距离,并根据移动物体移动速度,可计算移动物体多长时间会遇到该障碍,移动物体应该如何动作,如果前方道路上有坑,那么在预期位置上一个有的激光线就会下移或者看不见,如图1d/1d’,这种情况也表明前方有障碍,不能跨越(也可通过计算下移的偏移量,根据经验值确定这个落差移动物体能通过)。
进一步,根据线状激光发射头的斜向下的角度、感光元件上的线状激光线投影位置,甚至能够计算出障碍物离移动物体的位置,如图2线状激光发射装置的出光处为A(离地高度为AB),射出的光线照到路面上D点,一旦遇到路上的障碍物(比如一个路障),部分光会被挡住,在L处出现亮点(线段),成像装置的镜头E中心点为O,该点离地高度为OG;感光元件C(CCD)水平方向对应O点处为Q点,D点在C上的成像处为R点,L点在C上的成像处为P点(其实D、L、N、R、P点并不在一个平面上,图中为这些点的投影面),DR与障碍物LM(取其高度)相交于N点,AD与地面的夹角为α,DR与地面的夹角为β。根据焦距与放大倍数计算所得的放大比例为k,的其中AB、OG、GB、OQ为已知(固定值),RQ、PQ根据像素点的密度(及像素点间隔的距离),在C上绝对的长度可以计算得知,实际长度(代入下来公式时)还要乘上放大比例k,看做可知(已知),假设障碍物LM离D的距离为x,即DM的长度为x则,图中方便起见默认放大比例k为1:
∵ tgβ=MN/DM= RQ/OQ= OG/DG
∴ DG= OG*OQ/RQ
∵ tgα= AB/DB 即tgα=AB/(DG+GB)= AB/(OG*OQ/RQ +GB)
∵ LN=LM-MN= x*(tgα- tgβ)
∵(DG-DM)/OQ=LN/RP 即 (DG-x)/OQ=LN/RP
∴(DG-x)/OQ= x*(tgα- tgβ)/RP
即(DG-x)/OQ= x*(AB/(DG +GB)- RQ/OQ)/RP
x=(RP*DG/ ((AB*OQ/(DG+GB))-(RQ-RP))
其中RQ-RP=PQ,所以简化后:
x=RP*DG/ (AB*OQ/(DG+GB)-PQ); DG=OG*OQ/RQ
∴x=RP*OG*OQ/(RQ*(AB*OQ/(OG*OQ/RQ+GB)-PQ))
DG-x即OG*OQ/RQ-RP*OG*OQ/(RQ*(AB*OQ/(OG*OQ/RQ+GB)-PQ))为障碍物离移动物体前端(镜头)的距离。
根据当时的移动物体的速度及刹车距离,计算出移动物体还能前行多久(或多少距离)就需要改变方向,并根据障碍物左右两侧的情况确定往左右或者后方哪个方向移动,或者根据移动趋势变更移动方向为左后或者右后。
线状激光发射装置1还可设置在机器人的一侧,大致半高位置,线状激光大致垂直于地面,朝向机器人前方,数字成像模块2设置在机器人的另一侧或另一侧至机器人中轴线(中间位置的垂线)附近的大致半高位置。在这种设置方式下,需要判别的就是激光线弯折的位置和弯折的方向。如图3中有A、B、C、D四段线,其中A、D是护墙板处的弯折,A、D段的上方又弯折,表明A、D处均凸出墙体;B段为靠墙摆放的一个柜子凸出;C段为地上的地毯凸起,根据C段下方及上方凸起部分位于成像模块上的水平位置,可通过查经验值(事先存放的成像模块上各处水平位置对应的离机器人的距离值)的方式可取得障碍物离机器人的距离,凸起(或凹陷)的高度(并不是很重要,可作为判别机器人能否爬上(越过)障碍物(地毯)的依据)也可通过查经验值取得。
因为传感器信号发射装置发出的线状激光在前方每个距离投射出的线段长度是固定的,还有一种计算方式是根据成像模块中拍摄到的线状激光的长度计算确定线状激光投射处离机器人的距离是多少;根据每一段(如果线状激光信号发射装置有多个)或一整段线状激光在成像模块上的相应位置(以及当前机器人车体的水平倾角)以计算或查表的方式也可测算线状激光投射处(或者)离机器人的距离。
如图4(a、b),如果在机器人的顶部设置一个朝向前下方的线状激光发射装置1,根据这个线状激光发射装置的张角,在前方平整的地面上留下一条线,发射点到地面的线形成一个等腰三角形,也就是所述的传感器信号发射装置的信号范围就是这个三角形的范围,显然,机器人的顶端(如图4b的阴影部分)并不能完全覆盖整个机器人在前方的投影面,如果仅靠这个传感器,机器人上部就可能会撞上障碍物,本发明就是为了将顶端的一个点扩展为至少同机器人顶端同宽,并且能扩展至机器人最宽处(同等高度)同宽的一条线,如图4(c、d),将一个线状激光发射装置的位置后移或者将一个线状激光发射装置1设置在机器人内部,线状激光发射装置1的激光发射头朝向反射面3,通过至少一个反射面3反射延长扩束。如果有多个存在反射面3的反射镜31或者反射棱镜32,一般在最后一块反射面3出光时,能将线状激光延长至与接近机器人等宽的长度(或者就是等宽),或者抵近机器人的前脸所在的竖直面时,或者抵达成像装置2的上方最大光学视角的延长线时,能将线状激光延长至接近机器人等宽的长度,等宽的目的是保证前方所有进入机器人等宽范围的物体(都有可能与运动的机器人相撞)都会被线状激光照到,能在成像装置上有投影。
一个反射面3也可以是一个柱形反射棱镜32(即反射面3存在于柱形反射棱镜32的一个长条状面上),这个棱镜可将线状激光发射头1发出的线状激光的激光线一方面通过反射在离开移动物体前传输更长的距离延长(扩张)射向移动物体的前下方、一方面又通过棱镜32折射偏向移动物体的斜上方发出线状激光的组合装置,如图5(b、c)、图6(c),这种斜向上方的一字线是为了标明移动物体加上线状激光发射装置的高度之间是否会在成像装置上显示一字线段,如果有,标明上方有障碍物,还可以在车辆过桥梁、限高标杆等物时检测是否能安全通过。当然为了检测上方的限高,也可单独设置朝向斜上方的线状激光发射头而不通过棱镜。
至少一个反射面3也可以是一个反射棱镜32加至少一个反射镜31或全反射棱镜32,线状激光发射装置1发出的入射激光从反射镜31或全反射棱镜32射向出光处的反射棱镜32,最终从反射棱镜32处出光;或从一个反射镜31射向另一个反射镜31,多次反射后从反射棱镜处32出光,如图6(c)。
至少一个反射面3还可以是多个反射镜31或全反射棱镜32,入射激光从一个反射镜31或全反射棱镜32射向另一个反射镜31或全反射棱镜32,多次反射后从最后一个反射镜31处出光,如图5(a)、图6(a、b)。
多个反射面3还可以是弯曲的由窄变宽的柱形导光管33,导光管33呈由窄变宽(指线状激光发射装置1发射的线扩张方向而非发散变粗方向变宽)的弯曲的柱形(相当于将一个等腰三角形的透光平板从顶角处由里向外卷起来),由窄变宽的幅度(即等腰三角形的顶角)由线状激光发射装置发射的线状激光的张角决定,一般将线状激光约束在柱形导光管33内,弯曲可以是断续弯曲(部分直管、部分弧形管,如图8(a、b))或连续弯曲,如图8(c、d)弯曲的柱形导光管与线状激光就相当于光纤与激光(点状)的关系,可以让激光信号在导光管内不断变换方向,对于线状激光的意义就是让其在导光管内在变换方向的同时延长线状激光的长度,对于连续弯曲的导光管而言,还可以节省安装空间,弯曲的导光管不仅可以传输一路线状激光,也可传输多路的线状激光,可相同位置不同角度、也可不同位置相同角度(平行)、还可不同位置不同角度入射的线状激光。
传感器信号发射装置出光处(最后一个反射镜31或反射棱镜32)的反射面3整体为一个面(平面或曲面(曲面反射面3的截面线平滑过渡)),这个反射面3将一个线状激光发射装置1发射的线状激光反射至移动物体前方,或是将来自不同方向的多个线状激光反射至移动物体前方不同角度。
传感器信号发射装置出光处的反射面3为多个面(过渡不平滑的多个平面(截面呈折线)或者多个曲面),线状激光发射装置1也为多个(一般平行设置),每个反射面反射一个线状激光发射装置发出的激光线,多个面将多个线状激光发射装置1的信号反射至前方道路上多个距离,如图7(b);如果出光处的反射面3为多个面的反射棱镜(多棱镜)32,除了将多个(一般平行设置)线状激光发射装置1发射的线状激光(a、b、c)反射(a’、b’、c’)外,还能将其中的一路(a)折射(a”)向前上方射出,如图7(a)。
传感器信号发射装置出光处的反射面3还附带上下转动机构或摆动机构5,线状激光发射装置发出的激光线平行于移动物体的轮轴,转动机构或摆动机构5能将出光处的反射面转动一些角度,通过转动,出光处的反射面3反射的线状激光传递到前方水平方向不同角度,如图9、10、11,比如自动驾驶(或带辅助驾驶装置)的车辆根据速度及安全刹车距离,需要检测远处(比如100米开外)还是中距离(30~50米),近处(10米以内)不同的障碍,这种转(摆)动方向是将激光线由近至远的转动,或者移动物体通过这个转(摆)动机构检测有没有在图像处理模块的视野范围内有坐落于地面的障碍物,这个转(摆)动方向是向上转(摆)动至反射面至少能将线状激光反射至移动物体前方等高的范围,自动驾驶(或带辅助驾驶装置)的车辆也通过这个转(摆)动检测前方道路有没有低于车辆高度的横梁、树枝等障碍,如图10(a、b、c)中,入射至出光处反射面的线状激光略倾斜于水平面,出光处的反射面前端略呈弧线(将入射光线扩张至更大的角度),整个出光处反射面的反射装置的旋转轴30位于反射装置的中后端或者后端,旋转轴30转动时,线状激光投射至近处接近90度至较远处的障碍物上略高于移动物体的最高处的在前面的投影线(可以是入射的线状激光完全没有打在反射面上,直接射向前方)。
传感器信号发射装置出光处的反射面3还附带左右转动或摆动机构5,线状激光发射装置发出的激光线垂直于地面,转动机构能将出光处的反射面3反射的线状激光传递到前方垂直方向不同角度,如图8(a、b、c、d),对于图8(a、b)的反射棱镜31来说,除了折射光线外,在一些旋转角度还存在折射光线的反射线。
整个出光处反射面3的反射装置的两端(或至少一端)的旋转轴50被支撑臂59夹持(可通过铜套或轴承夹持),中间位置(或者另一段)的旋转轴50上设置齿轮,通过一个过渡齿轮52与驱动轴51上的齿轮啮合,如图11(a),驱动轴由伺服电机、步进电机或带减速齿轮的直流电机加码盘驱动(可以是步进电机的电机轴);整个出光处反射面3的反射装置的旋转轴也可以就是电机的输出轴,或者之间只有一个齿轮。
整个出光处反射面3的尾部也可设置弧线形齿条53,与驱动轴51驱动的齿轮啮合,以齿轮齿条的方式驱动旋转一定角度,如图11(b);尾部也可设置弧线形涡形齿,与一电机驱动的涡轮啮合,以蜗轮蜗杆的方式驱动旋转一定角度,蜗轮蜗杆的好处是自锁与大减速比。
整个出光处反射面3也可通过凸轮54(偏心轮)旋转加弹簧55拉伸回复的方式作往复(摆动)运动,如图11(c)。
整个出光处反射面31也可通过曲柄56连杆57的方式驱动作往复运动,如图11(d),图中画出了反射面31通过往复运动后的两个位置。
整个出光处反射面的往复(摆动)运动也可通过电磁铁58的通断控制,如图11(e),电磁铁58设置在反射面的底部左右两侧中的一侧(或两侧都设置),通电时电磁铁58吸合反射面底部的铁块,断电时反射面被弹簧55拉回;或者将电磁铁58设置在反射面的上方,如图11(f),电磁铁58通电时吸合反射面上方的铁块,电磁铁58断电时由于重力作用反射面旋转回落。
转动机构或者往复运动(摆动机构)5有很多方案,这只是一些简单的示例方案,一个转动机构或摆动机构对于机械行业的技术人员来说能够设计出很多方案,不应将转动机构或摆动机构的变化视为本发明的新的改进。
出光处反射面3也可是平面,反射面3的旋转轴位于线状激光投射于反射面3的线附近(或重合),旋转轴的驱动部分在反射板的左右两端(如果是如图11的上下转动的安装方式)中的一端,另一端以轴承固定旋转的支撑轴;对于左右转动的安装方式,如图8,旋转轴的驱动部分在反射板的上下两端中的一端。
线状激光发射装置1还附带上下转动机构或摆动机构5,转动机构或摆动机构5能将线状激光来回转动一些角度,通过转动将线状激光朝向反射面3的不同位置,并反射至前方不同角度。
传感器信号发射装置也可以是线状激光发射装置1打到一根凸面镜35或凹透镜上进行扩束(要求线的扩张角变大,即激光线的长度变长,线本身不需要变粗,所用最好采用条状凸面镜35,即凸面镜35窄的方向是平的,长的方向是弧线面),然后离开整套传感器信号发射装置前的那个反射面3加工成凹面镜34或凸透棱镜进行聚焦,聚焦包括线的扩张角变小、激光线变细(曲面呈球面),当然也可以只是扩张角变小,即凹面镜34窄的方向是平的,长的方向是弧线面,如图12。
线状激光发射装置1可以为至少一个一字线激光发射头,尤其对于较慢速度移动的移动物体来说,一个一字线激光发射头在不远处(与移动物体移动速度有关、也与数字成像模块2的视角有关)地面的投影线的亮度足够,一个一字线激光发射装置通过至少一个反射面3将一字线激光发射头发射的激光线延长,这个反射面可以是长条状的反射镜31或反射棱镜32,整套线状激光发射装置出光处的反射面整体为多个条状面,这个面可以是平面或凹面(出光时再聚焦一次),其余反射面(第二个以至更多)可为条状一个面的反射镜31或反射棱镜32,反射镜31为镜子(具有有规则反射性能的表面抛光金属器件和镀金属反射膜的玻璃(可防尘、表面防腐蚀)或金属、塑料制品(较轻便)),一般为玻璃(或树脂)镜。
线状激光发射装置1的可以为也可在同一平面上设置多个(至少两个)张角较小的一字线激光发射头,一字线激光发射头同向,即每个一字线激光发射头的张角的边在同一平面上,用多个发射头将一字线延长并约束每个一字线激光发射头的张角,通过至少一个反射面3将一字线激光发射头发射的激光线延长,可提高每一段线状激光的亮度,在较远处或环境亮度较强处还能在数字成像模块2中看到激光线。这些并列的一字线激光发射头设置在一个箱体或框架上。
所述的线状激光发射装置1为设置在一转盘上的呈圆环形分布的多个点状激光发射头,每个点状激光发射头背离圆心,设置在一个箱体或罩壳内,箱体或罩壳内前部有透光的窗口,转盘由电机驱动。也就是多个点状激光发射头(或张角小的一字线激光发射头同向)在一个能够旋转的圆盘上环形排列,通过旋转及反射及加上反射面3的反射,在路上形成类似直线的弧线。并不是所有圆盘的360度上都需要有出光,也可以没有窗口,在转动的滑环的某些角度设置通电触片点亮激光。这个能够旋转的圆盘上环形排列的可以是多层多个点状激光发射头(或张角小的一字线激光发射头同向),每层朝向一个方向同步旋转)。
线状激光发射装置包括一个能够围绕一根旋转轴一定角度来回旋转摆动的底板,底板上平行或放射状排列至少一层多个点状激光发射头或张角小的一字线激光发射头,通过来回旋转摆动,点状激光发射头或张角小的一字线激光发射头及加上反射面3的反射在前方投影面上投射出断续点或短线段构成的激光线,驱动底板来回旋转摆动的是反复断续供电的电磁铁(一侧的一个或两侧的两个)或正反向连续供电(即连续供电、周期性变换方向)的电机。也可以在这个面板上设置多层多个点状激光发射头(或张角小的一字线激光发射头同向),每层同步摆动。
线状激光发射装置还可以是至少一个点状激光发射头或张角小的一字线激光发射头将激光信号打在一个可以高速旋转的多柱面或多锥面反射镜上,通过多柱面或多锥面镜的旋转反射及加上反射面3的反射,在路上形成类似直线的弧线。柱面反射镜的横截面可以是正多边形或非正多边形的多边形,每个柱面或锥面反射面可以至少一个平面或至少一个曲面,可以用多个并列的点状激光发射头(或张角小的一字线激光发射头)打在同一个柱面上。多个并列的点状激光发射头相互平行可打在不同的点(线)上,或者多个并列的点状激光发射头不同方向打在同一个点(线)上。
线状激光发射装置是至少一个点状激光发射头或张角小的一字线激光发射头将激光信号打在一个围绕一根旋转轴一定角度来回旋转摆动的反射镜上,通过反射镜一定角度的来回摆动及反射及加上反射面3的反射,在前方投影面上投射出断续点或短线段构成的激光线,来回旋转摆动的反射镜的反射面位于反射镜的前表面(朝向激光发射头一侧),可以为一个平面或多个条状平面或曲面。同样可以用多个并列的点状激光发射头(或张角小的一字线激光发射头)打在摆动的反射镜上,左右摆动的反射镜可用电机驱动(正反向连续供电),也可用电磁铁(一侧的一个或两侧的两个)驱动,摆动的反射镜中还有一种特殊的压电偏摆镜,也可用在此处。
或者线状激光发射装置为一个,这个线状激光发射装置包含多个朝向多个反射面3其中一个面的一字线激光发射头,即多个一字线激光发射头合成一个线状激光发射装置1,这多个一字线激光发射头根据朝向不同分层,每层一个一字线激光发射头或每层两个(或更多,每层多个一字线激光发射头的一字线张角在同一个平面内)。
为了在远、中、近三个距离得到激光线,可以设置多层线状激光发射装置1,一层设置一个或多个一字线激光发射头(均匀间隔分布、每个一字线激光发射头的一字线张角在同一个平面内),每层平行打在不同的反射面上,或者交叉打在同一个反射面上,或者平行打在同一个反射面上,反射后再通过至少一个存在不同反射面的反射镜(或反射棱镜)将线状激光反射至多个方向。
线状激光发射装置激光线的产生并不是局限于上述几种方法,目的是为了产生一条能够将线状激光投射至反射面3激光线,也不局限是直线,弧线也可。也可采用人眼不可见的红外激光信号发射头作为线状激光发射装置。
在太阳光强烈的场合,远方的激光信号微弱,不一定能在感光元件上得到投影,一般绿色激光比较亮,可采用这种亮度较高颜色的线状激光发射头,还可采用可变功耗的功率放大器给激光发射头供电,在太阳光强烈的场合,提高功率,增强线状激光的亮度,或者并排提供多个不同功率的激光头,阳光强烈时,亮度(功率)最大的激光头工作,一般强烈时,亮度(功率)中等的激光头工作,无阳光时,亮度(功率)最小的激光头工作,可人工选择或自动选择(通过感光传感器),以成像模块的感光元件能感觉到线状激光的影子为止。
在反射后朝向远距离、中距离、近距离分别设置的三个(或多个)不同水平夹角的线状激光发射头的激光颜色最好不同。
较佳的使用方式是汽车高速行驶是使用并列的多个点状或张角很小的线状激光或一字线激光(亮度高),朝向较远的路面,汽车中速行驶是使用并列的多个点状激光或单个或多个张角很小的线状激光或普通的一字线激光(朝向中距离),汽车低速行驶是使用普通的单个或多个一字线激光(朝向近距离距离)。
所述的反射面3可安装在移动物体上的固定高度。
所述的反射面3可设置在移动物体的顶盖上,或者用固定支架(顶杆)支起,或者还包含反射面3升降机构(可调节反射面3在移动物体上的高度)。对于加载在升降机构的反射面3在升降前后需朝向的水平倾角可通过水平仪加电机驱动的角度旋转调整装置调整角度或通过机械陀螺仪的方式悬挂,不论升降杆顶端倾斜或升降的角度不同,反射面3均朝向前下方固定位置。
可将升降杆设置在汽车的A柱(或B、C柱)内,可单侧设置在一根柱内,升降杆本身呈倒“L”形,或设置在两侧的两个柱内(升降机构9的驱动轴从一侧延伸至另一侧,或者两侧均有同步旋转的驱动电机),升降杆本身呈“n”形,还可单杆呈“T”形,从发电机箱或行李箱内升降(可将此杆尽可能细,最小限度不影响视界),或呈“T”形单独设置在一侧的A柱(或B、C柱)内,升降杆本身有齿或螺纹,升降机构9为电机驱动的齿轮或螺杆可如显微镜镜台(或镜头)升降的方式提升线状激光发装置1的高度,如图13,线状激光发射装置1可设置在车体的车厢盖上方或发动机舱(或尾箱)内,线状激光的张角所在的面平行于升降杆升降的方向,并最终射到升降杆顶端的反射面3上。
升降机构如果用支架(顶杆)支起,这个支架还可设置为电动(或液压或气压)升降支架,如电动升降的天线或升降桅杆一样在汽车高速行驶时,为了在激光信号打得很远(100米左右)时,在成像模块清楚地分辨路上的点还是障碍物上的点,为了拉大LN点之间的距离,可将出光处的反射面大幅度升降提高。电动升降的天线或升降桅杆有成熟的技术,但电动机驱动升降时最好采用码盘或孔式(用光电对管或机械开关计数)发条(卷绕)这种省空间的方式,知道反射面3的高度,或者可通过检测开关直接升降至最大高度(固定值),下降也通过开关检测。桅杆可以在中低速行驶时放下倒伏在车顶上(便于减少行驶阻力、降低车高便于进车库等),高速行驶时,桅杆通过一根或两根(两侧各一根)顶92顶起,顶杆92可以是电动或者气动或者液压驱动,也可如图14以大减速比的齿轮驱动桅杆底部的齿轮91(局部齿),桅杆底部还有一凸起95,在桅杆的极限高度时顶住(小)汽车的C柱或后顶梁,桅杆不再向后倒。桅杆可以是一根(“T”形),也可是“n”形两根(为了不妨碍天窗),线状激光发射装置1可设置在车体的车厢盖上升降桅杆的根部,线状激光的张角所在的面平行于升降桅杆,并与升降桅杆同步转动,保证线状激光发射装置1最终射到升降桅杆顶端的反射面3上。
还可以在移动物体顶部设置一个平台式整体上升或下降的升降台(架),反射面3设置在升降台(架)上方(或下挂在顶端),如图15,升降驱动电机(带外壳)96驱动一个丝杆93,丝杆93远端为光杆,通过轴承97固定值升降台的一侧,近端通过驱动设置在升降台另一侧的螺母94推动升降台(架)上升或下降(升降架有多种形式驱动,以“升降台”搜索网上能搜到很多),驱动杆(包括丝杆螺母)也可斜置,升降台因为一般左右两侧对称分布,为了同步驱动,也可以气动或液压的方式加载在两侧驱动);线状激光发射装置1可设置在升降台底部两固定支撑架之间,线状激光的张角所在的面平行于升降架的活动支架(固定在活动支架底部的旋转轴98/99上(两根中的一根上),与活动支架底部的活动旋转轴98同步移动及转动或固定旋转轴99同步转动),在丝杆93上的螺母94或轴承97附近设置一垂直的带反射镜的反射板31,线状激光通过反射板的反射最终射到升降架顶端的反射面3上。或者在升降台的后部底部向上垂直发射线状激光,升降台的后部上部有一45度角左右的反射板,此反射板将下方射来的线状激光反射至升降台的前部上部的反射面3上;如果要让线状激光的反射过程更长,可将线状激光发射装置1设置在升降台的前部底部,射向升降台后部底部的45度角设置的反射板上;如果要让线状激光的反射过程变短,可将线状激光发射装置1设置在升降台的前部底部,垂直射向升降台前部上部的反射面上即可;或者在升降台的后部底部向前水平发射线状激光,升降台的前部底部有一45度角左右的反射板,此反射板将后方射来的线状激光垂直向上反射至升降台的前部上部的反射面3上。
所谓数字成像模块主要为包括摄像头、数字成像元器件(CCD或CMOS阵列)、输入输出电路、数字处理模块(DSP)等部件集成在一起的摄像系统,典型的应用比如相机、光学鼠标的成像及处理系统、手机的摄像头系统等,摄像头最好采用广角摄像头,在成像模块的前端还可设置滤光镜、偏振片,当然也可将滤光镜、偏振片集成在成像模块内(摄像头后),这个数字成像模块也可在同一平面上设置多个,比如左右各一个,以扩展视角。数字成像模块不一定设置在移动物体外壳上,也可在外壳上开孔(窗口)、成像装置向移动物体内部缩进一段距离。镜头为了防尘,可设置透光性好的玻璃(或树脂)片遮挡,或用滤光镜、偏振片挡灰,为了避免对面来车的灯光照射引起的曝光过度,还可在镜头前或后安装所谓的红外截止滤光片,该滤光片也可采用窗口方式(打开或关闭)或升降或平移方式,一般在晚间使用,即白天将滤光片移去,晚上移进。
成像装置2可以设置多个,比如一个长焦21,一个广角,中远距离采用长焦的,近处用广角的,长焦相机21(成像装置)设置在底盘附近高度,广角设置在物体半高位置附近(一般针对交通工具)。
如果因为物体的紧凑型设计,必须把设置在物体的前表面(或稍稍内陷),因为成像装置2的视角有限,不能将近处的线状激光的投影线拍摄全,处理的办法或者是设置多个成像装置2扩充视角,或者是将成像装置2上也设置一个转动机构,这个转动机构可以与线状激光发射装置1或者传感器信号发射装置出光处的反射面3同步来回转动,转动的方式可以是同一个转动驱动装置(电机或电磁铁)通过连杆连接或者同一个底盘一起转动,或者单独都通过带码盘的电机驱动,保证线状激光照射到近处时,成像装置也朝向近处(或者线状激光垂直朝向物体一侧时,成像装置2也朝向同一侧),如果成像装置2带转动装置,也可将成像装置2设置在物体的底部(一般针对机器人类物体)。
线状激光线在CMOS或CCD像素点上的成像并不是单纯的一直线,比如针对汽车,公路呈一定的斜坡(中间高、两边低),通过转动或抖动发出的线状激光呈现的是圆弧线,在图像信息处理时,这样的线段也应该能在知识库中被认为是合作目标被识别,包含路上的坑坑洼洼,在汽车的速度范围内可以被自动驾驶容许的线段偏离范围,等等这些数值需通过反复测试,建立在自动驾驶的知识库中。即便是激光,成像后还是有边缘模糊的状况,距离越远越严重(线段越宽),也需要进行响应的降噪、平滑、二值化处理等,如何取得较精确的距离值,可通过构建各个固定距离的激光线的成像特征,兼顾天气情况(亮度),提取相关的经验值,取得近似的质心(连线)建立在知识库中。另外汽车行驶过程中会抖动,但图像处理中的防抖已经有成熟技术(如相机),且车体抖动时,成像模块与线状激光发射装置是同步抖动的。现在的长焦相机的镜头一般有多片光学镜头组成,不能简单地依据相似三角形计算(前面的计算方式只是为了说明原理),有一定的比例关系(与相机的焦距、放大倍数有关),这个比例可以在实际应用时根据相机供应商提供的数据或者测量固定长度时所得到的经验数据加以计算。对于平整的道路来说,不同的距离,线状激光投射的线段在成像模块上的投影位置是固定的,但当路面不平,处于上坡或下坡的起始点前或坡度不固定的坡道时,投影位置就会偏离。
同一个线状激光发射装置1发射的线状激光在不同的距离上投影的激光线长度不同,距离越长激光线也越长,可在成像元件设置一个或多个(由大变小的——近处至远处)虚拟边框(类似于现在的后视倒车视频上显示车体宽度的梯形边框),虚拟的边框可以是两条线(类似道路向前方延长的线,不过比路窄,由车辆的两侧等宽处向前上方中间延伸),用以表示车辆的宽度,甚至虚拟的边框是一个长方形,长方形的高标识车辆的高度,长方形的底标识车辆可越过的高度,激光线在这个边框外的变形可以忽略,当然可以测量边框外的的激光线变形是否有向边框内移动的趋势,如果有,说明障碍物有可能会与车辆碰撞,车辆就应该减速或预警;对于其他移动物体来说就是建立一个移动物体前进方向上的投影边框,比如人形机器人的投影就是“人形”。

Claims (10)

1.一种用于移动物体检测障碍的传感器,其特征在于所述的传感器包含至少一个数字成像模块(2)、一个线状激光发射装置(1),以及至少一个存在反射面(3)的反射镜(31)或反射棱镜(32)或导光管(33),线状激光发射装置(1)将激光信号发射至反射面(3),一个或多个反射面(3)将线状激光发射装置(1)发射的线状激光在离开整套传感器信号发射装置前的光路通过反射延长一次或多次,所述的反射面(3)是与线状激光的张角一致的长条状的反射镜(31)或反射棱镜(32)或导光管(33),反射面(3)长条方向呈平面或曲面,数字成像模块(2)用于将线状激光在机器人移动方向上的投影线摄入成像模块的CCD/CMOS感光元件上,根据该线状激光在感光元件上的位置形状,判别线状激光在地面的投影线有没有被障碍物遮挡住,除了线状激光,其他物体在感光元件上的成像可被忽略。
2.根据权利要求1所述的一种用于移动物体检测障碍的传感器,其特征是所述的线状激光发射装置(1)为至少一个一字线激光发射头,且如果一字线激光发射头多于一个时,这多个一字线激光发射头的张角在一平面上。
3.根据权利要求1所述的一种用于移动物体检测障碍的传感器,其特征是传感器信号发射装置出光处的反射面(3)整体为一个面。
4.根据权利要求1所述的一种用于移动物体检测障碍的传感器,其特征是传感器信号发射装置出光处的反射面(3)为多个面。
5.根据权利要求4所述的一种用于移动物体检测障碍的传感器,其特征是线状激光发射装置(1)有多个,每个朝向多个反射面(3)的其中一个面。
6.根据权利要求4所述的一种用于移动物体检测障碍的传感器,其特征是线状激光发射装置(1)为一个,这个线状激光发射装置(1)包含多个朝向多个反射面(3)其中一个面的一字线激光发射头。
7.根据权利要求1所述的一种用于移动物体检测障碍的传感器,其特征是传感器信号发射装置出光处的反射面(3)还附带上下转动机构或摆动机构(5),线状激光发射装置(1)发出的激光线平行于机器人轮轴,转动机构或摆动机构(5)能将出光处的反射面(3)来回转动一些角度,通过转动,出光处的反射面(3)反射的线状激光传递到前方水平方向不同角度。
8.根据权利要求1所述的一种用于移动物体检测障碍的传感器,其特征是传感器信号发射装置出光处的反射面(3)还附带左右转动或摆动机构(5),线状激光发射装置发出的激光线垂直于地面,转动机构或摆动机构(5)能将出光处的反射面(3)反射的线状激光传递到前方垂直方向不同角度。
9.根据权利要求1所述的一种用于移动物体检测障碍的传感器,其特征是线状激光发射装置附带上下转动机构或摆动机构(5),转动机构或摆动机构(5)能将线状激光来回转动一些角度,通过转动将线状激光朝向反射面(3)的不同位置。
10.根据权利要求1所述的一种用于移动物体检测障碍的传感器,其特征是传感器信号发射装置带升降机构(9), 升降机构(9)将出光处的反射面(3)抬升或下降。
CN201710187060.2A 2017-03-27 2017-03-27 一种用于移动物体检测障碍的传感器 Pending CN108663688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710187060.2A CN108663688A (zh) 2017-03-27 2017-03-27 一种用于移动物体检测障碍的传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710187060.2A CN108663688A (zh) 2017-03-27 2017-03-27 一种用于移动物体检测障碍的传感器

Publications (1)

Publication Number Publication Date
CN108663688A true CN108663688A (zh) 2018-10-16

Family

ID=63785415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710187060.2A Pending CN108663688A (zh) 2017-03-27 2017-03-27 一种用于移动物体检测障碍的传感器

Country Status (1)

Country Link
CN (1) CN108663688A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109443213A (zh) * 2018-12-18 2019-03-08 苏州大学 一种移动式地面小障碍检测复平装置
WO2019183741A1 (zh) * 2018-03-25 2019-10-03 张舒怡 一种机器人检测障碍的传感器
WO2019183742A1 (zh) * 2018-03-25 2019-10-03 张舒怡 一种用于交通工具检测障碍的传感器
CN111359943A (zh) * 2020-03-23 2020-07-03 杭州迪肤科技有限公司 一种专用于具有复杂内孔的塑料机械配件清理设备
WO2020238757A1 (en) * 2019-05-29 2020-12-03 Mettler-Toledo (Changzhou) Measurement Technology Ltd. Device and method for improving weighing reliability
CN113406105A (zh) * 2021-06-30 2021-09-17 湖南凌翔磁浮科技有限责任公司 磁浮检测小车障碍物检测方法和系统
CN113934209A (zh) * 2021-09-29 2022-01-14 深圳甲壳虫智能有限公司 一种机器人及机器人周围障碍物探测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10170636A (ja) * 1996-12-16 1998-06-26 Omron Corp 光走査装置
CN101256232A (zh) * 2007-02-28 2008-09-03 电装波动株式会社 用于目标三维探测的激光雷达装置
CN101311770A (zh) * 2007-05-21 2008-11-26 一品光学工业股份有限公司 一种微机电摆动激光扫描装置及其组装方法
CN101419061A (zh) * 2008-12-08 2009-04-29 北京航空航天大学 一种镜像式结构光视觉测量系统和测量方法
JP2010071725A (ja) * 2008-09-17 2010-04-02 Ihi Corp レーザレーダ及びレーザレーダによる境界監視方法
CN101813778A (zh) * 2010-04-20 2010-08-25 长春艾克思科技有限责任公司 汽车多线激光雷达系统
CN105891843A (zh) * 2016-05-18 2016-08-24 李乔 一种用于汽车防碰撞系统的激光雷达
CN106500668A (zh) * 2016-10-31 2017-03-15 张舒怡 一种用于自动驾驶的传感器
CN106515729A (zh) * 2016-10-31 2017-03-22 张舒怡 一种用于自动驾驶的传感器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10170636A (ja) * 1996-12-16 1998-06-26 Omron Corp 光走査装置
CN101256232A (zh) * 2007-02-28 2008-09-03 电装波动株式会社 用于目标三维探测的激光雷达装置
CN101311770A (zh) * 2007-05-21 2008-11-26 一品光学工业股份有限公司 一种微机电摆动激光扫描装置及其组装方法
JP2010071725A (ja) * 2008-09-17 2010-04-02 Ihi Corp レーザレーダ及びレーザレーダによる境界監視方法
CN101419061A (zh) * 2008-12-08 2009-04-29 北京航空航天大学 一种镜像式结构光视觉测量系统和测量方法
CN101813778A (zh) * 2010-04-20 2010-08-25 长春艾克思科技有限责任公司 汽车多线激光雷达系统
CN105891843A (zh) * 2016-05-18 2016-08-24 李乔 一种用于汽车防碰撞系统的激光雷达
CN106500668A (zh) * 2016-10-31 2017-03-15 张舒怡 一种用于自动驾驶的传感器
CN106515729A (zh) * 2016-10-31 2017-03-22 张舒怡 一种用于自动驾驶的传感器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
缪鸿石: "《电疗与光疗》", 上海科学技术出版社, pages: 432 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019183741A1 (zh) * 2018-03-25 2019-10-03 张舒怡 一种机器人检测障碍的传感器
WO2019183742A1 (zh) * 2018-03-25 2019-10-03 张舒怡 一种用于交通工具检测障碍的传感器
CN109443213A (zh) * 2018-12-18 2019-03-08 苏州大学 一种移动式地面小障碍检测复平装置
WO2020238757A1 (en) * 2019-05-29 2020-12-03 Mettler-Toledo (Changzhou) Measurement Technology Ltd. Device and method for improving weighing reliability
CN111359943A (zh) * 2020-03-23 2020-07-03 杭州迪肤科技有限公司 一种专用于具有复杂内孔的塑料机械配件清理设备
CN113406105A (zh) * 2021-06-30 2021-09-17 湖南凌翔磁浮科技有限责任公司 磁浮检测小车障碍物检测方法和系统
CN113934209A (zh) * 2021-09-29 2022-01-14 深圳甲壳虫智能有限公司 一种机器人及机器人周围障碍物探测方法
CN113934209B (zh) * 2021-09-29 2024-01-16 深圳甲壳虫智能有限公司 一种机器人及机器人周围障碍物探测方法

Similar Documents

Publication Publication Date Title
CN108663688A (zh) 一种用于移动物体检测障碍的传感器
CN107209265B (zh) 光探测和测距装置
CN108656150A (zh) 一种机器人检测障碍的传感器
CN108802763B (zh) 一种大视场近程激光雷达及车辆
CN108663689A (zh) 一种用于交通工具检测障碍的传感器
JP2020126065A (ja) Lidarシステム及び方法
JP2007279017A (ja) レーダ装置
CN106546998B (zh) 一种用于自动驾驶的传感器
US11774566B2 (en) LiDAR device with a dynamic spatial filter
JP2019521314A (ja) 3次元イメージングシステム
KR20130102613A (ko) 플래쉬 레이다 충돌 회피 시스템
CN106546225A (zh) 一种用于自动驾驶的传感器
JP2003202215A (ja) 光電子検出装置
US11675064B2 (en) Optical radar apparatus
CN108008411A (zh) 一种用于自动驾驶的传感器
CN108226903A (zh) 一种基于单激光测距装置的四线激光雷达扫描装置
WO2018077286A1 (zh) 一种用于自动驾驶的传感器
JP2005121638A (ja) 光電子検出装置
US11172108B2 (en) Imaging device
CN106403905A (zh) 一种用于自动驾驶的传感器
JP2024014877A (ja) Lidarの視野を変更するためのシステムおよび方法
CN106515729A (zh) 一种用于自动驾驶的传感器
CN109387846B (zh) 一种扫描式激光雷达装置
WO2019183743A1 (zh) 一种用于移动物体检测障碍的传感器
JP2023509853A (ja) Lidar閉塞検出方法およびシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination