CN111457940B - 一种车载多波段立体视觉传感器测距性能测试方法及系统 - Google Patents

一种车载多波段立体视觉传感器测距性能测试方法及系统 Download PDF

Info

Publication number
CN111457940B
CN111457940B CN202010247566.XA CN202010247566A CN111457940B CN 111457940 B CN111457940 B CN 111457940B CN 202010247566 A CN202010247566 A CN 202010247566A CN 111457940 B CN111457940 B CN 111457940B
Authority
CN
China
Prior art keywords
target object
laser
ranging
sensor
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010247566.XA
Other languages
English (en)
Other versions
CN111457940A (zh
Inventor
郁文贤
裴凌
刘海春
李岚臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Beidou Navigation Innovation Research Institute
Original Assignee
Shanghai Beidou Navigation Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Beidou Navigation Innovation Research Institute filed Critical Shanghai Beidou Navigation Innovation Research Institute
Priority to CN202010247566.XA priority Critical patent/CN111457940B/zh
Publication of CN111457940A publication Critical patent/CN111457940A/zh
Application granted granted Critical
Publication of CN111457940B publication Critical patent/CN111457940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Manufacturing & Machinery (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种车载多波段立体视觉传感器测距性能测试方法及系统,包括利用所述激光设备测取所述目标物计算得到距离真值;由待测传感器自动识别所述目标物并实时输出所述目标物到所述参考点之间的待测距离;根据所述距离真值和所述待测距离计算测距误差;对所述测距误差使用箱线图法滤去极端异常值并计算误差均值;更换所述目标物及摆放位置重复N次测试,并对测试结果取均值作为测距性能的结果。本发明的有益效果:针对多目立体视觉传感器的高精度的黑盒测试方案,具备高精度的时间同步技术,测距精度达到毫米级别。

Description

一种车载多波段立体视觉传感器测距性能测试方法及系统
技术领域
本发明涉及传感器测试的技术领域,尤其涉及一种车载多波段立体视觉传感器测距性能的测试方法及测试系统。
背景技术
车载多波段立体视觉传感器是应用于无人驾驶领域的重要传感器之一,其具备可见光与红外波段的立体成像与测距功能,其至少包含两个可见光相机与两个红外相机,并具备多波段融合功能以及一定的感知功能,可以工作在昼夜环境下,尤其采用无主动照明的车载多波段立体视觉传感器更具备一定的隐蔽性,具有更加广泛的应用场景。
车载多波段立体视觉传感器是由多波段立体视觉传感器系统和数据处理系统组成的。其中图像传感器包括可见光立体相机分系统、红外立体相机分系统、结构框架分系统、电子学分系统;数据处理系统包括可见光立体测距模块、红外立体测距、数据融合及输出模块。
针对车载多波段立体视觉传感器的功能与性能评价则是其研发阶段以及推向商业应用阶段必不可少重要的一环,其中测距性能是车载多波段立体视觉传感器的主要性能指标之一,其测距性能又可分为静态测距性能与动态测距性能,对静态测距与动态测距性能的高精度测试存在一定的难度。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题,提出了本发明。
因此,本发明解决的技术问题是:针对多目立体视觉传感器的高精度的黑盒测试方案,现有缺乏具备高精度的时间同步与测量精度的测试方法。
为解决上述技术问题,本发明提供如下技术方案:一种车载多波段立体视觉传感器测距性能测试方法,包括定义激光设备的坐标系为原点坐标系;利用所述激光设备测取参考点在所述原点坐标系的坐标(xo,yo,zo);随机挑选单个合适尺寸的圆柱体目标物,以随机顺序水平摆放于若干个经过标定的位置;利用所述激光设备测取所述目标物计算得到距离真值;由待测传感器自动识别所述目标物并实时输出所述目标物到所述参考点之间的待测距离;根据所述距离真值和所述待测距离计算测距误差;对所述测距误差使用箱线图法滤去极端异常值并计算误差均值;更换所述目标物及摆放位置重复N次测试,并对测试结果取均值作为测距性能的结果。
作为本发明所述的车载多波段立体视觉传感器测距性能测试方法的一种优选方案,其中:所述激光设备包括激光全站仪和激光跟踪仪,所述激光全站仪用于所述待测传感器的静态测距,所述激光跟踪仪用于所述待测传感器的动态测距。
作为本发明所述的车载多波段立体视觉传感器测距性能测试方法的一种优选方案,其中:所述静态测距包括,利用激光全站仪测取所述参考点在激光全站仪坐标系下的坐标(xo,yo,zo);随机挑选单个合适尺寸的圆柱体所述目标物,以随机顺序水平摆放于若干个经过标定的位置上;使用所述激光全站仪测取所述目标物中心点在激光全站仪坐标系下的坐标(xt,yt,zt);根据圆柱体目标物半径r,计算得到如下距离真值d:
Figure GDA0002889828310000021
由所述待测传感器自动识别所述目标物并实时输出所述目标物到所述参考点之间的距离
Figure GDA0002889828310000022
使用箱线图法滤去极端异常值并计算静态误差均值
Figure GDA0002889828310000023
作为本发明所述的车载多波段立体视觉传感器测距性能测试方法的一种优选方案,其中:所述动态测距包括,将待测传感器固定于运动设备上;随机挑选单个合适尺寸的圆柱体目标物,以随机顺序水平摆放于若干个经过标定的位置上;利用激光跟踪仪测取目标物中心点在激光全站仪坐标系下的坐标(xt,yt,zt);驱动所述运动设备并使用所述激光跟踪仪跟踪所述参考点;由待测传感器自动识别所述目标物并实时输出目标物到参考点之间的距离
Figure GDA0002889828310000024
与对应的时间戳ti;对所述激光跟踪仪得到的坐标点根据时间戳进行线性插值得到对应的ti时刻的参考点坐标
Figure GDA0002889828310000025
根据圆柱体目标的半径r,计算得到ti时刻的如下距离真值d(ti):
Figure GDA0002889828310000031
描述激光跟踪仪得到坐标点的根据时间戳的线性插值:
对于满足t0<t1<t2的时刻t1其中t0与t2时刻均为激光跟踪仪的采样时刻,对应的坐标为(xo(t0),yo(t0),zo(t0))和(xo(t2),yo(t2),zo(t2));
其t1时刻的坐标
Figure GDA0002889828310000032
通过下式得到:
Figure GDA0002889828310000033
Figure GDA0002889828310000034
Figure GDA0002889828310000035
计算ti的动态测距误差
Figure GDA0002889828310000036
根据测试内容筛选对应的时间区间;使用箱线图法滤去极端异常值后计算动态测距误差
Figure GDA0002889828310000037
作为本发明所述的车载多波段立体视觉传感器测距性能测试方法的一种优选方案,其中:还包括如下测距准备阶段的步骤,利用温湿度计、流明计测量当前测距环境是否符合要求;若不符合要求则根据测距要求进行人为环境调整或者等待合适的测距环境;当符合要求则将所述待测传感器固定于治具上静置于指定位置;利用时间同步服务器设置所述待测传感和测距配套设备的时间同步;选取参考点和目标物,并将所述激光设备与所述待测传感器、被测目标物坐标系均变换至于所述原点坐标系下。
作为本发明所述的车载多波段立体视觉传感器测距性能测试方法的一种优选方案,其中:选择所述目标物包括,选择合适的目标物并根据测试项目将其水平置于在合适的位置上;将棱镜置于所述目标物顶端中心,测量此时所述棱镜的位置;根据先验的所述目标物与所述棱镜的高度计算得到所述目标物中心的坐标,记下该坐标与目标物半径。
作为本发明所述的车载多波段立体视觉传感器测距性能测试方法的一种优选方案,其中:所述温湿度计与流明计为环境条件测量仪器,用于检测测试环境是否满足对应测试项目的测试要求;所述的温湿度计分辨率不低于0.1℃、0.1%RH,精度不低于1℃,1%RH;所述的流明计分辨率不低于0.01Lux,量程不低于20000Lux;当在流明低于0.1Lux的情况下,在所述目标物内壁贴上暖宝宝提供热量,进行测试红外光动态测距性能。
作为本发明所述的车载多波段立体视觉传感器测距性能测试方法的一种优选方案,其中:所述的激光全站仪测距范围不低于1km,静态测距精度不低于1.5mm+2×10-6D/2.4s,动态测距精度不低于3mm+2×10-6D/<0.15s,角分辨率不低于3”,输出频率不低于5Hz;所述的激光跟踪仪,静态测距的范围不低于50m,静态测距精度不低于10μm,跟踪速度不低于6m/s,跟踪最大加速度不低于2g,角分辨率不低于0.018角秒,输出频率不低于200Hz,支持外触发。
本发明解决的技术问题是:提供一种车载多波段立体视觉传感器测距性能的测试系统,上述方法依托于本系统实现。
为解决上述技术问题,本发明提供如下技术方案:一种车载多波段立体视觉传感器测距性能的测试系统,包括目标物、激光测距模块、配套棱镜、运动模块和测试机;所述目标物包括多种尺寸的圆柱体纯色开口桶,为待测传感器识别的目标;所述激光测距模块包括激光全站仪和激光跟踪仪,所述激光全站仪用于所述待测传感器的静态测距,所述激光跟踪仪用于所述待测传感器的动态测距;所述配套棱镜为所述激光测距模块的配套设备;所述运动模块包括高速导轨与汽车,为动态测距性能测试试验被测传感器提供稳定可控的速度,所述的高速导轨速度不低于5m/s;所述测试机包括误差分析模块,接受真值数据与待测传感器测量数据,并根据测试内容进行调用相应算法模块进行误差分析。
作为本发明所述的车载多波段立体视觉传感器测距性能的测试系统的一种优选方案,其中:包括上位机与外触发同步模块、时间同步服务器和治具;所述上位机与外触发同步模块,连接待测传感器并接受传感器数据以及连接激光测距模块获取真值数据,并完成时间同步工作;所述时间同步服务器,用于将整个测试系统中的设备输出的结果统一于同一个时间轴上,包括上位机的时钟驯服与部分器件的硬触发模块,其时间同步精度不低于3ms;所述治具用于固定车载多波段立体视觉传感器以及真值参考点的棱镜并方便固定于高速导轨与汽车上的机械连接部件,所述治具加工精度不低于0.05mm。
本发明的有益效果:针对多目立体视觉传感器的高精度的黑盒测试方案,具备高精度的时间同步技术,测距精度达到毫米级别。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为多波段立体视觉传感器测距性能测试系统结构示意图;
图2为多波段立体视觉传感器测距性能测试流程图;
图3为多波段立体视觉传感器测距误差分布立方图示意图;
图4为多波段立体视觉传感器静态测距误差曲线图示意图;
图5为多波段立体视觉传感器动态测距误差曲线图示意图;
图6为进行测试的拟合结果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图2的示意,示意为本实施例提出一种车载多波段立体视觉传感器测距性能测试方法的流程图,具体包括以下步骤,
S1:定义激光设备的坐标系为原点坐标系;
S2:利用激光设备测取参考点在原点坐标系的坐标(xo,yo,zo);
S3:随机挑选单个合适尺寸的圆柱体目标物,以随机顺序水平摆放于若干个经过标定的位置,此处经过标定的位置指待测设备量程内的任意可观测到目标物的位置,应当理解的是,该位置需要参考试验设计的具体要求,例如前方侧方远处近处等。
S4:利用激光设备测取目标物计算得到距离真值;
S5:由待测传感器自动识别目标物并实时输出目标物到参考点之间的待测距离;
S6:根据距离真值和待测距离计算测距误差;
S7:对测距误差使用箱线图法滤去极端异常值并计算误差均值;
S8:更换目标物及摆放位置重复N次测试,并对测试结果取均值作为测距性能的结果。
由于车载多波段立体视觉传感器测距性能又可分为静态测距性能与动态测距性能,对静态测距与动态测距性能的高精度测试存在一定的难度,为此本实施例的激光设备包括激光全站仪和激光跟踪仪,激光全站仪用于待测传感器的静态测距,激光跟踪仪用于待测传感器的动态测距。
进一步的,静态测距包括,
利用激光全站仪测取参考点在激光全站仪坐标系下的坐标(xo,yo,zo);
随机挑选单个合适尺寸的圆柱体目标物,以随机顺序水平摆放于若干个经过标定的位置上;需要说明的是,合适尺寸为根据相机的分辨率与测试的测距量程选择,比如测距30m不能选用杯子大小的物体,要在成像上图片上能够占据一定大小。
使用激光全站仪测取目标物中心点在激光全站仪坐标系下的坐标(xt,yt,zt);
根据圆柱体目标物半径r,计算得到如下距离真值d:
Figure GDA0002889828310000071
由待测传感器自动识别目标物并实时输出目标物到参考点之间的距离
Figure GDA0002889828310000072
使用箱线图法滤去极端异常值并计算静态误差均值
Figure GDA0002889828310000073
静态性能测试完毕后,将被测的车载多波段立体视觉传感器固定于高速导轨(室内)或汽车(室外)上。
进一步的,动态测距包括,
将待测传感器固定于运动设备上;
随机挑选单个合适尺寸的圆柱体目标物,以随机顺序水平摆放于若干个经过标定的位置上;
利用激光跟踪仪测取目标物中心点在激光全站仪坐标系下的坐标(xt,yt,zt);
驱动运动设备并使用激光跟踪仪跟踪参考点,即实时获取参考点位置;
由待测传感器自动识别目标物并实时输出目标物到参考点之间的距离
Figure GDA0002889828310000074
与对应的时间戳ti
对激光跟踪仪得到的坐标点根据时间戳进行线性插值得到对应的ti时刻的参考点坐标
Figure GDA0002889828310000075
根据圆柱体目标的半径r,计算得到ti时刻的如下距离真值d(ti):
Figure GDA0002889828310000076
描述激光跟踪仪得到坐标点的根据时间戳的线性插值:
对于满足t0<t1<t2的时刻t1其中t0与t2时刻均为激光跟踪仪的采样时刻,对应的坐标为(xo(t0),yo(t0),zo(t0))和(xo(t2),yo(t2),zo(t2));
其t1时刻的坐标
Figure GDA0002889828310000081
通过下式得到:
Figure GDA0002889828310000082
Figure GDA0002889828310000083
Figure GDA0002889828310000084
计算ti的动态测距误差
Figure GDA0002889828310000085
根据测试内容筛选对应的时间区间;
使用箱线图法滤去极端异常值后计算动态测距误差
Figure GDA0002889828310000086
不难理解的是,要完成本实施例的车载多波段立体视觉传感器测距性能测试方法,在测试之前当然还包括如下测距准备阶段的步骤,
利用温湿度计、流明计测量当前测距环境是否符合要求;
若不符合要求则根据测距要求进行人为环境调整或者等待合适的测距环境;
当符合要求则将待测传感器固定于治具上静置于指定位置,此处指定位置例如导轨上等可固定设备与目标物摆放时试验设计要求相关;
利用时间同步服务器设置待测传感和测距配套设备的时间同步;
选取参考点和目标物,并将激光设备与待测传感器、被测目标物坐标系均变换至于原点坐标系下。
其中选择目标物包括,
选择合适的目标物并根据测试项目将其水平置于在合适的位置上;需要说明的是,合适的目标物是指根据相机的分辨率与测试的测距量程选择,例如测距30m不能选用杯子大小的物体,要在成像上图片上能够占据一定大小。
将棱镜置于目标物顶端中心,测量此时棱镜的位置;
根据先验(预先测量得到)的目标物与棱镜的高度计算得到目标物中心的坐标,记下该坐标与目标物半径,用于后续的计算。
本实施例优选的,温湿度计与流明计为环境条件测量仪器,用于检测测试环境是否满足对应测试项目的测试要求;的温湿度计分辨率不低于0.1℃、0.1%RH,精度不低于1℃,1%RH;的流明计分辨率不低于0.01Lux,量程不低于20000Lux;当在流明低于0.1Lux的情况下,在目标物内壁贴上暖宝宝提供热量,进行测试红外光动态测距性能。
本实施例优选的,激光全站仪测距范围不低于1km,静态测距精度不低于1.5mm+2×10-6D/2.4s,动态测距精度不低于3mm+2×10-6D/<0.15s,角分辨率不低于3”,输出频率不低于5Hz的激光跟踪仪,静态测距的范围不低于50m,静态测距精度不低于10μm,跟踪速度不低于6m/s,跟踪最大加速度不低于2g,角分辨率不低于0.018角秒,输出频率不低于200Hz,支持外触发。
针对多目立体视觉传感器的高精度的黑盒测试方案,现有缺乏具备高精度的时间同步与测量精度的测试方法。且视觉感知单元都可以测试自身与目标的距离值,但是都很难采用非侵入式的性能黑盒测试,因为现有存在立体视觉相机测试都是需要先标定内外参,有的需要图像校正等一系列操作,但本方法无需上述操作。
由于本方法是定制型非标准化的测试,现有测距方法缺乏具备高精度的时间同步技术,同时在测量精度上无法达到毫米级别(真值的测量精度为毫米级别),同时现有测试方法都是侵入式的测试方案,无法满足项目的指标要求,所以本实施例中测试方法是针对多目立体视觉传感器的高精度的黑盒测试方案(即本测试是非侵入式的黑盒测试方法),具备高精度的时间同步技术,测距精度达到毫米级别。
实施例2
参照图1的示意,示意为本实施例提出一种车载多波段立体视觉传感器测距性能的测试系统的原理结构图,上述实施例提出车载多波段立体视觉传感器测距性能测试方法,测试内容分为可见光与红外光、正前方与侧方、静态与动态、室内室外、近距远距多种组合的测试,基于本系统同时采用治具、高速导轨、激光全站仪、激光跟踪仪、时间同步模块、目标物、温湿度计、流明计等构成相应的测试系统实现上述的测试内容。
该测试系统包括目标物100、激光测距模块200、配套棱镜300、运动模块400、测试机500、上位机与外触发同步模块600、时间同步服务器700和治具800。具体的,
目标物100包括多种尺寸的圆柱体纯色开口桶,为待测传感器识别的目标;
激光测距模块200包括激光全站仪和激光跟踪仪,激光全站仪用于待测传感器的静态测距,激光跟踪仪用于待测传感器的动态测距;
配套棱镜300为激光测距模块200的配套设备;
运动模块400包括高速导轨与汽车,为动态测距性能测试试验被测传感器提供稳定可控的速度,高速导轨速度不低于5m/s;
测试机500包括误差分析模块,接受真值数据与待测传感器测量数据,并根据测试内容进行调用相应算法模块(上述误差计算方法形成的实现模块)进行误差分析;
上位机与外触发同步模块600,连接待测传感器并接受传感器数据以及连接激光测距模块200获取真值数据,并完成时间同步工作,外触发指的是生成上下沿触发的外部触发信号;
时间同步服务器700,用于将整个测试系统中的设备输出的结果统一于同一个时间轴上,包括上位机的时钟驯服与部分器件的硬触发模块,其时间同步精度不低于3ms;
治具800用于固定车载多波段立体视觉传感器以及真值参考点的棱镜并方便固定于高速导轨与汽车上的机械连接部件,治具800加工精度不低于0.05mm,治具800的机械加工精度,说明系统误差。
为便于理解,各设备通俗的说明如下:
待测车载多波段立体视觉传感器为待测传感器,多波段立体视觉传感器包含四个RGB相机和四个红外相机,具备时间同步,可见光立体测距、红外立体测距、数据融合及输出功能;
治具800,一种用于固定车载多波段立体视觉传感器以及真值参考点的棱镜并方便固定于高速导轨与汽车上的机械连接部件,所述的治具加工精度不低于0.05mm;
时间同步服务器700包括时间同步模块,用于将整个测试系统中的设备输出的结果统一于同一个时间轴上,包括上位机的时钟驯服与部分器件的硬触发模块,时间同步模块时间同步精度不低于3ms;
运动模块400包括高速导轨与汽车,为动态测距性能测试试验被测传感器提供稳定可控的速度,所述的高速导轨速度不低于5m/s;
本实施例中选用的激光全站仪与激光跟踪仪,为真值测量仪器,激光全站仪用于静态测距性能测试,优选的激光跟踪仪用于动态测距性能测试,所述的激光全站仪测距范围不低于1km,静态测距精度不低于1.5mm+2×10-6D/2.4s,动态测距精度不低于3mm+2×10-6D/<0.15s,角分辨率不低于3”,输出频率不低于5Hz,所述的激光跟踪仪,静态测距范围不低于50m,静态测距精度不低于10μm,跟踪速度不低于6m/s,跟踪最大加速度不低于2g,角分辨率不低于0.018角秒,输出频率不低于200Hz,支持外触发;
温湿度计与流明计,为环境条件测量仪器,用于检测测试环境是否满足对应测试项目的测试要求,所述的温湿度计分辨率不低于0.1℃,0.1%RH,精度不低于1℃,1%RH,所述的流明计分辨率不低于0.01Lux,量程不低于20000Lux。
系统的测试流程如下:
步骤一:将待测的多波段立体视觉传感器固定于治具上,治具固定于指定位置上。
步骤二:使用温湿度计与流明计测量当前试验条件,如在测试规定的温湿度与光照条件下则进行继续试验,如不符合则通过人为进行环境调整或者等待合适的测试环境。
步骤三:激光全站仪/激光跟踪仪架站与预热,标定传感器坐标系与参考点即棱镜位置的坐标转换。
步骤四:进行传感器、激光全站仪/激光跟踪仪、上位机、测试机的时间同步,根据测试项目优选的将同步误差控制在3ms以下。
步骤五:选择合适的目标物并根据测试项目将其水平置于在合适的位置上,将棱镜置于目标物顶端中心,测量此时棱镜位置,并根据先验的目标物高与棱镜高计算得到桶中心的坐标,记下该坐标与目标物半径,本步骤为测量目标物中心的方法。
步骤六:如为静态测距试验,将棱镜从目标物上取下安装于治具上参考点位置,采用全站仪测量若干参考点的坐标数据,取均值得到参考点坐标,根据物中心坐标与目标物半径计算得到静态测距真值,实时获取待测多波段立体视觉传感器输出的测距结果,并计算静态测距误差,绘制(matlab软件)如图3所示的误差直方图与如图4所示的静态测距误差曲线;采用箱线图法滤去极端异常值后计算静态测距误差均值。
步骤七:如为动态测距试验,将棱镜从目标物上取下安装于治具上参考点位置,采用激光跟踪仪跟踪参考点的坐标,实时获取待测多波段立体视觉传感器输出的测距结果,根据输出的测距结果的时间戳对激光跟踪仪测得的参考点坐标进行线性插值得到同一时刻的坐标值,根据目标物中心坐标与目标物半径计算该时刻的动态测距真值与动态测距误差,绘制如图3所示的误差直方图与如图5所示的动态测距误差曲线;采用箱线图法滤去极端异常值后计算动态测距误差均值。
步骤八:更换目标物及摆放位置重复N次测试,并对测试结果取均值作为一个测试项目的结果。图3~5均为数据分析软件(matlab)实际输出,将软件安装在任何电脑上,如安装在本实施例的测试机500上,将本系统的测试数据保存成文件后,通过matlab软件读取文件,直接输出后得到如图3~5的真实图表,但本实施例仅为示意图,真值均由测试系统获得,测量值由待测传感器输出,能够十分直观显示测距误差分析,从而得到被测设备对不同距离的测距性能。
实施例3
针对上述实施例中提出的高精度时间同步,本实施例中提供一种计算机与带硬件触发功能设备的时钟驯服方法来实现,包括,
S1:振荡信号模块分别与计算机和设备相连接。其中,振荡信号模块可以为单片机、FPGA、DSP等,能够输出振荡信号。
具体的,所述振荡信号模块通过通信端口与计算机相连接,通信端口可以为串口、CAN总线、网络等用于通信的端口;通过信号输入输出端与设备相连接,信号输入输出端可以为单片机上的I/O端口,能够作为振荡信号模块与计算机通信传输端口,还可以用于振荡信号的输出。
S2:振荡信号模块输出振荡信号触发设备,同时发送通信包告知计算机设备被触发。
S3:设备通过其内部时钟记录被触发的时间戳
Figure GDA0002889828310000121
计算机通过其内部时钟记录通信包到达的时间戳
Figure GDA0002889828310000122
其中,设备将其第i个被触发的时间戳记为
Figure GDA0002889828310000123
共计N个点;所述计算机将第i个通信包到达的时间戳记为
Figure GDA0002889828310000124
共计N个点,N至少为2。增大N的值,可以提高最终结果的精确度。
S4:将测得的时间戳
Figure GDA0002889828310000125
Figure GDA0002889828310000126
进行线性回归,得到其线性关系。
具体的,将测得的N对时间戳
Figure GDA0002889828310000127
Figure GDA0002889828310000128
进行线性回归,时间戳
Figure GDA0002889828310000129
Figure GDA00028898283100001210
的线性关系满足如下公式,
tC=t·tE+α+ε
其中,其中tC为计算机内部时钟的时间,tE为设备内部时钟的时间,ε为期望为零且方差有限的白噪声,k和α分别为待定的斜率与截距。斜率k和截距α的估计值
Figure GDA0002889828310000131
和通过以下公式求解最优化值得到,
Figure GDA0002889828310000132
其中,求解最优化值是指对上式求解最小值,当该式取值最小时,此时对应的k和α的大小分别记作为
Figure GDA0002889828310000133
Figure GDA0002889828310000134
S5:根据线性关系计算新的时间戳
Figure GDA0002889828310000135
对应的计算机时钟的时间戳
Figure GDA0002889828310000136
和新的时间戳
Figure GDA0002889828310000137
对应的设备时钟的时间戳
Figure GDA0002889828310000138
其中,根据线性关系计算新的时间戳
Figure GDA0002889828310000139
Figure GDA00028898283100001310
时,i>N。
具体的,通过斜率k和截距α的估计值
Figure GDA00028898283100001311
Figure GDA00028898283100001312
进行计算,所述
Figure GDA00028898283100001313
Figure GDA00028898283100001314
的关系满足如下公式,
Figure GDA00028898283100001315
所述
Figure GDA00028898283100001316
Figure GDA00028898283100001317
的关系满足如下公式,
Figure GDA00028898283100001318
根据以上两个公式,能够得到计算机时钟和设备时钟所示时间的相互关系,即完成了时钟驯服的过程。
验证场景:
由于以双目相机为首的很大一部分传感器并不具有硬件触发的功能,使其与其相连的上位计算机很难与带硬件触发功能的设备的时钟进行同步。而本实施例提出的计算机与带硬件触发功能设备的时钟驯服方法,目的在于使不带硬件触发功能的传感器以及其上位机算机与带硬件触发功能的设备,如激光跟踪仪,其之间的时钟能够同步。
为了体现本实施例提高的时钟驯服方法的优势,以双目相机在运动状态下的测距精度测试为例,介绍并观察其具体的实施方式和结果。以双目相机在运动状态下的测距精度测试为例的目的是使本实施例所述方法的目的、特征和优点能更加便于理解,但本实施例所述方法可以以不同的形式呈现,并不受此例中的具体实施方式所限。
测试中选择STM32单片机作为振荡信号模块,将STM32单片机分别与激光跟踪仪和计算机相连接,STM32单片机能够输出方波信号,当方波信号由高电平转为低电平时,STM32同时经由RS232串口向上位计算机发送一个字节的数据包,告知计算机激光跟踪仪被触发。
计算机记录收到STM32数据包时的时间戳,第i个时间戳记为
Figure GDA0002889828310000141
共计10000个点;激光跟踪仪被下降沿触发输出带时间戳的测量数据,第i个数据的时间戳记为
Figure GDA0002889828310000142
共计10000个点。
将10000对时间戳
Figure GDA0002889828310000143
Figure GDA0002889828310000144
进行线性回归,使计算机内部时钟的时间与激光跟踪仪的内部时钟时间符合线性关系tC=k·tE+α+ε,k和α分别为待定的斜率与截距,通过求解以下最优化问题,
Figure GDA0002889828310000145
求出斜率k和截距α的估计值
Figure GDA0002889828310000146
Figure GDA0002889828310000147
对于激光跟踪仪在试验中测得的每一个数据的新时间戳
Figure GDA0002889828310000148
或上位计算机时钟的新时间戳
Figure GDA0002889828310000149
(其中i>N),可通过对斜率k和截距α的估计值
Figure GDA00028898283100001410
Figure GDA00028898283100001411
计算对应的计算机时钟的时间戳
Figure GDA00028898283100001412
或对应的设备时钟的时间戳
Figure GDA00028898283100001413
Figure GDA00028898283100001414
Figure GDA00028898283100001415
得到的拟合结果如下图6所示,另外使用新的1000组数据来验证拟合结果,即计算
Figure GDA00028898283100001416
该1000个误差值中最大值约为4.6ms,可以看出本实施例提出的时钟驯服方法具有较好的准确性,方法有效可行。
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本文描述的过程的操作,除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的,术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体,该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如,组件可以是,但不限于是:在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例,在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中,并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外,这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如,来自一个组件的数据,该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号,以本地和/或远程过程的方式进行通信。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种车载多波段立体视觉传感器测距性能测试方法,其特征在于:包括,
定义激光设备的坐标系为原点坐标系;
利用所述激光设备测取参考点在所述原点坐标系的坐标(xo,yo,zo);
随机挑选单个合适尺寸的圆柱体目标物,以随机顺序水平摆放于若干个经过标定的位置;
利用所述激光设备测取所述目标物计算得到距离真值;
由待测传感器自动识别所述目标物并实时输出所述目标物到所述参考点之间的待测距离;
根据所述距离真值和所述待测距离计算测距误差;
对所述测距误差使用箱线图法滤去极端异常值并计算误差均值;
更换所述目标物及摆放位置重复n次测试,并对测试结果取均值作为测距性能的结果;
所述激光设备包括激光全站仪和激光跟踪仪,所述激光全站仪用于所述待测传感器的静态测距,所述激光跟踪仪用于所述待测传感器的动态测距;
所述静态测距包括,利用激光全站仪测取所述参考点在激光全站仪坐标系下的坐标(xo,yo,zo);
随机挑选单个合适尺寸的圆柱体所述目标物,以随机顺序水平摆放于若干个经过标定的位置上;
使用所述激光全站仪测取所述目标物中心点在激光全站仪坐标系下的坐标(xt,yt,zt);
根据圆柱体目标物半径r,计算得到如下距离真值d:
Figure FDA0002889828300000011
由所述待测传感器自动识别所述目标物并实时输出所述目标物到所述参考点之间的距离
Figure FDA0002889828300000012
使用箱线图法滤去极端异常值并计算静态误差均值
Figure FDA0002889828300000013
所述动态测距包括,将待测传感器固定于运动设备上;
随机挑选单个合适尺寸的圆柱体目标物,以随机顺序水平摆放于若干个经过标定的位置上;
利用激光跟踪仪测取目标物中心点在激光全站仪坐标系下的坐标(xt,yt,zt);
驱动所述运动设备并使用所述激光跟踪仪跟踪所述参考点;
由待测传感器自动识别所述目标物并实时输出目标物到参考点之间的距离
Figure FDA0002889828300000021
与对应的时间戳ti
对所述激光跟踪仪得到的坐标点根据时间戳进行线性插值得到对应的ti时刻的参考点坐标
Figure FDA0002889828300000022
根据圆柱体目标的半径r,计算得到ti时刻的如下距离真值d(ti):
Figure FDA0002889828300000023
描述激光跟踪仪得到坐标点的根据时间戳的线性插值:
对于满足t0<t1<t2的时刻t1其中t0与t2时刻均为激光跟踪仪的采样时刻,对应的坐标为(xo(t0),yo(t0),zo(t0))和(xo(t2),yo(t2),zo(t2));
其t1时刻的坐标
Figure FDA0002889828300000024
通过下式得到:
Figure FDA0002889828300000025
Figure FDA0002889828300000026
Figure FDA0002889828300000027
计算ti的动态测距误差
Figure FDA0002889828300000028
根据测试内容筛选对应的时间区间;
使用箱线图法滤去极端异常值后计算动态测距误差
Figure FDA0002889828300000029
2.如权利要求1所述的车载多波段立体视觉传感器测距性能测试方法,其特征在于:还包括如下测距准备阶段的步骤,
利用温湿度计、流明计测量当前测距环境是否符合要求;
若不符合要求则根据测距要求进行人为环境调整或者等待合适的测距环境;
当符合要求则将所述待测传感器固定于治具上静置于指定位置;
利用时间同步服务器设置所述待测传感和测距配套设备的时间同步;
选取参考点和目标物,并将所述激光设备与所述待测传感器、被测目标物坐标系均变换至于所述原点坐标系下。
3.如权利要求2所述的车载多波段立体视觉传感器测距性能测试方法,其特征在于:选择所述目标物包括,
选择合适的目标物并根据测试项目将其水平置于在合适的位置上;
将棱镜置于所述目标物顶端中心,测量此时所述棱镜的位置;
根据先验的所述目标物与所述棱镜的高度计算得到所述目标物中心的坐标,记下该坐标与目标物半径。
4.如权利要求2或3所述的车载多波段立体视觉传感器测距性能测试方法,其特征在于:
所述温湿度计与流明计为环境条件测量仪器,用于检测测试环境是否满足对应测试项目的测试要求;
所述的温湿度计分辨率不低于0.1℃、0.1%RH,精度不低于1℃,1%RH;
所述的流明计分辨率不低于0.01Lux,量程不低于20000Lux;
当在流明低于0.1Lux的情况下,在所述目标物内壁贴上暖宝宝提供热量,进行测试红外光动态测距性能。
5.如权利要求4所述的车载多波段立体视觉传感器测距性能测试方法,其特征在于:
所述激光全站仪测距范围不低于1km,静态测距精度不低于1.5mm+2×10-6D/2.4s,动态测距精度不低于3mm+2×10-6D/<0.15s,角分辨率不低于3”,输出频率不低于5Hz;
所述的激光跟踪仪,静态测距的范围不低于50m,静态测距精度不低于10μm,跟踪速度不低于6m/s,跟踪最大加速度不低于2g,角分辨率不低于0.018角秒,输出频率不低于200Hz,支持外触发。
6.一种车载多波段立体视觉传感器测距性能的测试系统,其特征在于:包括目标物(100)、激光测距模块(200)、配套棱镜(300)、运动模块(400)、测试机(500)、上位机与外触发同步模块(600)、时间同步服务器(700)和治具(800);
所述目标物(100)包括多种尺寸的圆柱体纯色开口桶,为待测传感器识别的目标;
所述激光测距模块(200)包括激光全站仪和激光跟踪仪,所述激光全站仪用于所述待测传感器的静态测距,所述激光跟踪仪用于所述待测传感器的动态测距;
所述配套棱镜(300)为所述激光测距模块(200)的配套设备;
所述运动模块(400)包括高速导轨与汽车,为动态测距性能测试试验被测传感器提供稳定可控的速度,所述的高速导轨速度不低于5m/s;
所述测试机(500)包括误差分析模块,接受真值数据与待测传感器测量数据,并根据测试内容进行调用相应算法模块进行误差分析;
所述上位机与外触发同步模块(600),连接待测传感器并接受传感器数据以及连接激光测距模块(200)获取真值数据,并完成时间同步工作;
所述时间同步服务器(700),用于将整个测试系统中的设备输出的结果统一于同一个时间轴上,包括上位机的时钟驯服与所述外触发同步模块(600)的硬触发模块,其时间同步精度不低于3ms;
所述治具(800)用于固定所述待测传感器及所述配套棱镜(300),以方便固定于高速导轨与汽车上的机械连接部件,所述治具(800)加工精度不低于0.05mm。
CN202010247566.XA 2020-03-31 2020-03-31 一种车载多波段立体视觉传感器测距性能测试方法及系统 Active CN111457940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010247566.XA CN111457940B (zh) 2020-03-31 2020-03-31 一种车载多波段立体视觉传感器测距性能测试方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010247566.XA CN111457940B (zh) 2020-03-31 2020-03-31 一种车载多波段立体视觉传感器测距性能测试方法及系统

Publications (2)

Publication Number Publication Date
CN111457940A CN111457940A (zh) 2020-07-28
CN111457940B true CN111457940B (zh) 2021-03-16

Family

ID=71682430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010247566.XA Active CN111457940B (zh) 2020-03-31 2020-03-31 一种车载多波段立体视觉传感器测距性能测试方法及系统

Country Status (1)

Country Link
CN (1) CN111457940B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112710343B (zh) * 2021-01-29 2022-08-09 重庆长安汽车股份有限公司 一种基于rt的车载传感器性能测试方法
CN117007083B (zh) * 2023-09-22 2024-03-05 国汽(北京)智能网联汽车研究院有限公司 车辆测距能力评估方法及其系统、设备、介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106017321A (zh) * 2016-06-16 2016-10-12 沈阳飞机工业(集团)有限公司 一种基于双目视觉的大尺寸几何量测量方法
CN106931879A (zh) * 2017-01-23 2017-07-07 成都通甲优博科技有限责任公司 一种双目误差测量方法、装置及系统
CN107093195A (zh) * 2017-03-10 2017-08-25 西北工业大学 一种激光测距与双目相机结合的标记点定位方法
CN108198224A (zh) * 2018-03-15 2018-06-22 中国铁道科学研究院 一种用于立体视觉测量的线阵相机标定装置及标定方法
CN108648232A (zh) * 2018-05-04 2018-10-12 北京航空航天大学 一种基于精密二轴转台的双目立体视觉传感器一体式标定方法
CN110823252A (zh) * 2019-11-06 2020-02-21 大连理工大学 一种多线激光雷达和单目视觉的自动标定方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235129A1 (en) * 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
EP3507570A1 (en) * 2016-09-01 2019-07-10 Hexagon Metrology, Inc Conformance test artifact for coordinate measuring machine

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106017321A (zh) * 2016-06-16 2016-10-12 沈阳飞机工业(集团)有限公司 一种基于双目视觉的大尺寸几何量测量方法
CN106931879A (zh) * 2017-01-23 2017-07-07 成都通甲优博科技有限责任公司 一种双目误差测量方法、装置及系统
CN107093195A (zh) * 2017-03-10 2017-08-25 西北工业大学 一种激光测距与双目相机结合的标记点定位方法
CN108198224A (zh) * 2018-03-15 2018-06-22 中国铁道科学研究院 一种用于立体视觉测量的线阵相机标定装置及标定方法
CN108648232A (zh) * 2018-05-04 2018-10-12 北京航空航天大学 一种基于精密二轴转台的双目立体视觉传感器一体式标定方法
CN110823252A (zh) * 2019-11-06 2020-02-21 大连理工大学 一种多线激光雷达和单目视觉的自动标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
双目立体视觉传感器测量精度的研究;李孝猛;《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》;20121231;第1-65页 *

Also Published As

Publication number Publication date
CN111457940A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN109211298B (zh) 一种传感器标定方法和装置
CN105698765B (zh) 双imu单目视觉组合测量非惯性系下目标物位姿方法
CN111457940B (zh) 一种车载多波段立体视觉传感器测距性能测试方法及系统
CN102175416B (zh) 风洞试验中模型姿态角测量的多相机动态标定方法
CN109272556A (zh) 一种飞行时间tof相机的标定方法和装置
CN102564458B (zh) 一种星敏感器低频误差测量方法
CN106767933A (zh) 深度相机误差的测量系统、测量方法、评价方法及补偿方法
WO2016155074A1 (zh) 光轴夹角的校准、对焦方法和系统和双摄像头设备
CN106595710A (zh) 一种用于惯性导航系统的系统级二次温度补偿方法
US10499038B2 (en) Method and system for recalibrating sensing devices without familiar targets
CN106168461B (zh) 一种新型远距离测量定标仪
CN107967701B (zh) 一种深度摄像设备的标定方法、装置及设备
CN109887041B (zh) 一种机械臂控制数字相机摄影中心位置和姿态的方法
CN107167088B (zh) 玻璃变形量的测量方法及装置
CN110068355A (zh) 一种光纤陀螺标度因数指标高精度测试方法
CN106855419A (zh) 基于加速度计坐标系直角棱镜的标定测试方法
CN108627849A (zh) 一种应用于高速相机校准的测距激光雷达系统
CN108318053A (zh) 一种空间光学遥感相机成像时刻标定精度测量方法及系统
CN101963502B (zh) 一种多传感器协同的数字倾角测量系统的倾角测量方法
CN110873578A (zh) 一种基于转台传递的六面体棱镜和imu安装误差标定方法
CN110619617A (zh) 三维成像方法、装置、设备及计算机可读存储介质
CN111457884B (zh) 一种车载立体视觉传感器水平视场角的测试方法及系统
CN111239758A (zh) 地图采集设备
CN114943774A (zh) 一种红外双目相机温度补偿计算方法
CN104748947B (zh) 灯具配光性能测试系统自动转台转角的校准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant