CN113031602B - 一种矿用轨道电机车动态包络线的构建方法 - Google Patents
一种矿用轨道电机车动态包络线的构建方法 Download PDFInfo
- Publication number
- CN113031602B CN113031602B CN202110239021.9A CN202110239021A CN113031602B CN 113031602 B CN113031602 B CN 113031602B CN 202110239021 A CN202110239021 A CN 202110239021A CN 113031602 B CN113031602 B CN 113031602B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- track
- frame
- electric locomotive
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003137 locomotive effect Effects 0.000 title claims abstract description 54
- 238000010276 construction Methods 0.000 title claims abstract description 20
- 238000005065 mining Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 230000007613 environmental effect Effects 0.000 claims abstract description 5
- 230000005540 biological transmission Effects 0.000 claims description 35
- 238000013016 damping Methods 0.000 claims description 7
- 238000003491 array Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 239000004576 sand Substances 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000003245 coal Substances 0.000 abstract description 8
- 239000002893 slag Substances 0.000 abstract description 4
- 239000004575 stone Substances 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000004140 cleaning Methods 0.000 description 4
- 239000003818 cinder Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241000883990 Flabellum Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T30/00—Transportation of goods or passengers via railways, e.g. energy recovery or reducing air resistance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种矿用轨道电机车动态包络线的构建方法,该构建方法包括以下步骤:构建装置上的检测系统通过动态扫描感知环境信息;自动驾驶控制器对扫描的环境信息进行成像;自动驾驶控制器通过对动态的成像进行轨道识别,并划定前方运行的安全区域,并将综合信息反馈整车控制器;整车控制器结合车辆行驶目标及前方安全包络线区域进行自动驾驶。本发明可以解决现有的煤矿井下电机车运行轨道的动态成像技术不稳定,采用普通方式建立的轨道模型负责,处理速度慢,对运行包络线不能进行功能划分;同时,电机车在煤矿轨道上因掉落碎石矿渣容易导致运行的不稳定而产生颠簸的问题。
Description
技术领域
本发明涉及轨道电机车动态包络线构建领域,具体的说是一种矿用轨道电机车动态包络线的构建方法。
背景技术
矿用轨道电机车是辅助运输的主要方式,目前煤矿轨道电机车完全依赖司机控制车辆,而司机疲劳等人为因素易导致非主观超速、闯红灯、车辆追尾等安全问题。据统计,辅助运输事故是矿井三大事故之一,平巷运输事故发生次数占总运输事故的42.14%,伤亡人数达41.12%,而电机车事故位居平巷运输事故首位。因此,亟需研发无人驾驶电机车,使煤矿减人增效,提高装备运行安全性,而无人驾驶电机车需要进行动态包络线构建来自动探测煤矿轨道情况。
但是现有的矿用轨道电机车动态包络线在构建过程中仍存在一定缺陷,煤矿井下电机车运行轨道的动态成像技术不稳定,采用普通方式建立的轨道模型,处理速度慢,对运行包络线不能进行功能划分;同时,电机车在煤矿轨道上因掉落碎石矿渣容易导致运行的不稳定而产生颠簸,一方面容易导致采集到的数据以及成像信息不准确,另一方面容易导致电机车脱轨而存在一定的安全隐患。
发明内容
本发明的目的在于提供一种矿用轨道电机车动态包络线的构建方法,可以解决现有的煤矿井下电机车运行轨道的动态成像技术不稳定,采用普通方式建立的轨道模型,处理速度慢,对运行包络线不能进行功能划分;同时,电机车在煤矿轨道上因掉落碎石矿渣容易导致运行的不稳定而产生颠簸,一方面容易导致采集到的数据以及成像信息不准确,另一方面容易导致电机车脱轨而存在一定的安全隐患。
本发明的目的可以通过以下技术方案实现:
一种矿用轨道电机车动态包络线的构建方法,该构建方法包括以下步骤:
S1、构建装置上的检测系统通过动态扫描感知环境信息;
S2、自动驾驶控制器对扫描的环境信息进行成像;
S3、自动驾驶控制器通过对动态的成像进行轨道识别,并划定前方运行的安全区域,并将综合信息反馈整车控制器;
S4、整车控制器结合车辆行驶目标及前方安全包络线区域进行自动驾驶;其中,
所述的构建装置还包括车身、驾驶室和移动机构,所述驾驶室固定在车身顶部,所述车身上安装有一个电源,所述检测系统固定在驾驶室上,所述移动机构固定在车身底部,所述检测系统包括激光雷达传感器、毫米波雷达和处理模块,所述处理模块电连接激光雷达传感器和毫米波雷达;所述车身上安装有撒沙器,所述驾驶室的外部安装有缓冲器。
优选的,所述S1中的地面车辆通过激光雷达传感器进行环境感知时,采用连续多帧点云数据叠加的方式,得到稳定的巷道点云模型,并在此基础上检测轨道位置,最后进行轨道附近的障碍物检测,根据检测结果来划定前方运行的安全区域并执行相应的反应机制,具体如下:
步骤一:建立稳定的巷道模型
在车载自动驾驶控制器内,模型基于ROS系统,通过PCL点云库函数采集激光传感器的点云实时数据,点云数据自带时间戳属性,系统通过该属性确定连续多帧点云数据的前后顺序;激光传感器扫描的频率是10Hz,100ms可成像一幅点云图像,连续多帧点云图像的叠加就是根据点云数据的前后顺序,将多张点云图像叠加起来形成一张更密集的点云图像;激光传感器内置IMU传感器,IMU提供的是一个相对的定位信息,它的作用是测量相对于起点物体所运动的路线,主要提供的参数有x、y、z、roll、pitch、yaw,依据这些参数可以模拟出由点云组成的三维立体空间;
通过can总线等通信方式,激光传感器获取电机车实时行驶速度,根据某一刻电机车行驶速度可以确定点云图像前一帧与后一帧的相对位置关系,调整后一帧点云图像并将其叠加到前一帧的点云图像上,以此类推可叠加多帧连续的点云图像,形成一幅相对稳定、点云稠密的图像;
叠加点云数据后,模型更真实还原了巷道的点云图,当电机车行驶过程中出现频繁的颠簸、抖动时,建立一个虚拟三维空间,将该三维空间z=0的平面确定为实际地面;采用最小二乘法对单帧巷道点云图像的某一竖直平面的点云数据进行直线拟合,求出回归直线相对于虚拟平面的斜率和竖直方向的截距,根据斜率和截距调整该单帧的所有点云数据,使其与虚拟平面重合,然后将调整后的这一帧数据进行叠加,最终得到一个稳定、清晰的巷道模型;
首先设置回归直线方程:
z=kx+b
其中斜率为k,y轴截距为b;由于地面直线不可能垂直于x轴,因此可以使用截距式直线方程来作为回归直线方程;单帧点云图像的某一竖直平面的点集为:
{(x,z)|(x1,z1),(x2,z2),...(xn,zn)}
求所有点到直线的误差平方和:
由极值定理可知,误差方程一阶导数等于0处取得极值,因此分别对其关于k和b求导,解k,b值使得误差函数取最小值;可得:
整理后可得:
其中求出k,b的值后带入回归方程,即可得到拟合的直线方程;根据斜率k,调整这一帧点云图像的角度,使其与虚拟平面水平;根据截距b,平移点云图像,使其与虚拟平面在同一水平;这样得到的每一帧点云图像都是在同一水平,达到最大程度的重合,得到一副连续多帧叠加、稳定、清晰的巷道点云图;
步骤二:轨道特征提取模型
根据实际情况,井下轨道的显著特征有两个,一是轨道的高度明显高于轨道两侧地面,高度差为10cm;二是轨道的反射强度明显低于地面;
根据上述两个特征建立模型,对应于实际地面建立两个二维数组,使三维空间z=0的平面网格化,其中一个二维数组gridCell的值为点云z值,对应于实际位置的高度;另一个二维数组gridintensity的值为点云的curvature值,对应于实际位置的反射强度;网格分辨率设置为8cm;
叠加后的点云数据量庞大,限制检测范围可以大大提高运行速度;由于轨道宽为0.6m并且轨道一般处于轨道前方一定范围内,因此设置检测范围的宽为点云图像中心左右0.8m,对应于网格是图像某一行中心的20个网格;分析某一行中心20个网格的两个数组的值,数组gridCell值为0.1对应的网格位置认为是轨道位置;数组gridintensity值明显小于相邻数组值的对应的网格位置认为是轨道位置;将两个数组分析结果进行整合,得到网格某一行的轨道位置;以此类推,当电机车在行驶时,循环计算网格中每一行的轨道位置,最终识别出点云图像内的一条轨道;
步骤三:障碍物识别
通过轨道特征提取模型,正确识别轨道后,在轨道附近某个范围内检测障碍物;在轨道对应的网格的附近,划定一定范围,检测该范围对应的gridCell数组是否有一个z值,若z 值大于轨道并且小于车高,则判定为障碍物;之后根据该障碍物的x值估计障碍物与电机车的距离,并通过与电机驱动系统通信,使电机车做出相应的制动反应。
优选的,所述移动机构包括底架、四个车轮、两个侧架,所述侧架固定在底架两侧外壁上,所述车轮安装在底架的底部,相邻两个车轮之间通过一根转轴相连接,两根所述转轴中部安装均有一个传动齿轮,两个所述传动齿轮的一侧均啮合有一个驱动齿轮,所述驱动齿轮中部穿接有一根传动轴,所述传动轴的两端均连接一个固定在底架底部的鼓风机,且所述传动轴接入鼓风机内部并与位于鼓风机内部的扇叶相连接,两个所述鼓风机之间设置有一个固定在底架底部的驱动电机,所述驱动电机的输出轴连接一个主动齿轮,所述主动齿轮与一个套接在传动轴上的啮合齿轮相啮合;
优选的,所述车轮包括轮圈和毂体,所述轮圈位于毂体两侧外壁上,所述毂体外壁上设置有若干个均匀分布的气孔,所述轮圈靠近毂体的侧壁侧壁上设置有若干个均匀分布的侧孔,所述毂体内部设置有一个中间腔,所述中间腔一侧设置有一个位于毂体内部的空腔,所述空腔与中间腔相连通,所述中间腔与气孔相连通,每个所述侧孔内部均安装有一个气动伸缩管,所述气动伸缩管与空腔相连通,所述鼓风机管道连接中间腔。
优选的,每个所述侧架顶部固定有若干根减震弹簧,所述减震弹簧的顶端连接在车身底部,每个所述侧架两侧均设置有一个固定在底架侧壁上的侧撑,每个所述侧撑侧壁上均连接有一根连杆,所述连杆的顶端固定在底架侧壁上,所述每个侧撑内部均安装有若干个侧边弹簧。
优选的,每个所述车轮一侧均设置有一个套接在转轴上的刹车盘,每个所述刹车盘一侧均安装有一个与其配套使用的气动刹,所述气动刹管道连接位于底架底部的气缸。
本发明的有益效果:由于底架底部鼓风机的设置,并且传动轴接入鼓风机内部并与位于鼓风机内部的扇叶相连接,使得鼓风机能够被传动轴带动而运作,从而使得移动机构行走时鼓风机能够自动运作,无需单独配备动力来源。
由于车轮的轮圈上设置有内部带有气动伸缩管的侧孔,车轮的毂体上设置有气孔,从而鼓风机在运作时能够将气体送入中间腔内部,由于中间腔与空腔相连通,从而进入中间腔内部的气体同时进入空腔内部,进入中间腔内部的气体从气孔排出,使得移动机构在运作时,能够利用从车轮上排出的气体来对轨道进行清洁,从而能够将掉落在轨道上的碎石矿渣进行清洁,避免颠簸导致检测系统所检测到的图像信息不准确,同时进入空腔内部的气体进入气动伸缩管内部并使得气动伸缩管从侧孔内部顶出,由于侧孔位于轮圈侧壁上,并且轨道呈T 型结构,从而从侧孔内部顶出的气动伸缩管能够延伸至轨道顶端下方的位置,形成能够起到预防车轮脱轨的保护结构,确保检测系统检测结果的准确性;同时,本发明根据斜率和截距调整该单帧的所有点云数据,使其与虚拟平面重合,然后将调整后的这一帧数据进行叠加,最终得到一个稳定、清晰的巷道模型,煤矿井下电机车运行轨道的动态成像技术更加稳定,效率高,对运行包络线能够快速进行功能划分。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本发明的模块图;
图2为本发明的构建装置整体结构正视图;
图3为本发明的构建装置整体结构俯视图;
图4为本发明的构建装置整体结构左视图;
图5为本发明移动机构的结构示意图;
图6为本发明移动机构的侧视图;
图7为本发明移动机构的俯视图;
图8为本发明车轮侧视图;
图9为本发明车轮内部结构示意图;
图10为本发明构建安全驾驶包络线区域图。
图中:1、车身;1a、撒沙器;2、驾驶室;2a、缓冲器;3、电源;4、检测系统;5、移动机构;6、底架;7、车轮;8、转轴;9、传动齿轮;10、侧边弹簧;11、侧撑;12、连杆; 13、侧架;14、减震弹簧;15、驱动电机;16、刹车盘;17、鼓风机;18、主动齿轮;19、啮合齿轮;20、驱动齿轮;21、传动轴;22、气动刹;23、气孔;24、侧孔;25、气动伸缩管;26、空腔;27、中间腔。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1-10所示,一种矿用轨道电机车动态包络线的构建方法,该构建方法包括以下步骤:
S1、构建装置上的检测系统4通过动态扫描感知环境信息;
S2、自动驾驶控制器对扫描的环境信息进行成像;
S3、自动驾驶控制器通过对动态的成像进行轨道识别,并划定前方运行的安全区域,并将综合信息反馈整车控制器;
S4、整车控制器结合车辆行驶目标及前方安全包络线区域进行自动驾驶;其中,
本发明构建安全驾驶包络线时,根据矿用轨道电机车的最大安全制动距离40米的特点,划定电机车前方60米运行包络线区域;
(1)在前方40~60米范围内,为预警区域,当该区域有行人或障碍物时,无人驾驶控制发出预警信息,机车做好减速的各种准备,行车速度发出减速指令,机车速度不得高于3m/s;
(2)在前方20~40米范围内,为减速区域,当该区域有行人或障碍物时,无人驾驶控制器发出减速指令,机车速度不得高于1m/s;
(3)在前方10~20米范围内,为制动区域,当该区域内有行人或障碍物时,无人驾驶控制器发出制动指令,机车需降速为0;
(4)在前方0~10米范围内,为紧急停车区域,当该区域内有行人或障碍物时,无人驾驶控制器发出紧急制动指令,机车需立刻停车;
所述的构建装置还包括车身1、驾驶室2和移动机构5,所述驾驶室2固定在车身1顶部,所述车身1上安装有一个电源3,所述检测系统4固定在驾驶室2上,所述移动机构5固定在车身1底部,所述检测系统4包括激光雷达传感器、毫米波雷达和处理模块,所述处理模块电连接激光雷达传感器和毫米波雷达;所述车身1上安装有撒沙器1a,所述驾驶室2的外部安装有缓冲器2a。
具体的,所述S1中的地面车辆通过激光雷达传感器进行环境感知时,采用连续多帧点云数据叠加的方式,得到稳定的巷道点云模型,并在此基础上检测轨道位置,最后进行轨道附近的障碍物检测,根据检测结果来划定前方运行的安全区域并执行相应的反应机制,具体如下:
步骤一:建立稳定的巷道模型
在车载自动驾驶控制器内,模型基于ROS系统,通过PCL点云库函数采集激光传感器的点云实时数据,点云数据自带时间戳属性,系统通过该属性确定连续多帧点云数据的前后顺序;激光传感器扫描的频率是10Hz,100ms可成像一幅点云图像,连续多帧点云图像的叠加就是根据点云数据的前后顺序,将多张点云图像叠加起来形成一张更密集的点云图像;激光传感器内置IMU传感器,IMU提供的是一个相对的定位信息,它的作用是测量相对于起点物体所运动的路线,主要提供的参数有x、y、z、roll、pitch、yaw,依据这些参数可以模拟出由点云组成的三维立体空间;
通过can总线等通信方式,激光传感器获取电机车实时行驶速度,根据某一刻电机车行驶速度可以确定点云图像前一帧与后一帧的相对位置关系,调整后一帧点云图像并将其叠加到前一帧的点云图像上,以此类推可叠加多帧连续的点云图像,形成一幅相对稳定、点云稠密的图像;
叠加点云数据后,模型更真实还原了巷道的点云图,当电机车行驶过程中出现频繁的颠簸、抖动时,建立一个虚拟三维空间,将该三维空间z=0的平面确定为实际地面;采用最小二乘法对单帧巷道点云图像的某一竖直平面的点云数据进行直线拟合,求出回归直线相对于虚拟平面的斜率和竖直方向的截距,根据斜率和截距调整该单帧的所有点云数据,使其与虚拟平面重合,然后将调整后的这一帧数据进行叠加,最终得到一个稳定、清晰的巷道模型;
首先设置回归直线方程:
z=kx+b
其中斜率为k,y轴截距为b;由于地面直线不可能垂直于x轴,因此可以使用截距式直线方程来作为回归直线方程;单帧点云图像的某一竖直平面的点集为:
{(x,z)|(x1,z1),(x2,z2),...(xn,zn)}
求所有点到直线的误差平方和:
由极值定理可知,误差方程一阶导数等于0处取得极值,因此分别对其关于k和b求导,解k,b值使得误差函数取最小值;可得:
整理后可得:
其中求出k,b的值后带入回归方程,即可得到拟合的直线方程;根据斜率k,调整这一帧点云图像的角度,使其与虚拟平面水平;根据截距b,平移点云图像,使其与虚拟平面在同一水平;这样得到的每一帧点云图像都是在同一水平,达到最大程度的重合,得到一副连续多帧叠加、稳定、清晰的巷道点云图;
步骤二:轨道特征提取模型
根据实际情况,井下轨道的显著特征有两个,一是轨道的高度明显高于轨道两侧地面,高度差为10cm;二是轨道的反射强度明显低于地面;
根据上述两个特征建立模型,对应于实际地面建立两个二维数组,使三维空间z=0的平面网格化,其中一个二维数组gridCell的值为点云z值,对应于实际位置的高度;另一个二维数组gridintensity的值为点云的curvature值,对应于实际位置的反射强度;网格分辨率设置为8cm;
叠加后的点云数据量庞大,限制检测范围可以大大提高运行速度;由于轨道宽为0.6m并且轨道一般处于轨道前方一定范围内,因此设置检测范围的宽为点云图像中心左右0.8m,对应于网格是图像某一行中心的20个网格;分析某一行中心20个网格的两个数组的值,数组gridCell值为0.1对应的网格位置认为是轨道位置;数组gridintensity值明显小于相邻数组值的对应的网格位置认为是轨道位置;将两个数组分析结果进行整合,得到网格某一行的轨道位置;以此类推,当电机车在行驶时,循环计算网格中每一行的轨道位置,最终识别出点云图像内的一条轨道;
步骤三:障碍物识别
通过轨道特征提取模型,正确识别轨道后,在轨道附近某个范围内检测障碍物;在轨道对应的网格的附近,划定一定范围,检测该范围对应的gridCell数组是否有一个z值,若z 值大于轨道并且小于车高,则判定为障碍物;之后根据该障碍物的x值估计障碍物与电机车的距离,并通过与电机驱动系统通信,使电机车做出相应的制动反应。
移动机构5包括底架6、四个车轮7、两个侧架13,侧架13固定在底架6两侧外壁上,车轮7安装在底架6的底部,相邻两个车轮7之间通过一根转轴8相连接,两根转轴8中部安装均有一个传动齿轮9,两个传动齿轮9的一侧均啮合有一个驱动齿轮20,驱动齿轮20中部穿接有一根传动轴21,传动轴21的两端均连接一个固定在底架6底部的鼓风机17,且传动轴21接入鼓风机17内部并与位于鼓风机17内部的扇叶相连接,两个鼓风机17之间设置有一个固定在底架6底部的驱动电机15,驱动电机15的输出轴连接一个主动齿轮18,主动齿轮18与一个套接在传动轴21上的啮合齿轮19相啮合;
车轮7包括轮圈和毂体,轮圈位于毂体两侧外壁上,毂体外壁上设置有若干个均匀分布的气孔23,轮圈靠近毂体的侧壁侧壁上设置有若干个均匀分布的侧孔24,毂体内部设置有一个中间腔27,中间腔27一侧设置有一个位于毂体内部的空腔26,空腔26与中间腔27相连通,中间腔27与气孔23相连通,每个侧孔24内部均安装有一个气动伸缩管25,气动伸缩管25与空腔26相连通,鼓风机17管道连接中间腔27。
每个侧架13顶部固定有若干根减震弹簧14,减震弹簧14的顶端连接在车身1底部,每个侧架13两侧均设置有一个固定在底架6侧壁上的侧撑11,每个侧撑11侧壁上均连接有一根连杆12,连杆12的顶端固定在底架6侧壁上,每个侧撑11内部均安装有若干个侧边弹簧10。
每个车轮7一侧均设置有一个套接在转轴8上的刹车盘16,每个刹车盘16一侧均安装有一个与其配套使用的气动刹22,气动刹22管道连接位于底架6底部的气缸。
本发明的构建装置运行步骤如下:
步骤一:启动整个装置之后,移动机构5内部的两个驱动电机15均运作,利用驱动电机 15驱动主动齿轮18转动,主动齿轮18在转动的过程中利用啮合齿轮19带动传动轴21转动,传动轴21在转动的过程中利用驱动齿轮20带动传动齿轮9转动,从而带动车轮7转动,实现移动机构5的位置移动,而移动机构5在位置移动的过程中承载着整个装置一同在矿用轨道上移动位置,而传动轴21在转动的过程中由于传动轴21的两端均连接一个固定在底架6 底部的鼓风机17,且传动轴21接入鼓风机17内部并与位于鼓风机17内部的扇叶相连接,使得鼓风机17被传动轴21带动而运作,鼓风机17在运作时将气体送入中间腔27内部,进入中间腔27内部的气体同时进入空腔26内部,进入中间腔27内部的气体从气孔23排出,使得移动机构5在运作时,利用从车轮7上排出的气体来对轨道进行清洁,将掉落在轨道上的碎石矿渣进行清洁,同时进入空腔26内部的气体进入气动伸缩管25内部并使得气动伸缩管25从侧孔24内部顶出,随着移动机构5的运作,车身1前进,此时启动检测系统4来对矿道内部环境进行检测;
步骤二:利用激光雷达传感器及毫米波雷达通过动态扫描感知环境信息;处理模块内部的自动驾驶控制器对激光雷达及毫米波雷达扫描的环境信息进行成像,通过激光雷法传感器进行环境感知时,对可通行区域和不可通行区域进行点云分割,从而规划行驶路径与检测障碍物,煤矿井下轨道不同于地面公路,电机车在固定的轨道上行驶,不存在路径检测的问题,只需要对轨道附近进行障碍物检测来划定前方运行的安全区域;自动驾驶控制器通过对动态的成像进行轨道识别,并划定前方运行的安全区域也就是安全包络线区域,并将综合信息反馈给驾驶室2内部的整车控制器,从而完成构建,完成构建后整车控制器结合车辆行驶目标及前方安全包络线区域进行自动驾驶。
本发明在使用时,在启动整个装置之后,移动机构5内部的两个驱动电机15均运作,利用驱动电机15驱动主动齿轮18转动,主动齿轮18在转动的过程中利用啮合齿轮19带动传动轴21转动,传动轴21在转动的过程中利用驱动齿轮20带动传动齿轮9转动,从而带动车轮7转动,实现移动机构5的位置移动,而移动机构5在位置移动的过程中承载着整个装置一同在矿用轨道上移动位置,而传动轴21在转动的过程中由于传动轴21的两端均连接一个固定在底架6底部的鼓风机17,且传动轴21接入鼓风机17内部并与位于鼓风机17内部的扇叶相连接,使得鼓风机17被传动轴21带动而运作,由于鼓风机17管道连接中间腔27,从而使得鼓风机17在运作时能够将气体送入中间腔27内部,由于中间腔27与空腔26相连通,从而进入中间腔27内部的气体同时进入空腔26内部,进入中间腔27内部的气体从气孔 23排出,使得移动机构5在运作时,能够利用从车轮7上排出的气体来对轨道进行清洁,从而能够将掉落在轨道上的碎石矿渣进行清洁,避免颠簸导致检测系统4所检测到的图像信息不准确,同时进入空腔26内部的气体进入气动伸缩管25内部并使得气动伸缩管25从侧孔 24内部顶出,由于侧孔24位于轮圈侧壁上,并且轨道呈T型结构,从而从侧孔24内部顶出的气动伸缩管25能够延伸至轨道顶端下方的位置,形成能够起到预防车轮脱轨的保护结构,随着移动机构5的运作,车身1前进,此时启动检测系统4来对矿道内部环境进行检测,利用激光雷达传感器及毫米波雷达通过动态扫描感知环境信息;处理模块内部的自动驾驶控制器对激光雷达及毫米波雷达扫描的环境信息进行成像;自动驾驶控制器通过对动态的成像进行轨道识别,并划定前方运行的安全区域也就是安全包络线区域,并将综合信息反馈给驾驶室2内部的整车控制器,从而完成构建,完成构建后整车控制器结合车辆行驶目标及前方安全包络线区域进行自动驾驶。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (5)
1.一种矿用轨道电机车动态包络线的构建方法,其特征在于,该构建方法包括以下步骤:
S1、构建装置上的检测系统(4)通过动态扫描感知环境信息;
S2、自动驾驶控制器对扫描的环境信息进行成像;
S3、自动驾驶控制器通过对动态的成像进行轨道识别,并划定前方运行的安全区域,并将综合信息反馈整车控制器;
S4、整车控制器结合车辆行驶目标及前方安全包络线区域进行自动驾驶;其中,
所述的构建装置还包括车身(1)、驾驶室(2)和移动机构(5),所述驾驶室(2)固定在车身(1)顶部,所述车身(1)上安装有一个电源(3),所述检测系统(4)固定在驾驶室(2)上,所述移动机构(5)固定在车身(1)底部,所述检测系统(4)包括激光雷达传感器、毫米波雷达和处理模块,所述处理模块电连接激光雷达传感器和毫米波雷达;所述车身(1)上安装有撒沙器(1a),所述驾驶室(2)的外部安装有缓冲器(2a);
所述S1中的地面车辆通过激光雷达传感器进行环境感知时,采用连续多帧点云数据叠加的方式,得到稳定的巷道点云模型,并在此基础上检测轨道位置,最后进行轨道附近的障碍物检测,根据检测结果来划定前方运行的安全区域并执行相应的反应机制,具体如下:
步骤一:建立稳定的巷道模型
在车载自动驾驶控制器内,模型基于ROS系统,通过PCL点云库函数采集激光传感器的点云实时数据,点云数据自带时间戳属性,系统通过该属性确定连续多帧点云数据的前后顺序;激光传感器扫描的频率是10Hz,100ms可成像一幅点云图像,连续多帧点云图像的叠加就是根据点云数据的前后顺序,将多张点云图像叠加起来形成一张更密集的点云图像;激光传感器内置IMU传感器,IMU提供的是一个相对的定位信息,它的作用是测量相对于起点物体所运动的路线,主要提供的参数有x、y、z、roll、pitch、yaw,依据这些参数可以模拟出由点云组成的三维立体空间;
通过can总线等通信方式,激光传感器获取电机车实时行驶速度,根据某一刻电机车行驶速度可以确定点云图像前一帧与后一帧的相对位置关系,调整后一帧点云图像并将其叠加到前一帧的点云图像上,以此类推可叠加多帧连续的点云图像,形成一幅相对稳定、点云稠密的图像;
叠加点云数据后,模型更真实还原了巷道的点云图,当电机车行驶过程中出现频繁的颠簸、抖动时,建立一个虚拟三维空间,将该三维空间z=0的平面确定为实际地面;采用最小二乘法对单帧巷道点云图像的某一竖直平面的点云数据进行直线拟合,求出回归直线相对于虚拟平面的斜率和竖直方向的截距,根据斜率和截距调整该单帧的所有点云数据,使其与虚拟平面重合,然后将调整后的这一帧数据进行叠加,最终得到一个稳定、清晰的巷道模型;
首先设置回归直线方程:
z=kx+b
其中斜率为k,y轴截距为b;由于地面直线不可能垂直于x轴,因此可以使用截距式直线方程来作为回归直线方程;单帧点云图像的某一竖直平面的点集为:
{(x,z)|(x1,z1),(x2,z2),...(xn,zn)}
求所有点到直线的误差平方和:
由极值定理可知,误差方程一阶导数等于0处取得极值,因此分别对其关于k和b求导,解k,b值使得误差函数取最小值;可得:
整理后可得:
其中求出k,b的值后带入回归方程,即可得到拟合的直线方程;根据斜率k,调整这一帧点云图像的角度,使其与虚拟平面水平;根据截距b,平移点云图像,使其与虚拟平面在同一水平;这样得到的每一帧点云图像都是在同一水平,达到最大程度的重合,得到一副连续多帧叠加、稳定、清晰的巷道点云图;
步骤二:轨道特征提取模型
根据实际情况,井下轨道的显著特征有两个,一是轨道的高度明显高于轨道两侧地面,高度差为10cm;二是轨道的反射强度明显低于地面;
根据上述两个特征建立模型,对应于实际地面建立两个二维数组,使三维空间z=0的平面网格化,其中一个二维数组gridCell的值为点云z值,对应于实际位置的高度;另一个二维数组gridintensity的值为点云的curvature值,对应于实际位置的反射强度;网格分辨率设置为8cm;
叠加后的点云数据量庞大,限制检测范围可以大大提高运行速度;由于轨道宽为0.6m并且轨道一般处于轨道前方一定范围内,因此设置检测范围的宽为点云图像中心左右0.8m,对应于网格是图像某一行中心的20个网格;分析某一行中心20个网格的两个数组的值,数组gridCell值为0.1对应的网格位置认为是轨道位置;数组gridintensity值明显小于相邻数组值的对应的网格位置认为是轨道位置;将两个数组分析结果进行整合,得到网格某一行的轨道位置;以此类推,当电机车在行驶时,循环计算网格中每一行的轨道位置,最终识别出点云图像内的一条轨道;
步骤三:障碍物识别
通过轨道特征提取模型,正确识别轨道后,在轨道附近某个范围内检测障碍物;在轨道对应的网格的附近,划定一定范围,检测该范围对应的gridCell数组是否有一个z值,若z值大于轨道并且小于车高,则判定为障碍物;之后根据该障碍物的x值估计障碍物与电机车的距离,并通过与电机驱动系统通信,使电机车做出相应的制动反应。
2.根据权利要求1所述的一种矿用轨道电机车动态包络线的构建方法,其特征在于,所述移动机构(5)包括底架(6)、四个车轮(7)、两个侧架(13),所述侧架(13)固定在底架(6)两侧外壁上,所述车轮(7)安装在底架(6)的底部,相邻两个车轮(7)之间通过一根转轴(8)相连接,两根所述转轴(8)中部安装均有一个传动齿轮(9),两个所述传动齿轮(9)的一侧均啮合有一个驱动齿轮(20),所述驱动齿轮(20)中部穿接有一根传动轴(21),所述传动轴(21)的两端均连接一个固定在底架(6)底部的鼓风机(17),且所述传动轴(21)接入鼓风机(17)内部并与位于鼓风机(17)内部的扇叶相连接,两个所述鼓风机(17)之间设置有一个固定在底架(6)底部的驱动电机(15),所述驱动电机(15)的输出轴连接一个主动齿轮(18),所述主动齿轮(18)与一个套接在传动轴(21)上的啮合齿轮(19)相啮合。
3.根据权利要求2所述的一种矿用轨道电机车动态包络线的构建方法,其特征在于,所述车轮(7)包括轮圈和毂体,所述轮圈位于毂体两侧外壁上,所述毂体外壁上设置有若干个均匀分布的气孔(23),所述轮圈靠近毂体的侧壁侧壁上设置有若干个均匀分布的侧孔(24),所述毂体内部设置有一个中间腔(27),所述中间腔(27)一侧设置有一个位于毂体内部的空腔(26),所述空腔(26)与中间腔(27)相连通,所述中间腔(27)与气孔(23)相连通,每个所述侧孔(24)内部均安装有一个气动伸缩管(25),所述气动伸缩管(25)与空腔(26)相连通,所述鼓风机(17)管道连接中间腔(27)。
4.根据权利要求3所述的一种矿用轨道电机车动态包络线的构建方法,其特征在于,每个所述侧架(13)顶部固定有若干根减震弹簧(14),所述减震弹簧(14)的顶端连接在车身(1)底部,每个所述侧架(13)两侧均设置有一个固定在底架(6)侧壁上的侧撑(11),每个所述侧撑(11)侧壁上均连接有一根连杆(12),所述连杆(12)的顶端固定在底架(6)侧壁上,所述每个侧撑(11)内部均安装有若干个侧边弹簧(10)。
5.根据权利要求4所述的一种矿用轨道电机车动态包络线的构建方法,其特征在于,每个所述车轮(7)一侧均设置有一个套接在转轴(8)上的刹车盘(16),每个所述刹车盘(16)一侧均安装有一个与其配套使用的气动刹(22),所述气动刹(22)管道连接位于底架(6)底部的气缸。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110239021.9A CN113031602B (zh) | 2021-03-04 | 2021-03-04 | 一种矿用轨道电机车动态包络线的构建方法 |
PCT/CN2022/073337 WO2022183871A1 (zh) | 2021-03-04 | 2022-02-10 | 一种矿用轨道电机车动态包络线的构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110239021.9A CN113031602B (zh) | 2021-03-04 | 2021-03-04 | 一种矿用轨道电机车动态包络线的构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113031602A CN113031602A (zh) | 2021-06-25 |
CN113031602B true CN113031602B (zh) | 2022-08-02 |
Family
ID=76466583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110239021.9A Active CN113031602B (zh) | 2021-03-04 | 2021-03-04 | 一种矿用轨道电机车动态包络线的构建方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113031602B (zh) |
WO (1) | WO2022183871A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113031602B (zh) * | 2021-03-04 | 2022-08-02 | 上海申传电气股份有限公司 | 一种矿用轨道电机车动态包络线的构建方法 |
CN113619605B (zh) * | 2021-09-02 | 2022-10-11 | 盟识(上海)科技有限公司 | 一种地下矿用铰接车自动驾驶方法与系统 |
CN113931696B (zh) * | 2021-09-09 | 2024-01-23 | 上海申传电气股份有限公司 | 融合感测多巷分割的井下巷道图及电机车快速定位方法 |
CN114882339B (zh) * | 2022-03-23 | 2024-04-16 | 太原理工大学 | 基于实时稠密点云地图的煤矿巷道孔眼自主识别方法 |
CN115902908B (zh) * | 2022-12-01 | 2024-08-16 | 上海伯镭智能科技有限公司 | 一种用于无人驾驶矿车在线监测设备 |
CN117465491B (zh) * | 2023-12-26 | 2024-03-22 | 江苏飞梭智行设备有限公司 | 一种轨道小车的轨道表面检测装置及检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103075976A (zh) * | 2012-12-27 | 2013-05-01 | 天津大学 | 一种高速列车动态包络线测量方法 |
CN104179708A (zh) * | 2014-08-14 | 2014-12-03 | 武汉和平风机有限责任公司 | 磁悬浮高速鼓风机综合性能测试台 |
DE102014222900A1 (de) * | 2014-11-10 | 2016-05-12 | Bombardier Transportation Gmbh | Betrieb eines Schienenfahrzeugs mit einem Bilderzeugungssystem |
CN208654644U (zh) * | 2018-09-26 | 2019-03-26 | 苏州索亚机器人技术有限公司 | 一种无人驾驶扫雪机器人 |
CN111207687A (zh) * | 2020-01-15 | 2020-05-29 | 中车株洲电力机车有限公司 | 一种轨道车辆的限界检测方法、装置及系统 |
CN111551938A (zh) * | 2020-04-26 | 2020-08-18 | 北京踏歌智行科技有限公司 | 一种基于矿区环境的无人驾驶技术感知融合方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI116748B (fi) * | 2003-03-25 | 2006-02-15 | Sandvik Tamrock Oy | Menetelmä kaivoskoneen automaattiseksi ohjaamiseksi |
FI115678B (fi) * | 2003-03-25 | 2005-06-15 | Sandvik Tamrock Oy | Järjestely kaivosajoneuvon törmäyksenestoon |
CN105383952B (zh) * | 2015-11-13 | 2017-09-19 | 长沙有色冶金设计研究院有限公司 | 一种基于工业在线检测的矿车自动装矿方法及系统 |
CN110239592A (zh) * | 2019-07-03 | 2019-09-17 | 中铁轨道交通装备有限公司 | 一种轨道车辆主动式障碍物及脱轨检测系统 |
CN110531376B (zh) * | 2019-08-23 | 2022-04-22 | 畅加风行(苏州)智能科技有限公司 | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 |
CN110862033B (zh) * | 2019-11-12 | 2024-03-01 | 中信重工开诚智能装备有限公司 | 一种应用于煤矿斜井绞车的智能预警检测方法 |
CN111427348A (zh) * | 2020-03-24 | 2020-07-17 | 江苏徐工工程机械研究院有限公司 | 一种自动驾驶矿用自卸卡车环境感知系统及矿用自卸卡车 |
CN111337927A (zh) * | 2020-04-13 | 2020-06-26 | 丹东东方测控技术股份有限公司 | 井下无人驾驶机车障碍物识别雷达装置 |
CN112793629B (zh) * | 2021-03-04 | 2021-10-01 | 上海申传电气股份有限公司 | 一种煤矿井下防爆蓄电池轨道电机车自主定位方法 |
CN113031602B (zh) * | 2021-03-04 | 2022-08-02 | 上海申传电气股份有限公司 | 一种矿用轨道电机车动态包络线的构建方法 |
-
2021
- 2021-03-04 CN CN202110239021.9A patent/CN113031602B/zh active Active
-
2022
- 2022-02-10 WO PCT/CN2022/073337 patent/WO2022183871A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103075976A (zh) * | 2012-12-27 | 2013-05-01 | 天津大学 | 一种高速列车动态包络线测量方法 |
CN104179708A (zh) * | 2014-08-14 | 2014-12-03 | 武汉和平风机有限责任公司 | 磁悬浮高速鼓风机综合性能测试台 |
DE102014222900A1 (de) * | 2014-11-10 | 2016-05-12 | Bombardier Transportation Gmbh | Betrieb eines Schienenfahrzeugs mit einem Bilderzeugungssystem |
CN208654644U (zh) * | 2018-09-26 | 2019-03-26 | 苏州索亚机器人技术有限公司 | 一种无人驾驶扫雪机器人 |
CN111207687A (zh) * | 2020-01-15 | 2020-05-29 | 中车株洲电力机车有限公司 | 一种轨道车辆的限界检测方法、装置及系统 |
CN111551938A (zh) * | 2020-04-26 | 2020-08-18 | 北京踏歌智行科技有限公司 | 一种基于矿区环境的无人驾驶技术感知融合方法 |
Non-Patent Citations (1)
Title |
---|
韩江洪.煤矿井下机车无人驾驶系统关键技术.《煤炭学报》.2020, * |
Also Published As
Publication number | Publication date |
---|---|
WO2022183871A1 (zh) | 2022-09-09 |
CN113031602A (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113031602B (zh) | 一种矿用轨道电机车动态包络线的构建方法 | |
WO2022183870A1 (zh) | 一种煤矿井下防爆蓄电池轨道电机车自主定位方法 | |
CN108645373A (zh) | 一种动态三维隧道断面形变检测及分析系统、方法及装置 | |
CN109542097B (zh) | 红外置顶循迹的井下无人无轨胶轮车及其行驶控制方法 | |
CN102501858B (zh) | 一种窄轨电动机车 | |
CN106143530B (zh) | 用于悬挂式单轨交通系统箱型轨道梁的巡检小车 | |
US20180257684A1 (en) | Operation of a Rail Vehicle Comprising an Image Generation System | |
CN113104056B (zh) | 一种分体式工务巡检机器人平台 | |
US11485393B2 (en) | Vehicle control system | |
CN205981118U (zh) | 基于光幕的车轮跟踪式机动车外廓尺寸测量仪 | |
CN209492532U (zh) | 轨道交通用检测车 | |
WO2023197535A1 (zh) | 一种深部受限空间下无人有轨电机车坡度及弯道通行方法 | |
CN206155453U (zh) | 轨道检测车 | |
CN109591907A (zh) | 一种桥墩检测用行走机构和行走方法 | |
CN112947496A (zh) | 一种无人驾驶的无轨胶轮车标准化运输平台及其控制方法 | |
CN205930728U (zh) | 用于悬挂式单轨交通系统箱型轨道梁的巡检小车 | |
CN106596121A (zh) | 一种aebs试验用模拟装置及模拟方法 | |
CN113002588B (zh) | 一种列车轨道异物检测方法及系统 | |
CN110803009A (zh) | 一种可自动驾驶的双向行驶电动卡车 | |
RU2818602C1 (ru) | Способ построения динамической огибающей линии шахтного электровоза | |
CN115571175A (zh) | 一种地铁隧道检测系统 | |
Lussu et al. | Innovative TBM transport logistics in the constructive lot H33–Brenner Base Tunnel | |
CN208505286U (zh) | 一种动态三维隧道断面形变检测及分析系统 | |
CN213812376U (zh) | 一种运营车车载式轨道检测系统 | |
CN111409670B (zh) | 一种辅助监控系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |