CN108274463B - 列车库检机器人和列车零部件检测方法 - Google Patents

列车库检机器人和列车零部件检测方法 Download PDF

Info

Publication number
CN108274463B
CN108274463B CN201710010918.8A CN201710010918A CN108274463B CN 108274463 B CN108274463 B CN 108274463B CN 201710010918 A CN201710010918 A CN 201710010918A CN 108274463 B CN108274463 B CN 108274463B
Authority
CN
China
Prior art keywords
train
robot
parts
dimensional image
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710010918.8A
Other languages
English (en)
Other versions
CN108274463A (zh
Inventor
李骏
吴静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou New Vision Science And Technology Co ltd
Original Assignee
Suzhou New Vision Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou New Vision Science And Technology Co ltd filed Critical Suzhou New Vision Science And Technology Co ltd
Priority to CN201710010918.8A priority Critical patent/CN108274463B/zh
Publication of CN108274463A publication Critical patent/CN108274463A/zh
Application granted granted Critical
Publication of CN108274463B publication Critical patent/CN108274463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems

Abstract

本发明提供了列车库检机器人和列车零部件检测方法,其中列车库检机器人包括:机器人本体以及固设于机器人本体的控制器和驱动装置,控制器与驱动装置电连接;固设于机器人本体下底面、且与驱动装置电连接的轮轨式行走机构;连接于机器人本体上端面、且与控制器电连接的快速图像扫描模组和零部件定位器;快速图像扫描模组沿垂直于机器人直行方向设置,且其扫描端口和零部件定位器的定位端口朝上设置;连接于机器人本体上端面、且与控制器电连接的机械臂组件;连接于机械臂组件端部、且与控制器电连接的三维图像采集模组;机械臂组件还通过控制器与零部件定位器连接。本发明的技术方案能够全面和快速检测车底的各个零部件。

Description

列车库检机器人和列车零部件检测方法
技术领域
本发明涉及列车检修技术领域,更为具体地说,涉及一种列车库检机器人和列车零部件检测方法。
背景技术
随着铁路事业的快速发展,铁路网的建设速度正逐步加快,相应地,开行的列车数量逐年增多,列车速度逐步增快。列车数量的增多以及速度的增快给列车的安全运行带来了巨大压力,为了保障列车安全运行,需要对列车故障进行检测。入库检修作为一种检测列车故障的重要方式,能够全面细致地检测列车的各个零部件。
在入库检修的过程中,如图1所示,列车需要停在专门的检修导轨1上,该检修导轨1有专门的支座2支撑,以使列车距离地面存在一定高度;另外,由于列车主要零部件集中在列车底部,因此在两侧支撑座2之间通常挖设有地沟3,以方便对列车底部的零部件进行故障检测。
传统的故障检测方式,通常在地沟内安放专门的检测器件4,如图像拍摄装置等,以采集列车底部零部件的图像,然后根据该图像以检测列车底部零部件的故障。或者,通过检修人员站在地沟等位置,对停在检修导轨上的列车进行照射、敲击和测量等人工作业。
上述检测方式虽然能够检测零部件的故障,但是列车长度较长且零部件分布广泛,有限数量的检测器件难以做到对整个列车底部各个零部件的全面检测。另外,每辆列车存在大量的零部件且分布广泛,若仅通过人工方式进行检测,则检测速度较慢,检测效率较低。
发明内容
本发明的目的是提供一种列车库检机器人和列车零部件检测方法,以解决背景技术中所介绍的现有的故障检测方式难以做到全面和快速地检测整个列车底部各个零部件的问题。
为了解决上述技术问题,本发明提供如下技术方案:
根据本发明的第一方面,提供了一种列车库检机器人,包括:
机器人本体;以及,
固设于所述机器人本体的控制器和驱动装置,其中,所述控制器与所述驱动装置电连接;
固设于所述机器人本体下底面、且与所述驱动装置电连接的轮轨式行走机构;
连接于所述机器人本体上端面、且与所述控制器电连接的快速图像扫描模组和零部件定位器,所述快速图像扫描模组沿垂直于机器人直行的方向设置,且所述快速图像扫描模组的扫描端口和零部件定位器的定位端口均朝上设置;
连接于所述机器人本体上端面、且与所述控制器电连接的机械臂组件;以及,
连接于所述机械臂组件端部、且与所述控制器电连接的三维图像采集模组;其中,所述机械臂组件还通过所述控制器与所述零部件定位器相连接。
优选地,所述机械臂组件包括:
连接于所述机器人本体上端面的机械臂基座;以及,
连接于所述机械臂基座的多节机械臂杆;其中,
所述多节机械臂杆与所述机械臂基座转动连接;
所述多节机械臂杆中相邻两节机械臂杆通过转动关节相连;
所述多节机械臂杆的末端机械臂杆连接有采集模组基座;
所述采集模组基座与所述末端机械臂杆转动相连、且所述采集模组基座上安装有所述三维图像采集模组。
优选地,所述机器人本体上端面与侧端面的连接处内凹,形成有组件容纳区;
所述机械臂基座设置于所述组件容纳区内、且与所述机器人本体转动连接。
优选地,所述列车库检机器人还包括:机器人防撞装置;所述机器人防撞装置包括:
分别设置于所述机器人本体的头端和尾端的区域障碍防撞装置,所述区域防撞装置连接有第一防撞报警装置;
固定连接于所述机械臂组件的机器人防撞器;以及,
与所述机械臂组件和机器人防撞器电连接的第二防撞报警装置。
优选地,所述快速图像扫描模组包括沿垂直于所述机器人直行的方向设置的多个全息三维扫描元件,所述全息三维扫描元件包括:
与所述机器人本体上端面活动连接的模组摆动基座;以及,
固设于所述模组摆动基座的扫描元件本体;其中,所述模组摆动基座摆动的方向为垂直于所述机器人直行的方向。
优选地,所述扫描元件本体包括:
固设于所述模组摆动基座的面阵相机和面阵激光器,其中,所述面阵相机和所述面阵激光器沿垂直于所述机器人直行的方向设置,所述面阵相机的摄像头与所述面阵激光器的激光发射端口均朝向上方,且所述面阵相机的成像区域与面阵激光器的照射区域相互重叠;
固设于所述模组摆动基座的线阵星际和线阵激光器,其中,所述线阵相机的摄像头和所述线阵激光器的激光发射端口均朝向上方,且所述线阵相机的成像区域与所述线阵激光器的照射区域相互重叠。
优选地,所述零部件定位器,包括:固设于所述模组摆动基座的激光测距仪或图像测距仪,其中,所述激光测距仪的激光收发端口与所述扫描元件本体中扫描端口的朝向角度相同。
根据本发明的第二方面,还提供了一种列车零部件检测方法,该列车零部件检测方法用于控制上述技术方案所述的列车库检机器人对列车进行故障检测,所述列车零部件检测方法包括:
使用所述列车库检机器人的快速图像扫描模组顺序扫描车底的所有未遮挡零部件,获取所述未遮挡零部件的三维图像信息,并且使用所述列车库检机器人的零部件定位器定位所述未遮挡零部件中的特征零部件,获取所述特征零部件的位置信息;
根据所述特征零部件的位置信息确定车底的被遮挡零部件的位置;
根据所述被遮挡零部件的位置控制所述列车库检机器人的机械臂组件移动,以通过机械臂组件上的三维图像采集模组采集所述被遮挡零部件的三维图像信息;
根据所述未遮挡零部件和被遮挡零部件的三维图像信息,检测各个零部件的故障。
优选地,所述根据特征零部件的位置信息确定车底的被遮挡零部件的位置,包括:
提取所述特征零部件的历史三维图像信息;
将所述特征零部件的三维图像信息与历史三维图像信息进行图像配准,根据配准结果确定所述三维图像信息中特征零部件的特征部位;
根据所述特征零部件的位置信息,计算所述特征部位的位置坐标;
根据所述特征部位的位置坐标,以及特征零部件与被遮挡零部件的位置关系,确定所述被遮挡零部件的位置。
优选地,所述使用列车库检机器人的零部件定位器定位所述未遮挡零部件中的特征零部件,包括:
根据获取到的各个未遮挡零部件的三维图像信息,计算各个未遮挡零部件的高度信息;
根据所述各个未遮挡零部件的高度信息,确定车底表面的高度变化情况;
根据所述车底表面的高度变化情况和车体结构的对应关系,查找用于定位的特征零部件;
使用零部件定位器定位查找到的所述特征零部件的位置信息;其中,所述位置信息包括所述特征零部件的高度信息;
判断所述特征零部件的高度信息与特征零部件的标准高度信息之间高度差值的绝对值是否小于或等于预设高度差值;
若所述高度差值的绝对值小于或等于所述预设高度差值,则确定所述零部件定位器定位到所述特征零部件的位置信息。
优选地,所述列车零部件检测方法还包括:控制所述列车库检机器人从列车的一端开始扫描所述未遮挡零部件,并且使用所述零部件定位器定位所述特征零部件,直至所述列车另一端的未遮挡零部件扫描完毕,以得到车底的各个未遮挡零部件的三维图像信息和各个特征零部件的位置信息;
根据所述车底的各个未遮挡零部件的三维图像信息和各个特征零部件的位置信息,控制所述列车库检机器人从列车的另一端开始,采集所述列车车底各个被遮挡零部件的三维图像信息。
本发明的技术方案提供的列车库检机器人的工作过程如下:
控制器通过驱动装置驱动轮轨式行走机构沿着列车底部地沟内的轨道行进,在列车库检机器人行进的过程中,连接于机器人本体上端面的快速图像扫描模组的扫描端口朝上扫描列车底部各个零部件,获取列车底部各个未遮挡零部件的三维图像信息,同时控制零部件定位器定位未遮挡零部件中特征零部件的位置;在后续对车底的被遮挡零部件进行检测时,根据该特征零部件的位置进一步确定车底被遮挡零部件的位置,控制机械臂组件移动,以通过机械臂组件上的三维图像采集模组采集被遮挡零部件的三维图像信息。
通过上述工作过程可以得出,本发明的技术方案提供的列车库检机器人和列车零部件检测方法中,快速图像扫描模组设置于机器人本体上端面且扫描端口朝上,随着列车库检机器人的移动,快速图像扫描模组能够快速地扫描车底的各个未遮挡零部件,从而快速获取各个未遮挡零部件的三维图像信息;同时通过连接于机器人本体上端面的零部件定位器能够同步对未遮挡零部件中的特征零部件进行定位,以获取特征零部件的位置信息;通过该特征零部件的位置信息,能够方便后续维修过程中对出现故障的未遮挡零部件快速定位和维修;并且通过该特征零部件的位置信息能够确定被遮挡零部件的位置,能够快速地移动机器人行进到被遮挡零部件所在区域,通过移动机械臂组件,使用机械臂组件上的三维图像采集模组能够快速采集被遮挡零部件的三维图像信息。通过上述方法,本发明的技术方案能够全面细致地检测整个列车底部的各个零部件,另外,相对于人工检测方式,本发明的技术方案在机器人移动的过程中扫描车底零部件的三维图像,检测速度快,检测效率较高。另外在本发明的技术方案中,由于三维图像采集模组设置于机械臂组件上,通过机械臂组件的移动即可采集被遮挡零部件的三维图像信息,采集方式灵活快速,能够避免拆卸相关部件带来的检测速度下降的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是现有技术示出的一种列车库检装置的结构示意图;
图2是本发明实施例示出的一种列车库检机器人的结构示意图;
图3是图2所示实施例示出的列车库检机器人的主视图;
图4是图2所示实施例示出的列车库检机器人的俯视图;
图5是本发明实施例示出的一种全息三维扫描元件的结构示意图;
图6是本发明实施例示出的第一种列车零部件检测方法的流程示意图;
图7是图6所示实施例示出的第一种被遮挡零部件位置确定方法的流程示意图;
图8是图6所示实施例示出的第二种被遮挡零部件位置确定方法的流程示意图;
图9是本发明实施例示出的第二种列车零部件检测方法的流程示意图。
图1至图9所示实施例中各结构与附图标记的对应关系如下:
1-检修导轨、2-支座、3-地沟、4-检测器件、5-机器人本体、51-组件容纳区、6-控制器、7-驱动装置、8-轮轨式行走机构、9-快速图像扫描模组、91-全息三维扫描元件、911-模组摆动基座、912-扫描元件本体、9121-面阵相机、9122-面阵激光器、9123-线阵相机、9124-线阵激光器、10-零部件定位器、101-激光测距仪、11-机械臂组件、111-机械臂基座、112-机械臂杆、113-转动关节、114-采集模组基座、12-三维图像采集模组、121-补光源、13-机器人防撞装置、131-区域障碍防撞装置、132-机器人防撞器、133-第一防撞报警装置、134-第二防撞报警装置。
具体实施方式
本发明实施例提供的列车库检机器人和列车零部件检测方法,解决了背景技术中所介绍的现有的故障检测方式难以全面检测整个列车底部各个零部件的问题。
为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中的技术方案作进一步详细的说明。
请参考附图2至图4,图2是本发明实施例示出的一种列车库检机器人的结构示意图,图3和图4分别为图2所示的列车库检机器人的主视图和俯视图。如图2至图4所示,本发明实施例提供的列车库检机器人包括:
机器人本体5;以及,
固设于机器人本体5的控制器6和驱动装置7,其中,控制器6与驱动装置7电连接;
控制器6作为列车库检机器人的主要控制部件,能够控制包括驱动装置7在内的列车库检机器人各机构的运行。
固设于机器人本体5下底面、且与驱动装置7电连接的轮轨式行走机构8;
如图2所示,为了方便检修,在检修库内列车底部的地沟与列车的长度相对应,呈现长条形。在本发明实施例中,库检机器人需要在地沟内对列车底部的零部件进行扫描,为了提高扫描速度,在地沟内设置有检修轨道;与该检修轨道相适应,如图3所示,列车库检机器人的行走机构为轮轨式行走机构8。其中,地沟内的检修轨道主要包括主轨、辅轨、垫板和防滑齿条等组件。为了方便列车库检机器人的运行,检修轨道能够实现上下左右多个方向的调节;并且检修轨道的内侧壁配有防滑齿条,以确保列车库检机器人的运行精度与运行稳定性。
如图2和图3所示,列车库检机器人还包括分别连接于机器人本体5上端面、且与控制器6电连接的快速图像扫描模组9和零部件定位器10;快速图像扫描模组9沿垂直于机器人直行的方向设置,且快速图像扫描模组9的扫描端口和零部件定位器10的定位端口均朝上设置;
通过将快速图像扫描模组9连接于机器人本体5上端面、且设置其扫描端口朝上,那么在控制器6的控制下,随着列车库检机器人的移动,快速图像扫描模组9能够对列车底部的各个未遮挡零部件进行快速扫描;并且快速图像扫描模组9沿垂直于机器人直行的方向设置,即快速图像扫描模组9沿列车的宽度方向摆放,与列车库检机器人的行走方向相垂直,在扫描列车底部零部件时,快速图像扫描模组9的扫描范围能够覆盖列车的列宽,从而实现对列车底部各个零部件的全面扫描,减少扫描覆盖范围不全面导致的扫描不彻底,遗漏未遮挡零部件的情况。同时在机器人本体5的上端面设置定位端口朝上的零部件定位器10,在快速图像扫描模组9扫描车底零部件图像的过程中,零部件定位器10能够精确定位车底的未遮挡零部件中特征零部件的位置信息,在后续检测被遮挡零部件的过程中,根据该特征零部件的位置信息能够准确确定车底被遮挡零部件的位置信息,方便被遮挡零部件的位置查找和图像检测;并且在后续维修过程中,通过该特征零部件的位置信息,能够快速定位并维修出现故障的零部件。
图2所示的列车库检机器人还包括连接于机器人本体5上端面、且与控制器6电连接的机械臂组件11;以及连接于机械臂组件11端部、且与控制器6电连接的三维图像采集模组12。
通过在机器人本体5上端面设置机械臂组件11,该机械臂组件11能够向车底内部伸展,从而通过机械臂组件11端部的三维图像采集模组12采集被遮挡零部件的三维图像信息。其中,机械臂组件11还通过控制器6与零部件定位器10相连接,通过机械臂组件11与零部件定位器10相连接,在零部件定位器10定位到特征零部件后,能够通过特征零部件的位置信息确定被遮挡零部件的位置,进而能够通过机械臂组件11移动,将三维图像采集模组12移动至靠近被遮挡零部件的位置,以细致地采集被遮挡零部件的三维图像信息。综上,通过采集车底的未遮挡零部件和被遮挡零部件的三维图像信息,能够实现对车底结构的多层次检测,进而提高故障检出率。
本发明实施例提供的列车库检机器人中,快速图像扫描模组9设置于机器人本体5的上端面且扫描端口朝上,在机器人前进的过程中,快速图像扫描模组9能够快速地扫描车底的各个未遮挡零部件,从而快速获取各个未遮挡零部件的三维图像信息;同时通过连接于机器人本体5上端面的零部件定位器10能够在扫描的同时同步定位未遮挡零部件中的特征零部件,进而获取特征零部件的位置信息;通过该特征零部件的位置信息,能够方便后续维修过程中未遮挡零部件的快速定位和维修;并且通过该特征零部件的位置信息能够确定被遮挡零部件的位置,在确定被遮挡零部件的位置后,列车库检机器人能够快速行进到被遮挡零部件所在区域,通过移动机械臂组件11,将三维图像采集模组12灵活地移动至靠近被遮挡零部件的位置,从而快速采集被遮挡零部件的三维图像信息。相对于背景技术中提到的在地沟内安放故障检测器件对车底零部件进行检测的方案,本实施例中,通过列车库检机器人的移动和快速图像扫描模组9的三维图像扫描,能够对整个列车底部的零部件进行全面细致的检测。同时,通过机械臂组件11上的三维图像采集模组12能够对车底被遮挡零部件进行深层次检测。并且相对于背景技术中提到的人工检测方式,本发明的技术方案在机器人移动的过程中扫描车底零部件的三维图像,检测速度快,检测效率较高。另外,在本发明的技术方案中,由于三维图像采集模组12设置于机械臂组件11上,通过机械臂组件11的移动即可采集被遮挡零部件的三维图像信息,采集方式灵活快速,能够避免拆卸相关部件带来的检测速度下降的问题。
由于被遮挡零部件的位置较为隐蔽,因此为了灵活和准确地采集被遮挡零部件的图像,如图3所示,机械臂组件11包括:
连接于机器人本体5上端面的机械臂基座111;以及,
连接于机械臂基座111的多节机械臂杆112;其中,
多节机械臂杆112与机械臂基座111转动连接;通过多节机械臂杆112与机械臂基座111转动连接,多节机械臂杆112能够围绕该机械臂基座111转动,从而实现机械臂组件11上的三维图像采集模组12在水平方向上360度的三维图像采集。
多节机械臂杆112中相邻两节机械臂杆112通过转动关节113相连;通过在相邻两节机械臂杆112上连接转动关节113,机械臂杆112能够上下伸缩和左右摆动,从而使得三维图像采集模组12能够对被遮挡零部件进行多角度的图像采集。
如图2至4所示,多节机械臂杆112的末端机械臂杆112连接有采集模组基座114;
采集模组基座114与末端机械臂杆112转动相连、且采集模组基座114上安装有三维图像采集模组12,其中,三维图像采集模组12包括补光源121,所述补光源121的光照区域与三维图像采集模组12的采集区域相重合。
在深入到车底内侧时,由于采集模组基座114与末端机械臂杆112转动相连,采集模组基座114能够转动一定角度,从而能够以不同角度采集被遮挡零部件的三维图像,同时通过与末端机械臂杆112转动连接,三维图像采集模组12能够避免碰触到列车底部的结构器件。同时由于列车底部内侧的环境较为昏暗,通过采集模组基座114上安装有补光源121,能够照亮被遮挡零部件,以使得三维图像采集模组12采集到被遮挡零部件的清晰的三维图像。
综上,通过设置采集模组基座114和多节机械臂杆112,能够实现机械臂组件11的六自由度运动,进而能够通过设置在机械臂组件11末端的采集模组基座114转动,以带动三维图像采集模组12运动,实现对车底内侧被遮挡零部件的三维图像的快速检测,同时通过补光源121进行补光处理,补光源121的光照区域与三维图像采集模组12的采集区域相重合,能够使得三维图像采集模组12采集到被遮挡零部件的清晰三维图像。
本发明实施例提供的列车库检机器人运行于车底的地沟内,由于列车底部结构高低不平,列车库检机器人的机械臂组件11容易碰触到车底的结构。为了解决上述问题,如图2所示,机器人本体5上端面与侧端面的连接处内凹,形成有组件容纳区51;机械臂基座111设置于组件容纳区51内、且与机器人本体5转动连接。
通过在机器人本体5上形成组件容纳区51,以容纳机械臂基座111,并将机械臂基座111与机器人本体5转动相连,通过机械臂基座111转动90度,能够将机械臂组件11的机械臂杆112转动到机器人本体5的侧端面,从而避免机械臂组件11碰触到车底各结构的情况。
另外,为了避免列车库检机器人碰触到车底各结构器件或者碰触到地沟内的障碍物,作为一种优选的实施例,如图2和图3所示,列车库检机器人还包括:机器人防撞装置13;机器人防撞装置13包括:
分别设置于机器人本体5的头端和尾端的区域障碍防撞装置131,所述区域障碍防撞装置131连接有第一防撞报警装置133;其中,机器人本体5的头端为机器人本体5安装有机械臂组件11的一端。
固定连接于机械臂组件11的机器人防撞器132;以及与机械臂组件11和机器人防撞器132分别电连接的第二防撞报警装置134。
通过在机器人本体5的头端和尾端设置区域障碍防撞装置131,能够扫描列车库检机器人前后方预定距离(如20米)内的障碍物,当检测到列车前方或后方预定距离内存在障碍物时,会控制第二防撞报警装置134进行报警;进一步,当检测到列车前方或后方较近的距离内存在障碍物时,列车库检机器人的轮轨式移动机构能够紧急制动,以保证库检机器人内部各器件的安全。作为一种较佳的实施例,区域障碍防撞装置131能够扫描列车库检机器人前方或后方270度角度范围,距离在20米内的障碍物,当障碍物在20米范围内第二防撞报警装置134将会报警,当障碍物与列车库检机器人的前壁面或后壁面的距离在3米时,列车库检机器人会紧急制动,保证机器人安全。
通过在机械臂组件11固定连接机器人防撞器132,能够检测机械臂组件11末端预定距离内障碍物,如车底的零部件等,从而在检测到机械臂组件11前进方向的预定距离内存在零部件时,控制机械臂组件11停止移动或通过第二防撞报警装置134发出报警信号,以避免碰撞到车底的零部件。
另外,由于列车具有一定宽度,列车底部的各个零部件在宽度方向上的分布较为分散,快速图像扫描模组9难以完全覆盖列车宽度方向上的所有零部件;因此为了实现对宽度方向上各个零部件的检测,作为一种优选的实施例,如图2和图4所示,快速图像扫描模组9包括沿垂直于机器人直行的方向设置的多个全息三维扫描元件91;如图5所示,全息三维扫描元件91沿垂直于机器人直行的方向设置多个,如设置三个,则能够对列车底部的左侧、中部和右侧分别进行区域检测,从而扫描得到车底宽度方向上的各个零部件的三维图像。
如图4和图5所示,全息三维扫描元件91包括:与机器人本体5上端面活动连接的模组摆动基座911;以及,
固设于模组摆动基座911的扫描元件本体912;其中,模组摆动基座911摆动的方向为垂直于机器人直行的方向。
模组摆动基座911与机器人本体5上端面活动连接,能够沿垂直于机器人直行方向摆动,从而使得模组摆动基座911上的扫描元件本体912能够沿垂直于机器人直行方向扫描列车宽度方向上的各未遮挡零部件,以避免遗漏车底零部件。另外,通过模组摆动基座911沿垂直于机器人直行的方向摆动,在机器人通过轮轨式行走机构8行走的过程中,实现对车底所有未遮挡零部件的三维图像扫描。
其中,为了实现对车底未遮挡零部件的全息三维图像信息的获取,作为一种优选的实施例,如图5所示,扫描元件本体912包括:
固设于模组摆动基座911的面阵相机9121和面阵激光器9122,其中,面阵相机9121和面阵激光器9122沿垂直于机器人直行的方向设置,面阵相机9121的摄像头与面阵激光器9122的激光发射端口均朝向上方,且面阵相机9121的成像区域与面阵激光器9122的照射区域相互重叠。
固设于模组摆动基座911的线阵相机9123和线阵激光器9124,其中,所述线阵相机9123的摄像头和线阵激光器9124的激光发射端口均朝向上方,且所述线阵相机9123的成像区域与线阵激光器9124的照射区域相互重叠。
面阵相机9121的成像区域与面阵激光器9122的照射区域相互重叠,通过面阵激光器9122向车底的零部件发射激光,然后通过返回的激光,在面阵相机9121上显示车底未遮挡零部件的投影,根据该投影的变化能够得到车底未遮挡零部件的全息三维图像,从而实现车底未遮挡零部件的三维图像扫描。另外,线阵相机9123和线阵激光器9124相互配合,能够采集到包括车底未遮挡零部件深度信息的图像,并与面阵相机9121相配合,从而采集到包含未遮挡零部件的灰度和深度信息的图像,根据图像中的深度和灰度信息以检测列车零部件是否出现故障。
为了准确测量车底各个未遮挡零部件的位置,作为一种优选的实施例,如图5所示,零部件定位器10包括:固设于模组摆动基座911的激光测距仪101或图像测距仪(图中未标记),其中,激光测距仪101的激光收发端口与扫描元件本体912中扫描端口的朝向角度相同。
激光测距仪101能够向车底的未遮挡零部件发送激光测距信号,通过该激光测距信号能够测量未遮挡零部件与该激光测距仪101的距离,进而能够确定车底的未遮挡零部件的位置信息。其中,激光测距仪101的激光收发端口与扫描元件本体912的扫描端口的朝向角度相同,能够在扫描元件对未遮挡零部件扫描的过程中定位该未遮挡零部件,从而实现对车底未遮挡零部件的定位。图像测距仪在随列车移动的过程中,能够获取未遮挡零部件的图像,识别图像上的几个零部件的特征部位,当图像测距仪移动预定距离时,根据零部件的特征部位的位置变化,采用矢量计算的方法,进而得到未遮挡零部件的位置信息。
请参见图6,图6是本发明一示例性实施例提供的一种列车零部件检测方法的流程示意图,该列车零部件检测方法用于控制上述实施例中的列车库检机器人对列车进行故障检测,如图6所示,本发明实施例提供的列车零部件检测方法包括以下步骤:
S110:使用列车库检机器人的快速图像扫描模组顺序扫描车底的所有未遮挡零部件,获取未遮挡零部件的三维图像信息,并且使用列车库检机器人的零部件定位器定位未遮挡零部件中的特征零部件,获取特征零部件的位置信息;其中,列车车轴能够作为特征零部件。
S120:根据特征零部件的位置信息确定车底的被遮挡零部件的位置;
S130:根据被遮挡零部件的位置控制列车库检机器人的机械臂组件移动,以通过机械臂组件上的三维图像采集模组采集被遮挡零部件的三维图像信息;其中,被遮挡零部件大多位于转向架处,通过列车车轴的位置信息能够确定转向架处的被遮挡零部件的位置,然后通过机械臂组件上的三维图像采集某种采集三维图像信息。由于列车库检机器人的机械臂组件采用六自由度机械臂,能够模拟人的手臂操作,从而能够灵活地伸入到转向架内部检测关键的被遮挡部件,甚至能够伸入到人工检测无法到达的位置。
S140:根据未遮挡零部件和被遮挡零部件的三维图像信息,检测各个零部件的故障。
本发明实施例提供的列车零部件检测方法,通过快速图像扫描模组在机器人前进的过程中快速地扫描车底的各个未遮挡零部件,从而快速获取各个未遮挡零部件的三维图像信息;同时通过零部件定位器同步定位未遮挡零部件中的特征零部件,能够获取特征零部件的位置信息;通过该特征零部件的位置信息,在后续维修过程中能够方便对出现故障的未遮挡零部件快速定位和维修;并且通过该特征零部件的位置信息能够确定被遮挡零部件的位置,在确定被遮挡零部件的位置后,列车库检机器人能够快速行进到被遮挡零部件所在区域,通过移动机械臂组件,使用机械臂组件上的三维图像采集模组快速细致地采集被遮挡零部件的三维图像信息。相对于背景技术中提到的在地沟内安放故障检测器件的方案,本发明实施例提供的列车零部件检测方法,通过列车库检机器人的移动和扫描,能够对整个列车底部的各个零部件进行全面和细致的检测。
作为一种优选的实施例,如图7所示,图6所示实施例中的步骤S120:根据特征零部件的位置信息确定车底的被遮挡零部件的位置,包括:
S210:提取特征零部件的历史三维图像信息;
S220:将特征零部件的三维图像信息与该历史三维图像信息进行图像配准,根据配准结果确定三维图像信息中特征零部件的特征部位;
S230:根据特征零部件的位置信息,计算特征部位的位置坐标;
S240:根据特征部位的位置坐标,以及特征零部件与被遮挡零部件的位置关系,确定被遮挡零部件的位置。
通过对采集的列车特征零部件的三维图像信息进行配准处理,能够将当前列车的三维图像信息的坐标系转换到历史三维图像信息的坐标系下,从而使得当前列车的三维图像和历史三维图像中的列车零部件位于图像中的同一位置,方便进行位置坐标的比对,确定当前列车的三维图像信息中特征零部件的特征部位,进而根据特征部位的位置坐标确定被遮挡零部件的位置。其中,该特征部位能够为特征零部件的中心。
优选地,图8所示实施例中的步骤S110中:使用列车库检机器人的特征零部件定位器定位未遮挡零部件中的特征零部件的步骤,包括:
S310:根据获取到的各个未遮挡零部件的三维图像信息,计算各个未遮挡零部件的高度信息;
S320:根据各个未遮挡零部件的高度信息,确定车底表面的高度变化情况;
S330:根据车底表面的高度变化情况和车体结构的对应关系,查找用于定位的特征零部件;
S340:使用零部件定位器定位查找到的所述特征零部件的位置信息;其中,所述位置信息包括所述特征零部件的高度信息;
S350:判断所述特征零部件的高度信息与特征零部件的标准高度信息之间高度差值的绝对值是否小于或等于预设高度差值;
S360:若所述高度差值的绝对值小于或等于所述预设高度差值,则确定所述零部件定位器定位到所述特征零部件的位置信息。
零部件定位器定位的特征零部件的位置信息中,高度信息的精度较高,能达到0.1mm;通过判断该特征零部件的高度信息与实际特征零部件的标准高度信息之间高度差值的绝对值是否小于或等于预设高度差值(如15mm),能够精确确定查找到的零部件是特征零部件。
列车车轴可作为特征零部件,在列车库检机器人的快速扫描过程中,当采集到未遮挡零部件的三维图像信息后,通过该三维图像信息能够计算各个未遮挡零部件的高度信息,并通过高度的变化情况与车体结构的对应关系查找出列车车轴。在后续扫描被遮挡零部件时,能够根据该车轴的位置信息快速移动至列车的转向架底部进行关键零部件的三维图像扫描。
优选地,如图9所示,图9示出的列车零部件检测方法除了图6所示的各个步骤外,还包括:
S410:控制列车库检机器人从列车的一端开始扫描未遮挡零部件,并且使用零部件定位器定位特征零部件,直至列车另一端的未遮挡零部件扫描完毕,以得到车底的各个未遮挡零部件的三维图像信息和各个特征零部件的位置信息;
S420:根据车底的各个未遮挡零部件的三维图像信息和各个特征零部件的位置信息,控制列车库检机器人从列车的另一端开始,采集列车车底各个被遮挡零部件的三维图像信息。
通过从列车的一端开始扫描未遮挡零部件并定位特征零部件,直至扫描至列车的另一端,能够实现对整个列车车底的各个未遮挡零部件的全息三维图像信息的采集,同时能够定位车底所有特征零部件的位置,构建整个列车的全息三维图像。在后续的采集被遮挡零部件的三维图像时,通过车底各个未遮挡零部件的全息三维图像和特征零部件的位置信息,能够实现对车底所有被遮挡零部件的三维图像信息的快速采集。
综上,本发明上述实施例提供的列车零部件检测方法,通过列车库检机器人的快速图像扫描模组在机器人前进的过程中快速地扫描车底的各个未遮挡零部件,从而快速获取各个未遮挡零部件的三维图像信息;同时通过零部件定位器同步定位未遮挡零部件中的特征零部件,能够获取特征零部件的位置信息;通过该特征零部件的位置信息,在后续维修过程中能够方便对出现故障的未遮挡零部件快速定位和维修;并且通过该特征零部件的位置信息能够确定被遮挡零部件的位置,在确定被遮挡零部件的位置后,列车库检机器人能够快速行进到被遮挡零部件所在区域,通过移动机械臂组件,使用机械臂组件上的三维图像采集模组快速细致地采集被遮挡零部件的三维图像信息。相对于背景技术中提到的在地沟内安放故障检测器件的方案,本发明实施例提供的列车零部件检测方法,通过列车库检机器人的移动和扫描,能够对整个列车底部的各个零部件进行全面和细致的检测。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其它实施例的不同之处。
以上所述的本发明实施方式,并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种列车库检机器人,其特征在于,包括:
机器人本体(5);以及,
固设于所述机器人本体(5)的控制器(6)和驱动装置(7),其中,所述控制器(6)与所述驱动装置(7)电连接;
固设于所述机器人本体(5)下底面、且与所述驱动装置(7)电连接的轮轨式行走机构(8);
连接于所述机器人本体(5)上端面、且与所述控制器(6)电连接的快速图像扫描模组(9)和零部件定位器(10),其中,所述快速图像扫描模组(9)沿垂直于机器人直行的方向设置,且所述快速图像扫描模组(9)的扫描端口和零部件定位器(10)的定位端口均朝上设置;
连接于所述机器人本体(5)上端面、且与所述控制器(6)电连接的机械臂组件(11); 以及,
连接于所述机械臂组件(11)端部、且与所述控制器(6)电连接的三维图像采集模组(12);其中,所述机械臂组件(11)还通过所述控制器(6)与所述零部件定位器(10)相连接;
所述机械臂组件(11)包括:
连接于所述机器人本体(5)上端面的机械臂基座(111);以及,
连接于所述机械臂基座(111)的多节机械臂杆(112);其中,
所述多节机械臂杆(112)与所述机械臂基座(111)转动连接;
所述多节机械臂杆(112)中相邻两节机械臂杆通过转动关节(113)相连;
所述多节机械臂杆(112)的末端机械臂杆连接有采集模组基座(114);
所述采集模组基座(114)与所述末端机械臂杆转动相连、且所述采集模组基座(114)上安装有所述三维图像采集模组(12);
所述快速图像扫描模组(9)包括沿垂直于所述机器人直行的方向设置的多个全息三维扫描元件(91),所述全息三维扫描元件(91)包括:
与所述机器人本体(5)上端面活动连接的模组摆动基座(911);以及,
固设于所述模组摆动基座(911)的扫描元件本体(912);其中,所述模组摆动基座(911)摆动的方向为垂直于所述机器人直行的方向;
所述零部件定位器(10),包括:固设于所述模组摆动基座(911)的激光测距仪(101),其中,所述激光测距仪(101)的激光收发端口与所述扫描元件本体(912)中扫描端口的朝向角度相同;
使用所述列车库检机器人的快速图像扫描模组顺序扫描车底的未遮挡零部件,获取所述未遮挡零部件的三维图像信息,并且使用所述列车库检机器人的零部件定位器定位所述未遮挡零部件中的特征零部件,获取所述特征零部件的位置信息;
根据所述特征零部件的位置信息确定车底的被遮挡零部件的位置;
根据所述被遮挡零部件的位置控制所述列车库检机器人的机械臂组件移动,以通过机械臂组件上的三维图像采集模组采集所述被遮挡零部件的三维图像信息;
根据所述未遮挡零部件和被遮挡零部件的三维图像信息,检测各个零部件的故障。
2.根据权利要求1所述的列车库检机器人,其特征在于,所述机器人本体(5)上端面与侧端面的连接处内凹,形成有组件容纳区(51);
所述机械臂基座(111)设置于所述组件容纳区(51)内、且与所述机器人本体(5)转动连接。
3.根据权利要求1所述的列车库检机器人,其特征在于,还包括:机器人防撞装置(13);所述机器人防撞装置(13)包括:
分别设置于所述机器人本体(5)的头端和尾端的区域障碍防撞装置(131),所述区域障碍防撞装置(131)连接有第一防撞报警装置(133);
固定连接于所述机械臂组件(11)的机器人防撞器(132);以及,
与所述机械臂组件(11)和机器人防撞器(132)电连接的第二防撞报警装置(134)。
4.根据权利要求1所述的列车库检机器人,其特征在于,所述扫描元件本体(912)包括:
固设于所述模组摆动基座(911)的面阵相机(9121)和面阵激光器(9122),其中,所述面阵相机(9121)和所述面阵激光器(9122)沿垂直于所述机器人直行的方向设置,所述面阵相机(9121)的摄像头与所述面阵激光器(9122)的激光发射端口均朝向上方,且所述面阵相机(9121)的成像区域与面阵激光器(9122)的照射区域相互重叠;
固设于所述模组摆动基座(911)的线阵相机(9123)和线阵激光器(9124),其中,所述线阵相机(9123)的摄像头和所述线阵激光器(9124)的激光发射端口均朝向上方,且所述线阵相机(9123)的成像区域与线阵激光器(9124)的照射区域相互重叠。
5.一种列车零部件检测方法,其特征在于,用于控制权利要求1至4任一项所述的列车库检机器人对列车进行故障检测,所述列车零部件检测方法包括:
使用所述列车库检机器人的快速图像扫描模组顺序扫描车底的未遮挡零部件,获取所述未遮挡零部件的三维图像信息,并且使用所述列车库检机器人的零部件定位器定位所述未遮挡零部件中的特征零部件,获取所述特征零部件的位置信息;
根据所述特征零部件的位置信息确定车底的被遮挡零部件的位置;
根据所述被遮挡零部件的位置控制所述列车库检机器人的机械臂组件移动,以通过机械臂组件上的三维图像采集模组采集所述被遮挡零部件的三维图像信息;
根据所述未遮挡零部件和被遮挡零部件的三维图像信息,检测各个零部件的故障;
所述根据特征零部件的位置信息确定车底的被遮挡零部件的位置,包括:
提取所述特征零部件的历史三维图像信息;
将所述特征零部件的三维图像信息与历史三维图像信息进行图像配准,根据配准结果确定所述三维图像信息中特征零部件的特征部位;
根据所述特征零部件的位置信息,计算所述特征部位的位置坐标;
根据所述特征部位的位置坐标,以及特征零部件与被遮挡零部件的预设位置关系,确定所述被遮挡零部件的位置。
6.根据权利要求5所述的列车零部件检测方法,其特征在于,所述使用列车库检机器人的零部件定位器定位所述未遮挡零部件中的特征零部件,包括:
根据获取到的各个未遮挡零部件的三维图像信息,计算各个未遮挡零部件的高度信息;
根据所述各个未遮挡零部件的高度信息,确定车底表面的高度变化情况;
根据所述车底表面的高度变化情况和车体结构的对应关系,查找用于定位的特征零部件;
使用零部件定位器定位查找到所述特征零部件的位置信息,其中,所述位置信息包括所述特征零部件的高度信息;
判断所述特征零部件的高度信息与特征零部件的标准高度信息之间高度差值的绝对值是否小于或等于预设高度差值;
若所述高度差值的绝对值小于或等于所述预设高度差值,则确定所述零部件定位器定位到所述特征零部件的位置信息。
7.根据权利要求5所述的列车零部件检测方法,其特征在于,还包括:
控制所述列车库检机器人从列车的一端开始扫描所述未遮挡零部件,并且使用所述零部件定位器定位所述特征零部件,直至所述列车另一端的未遮挡零部件扫描完毕,以得到车底的各个未遮挡零部件的三维图像信息和各个特征零部件的位置信息;
根据所述车底的各个未遮挡零部件的三维图像信息和各个特征零部件的位置信息,控制所述列车库检机器人从列车的另一端开始,采集所述列车车底各个被遮挡零部件的三维图像信息。
CN201710010918.8A 2017-01-06 2017-01-06 列车库检机器人和列车零部件检测方法 Active CN108274463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710010918.8A CN108274463B (zh) 2017-01-06 2017-01-06 列车库检机器人和列车零部件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710010918.8A CN108274463B (zh) 2017-01-06 2017-01-06 列车库检机器人和列车零部件检测方法

Publications (2)

Publication Number Publication Date
CN108274463A CN108274463A (zh) 2018-07-13
CN108274463B true CN108274463B (zh) 2024-03-26

Family

ID=62800982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710010918.8A Active CN108274463B (zh) 2017-01-06 2017-01-06 列车库检机器人和列车零部件检测方法

Country Status (1)

Country Link
CN (1) CN108274463B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3842885A4 (en) * 2018-08-22 2021-11-17 Ecovacs Robotics Co., Ltd. AUTONOMOUS MOVEMENT DEVICE, CONTROL PROCESS AND STORAGE SUPPORT
CN110916562A (zh) * 2018-09-18 2020-03-27 科沃斯机器人股份有限公司 自主移动设备、控制方法及存储介质
CN109229136A (zh) * 2018-08-24 2019-01-18 深圳市兆泰云智能科技有限公司 一种轨道车辆底部自动化检测系统
CN109795521A (zh) * 2019-02-03 2019-05-24 北京新联铁集团股份有限公司 轨道交通机车车辆巡检装置及系统
CN110421598A (zh) * 2019-08-13 2019-11-08 中铁第四勘察设计院集团有限公司 一种列车车底综合检测装置用防碰撞系统
CN111157534A (zh) * 2020-01-20 2020-05-15 北京主导时代科技有限公司 一种移动式库内列车车底检测平台
CN111255287A (zh) * 2020-03-18 2020-06-09 杭州智骨软件科技有限公司 一种配置移动维保机器人的新型机械车库
CN112649890A (zh) * 2020-11-11 2021-04-13 万丰镁瑞丁新材料科技有限公司 一种装配检测装置
CN114323131B (zh) * 2021-12-23 2023-10-24 南京索安电子有限公司 一种列车多面扫描成像检查系统
CN114674838B (zh) * 2022-03-18 2022-11-25 哈尔滨市科佳通用机电股份有限公司 动车组车底自动检测系统及检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103481910A (zh) * 2013-09-29 2014-01-01 苏州华兴致远电子科技有限公司 列车零部件图像采集系统及列车零部件异常检测系统
CN105222724A (zh) * 2015-09-10 2016-01-06 北京天远三维科技有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN105500406A (zh) * 2015-12-25 2016-04-20 山东建筑大学 变电站开关箱操作移动机器人、工作方法及系统
JP2016094094A (ja) * 2014-11-14 2016-05-26 東日本旅客鉄道株式会社 車両床下検査装置
CN105882683A (zh) * 2016-04-13 2016-08-24 北京康拓红外技术股份有限公司 基于机器视觉的铁路列车技术检查检测系统和方法
CN206393642U (zh) * 2017-01-06 2017-08-11 苏州华兴致远电子科技有限公司 列车库检机器人

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9415513B2 (en) * 2014-08-29 2016-08-16 General Electric Company Systems and methods for railyard robotics

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103481910A (zh) * 2013-09-29 2014-01-01 苏州华兴致远电子科技有限公司 列车零部件图像采集系统及列车零部件异常检测系统
JP2016094094A (ja) * 2014-11-14 2016-05-26 東日本旅客鉄道株式会社 車両床下検査装置
CN105222724A (zh) * 2015-09-10 2016-01-06 北京天远三维科技有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN105500406A (zh) * 2015-12-25 2016-04-20 山东建筑大学 变电站开关箱操作移动机器人、工作方法及系统
CN105882683A (zh) * 2016-04-13 2016-08-24 北京康拓红外技术股份有限公司 基于机器视觉的铁路列车技术检查检测系统和方法
CN206393642U (zh) * 2017-01-06 2017-08-11 苏州华兴致远电子科技有限公司 列车库检机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
起重机轨道检测机器人的研制;吴恩启;杜宝江;刘冀平;;上海理工大学学报;20090615(第03期);第295-298页 *

Also Published As

Publication number Publication date
CN108274463A (zh) 2018-07-13

Similar Documents

Publication Publication Date Title
CN108274463B (zh) 列车库检机器人和列车零部件检测方法
CN206177238U (zh) 车辆外廓尺寸检测仪
CN101666716B (zh) 铁路机车车辆运行姿态测量方法
KR101602376B1 (ko) 열차 결함 모니터링 시스템
CN111366082A (zh) 移动式接触轨检测装置及其应用方法
CN109916305B (zh) 基于光电感应和tof技术的车辆尺寸测量系统及方法
BRPI0622243A2 (pt) mÉtodos e sistemas para identificar um objeto màvel, e para inspecionar um objeto màvel por formaÇço de imagem por radiaÇço
CN206019594U (zh) 一种拖挂车轮廓及轴距自动测量系统
JP2008309533A (ja) 車両形状計測方法と装置
CN107703149A (zh) 一种基于双目视觉与激光散斑的铁轨扣件异常检测系统
CN110132220A (zh) 一种动态三维隧道断面形变检测及分析系统、方法及装置
CN210719028U (zh) 一种基于三维点云的接触网几何参数检测装置
CN203489844U (zh) 基于机器视觉及激光光幕车辆外轮廓尺寸测量系统
CN109870457A (zh) 轨道异物检测方法及装置
CN110956151A (zh) 基于结构光的轨道交通异物侵入检测方法及其系统
CN108120474A (zh) 一种接触网接触线测量方法及装置
CN106970581A (zh) 一种基于无人机群三维全视角的列车受电弓实时智能监测方法及系统
CN110530290A (zh) 隧道断面的激光扫描测量装置及方法
CN113050654A (zh) 障碍物检测方法、巡检机器人车载避障系统及方法
CN110978063B (zh) 一种用于移动机器人自动跟随目标行驶的方法和装置
CN107621229B (zh) 基于面阵黑白相机的实时铁路轨道宽度测量系统及方法
CN113334406A (zh) 一种轨道交通车辆侧边巡检机器人系统及检测方法
CN217932084U (zh) 一种列车综合检测系统
CN212459428U (zh) 一种库内列车车底部件异常检测装置
CN215037536U (zh) 一种轨道交通车辆侧边巡检机器人系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant