CN114132360B - 基于图像判别道岔状态的防挤岔方法、设备及存储介质 - Google Patents

基于图像判别道岔状态的防挤岔方法、设备及存储介质 Download PDF

Info

Publication number
CN114132360B
CN114132360B CN202111312566.4A CN202111312566A CN114132360B CN 114132360 B CN114132360 B CN 114132360B CN 202111312566 A CN202111312566 A CN 202111312566A CN 114132360 B CN114132360 B CN 114132360B
Authority
CN
China
Prior art keywords
turnout
track
state
area
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111312566.4A
Other languages
English (en)
Other versions
CN114132360A (zh
Inventor
韩海亮
丁露
蒋耀东
王思远
孙军峰
唐宁兴
刘健
马铮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casco Signal Ltd
Original Assignee
Casco Signal Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casco Signal Ltd filed Critical Casco Signal Ltd
Priority to CN202111312566.4A priority Critical patent/CN114132360B/zh
Publication of CN114132360A publication Critical patent/CN114132360A/zh
Application granted granted Critical
Publication of CN114132360B publication Critical patent/CN114132360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or train for signalling purposes
    • B61L15/009On-board display devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61CLOCOMOTIVES; MOTOR RAILCARS
    • B61C17/00Arrangement or disposition of parts; Details or accessories not otherwise provided for; Use of control gear and control systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明涉及一种基于图像判别道岔状态的防挤岔方法、设备及存储介质,该方法首先通过摄像头获得驾驶室前方司机视角画面,结合神经网络模型算法和传统图像识别算法各自优势实时判别司机前方轨行区的道岔定反位状态;其次在多条轨道交汇的场景下区分列车正确的行驶方向,精确划分唯一轨行区;最后根据前方轨行区并入轨道方向和道岔定反位状态进行判断是否有挤岔风险并通过司机屏进行声光告警,提示司机注意前方道岔状态。与现有技术相比,本发明具有提高了列车行车安全,实现了道岔定反位识别,防范挤岔事故等优点。

Description

基于图像判别道岔状态的防挤岔方法、设备及存储介质
技术领域
本发明涉及轨道交通信号控制系统,尤其是涉及一种基于图像判别道岔状态的防挤岔方法、设备及存储介质。
背景技术
随着我国城市轨道交通的建设和发展,国铁、地铁、有轨电车运营线路场景愈加复杂。由于轨旁联锁设备接线错误或手动驾驶模式下司机冒进信号等问题导致挤岔事故时有发生。
目前关于道岔的几种状态,具体描述如下:
1)道岔分支状态,是指道岔从当前轨道分出一个支路向左或向右;根据道岔开向,尖轨应贴紧右侧或左侧,以决定车辆行驶方向;不得处于左右两侧都未贴紧的状态,如图4所示。
2)以普通的单开道岔为例,道岔的尖轨总是贴紧左侧或右侧,如果尖轨与左右两侧的基本轨都没有贴紧,这时的状态称为“四开”状态。“四开”状态应仅存在于道岔位置转换过程中,而不应长期处于这一状态,无法正常锁闭。当道岔尖轨位置处于“四开”状态时,如果车辆开过这个道岔,会有挤岔损坏道岔设备的风险和导致车辆脱轨的风险。
3)道岔并线状态,是指从另一个方向来看,两条轨道在道岔处合二为一;
4)更复杂的三开道岔,其实是由紧挨在一起的两组道岔组成的;相关工作原理基本一致,两个道岔转辙机的组合工作状态,决定了尖轨的位置,决定了车辆行驶的方向。
因此如何来实现实时判别司机前方轨行区的道岔定反位状态,防范挤岔事故,从而提高列车行车安全,成为需要解决的技术问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于图像判别道岔状态的防挤岔方法、设备及存储介质。
本发明的目的可以通过以下技术方案来实现:
根据本发明第一方面,提供了一种基于图像判别道岔状态的防挤岔方法,其该方法首先通过摄像头获得驾驶室前方司机视角画面,结合神经网络模型算法和传统图像识别算法各自优势实时判别司机前方轨行区的道岔定反位状态;其次在多条轨道交汇的场景下区分列车正确的行驶方向,精确划分唯一轨行区;最后根据前方轨行区并入轨道方向和道岔定反位状态进行判断是否有挤岔风险并通过司机屏进行声光告警,提示司机注意前方道岔状态。
作为优选的技术方案,该方法具体包括以下步骤:
步骤S1、通过摄像机获取驾驶室前方司机视角画面;
步骤S2、运算主机以步骤S1的输出作为语义分割网络模型输入,输出一个二维矩阵MatX(R*C);
步骤S3、根据步骤S2得到的二维矩阵MatX中值为1的连通区域形状和数量进行判别,获得当前画面中轨行区的数量;
步骤S4、根据步骤S2得到的二维矩阵MatX对其值为1的连通区域进行排列;
步骤S5、根据步骤S2得到的轨行区二维矩阵MatX中值为1的轨行区,并获得最大外接矩形坐标,根据新获得的矩形坐标截取轨行区图像;
步骤S6、根据步骤S5输出的轨行区图像对道岔岔尖进行标注和模型训练,标注类型为Open和Close两种类型,训练生成目标定位模型ModelS_OC;
步骤S7、将步骤S5输出的轨行区图像作为目标定位模型ModelS_OC输入,通过目标定位模型对道岔岔尖进行定位和识别,获得岔尖的中心坐标(Px,Py)和道岔岔尖状态,其中道岔岔尖状态包括Open和Close;
步骤S8、根据步骤S7得到的岔尖的中心坐标(Px,Py)和道岔岔尖状态,当Px小于(RailLeftPx+RailRightPx)/2,且道岔状态为Open则道岔开向为左,当Px大于(RailLeftPx+RailRightPx)/2,且道岔状态为Open则道岔开向为右,其中RailLeftPx为轨行区左侧坐标,RailRightPx为轨行区右侧坐标;
步骤S9、根据步骤S2获得单一平直轨行区的二维矩阵MatX(R*C),根据该矩阵行高等分30份,记数组RowHs=np.array([R/30*1,R/30*2,R/30*3…R/30*30]);以轨行区宽度值为元素,记为新数组RailWidths=np.array([getRailWidth(0),getRailWidth(1),getRailWidth(2),getRailWidth(3)…getRailWidth(30)]);
步骤S10、以步骤S9输出的两个数组RowHs和RailWidths进行函数拟合得到轨道宽度函数,该函数为mInfWidth=np.polyfit(RowHs,RailWidths,3),infWidthFun=np.poly1d(mInfWidth);
步骤S11、根据步骤S8得到的道岔开向状态确定轨行区方向,当道岔为左开,根据步骤S5获取最大外接矩形坐标值,将该矩形纵坐标值十等分,获得数组P_Y[i],i∈[0,10);根据步骤S10拟合得到的轨道宽度函数得到分割点SegPoints[i]=infWidthFun(MatX[P_Y[i]].index(1))+MatX[P_Y[i]].index(1),i∈[0,10),将分割点SegPoints连接成线段对MatX矩阵中值为1的图形进行切割,得到两个值为1的最大连通区。取左侧最大连通区为唯一轨行区;
步骤S12、根据步骤S8得到的道岔开向状态确定轨行区方向,当道岔为右开,根据步骤S5获取最大外接矩形坐标值,将该矩形纵坐标值十等分,获得数组P_Y[i],i∈[0,10);根据步骤S10拟合得到的轨道宽度函数得到分割点SegPoints[]=[infWidthFun(MatX[P_Y[i]].index(1))-MatX[P_Y[i]].index(1)],i∈[0,10),将分割点SegPoints连接成线段对MatX矩阵中值为1的图形进行切割,得到两个值为1的最大连通区,取右侧最大连通区为唯一轨行区;
步骤S13、根据步骤S8得到的道岔开向状态确定轨行区方向,当道岔岔尖左右均是打开状态,根据输出轨行区数量为2,则此时为“四开”状态,司机屏幕显示挤岔报警,根据输出轨行区数量为3,依据MatX矩阵中值为1的图形取两个极凹点作为道岔分支点PU1和PU2;再取MatX矩阵中值为1的图形底部左右两侧点为PU_Left和PU_Right两个点,分别将PU1与PU_Left连接作为左侧切割线Line_1,PU2与PU_Right连接作为右侧切割线Line_2,通过Line_1和Line_2对MatX矩阵中值为1的图形进行切割,得到三个值为1的最大连通区,取中间最大连通区为唯一轨行区;
步骤S14、根据步骤S11、步骤S12、步骤S13获得列车前方唯一轨行区,在前方唯一轨行区内如果存在并线场景,其左侧并入轨道和右侧并入轨道特点较为明显,对该区域进行标注和训练生成目标定位模型Model_LR;
步骤S15、将根据步骤S11、步骤S12、步骤S13获得列车前方唯一轨行区作为目标定位识别模型Model_LR输入,模型输出为道岔内轨道并线区坐标和并线类型,其中并线类型包括左侧并入轨道、右侧并入轨道;并线区为矩形,其左上角坐标为(MergeRailP_LeftX,MergeRailP_LeftY),右下角坐标为(MergeRailP_RightX,MergeRailP_RightY),类型分为左侧并入MergeRailLeft和右侧并入MergeRailRight;
步骤S16、根据步骤S15获得并线区图像,对并线区出现的道岔岔尖进行标注和训练,生成目标定位模型ModelC_OC;
步骤S17、根据步骤S15获得并线区图像作为模型ModelC_OC的输入,从而获得并线区内两个道岔岔尖状态和岔尖的中心坐标(Point1_X,Point1_Y),(Point2_X,Point2_Y);
步骤S18、根据步骤S15和步骤S16得到挤岔告警规则;
步骤S19、根据步骤S18输出得到列车唯一轨行区前方是否发生挤岔风险,若发生输出给语音报警模块,系统发出声光报警并标记发生挤岔位置。
作为优选的技术方案,所述的步骤S2的矩阵尺寸与输入图像尺寸相同,矩阵中值为0的区域是非轨行区,值为1则对应为轨行区。
作为优选的技术方案,所述的步骤S3中,对道岔区设计,一组道岔最多有直线、左侧分支、右侧分支三种可能性,即在一组道岔区最多有三个轨行区。
作为优选的技术方案,所述的步骤S4中,如果值为1的连通区域有一个则该画面中有一个独立轨行区或多个相连轨行区,如果该画面中有两个值为1的连通区则该画面中有两个独立不相交轨行区或者一个独立轨行区和两个相连轨行区,如果该画面中有三个值为1的连通区则该画面中有三个独立轨行区。
作为优选的技术方案,所述的步骤S8中,所述的RailLeftPx为MatX[Px].index(1);所述的RailRightPx为MatX[Px][::-1].index(1)。
作为优选的技术方案,所述的步骤S9中,以RowHs元素值作为函数getRailWidth(i)=MatO[RowHs[i]][::-1].index(1)-MatO[RowHs[i]].index(1)的输入,其中参数i∈[0,30),对应输出30个不同高度的轨行区宽度值。
作为优选的技术方案,所述的步骤S18的挤岔告警规则具体包括:
1、并线区道岔类型为MergeRailLeft,
a)岔尖1的坐标横坐标Point1_X小于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Open;
b)岔尖2的坐标横坐标Point2_X大于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Close;
此时为可能导致挤岔状态;
2、并线区道岔类型为MergeRailRight,
a)岔尖1的坐标横坐标Point1_X小于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Open;
b)岔尖2的坐标横坐标Point2_X大于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Close;
此时为正常状态;
3、并线区道岔类型为MergeRailLeft,
a)岔尖1的坐标横坐标Point1_X小于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Close;
b)岔尖2的坐标横坐标Point2_X大于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Open;
此时为正常状态;
4、并线区道岔类型为MergeRailRight,
a)岔尖1的坐标横坐标Point1_X小于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Close;
b)岔尖2的坐标横坐标Point2_X大于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Open;
此时为可能导致挤岔状态。
根据本发明第二方面,提供了一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现所述的方法。
根据本发明第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现所述的方法。
与现有技术相比,本发明具有以下优点:
1、本发明通过摄像机和运算主机部署在列车司机室方案实现了道岔岔尖状态的识别,具备了防挤岔告警功能。该方案对比轨旁安装传感器监测的方式,安装更方便,硬件成本更低且不需要复杂的车地通信,该系统在硬件成本和系统网络架构上更有优势。
2、本发明采用传统图像识别算法实现了道岔区存在多条轨行区场景下对唯一轨行区的轨道边缘进行像素级分割,对比复杂的实例分割精度更高、效率更快。
3、本发明采用目标定位模型实现了道岔分支区内道岔岔尖的状态识别和位置定位,当道岔分支区内存在多条轨行区时,识别并获取唯一轨行区。
4、本发明采用目标定位模型实现了道岔分支区内道岔岔尖的状态识别和位置定位,当道岔分支为两条轨道且目标定位模型判断两个岔尖均为Open,系统判断当前道岔为四开状态,有挤岔风险。
5、本发明采用目标定位模型实现了轨道并线区道岔岔尖的状态识别和位置定位,进而结合并入轨道方向,系统判断前方道岔是否有挤岔风险。
附图说明
图1为该系统的硬件连接架构图。
图2为该系统的设计流程图。
图3(a)为原始输入图像;图3(b)为MatX矩阵二值化图像;图3(c)为分割后的唯一轨行区的示意图;图3(d)为着色后附加在原始图像上的效果图。
图4(a)为道岔岔尖正常状态,没有挤岔风险的示意图;图4(b)为道岔岔尖异常状态,有挤岔风险的示意图。
图5为普通单开道岔示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
本发明为了提高列车的行车安全设计了一种基于图像判别道岔状态的防挤岔方法及系统,该系统通过摄像头获得驾驶室前方司机视角画面,结合神经网络模型算法和传统图像识别算法各自优势可以实时判别司机前方轨行区的道岔定反位状态。通过摄像头获得图像,该系统可以通过语义分割模型算法准确的提取该图像中所有轨行区像素坐标,获得轨行区坐标矩阵。但是由于在道岔区域有多条轨道交汇,存在轨道分支以及并线的复杂场景,单纯的语义分割模型算法会将图像中所有的轨行区提取出来,然而列车的行驶区域仅仅是多条轨道中一条轨道。如果采用实例分割的方式虽然可以较好的解决多条轨道的区分,但是实例分割算法复杂,需要较高的机器算力,难以达到实时性。因此,该系统采用了传统的图像处理算法和神经网络算法相结合的方式实现前方道岔的定反位识别,可以在多条轨道交汇的场景下区分列车正确的行驶方向,精确划分唯一轨行区。同时系统根据前方轨行区并入轨道方向和道岔定反位状态进行判断是否有挤岔风险并通过司机屏进行声光告警,提示司机注意前方道岔状态。
本发明主要解决三个问题:
1、通过对列车前方轨行区和道岔岔尖的识别,判断出前方开通的进路走向。
2、对并线岔区场景,识别道岔岔尖的开闭位置,是否处于可能导致“挤岔”的位置。
3、对分支岔区场景,识别出道岔岔尖的开闭位置,是否处于“四开”位置,可能导致“挤岔”或“脱轨”。
如图1所示,本发明的目的就是为了提高列车行车安全,实现道岔定反位识别,防范挤岔事故而提供的一种道岔定反位识别系统,该系统由一个摄像机、一个视频运算主机、一个司机显示屏三个部分组成。
一种基于图像判别道岔状态的防挤岔方法,包括:
步骤S1、通过摄像机获取驾驶室前方司机视角画面。
步骤S2、运算主机以步骤S1的输出作为语义分割网络模型输入,并依据专利“一种有限场景中大目标语义分割模型算法”中的算法(轨行区网络模型Model_Rail),可以输出一个二维矩阵MatX(R*C),该矩阵尺寸与输入图像尺寸相同,矩阵中值为0的区域是非轨行区,值为1则对应为轨行区。
步骤S3、根据道岔区设计,一组道岔最多有直线,左侧分支、右侧分支三种可能性,即在一组道岔区最多有三个轨行区。根据步骤S2得到的二维矩阵MatX中值为1的连通区域形状和数量进行判别,获得当前画面中轨行区的数量。
步骤S4、根据步骤S2得到的二维矩阵MatX对其值为1的连通区域进行排列,如果值为1的连通区域有一个则该画面中有一个独立轨行区或多个相连轨行区,如果该画面中有两个值为1的连通区则该画面中有两个独立不相交轨行区或者一个独立轨行区和两个相连轨行区,如果该画面中有三个值为1的连通区则该画面中有三个独立轨行区。
步骤S5、根据步骤S2得到的轨行区二维矩阵MatX中值为1的轨行区,并获得最大外接矩形坐标,根据新获得的矩形坐标截取轨行区图像。
步骤S6、通过对步骤S5输出的轨行区图像对道岔岔尖进行标注和模型训练,标注类型为Open、Close两种类型,训练生成目标定位模型ModelS_OC。
步骤S7、根据步骤S5输出的轨行区图像作为目标定位模型ModelS_OC输入,通过目标定位模型可以对道岔岔尖进行定位和识别,获得岔尖的中心坐标(Px,Py)和道岔岔尖状态(Open、Close)。
步骤S8、对于大多数的道岔,前方形成两个分支,称为“定位”与“反位”,可以简单地理解为左侧和右侧两个开向,在两个开向的前提条件下,根据步骤S7得到的道岔岔尖开闭状态(Open、Close)和坐标位置(Px,Py),MatX[Px].index(1)为轨行区左侧坐标RailLeftPx,MatX[Px][::-1].index(1)为轨行区右侧坐标RailRightPx,当Px小于(RailLeftPx+RailRightPx)/2,且道岔状态为Open则道岔开向为左,当Px大于(RailLeftPx+RailRightPx)/2,且道岔状态为Open则道岔开向为右。
步骤S9、根据步骤S2的可以获得单一平直轨行区的二维矩阵MatO(R*C),根据该矩阵行高等分30份,记数组RowHs=np.array([R/30*1,R/30*2,R/30*3…R/30*30]),以RowHs元素值作为函数getRailWidth(i)=MatO[RowHs[i]][::-1].index(1)-MatO[RowHs[i]].index(1)的输入,其中参数i∈[0,30),对应输出30个不同高度的轨行区宽度值。轨行区宽度值为元素,记为新数组RailWidths=np.array([getRailWidth(0),getRailWidth(1),getRailWidth(2),getRailWidth(3)…getRailWidth(30)])。
步骤S10、以步骤S9输出的两个数组RowHs和RailWidths进行函数拟合,mInfWidth=np.polyfit(RowHs,RailWidths,3),infWidthFun=np.poly1d(mInfWidth)。
步骤S11、根据步骤S8得到的道岔定反位状态确定轨行区方向。当道岔为左开,根据步骤S5获取最大外接矩形坐标值,将该矩形纵坐标值十等分,获得数组P_Y[i],i∈[0,10)。根据步骤S10拟合得到的轨道宽度函数可以得到分割点SegPoints[i]=infWidthFun(MatX[P_Y[i]].index(1))+MatX[P_Y[i]].index(1),i∈[0,10)。将分割点SegPoints连接成线段对MatX矩阵中值为1的图形进行切割,得到两个值为1的最大连通区。取左侧最大连通区为唯一轨行区。
步骤S12、根据步骤S8得到的道岔定反位状态确定轨行区方向。当道岔为右开,根据步骤S5获取最大外接矩形坐标值,将该矩形纵坐标值十等分,获得数组P_Y[i],i∈[0,10)。根据步骤S10拟合得到的轨道宽度函数可以得到分割点SegPoints[]=[infWidthFun(MatX[P_Y[i]].index(1))-MatX[P_Y[i]].index(1)],i∈[0,10)。将分割点SegPoints连接成线段对MatX矩阵中值为1的图形进行切割,得到两个值为1的最大连通区。取右侧最大连通区为唯一轨行区。
步骤S13、根据步骤S8得到的道岔定反位状态确定轨行区方向。当道岔岔尖左右均是打开状态。根据步骤S13输出轨行区数量为2,则此时为“四开”状态,司机屏幕显示挤岔报警。根据步骤S13输出轨行区数量为3,依据MatX矩阵中值为1的图形取两个极凹点作为道岔分支点PU1和PU2。再取MatX矩阵中值为1的图形底部左右两侧点为PU_Left和PU_Right两个点,分别将PU1与PU_Left连接作为左侧切割线Line_1,PU2与PU_Right连接作为右侧切割线Line_2,通过Line_1和Line_2对MatX矩阵中值为1的图形进行切割,得到三个值为1的最大连通区。取中间最大连通区为唯一轨行区。
步骤S14、根据步骤S11、步骤S12、步骤S13获得列车前方唯一轨行区,在前方唯一轨行区内如果存在并线场景,其左侧并入轨道和右侧并入轨道特点较为明显,对该区域进行标注和训练生成目标定位模型Model_LR。
步骤S15、将根据步骤S11、步骤S12、步骤S13获得列车前方唯一轨行区作为目标定位识别模型Model_LR输入,模型输出为道岔内轨道并线区坐标和并线类型(左侧并入轨道、右侧并入轨道)。并线区为矩形,其左上角坐标为(MergeRailP_LeftX,MergeRailP_LeftY),右下角坐标为(MergeRailP_RightX,MergeRailP_RightY)。类型分为左侧并入MergeRailLeft和右侧并入MergeRailRight。
步骤S16、根据步骤S15可以获得并线区图像,对并线区出现的道岔岔尖进行标注和训练,生成目标定位模型ModelC_OC。
步骤S17、根据步骤S15可以获得并线区图像作为模型ModelC_OC的输入可以获得并线区内两个道岔岔尖状态(Open、Close)和岔尖的中心坐标(Point1_X,Point1_Y),(Point2_X,Point2_Y)。
步骤S18、根据步骤S15和步骤S16可以得到如下挤岔告警规则:
1、并线区道岔类型为MergeRailLeft,
a)岔尖1的坐标横坐标Point1_X小于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Open;
b)岔尖2的坐标横坐标Point2_X大于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Close;
此时为可能导致挤岔状态;
2、并线区道岔类型为MergeRailRight,
a)岔尖1的坐标横坐标Point1_X小于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Open;
b)岔尖2的坐标横坐标Point2_X大于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Close;
此时为正常状态;
3、并线区道岔类型为MergeRailLeft,
a)岔尖1的坐标横坐标Point1_X小于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Close;
b)岔尖2的坐标横坐标Point2_X大于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Open;
此时为正常状态;
4、并线区道岔类型为MergeRailRight,
a)岔尖1的坐标横坐标Point1_X小于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Close;
b)岔尖2的坐标横坐标Point2_X大于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Open;
此时为可能导致挤岔状态。
步骤S19、根据步骤S18输出可以得到列车唯一轨行区前方是否发生挤岔风险,此时输出给语音报警模块,系统发出声光报警并标记发生挤岔位置。
实施例
本发明专利的技术方案:以摄像机图像作为输入,采用神经网络模型算法和传统图像识别算法相结合的方式判别道岔岔尖的定反位状态,并结合并线区轨道的并入方向判断前方道岔是否存在挤岔风险。
步骤100将合适焦距的摄像机安装部署在司机室正前方,微调摄相机焦距使得画面可以清晰的显示道岔岔尖状态。
步骤101软件通过相机接口函数实时获取当前画面图像。
步骤102以步骤101的输出图像作为轨行区网络模型Model_Rail的输入,输出为轨行区二维矩阵MatX。
步骤103根据MatX矩阵中值为1的元素坐标的形状判断该轨行区内轨道数量,同时可以获得轨行区最大外接矩阵。
步骤104根据步骤103获得轨行区外接矩阵坐标截取轨行区图像,如果该轨行区内轨道数据大于1则用工具标注该图像中道岔分支区内的道岔岔尖状态(Open、Close)作为道岔岔尖数据集。尽可能的标注所有场景下的道岔岔尖图像,生成可以覆盖所有道岔分支场景的道岔岔尖数据集。
步骤105根据步骤104数据集作为目标定位模型ModelS_OC的训练集和测试集,反复训练测试获得最终模型。
步骤106根据步骤105生成的模型可以获得当前道岔分支区的道岔开向,进而获得道岔区内的唯一轨行区。
步骤107根据步骤103获得轨行区外接矩阵坐标截取轨行区图像,如果该轨行区内轨道数据等于1,则该轨行区内有且仅有唯一一条轨行区。
步骤108根据步骤106和步骤107获得唯一轨行区进行分析,如果该唯一轨行区内存在并线区,则对并线区进行标注,数据类型为MergeRailLeft(左侧有轨道并入)和MergeRailRight(右侧有轨道并入)。尽可能将不同场景下的并线区进行标注作为数据集,进而生成覆盖所有并线区场景的数据集。
步骤109根据步骤108数据集作为目标定位模型Model_LR的训练集和测试集,反复训练测试获得最终模型。
步骤110将唯一轨行区作为模型Model_LR的输入可以获得该轨行区内并线区的类型(左侧有轨道并入或右侧有轨道并入)以及坐标。
步骤111根据步骤110获得并线区坐标可以截取并线区图像,由于并线区内必然存在道岔岔尖,因此尽可能将所有并线区内的道岔岔尖进行标注,数据类型为Open、Close。通过并线区道岔岔尖数据集的训练获得新的目标定位模型ModelC_OC。
步骤112将并线区图像作为模型ModelC_OC的输入可以获得并线区道岔岔尖的类型和坐标。
步骤113根据步骤112的输出得到道岔尖状态及坐标作为挤岔报警条件1,根据步骤110的输出得到并线区并入轨道的方向作为挤岔报警条件2,结合挤岔报警规则条件1和条件2可以判别当前是否有挤岔风险。
步骤114根据步骤113的输出是否有挤岔风险,司机屏会给出声光报警提示,并记录图像日志和文字。
本发明电子设备包括中央处理单元(CPU),其可以根据存储在只读存储器(ROM)中的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令,来执行各种适当的动作和处理。在RAM中,还可以存储设备操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
设备中的多个部件连接至I/O接口,包括:输入单元,例如键盘、鼠标等;输出单元,例如各种类型的显示器、扬声器等;存储单元,例如磁盘、光盘等;以及通信单元,例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元执行上文所描述的各个方法和处理,例如方法S1~S19。例如,在一些实施例中,方法S1~S19可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元。在一些实施例中,计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由CPU执行时,可以执行上文描述的方法S1~S19的一个或多个步骤。备选地,在其他实施例中,CPU可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法S1~S19
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于图像判别道岔状态的防挤岔方法,其特征在于,该方法首先通过摄像头获得驾驶室前方司机视角画面,结合神经网络模型算法和传统图像识别算法各自优势实时判别司机前方轨行区的道岔定反位状态;其次在多条轨道交汇的场景下区分列车正确的行驶方向,精确划分唯一轨行区;最后根据前方轨行区并入轨道方向和道岔定反位状态进行判断是否有挤岔风险并通过司机屏进行声光告警,提示司机注意前方道岔状态;
该方法具体包括以下步骤:
步骤S1、通过摄像机获取驾驶室前方司机视角画面;
步骤S2、运算主机以步骤S1的输出作为语义分割网络模型输入,输出一个二维矩阵MatX(R*C);
步骤S3、根据步骤S2得到的二维矩阵MatX中值为1的连通区域形状和数量进行判别,获得当前画面中轨行区的数量;
步骤S4、根据步骤S2得到的二维矩阵MatX对其值为1的连通区域进行排列;
步骤S5、根据步骤S2得到的轨行区二维矩阵MatX中值为1的轨行区,并获得最大外接矩形坐标,根据新获得的矩形坐标截取轨行区图像;
步骤S6、根据步骤S5输出的轨行区图像对道岔岔尖进行标注和模型训练,标注类型为Open和Close两种类型,训练生成目标定位模型ModelS_OC;
步骤S7、将步骤S5输出的轨行区图像作为目标定位模型ModelS_OC输入,通过目标定位模型对道岔岔尖进行定位和识别,获得岔尖的中心坐标(Px,Py)和道岔岔尖状态,其中道岔岔尖状态包括Open和Close;
步骤S8、根据步骤S7得到的岔尖的中心坐标(Px,Py)和道岔岔尖状态,当Px小于(RailLeftPx+RailRightPx)/2,且道岔状态为Open则道岔开向为左,当Px大于(RailLeftPx+RailRightPx)/2,且道岔状态为Open则道岔开向为右,其中RailLeftPx为轨行区左侧坐标,RailRightPx为轨行区右侧坐标;
步骤S9、根据步骤S2获得单一平直轨行区的二维矩阵MatX(R*C),根据该矩阵行高等分30份,记数组RowHs=np.array([R/30*1,R/30*2,R/30*3…R/30*30]);以轨行区宽度值为元素,记为新数组RailWidths=np.array([getRailWidth(0),getRailWidth(1),getRailWidth(2),getRailWidth(3)…getRailWidth(30)]);
步骤S10、以步骤S9输出的两个数组RowHs和RailWidths进行函数拟合得到轨道宽度函数,该函数为mInfWidth=np.polyfit(RowHs,RailWidths,3),infWidthFun=np.poly1d(mInfWidth);
步骤S11、根据步骤S8得到的道岔开向状态确定轨行区方向,当道岔为左开,根据步骤S5获取最大外接矩形坐标值,将该矩形纵坐标值十等分,获得数组P_Y[i],i∈[0,10);根据步骤S10拟合得到的轨道宽度函数得到分割点SegPoints[i]=infWidthFun(MatX[P_Y[i]].index(1))+MatX[P_Y[i]].index(1),i∈[0,10),将分割点SegPoints连接成线段对MatX矩阵中值为1的图形进行切割,得到两个值为1的最大连通区;取左侧最大连通区为唯一轨行区;
步骤S12、根据步骤S8得到的道岔开向状态确定轨行区方向,当道岔为右开,根据步骤S5获取最大外接矩形坐标值,将该矩形纵坐标值十等分,获得数组P_Y[i],i∈[0,10);根据步骤S10拟合得到的轨道宽度函数得到分割点SegPoints[]=[infWidthFun(MatX[P_Y[i]].index(1))-MatX[P_Y[i]].index(1)],i∈[0,10),将分割点SegPoints连接成线段对MatX矩阵中值为1的图形进行切割,得到两个值为1的最大连通区,取右侧最大连通区为唯一轨行区;
步骤S13、根据步骤S8得到的道岔开向状态确定轨行区方向,当道岔岔尖左右均是打开状态,根据输出轨行区数量为2,则此时为“四开”状态,司机屏幕显示挤岔报警,根据输出轨行区数量为3,依据MatX矩阵中值为1的图形取两个极凹点作为道岔分支点PU1和PU2;再取MatX矩阵中值为1的图形底部左右两侧点为PU_Left和PU_Right两个点,分别将PU1与PU_Left连接作为左侧切割线Line_1,PU2与PU_Right连接作为右侧切割线Line_2,通过Line_1和Line_2对MatX矩阵中值为1的图形进行切割,得到三个值为1的最大连通区,取中间最大连通区为唯一轨行区;
步骤S14、根据步骤S11、步骤S12、步骤S13获得列车前方唯一轨行区,在前方唯一轨行区内如果存在并线场景,其左侧并入轨道和右侧并入轨道特点较为明显,对该区域进行标注和训练生成目标定位模型Model_LR;
步骤S15、将根据步骤S11、步骤S12、步骤S13获得列车前方唯一轨行区作为目标定位识别模型Model_LR输入,模型输出为道岔内轨道并线区坐标和并线类型,其中并线类型包括左侧并入轨道、右侧并入轨道;并线区为矩形,其左上角坐标为(MergeRailP_LeftX,MergeRailP_LeftY),右下角坐标为(MergeRailP_RightX,MergeRailP_RightY),类型分为左侧并入MergeRailLeft和右侧并入MergeRailRight;
步骤S16、根据步骤S15获得并线区图像,对并线区出现的道岔岔尖进行标注和训练,生成目标定位模型ModelC_OC;
步骤S17、根据步骤S15获得并线区图像作为模型ModelC_OC的输入,从而获得并线区内两个道岔岔尖状态和岔尖的中心坐标(Point1_X,Point1_Y),(Point2_X,Point2_Y);
步骤S18、根据步骤S15和步骤S16得到挤岔告警规则;
步骤S19、根据步骤S18输出得到列车唯一轨行区前方是否发生挤岔风险,若发生输出给语音报警模块,系统发出声光报警并标记发生挤岔位置;
所述的步骤S18的挤岔告警规则具体包括:
1、并线区道岔类型为MergeRailLeft,
a)岔尖1的坐标横坐标Point1_X小于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Open;
b)岔尖2的坐标横坐标Point2_X大于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Close;
此时为可能导致挤岔状态;
2、并线区道岔类型为MergeRailRight,
a)岔尖1的坐标横坐标Point1_X小于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Open;
b)岔尖2的坐标横坐标Point2_X大于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Close;
此时为正常状态;
3、并线区道岔类型为MergeRailLeft,
a)岔尖1的坐标横坐标Point1_X小于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Close;
b)岔尖2的坐标横坐标Point2_X大于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Open;
此时为正常状态;
4、并线区道岔类型为MergeRailRight,
a)岔尖1的坐标横坐标Point1_X小于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Close;
b)岔尖2的坐标横坐标Point2_X大于(MergeRailP_X+MergeRailP_Y)/2时,且状态为Open;
此时为可能导致挤岔状态。
2.根据权利要求1所述的一种基于图像判别道岔状态的防挤岔方法,其特征在于,所述的步骤S2的矩阵尺寸与输入图像尺寸相同,矩阵中值为0的区域是非轨行区,值为1则对应为轨行区。
3.根据权利要求1所述的一种基于图像判别道岔状态的防挤岔方法,其特征在于,所述的步骤S3中,对道岔区设计,一组道岔最多有直线、左侧分支、右侧分支三种可能性,即在一组道岔区最多有三个轨行区。
4.根据权利要求1所述的一种基于图像判别道岔状态的防挤岔方法,其特征在于,所述的步骤S4中,如果值为1的连通区域有一个则该画面中有一个独立轨行区或多个相连轨行区,如果该画面中有两个值为1的连通区则该画面中有两个独立不相交轨行区或者一个独立轨行区和两个相连轨行区,如果该画面中有三个值为1的连通区则该画面中有三个独立轨行区。
5.根据权利要求1所述的一种基于图像判别道岔状态的防挤岔方法,其特征在于,所述的步骤S8中,所述的RailLeftPx为MatX[Px].index(1);所述的RailRightPx为MatX[Px][::-1].index(1)。
6.根据权利要求1所述的一种基于图像判别道岔状态的防挤岔方法,其特征在于,所述的步骤S9中,以RowHs元素值作为函数getRailWidth(i)=MatO[RowHs[i]][::-1].index(1)-MatO[RowHs[i]].index(1)的输入,其中参数i∈[0,30),对应输出30个不同高度的轨行区宽度值。
7.一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~6中任一项所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1~6中任一项所述的方法。
CN202111312566.4A 2021-11-08 2021-11-08 基于图像判别道岔状态的防挤岔方法、设备及存储介质 Active CN114132360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111312566.4A CN114132360B (zh) 2021-11-08 2021-11-08 基于图像判别道岔状态的防挤岔方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111312566.4A CN114132360B (zh) 2021-11-08 2021-11-08 基于图像判别道岔状态的防挤岔方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114132360A CN114132360A (zh) 2022-03-04
CN114132360B true CN114132360B (zh) 2023-09-08

Family

ID=80393160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111312566.4A Active CN114132360B (zh) 2021-11-08 2021-11-08 基于图像判别道岔状态的防挤岔方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114132360B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201013991D0 (en) * 2009-09-11 2010-10-06 Harsco Corp Automated turnout inspection
DE102015219690A1 (de) * 2015-10-12 2017-04-13 Siemens Aktiengesellschaft Verfahren zur Fahrwegerkennung für ein Schienenfahrzeug
CN107476151A (zh) * 2017-08-21 2017-12-15 四川西南交大铁路发展股份有限公司 基于图像识别的道岔尖轨爬行量监测方法、装置及其系统
JP2018039288A (ja) * 2016-09-05 2018-03-15 株式会社明電舎 分岐器進入可否判定装置及び分岐器進入可否判定方法
CN109948690A (zh) * 2019-03-14 2019-06-28 西南交通大学 一种基于深度学习和结构信息的高铁场景感知方法
CN111311590A (zh) * 2020-03-06 2020-06-19 通控研究院(安徽)有限公司 一种基于图像检测技术的道岔岔尖密贴度检测方法
KR20200085054A (ko) * 2019-01-04 2020-07-14 샬롬엔지니어링 주식회사 열차선로 전환 시스템
CN111462135A (zh) * 2020-03-31 2020-07-28 华东理工大学 基于视觉slam与二维语义分割的语义建图方法
CN111860137A (zh) * 2020-06-09 2020-10-30 北京航空航天大学 一种基于视觉的轨道道岔识别方法
JP2020179798A (ja) * 2019-04-26 2020-11-05 株式会社明電舎 分岐器検出装置及び分岐器検出方法
EP3820760A1 (en) * 2018-07-10 2021-05-19 Rail Vision Ltd Method and system for railway obstacle detection based on rail segmentation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201013991D0 (en) * 2009-09-11 2010-10-06 Harsco Corp Automated turnout inspection
DE102015219690A1 (de) * 2015-10-12 2017-04-13 Siemens Aktiengesellschaft Verfahren zur Fahrwegerkennung für ein Schienenfahrzeug
JP2018039288A (ja) * 2016-09-05 2018-03-15 株式会社明電舎 分岐器進入可否判定装置及び分岐器進入可否判定方法
CN107476151A (zh) * 2017-08-21 2017-12-15 四川西南交大铁路发展股份有限公司 基于图像识别的道岔尖轨爬行量监测方法、装置及其系统
EP3820760A1 (en) * 2018-07-10 2021-05-19 Rail Vision Ltd Method and system for railway obstacle detection based on rail segmentation
KR20200085054A (ko) * 2019-01-04 2020-07-14 샬롬엔지니어링 주식회사 열차선로 전환 시스템
CN109948690A (zh) * 2019-03-14 2019-06-28 西南交通大学 一种基于深度学习和结构信息的高铁场景感知方法
JP2020179798A (ja) * 2019-04-26 2020-11-05 株式会社明電舎 分岐器検出装置及び分岐器検出方法
CN111311590A (zh) * 2020-03-06 2020-06-19 通控研究院(安徽)有限公司 一种基于图像检测技术的道岔岔尖密贴度检测方法
CN111462135A (zh) * 2020-03-31 2020-07-28 华东理工大学 基于视觉slam与二维语义分割的语义建图方法
CN111860137A (zh) * 2020-06-09 2020-10-30 北京航空航天大学 一种基于视觉的轨道道岔识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
铁路道岔状态监测与故障预测;陈聪;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》(第03期);第C033-477页 *

Also Published As

Publication number Publication date
CN114132360A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
Karakose et al. A new computer vision based method for rail track detection and fault diagnosis in railways
CN102628814B (zh) 一种基于数字图像处理的钢轨光带异常自动检测方法
CN101458871B (zh) 一种智能交通分析系统及其应用系统
Rizvi et al. Crack detection in railway track using image processing
WO2020134324A1 (zh) 一种基于图像处理的城轨列车车号识别算法
CN103500347B (zh) 铁路货车折角塞门把手丢失故障的自动检测方法
CN104268588B (zh) 铁路货车闸瓦钎丢失故障的自动检测方法
JP6850324B2 (ja) マルチモデルに基づく障害物分布シミュレーション方法、装置、端末及びプログラム
CN102759347A (zh) 一种高铁接触网在线巡检装置、巡检方法以及其构成的高铁接触网检测系统
CN113762171A (zh) 铁路施工现场安全监测的方法及装置
CN111899515A (zh) 一种基于智慧道路边缘计算网关的车辆检测系统
Tastimur et al. Image processing based level crossing detection and foreign objects recognition approach in railways
CN114132360B (zh) 基于图像判别道岔状态的防挤岔方法、设备及存储介质
CN116110012A (zh) 用于智慧工地的危险违规动作识别方法及系统
Yao et al. Image based obstacle detection for automatic train supervision
CN114179866A (zh) 轨道道岔开向安全检测系统及检测方法
CN108805145A (zh) 一种地铁施工轨道车信号灯及环境亮度检测装置
CN109934172B (zh) 高速列车受电弓免gps全运行线故障视觉检测定位方法
CN116091481A (zh) 一种小穗计数方法、装置、设备和存储介质
CN114724091A (zh) 一种输电线路导线异物识别方法及装置
CN114882452A (zh) 轨道线路安全监测方法、列车运行控制方法及控制系统
CN112464906A (zh) 一种基于计算机视觉的轨道异物入侵检测方法及装置
Li et al. A railway turnout closeness monitoring method based on switch gap images
CN106355925A (zh) 利用互联网实现路口信号机控制效果评价的方法及装置
CN111196292A (zh) 列车位置绘制方法、装置、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant