CN105260719A - 铁路站台越线检测方法 - Google Patents
铁路站台越线检测方法 Download PDFInfo
- Publication number
- CN105260719A CN105260719A CN201510674299.3A CN201510674299A CN105260719A CN 105260719 A CN105260719 A CN 105260719A CN 201510674299 A CN201510674299 A CN 201510674299A CN 105260719 A CN105260719 A CN 105260719A
- Authority
- CN
- China
- Prior art keywords
- line
- image
- passenger
- sigma
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
本发明提供一种铁路站台越线检测方法,实时采集当前画面,对采集的当前画面使用基于卡尔曼滤波算法的背景差分法提取运动目标;给靠近边界的运动目标做标记,标记运动目标的当前位置状态,在边界区域内部且为穿越边界线动作的标记为-1;在边界区域外面且为穿越边界线动作的标记为1;将前一帧目标标记减去后一帧目标标记,选出最终标记值为2的判定为进入,对其进行标记,并进行告警,-2的判断为离开,不对其进行标记告警;通过计算旅客的质心与各区域的距离判断旅客是否越线,若旅客发生越线进入危险区域,即刻进行告警,解决了铁路巡查人员顾后方又顾及不到前方,无法实时提醒和看护的问题。该方法成本低廉、安装简便。
Description
技术领域
本发明涉及一种铁路站台越线检测方法。
背景技术
随着人民生活水平与科技水平的不断提高,铁路凭借安全系数高、速度快、出行快捷等优势成为越来越多旅客出行选择的交通方式。不论是普通列车站台还是动车组列车站台都沿用了传统的开放式构建形式。虽然站台边沿处设有安全标线,但在等候列车到来的过程中部分旅客意识不到危险且随意性走动;即便有越线的旅客,接车工作人员往往会巡查前方顾及不到后方、巡查后方又顾及不到前方,起不到实时提醒和看护的效果;有时候部分带小朋友的旅客,由于在站台上接打电话或看护不周导致小朋友在玩耍时跌落站台,甚至会逼停列车、造成晚点,严重的还会出现生命危险。为此,站台缺乏一套有效的越线检测报警系统。
现有的应用在铁路站台的越线检测的专利有站台激光越线检测装置ZL201420511063.9,其采用激光发射机与接收机,硬件成本大,安装难度大,若有一名旅客发生越界,该激光检测线即刻被中断,无法检测之后越线旅客,也无法进行越线人数统计。
发明内容
为了克服现有技术的上述缺陷,本发明提供了一种基于监控摄像头的旅客越线检测方法,这一方法在保证对旅客的越线行为检测的同时,不仅能对越线旅客进行标记,还可以由接车管理人员自行根据当地情况进行个性化区域设定。
本发明的技术解决方案是:
一种铁路站台越线检测方法,包括以下步骤:
S1、采集一帧当前站台画面图像,该图像信息包含站台警戒线区域、警戒线外危险区域、警戒线内的安全候车区域;
S2、设定相应区域,包括设定危险区域、安全黄线警戒区域、安全候车监控区域;
S3、实时采集当前画面,对采集的当前画面使用基于卡尔曼滤波算法的背景差分法提取运动目标;
S4、计算所提取运动目标的质心坐标,计算该质心坐标与安全黄线的垂直距离,若该距离小于某一值,则判断为穿越边界线动作;
S5、计算所提取运动目标到危险区域的距离,若距离大于零则说明旅客未越线,反之则认为旅客进入危险区域;
S6、综合步骤S4和S5,给靠近边界的运动目标做标记,标记运动目标的当前位置状态,在边界区域内部且为穿越边界线动作的标记为-1;在边界区域外面且为穿越边界线动作的标记为1;
S7、重复上述步骤S1-S6,给下一帧图像做同样的标记;
S8、将前一帧目标标记减去后一帧目标标记,选出最终标记值为2的判定为进入,对其进行标记,并进行告警,-2的判断为离开,不对其进行标记告警。
进一步地,在步骤S3中,使用重投影变换将实际成像面变换为理想成像面,
设(x,y)是原图像平面的坐标平面XOY中的一点,(x',y')是(x,y)在理想成像面的坐标平面X'OY'中对应的像点,若用一个规范化坐标系平面作为重投影平面,建立规范化坐标到原始图像坐标的变换,则重投影变换非其次坐标可用矩阵形式表示为
其中a、b、c、d、e、f、m、n均为常数,共有8个独立参数,在2个平面上找到4对物点和像点,来求得相应的重投影变换。
进一步地,在步骤S3,使用基于卡尔曼滤波算法的背景差分法提取运动目标,需要建立基于卡尔曼滤波的自适应背景模型,具体为:
设当前帧为f(x,y),当前背景帧为Bk(x,y),更新背景帧为Bk+1(x,y),差分函数为Dk(x,y),ditk(x,y)代表当前帧与背景帧相比的差值大于一定值得分散程度,α,β,η为不同速率的更新因子,则有:
Bk+1(x,y)=Bk(x,y)+gk·Dk(x,y)(1)
Dk(x,y)=|f(x,y)-Bk(x,y)|(2)
进一步地,通过卡尔曼滤波实现的估计背景跟踪旅客实现运动目标的提取,具体为,固选取一定面积的区域作为滤波特征,消除微小物体或微小运动对旅客越线检测的干扰,滤波后将目标区域用最小外接矩形框住。
进一步地,在步骤S4中,计算旅客的质心坐标,具体为,在视频流图像中,图像质心即图像灰度的重心。设连通区域有p,q两个方向,m,n分别为p,q方向像素的数量,g(p,q)为像素点(p,q)处的灰度值,则图像质心坐标计算表达式为:
本发明的有益效果是:该种铁路站台越线检测方法,只使用一只高清摄像机对铁路站台上的旅客越线行为进行检测。铁路接车管理人员根据具体情况自行设定监控区域,危险区域和警戒区域,通过计算旅客的质心与各区域的距离判断旅客是否越线,若旅客发生越线进入危险区域,即刻进行告警。解决了铁路巡查人员顾后方又顾及不到前方,无法实时提醒和看护的问题。该方法成本低廉、安装简便符合当代智慧城市理念,且具有很大的现实意义。
附图说明
图1是本发明实施例的流程说明示意图;
图2是实施例中重投影变换的说明示意图;
图3是实施例中规范化坐标系和原始图像坐标系的说明示意图;
图4是实施例中卡尔曼滤波实现背景估计的流程说明示意图;
图5是实施例中卡尔曼滤波实现的估计背景跟踪旅客的流程说明示意图;
图6是实施例中运动目标的质心坐标与安全黄线的垂直距离的示意图;
图7是实施例中运动目标的质心坐标与危险区域的距离的示意图;
图8是实施例中获取目标位置后的流程说明示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例
摄像头采集一帧当前站台画面图像。此图像信息包含站台警戒线区域,警戒线外危险区域,警戒线内的安全候车区域。
铁路接车管理人员根据站台情况进行设定相应区域。设定危险区域,安全黄线警戒区域,安全候车监控区域。
摄像头进行实时采集当前画面,基于卡尔曼滤波算法的背景差分法提取运动目标。
采集图像矫正,由于摄像机的俯仰旋转,摄像机的成像面与理想摄像机的成像面存在重投影关系,故使用重投影变换将实际成像面变换为摄像机理想成像面。
设(x,y)是坐标平面XOY中的一点,(x',y')是(x,y)在坐标平面X'OY'中对应的像点,如图2,若用一个规范化坐标系平面作为重投影平面,建立规范化坐标到原始图像坐标的变换,则重投影变换非其次坐标可用矩阵形式表示为
也可以表示为
其中a、b、c、d、e、f、m、n均为常数。共有8个独立参数,因此,只要需要在2个平面上找到4对物点和像点,就可以求得相应的重投影变换。在本设计中,具体操作为用一个规范化坐标系平面作为重投影平面,建立从规范化坐标到原始坐标的变换,其矩阵表示形式为
在地面上取一个矩形,它的边平行或垂直于投影轴,这样的矩形在原始图像中显示为一个等腰梯形,如图3所示。
设A点的坐标为(x1,y1),C点坐标为(x2,y2),B的坐标为(Φ-x1,y1),D点坐标为(Φ-x2,y2)。经过投影映射,ABCD四个点依次与规范化坐标系中的(0,0)、(1,0)、(0,1)、(1,1)四个点相对应,把此对应关系带入上式可以得到
待定常数法可以求得各常数
c=m=0
a=Φ-2x1
b=x2l+x2-x1
d=y2v+y2-y1
e=x1
f=y1。
建立基于卡尔曼滤波的自适应背景模型,以适应天气和光照的时间变化,如图4。
设当前帧为f(x,y),当前背景帧为Bk(x,y),更新背景帧为Bk+1(x,y),差分函数为Dk(x,y),ditk(x,y)代表当前帧与背景帧相比的差值大于一定值得分散程度,可理解为光照阀值。则有:
Bk+1(x,y)=Bk(x,y)+gk·Dk(x,y)(1)
Dk(x,y)=|f(x,y)-Bk(x,y)|(2)
其中,α,β,η为不同速率的更新因子,根据实验结果取α=0.3,β=0.8,η=0.004。
根据在监控视频流中旅客所占画面面积具有一定大小的特点,固选取一定面积的区域作为滤波特征,消除微小物体或微小运动对旅客越线检测的干扰,滤波后将目标区域用最小外接矩形框住,便于之后与区域间的距离计算,如图5。
在视频流图像中,图像质心即图像灰度的重心。设连通区域有p,q两个方向,m,n分别为p,q方向像素的数量,g(p,q)为像素点(p,q)处的灰度值,则图像质心坐标计算表达式为:
如图6,计算运动目标的质心坐标,计算该质心坐标与安全黄线的垂直距离。若该距离小于某一值d≤d0,则判断为穿越边界线动作。
如图7,计算目标到危险区域的距离,若距离大于零则说明旅客未越线,反之则认为旅客进入危险区域。
目标区域与危险区域求交集运算,若交集为空,即危险区域内没有旅客,否则说明危险区域有旅客进入。
综合前两步,给靠近边界的目标做标记,标记其当前位置状态。在边界区域内部且靠近边界的标记为-1;在边界区域外面且靠近边界的标记为1。
重复上述操作,给下一帧图像做同样的标记。
如图8,将前一帧目标标记减去后一帧目标标记,选出最终标记值为2的判定为越线进入危险区域,对其进行标记,并向站台监视管理人员给出告警,-2的判断为离开,不对其进行标记告警。
Claims (5)
1.一种铁路站台越线检测方法,其特征在于,包括以下步骤:
S1、采集一帧当前站台画面图像,该图像信息包含站台警戒线区域、警戒线外危险区域、警戒线内的安全候车区域;
S2、设定相应区域,包括设定危险区域、安全黄线警戒区域、安全候车监控区域;
S3、实时采集当前画面,对采集的当前画面使用基于卡尔曼滤波算法的背景差分法提取运动目标;
S4、计算所提取运动目标的质心坐标,计算该质心坐标与安全黄线的垂直距离,若该距离小于某一值,则判断为穿越边界线动作;
S5、计算所提取运动目标到危险区域的距离,若距离大于零则说明旅客未越线,反之则认为旅客进入危险区域;
S6、综合步骤S4和S5,给靠近边界的运动目标做标记,标记运动目标的当前位置状态,在边界区域内部且为穿越边界线动作的标记为-1;在边界区域外面且为穿越边界线动作的标记为1;
S7、重复上述步骤S1-S6,给下一帧图像做同样的标记;
S8、将前一帧目标标记减去后一帧目标标记,选出最终标记值为2的判定为进入,对其进行标记,并进行告警,-2的判断为离开,不对其进行标记告警。
2.如权利要求1所述的铁路站台越线检测方法,其特征在于:在步骤S3中,使用重投影变换将实际成像面变换为理想成像面,
设(x,y)是原图像平面的坐标平面XOY中的一点,(x',y')是(x,y)在理想成像面的坐标平面X'OY'中对应的像点,若用一个规范化坐标系平面作为重投影平面,建立规范化坐标到原始图像坐标的变换,则重投影变换非其次坐标可用矩阵形式表示为
其中a、b、c、d、e、f、m、n均为常数,共有8个独立参数,在2个平面上找到4对物点和像点,来求得相应的重投影变换。
3.如权利要求1所述的铁路站台越线检测方法,其特征在于,在步骤S3,使用基于卡尔曼滤波算法的背景差分法提取运动目标,需要建立基于卡尔曼滤波的自适应背景模型,具体为:
设当前帧为f(x,y),当前背景帧为Bk(x,y),更新背景帧为Bk+1(x,y),差分函数为Dk(x,y),ditk(x,y)代表当前帧与背景帧相比的差值大于一定值得分散程度,α,β,η为不同速率的更新因子,则有:
Bk+1(x,y)=Bk(x,y)+gk·Dk(x,y)(1)
Dk(x,y)=|f(x,y)-Bk(x,y)|(2)
4.如权利要求1所述的铁路站台越线检测方法,其特征在于:在步骤S3中,通过卡尔曼滤波实现的估计背景跟踪旅客实现运动目标的提取,具体为,固选取一定面积的区域作为滤波特征,消除微小物体或微小运动对旅客越线检测的干扰,滤波后将目标区域用最小外接矩形框住。
5.如权利要求1所述的铁路站台越线检测方法,其特征在于:在步骤S4中,计算旅客的质心坐标,具体为,在视频流图像中,图像质心即图像灰度的重心。设连通区域有p,q两个方向,m,n分别为p,q方向像素的数量,g(p,q)为像素点(p,q)处的灰度值,则图像质心坐标计算表达式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510674299.3A CN105260719B (zh) | 2015-10-16 | 2015-10-16 | 铁路站台越线检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510674299.3A CN105260719B (zh) | 2015-10-16 | 2015-10-16 | 铁路站台越线检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105260719A true CN105260719A (zh) | 2016-01-20 |
CN105260719B CN105260719B (zh) | 2019-03-15 |
Family
ID=55100400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510674299.3A Active CN105260719B (zh) | 2015-10-16 | 2015-10-16 | 铁路站台越线检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105260719B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107901953A (zh) * | 2017-12-15 | 2018-04-13 | 广西云上科技有限公司 | 一种列车登车门指示装置 |
CN108001460A (zh) * | 2017-12-12 | 2018-05-08 | 徐薇 | 地铁屏蔽门限界区智能防夹检测报警装置和方法 |
CN108073899A (zh) * | 2017-12-12 | 2018-05-25 | 深圳英飞拓科技股份有限公司 | 基于骨骼信息的绊线检测的方法及装置 |
CN109561388A (zh) * | 2018-12-20 | 2019-04-02 | 交控科技股份有限公司 | 站场人员防护警报处理方法及装置 |
CN109686048A (zh) * | 2019-01-02 | 2019-04-26 | 平安科技(深圳)有限公司 | 火车站台越线的预警方法、装置、计算机设备和存储介质 |
CN109887211A (zh) * | 2019-03-01 | 2019-06-14 | 深圳市安尼数字技术有限公司 | 人体侦测方法 |
CN109920186A (zh) * | 2019-04-19 | 2019-06-21 | 沈阳风驰软件股份有限公司 | 一种站台边缘检测与越界报警控制系统和方法 |
CN110009857A (zh) * | 2019-05-14 | 2019-07-12 | 沈阳风驰软件股份有限公司 | 一种站台一米线检测与越界报警控制系统 |
CN110796819A (zh) * | 2019-10-18 | 2020-02-14 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 一种针对站台黄线入侵越界人员的检测方法及系统 |
CN110956652A (zh) * | 2019-11-20 | 2020-04-03 | 国网浙江省电力有限公司电力科学研究院 | 变电站人员提前越线告警方法 |
CN111275910A (zh) * | 2019-11-05 | 2020-06-12 | 杭州安脉盛智能技术有限公司 | 一种基于高斯混合模型的扶梯越界行为检测方法及系统 |
CN111738203A (zh) * | 2020-07-03 | 2020-10-02 | 中兴飞流信息科技有限公司 | 一种基于自动划线区域的站台行人越线检测方法 |
CN112863121A (zh) * | 2021-03-01 | 2021-05-28 | 哈尔滨市科佳通用机电股份有限公司 | 铁路站台端部越线监测方法 |
CN114360201A (zh) * | 2021-12-17 | 2022-04-15 | 中建八局发展建设有限公司 | 基于ai技术的建筑临边危险区域越界识别方法和系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008046662A1 (en) * | 2006-10-16 | 2008-04-24 | Schuette Joerg | Video image guideway intrusion detection system |
CN101799876A (zh) * | 2010-04-20 | 2010-08-11 | 王巍 | 一种视音频智能分析管控系统 |
-
2015
- 2015-10-16 CN CN201510674299.3A patent/CN105260719B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008046662A1 (en) * | 2006-10-16 | 2008-04-24 | Schuette Joerg | Video image guideway intrusion detection system |
CN101799876A (zh) * | 2010-04-20 | 2010-08-11 | 王巍 | 一种视音频智能分析管控系统 |
Non-Patent Citations (4)
Title |
---|
王一丁等: "《数字图像处理》", 31 August 2015 * |
王贵珠等: "一种基于阴影抑制和统计背景模型的运动目标检测方法", 《2006北京地区高校研究生学术交流会-通信与信息技术会议论文集(下)》 * |
许瑞岳等: "基于空间虚拟墙的行人越界异常行为自动识别", 《光电子.激光》 * |
许静等: "一种判定运动目标越界的算法", 《信号与信息处理》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108001460A (zh) * | 2017-12-12 | 2018-05-08 | 徐薇 | 地铁屏蔽门限界区智能防夹检测报警装置和方法 |
CN108073899A (zh) * | 2017-12-12 | 2018-05-25 | 深圳英飞拓科技股份有限公司 | 基于骨骼信息的绊线检测的方法及装置 |
CN107901953A (zh) * | 2017-12-15 | 2018-04-13 | 广西云上科技有限公司 | 一种列车登车门指示装置 |
CN109561388A (zh) * | 2018-12-20 | 2019-04-02 | 交控科技股份有限公司 | 站场人员防护警报处理方法及装置 |
CN109686048A (zh) * | 2019-01-02 | 2019-04-26 | 平安科技(深圳)有限公司 | 火车站台越线的预警方法、装置、计算机设备和存储介质 |
CN109887211A (zh) * | 2019-03-01 | 2019-06-14 | 深圳市安尼数字技术有限公司 | 人体侦测方法 |
CN109920186A (zh) * | 2019-04-19 | 2019-06-21 | 沈阳风驰软件股份有限公司 | 一种站台边缘检测与越界报警控制系统和方法 |
CN110009857A (zh) * | 2019-05-14 | 2019-07-12 | 沈阳风驰软件股份有限公司 | 一种站台一米线检测与越界报警控制系统 |
CN110796819A (zh) * | 2019-10-18 | 2020-02-14 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 一种针对站台黄线入侵越界人员的检测方法及系统 |
CN110796819B (zh) * | 2019-10-18 | 2021-07-13 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 一种针对站台黄线入侵越界人员的检测方法及系统 |
CN111275910A (zh) * | 2019-11-05 | 2020-06-12 | 杭州安脉盛智能技术有限公司 | 一种基于高斯混合模型的扶梯越界行为检测方法及系统 |
CN110956652A (zh) * | 2019-11-20 | 2020-04-03 | 国网浙江省电力有限公司电力科学研究院 | 变电站人员提前越线告警方法 |
CN111738203A (zh) * | 2020-07-03 | 2020-10-02 | 中兴飞流信息科技有限公司 | 一种基于自动划线区域的站台行人越线检测方法 |
CN111738203B (zh) * | 2020-07-03 | 2024-03-19 | 中兴飞流信息科技有限公司 | 一种基于自动划线区域的站台行人越线检测方法 |
CN112863121A (zh) * | 2021-03-01 | 2021-05-28 | 哈尔滨市科佳通用机电股份有限公司 | 铁路站台端部越线监测方法 |
CN114360201A (zh) * | 2021-12-17 | 2022-04-15 | 中建八局发展建设有限公司 | 基于ai技术的建筑临边危险区域越界识别方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105260719B (zh) | 2019-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105260719A (zh) | 铁路站台越线检测方法 | |
CN106910203B (zh) | 一种视频监测中运动目标的快速检测方法 | |
CN106373394B (zh) | 一种基于视频和雷达的车辆检测方法及系统 | |
Zhangyu et al. | A camera and LiDAR data fusion method for railway object detection | |
CN103914688B (zh) | 一种城市道路障碍物识别系统 | |
CN103021177B (zh) | 一种雾天交通监控视频图像的处理方法和系统 | |
CN101075376B (zh) | 基于多视点的智能视频交通监控系统及方法 | |
CN103325255B (zh) | 基于摄影测量技术进行区域交通状况检测的方法 | |
CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
CN109489584B (zh) | 一种基于3d技术的隧道限界检测系统及隧道限界识别方法 | |
CN103150908B (zh) | 一种基于视频的平均车速检测方法 | |
CN108230254A (zh) | 一种自适应场景切换的高速交通全车道线自动检测方法 | |
CN102592454A (zh) | 一种基于车辆侧面与路面交线检测的交叉口车辆运动参数测量方法 | |
CN104881645A (zh) | 基于特征点互信息量和光流法的车辆前方目标的检测方法 | |
CN103164711A (zh) | 基于像素和支持向量机的区域人流密度估计的方法 | |
CN105184274A (zh) | 一种基于深度图像获取客流速度和密度参数的方法 | |
CN107644528A (zh) | 一种基于车辆跟踪的车辆排队长度检测方法 | |
CN107274678B (zh) | 一种基于Kinect的夜间车流量统计及车型识别方法 | |
CN104183142A (zh) | 一种基于图像视觉处理技术的车流量统计方法 | |
CN104157160A (zh) | 车辆行驶控制方法、装置及车辆 | |
CN103794050A (zh) | 一种实时的交通车辆检测与跟踪方法 | |
Behrendt et al. | Deep learning lane marker segmentation from automatically generated labels | |
JP2015090679A (ja) | 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム | |
CN111717244A (zh) | 一种列车自动驾驶感知方法和系统 | |
CN103413325A (zh) | 一种基于车身特征点定位的车速鉴定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |