CN116680894A - 一种桥梁车辆荷载效应实时孪生方法 - Google Patents

一种桥梁车辆荷载效应实时孪生方法 Download PDF

Info

Publication number
CN116680894A
CN116680894A CN202310634146.0A CN202310634146A CN116680894A CN 116680894 A CN116680894 A CN 116680894A CN 202310634146 A CN202310634146 A CN 202310634146A CN 116680894 A CN116680894 A CN 116680894A
Authority
CN
China
Prior art keywords
vehicle
strain
time
real
bridge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310634146.0A
Other languages
English (en)
Inventor
周小燚
刘易
高成林
熊文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202310634146.0A priority Critical patent/CN116680894A/zh
Publication of CN116680894A publication Critical patent/CN116680894A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14Force analysis or force optimisation, e.g. static or dynamic forces
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种桥梁车辆荷载效应实时孪生方法,包括:首先,通过对YoloV5和DeepSort框架建立适用于城市桥梁车辆追踪的算法;其次,基于NTP服务器动态时间校准实现交通监控视频与动态应变监测的时间同步,实现车辆时空信息与应变数据的同步匹配;再次,建立了基于由快速傅立叶变换去噪的动态应变数据和应变面积法的车重反算算法;最后,将识别到的车辆按车道进行影响线加载分析获得实时结构响应。本发明通过YoloV5机器视觉辅助车辆识别算法,结合智能感知提取车辆通行时产生的实际应变,实现车辆荷载动态识别,并结合结构分析提出了一种荷载效应实时孪生方法,将桥梁车流荷载以应变等直观的形式展现出来。该方法算法简洁,计算速度快,可满足实时孪生要求。

Description

一种桥梁车辆荷载效应实时孪生方法
技术领域
本发明属于公路桥梁安全监测领域,具体涉及一种桥梁车辆荷载效应实时孪生方法。
背景技术
由于桥梁实际承受的车辆荷载与桥梁规范设计时的荷载情况已有很大的差别,对于按照老版的桥梁规范设计出来的桥梁因其设计荷载水平较低,面临着严重的耐久性和安全性的问题。同时,在实际桥梁交通场景中具有车流量大、车辆种类多、车辆运行随机性强等特点,高效精确地获得车辆荷载流以及交通流车辆荷载的力学作用是桥梁结构性能评估的难点。因此,对车辆荷载的识别并实时孪生判断荷载产生效应对桥梁的结构健康十分重要。
为了获得交通场景中的车重信息,引入桥梁动态称重(Bridge Weigh-In-Motion,BWIM)。桥梁动态称重相当于把桥梁作为一个“天平”载体,当车辆经过桥梁时,通过一些桥梁的动力响应信号测出车辆的车轴数、车轴重、车速等信息。Fred Moses率先提出基于最小二乘法的Moses算法进行车重反算,使得BWIM系统获得了快速的发展。但在实际运用中,得到车辆通过时的对应的响应信号是困难的,因此需要其他方法进行辅助提取。随着计算机技术和人工智能的不断发展,用于目标跟踪的卷积神经网络用来识别车辆时空信息成为一个重要的发展方向。同时由于实际设备产生的时间延迟对传统Moses算法影响很大,需要减少时间差并同时选取受时间影响更小的算法,且单独车重无法反映荷载情况,需要转化为更为直观的参数,管理人员也需要通过实时的孪生荷载效应来对桥梁进行及时的评估和分析。
发明内容
发明目的:针对以上问题,本发明提出了一种桥梁车辆荷载效应实时孪生方法,该方法通过机器视觉辅助,可以提取对应车辆经过车重反算区域时的响应信号,为车重反算提供了前提;在应变数据记录时间与视频时间同步方面将监控摄像头与应变数据采集仪连接到同源工作站,减少数据传输时间保证实时处理,且采用NTP服务器动态时间校准,使时间实时同步;同时采用对时间匹配要求较低和计算速度快的应变面积法反算车重;最后对车辆信息进行后处理,实时孪生出车辆荷载效应,且计算、保存、处理显示速度快,可以实现实时孪生。
技术方案:为实现本发明的目的,本发明提出了一种桥梁车辆荷载效应实时孪生方法,具体包括如下步骤:
步骤1:实桥安装应变传感器与摄像头,应变采集仪与摄像头连接至同一台工作站,皆采用NTP服务器实现动态时间校准;
步骤2:收集实桥摄像头拍摄图片样本,对图片中的车辆进行标定形成训练样本,并利用训练样本通过YoloV5框架进行模型训练,得到训练好的模型用于识别车辆类型;
步骤3:通过目标跟踪算法框架DeepSort对实际监控画面划分各车道区域和车重反算区域,并得到车辆时间空间信息,包括车速和车辆进出车重反算区域时间;
步骤4:通过实桥试验对选定桥梁进行影响线标定,得到实桥各车道的单位车重基准面积A'以及影响线I(y);
步骤5:根据步骤3得到的实际车辆进出车重反算区域时间提取实际应变数据,通过快速傅立叶变换去除噪声影响;
步骤6:计算实际车辆产生应变面积A;计算实际车辆车重G=A/A′;提取所需时间段内车辆信息[car],对车辆按车道分组得到[car]m,其中m为车道号;
步骤7:将每个车道内的车辆视为集中力,计算车辆通过车重反算区域与实际应变数据对应的纵向位置向量[y];由位置向量[y]提取对应的影响线纵坐标向量[I],计算车辆荷载应变效应;
步骤8:得到所取时间段内每个车道每辆车的荷载应变效应后,选取每个车道所有车辆应变数据的平均值或者最大值作为该时间段的荷载效应,通过实时图像孪生展示。
进一步的,步骤3中通过目标跟踪算法框架DeepSort二次开发实时得到车辆时间空间信息,具体包括:
通过目标跟踪算法获取识别到的车辆在监控画面中的像素坐标信息,对应划分区域得到车辆所在车道和进出车重反算区域的时间信息;
通过进出车重反算区域的时间差计算得到车速,建立适用于城市桥梁车辆追踪的算法,同时实时保存数据。
进一步的,步骤6中计算实际车辆产生应变面积A,公式如下:
其中εk为应变数据中第k个应变值,εk+1为应变数据中第k+1个应变值,K为总应变数据数,v为车辆速度,f为应变传感器采集频率。
进一步的,步骤7中通过机器视觉得到的车速与应变传感器采集频率计算得到车辆位置向量;车辆通过车重反算区域时间与位置对应关系为:
yi=v×i/f
其中yi为第i个时刻对应的车辆纵向位置,i为时刻编号,v为车辆通过车重反算区域的平均速度,f为应变传感器的采集频率。
进一步的,步骤7中由位置向量[y]提取对应的影响线纵坐标向量[I],计算车辆荷载应变效应:
[ε]=G×[I]
其中[ε]为车辆经过车重反算区域的应变矩阵,G为车辆的车重。
有益效果:与现有技术相比,本发明技术方案具有以下有益技术效果:
本发明提出的一种桥梁车辆荷载效应实时孪生方法,通过机器视觉辅助,可以提取对应车辆经过车重反算区域时的响应信号,为车重反算提供了前提;YoloV5目标检测模型识别速度快,检测速度每张图片快至0.007s,可达到每秒140帧的检测速度,速度与精度都能满足实际摄像头画面下车流的识别;监控摄像头与应变数据采集仪连接到同源工作站,在同一台设备上处理,数据保存本地数据库,减少数据传输时间保证实时处理的同时提高数据传输的稳定性;监控摄像头与应变采集仪皆采用NTP服务器动态时间校准,减少设备的时间差;采用对时间匹配度要求较小的应变面积法计算车重,减小设备时间差的影响;对车辆信息进行后处理,实时得到桥梁车道荷载效应并直观展现,还可与实际应变数据进行比较检验车重反算的准确性;整个方法流程涉及计算简单,无矩阵和迭代运算,计算速度快,可实现车辆荷载效应的实时展示。
附图说明
图1是一种实施例下一种桥梁车辆荷载效应实时孪生方法流程图;
图2是一种实施例下车辆标定样本图片;
图3是一种实施例下车道影响线图片;
图4是一种实施例下车辆荷载效应实时孪生图片。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种桥梁车辆荷载效应实时孪生方法,参考图1,具体包括以下步骤:
步骤1:实桥安装应变传感器与摄像头,应变采集仪与摄像头连接至同一台工作站,皆采用NTP服务器实现动态时间校准。
基于NTP服务器动态时间校准实现交通监控视频与动态应变监测的时间同步,实现车辆时空信息与应变数据的同步匹配。
步骤2:收集实桥监控画面图片,利用LabelImg对选定桥梁的实际车辆图片进行标定,车辆类别分为Sedan car、Mini bus、bus、truck四类,保存为VOC格式形成训练样本,标定界面如图2所示。同时利用标定后的训练样本通过YoloV5框架进行训练,根据所需要的识别车辆类型进行二次开发,实现在实际监控画面中对所标定的车辆类型的识别。
步骤3:通过目标跟踪算法框架DeepSort进行二次开发,即对实际监控画面划分区域,划分各车道区域和车重反算区域,本实例中车重反算区域为实桥跨中前后20m距离共40m区域,通过目标跟踪算法获取通过步骤2在监控画面中识别到的车辆在监控画面中的像素坐标信息,对应划分区域得到车辆所在车道和进出车重反算区域的时间信息,通过进出车重反算区域的时间差可计算得到车速,建立适用于城市桥梁车辆追踪的算法。将上述车辆信息保存至mysql数据库。
步骤4:通过实桥试验对选定桥梁进行影响线标定,得到实桥各车道的单位车重基准面积A'以及影响线I(y),基准面积如表1所示,影响线如图3所示,图3中横坐标表示桥梁的纵向位置,跨中位置横坐标为0,横坐标表示影响线纵坐标,为单位车重(1t)产生的应变。
表1各车道基准面积表
车道号 1 2 3 4 5 6 7 8
应变计1 0.9963 5.2073 4.6790 5.0492 2.8008 6.4190 4.5170 3.2974
应变计2 2.5140 2.9520 2.4304 3.2898 6.8744 4.6679 5.4826 2.5303
步骤5:根据步骤3得到的实际车辆进出车重反算区域时间,通过SQL语言实时在应变采集仪采集到的应变数据库中提取实际应变数据,通过快速傅立叶变换去除噪声影响。由于大型车产生应变效应大,在提取应变方面对识别车型为bus和truck的车辆在提取应变数据后选取最大应变对应时间前后3s的应变数据作为计算应变数据,进一步消除设备时间差的影响。
步骤6:计算实际车辆产生应变面积:
其中A为实际车辆产生应变面积,εk为应变数据中第k个应变值,εk+1为应变数据中第k+1个应变值,K为总应变数据数,v为车辆速度,f为应变传感器采集频率。
步骤7:计算实际车辆车重G并保存至mysql数据库:
其中G为实际车重,A为实际车辆产生应变面积,A′为基准面积。
步骤8:从步骤3和步骤7保存至mysql数据库的车辆信息中提取所需时间段内车辆信息[car],对车辆按车道分组得到[car]m,其中m为车道号。
步骤9:将每个车道内的车辆视为集中力,计算车辆通过车重反算区域与实际应变数据对应的纵向位置向量[y];车辆通过车重反算区域时间与位置对应关系为:
yi=v×i/f
其中yi为第i个时刻对应的车辆纵向位置,i为时刻编号,v为车辆通过车重反算区域的平均速度,f为应变传感器的采集频率,由上式计算出车辆的纵向位置向量[y]。
步骤10:由位置向量[y]提取对应的影响线纵坐标向量[I],计算车辆荷载应变效应:
[ε]=G×[I]
其中[ε]为车辆经过车重反算区域的应变矩阵,G为车辆的车重。
步骤11:得到所取时间段内每个车道每辆车的荷载应变效应后,可选取每个车道所有车辆应变数据的绝对值平均值作为该时间段的荷载效应,通过实时图像孪生展示。
如图4所示,图中横坐标表示时间,对应一天的24小时,纵坐标表示荷载效应,图4中取车辆应变数据的绝对值平均值作为荷载效应,由图4可直观展示每个时间段车辆经过的荷载效应,方便管理人员和监测人员进行桥梁安全分析,同时加入实际应变数据作为参照进一步加强数据可信度,该图像随时间实时更新,具备高度时效性。

Claims (6)

1.一种桥梁车辆荷载效应实时孪生方法,其特征在于,具体包括如下步骤:
步骤1:实桥安装应变传感器与摄像头,应变采集仪与摄像头连接至同一台工作站,皆采用NTP服务器实现动态时间校准;
步骤2:收集实桥摄像头拍摄图片样本,对图片中的车辆进行标定形成训练样本,并利用训练样本通过YoloV5框架进行模型训练,得到训练好的模型用于识别车辆类型;
步骤3:通过目标跟踪算法框架DeepSort对实际监控画面划分各车道区域和车重反算区域,并得到车辆时间空间信息,包括车速和车辆进出车重反算区域时间;
步骤4:通过实桥试验对选定桥梁进行影响线标定,得到实桥各车道的单位车重基准面积A'以及影响线I(y);
步骤5:根据步骤3得到的实际车辆进出车重反算区域时间,在应变采集仪采集到的应变数据库中提取实际应变数据,通过快速傅立叶变换去除噪声影响;
步骤6:计算实际车辆产生应变面积A;计算实际车辆车重G=A/A′;提取所需时间段内车辆信息[car],对车辆按车道分组得到[car]m,其中m为车道号;
步骤7:将每个车道内的车辆视为集中力,计算车辆通过车重反算区域与实际应变数据对应的纵向位置向量[y];由位置向量[y]提取对应的影响线纵坐标向量[I],计算车辆荷载应变效应;
步骤8:得到所取时间段内每个车道每辆车的荷载应变效应后,选取每个车道所有车辆应变数据的平均值或者最大值作为该时间段的荷载效应,通过实时图像孪生展示。
2.根据权利要求1所述的一种桥梁车辆荷载效应实时孪生方法,其特征在于,步骤3中通过目标跟踪算法框架DeepSort二次开发实时得到车辆时间空间信息,具体包括:
通过目标跟踪算法获取识别到的车辆在监控画面中的像素坐标信息,对应划分区域得到车辆所在车道和进出车重反算区域的时间信息;
通过进出车重反算区域的时间差计算得到车速,建立适用于城市桥梁车辆追踪的算法,同时实时保存数据。
3.根据权利要求1所述的一种桥梁车辆荷载效应实时孪生方法,其特征在于,步骤6中计算实际车辆产生应变面积A,公式如下:
其中εk为应变数据中第k个应变值,εk+1为应变数据中第k+1个应变值,K为总应变数据数,v为车辆速度,f为应变传感器采集频率。
4.根据权利要求1所述的一种桥梁车辆荷载效应实时孪生方法,其特征在于,步骤7中通过机器视觉得到的车速与应变传感器采集频率计算得到车辆位置向量;
车辆通过车重反算区域时间与位置对应关系为:
yi=v×i/f
其中yi为第i个时刻对应的车辆纵向位置,i为时刻编号,v为车辆通过车重反算区域的平均速度,f为应变传感器的采集频率。
5.根据权利要求1所述的一种桥梁车辆荷载效应实时孪生方法,其特征在于,步骤7中由位置向量[y]提取对应的影响线纵坐标向量[I],计算车辆荷载应变效应:
[ε]=G×[I]
其中[ε]为车辆经过车重反算区域的应变矩阵,G为车辆的车重。
6.根据权利要求1-5任一所述的一种桥梁车辆荷载效应实时孪生方法,其特征在于,车辆类别分为Sedan car、Mini bus、bus、truck四类,车辆信息保存至mysql数据库,根据实际车辆进出车重反算区域时间,通过SQL语言实时在应变数据库中提取实际应变数据,对识别车型为bus和truck的车辆在提取应变数据后选取最大应变对应时间前后3s的应变数据作为计算应变数据。
CN202310634146.0A 2023-05-31 2023-05-31 一种桥梁车辆荷载效应实时孪生方法 Pending CN116680894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310634146.0A CN116680894A (zh) 2023-05-31 2023-05-31 一种桥梁车辆荷载效应实时孪生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310634146.0A CN116680894A (zh) 2023-05-31 2023-05-31 一种桥梁车辆荷载效应实时孪生方法

Publications (1)

Publication Number Publication Date
CN116680894A true CN116680894A (zh) 2023-09-01

Family

ID=87786599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310634146.0A Pending CN116680894A (zh) 2023-05-31 2023-05-31 一种桥梁车辆荷载效应实时孪生方法

Country Status (1)

Country Link
CN (1) CN116680894A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291350A (zh) * 2023-11-24 2023-12-26 深圳市城市交通规划设计研究中心股份有限公司 一种城市桥梁群安全状态评估系统及评估方法
CN117409379A (zh) * 2023-10-17 2024-01-16 哈尔滨工业大学 一种基于计算机视觉的大跨桥梁车辆追踪与车辆荷载谱智能识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409379A (zh) * 2023-10-17 2024-01-16 哈尔滨工业大学 一种基于计算机视觉的大跨桥梁车辆追踪与车辆荷载谱智能识别方法
CN117291350A (zh) * 2023-11-24 2023-12-26 深圳市城市交通规划设计研究中心股份有限公司 一种城市桥梁群安全状态评估系统及评估方法
CN117291350B (zh) * 2023-11-24 2024-03-26 深圳市城市交通规划设计研究中心股份有限公司 一种城市桥梁群安全状态评估系统及评估方法

Similar Documents

Publication Publication Date Title
CN116680894A (zh) 一种桥梁车辆荷载效应实时孪生方法
CN111985494B (zh) 一种基于轻量化车载终端的道路病害检测及分类方法
CN111709332B (zh) 基于稠密卷积神经网络的桥梁车辆荷载时空分布识别方法
CN107657237A (zh) 基于深度学习的汽车碰撞检测方法及系统
CN111429484A (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN111735523B (zh) 基于视频识别的车重检测方法、装置及存储介质
CN111311567A (zh) 对轨道线路图像进行扣件和钢轨病害识别的方法
CN109887273B (zh) 一种基于多源冗余信息的桥梁活载优化识别方法
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN112215120B (zh) 视觉搜索区域的确定方法、装置及驾驶模拟器
CN111598845A (zh) 基于深度学习与neo-6m定位模块的路面裂缝检测与定位的方法
CN113203464A (zh) 一种动态车载称重系统的传感器故障检测方法
CN113203954A (zh) 一种基于时频图像处理的电池故障诊断方法
CN111259833A (zh) 一种基于交通图像的车辆计数方法
CN112884795A (zh) 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法
CN111597992B (zh) 一种基于视频监控的场景物体异常的识别方法
CN113191239A (zh) 一种基于计算机视觉的车辆外廓尺寸动态检测系统
CN115497303A (zh) 一种复杂检测条件下的高速公路车速检测方法及系统
CN113392695B (zh) 一种公路货车及其轮轴识别方法
CN115629385A (zh) 基于毫米波雷达和相机关联的车辆排队长度实时检测方法
CN107870084A (zh) 列车转向架的非接触式监测方法及系统
CN112488049A (zh) 一种动车组牵引电机及轴间夹挂异物的故障识别方法
CN111696070A (zh) 基于深度学习的多光谱图像融合电力物联网故障点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination