CN116692389A - 一种多类别多自由度机械臂卸货方法 - Google Patents

一种多类别多自由度机械臂卸货方法 Download PDF

Info

Publication number
CN116692389A
CN116692389A CN202310796766.4A CN202310796766A CN116692389A CN 116692389 A CN116692389 A CN 116692389A CN 202310796766 A CN202310796766 A CN 202310796766A CN 116692389 A CN116692389 A CN 116692389A
Authority
CN
China
Prior art keywords
carton
cartons
degree
mechanical arm
freedom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310796766.4A
Other languages
English (en)
Inventor
张伟
赵晨琨
杨硕
李大猷
魏鹏坤
宋然
马林
李晓磊
吴颖颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202310796766.4A priority Critical patent/CN116692389A/zh
Publication of CN116692389A publication Critical patent/CN116692389A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0233—Position of the article
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0266—Control or detection relating to the load carrier(s)

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Sorting Of Articles (AREA)

Abstract

本发明提供一种多类别多自由度机械臂卸货方法，涉及纸箱检测卸货领域，通过将多类别4自由度纸箱检测引入到卸货任务中，并建立检测方法，定位纸箱位置和旋转并识别纸箱类别，为了生成纸箱的拆卸顺序，提出利用基于人类先验知识的启发式规则；为了匹配不同类型的纸箱和任务设置的分类属性，对运动轨迹进行合理设计，获取完整的机械臂卸货系统，并能够满足效率和可靠性的需求。

Description

一种多类别多自由度机械臂卸货方法
技术领域
本发明涉及纸箱检测卸货领域，具体涉及一种多类别多自由度机械臂卸货方法
背景技术
生产线末端卸货是现代内部物料的重要组成部分，从托盘或容器中将包装好的纸箱逐个取出以对应订单要求。在一般的卸货应用中，纸箱的类别、尺寸、外观和重量存在差别，需要对纸箱进行更为准确的感知和自适应运动。在大多数现有工作中，带有箱体包装的产品存储在开放式托盘上并在开放空间中拆卸；现有技术中提出相应的机器人拆垛系统从不同托板上去除物品进行存储或交付、多传感器视觉系统和力控协作机器人检测托盘上的纸箱并控制机器人与纸箱的交互。
相比之下，集装箱卸货相较于开放式空间卸货更为复杂，比如卡车集装箱，集装箱卸货时需要检测和拆卸密闭空间中紧密码放的物品，视觉检测和运动规划难度更高，现有技术中提出了通过强化学习为机器人物流系统生成的纸箱拆卸顺序计划，但其只考虑了拆卸顺序的优化而并没有涉及视觉识别，另外，其他方案中还设计了机器人卸货系统，利用3D感知来定位纸箱，然后将纸箱从底板装载的集装箱中拆卸，然而忽略了纸箱的分类属性，采用了相对固定的运动配置，在不同的卸货场景中缺乏足够的灵活性。
发明内容
本发明的目的是针对现有技术存在的缺陷，提供一种多类别多自由度机械臂卸货方法，
本发明的目的是提供一种多类别多自由度机械臂卸货方法，采用以下方案：
检测纸箱码放空间并识别纸箱，并获取纸箱的位置、类别和方向；
依据纸箱的位置信息，机械臂沿从外到内的深度方向上依次抓取纸箱并卸货，同一深度位置，机械臂沿从高到低的高度方向上依次抓取并卸货；
依据纸箱的类别信息，对纸箱的运动轨迹进行规划，易碎类别的纸箱轨迹终点靠近或贴合外部传送带，非易碎类别的纸箱轨迹终点位于外部传送带的上方。
进一步的，识别纸箱后获取纸箱预测边界框信息，定位预测边界框的中心、边界框相对于水平轴的方向。
进一步的，在获取纸箱位置时，以预测边界框的中心映射获取纸箱的位置。
进一步的，基于卸货数据集对纸箱进行识别，其中，卸货数据集的建立包括：
以实际工作场景作为背景图像，将多种纸箱图像粘贴于背景图像得到生成图像，作为训练数据；
通过预先指定的纹理位置、纹理方向和纹理大小，获取生成图像中纸箱图像的边界框，建立卸货数据集。
进一步的，通过预先指定的纹理位置、纹理大小和纹理旋转角度，获取生成图像中纸箱图像的边界框，建立带有纸箱倾斜的卸货数据集。
进一步的，在生成纸箱的卸货顺序时，以深度方向为最高优先级，首先选择深度方向最小位置处的纸箱。
进一步的，对于初步选择的纸箱，检查该纸箱沿高度方向上是否有其他纸箱，若有其他纸箱，则改变所选择卸货的纸箱，若无其他纸箱，则抓取该纸箱并卸货。
进一步的，建立多类别多自由度纸箱检测网络，将方向检测添加到多类别多自由度纸箱检测网络中，并对纸箱进行检测和识别。
进一步的，利用圆形平滑标签技术进行纸箱的方向检测，将纸箱的旋转角度的预测作为分类问题，将旋转角度作为类别标签。
进一步的，在抓取易碎类别的纸箱后，对易碎类别的纸箱进行姿态校正，使其以底面水平状态落于外部输送带。
与现有技术相比，本发明具有的优点和积极效果是：
通过将多类别4自由度机械臂纸箱检测引入到卸货任务中，并建立检测方法，定位纸箱位置和旋转并识别纸箱类别，为了生成纸箱的拆卸顺序，提出利用基于人类先验知识的启发式规则；为了匹配不同类型的纸箱和任务设置的分类属性，对运动轨迹进行合理设计，获取完整的机械臂卸货系统，并能够满足效率和可靠性的需求。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例中圆形平滑标签的示意图。
图2为本发明实施例中边界框相对于水平轴方向的示意图。
图3为本发明实施例中获取生成图像的示意图。
图4为本发明实施例中生成卸货顺序时纸箱码放的示意图。
图5为本发明实施例中多类别4自由度检测的定性结果示意图
图6为本发明实施例中在不同环境下的纸箱识别结果示意图。
图7为本发明实施例中卸货不同纸箱时的示意图。
图8为本发明实施例中执行实际卸货测试示意图。
具体实施方式
实施例1
本发明的一个典型实施例中，如图1-图8所示，给出一种多类别多自由度机械臂卸货方法。
集装箱卸货时需要准确检测不规则码放的纸箱，还需要在密闭空间内有效拆卸纸箱，目前用于集装箱内卸货的方案通过优化拆卸顺序或3D感知来定位纸箱，未考虑纸箱的分类属性而导致采用了相对固定的运动配置，在不同的卸货场景中缺乏足够的灵活性。
基于此，本实施例提供一种多类别多自由度机械臂卸货方法，通过将多类别4自由度机械臂纸箱检测引入到卸货任务中，并建立检测方法，定位纸箱位置和旋转并识别纸箱类别，为了生成纸箱的拆卸顺序，提出利用基于人类先验知识的启发式规则；为了匹配不同类型的纸箱和任务设置的分类属性，对运动轨迹进行合理设计，获取完整的机械臂卸货系统，并能够满足效率和可靠性的需求。
下面，结合附图对多类别多自由度机械臂卸货方法进行详细说明。
多类别多自由度机械臂卸货方法包括：
检测纸箱码放空间并识别纸箱，并获取纸箱的位置、类别和方向；
依据纸箱的位置信息，机械臂沿从外到内的深度方向上依次抓取纸箱并卸货，同一深度位置，机械臂沿从高到低的高度方向上依次抓取并卸货；
依据纸箱的类别信息，对纸箱的运动轨迹进行规划，易碎类别的纸箱轨迹终点靠近或贴合外部传送带，非易碎类别的纸箱轨迹终点位于外部传送带的上方。
本实施例中所采用的机械臂具有6个自由度，主要在其中的4个自由度方向进行纸箱的拆卸作业。
对于纸箱的识别，本实施例中从纸箱检测、建立检测网络、合成数据生成进行分别说明。
多类别4自由度纸箱检测
识别纸箱是卸货任务的第一步，在现有的识别方案中，纸箱识别算法是类别不可知的，并且忽略了纸箱的方向，在本实施例中，引入纸箱检测的类别和方向信息，并将纸箱B的识别结果表示为B＝(u，v，θ，l)，其中，(u，v)为预测边界框的中心，θ是边界框相对于水平轴的方向，如图2所示，l是纸箱的类别标签。对于方向信息，实际部署机械臂时需要大的方形吸盘，如果不旋转相应的角度，可能会吸到别的纸箱，造成拆卸失败，所以每次拆卸时，机械臂先旋转相应的角度，然后再移动到相应位置。
从集装箱中选择检测到的纸箱时，将纸箱预测边界框的2D位置(u，v)转化为机械臂工作空间中的3D坐标(x，y，z)。通过眼在手外的标定将(u，v)映射到(x，y，z)，多类别4自由度纸箱检测结果可以表示为B＝(x，y，z，θ，l)。
建立纸箱检测网络
基于YOLOv5建立多类别4自由度纸箱检测网络，由于普通的YOLO没有考虑方向信息，在本实施例中，将方向检测部分添加到所提出的网络中，并采用圆形平滑标签(CSL)技术进行方向检测。
CSL技术将物体旋转角度的预测作为分类问题，即将旋转角度作为类别标签，如图1、图2所示。CSL的定义如下：
其中，g(x)是高斯函数，r是g(x)的半径，θ是边界框的当前角度。将角度作为一种分类任务，相当于将角度信息与帧参数信息解耦，因此对旋转帧的损失计算也分为两部分：角度损失和水平帧损失，即IOU损失。
整个任务的整体损失函数定义为：
其中，分类损失函数Lcls和LCSL为SigmoidBCE损失函数，回归损失函数Lreg为平滑的L1损失。在实践中，λ1、λ2、λ3是用于平衡3种不同的损失函数的超参数。
合成数据生成
在计算机视觉领域，目标检测是一个典型的数据驱动任务，有许多类型可用的公共数据集，然后现有并没有用于卸货任务的数据集，手动收集和标注大规模数据难以实现。对此，本实施例中，采用数据生成方法来综合创建图像并通过自动标记策略生成相应的标签。
为了使生成的数据更加真实，通过背景图像上粘贴不同的纸箱图片来创建数据。
具体的，将实际工作场景作为背景图像，从垂直的角度拍摄测试场地中的10种纸箱，并将这10种纸箱大量粘贴在背景图像上，以获得足够的训练数据，如图3所示；通过预先指定稳定的位置、方向和大小，可以获得生成图像中的纸箱的边界框。
另外，考虑实际的纸箱可能会出现倾斜，生成纸箱倾斜的数据集，同时，通过预先给定的纹理位置、纹理大小和纹理旋转角度，在生成的图像中得到相应的边界框。
为了对数据生成方法的性能进行测试，获取各种产品包装箱生成数据，并进行自动标记，测试了对产品包装盒的检测性能，验证了数据生成方法和标记策略的有效性。
通过标记真实数据，用来微调虚拟数据集上的训练结果。实验表明，在少量真实数据集上训练时，在虚拟数据集上训练的权值可以快速收敛。对于无法提供少量真实数据集的任务，这种收集数据的方法也可以用于训练和获得相当高的检测精度。
卸货顺序的生成和运动轨迹的选择
纸箱检测步骤完成后，需要确定已检测纸箱的拆卸顺序，以高效、安全地拆卸所有码放好的纸箱为目标。对此，采用基于人类直觉的启发式规则来生成纸箱拆卸顺序，将X轴上的优先级设置为最高，鼓励机械臂首先选择X轴上值最小的纸箱；对于初步选择的纸箱，进一步检查沿Z轴方向上是否有纸箱。
其中，人类直觉的启发式规则包括：
每次检测完成之后，会生成多个检测框，每个检测框代表一个纸箱。根据每个框中心的三维坐标来判断当前应该拆卸哪一个纸箱；首先考虑X轴最小的纸箱，然后判断其在Z轴方向是否有纸箱在其上方；若有则重新进行判断。
通过此规则，能够避免简单选择Z轴最大的一个纸箱作为第一个被卸货的纸箱而导致周围的纸箱坍塌。
如图4所示，若只考虑Z值，则会选择纸箱1作为第一个被卸货的纸箱，由于纸箱2在纸箱1的前侧，若直接拆卸纸箱1会使纸箱2倒塌，这在实际卸货任务中是不可取的。
考虑卸货安全的同时提高卸货效率，根据不同纸箱的分类属性和不同任务的设置，规划相应的运动轨迹。通过预测的类别标签来判断纸箱是否为易碎纸箱，若其为易碎纸箱，机械臂在抓取纸箱后会将纸箱移动至贴近传送带位置，释放后使纸箱平稳落于传送带，若纸箱为非易碎纸箱，机械臂在抓取纸箱后移动到传动带上方直接释放，使纸箱在重力作用下落于传送带，提高卸货效率。
对多类别4自由度纸箱检测方法进行验证，对纸箱检测的性能进行评估。
所提出的多类别4自由度纸箱检测方法使用PyTorch实现，并在3.60GHz的英特尔i9-9900K CPU上使用NVIDIA 2080Ti进行训练。训练数据包括两部分：真实场景和合成场景，前者与后者的比例为1：10。合成场景的训练数据主要包括两部分：通过仿真软件获得的数据和通过改变真实的无纹理纸箱的虚拟背景获得的数据。而测试数据都是在真实世界的使用RealSense D435i相机的卸货场景中捕获的。在实验中，使用了20多种不同大小的纸箱，所有的纸箱根据类别被分为两组，普通纸箱和易碎纸箱。RealSense相机是指深度相机。
根据标准的视觉检测工作，使用mAP(平均精度)作为评价标准来评估检测性能。测试数据包括合成场景的数据和手动标注的真实世界数据。
最后，所提出的纸箱检测方法在不同类别上达到了0.948mAP@0.5。定性评价结果如图5所示，表明本实施例中提供的多类别4自由度纸箱检测方法能够准确地检测可变大小的纸箱。即使在一些具有挑战性的条件下，如混乱码放的纸箱、倾斜视角和弱光环境下，如图6所示，本实施例中的多类别4自由度纸箱检测方法仍然能够检测纸箱。此外，还采用使用更多类型的产品箱来测试多类别4自由度纸箱检测方法，进一步证明了所提方法的泛化能力。
对机器人卸货系统进行评估，实现了一个完整的基于UR5机械臂的机器人卸货系统来验证实际的卸货性能。
机器人卸货系统由UR5机械臂、Intel RealSense D435i摄像头、吸盘和传送带组成。RealSense相机安装在机械臂的底部，用于捕捉容器中装有不同数量纸箱的场景的RGB-D观察结果。系统利用捕获的场景RGB-D图像，进行4自由度纸箱检测，根据设计的启发式规则选择一个纸箱进行抓取。然后，机械臂使用合适的运动轨迹放置所选的纸箱。被选择的纸箱被放置在正在运行的传送带上并被运走。系统将持续工作，直到容器为空。
进行实验以证明所开发的卸货系统在现实场景中是否运行良好。现实世界的测试包括两类纸箱，普通纸箱和易碎纸箱，包括20种不同的尺寸。每次测试的初始样例是从候选测试中随机选择纸箱。在选择完候选纸箱后，用随机顺序多次将它们放置到容器中，并报告平均性能。结果见表1。共进行了483次卸货尝试，平均成功率为98.76％。
表1不同尺寸纸箱的性能评估
图8为本实施例中的多类别多自由度机械臂卸货方法的实际测试结果。多类别多自由度机械臂卸货方法在各种场景下都表现良好，展示了使用该多类别多自由度机械臂卸货方法进行的真实测试，并演示了一个实用的机械臂卸货系统，该系统可以可靠地完成真实世界的集装箱卸货任务。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多类别多自由度机械臂卸货方法，其特征在于，包括：
检测纸箱码放空间并识别纸箱，并获取纸箱的位置、类别和方向；
依据纸箱的位置信息，机械臂沿从外到内的深度方向上依次抓取纸箱并卸货，同一深度位置，机械臂沿从高到低的高度方向上依次抓取并卸货；
依据纸箱的类别信息，对纸箱的运动轨迹进行规划，易碎类别的纸箱轨迹终点靠近或贴合外部传送带，非易碎类别的纸箱轨迹终点位于外部传送带的上方。
2.如权利要求1所述的多类别多自由度机械臂卸货方法，其特征在于，识别纸箱后获取纸箱预测边界框信息，定位预测边界框的中心、边界框相对于水平轴的方向。
3.如权利要求2所述的多类别多自由度机械臂卸货方法，其特征在于，在获取纸箱位置时，以预测边界框的中心映射获取纸箱的位置。
4.如权利要求2或3所述的多类别多自由度机械臂卸货方法，其特征在于，基于卸货数据集对纸箱进行识别，其中，卸货数据集的建立包括：
以实际工作场景作为背景图像，将多种纸箱图像粘贴于背景图像得到生成图像，作为训练数据；
通过预先指定的纹理位置、纹理方向和纹理大小，获取生成图像中纸箱图像的边界框，建立卸货数据集。
5.如权利要求4所述的多类别多自由度机械臂卸货方法，其特征在于，通过预先指定的纹理位置、纹理大小和纹理旋转角度，获取生成图像中纸箱图像的边界框，建立带有纸箱倾斜的卸货数据集。
6.如权利要求1所述的多类别多自由度机械臂卸货方法，其特征在于，在生成纸箱的卸货顺序时，以深度方向为最高优先级，首先选择深度方向最小位置处的纸箱。
7.如权利要求6所述的多类别多自由度机械臂卸货方法，其特征在于，对于初步选择的纸箱，检查该纸箱沿高度方向上是否有其他纸箱，若有其他纸箱，则改变所选择卸货的纸箱，若无其他纸箱，则抓取该纸箱并卸货。
8.如权利要求1所述的多类别多自由度机械臂卸货方法，其特征在于，建立多类别多自由度纸箱检测网络，将方向检测添加到多类别多自由度纸箱检测网络中，并对纸箱进行检测和识别。
9.如权利要求8所述的多类别多自由度机械臂卸货方法，其特征在于，利用圆形平滑标签技术进行纸箱的方向检测，将纸箱的旋转角度的预测作为分类问题，将旋转角度作为类别标签。
10.如权利要求1所述的多类别多自由度机械臂卸货方法，其特征在于，在抓取易碎类别的纸箱后，对易碎类别的纸箱进行姿态校正，使其以底面水平状态落于外部输送带。
CN202310796766.4A 2023-06-30 2023-06-30 一种多类别多自由度机械臂卸货方法 Pending CN116692389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310796766.4A CN116692389A (zh) 2023-06-30 2023-06-30 一种多类别多自由度机械臂卸货方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310796766.4A CN116692389A (zh) 2023-06-30 2023-06-30 一种多类别多自由度机械臂卸货方法

Publications (1)

Publication Number Publication Date
CN116692389A true CN116692389A (zh) 2023-09-05

Family

ID=87837333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310796766.4A Pending CN116692389A (zh) 2023-06-30 2023-06-30 一种多类别多自由度机械臂卸货方法

Country Status (1)

Country Link
CN (1) CN116692389A (zh)

Similar Documents

Publication Publication Date Title
JP6966757B1 (ja) オブジェクトを把持及び保持するためのロボット式マルチグリッパアセンブリ及び方法
CN112589791B (zh) 具有基于壁的打包机制的机器人系统及其操作方法
CN111776759B (zh) 具有自动化包裹登记机构的机器人系统及其操作方法
US10124489B2 (en) Locating, separating, and picking boxes with a sensor-guided robot
US9987746B2 (en) Object pickup strategies for a robotic device
US10229487B2 (en) Optical vibrometric testing of container for items
CN112368212B (zh) 用于进行基于模式识别的药物容器检查的机械手系统
EP3871172A1 (en) Systems and methods for learning to extrapolate optimal object routing and handling parameters
CN111344118A (zh) 用于定位物品和为每个物品计算适当抓取点的机器人系统的控制设备和方法
WO2012066819A1 (ja) ワーク取り出し装置
US20220016779A1 (en) Autonomous Robot Packaging of Arbitrary Objects
CN112802105A (zh) 对象抓取方法及装置
CN113351522B (zh) 物品分拣方法、装置及系统
CN110420867A (zh) 一种使用平面检测的自动分拣的方法
CN112802093A (zh) 对象抓取方法及装置
US20220134543A1 (en) Systems and methods for sku induction, decanting and automated-eligibility estimation
CN112802106A (zh) 对象抓取方法及装置
CN116692389A (zh) 一种多类别多自由度机械臂卸货方法
JP2023154055A (ja) ロボット多面グリッパアセンブリ及びその操作方法
Mojtahedzadeh Safe robotic manipulation to extract objects from piles: From 3D perception to object selection
US11436753B2 (en) Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system
Wong et al. Vision strategies for robotic manipulation of natural objects
JP2024019690A (ja) 物体の取り扱いを伴うロボットシステムのためのシステム及び方法
WO2024019701A1 (en) Bin wall collision detection for robotic bin picking
CN117415807A (zh) 一种多用途移动机器人的取货方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination