CN111767794A - 基于机器视觉的笼养家禽异常行为检测方法及检测系统 - Google Patents

基于机器视觉的笼养家禽异常行为检测方法及检测系统 Download PDF

Info

Publication number
CN111767794A
CN111767794A CN202010466976.3A CN202010466976A CN111767794A CN 111767794 A CN111767794 A CN 111767794A CN 202010466976 A CN202010466976 A CN 202010466976A CN 111767794 A CN111767794 A CN 111767794A
Authority
CN
China
Prior art keywords
poultry
image
area
detected
cage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010466976.3A
Other languages
English (en)
Inventor
张铁民
方成
庄晓霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202010466976.3A priority Critical patent/CN111767794A/zh
Publication of CN111767794A publication Critical patent/CN111767794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的笼养家禽异常行为检测方法及检测系统,方法包括步骤:可在畜禽舍内进行巡检的移动车上的深度摄像头获取感兴趣区域的彩色图像及深度图像,其中感兴趣区域包括食槽和待检测区域;在深度图像中定位出食槽位置,利用深度图像里食槽和待检测区域之间的距离对待检测区域进行定位;对待检测区域中的家禽的站立或卧倒姿态进行识别,判断其是否属于疑似病禽。本发明根据食槽在图像中的特征突出,能在图像中进行准确定位的特点,来间接实现对待检测区域进行准确定位,进而便于对家禽进行识别和定位,从而达到疾病预警的目的。

Description

基于机器视觉的笼养家禽异常行为检测方法及检测系统
技术领域
本发明涉及畜禽智能化养殖技术领域,更具体的说,涉及一种畜禽养殖场中基于机器视觉的笼养家禽异常行为检测方法及检测系统。
背景技术
以鸡这一家禽为例,笼养鸡比散养鸡具有更高的经济效益,因为它能充分利用建筑空间,降低养殖成本,从而解决土地资源紧张的问题。对于大型养殖场,由于笼养鸡数量庞大,工作人员较少,对笼养鸡健康状况的巡查较为困难。疾病发现的不及时可能导致大面积的鸡群感染,造成严重的经济损失,甚至威胁人类健康。同样的,其他类似鸭、猪等家禽的养殖也具有上述缺陷。
因此,家禽疾病的预警已经成为养殖场所关注的重点问题。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种基于机器视觉的笼养家禽异常行为检测方法,该方法能在不改变环境的前提下解决光线不足的问题,从而对笼养家禽行为进行监测,实现疾病预警的目的。
本发明的另一目的在于提供一种用于实现上述基于机器视觉的笼养家禽异常行为检测方法的检测系统,该系统包括可在畜禽舍内进行巡检的移动车,移动车上设有深度摄像头和处理器,处理器中软件模块用于实现笼养家禽异常行为检测方法,处理器通过网络与远程控制端连接,移动车上设有定位装置。通过移动车可在畜禽舍内巡检,在巡检过程中通过深度摄像头较近距离拍摄图像,通过笼养家禽异常行为检测方法对图像进行处理,实现笼养家禽异常行为准确检测。
本发明的目的通过以下的技术方案实现:基于机器视觉的笼养家禽异常行为检测方法,包括:
通过深度摄像头获取感兴趣区域的彩色图像及深度图像,其中感兴趣区域包括食槽和待检测区域;
在深度图像中定位出食槽位置,利用深度图像里食槽和待检测区域之间的距离对待检测区域进行定位;
对待检测区域中的家禽的站立或卧倒姿态进行识别,判断其是否属于疑似病禽。
本发明根据笼养家禽养殖中会配备“食槽”这一结构,食槽在图像中的特征突出,能在图像中进行准确定位的特点,来间接实现对待检测区域进行准确定位,进而便于对待检测区域中的家禽的姿态进行识别和定位,从而达到疾病预警的目的。
优选的,根据食槽特征在图像中定位出食槽位置,方法是:
在深度图像中获取出SURF特征点;
将深度图像中有特征点的行和该行的上下两行都进行标记;
利用Hough变换寻找深度图像中所有直线段;
找出最长的直线段确定为食槽位置。
优选的,在深度图像中定位出食槽位置后,通过矫正算法将食槽矫正成水平状态,以便于后续待检测区域的特征提取等,矫正算法是:
将彩色图像转换成灰度图像,并进行边缘检测和滤波;
然后采用Hough变换提取食槽直线段;
利用食槽直线段倾斜角计算旋转矩阵;
通过旋转矩阵利用仿射变换对图像进行校正。
更进一步的,边缘检测采用Sobel算子,滤波采用中值滤波。
优选的,对待检测区域中的家禽的站立或卧倒姿态进行识别,方法是:
(1)找出食槽中间水平线,利用深度图像信息获取该水平线上每点的真实距离dc,c表示水平线在深度图像上的列数;
(2)将图像上每列满足下面公式的点设置为白色,其余为黑色:
dc+k1<d′c<dc+k2
这里k1和k2为定值常数,d′c为第c列点到摄像头的真实距离;
(3)利用形态学方法过滤掉噪声点;
(4)将距离少于一定阈值的点的轮廓进行合并;
(5)找出图像中所有白色区域的轮廓,删除面积过小的轮廓,找出剩余轮廓的外接矩形;
(6)利用轮廓外接矩形判断家禽的姿态是处于站立姿态还是卧倒姿态,如果是卧倒姿态,则判定为疑似病禽。
更进一步的,所述步骤(6)中,通过轮廓外接矩形宽高比判断家禽是处于站立或是卧倒姿态,方法是:
Figure BDA0002512987910000031
这里Wrect为轮廓外接矩形的宽,Hrect为轮廓外接矩形的高;k3为定值常数,当宽高比大于k3时,即上式成立时,认为家禽处于卧倒姿态,上式不成立时,认为家禽处于站立姿态。
本发明与现有技术相比,具有如下优点和有益效果:
1、传统的畜禽养殖场中,摄像头安装在固定位置,在光线不足时会影响拍摄的图片效果。本发明提出将深度摄像头和处理器设置在可在畜禽舍内进行巡检的移动车上,从而可以提高拍摄的初始图片的质量,提高后续的行为检测的准确性。
2、本发明利用笼养家禽养殖中会配备“食槽”这一结构的特点,通过深度图像中食槽和待检测区域之间的距离对待检测区域进行准确定位,从而可提高识别的准确性,对笼养家禽姿态进行监测,实现疾病预警的目的。
附图说明
图1为本实施例笼养家禽异常行为检测方法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例1
本实施例基于机器视觉的笼养家禽异常行为检测系统,包括在畜禽舍内进行巡检的移动车,移动车上设有深度摄像头和处理器,深度摄像头用于获得包括食槽和待检测区域的彩色图像及深度图像,图像传递给处理器。处理器上加载有用于实现笼养家禽异常行为检测方法的软件模块,该软件模块对图像进行处理后,可得到当前位置处拍摄的图像中是否存在疑似病禽。在得到识别信息后,可以通过网络将信息发送到远程控制端,由控制端管理人员进行后续的查看、处理。当然,也可以在发现存在疑似病禽后,移动车实时对外发送提醒信息,或者先行记录,待移动车巡检完毕后,由现场工作人员将数据统一导出,进行分析和判断。
本实施例以鸡作为家禽为例,结合图1,对本实施例基于机器视觉的笼养家禽异常行为检测方法进行详细说明,包括以下步骤:
S1:通过深度摄像头获取感兴趣区域的彩色图像及深度图像,其中感兴趣区域包括食槽和待检测区域;
S2:在深度图像中定位出食槽位置,利用深度图像里食槽和待检测区域之间的距离对待检测区域进行定位;
S3:对待检测区域中的家禽的站立和卧倒姿态进行识别,判断其是否属于疑似病禽。
其中,步骤S1中,通过深度摄像头获取图像时,控制巡检小车的移动速度,统一为0.1m/s。巡检小车上深度摄像头的拍摄距离,统一为0.7m。
通过深度摄像头获取感兴趣区域的彩色图像及深度图像,先将彩色图像及深度图像信息分别进行预处理。针对所获得的彩色图像信息,需先将彩色图像进行预处理,统一处理成为16位的640*480分辨率大小的RGB三通道彩色畜禽图像信息。针对所获得的深度图像信息,需先将深度图像进行预处理,统一处理成为16位的单通道的畜禽深度图像信息。将预处理过的彩色图像信息和深度图像信息合并生成一个16位4通道的PNG格式图像。
由于巡检过程中移动车的移动使拍摄的图像中食槽不完全水平,需将图像中的食槽进行校正,校正是利用深度摄像头获得的彩色图像信息完成,其中步骤如下:
将彩色图像变成灰度图像,并利用Sobel算子进行边缘检测;
通过中值滤波把图像中的噪点滤掉;
利用Hough提取食槽直线段;
利用食槽直线段倾斜角计算旋转矩阵;
通过旋转矩阵利用仿射变换对图像进行校正。
在对食槽校正后,在图像中定位出食槽位置,并利用深度图像里食槽和待检测区域之间的距离对待检测区域进行定位,步骤如下:
S2.1、在深度图像中获取出SURF特征点;
S2.2、将有特征点的行和该行的上下两行都进行标记;
S2.3、利用Hough变换寻找深度图像中所有直线段;
S2.4、找出最长的直线段确定为食槽位置;
S2.5、利用深度图像里面的距离找出待检测区域。待检测区域为食槽下方,其中待检测区域的高度和食槽高度满足:
H食槽=k4H待检测区域,W待检测区域=k5
其中H食槽为食槽的高,H待检测区域为待检测区域的高,W待检测区域为待检测区域的宽,这里k4,k5为固定常数。
在对食槽进行校正和对待检测区域进行定位后,本实施例对待检测区域中的疑似病鸡进行识别,步骤是:
S3.1、找出食槽中间水平线,利用深度图像信息获取该水平线上每点的真实距离dc
S3.2、将图像上每列满足下面公式的点设置为白色,其余为黑色:
dc+k1<d′c<dc+k2
这里k1和k2为定值常数,d′c为第c列点到摄像头的真实距离;
S3.3、利用形态学方法过滤掉噪声点;
S3.4、将距离少于一定阈值(20个像素)点的轮廓进行合并;
S3.5、找出图像中所有白色区域的轮廓,删除面积过小的轮廓,找出剩余轮廓的外接矩形;
S3.6、利用轮廓外接矩形判断是否为疑似生病病鸡。
通过轮廓外接矩形宽高比判断家禽是否处于站立或是卧倒姿态。
Figure BDA0002512987910000051
这里Wrect为轮廓外接矩形的宽,Hrect为轮廓外接矩形的高;k3为定值常数,当宽高比大于k3时,即上式成立时,则认为鸡只处于卧倒姿态,若上式不成立,则认为鸡只处于站立姿态。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.基于机器视觉的笼养家禽异常行为检测方法,其特征在于,包括:
通过深度摄像头获取感兴趣区域的彩色图像及深度图像,其中感兴趣区域包括食槽和待检测区域;
在深度图像中定位出食槽位置,利用深度图像里食槽和待检测区域之间的距离对待检测区域进行定位;
对待检测区域中的家禽的站立或卧倒姿态进行识别,判断其是否属于疑似病禽。
2.根据权利要求1所述的基于机器视觉的笼养家禽异常行为检测方法,其特征在于,根据食槽特征在图像中定位出食槽位置,方法是:
在深度图像中获取出SURF特征点;
将深度图像中有特征点的行和该行的上下两行都进行标记;
利用Hough变换寻找深度图像中所有直线段;
找出最长的直线段确定为食槽位置。
3.根据权利要求2所述的基于机器视觉的笼养家禽异常行为检测方法,其特征在于,在深度图像中定位出食槽位置后,通过矫正算法将食槽矫正成水平状态,矫正算法是:
将彩色图像转换成灰度图像,并进行边缘检测和滤波;
然后采用Hough变换提取食槽直线段;
利用食槽直线段倾斜角计算旋转矩阵;
通过旋转矩阵利用仿射变换对图像进行校正。
4.根据权利要求3所述的基于机器视觉的笼养家禽异常行为检测方法,其特征在于,边缘检测采用Sobel算子,滤波采用中值滤波。
5.根据权利要求1所述的基于机器视觉的笼养家禽异常行为检测方法,其特征在于,对待检测区域中的家禽的站立或卧倒姿态进行识别,方法是:
(1)找出食槽中间水平线,利用深度图像信息获取该水平线上每点的真实距离dc,c表示水平线在深度图像上的列数;
(2)将图像上每列满足下面公式的点设置为白色,其余为黑色:
dc+k1<d′c<dc+k2
这里k1和k2为定值常数,d′c为第c列点到摄像头的真实距离;
(3)利用形态学方法过滤掉噪声点;
(4)将距离少于一定阈值的点的轮廓进行合并;
(5)找出图像中所有白色区域的轮廓,删除面积过小的轮廓,找出剩余轮廓的外接矩形;
(6)利用轮廓外接矩形判断家禽的姿态是处于站立姿态还是卧倒姿态,如果是卧倒姿态,则判定为疑似病禽。
6.根据权利要求5所述的基于机器视觉的笼养家禽异常行为检测方法,其特征在于,所述步骤(6)中,通过轮廓外接矩形宽高比判断家禽是处于站立或是卧倒姿态,方法是:
Figure FDA0002512987900000021
这里Wrect为轮廓外接矩形的宽,Hrect为轮廓外接矩形的高;k3为定值常数,当宽高比大于k3时,即上式成立时,认为家禽处于卧倒姿态,上式不成立时,认为家禽处于站立姿态。
7.一种用于实现权利要求1-6任一项所述笼养家禽异常行为检测方法的检测系统,其特征在于,该系统包括可在畜禽舍内进行巡检的移动车,移动车上设有深度摄像头和处理器,处理器中软件模块用于实现笼养家禽异常行为检测方法,处理器通过网络与远程控制端连接,移动车上设有定位装置。
CN202010466976.3A 2020-05-28 2020-05-28 基于机器视觉的笼养家禽异常行为检测方法及检测系统 Pending CN111767794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010466976.3A CN111767794A (zh) 2020-05-28 2020-05-28 基于机器视觉的笼养家禽异常行为检测方法及检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010466976.3A CN111767794A (zh) 2020-05-28 2020-05-28 基于机器视觉的笼养家禽异常行为检测方法及检测系统

Publications (1)

Publication Number Publication Date
CN111767794A true CN111767794A (zh) 2020-10-13

Family

ID=72719875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010466976.3A Pending CN111767794A (zh) 2020-05-28 2020-05-28 基于机器视觉的笼养家禽异常行为检测方法及检测系统

Country Status (1)

Country Link
CN (1) CN111767794A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221864A (zh) * 2021-04-12 2021-08-06 蚌埠学院 多区域深度特征融合的病鸡视觉识别模型构建及应用方法
CN114037552A (zh) * 2022-01-06 2022-02-11 华南农业大学 一种肉鸭生理生长信息巡检方法及系统
CN114120185A (zh) * 2021-11-16 2022-03-01 东莞先知大数据有限公司 一种三鸟档清笼确定方法、电子设备和存储介质
CN117016430A (zh) * 2023-09-22 2023-11-10 江苏省家禽科学研究所 一种基于智能监测的肉鸡养殖系统
WO2023221170A1 (zh) * 2022-05-17 2023-11-23 浙江大学 一种适用于笼养禽舍的病禽死禽巡检装置及方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221864A (zh) * 2021-04-12 2021-08-06 蚌埠学院 多区域深度特征融合的病鸡视觉识别模型构建及应用方法
CN114120185A (zh) * 2021-11-16 2022-03-01 东莞先知大数据有限公司 一种三鸟档清笼确定方法、电子设备和存储介质
CN114120185B (zh) * 2021-11-16 2022-08-09 东莞先知大数据有限公司 一种三鸟档清笼确定方法、电子设备和存储介质
CN114037552A (zh) * 2022-01-06 2022-02-11 华南农业大学 一种肉鸭生理生长信息巡检方法及系统
CN114037552B (zh) * 2022-01-06 2022-05-06 华南农业大学 一种肉鸭生理生长信息巡检方法及系统
WO2023221170A1 (zh) * 2022-05-17 2023-11-23 浙江大学 一种适用于笼养禽舍的病禽死禽巡检装置及方法
CN117016430A (zh) * 2023-09-22 2023-11-10 江苏省家禽科学研究所 一种基于智能监测的肉鸡养殖系统

Similar Documents

Publication Publication Date Title
CN111767794A (zh) 基于机器视觉的笼养家禽异常行为检测方法及检测系统
CN108717523B (zh) 基于机器视觉的母猪发情行为检测方法
Fang et al. Comparative study on poultry target tracking algorithms based on a deep regression network
Kashiha et al. Automatic identification of marked pigs in a pen using image pattern recognition
US20100224140A1 (en) Method and a System for Measuring an Animal's Height
CN111291683B (zh) 一种基于深度学习的奶牛个体识别系统及其识别方法
CN111914685B (zh) 母猪发情检测方法、装置、电子设备及存储介质
CN110532899B (zh) 基于热成像的母猪产前行为分类方法及系统
JP2019205425A (ja) 死亡鶏検知システム、鶏生死判定プログラム、および鶏生死判定装置
Kaixuan et al. Target detection method for moving cows based on background subtraction
CN111507179A (zh) 一种生猪采食行为分析方法
CN113662530B (zh) 一种猪只生理生长状态监测预警方法
CN115861721B (zh) 基于图像数据的畜禽养殖喷雾设备状态识别方法
CN112288793B (zh) 畜类个体背膘检测方法、装置、电子设备及存储介质
CN108460370B (zh) 一种固定式家禽生命信息报警装置
CN110188657A (zh) 基于卷曲叶片检测的玉米干旱识别方法
CN112528823A (zh) 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统
CN114494965A (zh) 一种基于视觉的流浪宠物的检测方法及系统
CN113920138A (zh) 一种基于rgb-d相机的奶牛体尺检测装置及其检测方法
CN112528772A (zh) 基于热红外的奶牛跛行运动特征检测方法及装置
CN111814698A (zh) 基于人工智能及航拍图像的牧区母牛护犊行为检测方法
EP3971766A1 (en) Dairy cattle nipple detection convolutional neural network model and construction method therefor
CN115830078A (zh) 生猪多目标跟踪及行为识别方法、计算机设备与存储介质
CN115914560A (zh) 一种母猪智能精准饲喂方法、装置、电子设备和存储介质
CN115147782A (zh) 一种死亡动物识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination