CN114983396A - 一种脊柱侧弯的自动检测系统 - Google Patents
一种脊柱侧弯的自动检测系统 Download PDFInfo
- Publication number
- CN114983396A CN114983396A CN202210756367.0A CN202210756367A CN114983396A CN 114983396 A CN114983396 A CN 114983396A CN 202210756367 A CN202210756367 A CN 202210756367A CN 114983396 A CN114983396 A CN 114983396A
- Authority
- CN
- China
- Prior art keywords
- testee
- degrees
- image
- human
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4566—Evaluating the spine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Physical Education & Sports Medicine (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种脊柱侧弯的自动检测系统,属于数字图像处理领域和深度学习领域,具体涉及图像的深度数据和卷积神经网络相结合的自动化脊柱侧弯检测系统。该系统首先是对人体站立位的背部图像进行获取,通过算法标注背部肩窝、肩胛骨拐点、腰凹、髂嵴和表皮脊柱线,根据临床医学判定患者是否患有脊柱侧弯的“四横一竖”标准,即根据双肩对称性、腰凹对称性、髂嵴对称性、肩胛骨对称性、表皮脊柱线侧弯角X°,判断受测者的情况。本发明在四横一竖的基础上,在专业医生指导下,增加三种前屈位剃刀背检测,最大可能地接近临床检验流程,极大的增加了检验结果的准确性和检验流程的完整性。
Description
技术领域
本发明属于数字图像处理领域和深度学习领域,具体涉及基于背部RGB图像和深度图像的全自动无接触式的脊柱侧弯检测方法及系统。
技术背景
脊柱侧凸俗称脊柱侧弯,是我国发病率第三的青少年疾病,全球约2%-4%的青少年患有脊柱侧弯。它是一种脊柱的三维畸形,包括冠状位、矢状位和轴位上的序列异常。正常人的脊柱从后面看应该是一条直线,并且躯干两侧对称。
脊柱侧凸早期表现有:双肩高低不平,脊柱偏离中线,肩胛骨一高一低,一侧胸部出现皱褶皮纹,前弯时双侧背部不对称。简单的检查是弯腰试验:让受试者脱上衣,双足立于平地上,立正位。双手掌对合,置双手到双膝之间,逐渐弯腰,检查者坐于受试者前或后方,双目平视,观察受试者双侧背部是否等高,如果发现一侧高,表明可能存在侧弯伴有椎体旋转所致的隆凸。如果弯腰试验阳性,应到医院及时就诊。
弯腰检测阳性的患者需要拍摄全脊柱X线片,如果正位X线片显示脊柱有大于10度的侧方弯曲,即可诊断为脊柱侧凸。轻度的脊柱侧凸通常没有明显的不适,外观上也看不到明显的躯体畸形。较重的脊柱侧凸则会影响婴幼儿及青少年的生长发育,使身体变形,严重者可以影响心肺功能、甚至累及脊髓,造成瘫痪。轻度的脊柱侧凸可以观察,严重者需要手术治疗。
目前脊柱侧弯由于缺乏简便高效大规模的脊柱侧弯筛查技术,青少年的脊柱侧弯问题的防治工作仍面临着巨大的挑战。随着数字图像处理技术以及深度学习技术的不断发展,越来越多的领域使用自动检测技术代替人工完成相关工作。针对脊柱侧弯的检测问题,利用深度相机获取受测者的背部深度数据,先通过算法提取所需要的感兴趣区域,利用深度学习网络对背部区域的“四横一竖”进行检测,即通过深度数据检测受测者的肩窝、肩胛骨拐点、腰凹、髂嵴是否在同一水平线且是否处于同一高度,检测背部的脊柱中线是否变形。并通过以上检测结果初步判断受测者是否患有脊柱侧弯。
发明内容
本发明针对目前大规模脊柱侧弯检测筛查中存在的问题:大规模的脊柱测弯检测筛查中,完全依赖医生的手动筛查,耗时长、每日检测人数多,对于医生来说负荷比较大,对于受测者来说,检测结果会受到人为因素影响,若医生连续检测人数过多,会导致检测结果不可靠。而X光片作为目前最准确的脊柱测弯检测手段,由于其辐射大、检测时间长、设备难以运送等原因不适用于大规模筛查,因此本发明设计了一种基于深度学习网络的无辐射自动化脊柱侧弯检测系统。
本发明技术方案是一种脊柱侧弯的自动检测系统,该系统包括:图片采集系统、升降机系统、自动标注系统、人机交互系统,所述图片采集系统包括采集RGB图像的相机和采集深度图像的相机,升降机系统用于调整图片采集系统中采集RGB图像的相机和采集深度图像的相机的高度,所述自动标注系统用于计算采集图像的:肩胛骨点、表皮脊柱线、关键点位,所述人机交互系统包括显示器、数据输入设备、数据输出设备;
所述图片采集系统的采集过程为:受测者在规定位置,不着上衣,双手自然下垂,直立位站立;升降机系统调整图像采集系统的位置,使采集RGB图像的相机和采集深度图像的相机正对人体背部;图像采集系统采集人体背部的RGB图像和深度图像;受测者再换用前屈30°、前屈45°、前屈90°站姿,重复采集人体背部的RGB图像和深度图像;
所述自动标注系统中的计算方法为:
步骤1:根据RGB图像和深度图像,将RGB图像和深度图像融合到同一三维坐标系中,生成具有彩色信息的受测者背部深度模型,并人家交互系统输出该受测者背部深度模型;
步骤2:采用深度学习网络选取受测者背部图像的感兴趣区域,并将该区域从受测者背部深度模型中分割出来;
步骤3:采用深度学习网络将步骤2分割出的感兴趣区域中识别出受测者背部的:肩胛骨拐点、肩窝、腰凹、髂嵴四对关键点和受测者背部体表脊柱中线和脊柱中线偏转角,并通过人机交互系统输出;
步骤4:再分别将前屈30°、前屈45°、前屈90°站姿对应的脊柱中线平均分割为10段;前屈30°站姿取上3段,前屈45°取中间4段,前屈90°取下3段,作为各站姿的参考线;
步骤5:将相机镜头垂直的方向为Z方向,建立XYZ坐标轴;将步骤4得到的参考线再分成10段;针对每一段,从第一个像素点与最后一个像素点连线的法向量中,选取一个法向量,该法向量可与相机镜头的某一垂直方向组成一个平面,而该平面垂直于XY平面;将该段参考线的所有3D点信息以该法向量为旋转方向绕X轴旋转对应的站姿角度,得到该段参考线的全新坐标,即全新参考线;
步骤6:计算每段全新参考线再Z方向上的最大高度差,找到比较每段全新参考线的最大高度差,找到最大的一个,为该站姿的最大高度差;
步骤7:利用步骤6得到的最大高度差,与阈值进行比较,判断剃刀背情况,并通过人机交互系统;
步骤8:根据个站姿下肩胛骨拐点、肩窝、腰凹、髂嵴四对关键点和对应的全新参考线判断对称点位的对称性、胸段、胸腰段、腰段三部分剃刀背及表皮脊柱线偏转角,并通过人机交互系统输出。
进一步的,人机交互系统在显示器上,显示显示双肩对称或不对称,右肩高或低及其具体参数;腰凹对称或不对称,右侧腰凹大或小及具体参数;髂嵴对称或不对称,右肩高或低及具体参数,胸段、胸腰段、腰段三部分剃刀背情况,具体最大高度差以及受测者初步的检测结果。
本发明通过图像的方式实现了大规模人体背部脊柱相关检测的自动化和精确化,减少了拍摄ct图像的放射性带来的危害。
附图说明
图1是直立位RGB图肩胛骨标记效果图;
图2是直立位RGB图标记效果图;
图3是直立位深度图像标记效果图;
图4是前屈30°站姿示意图;
图5是前屈45°站姿示意图;
图6是前屈90°站姿示意图;
图7是参考线、分段及其法向量的示意图;
图8是本脊柱侧弯标注系统的系统结构示意图。
图9是检测报告表。
具体实施方式
本发明技术方案是一种基于深度学习网络的自动化脊柱侧弯检测系统,该系统的检测方法包括以下步骤:
步骤1:受测者在规定位置,不着上衣,双手自然下垂,直立位站立;
步骤2:图像采集系统采集人体背部的RGB图像和深度图像,将两图像融合,并建立生成具有彩色信息的人体背部深度模型;
步骤2.1:点击开始后,系统根据相机拍摄到的图像,将升降机自动调整到适当的高度,即图像中出现人体完整背部图像;
步骤2.2:红外相机和深度相机同时采集受测者在同一位置的RGB图像及其深度图像;
步骤2.3:基于深度学习网络的算法按照深度图像和RGB图像的深度信息,实现三维重构并建立三维坐标,利用两图像深度信息的一致性,将其建在同一三维坐标系中,则完成两图像的融合,生成具有彩色信息的人体背部深度模型;
步骤2.4:图像在显示器上显示出来;
步骤3:选取自动选取关键点,利用关键点位深度信息,判断关键点对称性情况;
步骤3.1:利用步骤2中融合后的图像,基于深度学习网络的算法选取受测者背部图像的感兴趣区域,并将其模型分割出来;
步骤3.2::基于深度学习网络的算法标注人体背部的肩胛骨拐点、肩窝、腰凹、髂嵴等四对关键点;
步骤3.3:基于深度学习网络的算法利用步骤3.2中标注的几对关键点位的深度信息,判断其对称性;
步骤4:基于深度学习网络的算法自动生成表皮脊柱线;
步骤4.1:利用步骤3.1中分割的深度模型;
步骤4.2:在受测者的深度模型中,采用基于深度学习网络的算法回归生成背部体表脊柱中线,并标注在受测者背部深度图中;
步骤4.3:计算生成的表皮脊柱线与正常表皮脊柱线的偏转角度;
步骤5:受测者分别换用前屈30°、前屈45°、前屈90°姿势,系统重复步骤2和4,算法自动判断剃刀背;
步骤5.1:受测者更换站姿;
步骤5.2:重复步骤2;
步骤5.3:重复步骤4;
步骤5.4:将步骤5.3中获取的表皮脊柱线按照3:4:3的比例分成10段,前屈30°取前3段,前屈45°取中间4段,前屈90°取最后3段,作为各站姿的参考线;
步骤5.5:将步骤5.4取得的参考线分成10段,每段的第一个像素点与最后一个像素点连线的法向量中,选取与Z轴(与相机镜头垂直的方向称为Z轴)共同组成平面垂直与XY平面的法向量为旋转方向,并将该段的所有3D点信息绕X轴旋转对应的角度,将该段的背部的高度全部转换为新的Z轴坐标;
步骤5.6:利用步骤5.5转换后的坐标,在步骤5.4选取的参考线对称点位上遍历其高度差(及该段的各点位附近阈值之内所有点在Z轴方向的坐标),找到每段的最大高度差,将每段的高度差比较找到该站姿的最大高度差;
步骤5.7:利用步骤5.6得到的最大高度差,与阈值进行比较,判断剃刀背情况;
步骤6:基于深度学习网络的算法依据临床医学“四横一竖”的黄金标准,对步骤3、4中标注的结果进行处理,判断受测者的情况;
步骤6.1:根据步骤3、步骤4、步骤5中,各对称点位的对称性、胸段、胸腰段、腰段三部分剃刀背及表皮脊柱线偏转角,对受测者的情况作出判断;
步骤6.2:系统在界面上,显示显示双肩(对称/不对称),右肩高/低,具体参数,腰凹(对称/不对称),右侧腰凹大/小,具体参数,髂嵴(对称/不对称),右肩高/低,具体参数,胸段、胸腰段、腰段三部分剃刀背情况,具体最大高度差以及受测者初步的检测结果;
其中检测的指标有:双肩差值、两侧腰凹曲率差值、髂嵴差值、肩胛骨高度差、表皮脊柱线侧弯角、胸段高度最大差值、胸腰段高度最大差值、腰段高度最大差值。每个指标都有一个阈值,当大于阈值时,则认为该处不对称(或存在剃刀背),最后根据每个指标在检测中的重要性,赋予每一项一个权值,根据每一项超出阈值的比例与权值的乘积之和,再与检测估计的阈值相比较,大于则为脊柱侧弯,反之则不是。
Claims (2)
1.一种脊柱侧弯的自动检测系统,该系统包括:图片采集系统、升降机系统、自动标注系统、人机交互系统,所述图片采集系统包括采集RGB图像的相机和采集深度图像的相机,升降机系统用于调整图片采集系统中采集RGB图像的相机和采集深度图像的相机的高度,所述自动标注系统用于计算采集图像的:肩胛骨点、表皮脊柱线、关键点位,所述人机交互系统包括显示器、数据输入设备、数据输出设备;
所述图片采集系统的采集过程为:受测者在规定位置,不着上衣,双手自然下垂,直立位站立;升降机系统调整图像采集系统的位置,使采集RGB图像的相机和采集深度图像的相机正对人体背部;图像采集系统采集人体背部的RGB图像和深度图像;受测者再换用前屈30°、前屈45°、前屈90°站姿,重复采集人体背部的RGB图像和深度图像;
所述自动标注系统中的计算方法为:
步骤1:根据RGB图像和深度图像,将RGB图像和深度图像融合到同一三维坐标系中,生成具有彩色信息的受测者背部深度模型,并人机交互系统输出该受测者背部深度模型;
步骤2:采用深度学习网络选取受测者背部图像的感兴趣区域,并将该区域从受测者背部深度模型中分割出来;
步骤3:采用深度学习网络将步骤2分割出的感兴趣区域中识别出受测者背部的:肩胛骨拐点、肩窝、腰凹、髂嵴四对关键点和受测者背部体表脊柱中线和脊柱中线偏转角,并通过人机交互系统输出;
步骤4:再分别将前屈30°、前屈45°、前屈90°站姿对应的脊柱中线平均分割为10段;前屈30°站姿取上3段,前屈45°取中间4段,前屈90°取下3段,作为各站姿的参考线;
步骤5:将相机镜头垂直的方向为Z方向,建立XYZ坐标系;将步骤4得到的参考线再分成10段;针对每一段,从第一个像素点与最后一个像素点连线的法向量中,选取一个法向量,该法向量可与相机镜头的某一垂直方向组成一个平面,而该平面垂直于XY平面;将该段参考线的所有3D点信息以该法向量为旋转方向绕X轴旋转对应的站姿角度,得到该段参考线的全新坐标,即全新参考线;
步骤6:计算每段全新参考线再Z方向上的最大高度差,找到比较每段全新参考线的最大高度差,找到最大的一个,为该站姿的最大高度差;
步骤7:利用步骤6得到的最大高度差,与阈值进行比较,判断剃刀背情况,并通过人机交互系统;
步骤8:根据个站姿下肩胛骨拐点、肩窝、腰凹、髂嵴四对关键点和对应的全新参考线判断对称点位的对称性、胸段、胸腰段、腰段三部分剃刀背及表皮脊柱线偏转角,并通过人机交互系统输出。
2.如权利要求1所述的一种脊柱侧弯的自动检测系统,其特征在于,人机交互系统在显示器上,显示显示双肩对称或不对称,右肩高或低及其具体参数;腰凹对称或不对称,右侧腰凹大或小及具体参数;髂嵴对称或不对称,右肩高或低及具体参数,胸段、胸腰段、腰段三部分剃刀背情况,具体最大高度差以及受测者初步的检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210756367.0A CN114983396A (zh) | 2022-06-29 | 2022-06-29 | 一种脊柱侧弯的自动检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210756367.0A CN114983396A (zh) | 2022-06-29 | 2022-06-29 | 一种脊柱侧弯的自动检测系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114983396A true CN114983396A (zh) | 2022-09-02 |
Family
ID=83020416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210756367.0A Pending CN114983396A (zh) | 2022-06-29 | 2022-06-29 | 一种脊柱侧弯的自动检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114983396A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116869481A (zh) * | 2023-07-12 | 2023-10-13 | 北京鹰之眼智能健康科技有限公司 | 基于红外图像的脊柱整体结构状态检测方法和电子设备 |
WO2024109470A1 (zh) * | 2022-11-23 | 2024-05-30 | 华为技术有限公司 | 脊柱健康风险评估方法、相关装置 |
-
2022
- 2022-06-29 CN CN202210756367.0A patent/CN114983396A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024109470A1 (zh) * | 2022-11-23 | 2024-05-30 | 华为技术有限公司 | 脊柱健康风险评估方法、相关装置 |
CN116869481A (zh) * | 2023-07-12 | 2023-10-13 | 北京鹰之眼智能健康科技有限公司 | 基于红外图像的脊柱整体结构状态检测方法和电子设备 |
CN116869481B (zh) * | 2023-07-12 | 2024-02-20 | 北京鹰之眼智能健康科技有限公司 | 基于红外图像的脊柱整体结构状态检测方法和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
O'Grady et al. | Facial asymmetry: three-dimensional analysis using laser surface scanning | |
CN108320288B (zh) | 一种特发性脊柱侧凸影像的数据处理方法 | |
CN114983396A (zh) | 一种脊柱侧弯的自动检测系统 | |
Aubert et al. | 3D reconstruction of rib cage geometry from biplanar radiographs using a statistical parametric model approach | |
Douglas | Image processing for craniofacial landmark identification and measurement: a review of photogrammetry and cephalometry | |
Pazos et al. | Reliability of trunk shape measurements based on 3-D surface reconstructions | |
Komeili et al. | Surface topography asymmetry maps categorizing external deformity in scoliosis | |
Verhoeven et al. | Quantification of facial asymmetry: A comparative study of landmark-based and surface-based registrations | |
US20130324857A1 (en) | Automated system for workspace, range of motion and functional analysis | |
KR100979506B1 (ko) | 사상체질 자동진단기 | |
Ozsoy et al. | Effect of sitting, standing, and supine body positions on facial soft tissue: detailed 3D analysis | |
CN110059670B (zh) | 人体头面部、肢体活动角度及体姿非接触测量方法及设备 | |
Barbeito-Andrés et al. | Measurement error of 3D cranial landmarks of an ontogenetic sample using computed tomography | |
Schimmel et al. | Distances between facial landmarks can be measured accurately with a new digital 3-dimensional video system | |
Sánchez et al. | A video based method to quantify posture of the head and trunk in sitting | |
CN111105881B (zh) | 一种3d测量人类表型的数据库系统 | |
CN114173642A (zh) | 用于诊断和跟踪人的脊柱排列的发展的设备、方法和系统 | |
Zebeib et al. | Variability of the inclination of anatomic horizontal reference planes of the craniofacial complex in relation to the true horizontal line in orthognathic patients | |
CN108151670A (zh) | 一种后背三维对称度评价装置及方法 | |
CN114287915A (zh) | 一种基于背部彩色图像的无创脊柱侧弯筛查方法及系统 | |
Nicolau et al. | Accuracy of a 3D temporal scanning system for gait analysis: Comparative with a marker-based photogrammetry system | |
Kinel et al. | Normative 3D opto-electronic stereo-photogrammetric sagittal alignment parameters in a young healthy adult population | |
Seoud et al. | Multilevel analysis of trunk surface measurements for noninvasive assessment of scoliosis deformities | |
CN114092447B (zh) | 一种基于人体三维图像测量脊柱侧弯的方法、装置和设备 | |
Liew et al. | Performance of a lateral pelvic cluster technical system in evaluating running kinematics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |