CN116672000A - 组织定位的数据处理方法、装置、电子设备 - Google Patents
组织定位的数据处理方法、装置、电子设备 Download PDFInfo
- Publication number
- CN116672000A CN116672000A CN202310640882.7A CN202310640882A CN116672000A CN 116672000 A CN116672000 A CN 116672000A CN 202310640882 A CN202310640882 A CN 202310640882A CN 116672000 A CN116672000 A CN 116672000A
- Authority
- CN
- China
- Prior art keywords
- image
- display area
- display
- attribute information
- target tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000000877 morphologic effect Effects 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 17
- 230000004807 localization Effects 0.000 claims description 13
- 230000008520 organization Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 4
- 239000000758 substrate Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 9
- 210000001519 tissue Anatomy 0.000 description 128
- 238000003860 storage Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 239000007788 liquid Substances 0.000 description 10
- 239000002699 waste material Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000001574 biopsy Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005520 cutting process Methods 0.000 description 6
- 238000000799 fluorescence microscopy Methods 0.000 description 6
- 239000000126 substance Substances 0.000 description 6
- NJDNXYGOVLYJHP-UHFFFAOYSA-L disodium;2-(3-oxido-6-oxoxanthen-9-yl)benzoate Chemical compound [Na+].[Na+].[O-]C(=O)C1=CC=CC=C1C1=C2C=CC(=O)C=C2OC2=CC([O-])=CC=C21 NJDNXYGOVLYJHP-UHFFFAOYSA-L 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000001727 in vivo Methods 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 238000002271 resection Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000010226 confocal imaging Methods 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 210000002599 gastric fundus Anatomy 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000005016 Intestinal Neoplasms Diseases 0.000 description 1
- 208000005646 Pneumoperitoneum Diseases 0.000 description 1
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002183 duodenal effect Effects 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000012632 fluorescent imaging Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 1
- 229960004657 indocyanine green Drugs 0.000 description 1
- 201000002313 intestinal cancer Diseases 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- ODOJGYBXTZYZCP-UHFFFAOYSA-N molybdenum palladium Chemical compound [Mo].[Pd].[Pd].[Pd] ODOJGYBXTZYZCP-UHFFFAOYSA-N 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000002504 physiological saline solution Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/02—Instruments for taking cell samples or for biopsy
- A61B10/0233—Pointed or sharp biopsy instruments
- A61B10/0266—Pointed or sharp biopsy instruments means for severing sample
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Endoscopes (AREA)
Abstract
本申请公开了一种组织定位的数据处理方法、装置、电子设备。该方法包括:通过荧光内窥镜采集目标组织的白光图像和/或造影图像;根据所述白光图像和/或所述造影图像确定目标组织的第一属性信息,其中,第一属性信息包括目标组织第一精度的形态学参数和位置参数;根据所述第一属性信息,确定目标组织的第一定位区域;通过共聚焦镜头获取第一定位区域中组织的共聚焦图像;根据所述共聚焦图像确定目标组织的第二属性信息,所述第二属性信息包括第二精度的形态学参数和位置参数,第二精度高于第一精度;根据所述第二属性信息,确定目标组织的第二定位区域。解决了相关技术中组织定位准确率较低和边界不易准确判断的问题。
Description
技术领域
本申请涉及医疗辅助领域,具体而言,涉及一种组织定位的数据处理方法、装置以及电子设备。
背景技术
组织活检是在超声或钼钯立体定位引导下,通过计算机控制的真空辅助高速旋切乳房治疗性诊断设备,用于乳腺肿块(肿瘤)的微创治疗或活检。由于它能够在影像引导下实施乳腺的微创切除治疗,从而能够切除临床无法触及或手术难以切除的乳腺异常,大大提高了早期乳腺癌的诊断准确性。
但是现有技术中的影像引导,需要依赖于传统的医学成像,例如,超声成像、磁共振成像(MRI)、计算机断层扫描(CT)等成像方式,一方面依赖于外部的成本高昂的大型成像设备,另一方面由于成像的范围较大,往往存在精确度较低的问题。现有技术中也存在将镜头伸入体内,实现内部影像采集,但是这种方式成像受限于镜头的成像质量,也存在成像准确率较低的问题。
针对相关技术中组织定位准确率较低的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种组织定位的数据处理方法、装置以及电子设备,以解决相关技术中组织定位准确率较低的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种组织定位的数据处理方法,所述方法包括:采集体内目标组织的白光图像和/或造影图像;根据所述白光图像和/或所述造影图像确定所述目标组织的第一属性信息,其中,所述第一属性信息包括所述目标组织第一精度的形态学参数和位置参数;根据所述第一属性信息,确定所述目标组织的第一定位区域;采集所述第一定位区域中组织的共聚焦图像;根据所述共聚焦图像确定所述目标组织的第二属性信息,所述第二属性信息包括第二精度的形态学参数和位置参数,所述第二精度高于所述第一精度;根据所述第二属性信息,确定所述目标组织的第二定位区域。
可选的,所述方法还包括:在显示设备上确定同时显示的第一显示区域和第二显示区域,其中,所述第一显示区域和所述第二显示区域的位置和/或尺寸可调;在所述第一显示区域实时显示所述白光图像和/或所述造影图像,并在所述第二显示区域实时显示所述共聚焦图像。
可选的,在显示设备上确定同时显示的第一显示区域和第二显示区域包括:响应显示操作,控制所述显示设备进入显示页面,其中,所述显示页面上包括至少两个显示区域,所述至少两个显示区域的位置和/或尺寸具有初始规则设定,所述至少两个显示区域包括所述第一显示区域和所述第二显示区域;响应对所述显示区域的位置和/或尺寸调整操作,对所述显示区域的位置和/或尺寸进行调整;其中,所述位置的调整范围为所述显示页面范围内;所述尺寸的调整范围为所述显示页面占比的0%至100%。
可选的,在所述第一显示区域实时显示所述白光图像和/或所述造影图像,并在所述第二显示区域实时显示所述共聚焦图像包括:通过端口设备将所述白光图像、所述造影图像和/或所述共聚焦图像的图像信号,转换为数字信号,其中,所述端口设备为视频端口或者视频采集卡;将所述数字信号发送给所述显示设备,控制所述显示设备在所述第一显示区域实时显示所述白光图像和/或所述造影图像,以及在所述第二显示区域实时显示所述共聚焦图像。
可选的,所述方法还包括:在所述显示设备接收到新的信号源输入的情况下,自动增加第三显示区域;按照第三显示区域的位置和/或尺寸的初始规则设定,在所述显示设备中显示所述第三显示区域以及对应的信号源的视频。
可选的,所述方法还包括:在所述第一显示区域、所述第二显示区域和所述第三显示区域中的任一个显示区域的尺寸小于第一尺寸阈值时,对该任一个显示区域进行隐藏;在所述第一显示区域、所述第二显示区域和所述第三显示区域中的任两个显示区域的尺寸之和小于第二尺寸阈值时,对该任两个显示区域进行合并显示;所述第二尺寸阈值大于所述第一尺寸阈值。
可选的,采集所述目标组织的白光图像和/或造影图像之后,所述方法还包括:将所述白光图像和/或所述造影图像输入第一识别模型;根据所述第一识别模型的输出,对所述目标组织进行图像识别,确定所述目标组织的第一属性信息;在采集所述第一定位区域中目标组织的共聚焦图像之后,所述方法还包括:将所述共聚焦图像输入第二识别模型,根据所述第二识别模型的输出,对所述组织进行图像识别,确定所述组织的第二属性信息,其中,所述目标组织包括所述目标病灶,所述第二属性信息中位置信息包括所述目标病灶的边缘,所述第二属性信息中的形态学信息包括非目标病灶的目标组织是否存在所述目标病灶的切除残留。
可选的,所述方法还包括:通过吸引管,将荧光内窥镜置于体内,以采集所述白光图像和/或所述造影图像,其中,所述荧光内窥镜设在所述吸引管的内部;以及,通过所述吸引管,将共聚焦镜头置于第一定位区域,以采集所述共聚焦图像,其中,所述共聚焦镜头设置在所述吸引管内部,与所述荧光内窥镜互相独立。
为了实现上述目的,根据本申请的另一方面,提供了一种组织定位的数据处理装置,其特征在于,包括:第一成像模块,用于采集体内目标组织的白光图像和/或造影图像;第一分析模块,用于根据所述白光图像和/或造影图像确定目标组织的第一属性信息,其中,所述第一属性信息包括所述目标组织第一精度的形态学参数和位置参数;第一位模块,用于根据所述第一属性信息,确定所述目标组织的第一定位区域;第二成像模块,用于采集所述第一定位区域中组织的共聚焦图像;第二分析模块,用于根据所述共聚焦图像确定所述目标组织的第二属性信息,所述第二属性信息包括第二精度的形态学参数和位置参数,所述第二精度高于所述第一精度;第二定位模块,用于根据所述第二属性信息,确定所述目标组织的第二定位区域。
为了实现上述目的,根据本申请的另一方面,提供了一种计算机可读存储介质,所述存储介质用于存储程序,其中,所述程序执行上述中任意一项所述的组织定位的数据处理方法。
为了实现上述目的,根据本申请的另一方面,提供了一种电子设备,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述中任意一项所述的组织定位的数据处理方法。
本申请通过荧光内窥镜采集体内目标组织的白光图像和/或造影图像;根据造影图像确定目标组织的第一属性信息,其中,第一属性信息包括目标组织第一精度的形态学参数和位置参数;根据第一属性信息,确定目标组织的第一定位区域;通过共聚焦镜头获取第一定位区域中组织的共聚焦图像;根据共聚焦图像确定目标组织的第二属性信息,第二属性信息包括第二精度的形态学参数和位置参数,第二精度高于第一精度;根据第二属性信息,确定目标组织的第二定位区域。达到了利用荧光内窥镜进行第一精度的粗定位,然后基于第一定位区域利用共聚焦镜头进行第二精度的精准定位,确定第二定位区域,进而实现了提高目标组织定位的准确性,进而解决了相关技术中组织定位准确率较低的问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的一种组织定位的数据处理方法的流程图;
图2是根据本申请实施例提供的一种组织定位的数据处理装置的示意图;
图3是根据本申请实施例提供的一种电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合优选的实施步骤对本发明进行说明,图1是根据本申请实施例提供的一种组织定位的数据处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,采集目标组织的白光图像和/或造影图像;
步骤S102,根据所述白光图像和/或造影图像确定目标组织的第一属性信息,其中,第一属性信息包括目标组织第一精度的形态学参数和位置参数;
步骤S103,根据所述第一属性信息,确定所述目标组织的第一定位区域;
步骤S104,采集所述第一定位区域中组织的共聚焦图像;
步骤S105,根据所述共聚焦图像确定所述目标组织的第二属性信息,所述第二属性信息包括第二精度的形态学参数和位置参数,第二精度高于第一精度;
步骤S106,根据所述第二属性信息,确定目标组织的第二定位区域。
上述步骤通过荧光内窥镜采集目标组织的白光图像和/或造影图像;根据造影图像确定目标组织的第一属性信息,其中,第一属性信息包括目标组织第一精度的形态学参数和位置参数;根据第一属性信息,确定目标组织的第一定位区域;通过共聚焦镜头获取第一定位区域中组织的共聚焦图像;根据共聚焦图像确定目标组织的第二属性信息,第二属性信息包括第二精度的形态学参数和位置参数,第二精度高于第一精度;根据第二属性信息,确定目标组织的第二定位区域。达到了利用荧光内窥镜进行第一精度的粗定位,然后基于第一定位区域利用共聚焦镜头进行第二精度的精准定位,确定第二定位区域,进而实现了提高目标组织定位的准确性,进而解决了相关技术中组织定位准确率较低的问题。
上述步骤的执行主体可以为组织定位系统,该组织定位系统可以包括一个计算机终端,计算机终端包括处理器、计算器或控制器等数据处理设备进行数据处理,来执行上述步骤中的数据处理操作,例如步骤S101-步骤S106。
在上述组织定位系统中,上述计算机终端可以与激光器,上述荧光内窥镜,以及共聚焦镜头相连,用来控制上述激光器,荧光内窥镜,以及共聚焦镜头的工作启停,或者接收荧光内窥镜,以及共聚焦镜头采集的视频图像数据。上述计算机终端还可以包括显示器,显示上述视频图像数据。上述目标组织可以为包含目标病灶的全部或者部分目标组织。
上述激光器用于发出激发光线,来激发组织中预先充入的含有荧光物质的组织液发出荧光。上述荧光物质可以为ICG,也即吲哚菁绿,是一种感光染料。荧光物质还可以为荧光素钠,通过不同的荧光物质进行荧光成像,其目的都是为了在激发光线照射下,通过荧光物质显现出组织轮廓,进而实现对目标组织的形态学参数和位置进行确定。
上述荧光内窥镜也即是用来进行荧光成像的镜头,也可以是摄像头或者探头。用来在激光器发出激发光线后,通过采集荧光物质反射的光线,来采集含有荧光物质的组织液的形态,进而根据组织液的形态识别目标组织的形态和位置。
上述步骤S101,可以通过荧光内窥镜采集目标组织的白光图像和/或造影图像,荧光内窥镜本来是用于采集荧光图像的,但它也可以集成白光成像组件,同时采集白光图像,或者也可以是单独的白光成像组件用于采集白光图像,本发明不对此进行限定。需要说明的是,荧光成像可以通过ICG和/或荧光素钠成像。其中采用ICG时,光纤通光波长范围为:400nm–700nm;其中采用荧光素钠时,光纤通光波长范围为:700nm–950nm。
上述步骤S103,可以通过共聚焦镜头采集所述第一定位区域中组织的共聚焦图像。共聚焦镜头的精度高,可以观察到更加细微的细节,进而提高目标病灶定位的准确度。
可选的,可以通过两个荧光内窥镜进行成像,具体的,两个荧光内窥镜可以均进行ICG成像;两个荧光内窥镜可以均进行荧光素钠成像;还可以是一个荧光内窥镜进行ICG成像,另一个荧光内窥镜进行荧光素钠成像。
可选的,荧光内窥镜含多个通道,可以同时获得造影图像和/或白光图像。
得到的荧光成像可以用来识别目标组织的形态,确定目标组织的位置区域,还可以识别目标组织中的目标病灶在切除后的切缘,同时解决定位和切缘问题。
需要说明的是,荧光成像一般都是大视野成像,来确定目标组织于其他组织器官之间的位置关系,也可以确定目标组织的整体的外观形状。但是,大视野成像存在精度低的问题。
本实施例中荧光成像得到的造影图像和/或白光图像,为第一精度,第一精度也即是大视野成像的精度,通常在厘米级或毫米级,这通常只能满足宏观的观察需求,在进行对目标组织中的目标病灶切除后,往往难以满足对目标病灶的切缘观察需求,切缘观察可以确定目标病灶是否切除干净,精度较低的图像,难以观察清楚,若未切除干净,却误以为切除干净,则会导致较高的复发率。
因此,本实施例在荧光成像的第一精度的造影图像和/或白光图像的基础上,确定出目标组织的所在的位置区域,在该位置区域中通过共聚焦镜头,获取位置区域中目标组织的第二精度的共聚焦图像,进而根据共聚焦图像确定目标组织第二精度的轮廓和位置。
共聚焦成像的精度比较高,也即是上述第二精度高于上述第一精度,共聚焦成像的精度可以达到微米级或纳米级。可以更为精准的分辨目标病灶的切缘,以及在目标病灶未切除干净时,提供更加精准的定位。
由于白光图像和/或造影图像是大视野,共聚焦成像是高精度,在手术过程中,往往需二者频繁切换,来进行手术指导,但是,相关技术中,手术人员需要手持手术器械,通常无法有效对显示的页面进行切换,这就导致无法进行有效的手术引导。
为此,本实施例中提供了一种方案,在显示设备上同时显示白光图像和/或造影图像和共聚焦图像,避免了需要人为进行切换,存在操作不便,难以实现的问题。
在显示设备上确定同时显示的第一显示区域和第二显示区域,其中,第一显示区域和第二显示区域的位置和/或尺寸可调;在第一显示区域实时显示白光图像和/或造影图像,并在第二显示区域实时显示共聚焦图像。
例如,在第一显示区域上实时显示白光图像和/或造影图像,在第二显示区域实时显示共聚焦图像,需要说明的是,第一显示区域和第二显示区域在同一显示界面上,二者不发生重叠,二者形状大小可以根据需求进行调节。
响应显示操作,控制显示设备进入显示页面,其中,显示页面上包括至少两个显示区域,至少两个显示区域的位置和/或尺寸具有初始规则设定,至少两个显示区域包括第一显示区域和第二显示区域;响应对显示区域的位置和/或尺寸调整操作,对显示区域位置和/或尺寸进行调整;其中,位置的调整范围为显示页面范围内;尺寸的调整范围为显示页面占比的0%至100%。
还可以响应对显示区域的尺寸调整操作,对显示区域的尺寸进行调整。
进入显示页面后,显示预设的至少两个显示区域,也即是至少可以同时显示两个成像区域。两个成像区域的尺寸和比例是预先设定的,在刚进入显示页面的时候,都是默认尺寸。其尺寸和大小都可以调整。
对于多于两个显示区域的情况,考虑到显示设备的空间有限,可以将想要显示的两个显示区域以外的其他显示区域进行置底,也即是将想要显示的显示区域进行置顶。来实现对显示设备的显示区域的高效利用。
可选的,在第一显示区域实时显示白光图像和/或造影图像,并在第二显示区域实时显示共聚焦图像包括:通过端口设备将白光图像、造影图像和/或共聚焦图像的图像信号,转换为数字信号,其中,端口设备为视频端口或者视频采集卡;将数字信号发送给显示设备,控制显示设备在第一显示区域实时显示白光图像和/或造影图像,以及在第二显示区域实时显示共聚焦图像。
同屏双显功能可以通过采集卡,一分为二,接入到显示设备中,例如显示屏。通过采集卡,可以设置显示源的显示范围;本显示屏显示时,可以针对至少两个信号源,进行区域划分,使得显示比例、显示大小最佳。
可选的,上述方法还包括:在显示设备接收到新的信号源输入的情况下,自动增加第三显示区域;按照第三显示区域的位置和/或尺寸的初始规则设定,在显示设备中显示第三显示区域以及对应的信号源的视频。
上述方法还包括:在第一显示区域、第二显示区域和第三显示区域中的任一个显示区域的尺寸小于第一尺寸阈值时,对该任一个显示区域进行隐藏;在第一显示区域、第二显示区域和第三显示区域中的任两个显示区域的尺寸之和小于第二尺寸阈值时,对该任两个显示区域进行合并显示;第二尺寸阈值大于第一尺寸阈值。
可以根据实际的显示需求对当前不需要显示的显示区域进行自动隐藏,提高需要显示的显示区域的显示比例。
当有外部其他设备的信号源输入的时候,调整显微内窥镜的显示模式,在有限的区域中显示更关键的信息,例如菜单、历史信息等冗余信息不显示,时间、关键控制按钮缩小或调整显示位置。
也即是在第一显示区域、第二显示区域和第三显示区域中的任一个显示区域的尺寸小于对应的预设尺寸阈值的情况下,将第一显示区域、第二显示区域和第三显示区域中的预设信息进行隐藏或者合并显示。预设信息可以为,菜单,历史信息等冗余信息,保留显示关键信息,例如,时间,坐标等。
可选的,通过荧光内窥镜采集目标组织的白光图像和/或造影图像之后,方法还包括:将白光图像和/或造影图像输入第一识别模型;根据第一识别模型的输出,对目标组织进行图像识别,确定目标组织的第一属性信息。
在通过共聚焦镜头获取第一定位区域中组织的共聚焦图像之后,方法还包括:将共聚焦图像输入第二识别模型,根据第二识别模型的输出,对组织进行图像识别,确定组织的第二属性信息,其中,所述目标组织包括目标病灶,第二属性信息中位置信息包括目标病灶的边缘,第二属性信息中的形态学信息包括非目标病灶的目标组织是否存在目标病灶的切除残留。
还可以通过人工智能的深度学习模型,对白光图像和/或造影图像和/或共聚焦图像进行实时识别,将识别到的,位置坐标,组织类型等信息,同时显示在对应的显示区域,来进一步提供更多的信息,进行手术引导。
可选的,方法还包括:通过吸引管,将荧光内窥镜置于体内,以采集白光图像和/或造影图像,其中,荧光内窥镜设在吸引管的内部;以及,通过吸引管,将共聚焦镜头置于第一定位区域,采集共聚焦图像,其中,共聚焦镜头设置在吸引管内部,与荧光内窥镜互相独立。
上述荧光内窥镜,共聚焦镜头都可以设置在吸引管上,通过吸引管进入体内,采集目标组织的白光图像和/或造影图像和共聚焦图像。实现目标组织中目标病灶的定位和切缘检测。
上述吸引管是微创手术用来吸引体内组织废液。在目标组织受刺激,或者目标组织进行切割,采样等操作后,目标组织附近可能会产生影响观察的组织废液,此时就需要利用吸引泵通过吸引管的废液吸引管道将组织废液吸引干净,以保证成像的准确性和有效性,进一步提高了成像的准确率。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以不同于此处的顺序执行所示出或描述的步骤。
需要说明的是,本申请还提供了一种可选的实施方式,下面对该实施方式进行详细说明。
本实施方式提供了一种目标组织定位系统,经吸引管整合内窥镜(使用造影剂,通过荧光分布情况进行宏观观察,手术定位)和共聚焦系统(微观观察,观察手术位置或切缘组织细胞),通过执行上述组织定位的数据处理方法,从而实现实时定位、组织活检和切缘判断,指导及评估腹腔镜手术。
在腹腔镜手术的情况下:问题在于难以进行目标组织的准确定位,切除后难以确认是否完全切除。手术前后或手术中需要活检,特别是目标组织切除手术,大多需要在术中就进行活检确认,指导手术切除。
常规情况下,上述术中活检大多通过冷冻电镜进行,需要数十分钟甚至数小时,影响手术效率和病人健康;为了解决上述问题,本发明实施方式将共聚焦显微成像系统引入手术应用。
应用场景为两种:一种是在体情况,即可进行实时活检;另一种是离体情况,取出后进行实时活检。上述第一种情况,除了进行诊断、切除位置确认,还可以进行切缘判断:即恶变部位是否切除干净。上述第二种情况,主要是进行诊断,判断切下来的组织的特性,例如是否含有恶变细胞或组织。
对于上述第一种情况:为了使操作自由、方便,共聚焦显微成像通过软光纤配合显微物镜操作。手术过程中,主要操作的大夫主要一手持吸引管,一手持手术刀,一边进行操作,一边进行血水清理或冲洗用的生理盐水的清理,因此很难进行术中的显微成像操作。为了解决上述问题,本实施方式提供一个吸引管装置。
上述吸引管装置可兼容传统的气腹机吸引管系统;保留传统的废液吸引功能和气压调控(通过气孔)功能。另附一个并行的管道系统,和废液吸引的吸引管远端平行,近端和废液吸引管有距离(>5mm),避免影响气压调控气孔的操作,并且便于手持。
上述管道系统可以支持共聚焦显微成像系统的远端探头通过,直径大于远端探头直径;上述管道系统的近端包含固定装置,可以固定住软光纤,避免其在操作过程中发生移动。
上述管道系统还可以通过三通管结构和废液吸引管相通,此时接口部位需设置橡胶套或抗逆流阀,防止废液进入上述管道系统。
为了考虑人体工学,便于术中操作时手持角度和操作角度的便捷,该吸引管和近端和远端呈一定角度,角度范围为[20°,180°];
常规使用场景下,不同的设备有不同的显示界面、显示屏,操作者在操作过程中需要不停的查看不同位置的显示屏,而设备位置差异、显微内窥镜视野相对电子内窥镜视野小,转换显示屏显示时的微小扰动就会造成图像大变,为操作带来极大不便。
为了解决上述问题,让操作者查看不同设备的显示更加方便,本实施方式设计同屏双显功能;通过其他设备的视频输出口(HDMI/DVI/VGA等)接入到本系统的显示屏中。
还可以通过采集卡,一分为二,接入到本系统的显示屏中;通过采集卡,可以设置显示源的显示范围。
本显示屏显示时,可以针对至少两个信号源,进行区域划分,使得显示比例、显示大小最佳;当有外部其他设备的信号源输入的时候,调整显微内窥镜的显示模式,在有限的区域中显示更关键的信息,例如菜单、历史信息等冗余信息不显示,时间、关键控制按钮缩小或调整显示位置。
输出不同显示设备的自动识别效果,例如根据电子内窥镜输出判断宏观位置(十二指肠、胃体、胃底等),根据显微内窥镜输出判断细胞类型(正常(胃底、胃体、十二指肠等)或异常(胃癌、肠癌等);根据以上信息完成拼接、配准、记录、输出;识别方法为人工智能方法。
图2是根据本申请实施例提供的一种组织定位的数据处理装置的示意图,如图2所示,本申请实施例还提供了一种组织定位的数据处理装置,需要说明的是,本申请实施例的组织定位的数据处理装置可以用于执行本申请实施例所提供的用于组织定位的数据处理方法。以下对本申请实施例提供的组织定位的数据处理装置进行介绍。该装置包括:第一成像模块21,第一分析模块22,第一定位模块23,第二成像模块24,第二分析模块25,第二定位模块26,具体如下。
第一成像模块21,用于通过荧光内窥镜采集体内目标组织的白光图像和/或造影图像;第一分析模块22,与上述第一成像模块21相连,用于根据白光图像和/或造影图像确定目标组织的第一属性信息,其中,第一属性信息包括目标组织第一精度的形态学参数和位置参数;第一定位模块23,与上述第一分析模块22相连,用于根据第一属性信息,确定目标组织的第一定位区域;第二成像模块24,与上述第一定位模块23相连,用于在第一定位区域中通过共聚焦镜头获取第一定位区域中目标组织的共聚焦图像;第二分析模块25,与上述第二成像模块24相连,用于根据共聚焦图像确定目标组织的第二属性信息,第二属性信息包括第二精度的形态学参数和位置参数,第二精度高于第一精度;第二定位模块26,与上述第二分析模块25相连,用于根据第二属性信息,确定目标组织的第二定位区域。
上述组织定位的数据处理装置,通过荧光内窥镜采集目标组织的白光图像和/或造影图像;根据造影图像确定目标组织的第一属性信息,其中,第一属性信息包括目标组织第一精度的形态学参数和位置参数;根据第一属性信息,确定目标组织的第一定位区域;通过共聚焦镜头获取第一定位区域中组织的共聚焦图像;根据共聚焦图像确定目标组织的第二属性信息,第二属性信息包括第二精度的形态学参数和位置参数,第二精度高于第一精度;根据第二属性信息,确定目标组织的第二定位区域。达到了利用荧光内窥镜进行第一精度的粗定位,然后基于第一定位区域利用共聚焦镜头进行第二精度的精准定位,确定第二定位区域,进而实现了提高目标组织定位的准确性,进而解决了相关技术中组织定位准确率较低的问题。
所述组织定位的数据处理装置包括处理器和存储器,上述第一成像模块21,第一分析模块22,第一定位模块23,第二成像模块24,第二分析模块25,第二定位模块26等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决了相关技术中非电容屏原配的电容笔在使用时,用户无法确定是否适配的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述组织定位的数据处理方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述组织定位的数据处理方法。
图3是根据本申请实施例提供的一种电子设备的示意图,如图3所示,本申请实施例提供了一种电子设备30,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现上述组织定位的数据处理方法的步骤:
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在组织定位的数据处理设备上执行时,适于执行初始化有上述任一方法步骤的程序。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程组织定位的数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程组织定位的数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程组织定位的数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程组织定位的数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种组织定位的数据处理方法,其特征在于,所述方法包括:
采集目标组织的白光图像和/或造影图像;
根据所述白光图像和/或所述造影图像确定所述目标组织的第一属性信息,其中,所述第一属性信息包括所述目标组织第一精度的形态学参数和位置参数;
根据所述第一属性信息,确定所述目标组织的第一定位区域;
采集所述第一定位区域中组织的共聚焦图像;
根据所述共聚焦图像确定所述目标组织的第二属性信息,所述第二属性信息包括第二精度的形态学参数和位置参数,所述第二精度高于所述第一精度;
根据所述第二属性信息,确定所述目标组织的第二定位区域。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在显示设备上确定同时显示的第一显示区域和第二显示区域,其中,所述第一显示区域和所述第二显示区域的位置和/或尺寸可调;
在所述第一显示区域实时显示所述白光图像和/或所述造影图像,并在所述第二显示区域实时显示所述共聚焦图像。
3.根据权利要求2所述的方法,其特征在于,在显示设备上确定同时显示的第一显示区域和第二显示区域包括:
响应显示操作,控制所述显示设备进入显示页面,其中,所述显示页面上包括至少两个显示区域,所述至少两个显示区域的位置和/或尺寸具有初始规则设定,所述至少两个显示区域包括所述第一显示区域和所述第二显示区域;
响应对所述显示区域的位置和/或尺寸调整操作,对所述显示区域位置和/或尺寸进行调整;
其中,所述位置的调整范围为所述显示页面范围内;所述尺寸的调整范围为所述显示页面占比的0%至100%。
4.根据权利要求3所述的方法,其特征在于,在所述第一显示区域实时显示所述白光图像和/或所述造影图像,并在所述第二显示区域实时显示所述共聚焦图像包括:
通过端口设备将所述白光图像、造影图像和/或所述共聚焦图像的图像信号,转换为数字信号,其中,所述端口设备为视频端口或者视频采集卡;
将所述数字信号发送给所述显示设备,控制所述显示设备在所述第一显示区域实时显示所述白光图像和/或所述造影图像,以及在所述第二显示区域实时显示所述共聚焦图像。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在所述显示设备接收到新的信号源输入的情况下,自动增加第三显示区域;
按照第三显示区域的位置和/或尺寸的初始规则设定,在所述显示设备中显示所述第三显示区域以及对应的信号源的视频。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在所述第一显示区域、所述第二显示区域和所述第三显示区域中的任一个尺寸小于第一尺寸阈值时,对该任一个显示区域进行隐藏;
在所述第一显示区域、所述第二显示区域和所述第三显示区域中的任两个尺寸之和小于第二尺寸阈值时,对该任两个显示区域进行合并显示;
所述第二尺寸阈值大于所述第一尺寸阈值。
7.根据权利要求1所述的方法,其特征在于,
所述采集目标组织的白光图像和/或所述造影图像之后,所述方法还包括:将所述白光图像和/或所述造影图像输入第一识别模型;根据所述第一识别模型的输出,对所述目标组织进行图像识别,确定所述目标组织的第一属性信息;
所述采集第一定位区域中组织的共聚焦图像之后,所述方法还包括:将所述共聚焦图像输入第二识别模型,根据所述第二识别模型的输出,对所述组织进行图像识别,确定所述目标组织的第二属性信息,其中,所述目标组织包括目标病灶,所述第二属性信息中位置信息包括所述目标病灶的边缘,所述第二属性信息中的形态学信息包括非目标病灶的目标组织是否存在所述目标病灶的切除残留。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述方法还包括:
通过吸引管,将荧光内窥镜置于体内,以采集所述白光图像和/或所述造影图像,其中,所述荧光内窥镜设在所述吸引管的内部;以及,
通过所述吸引管,将共聚焦镜头置于第一定位区域,以采集所述共聚焦图像,其中,所述共聚焦镜头设置在所述吸引管内部,与所述荧光内窥镜互相独立。
9.一种组织定位的数据处理装置,其特征在于,包括:
第一成像模块,用于采集目标组织的白光图像和/或造影图像;
第一分析模块,用于根据所述白光图像和/或所述造影图像确定目标组织的第一属性信息,其中,所述第一属性信息包括所述目标组织第一精度的形态学参数和位置参数;
第一定位模块,用于根据所述第一属性信息,确定所述目标组织的第一定位区域;
第二成像模块,用于采集所述第一定位区域中组织的共聚焦图像;
第二分析模块,用于根据所述共聚焦图像确定所述目标组织的第二属性信息,所述第二属性信息包括第二精度的形态学参数和位置参数,所述第二精度高于所述第一精度;
第二定位模块,用于根据所述第二属性信息,确定所述目标组织的第二定位区域。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的组织定位的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310640882.7A CN116672000A (zh) | 2023-05-30 | 2023-05-30 | 组织定位的数据处理方法、装置、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310640882.7A CN116672000A (zh) | 2023-05-30 | 2023-05-30 | 组织定位的数据处理方法、装置、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116672000A true CN116672000A (zh) | 2023-09-01 |
Family
ID=87780379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310640882.7A Pending CN116672000A (zh) | 2023-05-30 | 2023-05-30 | 组织定位的数据处理方法、装置、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116672000A (zh) |
-
2023
- 2023-05-30 CN CN202310640882.7A patent/CN116672000A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10842566B1 (en) | Biophotonic surgical probe | |
US20220151702A1 (en) | Context aware surgical systems | |
JP6804065B2 (ja) | コヒーレントラマンイメージング用生検装置 | |
CN110831485A (zh) | 使外科手术干预自动化的方法和系统 | |
JP6499664B2 (ja) | 光学検鏡 | |
US10204415B2 (en) | Imaging apparatus | |
CN107427202B (zh) | 用于照射人类或动物身体内部的感兴趣结构的设备、系统和方法 | |
US11694335B2 (en) | Systems and methods for displaying medical imaging data | |
US20180228552A1 (en) | Surgical cell, biologics and drug deposition in vivo, and real-time tissue modification with tomographic image guidance and methods of use | |
US20160120524A1 (en) | Apparatus and method for supporting biopsy | |
US20020173783A1 (en) | Beam scanning probe system for surgery | |
US20160030022A1 (en) | Optical Biopsy Needle and Endoscope System | |
CN102906784A (zh) | 处理样本图像 | |
JP5861225B2 (ja) | 被検サンプル組織体中の検体細胞の有無判別方法および装置 | |
JP7014509B2 (ja) | 医用画像処理装置および内視鏡装置 | |
CN116672000A (zh) | 组织定位的数据处理方法、装置、电子设备 | |
JP2020081869A (ja) | 灌注器及び/又は吸引器並びに光ファイバー脳血塊分析器を有するカテーテル | |
CN116671994A (zh) | 病灶定位系统及其数据处理方法、电子设备 | |
Voros et al. | Devices and systems targeted towards augmented robotic radical prostatectomy | |
CN109938683A (zh) | 可变焦腔体内窥镜探测装置及激光扫描腔体内窥镜 | |
CN109758098A (zh) | 可变焦式腔体内窥镜探测装置及激光扫描腔体内窥镜 | |
US20220000339A1 (en) | Diagnostic cervical scanning and treatment device | |
US20230165658A1 (en) | Systems and methods for connecting a medical imaging device to a medical imaging controller | |
Tanbakuchi et al. | Clinical evaluation of a confocal microendoscope system for imaging the ovary | |
WO2015069657A1 (en) | Advanced systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |