CN115426934A - 医疗光学系统、数据处理系统、计算机程序和非易失性计算机可读存储介质 - Google Patents

医疗光学系统、数据处理系统、计算机程序和非易失性计算机可读存储介质 Download PDF

Info

Publication number
CN115426934A
CN115426934A CN202180029269.0A CN202180029269A CN115426934A CN 115426934 A CN115426934 A CN 115426934A CN 202180029269 A CN202180029269 A CN 202180029269A CN 115426934 A CN115426934 A CN 115426934A
Authority
CN
China
Prior art keywords
tissue
image
classification
tumor
macroscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180029269.0A
Other languages
English (en)
Inventor
C.豪格
S.索尔
G.帕尼茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Publication of CN115426934A publication Critical patent/CN115426934A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Microscoopes, Condenser (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明涉及一种医疗光学系统。该医疗光学系统包括:‑显微内窥镜(3),该显微内窥镜用于捕获组织学图像,这些组织学图像中的每一个显示具有肿瘤(23)的宏观组织区域(15)的微观组织切片(16);以及‑分类装置(31),该分类装置用于将在这些组织学图像中显示的这些微观组织切片(16)至少分类为表示该肿瘤(23)的一个相应组织切片或表示健康组织的组织切片,并且用于输出每个被分类的微观组织切片(16)的分类结果。该医疗光学系统另外包括组合装置(37),该组合装置通过组合这些分类结果来生成宏观分类图像(43),所述分类图像表示该肿瘤(23)在该宏观组织区域(15)中的位置。

Description

医疗光学系统、数据处理系统、计算机程序和非易失性计算机 可读存储介质
本发明涉及一种用于对组织进行分类的医疗光学系统。另外,本发明涉及一种数据处理系统、一种计算机程序和一种非易失性计算机可读存储介质。
在治疗肿瘤的范围内,试图以有针对性的方式作用于肿瘤,以便移除肿瘤,同时在很大程度上保留肿瘤周围的组织。然而,这需要尽可能知道肿瘤在组织区域中的位置,以便能够实际上将治疗(例如,切除或辐照)限制在肿瘤上。而且,知道存在的肿瘤类型通常对治疗很重要,因此除了知道肿瘤在组织区域中的位置外,知道肿瘤类型也很重要。
到目前为止,还使用基于人工智能的系统来区分肿瘤组织与健康组织,所述系统能够执行将所成像的组织分类为肿瘤组织和健康组织,并且基于图像中包含的光学信息来检测肿瘤边界。举例来说,US 9,754,371 B2描述了一种方法,其中,由人工智能使用从手术显微镜或内窥镜获得的组织区域的图像来将组织实时分类为正常组织或异常组织。
举例来说,可以基于组织区域中荧光辐射的衰变时间来检测肿瘤边界,例如,如US2018/0338802 A1中所描述的。而且,还在Y.Sun等人的“Fluorescence lifetime imagingmicroscopy for braintumor image-guided surgery[用于脑肿瘤图像导引手术的荧光寿命成像显微术]”(生物医学光学杂志15(5),2010年9月/10月)中描述了一种用于基于荧光辐射的衰变行为来将肿瘤组织与健康组织区别开的方法。
可以借助于基于扫描成像方法并且有助于细胞级分辨率的显微内窥镜来记录约为0.5mm×0.5mm的小组织区域的图像(可在其中识别出细胞结构)。举例来说,这样的显微内窥镜在文档US 7,162,292 B2和WO 2018/152248 A1中有所描述。使用这样的显微内窥镜获得的图像被提供给病理学家,病理学家可以基于这些图像来进行病理评估。而且,在WO2018/152248 A1中对所记录的图像的图像内容是否适合用于病理评价进行了评估。该评估是借助于人工智能来执行的。
US 2018/0114087 A1已经披露了一种方法,其中,使用共聚焦激光显微内窥镜来记录表示肿瘤边界的组织区域的图像。使用人工智能来对组织区域进行分类,该分类至少包含分类为表示肿瘤组织的类别或表示健康组织的类别。将分类结果叠加在术中记录的图像上。然后,移除肿瘤,并且重复使用共聚焦激光显微内窥镜进行图像记录并重复分类,以便确定肿瘤组织是否仍然存在。倘若肿瘤组织仍然存在,则进一步移除肿瘤组织。为了能够使用共聚焦激光显微内窥镜定位到肿瘤的边界,在方法开始时就必须知道肿瘤在组织区域中的位置。
关于上述现有技术,本发明的目的是提供一种医疗光学系统,该医疗光学系统允许确定肿瘤在组织区域中的位置并且提供关于位置的信息以供进一步使用。另外,本发明的目的是提供一种数据处理系统,该数据处理系统可以用于确定肿瘤在组织区域中的位置并且提供关于位置的信息以供进一步使用。此外,本发明的目的是提供一种计算机程序和一种非易失性计算机可读存储介质,该计算机程序和该非易失性计算机可读存储介质有助于确定肿瘤在组织区域中的位置并且提供关于位置的信息以供进一步使用。
第一个目的是通过如权利要求1所述的医疗光学系统实现的,并且第二个目的是通过如权利要求12所述的数据处理系统实现的。第三个目的是通过如权利要求13所述的计算机程序并通过如权利要求14所述的非易失性计算机可读存储介质实现的。从属权利要求包含本发明的有利配置。
根据本发明的第一方面,提供一种医疗光学系统,该医疗光学系统包括用于记录组织学图像的显微内窥镜,这些组织学图像各自表示具有肿瘤的宏观组织区域的微观组织切片。通常在各自的情况下,这些组织学图像示出边缘长度小于1.0mm×1.0mm、通常为0.5mm×0.5mm或更小的组织区的组织切片。组织切片在组织学图像中成像的空间分辨率是20μm或更佳,例如10μm、5μm、3μm、1μm或更佳。在帧速率方面,可以用该显微内窥镜实现范围为大约0.5Hz至大约100Hz的速率,并且至少能够维持20μm的分辨率。
此外,根据本发明的医疗光学系统包括分类装置,该分类装置用于在各自的情况下将在这些组织学图像中表示的这些微观组织切片分类为表示该肿瘤的组织区域或表示健康组织的组织区域,并且用于输出每个被分类的微观组织切片的分类结果。可以借助于人工智能来实施分类,该人工智能特别是可以基于训练好的神经网络。在这种情况下,可以凭借训练数据实施训练,该训练数据包含多个组织学图像以及指派给这些组织学图像的信息,所述信息将每个组织学图像指派给展现肿瘤组织的类别和展现健康组织的类别。特别地,该分类装置还可以被配置成将微观组织切片分类为多个类别,其中的一个类别表示健康组织,并且其余类别表示不同类型的肿瘤组织。指派给相应组织学图像的信息然后将该训练数据中包含的这些图像划分为多个图像类别,其中的一个图像类别表示健康组织,并且其他图像类别表示不同类型的肿瘤组织。
可以手动地或自动地实施该宏观组织区域的多个微观组织切片的组织学图像的采集。在手动采集这些组织学图像的情况下,治疗内科医生选择记录这些组织学图像的部位。在这种情况下,可以借助于导航系统配准该宏观组织区域的这些部位(内科医生在这里记录这些组织学图像)的坐标。这允许随后将这些图像指派给曾针对其记录这些图像的该微观组织切片。
如果自动地采集这些组织学图像,则该医疗光学系统可以包括用于用该显微内窥镜扫描该宏观组织区域的扫描装置。特别地,该扫描装置可以在扫描程序期间遵循定义的路径。这个扫描装置不应被误认为是用于凭借扫描成像方法记录这些组织学图像的显微内窥镜的扫描装置。虽然该显微内窥镜的扫描装置通常使光纤在1.0mm×1.0mm的区上方、特别是在0.5mm×0.5mm或更小的区上方进行扫描,但用于扫描该宏观组织区域的该扫描装置使该显微内窥镜的远端位移绝对值,该绝对值通常至少与使用该显微内窥镜记录的这些图像的边缘长度相对应。来自导航系统的导航数据可以用于通过该扫描装置定位该显微内窥镜,该导航数据指定扫描路径相对于该宏观组织区域的位置,并且定位到该扫描路径的各个位置能够借助于所述导航数据来实施。
最终,根据本发明的医疗光学系统包括组合装置,该组合装置通过组合这些分类结果来生成宏观分类图像,该分类图像表示该肿瘤在该宏观组织区域中的位置。特别地,该组合装置还可以被配置成基于这些分类结果来得到肿瘤的宏观轮廓。借助于根据本发明的医疗光学系统,因此可以基于在离散点处获得的组织学图像来得到肿瘤的位置、延伸范围和宏观轮廓,特别是肿瘤组织与健康组织之间的边界的轮廓。可以凭借当定位该显微内窥镜时寄存或使用的该导航数据实施将这些分类结果指派给肿瘤在该宏观组织区域中的位置。
然后可以进一步以各种不同的方式使用这个分类图像。举例来说,可以将该分类图像叠加在该宏观组织区域的概览图像上,以便强调该概览图像中的该肿瘤并且以便表示该概览图像中的肿瘤组织与健康组织之间的边界。然后,在叠加中,该分类图像中表示各个分类结果的这些图像区域所占的区表示该肿瘤的区,并且该分类图像中表示各个分类结果的这些图像区域所占的区的边缘表示该肿瘤的边界。
而且,可以基于在该分类图像中示出的该肿瘤的位置来定位用于治疗该肿瘤组织的治疗系统。因此,根据本发明的医疗光学系统有助于精确检测到肿瘤在组织区域中的位置,例如紧接在其后进行治疗,例如切除肿瘤组织或辐照肿瘤组织。然后就不再需要预先精准地确定肿瘤组织在组织区域中的位置。而且,存在验证术前确定的肿瘤的位置以及可选地甚至找到术前未发现的肿瘤区域的选项。
特别地,该分类装置可以被配置成基于以下替代方案中的至少一者来执行该分类:
-在相应的组织学图像中表示的该微观组织切片的形态;
-由在相应的组织学图像中表示的该微观组织切片发射的荧光辐射的强度;
-由在相应的组织学图像中表示的该微观组织切片发射的荧光辐射的衰变行为;
-在相应的组织学图像中表示的该微观组织切片的光谱反射性质。
所有这些替代方案可以基于这些组织学图像来实现,并且适合用于区分肿瘤组织与健康组织。如果为了分类目的而将这些替代方案中的两个或更多个彼此组合地使用,则是特别有利的。取决于替代方案,然后相应地训练神经网络。举例来说,如果这应是基于形态学的分类,则在训练数据中使用的图像可以是例如简单的灰度图像,神经网络可以从这些简单的灰度图像学习到用于识别肿瘤组织的典型形态形式。倘若基于荧光辐射强度来实施分类,则训练数据可以包含图像,这些图像中的一些示出了肿瘤组织的荧光辐射强度,并且其余图像示出了健康组织中的荧光辐射强度。在基于荧光辐射的衰变行为进行分类的情况下,训练数据在各自的情况下包含涵盖某个时间段的图像序列,可以从该图像序列学习到肿瘤组织和健康组织的荧光辐射特性的时间曲线。在基于所成像的组织的光谱反射性质进行分类的情况下,训练数据集可以包括具有最高可能的光谱分辨率的图像,使得神经网络学习基于光谱特征来区分肿瘤组织与健康组织。在各自的情况下向图像指派信息,该信息将这些图像指派给表示肿瘤组织的类别或表示健康组织的类别。如果该医疗光学系统的分类装置被配置成将微观组织切片分类为多个类别,其中的一个类别表示健康组织,并且其余类别表示不同类型的肿瘤组织,则为了改进各个类型肿瘤的识别而使用上述替代方案中的两个或更多个替代方案来对在相应组织学图像中表示的微观组织切片进行分类可以是有利的。
该医疗光学系统可以包括光学观测设备(例如,用于产生宏观组织区域的概览图像的手术显微镜)和叠加设备,该叠加设备被配置成将该分类图像叠加在该概览图像上。有利地存在配准单元以便有助于位置上准确的叠加,该配准单元将该分类图像和该概览图像彼此配准,其中,例如,可以对准可在两个图像中识别出的某些特征。特别地,在这里还可以用标记来执行工作,这些标记既存在于该概览图像中又存在于该分类图像中并且为了配准目的而彼此对准。而且,存在使用导航系统的选项,该导航系统既采集该光学观测设备相对于该组织区域的位置和取向,又采集在这些记录组织学图像时该显微内窥镜在公共坐标系统中的位置和取向,并且允许基于这些配准的位置来对准该分类图像和该概览图像。借助于将该分类图像叠加,可以为治疗外科医生标记要治疗的部位,使得他们可以以有针对性的方式专门治疗肿瘤区域。
而且,光学观测设备的存在还允许使用来自由该光学观测设备获得的图像的数据用于分类目的而。举例来说,由光学观测设备获得的图像可以用于确定记录组织学图像的部位处的荧光辐射的强度或荧光辐射的衰变行为,并且基于确定的荧光强度或确定的衰变行为与基于组织学图像获得的形态信息组合来进行分类。
如果除了或替代光学观测设备,该医疗光学系统还包括用于组织局部治疗的治疗系统以及用于定位该治疗系统使得该组织区域的所确定部位得到治疗的定位装置,则在本发明的发展中,该定位装置被设计成基于该分类图像来进行该定位。举例来说,该治疗系统可以包括用于用治疗辐射对某个部位进行有针对性的辐照的辐照系统。在这种情况下,该定位装置被设计成基于该分类图像来将该辐照系统与该组织区域的所确定部位对准以便定位所述辐照系统。替代性地,该治疗系统可以包括用于在该所确定部位处或所确定部位中局部施加治疗辐射的施用器。在本发明的有利发展中,该定位装置然后被设计成凭借机器人将该施用器导引到该所确定部位,该导引是基于该分类图像实施的。以这种方式,可以用治疗辐射高度精确地局部辐照该肿瘤。然而,自然地,该治疗系统还可以用于对肿瘤组织进行机器人导引式切除。
而且,根据本发明,提供一种数据处理系统,所述数据处理系统包括:
-接收接口,该接收接口用于接收多个组织学图像,这些组织学图像各自表示具有肿瘤的宏观组织区域的不同微观组织切片;
-分类装置,该分类装置用于在各自的情况下将在这些组织学图像中表示的这些微观组织切片分类为表示该肿瘤的组织区域或表示健康组织的组织区域,并且用于输出每个被分类的微观组织切片的分类结果;
以及
-组合装置,该组合装置通过组合这些分类结果来生成宏观分类图像,该分类图像表示该肿瘤在该宏观组织区域中的位置。
根据本发明的数据处理系统使得可以基于使用显微内窥镜获得的图像来创建分类图像。因此,该数据处理系统与显微内窥镜一起可以形成根据本发明的医疗光学系统,如上文所描述的。在这种情况下,该数据处理系统的分类装置还可以为了分类目的而使用光学观测设备的图像,然后经由接收接口接收所述图像。否则,关于根据本发明的医疗光学系统的分类装置所作的陈述适用于该数据处理系统的分类装置。
而且,根据本发明,还提供一种计算机程序。该计算机程序包括指令,这些指令当在计算机上执行时促使该计算机:
-接收多个组织学图像,这些组织学图像各自表示具有肿瘤的宏观组织区域的不同微观组织切片;
-在各自的情况下将在这些组织学图像中表示的这些微观组织切片分类为表示该肿瘤的组织区域或表示健康组织的组织区域,并且输出每个被分类的微观组织切片的分类结果;
并且
-通过组合这些分类结果来生成宏观分类图像,该分类图像表示该肿瘤在该宏观组织区域中的位置。
根据本发明的计算机程序使得可以将市售计算机配置为根据本发明的数据处理系统。根据本发明的计算机程序的发展来自根据本发明的医疗光学系统的发展。
根据本发明,还提供一种非易失性计算机可读存储介质。该非易失性计算机可读存储介质包含存储在其上的指令,这些指令当在计算机上执行时促使该计算机接收多个组织学图像,这些组织学图像各自表示具有肿瘤的宏观组织区域的不同微观组织切片;
-在各自的情况下将在这些组织学图像中表示的这些微观组织切片分类为表示该肿瘤的组织切片或表示健康组织的组织切片,并且输出每个被分类的微观组织切片的分类结果;
并且
-通过组合这些分类结果来生成宏观分类图像,该分类图像表示该肿瘤在该宏观组织区域中的位置。
该非易失性计算机可读存储介质允许根据本发明的计算机程序加载到市售计算机上,并且因此将该市售计算机配置为根据本发明的数据处理系统。根据本发明的非易失性计算机可读存储介质的有利发展来自根据本发明的医疗光学系统的有利配置。
而且,根据本发明的进一步方面,提供一种医疗治疗系统。所述医疗治疗系统包括用于记录具有肿瘤的组织区域的图像的至少一台医疗图像记录设备。特别地,该医疗图像记录设备可以是集成在手术显微镜中的相机。然而,该医疗图像记录设备也可以是纯粹为了记录图像的目的而存在并且未集成在手术显微镜中的相机。此外,该医疗图像记录设备可以是集成到内窥镜中的相机。而且,该医疗治疗系统包括分类装置,该分类装置用于在各自的情况下将在所记录图像的图像区段中表示的该组织区域的组织切片分类为表示该肿瘤的组织切片或表示健康组织的组织切片,并且用于输出每个被分类组织切片的分类结果。该医疗治疗系统还包括用于组织局部治疗的治疗系统以及用于定位该治疗系统使得仅对已被分类为表示肿瘤的组织切片的组织切片进行治疗的定位装置。在这种情况下,该分类装置可以被设计成与根据本发明的医疗光学系统的分类装置相似,其中,这个分类装置对由医疗图像记录设备获得的图像的组织切片而不是在组织学图像中表示的微观组织切片进行分类。用于训练分类装置的训练数据然后包含与由医疗图像记录设备记录的图像相对应的图像。
根据本发明的医疗治疗系统允许紧接在分类之后执行治疗。特别是当治疗系统和医疗图像记录设备形成一个单元时,例如如果分类数据已在术前获得,则根据要求,不需要在该过程中执行坐标变换。举例来说,治疗系统和一台医疗图像记录设备可以两者都集成在手术显微镜或内窥镜中。在这种情况下,存在手术显微镜或内窥镜设置有可聚焦照射设备的选项,该可聚焦照射设备允许将治疗辐射聚焦在确定的组织切片上。然而,还存在提供机器人导引式施用器作为治疗系统的选项,可以凭借该机器人导引式施用器将辐射源导引到要治疗的组织切片或要治疗的组织切片中。可以以这种方式对该肿瘤进行有针对性的辐照。
从以下参考附图对示例性实施例的描述中,本发明的进一步的特征、性质和优点将变得显而易见。
图1示出了具有显微内窥镜、手术显微镜和辐照系统的医疗光学系统。
图2示出了手术显微镜的结构的示意图。
图3示出了手术显微镜的替代性构型。
图4示出了如在图1的医疗光学系统中使用的数据处理系统的部件。
图5示出了分类图像。
图6示出了组织区域的概览图像。
图7示出了分类图像在概览图像上的叠加。
图8示出了借助于施用器对肿瘤进行辐照。
为了解释的目的,将在下文基于示例性实施例详细地描述本发明。在这种情况下,图1示出了医疗光学系统的示例性实施例,该医疗光学系统包括一台手术显微镜1形式的光学观测设备、显微内窥镜3、以及作为数据处理系统的计算机5。
图1中示出的显微内窥镜3包括具有第一端11和第二端13的刚性或柔性管9。第一端11面对观测对象,在本示例性实施例中,该观测对象是具有肿瘤23的宏观组织区域15,并且该第一端位于扫描装置17中,可以借助于该扫描装置使管9的第一端11相对于观测对象15沿着两个横向方向(在下文被称为x方向和y方向)移动。举例来说,可以凭借压电致动器来实现扫描装置17。
光纤(图中未描绘)布置在管9内部,并且在本示例性实施例中可以用于以光栅型方式在0.5mm×0.5mm的宏观组织区域15的微观组织切片16上方经过,以便记录微观组织切片16的组织学图像。在本示例性实施例中,凭借微机电系统(MEMS)实施扫描。举例来说,在US 2016/0051131 A1中描述了凭借微机电系统进行扫描。关于用于获得组织学图像的扫描,参考本文档。在记录组织学图像之后,凭借扫描装置17使管9的第一端11以一定增量偏移到新的微观组织切片16,然后光纤以光栅型方式在所述新的微观组织切片上方经过,以便记录进一步的组织学图像。增量在本示例性实施例中是0.5mm,因此,记录组织学图像的微观组织切片16邻接曾记录先前记录的组织学图像的微观组织切片16。然而,增量还可以大于或小于微观组织切片16的横向延伸范围;也就是说,在本示例性实施例中大于或小于0.5mm。小于微观组织切片16的横向延伸范围的增量导致在组织学图像中成像的微观组织切片16的重叠,这在这些组织学图像应以马赛克式的方式组合以形成更大的图像的情况下可能是有利的,因为这些组织学图像然后可以基于重叠区域来相对于彼此对准。相比之下,大于微观组织切片16的横向延伸范围的增量提供的优点是,可以迅速地扫描相对较大的组织区域。为了能够在各自的情况下组合组织学图像以形成相对较大的图像,可以例如借助于导航系统来配准在各自的情况下记录的微观组织切片的位置,并且可以基于配准的位置来实施该组合。然而,如果增量大于微观组织切片16的横向延伸范围,则该增量不应大于组织中可能发生变化的尺度,以便能够充分准确地确定发生变化的点。例如如果内科医生想要对一个或多个切片进行比其他切片更紧密的分类,则还存在增量在宏观组织区域15的不同切片中不同的选项。
在这里应观察到,当前示例性实施例中存在的扫描装置17纯粹是可选的。还存在的选项是,治疗内科医生手动地定位显微内窥镜3以便记录组织学图像。在这种情况下,可以凭借导航系统来配准内科医生记录组织学图像的位置,并且可以存储这些位置以供稍后使用。
管9的第二端13面对传感器19,凭借该传感器可以捕获由光纤传送的发光能量。传感器19位于壳体21中,该壳体在本示例性实施例中被设计为单独模块,但还可以被设计为手柄,并且在该壳体中还装纳有用于生成用于照射宏观组织区域15的照射光的光源(图中未展示)以及用于将照射光耦合到光纤中的输入耦合设备。特别地,光源可以是激光光源。然而,光源还可以被布置在壳体21外部并且通过光导连接到该壳体。然后,光导的输出端位于壳体21中。在这种情况下,输入耦合设备对从光导的输出端射出的光纤的照射光进行输入耦合。照射光可以是白光(即,具有宽带光谱)或具有由一个或多个窄带光谱范围组成的光谱的光,特别是例如一个或多个窄带光谱范围的光谱线或者适合用于激发位于宏观组织区域15中的荧光染料的荧光的光谱线。举例来说,荧光代谢物原卟啉IX(PpIX)是合适的荧光染料。
输入耦合到光纤中的照射光通过光纤传输到管的第一端11,在该第一端,该照射光在宏观组织区域15的方向上从光纤射出。由宏观组织区域15反射的照射光或者由该照射光激发并且由宏观组织区域15发射的光(例如荧光)继而进入光纤,并且由该光纤导引到管9的第二端13,在该第二端,该照射光或荧光在传感器19的方向上射出。而且,聚焦光学单元可以位于光纤的端处或端前面,并且这些聚焦光学单元可以用于将光聚焦到宏观组织区域15的表面上或聚焦到传感器19上。
特别地,显微内窥镜3可以体现为共焦显微内窥镜。另外地或作为其替代方案,该显微内窥镜还可以体现为用于执行光学相干断层扫描(OCT)的显微内窥镜。例如,共焦显微术和光学相干断层扫描是众所周知的方法,并且在US 2010/0157308 A1和US 9,921,406B2中进行描述。因此,在本描述的范围内省略了对关于共焦显微术和关于光学相干断层扫描的细节的描述。替代地,参考US 2010/0157308 A1和US 9,921,406 B2。
在本示例性实施例中,借助于显微内窥镜1记录组织学图像是借助于计算机5来控制的。然而,还可以凭借专用控制装置来实施该控制。在本示例性实施例中用于控制的计算机5既连接到用于扫描的微机电系统,又连接到传感器19。在本示例性实施例中,计算机5以这样的方式来控制微机电系统,即在多个网格点处扫描微观组织切片16。在每个网格点处,用照射光照射网格点,并且记录由网格点反射的照射光或者由于凭借照射光进行的激发而由网格点发射的光。然后,计算机从由网格点反射的照射光或从由网格点发射的光生成图像,所述图像的像素网格与在扫描期间使用的网格相对应。因此产生的图像的分辨率通常是20μm或更佳,优选地10μm或更佳,例如5μm、3μm、1μm、0.7μm或甚至更佳。在这种情况下,组织学图像通常示出1mm2或更少(例如0.5mm2、0.2mm2、0.1mm2或甚至更少)的组织切片。在本示例性实施例中,光纤、微机电系统、传感器19和计算机5共同形成用于记录组织学图像、也就是说用于记录有助于确定组织学信息项(比如图像中描绘的组织的肿瘤细胞比例或者图像中描绘的组织的氧含量、pH值、H2O2或其他氧衍生物等的浓度等)的图像的记录设备。举例来说,可选地借助于用于提高对比度的染色装置,然后可以基于形态标准(例如细胞结构、细胞核的大小等)在组织学图像中识别肿瘤细胞。
图2示出了如可以在图1的医疗光学系统中使用的手术显微镜1的可能结构的示意性展示。图3示出了可能的替代性结构。
图2中示出的手术显微镜1包括要面对观测对象(也就是说,在本示例性实施例中具有肿瘤23的宏观组织区域15)的物镜105作为基本部件,该物镜可以特别地体现为消色差物镜或复消色差物镜。在本示例性实施例中,物镜105由两个部分透镜组成,该两个部分透镜彼此黏结并且形成消色差物镜。观测对象15布置在物镜105的焦平面中,使得通过物镜105使该观测对象在无穷远处成像。换句话说,从观测对象15发出的发散光束107A、107B在通过物镜105期间被转换成平行光束109A、109B。
放大倍数改变器111布置在物镜105的观测者侧,该放大倍数改变器可以体现为变焦系统以用于以连续可变的方式改变放大倍数,如在所展示的示例性实施例中,或体现为所谓的伽利略改变器以用于以逐步的方式改变放大倍数。在举例来说由具有三个透镜的透镜组合构造而成的变焦系统中,可以使两个对象侧透镜位移以便改变放大倍数。然而实际上,变焦系统也可以具有三个以上的透镜,例如四个或四个以上的透镜,在这种情况下,外透镜然后也可以以固定的方式来布置。相比之下,在伽利略改变器中,存在表示不同放大倍数并且可以被交替地引入到光束路径中的多个固定的透镜组合。变焦系统和伽利略改变器两者都将对象侧平行光束转换成具有不同光束直径的观测者侧平行光束。在本示例性实施例中,放大倍数改变器111已经是手术显微镜1的双目光束路径的一部分,即,该放大倍数改变器针对手术显微镜1的每个立体部分光束路径109A、109B具有专用透镜组合。在本示例性实施例中,凭借放大倍数改变器111通过电机驱动的致动器来调整放大倍数,该电机驱动的致动器与放大倍数改变器111一起是用于调整放大倍数的放大倍数改变单元的一部分。
放大倍数改变器111在观测者侧后面接着是光接口布置113A、113B,外部设备可以凭借该光接口布置连接到手术显微镜1,并且该光接口布置在本示例性实施例中包括分束棱镜115A、115B。然而,原则上,还可以利用其他类型的分束器,例如部分透射镜。在本示例性实施例中,光接口113A、113B用于对来自手术显微镜1的光束路径(分束棱镜115B)的光束进行输出耦合,并且将光束输入耦合到手术显微镜1的光束路径(分束棱镜115A)中。
在本示例性实施例中,在部分光束路径109A中的分束棱镜115A用于借助于显示器137(例如数字镜装置(DMD)或LCD显示器)和相关联光学单元139凭借分束棱镜115A为观测者将信息或数据反映到手术显微镜1的部分光束路径109A中。举例来说,在观测到的宏观组织区域15中标记肿瘤23的彩色标记可以叠加在由手术显微镜1获得的图像上。相机适配器119布置在另一部分光束路径109B中的光接口113B处,其中,相机103紧固到该相机适配器,所述相机配备有电子图像传感器123,例如配备有CCD传感器或CMOS传感器。可以凭借相机103记录电子图像,并且特别是记录观测对象15的数字图像。特别地,所使用的图像传感器还可以是多光谱传感器或高光谱传感器,该多光谱传感器或高光谱传感器不是仅包括三个光谱通道(例如,红色、绿色和蓝色),而是包括多个光谱通道。
光接口113在观测者侧后面接着是双目镜筒127。该双目镜筒具有两个镜筒物镜129A、129B,该两个镜筒物镜将相应的平行光束109A、109B聚焦到中间图像平面131上,即,使观测对象15成像到相应的中间图像平面131A、131B上。最终,通过目镜透镜135A、135B使位于中间图像平面131A、131B中的中间图像依次在无穷远处成像,使得观测者可以用放松的眼睛观测中间图像。而且,凭借镜系统或凭借棱镜133A、133B在双目镜筒中增加两个部分光束109A、109B之间的距离,以便使所述距离适应于观测者的眼间距离。另外,由镜系统或棱镜133A、133B执行图像竖立。
而且,手术显微镜1配备有照射设备,可以凭借该照射设备用照射光照射观测对象15。为此,在本示例性实施例中,照射设备具有白色光源141,例如卤素灯或气体放电灯。在观测对象15的方向上经由偏转镜143或偏转棱镜引导从白色光源141发出的光,以便照射所述对象。此外,照射光学单元145存在于照射设备中,所述照射光学单元确保整个被观测的观测对象15的均匀照射。
在图2中展示的手术显微镜1中,照射可能受到影响。举例来说,可以将滤光片引入到照射光束路径中,所述滤光片仅透射来自白色光源141的宽光谱的窄光谱范围,例如,使得能够激发位于观测对象15中的荧光染料的荧光的光谱范围。为了观测荧光,可以将滤光片137A、137B引入到观测部分光束路径中,所述滤光片滤除用于激发荧光的光谱范围,以便能够观测到该荧光。为了仅使用激发荧光所需要的照射光的光谱范围来照射观测对象15,还存在使用窄带光源(例如激光光源,其基本上仅在激发荧光所需要的光谱范围中发射)而不是使用白色光源连同滤光片的选项。特别地,照射设备还可以包括有助于白色光源与窄带光源之间的互换的装置。
注意如下事实:图2中所展示的照射光束路径是高度示意性的,并且不一定再现照射光束路径的实际路线。原则上,照射光束路径可以体现为所谓的斜射照射,这与图2中的示意性展示最接近。在这样的倾斜照射中,光束路径相对于物镜5的光学轴线以相对较大的角度(6°或更多)延伸,并且如图2中所展示的,可以完全延伸到物镜外部。然而,替代性地,还存在允许倾斜照射的照射光束路径延伸穿过物镜105的边际区域的可能性。照射光束路径的布置的又一可能性是所谓的0°照射,其中,照射光束路径延伸穿过物镜105,并且在观测对象15的方向上沿着物镜105的光学轴线在两个部分光束路径109A、109B之间被输入耦合到物镜105中。最终,还可以将照射光束路径设计为所谓的同轴照射,其中,存在第一照射部分光束路径和第二照射部分光束路径。这些部分光束路径经由与观测部分光束路径109A、109B的光学轴线平行的一个或多个分束器耦合到手术显微镜1中,使得照射相对于两个观测部分光束路径同轴延伸。
在图2中示出的手术显微镜1的实施例变型中,物镜105仅由一个消色差透镜组成。然而,还可以利用由多个透镜构成的物镜系统,特别是所谓的变形镜物镜,可以凭借该物镜系统改变手术显微镜1的工作距离,即,对象侧焦平面与物镜105的第一对象侧透镜表面的顶点之间的距离,还被称为前焦距。也由变形镜物镜使布置在焦平面中的观测对象15在无穷远处成像,因此观测者侧上存在平行光束。
图3示出了数字手术显微镜148的示例的示意图。在这个手术显微镜中,主要物镜105、放大倍数改变器111和照射系统141、143、145与图2中展示的具有光学观看单元的手术显微镜1没有差异。差异之处在于图3中示出的手术显微镜148不包括光学双目镜筒的事实。代替图2的镜筒物镜129A、129B,图3的手术显微镜148包括聚焦透镜149A、149B,凭借这些聚焦透镜使双目观测光束路径109A、109B在数字图像传感器161A、161B上成像。在这里,例如,数字图像传感器161A、161B可以是CCD传感器或CMOS传感器。由图像传感器161A、161B记录的图像被传输到数字显示器163A、163B,这些数字显示器可以体现为LED显示器、LCD显示器或基于有机发光二极管(OLED)的显示器。如在本示例中,目镜透镜165A、165B可以被指派给显示器163A、163B,凭借这些透镜使呈现在显示器163A、163B上的图像在无穷远处成像,使得观看者可以用放松的眼睛观看所述图像。显示器163A、163B和目镜透镜165A、165B可以是数字双目镜筒的一部分;然而,这些显示器也可以是头戴式显示器(HMD)的一部分,比如一对智能眼镜。自然地,由图像传感器161A、161B记录的图像还可以被传送到监视器。合适的快门眼镜可以用于对在监视器上描绘的图像进行三维观测。
而且,图1中示出的示例性实施例的医疗光学系统包括发射治疗辐射的辐射光源25以及定位装置27。使用辐照光源25的光并且借助于定位装置27,可以用治疗辐射照射宏观组织区域15的所确定部位。在这种情况下,照射光源25可以是例如发射治疗辐射的激光或常规光源,该治疗辐射可以凭借合适的透镜或合适的透镜系统聚焦在宏观组织区域15的部位上。治疗辐射的光束可以凭借定位装置27定位在宏观组织区域15上。在本示例性实施例中,定位装置实现为检流计式扫描仪,可以借助于该检流计式扫描仪以合适的方式使照射辐射的方向偏转。然而,为了将治疗辐射的光束定位在宏观组织区域15上,还存在使用辐照光源25的可倾斜座架而不是检流计式扫描仪并且将辐照光源25布置在可位移的滑架上的选项。
为了用治疗辐射仅辐照宏观组织区域15的实际上表示肿瘤组织的这些组织切片,医疗光学系统包括分类装置,该分类装置在本示例性实施例中用于在各自的情况下将微观组织切片16(显微内窥镜3已记录其组织学图像)分类为两个类别之一。在这种情况下,一个类别表示代表肿瘤组织的组织类别(对应的微观组织切片16在图1中用阴影线表示),并且另一类别表示代表健康组织的组织类别。分类装置是在本示例性实施例中由计算机5实现的数据处理系统19的一部分。在图4中示意性地描绘了在计算机上实施的数据处理系统19的软件部件。然而,例如,倘若手术显微镜配备有合适的CPU和合适的存储器,则不是在计算机5中,而是也可以在手术显微镜1中实施这些软件部件。最终,还存在将数据处理系统配置为专用单元的选项。
除了分类装置31外,数据处理系统29还包括第一接口33,该第一接口在本示例性实施例中用作用于从显微内窥镜3接收组织学图像的输入接口。而且,该数据处理系统包括第二接口35,该第二接口在本示例性实施例中用于与手术显微镜1交换数据。然而,不是使用两个单独的接口,而是替代性地还可以利用单个接口,可以凭借该单个接口与手术显微镜1和显微内窥镜3交换数据。这样的接口的示例包括蓝牙接口、WLAN接口或以太网接口。此外,数据处理系统29包括组合装置37和选择装置29,下文解释了该组合装置和该选择装置的目的。
如已经提到的,分类装置31用于将组织学图像中描绘的微观组织切片16分类。为此,分类装置31经由第一接口33从显微内窥镜3接收组织学图像,以便将在其中成像的宏观组织区域15的微观组织切片16分类。在本示例性实施例中,至少基于形态标准来实施分类,可以基于该形态标准来区分肿瘤组织与健康组织。为此,示例性实施例的分类装置31包括已用训练数据进行训练的训练好的神经网络,该训练数据包括多个组织学图像并且针对每个组织学图像包括这示出了健康组织还是肿瘤组织的指示。神经网络已基于这些训练数据学习到如何能够基于形态标准来区分肿瘤组织与健康组织。倘若在替代性示例性实施例中基于其他标准而不是基于形态标准来实施分类,则相应地已使用不同的训练数据来训练神经网络。举例来说,训练数据包含如果应基于荧光强度来实施分类则示出了微观组织切片16的荧光强度的组织学图像、如果应基于光谱强度分布来实施分类则示出了由微观组织切片16反射的光的光谱强度分布的图像、或涵盖某个时间段的组织学图像系列,如果应基于荧光强度的衰变行为来实施分类,则每个系列示出了在确定的时间段内微观组织切片16的荧光强度的曲线。
可选地,存在不仅基于组织学图像而且另外基于使用手术显微镜1记录的图像来执行分类的选项。在基于组织学图像确定的形态标准用于分类的本示例性实施例中,使用手术显微镜1记录的荧光图像(即,再现由宏观组织区域15发射的荧光辐射的强度的图像)另外用于分类。在这种情况下,选择装置39从接收自手术显微镜1的荧光图像中选择与在组织学图像中再现的微观组织切片16相对应的这些图像部分,并且将这些图像部分指派给组织学图像。为了促进这一点,在本示例性实施例中利用导航系统,该导航系统借助于合适的数字或物理标记41检测显微内窥镜3的远端9和手术显微镜1在公共坐标系统中的位置和取向。以这种方式,首先可以确定宏观组织区域15的位置(在这里记录组织学图像)以及在其中记录荧光图像的手术显微镜1的对准。使用手术显微镜1的对准以及手术显微镜1与宏观组织区域15(同样具备标记(未描绘),直接地或间接地(连接到宏观组织区域的部位处的标记))的距离,然后可以确定组织学图像中描绘的微观组织切片16在使用手术显微镜1记录的荧光图像中的精准位置。
为了能够基于组织学图像以及关于从荧光图像获得的荧光强度的数据来确定分类,然后用训练数据来训练神经网络,在该训练数据中向每个组织学图像指派针对相应组织学图像中示出的组织所检测到的荧光强度,并且该训练数据针对这些指派中的每一个包含关于这示出了健康组织还是肿瘤组织的信息。
即使荧光强度可选地另外用于在本示例性实施例中对组织学图像中所描绘的微观组织切片16进行分类,但另外地或替代性地可以使用可以从由手术显微镜1获得的图像得到的其他变量。举例来说,可以从手术显微镜1所记录的图像系列确定曾记录或记录组织学图像的位置处的荧光辐射的衰变行为。倘若手术显微镜1配备有多光谱传感器,则存在的选项是,为了分类目的而使用由手术显微镜1记录的图像以使用宏观组织区域15的位置(在这里曾记录或记录组织学图像)处的光谱强度分布。取决于除了组织学图像外还有哪些附加数据用于分类目的,神经网络的训练数据集包含适当的信息。
在进一步的实施例变型中,还存在的选项是,将荧光图像记录为组织学图像本身,并且在这种情况下基于在相应组织学图像中成像的微观组织切片16的荧光强度或基于微观组织切片16的荧光强度的衰变行为来执行分类。在后一种情况下,针对宏观组织区域15的每个微观组织切片16记录表示某个时间段的一系列组织学图像,荧光辐射的衰变行为能够从所述系列来确定。自然地,在这种情况下,使用包括荧光图像或荧光图像系列的训练数据来训练神经网络。
尤其是如果不是仅使用一个标准来对在组织学图像中成像的微观组织切片16进行分类,则另外存在执行不仅分类为两个类别而且分类为多个类别的选项,其中,一个类别表示健康组织并且其余类别表示不同类型的肿瘤组织。在这种情况下,用于训练神经网络的训练数据不仅包含组织学图像或可选地组织学图像与荧光强度、衰变时间、光谱强度分布等的组合,而且包含指派给这些图像或组合的信息,所述信息不仅指定相应图像或相应组合表示健康组织还是肿瘤组织,而且指定图像或组合是否表示肿瘤组织、肿瘤组织类型。
根据本发明的医疗光学系统用于使用显微内窥镜3扫描宏观组织区域15,其中,在每个扫描点处记录相应微观组织切片16的组织学图像。然后,经由接口33将每个组织学图像传输到分类装置31,并且针对每个组织学图像向组合装置37输出分类结果,该分类装置可选地使用从由手术显微镜1记录的图像获得的标准基于训练好的标准来执行分类。组合装置37是从分类结果产生分类图像43的计算机例程,如图5中所示出的。为此,它不仅使用分类结果而且使用导航数据,该导航数据用于收集宏观组织区域15的部位,在该部位处,以相应分类数据为基础的微观组织切片16位于宏观组织区域15中。组合装置37然后使用分类数据和导航数据来创建组合图像43,其中,表示各个分类结果的图像区域44以与组织学图像中描绘的微观组织切片16的相对定位相对应的相对定位来相对于彼此布置。表示分类结果的图像区域44在这种情况下像马赛克一样组合以形成分类图像43。分类图像43中由表示各个分类结果的图像区域44所占的区然后表示肿瘤的区,并且分类图像43中所占的这个区的边缘表示肿瘤的边界。相应地,分类图像43中所占的区的边缘的轮廓表示具有肿瘤23的组织区域15中的肿瘤组织与健康组织之间的边界的轮廓。
在本示例性实施例中,分类图像43中表示分类结果的图像区域44彼此邻接,如图5中所描绘的。然而,分类图像43中表示分类结果的图像区域44之间的距离还可以不同于图5中所描绘的距离。因此,分类图像43中表示分类结果的图像区域44还可以彼此重叠或布置为彼此相距一定距离。在这种情况下,分类图像43中表示分类结果的图像区域44距彼此的距离对应于形成组织学图像的基础的微观组织切片16之间的距离。如果这些组织切片16重叠,则分类图像43中表示分类结果的图像区域44之间也存在重叠。相比之下,如果一些或所有微观组织切片16之间存在间隙,在这些间隙中未记录任何组织学图像,则分类图像43也具有对应的间隙。可以在这些间隙之间执行内插,以便确定分类图像43中由表示各个分类结果的图像区域44所占的区的边缘的轮廓。
分类图像43可以用作叠加在由手术显微镜1获得的宏观组织区域15(图7)的概览图像45(图6)上的叠加图像。表示健康组织的分类结果然后可以表示为(例如)分类图像43中的无色图像区域44,而表示肿瘤组织的分类结果可以表示为有色图像区域44。如果然后将分类图像43以给定的透明度叠加在概览图像45上,则获得肿瘤在概览图像45中的标记,可以从该标记识别肿瘤在由概览图像45表示的宏观组织区域15中的位置和延伸范围以及肿瘤组织与健康组织之间的边界。导航数据和/或图像配准可以用于以正确的位置、取向和缩放将分类图像43叠加在概览图像上。替代性地,还存在的选项是,对分类图像43的与具有健康组织的微观组织切片16相对应的这些图像区域44进行着色,以便在叠加中突出显示健康组织区域。然而,还可以将分类图像43的表示肿瘤组织的图像区域44以第一颜色着色并且将分类图像43的表示健康组织的图像区域44以不同于该第一颜色的第二颜色着色,例如,分类图像43的图像区域44以红色表示肿瘤组织,并且分类图像43的图像区域44以绿色表示健康组织。在手术显微镜1中,可以借助于分束棱镜135和显示器137实施叠加,该分束棱镜和该显示器共同用作叠加设备。然而,还存在以电子方式执行叠加并且在监视器上显示电子叠加的结果的选项。借助于叠加,可以向治疗外科医生提供关于肿瘤23的位置、肿瘤的延伸范围以及肿瘤与健康组织的边界的准确信息。外科医生然后可以在治疗期间使用这个信息,例如,以便精确地辐照肿瘤23或执行肿瘤组织的精确切除。
在本示例性实施例中,分类图像43可以用于通过辐照光源25的治疗辐射对宏观组织区域15的表示肿瘤组织的这些切片进行有针对性的辐照。凭借定位装置27对准辐照光源25可以由外科医生基于概览图像45(分类图像43已叠加在其上)手动地实施,或者由机器人实施,然后使用导航数据来定位和/或对准辐照光源25的光束。
在本发明的替代配置中,存在的选项是,纯粹基于由手术显微镜1或任何其他合适的医疗成像设备获得的图像来实施肿瘤组织与健康组织之间的区分。举例来说,倘若概览图像45表示宏观组织区域15的荧光强度,则可以基于荧光辐射的强度来识别宏观组织区域15的表示肿瘤组织的组织切片117。替代基于荧光强度来识别肿瘤组织,还存在基于组织的光谱反射或基于荧光辐射的衰变行为来识别肿瘤区域的选项。在识别宏观组织区域15的表示肿瘤组织的组织切片117之后,然后在宏观组织区域15的被识别为肿瘤组织的这些组织切片117中以有针对性的方式实施辐照。如上文所描述的,可以借助于人工神经网络来实施识别。
替代图1的辐照光源25,还可以使用施用器47来用治疗辐射辐照肿瘤,所述施用器被带到肿瘤组织或(如图8中所描绘的)插入到肿瘤组织中,以便用治疗辐射局部辐照该肿瘤组织。举例来说,如在DE 10 2018 120 750 B3、DE 10 2008 030 590 A1、EP 2 335 778A1和WO 01/58346 A1中描述的用于术中放疗的施用器之一可以用作施用器47。在这种情况下,由机器人基于分类图像43或基于借助于概览图像获得的关于肿瘤在宏观组织区域15中的位置的信息来将施用器47带到肿瘤23或插入到肿瘤23中,其中,还使用导航数据。举例来说,为此可以使用机器人臂。
为了解释的目的,已基于示例性实施例来详细描述本发明。然而,本领域技术人员认识到,在本发明的范围内可能存在与示例性实施例的偏离。因此,本发明不旨在受示例性实施例限制,而是仅受所附权利要求限制。
附图标记清单
1 手术显微镜
3 显微内窥镜
5 计算机
9 管
11 输入端
13 输出端
15 宏观组织区域
16 微观组织切片
17 扫描装置
19 传感器
23 肿瘤
25 辐照光源
27 检流计式扫描仪
29 数据处理系统
31 分类装置
33 接口
35 接口
37 组合装置
39 选择装置
41 标记
43 分类图像
44 图像区域
45 概览图像
47 施用器
103 相机
105 物镜
107 发散光束
109 光束
109A,B 立体部分光束路径
111 放大倍数改变器
113A,B 接口布置
115A,B 分束棱镜
117 组织切片
119 相机适配器
123 图像传感器
127 双目镜筒
129A,B 镜筒物镜
131A,B 中间图像平面
133A,B 棱镜
135A,B 目镜透镜
137 显示器
139 光学单元
141 白色光源
143 偏转镜
145 照射光学单元

Claims (14)

1.一种医疗光学系统,包括:
-显微内窥镜(3),该显微内窥镜用于记录组织学图像,这些组织学图像各自表示具有肿瘤(23)的宏观组织区域(15)的微观组织切片(16);以及
-分类装置(31),该分类装置用于在各自的情况下将在这些组织学图像中表示的这些微观组织切片(16)至少分类为表示该肿瘤(23)的组织切片或表示健康组织的组织切片,并且用于输出每个被分类的微观组织切片(16)的分类结果;
其特征在于,
-组合装置(37),该组合装置通过组合这些分类结果来生成宏观分类图像(43),该分类图像表示该肿瘤(23)在该宏观组织区域(15)中的位置。
2.如权利要求1所述的医疗光学系统,其特征在于,该组合装置被配置成基于这些分类结果来得到肿瘤的宏观轮廓。
3.如权利要求1或权利要求2所述的医疗光学系统,其特征在于,该分类装置(31)被配置成基于以下替代方案中的至少一者来进行该分类:
-在相应的组织学图像中表示的该微观组织切片(16)的形态;
-由在相应的组织学图像中表示的该微观组织切片(16)发射的荧光辐射的强度;
-由在相应的组织学图像中表示的该微观组织切片(16)发射的荧光辐射的衰变行为;
-在相应的组织学图像中表示的该微观组织切片(16)的光谱反射性质。
4.如前述权利要求中任一项所述的医疗光学系统,其特征在于,该分类装置(31)被配置成将微观组织切片(16)分类成多个类别,其中的一个类别表示健康组织,并且其余类别表示不同类型的肿瘤组织。
5.如前述权利要求中任一项所述的医疗光学系统,其特征在于,该医疗光学系统包括用于产生该宏观组织区域(15)的概览图像(45)的光学观测设备(1)以及叠加设备(135,137),该叠加设备(135,137)被配置成将该分类图像(43)叠加在该概览图像(45)上。
6.如权利要求5所述的医疗光学系统,其特征在于,该分类装置(31)被设计成还使用来自由该光学观测设备(1)获得的图像的数据用于分类目的。
7.如前述权利要求中任一项所述的医疗光学系统,其特征在于,该医疗光学系统包括用于组织局部治疗的治疗系统(25,47)以及用于定位该治疗系统(25)使得该组织区域(15)的特定部位得到治疗的定位装置(27),该定位装置(27)被设计成基于该分类图像(43)来进行该定位。
8.如权利要求7所述的医疗光学系统,其特征在于,该治疗系统包括用于对所确定部位进行定向辐照的辐照系统(25),该定位装置(27)被设计成基于该分类图像来将该辐照系统(25)与该组织区域的所确定部位对准以便定位所述辐照系统。
9.如权利要求7或权利要求8所述的医疗光学系统,其特征在于,该治疗系统包括用于在所确定部位处或所确定部位中局部施加治疗辐射的施用器(47),并且该定位装置被设计成凭借机器人将该施用器(47)导引到所确定部位,该导引是基于该分类图像(43)来实施的。
10.如前述权利要求中任一项所述的医疗光学系统,其特征在于,该医疗光学系统包括扫描装置(17),该扫描装置用于用该显微内窥镜(3)扫描该宏观组织区域(15)以便获得该宏观组织区域(15)的多个微观组织切片(16)的这些组织学图像。
11.如前述权利要求中任一项所述的医疗光学系统,其特征在于,该医疗光学系统包括导航系统。
12.一种数据处理系统(5),包括:
-接收接口(33),该接收接口用于接收多个组织学图像,这些组织学图像各自表示具有肿瘤(23)的宏观组织区域(15)的不同微观组织切片(16);
-分类装置(31),该分类装置用于在各自的情况下将在这些组织学图像中表示的这些微观组织切片(16)分类为表示该肿瘤(23)的组织切片或表示健康组织的组织切片,并且用于输出每个被分类的微观组织切片(16)的分类结果;以及
-组合装置(37),该组合装置通过组合这些分类结果来生成宏观分类图像(43),该分类图像表示该肿瘤(23)在该宏观组织区域(15)中的位置。
13.一种计算机程序,包括指令,这些指令当在计算机(5)上执行时促使该计算机
-接收多个组织学图像,这些组织学图像各自表示具有肿瘤(23)的宏观组织区域(15)的不同微观组织切片(16);
-在各自的情况下将在这些组织学图像中表示的这些微观组织切片(16)分类为表示该肿瘤的组织切片或表示健康组织的组织切片,并且输出每个被分类的微观组织切片(16)的分类结果;并且
-通过组合这些分类结果来生成宏观分类图像(43),该分类图像表示该肿瘤(23)在该宏观组织区域(15)中的位置。
14.一种非易失性计算机可读存储介质,该非易失性计算机可读存储介质上存储有指令,所述指令当在计算机(5)上执行时促使该计算机(5)
-接收多个组织学图像,这些组织学图像各自表示具有肿瘤(23)的宏观组织区域(15)的不同微观组织切片(16);
-在各自的情况下将在这些组织学图像中表示的这些微观组织切片(16)分类为表示该肿瘤的组织切片或表示健康组织的组织切片,并且输出每个被分类的微观组织切片(16)的分类结果;并且
-通过组合这些分类结果来生成宏观分类图像(43),该分类图像表示该肿瘤(23)在该宏观组织区域(15)中的位置。
CN202180029269.0A 2020-04-27 2021-04-22 医疗光学系统、数据处理系统、计算机程序和非易失性计算机可读存储介质 Pending CN115426934A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020111376.5 2020-04-27
DE102020111376.5A DE102020111376A1 (de) 2020-04-27 2020-04-27 Medizinisch optisches System, Datenverarbeitungssystem, Computerprogramm und nichtflüchtiges computerlesbares Speichermedium
PCT/EP2021/060482 WO2021219473A1 (de) 2020-04-27 2021-04-22 Medizinisch optisches system, datenverarbeitungssystem, computerprogramm und nichtflüchtiges computerlesbares speichermedium

Publications (1)

Publication Number Publication Date
CN115426934A true CN115426934A (zh) 2022-12-02

Family

ID=75728792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180029269.0A Pending CN115426934A (zh) 2020-04-27 2021-04-22 医疗光学系统、数据处理系统、计算机程序和非易失性计算机可读存储介质

Country Status (5)

Country Link
US (1) US20230218142A1 (zh)
JP (1) JP2023522203A (zh)
CN (1) CN115426934A (zh)
DE (1) DE102020111376A1 (zh)
WO (1) WO2021219473A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116982917A (zh) * 2023-09-19 2023-11-03 北京攸维医疗科技有限公司 一种基于荧光寿命的内窥处理系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109843176A (zh) * 2016-07-29 2019-06-04 诺瓦达克技术有限公司 用于利用机器学习来表征受验者的组织的方法和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7109505B1 (en) 2000-02-11 2006-09-19 Carl Zeiss Ag Shaped biocompatible radiation shield and method for making same
US7162292B2 (en) 2001-05-21 2007-01-09 Olympus Corporation Beam scanning probe system for surgery
US7944566B2 (en) 2005-02-04 2011-05-17 University Of Florida Research Foundation, Inc. Single fiber endoscopic full-field optical coherence tomography (OCT) imaging probe
DE102008030590A1 (de) 2007-06-29 2009-01-08 Carl Zeiss Surgical Gmbh Applikator zur Verwendung in einer Strahlentherapievorrichtung sowie Strahlentherapievorrichtung
US10507065B2 (en) 2009-05-29 2019-12-17 Jack Wade System and method for enhanced data analysis with video enabled software tools for medical environments
WO2011053828A2 (en) 2009-10-30 2011-05-05 The Regents Of The University Of Michigan Targeted dual-axes confocal imaging apparatus with vertical scanning capabilities
DE102009058777A1 (de) 2009-12-18 2011-06-22 Carl Zeiss Surgical GmbH, 73447 Applikatoreinrichtung für die Strahlentherapie sowie Strahlentherapievorrichtung
WO2016019347A1 (en) 2014-07-31 2016-02-04 California Institute Of Technology Multi modality brain mapping system (mbms) using artificial intelligence and pattern recognition
KR101583277B1 (ko) 2014-08-25 2016-01-08 한국과학기술원 2차원 광학 스캐닝을 위한 스캐너, 그 제조방법 및 이를 채용한 의료 영상 기기
WO2016182552A1 (en) 2015-05-11 2016-11-17 Siemens Aktiengesellschaft A system and method for surgical guidance and intra-operative pathology through endo-microscopic tissue differentiation
WO2018152248A1 (en) 2017-02-14 2018-08-23 Dignity Health Systems, methods, and media for selectively presenting images captured by confocal laser endomicroscopy
DE102018120750B3 (de) 2018-08-24 2019-10-31 Carl Zeiss Meditec Ag Applikator für ein medizinisches Strahlentherapiesystem und Verfahren zum Kalibrieren eines solchen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116982917A (zh) * 2023-09-19 2023-11-03 北京攸维医疗科技有限公司 一种基于荧光寿命的内窥处理系统

Also Published As

Publication number Publication date
WO2021219473A1 (de) 2021-11-04
JP2023522203A (ja) 2023-05-29
DE102020111376A1 (de) 2021-10-28
US20230218142A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
US9645378B2 (en) Microscope and method for SPIM microscopy
JP5112832B2 (ja) 顕微鏡対物レンズ及びそれを用いた蛍光観察装置
US8350230B2 (en) Method and optical assembly for analysing a sample
US7903329B2 (en) Laser scan confocal microscope
US20200057290A1 (en) Adapter for microscopic imaging
EP1998205B1 (en) Observation apparatus
US7801589B2 (en) In-vivo examination method and in-vivo examination apparatus
CN105263398A (zh) 手术成像系统
US10595770B2 (en) Imaging platform based on nonlinear optical microscopy for rapid scanning large areas of tissue
CN115426934A (zh) 医疗光学系统、数据处理系统、计算机程序和非易失性计算机可读存储介质
US8791427B2 (en) Biological-specimen observation apparatus
CN108720934A (zh) 用于操作医学-光学显示系统的方法
US20090073554A1 (en) Scanning examination apparatus
US7005622B2 (en) Microscope system having a scanning device with first and second partial images
KR102186327B1 (ko) 생체 심부 조직의 미세 영상 획득 시스템 및 이의 미세 영상 제공 방법
US8294728B2 (en) Process for generating display images from acquired recorded images, and means for carrying out the process
JP6928757B2 (ja) 光学顕微鏡における画像処理のためのシステムおよび方法
EP1806575B1 (en) Examination apparatus
US20230074634A1 (en) Method for identifying a region of a tumour
JP5385442B2 (ja) 顕微鏡対物レンズ及びそれを用いた蛍光観察装置
US20130194409A1 (en) Multi-photon fluoroscopy attachment module for a surgical microscope
JP6617774B2 (ja) 顕微鏡装置
JP2006510932A (ja) コヒーレンス顕微鏡
US11803043B2 (en) System and apparatus for dynamically shaped focal surface with a scanning microscope
Wang et al. MICROSCOPY/ONCOLOGY/IN-VIVO IMAGING: Miniature microscopes for guiding brain tumor resection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination