CN110164528A - 利用血管丛结构的弹性映射的图像处理方法和装置 - Google Patents

利用血管丛结构的弹性映射的图像处理方法和装置 Download PDF

Info

Publication number
CN110164528A
CN110164528A CN201910112740.7A CN201910112740A CN110164528A CN 110164528 A CN110164528 A CN 110164528A CN 201910112740 A CN201910112740 A CN 201910112740A CN 110164528 A CN110164528 A CN 110164528A
Authority
CN
China
Prior art keywords
image data
art
blood vessel
preoperative
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910112740.7A
Other languages
English (en)
Other versions
CN110164528B (zh
Inventor
乔治·塞梅利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN110164528A publication Critical patent/CN110164528A/zh
Application granted granted Critical
Publication of CN110164528B publication Critical patent/CN110164528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
    • A61B2090/3979—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active infrared
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Hematology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及一种图像处理方法和一种医学观察装置(1)。图像处理方法用于特别在手术期间实时显示软生物组织(12)的输出图像数据(54)，所述图像处理方法包括以下步骤：提供所述软生物组织(12)的术前三维图像数据(6)，在可见光谱和近红外光谱的至少一种中获取所述软生物组织(12)的术中图像数据(14)，在所述术中图像数据(14)中自动识别至少一个血管丛结构(48)，在所述术前三维图像数据(6)中识别至少一个经过识别的血管丛结构(48)，基于所述至少一个经过识别的血管丛结构(48)，将所述术前三维图像数据(6)与术中图像数据(14)弹性匹配，从弹性匹配的术前三维图像数据(6)和术中图像数据(14)形成输出图像数据(54)。

Description

利用血管丛结构的弹性映射的图像处理方法和装置
技术领域
本发明涉及一种用于特别在手术期间实时显示软组织图像的图像处理方法和医学观察装置。
背景技术
目前，图像引导手术通常用于某些类型的外科手术，例如脑外科手术。图像引导手术利用存储的关于手术区域的图像数据形式的术前三维信息。这种术前三维图像数据可以例如采用磁共振成像获得。在手术期间，术前信息在视觉上与待进行手术的组织的实际光学视图对准。利用术前三维信息，可以看到组织结构，例如肿瘤或血管丛结构，否则这些组织结构在可见组织的表面下是不可见的。
利用术前三维信息有助于外科医生找到并到达组织的某个区域，以避开诸如神经、动脉和静脉的敏感组织，和/或有效地移除某些组织，例如肿瘤。
为了将术前三维信息与外科医生的实际视野对准，通常使用立体红外相机或传感器以检测固定在患者身体上的光学或电磁标记。
然而，如果在软组织上进行手术，由于软组织可以相对于标记移位和变形，这些方法的空间精确度是不够的。
因此，在现有系统中，在手术期间的一个点处，外科医生需要手动地将术前三维信息与他的实际视野对准。这耗费时间，时间对于所有手术都是至关重要的。此外，也应该避免外科医生从手术中分心。
发明内容
本发明涉及一种图像处理方法和一种医学观察装置，例如显微镜或内窥镜。所述装置和方法用于显示软生物组织的输出图像数据。在图像引导手术中，将软生物组织的术前三维图像数据与手术期间获取的术中图像数据弹性匹配。通过将弹性匹配的术前三维图像数据与术中图像数据一起显示，可以使外科医生知道可见表面层下方的软生物组织的一致性。如果在可能变形和移位的软生物组织上进行手术，则需要手动重新调整用于图像引导手术的现有系统。为了避免这种情况，根据本发明的装置和方法基于软生物组织的术中图像数据进行术前三维图像数据的弹性匹配。首先在术中图像数据中识别至少一个血管丛结构，然后在术前三维图像数据中识别相同的血管丛结构。然后，将术前三维图像数据中的血管丛结构与术中图像数据中的血管丛结构弹性匹配。将弹性匹配的术前三维图像数据与术中图像数据组合，生成输出图像数据。优选地，使用来自已注入到软生物组织中的荧光团的荧光来识别至少一个血管丛结构。
因此，本发明的目的是提供一种方法和装置，即使在手术期间容易变形和移位的软组织上进行手术，也能够进行图像引导手术。
根据本发明的方法，该目的通过一种用于特别在手术期间实时显示软组织图像的图像处理方法来解决，该图像处理方法包括以下步骤：提供软生物组织的术前三维图像数据；在可见光谱和近红外光谱的至少一种中获取软生物组织的术中图像数据；在术中图像数据中自动识别至少一个血管丛结构；在术前三维图像数据中识别至少一个经过识别的血管丛结构；通过将术前三维图像数据的至少部分映射到术中图像数据中的至少一个经过识别的血管丛结构，将术前三维图像数据与术中图像数据弹性匹配，从弹性匹配的术前三维图像数据和术中图像数据形成输出图像数据。
为了解决上述问题，用于特别在手术期间观察软组织图像的医学观察装置，包括存储器组件，该存储器组件包括术前三维图像数据；相机组件，用于在可见光谱和近红外光谱的至少一种中获取术中图像数据；图像处理器组件，该图像处理器组件包括图案匹配模块、匹配模块和图像形成模块，图案匹配模块用于在术中图像数据中识别至少一个血管丛结构，并用于在术前三维图像数据中识别至少一个经过识别的血管丛结构，匹配模块用于基于至少一个经过识别的血管丛结构将术前三维图像数据与术中图像数据弹性匹配，图像形成模块用于将弹性匹配的术前三维图像数据与术中图像数据组合成输出图像数据；输出接口，用于输出所述输出图像数据。
根据本发明的方法和装置允许在软组织中连续进行图像引导手术，即使组织在身体内变形和移动，也不需要手动地将术前图像数据与术中图像数据重新对准。这是因为用于弹性匹配术前三维图像数据的结构是作为软组织的一部分并因此与软组织一起变形和移动的结构。因此，术前三维图像数据被连续地映射到外科医生实际看到的图像。事实上，外科医生可用的视觉信息本身被用于对准术前三维图像数据。
可以通过加入一个或多个的以下特征来改进根据本发明的图像处理方法和医学观察装置。可以独立于其余特征加入以下每个特征。以下每个特征都有其自身的有利技术效果。此外，以下特征都可以同等地加入到方法和装置中。
上述模块可以用软件、硬件或软件和硬件的组合来实现。此外，特定模块之间的差异主要是功能性的。因此，不同的模块可以包括单个或多个电气部件和/或单个逻辑单元，例如单个子程序。
输出图像数据可以显示在显示组件上，所述显示组件可以是医学观察装置的一部分。
弹性匹配的步骤可以包括如在Gee,J.C.；Reivich,M.；和Bajcsy,R.:“Elastically Deforming a Three-Dimensional Atlas to Match Anatomical BrainImages”(1993).IRCS Technical Reports Series.192中所描述的技术。识别血管丛结构的步骤可以使用如在Suri,J.S.；Laxminarayan,S.[eds]:“Angiography and PlaqueImaging:Advanced Segmentation Techniques”,CRC Press,2003,第501-518页，和Rouchdy,Y.；Cohen,L.:“A Geodesic Voting Method of Tubular Tree andCentrelines”,DOI:10.1109/ISBI.2011.5872566,2011,第979-983页中所描述的方法。匹配模块尤其可以被配置为执行在这些参考文献中的任一个中描述的匹配程序。
在一个实施方案中，至少一个血管丛结构的识别可以优选地仅与术中荧光图像数据一起完成。可以通过将荧光团(例如吲哚菁绿)注入组织中来获得这种荧光图像数据。相机组件可以包括滤光器组件，例如带通滤光器组件，带通滤光器组件的通带被限制为荧光团的荧光光谱。当荧光团通过血液传输时，血管丛结构可以更容易地在荧光图像中进行确定。医学观察装置可以具有照射组件，该照射组件具有照射光谱，该照射光谱包括触发荧光团的荧光的波长的光。照射光谱可以限制为这些触发荧光的波长。
在另一实施方案中，术中图像数据可以包含白光图像数据和荧光图像数据。白光图像数据可以用于向外科医生呈现输出图像数据，输出图像数据表示他将用他自己的眼睛看到的内容。为此，照射光谱还可以包括可见光谱(特别是白光)的波长。
医学观察装置可以是显微镜和内窥镜中的一种。
术中图像数据可以是二维、三维或多维数据。三维术中图像数据可以例如通过使用z-堆叠或立体设置的显微镜或SCAPE或SPIM显微镜获取。
可以使用例如多于一个相机、多光谱相机和/或超光谱相机同时在多于三个的不同波段中记录术中图像数据。
弹性映射可以包括将术前三维图像数据中的至少一个经过识别的血管丛结构与术中图像数据中相应的至少一个经过识别的血管丛结构弹性匹配的步骤，或由将术前三维图像数据中的至少一个经过识别的血管丛结构与术中图像数据中相应的至少一个经过识别的血管丛结构弹性匹配的步骤组成。用于至少一个血管丛结构的映射可以用于其余的术前三维图像数据。
术前三维图像数据到术中图像数据的映射的准确性和可靠性取决于能够如何准确地识别至少一个血管丛结构。如上所述，可以使用荧光团所在的并因此具有高荧光强度的区域对荧光术中图像数据进行图案识别。
另一实施方案中的方法可以包括识别术中图像数据内的至少一个动脉血管丛结构和/或术中图像数据内的至少一个静脉血管丛结构的步骤。为了识别血管丛结构的类型并且为了产生输出图像数据，其中不同类型的血管丛结构被标记为不同的假色，可以使用欧洲专利申请EP 17 174 047.5中描述的系统和方法。该专利申请通过引用整体并入。
另外地或可选地，可以使用已经在多个不同波长中的至少一个中例如通过多光谱和/或超光谱相机获取的术中图像数据来识别至少一个血管丛结构。可以不混合多光谱和/或超光谱术中图像数据和/或处理多光谱和/或超光谱术中图像数据以显示动脉或静脉血管或相应血管中的至少一种的分布。例如，在Matthew B.Bouchard,Brenda R.Chen,SeanA.Burgess和Elizabeth M.C.Hillman,"Ultra-fast multispectral optical imaging ofcortical oxygenation,blood flow,and intracellular calcium dynamics,"Opt.Express 17,15670-15678(2009)中描述了用于识别至少一个血管丛结构的方法和装置。
促进识别至少一个血管丛结构的另一种措施是使用至少一个光学正交偏振(cross-polarizing)滤光器组件以减少镜面反射。该方法在欧洲专利申请EP 16 204933.2中进行了描述，该专利申请通过引用整体并入本文。
为了更可靠地识别至少一个血管丛结构的另一步骤可以是使用荧光图像数据在术中图像数据中的至少一个位置处计算血流方向。如在欧洲专利申请EP 17 210 909.2中所描述的那样，通过确定时间导数以及空间导数中的至少一个，可以在给定位置计算血流方向，该专利申请通过引用整体并入本文。术中图像数据的位置可以对单个像素或相干像素阵列响应。另外地或可选地，如在欧洲专利申请EP 17 174 047.5中所描述的，主成分分析可以用于确定血流方向，该专利申请也通过引用整体并入本文。
如果除了仅仅图像数据之外，关于术中图像数据以及由此组织内的血管丛结构的位置的附加信息是可用的，则还可以促进术前三维图像数据到术中图像数据的映射。为此，可以提供位置传感器，用于产生表示相机组件的视场位置的位置数据。位置数据可以包括相机组件的焦距、景深(field depth)和距离设置中的至少一种。位置数据可以包括增量位置数据和绝对位置数据中的至少一种。增量位置数据可以用于指示视场的位置从一帧的术中图像数据到后续帧的术中图像数据的变化。绝对位置数据可以用于术中图像数据的每个帧，以指示对于恒定参考的绝对位置。然后可以通过计算相应绝对位置数据的差异来获得后续帧的术中图像数据之间的位置数据的变化。在一个实施方案中，定位数据可以用于以下至少一种：在三维数据中识别至少一个血管丛结构、将术前三维图像数据与术中图像数据弹性匹配、以及显示输出图像数据。
最后，本发明还涉及一种非临时性计算机可读介质，存储有程序，所述程序使计算机执行任何上述实施方案中的方法。
在下文中，参考附图示例性地描述了本发明的实施方案。示例性实施方案中示出的特征的组合仅用于说明目的。如果对于特定应用不需要如上所述的相应特征的技术效果，则可以从实施方案中省略特征。相反，如果特定实施方案需要一个或多个技术特征的技术效果，则可以将一个或多个上述特征加入到实施方案中。
附图说明
图1示出了根据本发明的方法和装置的示例性实施方案。
具体实施方式
对用于特别在手术期间观察活组织的光学观察装置1的构造和功能进行了说明。仅出于说明的目的，医学观察装置被示出为显微镜2。医学观察装置1也可以是内窥镜(未示出)。
医学观察装置1包括存储器组件4，存储器组件4中存储有术前三维图像数据6。存储器组件4可以包括标准的计算机存储器。
医学观察装置1还包括相机组件8，相机组件8具有视场10。在手术期间，可以将软生物组织12(例如脑组织、肌肉组织、淋巴组织或内脏器官或其他软体部位的组织)布置在视场10内。在手术期间，相机组件8获取术中(interoperative)图像数据14，术中图像数据14可以被构造为单个输入帧16或时间序列18的输入帧16。术中图像数据14可以包括像素20或由像素20组成。术中图像数据14可以是二维的，即表示视场10中的平面；可以是三维的，即表示视场10中的体积；或者可以是多维的图像数据，多维的图像数据可以例如包括在不同光谱波长下在视场10中的三维数据。
相机组件8可以包括RGB相机、多光谱相机和超光谱相机中的至少一种。
术中图像数据包括荧光图像数据或由荧光图像数据组成。当将荧光团22(例如吲哚菁绿)注入组织12并以触发荧光的波长照射时，可以获得这种荧光图像数据。
相机组件8可以包括一个或多个滤光器组件24，一个或多个滤光器组件24仅在图1中示意性地示出。滤光器组件24可以包括用于阻挡镜面反射的滤光器布置26。这种滤光器布置的示例在欧洲专利申请EP 16 204 933.2中进行了描述，该专利申请通过引用整体并入本文。
滤光器组件24还可以包括带通滤光器布置28，用于将术中图像数据14中的光限制为至少一种荧光团22的荧光波长。这种滤光器布置在欧洲专利申请EP 17 179 019.8中示出。该专利申请通过引用整体并入本文。
医学观察装置1还可以包括用于产生具有照射光谱的照射光34的照射组件32。照射光谱可以被限制为触发至少一种荧光团22的荧光的波长或包括触发至少一种荧光团22的荧光的波长。照射光34还可以包括与动脉血的反射光谱匹配的波长或被限制为与动脉血的反射光谱匹配的波长。照射光34可以被限制为与静脉血的反射光谱匹配的波长或包括与静脉血的反射光谱匹配的波长。将照射光34的照射光谱限制为单个波长或优选不同的波长减少了各个频带之间的交叉串扰(cross-talk)。这有利于术中图像数据14的自动分析。可以在不同的照射光谱下获取后续输入帧16。可选地，术中图像数据14优选地包含可见光谱和近红外光谱中至少一种的信息，可见光谱例如为动脉血和静脉血的反射光谱中的至少一种，近红外光谱例如为至少一种荧光团22的荧光波长。
医学观察装置1还包括图像处理器组件40，图像处理器组件40仅以示例的方式示出为图1中的集成电路。图像处理器40及其组成部分可以是软件实现的、硬件实现的或者实现为硬件和软件的结合。存储器组件4可以是图像处理器40的一部分。图像处理器组件40可以包括几个模块，这些模块可以在功能上和/或结构上有所区别。图像处理器组件40通过数据连接42连接到相机组件8，数据连接42可以是有线和/或无线的。图像处理器组件40的输入接口44可以适于从至少一个相机组件8和/或存储器(例如存储器组件4)获取术中图像数据14，其中相机组件8和/或存储器中存储有或缓冲有术中图像数据14，例如在预处理之后。
图像处理器组件40可以包括图案匹配模块46，用于在术中图像数据14中识别至少一个血管丛结构48，并用于在术前三维图像数据6中识别至少一个经过识别的血管丛结构48。
例如可以在被限制为荧光团22的荧光光谱的术中图像数据14a中识别至少一个血管丛结构48。另外地或可选地，可以在术中图像数据14b中识别至少一个血管丛结构48，术中图像数据14b已经被记录在可见光谱中，并且可以特别是被限制为动脉血和静脉血的反射光谱中的至少一种。用于在术中图像数据14中识别血管丛结构48然后在术前三维图像数据6中识别该结构的算法例如在Rouchdy,Y.；Cohen,L.:“A Geodesic Voting Method ofTubular Tree and Centrelines”,DOI:10.1109/ISBI.2011.5872566,第979-983页和Suri,J.S.；Laxminarayan,S.(eds):“Angiography and Plaque Imaging:AdvancedSegmentation Techniques”,CRC Press,第501-518页中给出。此外，在EP 17 174 017.5中描述了通过使用至少一种荧光团的大丸剂(bolus)来识别血管丛结构的方法，其全部内容通过引用整体包括在本文中。
图像处理器组件40还可以包括弹性匹配模块50，用于基于至少一个经过识别的血管丛结构48将术前三维图像数据6与术中图像数据14弹性匹配。同样，用于执行这种弹性匹配的算法在如上所述的IRCS Technical Reports Series,192,“Elastically Deforminga Three-Dimensional Atlas to Match Anatomical Brain Images”中进行了描述。作为弹性匹配的结果，将术前三维图像数据6进行移位、旋转和/或扭曲，使得两个数据中的经过识别的血管丛结构48在几何上重合。为此，弹性匹配步骤还可以限定通过术前三维图像数据6的截面，该截面导致在术中图像数据14中表示的视场10。此外，如果相机组件8包括用于获取术中图像数据14的多光谱相机和超光谱相机中的至少一种，血管结构48及其类型可以使用在如上所述的Opt.Express 17,第15670-15678页,"Ultra-fast MultispectralOptical Imaging of Cortical Oxigenation,Blood Flow,and Intracellular CalciumDynamics"中描述的装置和方法来确定。
图像处理器组件40还可以包括图像形成模块52，用于将弹性匹配的术前三维图像数据6或其截面与术中图像数据14组合成输出图像数据54。图像处理器组件还可以包括输出接口55，用于输出所述输出图像数据54。输出接口55可以包括至少一个标准的连接器和/或无线连接，标准的连接器例如为HDMI、DVI、RGB或任何其他合适类型的连接器，无线连接包括匹配数据传输协议。
为了显示输出图像数据54，医学观察装置1可以包括显示组件56，显示组件56可以包括立体显示器，例如显微镜或内窥镜和/或监视器的目镜。显示组件56可以通过有线或无线连接到输出接口55。
用于在术前三维图像数据6中定位和/或识别术中图像数据14的经过识别的血管丛结构48的计算负担可能很高。如果提供关于视场10、血管丛结构48和/或术中图像数据14位于软生物组织12内的位置信息，则可以减轻这种负担。如果例如已经成功地对时间序列18的一个输入帧16执行了弹性匹配过程，然后在手术期间必须对时间序列18的后续输入帧16重复该弹性匹配过程时，这种信息是有用的。为此，医学观察装置1可以包括至少一个位置传感器58，用于获取和/或提供定位数据60，定位数据60表示医学观察装置1的光学透镜系统62的焦距、景深和距离设置、以及光学透镜系统62和图像处理器组件40的尺寸和离光学透镜系统62和图像处理器组件40的距离(例如视场10的维度)中的至少一种。
定位数据60可以被输入到图案匹配模块46、弹性匹配模块50和图像形成模块52中的至少一个中，并且用于在术前三维图像数据6中识别至少一个经过识别的血管丛结构48、术前三维图像数据6与术中图像数据14的弹性匹配、以及用于从弹性匹配的术前三维图像数据6和术中图像数据14形成输出图像数据5。
如在欧洲专利申请EP 17 210 909.2中所描述的，图像处理器组件40可以适于在至少一个经过识别的血管丛结构48中的位置66处计算血流方向64，该专利申请通过引用整体包括在本文中。位置可以是在术中图像数据14中的像素20或优选为术中图像数据14中的相干像素阵列。可以使用EP 17 174 047.5中描述的方法和系统执行经过识别的血管丛结构48的组织类型，即静脉、动脉和毛细组织和/或血管之间的区别。
如上所述，上述系统和方法仅依赖于当记录术中图像数据14时自动获取的信息。所述系统和方法还可以包括定位数据60，定位数据60由医学观察装置1的设置产生，用于获取术中图像数据14。
附图标记
1 医学观察装置
2 显微镜
4 存储器组件
6 术前三维图像数据
8 相机组件
10 视场
12 软生物组织
14 术中图像数据
14a 荧光术中图像数据
14b 可见光术中图像数据
16 输入帧
18 时间序列的输入帧
20 像素
22 荧光团
24 滤光器组件
26 用于阻挡镜面反射的滤光器布置
28 用于荧光的带通滤光器布置
32 照射组件
34 照射光
40 图像处理器组件
42 数据连接
44 输入接口
46 图案匹配模块
48 血管丛结构
50 弹性匹配模块
52 图像形成模块
54 输出图像数据
55 输出接口
56 显示组件
58 位置传感器
60 定位数据
62 光学透镜系统
64 血流方向
66 位置

Claims (14)

1.一种图像处理方法，用于特别在手术期间实时显示软生物组织(12)的输出图像数据(54)，所述图像处理方法包括以下步骤：
·提供所述软生物组织(12)的术前三维图像数据(6)，
·在可见光谱和近红外光谱的至少一种中获取所述软生物组织(12)的术中图像数据(14)，
·在所述术中图像数据(14)中自动识别至少一个血管丛结构(48)，
·在所述术前三维图像数据(6)中识别至少一个经过识别的血管丛结构(48)，
·基于所述至少一个经过识别的血管丛结构(48)，将所述术前三维图像数据(6)与所述术中图像数据(14)弹性匹配，
·从弹性匹配的所述术前三维图像数据(6)和所述术中图像数据(14)形成所述输出图像数据(54)。
2.根据权利要求1所述的图像处理方法，其中所述经过识别的血管丛结构(48)是在使用来自荧光团(22)的荧光获取的术中图像数据(14)中识别的。
3.根据权利要求1或2所述的图像处理方法，其中所述术中图像数据(14)中的所述经过识别的血管丛结构(48)是使用可见光谱中的光记录的。
4.根据权利要求1至3中任一项所述的图像处理方法，其中显示所述输出图像数据(54)。
5.根据权利要求1至4中任一项所述的图像处理方法，其中将用于减少镜面反射的至少一个滤光器布置(26)用于获取所述术中图像数据(14)。
6.根据权利要求1至5中任一项所述的图像处理方法，其中在所述经过识别的血管丛结构(48)中的至少一个位置(66)处计算血流方向(64)。
7.根据权利要求1至6中任一项所述的图像处理方法，其中获取定位数据(60)，所述定位数据(60)表示在获取所述术中图像数据(14)时，用于获取所述术中图像数据(14)的光学透镜系统(62)的焦距、所述光学透镜系统(62)的景深、所述光学透镜系统(62)的距离设置、所述光学透镜系统(62)的视场(10)的尺寸、维度和方向中的至少一种，其中所述定位数据(60)用于以下至少一种：在所述术前三维图像(6)中识别所述血管丛结构(48)、将所述术前三维图像数据(6)与所述术中图像数据(14)弹性匹配，以及显示所述输出图像数据(54)。
8.一种医学观察装置(1)，用于特别在手术期间产生软生物组织(12)的输出图像数据(54)，例如为显微镜(2)或内窥镜，所述装置包括：
·存储器组件(4)，所述存储器组件(4)包括所述软生物组织(12)的术前三维图像数据(6)，
·相机组件(8)，所述相机组件(8)用于在可见光谱和近红外光谱的至少一种中获取所述软生物组织(12)的术中图像数据(14)，
·图像处理器组件(40)，所述图像处理器组件(40)包括：
o图案匹配模块(46)，用于在所述术中图像数据(14)中识别至少一个血管丛结构(48)，并用于在所述术前三维图像数据(6)中识别至少一个经过识别的血管丛结构(48)，
o匹配模块(50)，用于基于所述至少一个经过识别的血管丛结构(48)将所述术前三维图像数据(6)与所述术中图像数据(14)弹性匹配，和
o图像形成模块(52)，用于将弹性匹配的术前三维图像数据(6)的至少部分与所述术中图像数据(14)组合成所述输出图像数据(54)，和
·输出接口，用于输出所述输出图像数据(54)。
9.根据权利要求8所述的医学观察装置(1)，其中所述医学观察装置(1)还包括显示组件(56)，所述显示组件(56)用于显示所述输出图像数据(54)。
10.根据权利要求8或9所述的医学观察装置(1)，其中所述相机组件(8)包括至少一个用于减少镜面反射的滤光器布置(26)，所述滤光器布置(26)包括至少一对正交偏振器。
11.根据权利要求8至10中任一项所述的医学观察装置(1)，其中所述相机组件(8)包括至少一个滤光器布置(28)，所述至少一个滤光器布置(28)具有与至少一种荧光团(22)的荧光光谱匹配的通带。
12.根据权利要求8至11中任一项所述的医学观察装置(1)，其中所述相机组件(8)包括光学透镜系统(62)和用于获取定位数据(60)的至少一个位置传感器(58)，所述定位数据(60)表示所述光学透镜系统(62)的焦距、景深和距离设置、视场(10)的尺寸、维度和方向中的至少一种。
13.根据权利要求8至12中任一项所述的医学观察装置(1)，其中所述图像处理器组件(40)用于计算所述经过识别的血管丛结构(48)中的血流方向(64)，以及其中所述图像形成模块(52)适于将所述输出图像数据(54)中的所述经过识别的血管丛结构(48)与表示所述血流方向(64)的时变标记数据组合。
14.一种非临时性计算机可读介质，存储有程序，其中所述程序使计算机执行根据权利要求1至7中任一项所述的图像处理方法。
CN201910112740.7A 2018-02-15 2019-02-13 利用血管丛结构的弹性映射的图像处理方法和装置 Active CN110164528B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18156906.2A EP3527123B1 (en) 2018-02-15 2018-02-15 Image processing method and apparatus using elastic mapping of vascular plexus structures
EP18156906.2 2018-02-15

Publications (2)

Publication Number Publication Date
CN110164528A true CN110164528A (zh) 2019-08-23
CN110164528B CN110164528B (zh) 2023-12-29

Family

ID=61521289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910112740.7A Active CN110164528B (zh) 2018-02-15 2019-02-13 利用血管丛结构的弹性映射的图像处理方法和装置

Country Status (4)

Country Link
US (1) US20190247142A1 (zh)
EP (1) EP3527123B1 (zh)
JP (1) JP6972049B2 (zh)
CN (1) CN110164528B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3540494B1 (en) 2018-03-16 2022-11-23 Leica Instruments (Singapore) Pte. Ltd. Augmented reality surgical microscope and microscopy method
JP6988001B2 (ja) * 2018-08-30 2022-01-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
CN111292410B (zh) * 2020-01-19 2022-04-12 华中科技大学同济医学院附属协和医院 一种静脉显影照相装置及其三维全景模型的生成方法
EP3991685A1 (en) * 2020-11-03 2022-05-04 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope system
WO2022232264A1 (en) * 2021-04-28 2022-11-03 Smith & Nephew, Inc. Computerized systems for arthroscopic applications using real-time blood-flow detection
WO2023052534A1 (en) * 2021-09-30 2023-04-06 Leica Instruments (Singapore) Pte. Ltd. Image processing for surgical applications

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997015229A1 (en) * 1995-10-23 1997-05-01 Cytometrics, Inc. Method and apparatus for reflected imaging analysis
US20040142485A1 (en) * 2002-03-20 2004-07-22 Robert Flower System and method for visualizing fluid flow through vessels
US20060173358A1 (en) * 2005-01-11 2006-08-03 Olympus Corporation Fluorescence observation endoscope apparatus and fluorescence observation method
US20080317317A1 (en) * 2005-12-20 2008-12-25 Raj Shekhar Method and Apparatus For Accelerated Elastic Registration of Multiple Scans of Internal Properties of a Body
US20100324407A1 (en) * 2009-06-22 2010-12-23 General Electric Company System and method to process an acquired image of a subject anatomy to differentiate a portion of subject anatomy to protect relative to a portion to receive treatment
US20110118547A1 (en) * 2009-11-19 2011-05-19 Fujifilm Corporation Endoscope apparatus
US20130051640A1 (en) * 2011-07-25 2013-02-28 Siemens Corporation Method for vascular flow pattern analysis
WO2015023990A1 (en) * 2013-08-15 2015-02-19 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
WO2015084143A1 (en) * 2013-12-06 2015-06-11 Mimos Berhad An apparatus and method for volumetric and speed measurement of blood 'train' in visible vessels
US20160278678A1 (en) * 2012-01-04 2016-09-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
CN106068451A (zh) * 2014-01-06 2016-11-02 博迪维仁医疗有限公司 手术装置及其使用方法
CN107205785A (zh) * 2015-01-22 2017-09-26 皇家飞利浦有限公司 利用光学形状感测的腔内移植物可视化
CN107205691A (zh) * 2014-10-20 2017-09-26 博迪维仁医疗有限公司 手术装置及其使用方法
WO2017204746A1 (en) * 2016-05-23 2017-11-30 Leica Instruments (Singapore) Pte. Ltd. Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation
WO2018002347A1 (en) * 2016-06-30 2018-01-04 Koninklijke Philips N.V. Registering tomographic imaging and endoscopic imaging
WO2018012080A1 (ja) * 2016-07-12 2018-01-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10163813A1 (de) * 2001-12-22 2003-07-03 Philips Intellectual Property Verfahren zur Darstellung von unterschiedlichen Bildern eines Untersuchungsobjektes
JP4147033B2 (ja) * 2002-01-18 2008-09-10 オリンパス株式会社 内視鏡装置
JP5214876B2 (ja) * 2006-12-15 2013-06-19 株式会社東芝 ３次元画像処理装置及び医用画像診断装置
WO2010046838A1 (en) * 2008-10-23 2010-04-29 Koninklijke Philips Electronics N.V. Cardiac- and/or respiratory-gated image acquisition system and method for virtual anatomy enriched real-time 2d imaging in interventional radiofrequency ablation or pacemaker placement procedures
DE102011120937B4 (de) * 2011-12-14 2019-03-14 Carl Zeiss Meditec Ag Anordnung und Verfahren zur Registrierung von Gewebeverschiebungen
JP2016177327A (ja) * 2015-03-18 2016-10-06 伸彦 井戸 動的計画法を適用する有向無閉路グラフの構成と格子点のコストとに特徴を持つ、２つの要素列の対応付け方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997015229A1 (en) * 1995-10-23 1997-05-01 Cytometrics, Inc. Method and apparatus for reflected imaging analysis
US20040142485A1 (en) * 2002-03-20 2004-07-22 Robert Flower System and method for visualizing fluid flow through vessels
US20060173358A1 (en) * 2005-01-11 2006-08-03 Olympus Corporation Fluorescence observation endoscope apparatus and fluorescence observation method
US20080317317A1 (en) * 2005-12-20 2008-12-25 Raj Shekhar Method and Apparatus For Accelerated Elastic Registration of Multiple Scans of Internal Properties of a Body
US20100324407A1 (en) * 2009-06-22 2010-12-23 General Electric Company System and method to process an acquired image of a subject anatomy to differentiate a portion of subject anatomy to protect relative to a portion to receive treatment
US20110118547A1 (en) * 2009-11-19 2011-05-19 Fujifilm Corporation Endoscope apparatus
US20130051640A1 (en) * 2011-07-25 2013-02-28 Siemens Corporation Method for vascular flow pattern analysis
US20160278678A1 (en) * 2012-01-04 2016-09-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
WO2015023990A1 (en) * 2013-08-15 2015-02-19 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
WO2015084143A1 (en) * 2013-12-06 2015-06-11 Mimos Berhad An apparatus and method for volumetric and speed measurement of blood 'train' in visible vessels
CN106068451A (zh) * 2014-01-06 2016-11-02 博迪维仁医疗有限公司 手术装置及其使用方法
CN107205691A (zh) * 2014-10-20 2017-09-26 博迪维仁医疗有限公司 手术装置及其使用方法
CN107205785A (zh) * 2015-01-22 2017-09-26 皇家飞利浦有限公司 利用光学形状感测的腔内移植物可视化
WO2017204746A1 (en) * 2016-05-23 2017-11-30 Leica Instruments (Singapore) Pte. Ltd. Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation
WO2018002347A1 (en) * 2016-06-30 2018-01-04 Koninklijke Philips N.V. Registering tomographic imaging and endoscopic imaging
WO2018012080A1 (ja) * 2016-07-12 2018-01-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
THOMAS WINDHEUSER,ET AL: "Geometrically consistent elastic matching of 3D shapes:A linear programming solution", 《INTERNATIONAL CONFERENCE ON COMUPUTER VISION》 *
THOMAS WINDHEUSER,ET AL: "Geometrically consistent elastic matching of 3D shapes:A linear programming solution", 《INTERNATIONAL CONFERENCE ON COMUPUTER VISION》, 12 January 2012 (2012-01-12) *

Also Published As

Publication number Publication date
JP2019141578A (ja) 2019-08-29
US20190247142A1 (en) 2019-08-15
JP6972049B2 (ja) 2021-11-24
EP3527123B1 (en) 2022-08-31
CN110164528B (zh) 2023-12-29
EP3527123A1 (en) 2019-08-21

Similar Documents

Publication Publication Date Title
CN110164528A (zh) 利用血管丛结构的弹性映射的图像处理方法和装置
US11857317B2 (en) Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
US20230320649A1 (en) Surgical navigation with stereovision and associated methods
EP3540494B1 (en) Augmented reality surgical microscope and microscopy method
US20160086380A1 (en) Hyperspectral imager
US20190388160A1 (en) Methods and systems for intraoperatively confirming location of tissue structures
AU2015202805B2 (en) Augmented surgical reality environment system
EP3116376B1 (en) Methods and systems for intraoperatively confirming location of tissue structures
KR101647022B1 (ko) 의료 영상 획득 장치 및 방법
WO2013163391A1 (en) Surgical structured light system
US11406255B2 (en) System and method for detecting abnormal tissue using vascular features
CN105208909A (zh) 用于立体显示图像数据的方法和装置
WO2015187620A1 (en) Surgical navigation with stereovision and associated methods
CN105962881A (zh) 一种血管识别方法及设备
CN104287690B (zh) 多焦深、多光谱段的腹腔镜三维监控设备
US11690558B2 (en) Surgical navigation with stereovision and associated methods
EP4333763A1 (en) Augmented reality headset and probe for medical imaging
KR20210073673A (ko) 형광 복강경 영상 정합 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant