CN109310271A - 医学观察设备，诸如显微镜或内窥镜，以及使用具有时间和/或空间调制的伪彩色图案的方法 - Google Patents

医学观察设备，诸如显微镜或内窥镜，以及使用具有时间和/或空间调制的伪彩色图案的方法 Download PDF

Info

Publication number
CN109310271A
CN109310271A CN201780032076.4A CN201780032076A CN109310271A CN 109310271 A CN109310271 A CN 109310271A CN 201780032076 A CN201780032076 A CN 201780032076A CN 109310271 A CN109310271 A CN 109310271A
Authority
CN
China
Prior art keywords
image data
data
pseudo
input
colours
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780032076.4A
Other languages
English (en)
Other versions
CN109310271B (zh
Inventor
乔治·茨梅利斯
迈克尔·格萨特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Priority to CN202110516737.9A priority Critical patent/CN113256545A/zh
Publication of CN109310271A publication Critical patent/CN109310271A/zh
Application granted granted Critical
Publication of CN109310271B publication Critical patent/CN109310271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N2021/646—Detecting fluorescent inhomogeneities at a position, e.g. for detecting defects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biochemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Quality & Reliability (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明涉及一种医学观察设备(1)，诸如显微镜或内窥镜。另外，本发明涉及一种用于处理医学图像的方法。输入图像数据(52)由可见光相机(28)生成，并覆盖有辅助输入数据(58)，诸如从辅助输入数据(58)，例如荧光相机(32)或超声传感器(40，42)，生成的荧光图像数据(65)。根据辅助输入数据(58)，由图像处理器(80)生成伪彩色图像数据(86)的序列集合(84)。伪彩色图像(84)与输入图像数据(52)合并，以获得输出图像数据(94)。取决于图像输入数据(52)和辅助输入数据(58)中的至少一个的内容，生成包括时间和/或空间调制的图案(87)中的至少一个的伪彩色图案字段(88)。

Description

医学观察设备，诸如显微镜或内窥镜，以及使用具有时间和/ 或空间调制的伪彩色图案的方法
技术领域
本发明涉及医学观察设备和方法。用于实现本发明的典型医学观察设备是显微镜或内窥镜。
背景技术
在现有技术中已知将荧光团注射到通过诸如显微镜或内窥镜之类的光学成像设备观察的组织中。荧光团被配置为仅标记特定组织。例如，荧光团可以适于仅在观察时间期间保留在血流中，使得仅血管被荧光团标记。另一种荧光团可以以前体材料的形式提供，其仅与肿瘤细胞反应以产生仅标记癌症的荧光团。因此，荧光成像可以提供有用的诊断信息。但是，荧光通常不提供解剖学信息，即，组织颜色外观。相反，可见光图像提供解剖学信息但不提供荧光诊断信息。伪彩色是在单个图像中呈现这两种不同图像类型(可见光和荧光)的信息的便利方式。在现有技术中已知将可见光图像和荧光图像叠加或合并。
这种图像叠加设备和方法的使用极大地促进诊断和外科手术。但是，需要进一步改进该技术，以进一步促进诊断和外科手术。
发明内容
因此，本发明的目标是提供进一步改进现有设备和方法的设备和方法。
对于医学观察设备，根据本发明实现这个目标，其中医学观察设备包括输入接口、图像处理器和输出接口，输入接口被配置为接收输入图像数据的序列集合和辅助输入数据的序列集合，输出接口被配置为以输出数据速率输出输出图像数据的序列集合(subsequent set)，图像处理器连接到输入接口以便接收输入图像数据和辅助输入数据的集合并且连接到输出接口以便输出输出图像数据，图像处理器还被配置为取决于辅助输入数据和输入图像数据中的至少一个的内容而生成的伪彩色图像数据的序列集合并且取决于输入图像数据、辅助输入数据和伪彩色图像数据中的至少一个的内容而生成伪彩色图像数据内的至少一个合成的伪彩色图案字段，该伪彩色图案字段包括时间和空间变化图案中的至少一个，并且图像处理器被配置为合并伪彩色图像数据与输入图像数据的至少一个部分以生成包含伪彩色图案字段的输出图像数据。
本发明的目的还通过用于显示医学图像的方法来实现，该方法包括以下步骤：接收输入图像数据的序列集合，接收辅助输入数据的序列集合，取决于辅助输入数据和输入图像数据中的至少一个的内容而生成伪彩色图像数据的序列集合，取决于输入图像数据、辅助输入数据和伪色图像数据中的至少一个的内容而生成伪彩色图像数据内的至少一个相干图案字段，该图案字段具有空间和时间调制中的至少一个，将伪彩色图像数据与输入图像数据合并以获得输出图像数据，并且显示具有伪彩色图案字段的输出图像数据。
使用时间和/或空间调制的伪彩色图案允许将特别表示附加数据源的另外的数据合并到输出图像。另外，伪彩色图案的使用允许可视化输出图像数据中的数据，否则在伪彩色图像中将难以察觉。
由于图案字段既是伪彩色又是合成的，因此它立即与输入图像不同，输入图像优选地用作输出图像数据中的背景并且基于可见光图像数据。
在本发明的上下文中，图案表示可辨别的规律性，其中元素以可预测的方式重复。规律性和可预测性意味着该图案不依赖人类认知过程。相反，可以使用图案识别算法自动识别和发现图案。伪彩色是在那样的背景下不会自然发生的颜色，诸如生物组织中的霓虹颜色。在本公开的上下文中的颜色被标记为光的波长的特定组合并且因此独立于人类认知过程。
在下文中，描述本发明的其它方面。以下描述的每个其它方面具有其自身的优点和技术效果，因此可以与任何其它方面任意组合。
例如，图案字段可以用空间图案(诸如阴影线)或者用模板的时间和/或空间中的规律重复填充。在具有空间调制的图案中，模板可以由诸如点、瓦片、符号和/或图片之类的几何形状组成。在具有时间调制的图案中，图案由不同图像的集合在一段时间内的规律重复组成。这种图案的典型示例是阴影线或简单几何形状(诸如圆形、多边形和/或波形)的位图模板。
在具有时间和空间调制两者的图案中，重复地显示具有空间调制的不同图案。时间调制的图案中的序列图案可以彼此相似，例如，在空间上相对于彼此移位但在其它方面完全相同，以表示运动的方向。例如，在变化速率的一个周期内的时间调制的图案的序列阴影可以全部相对于彼此以几何方式移位相同的量。这可以用于产生指示运动方向的时间调制的图案。传播波图案可以例如用于指示流体流(诸如血液或淋巴流)的方向。
伪彩色图案优选地在伪彩色图像数据的至少一个相干或连续部分上延伸，从而形成伪彩色图案字段。在伪彩色图案字段内，图像输入数据和辅助输入数据中的至少一个的内容优选地满足相同的条件。例如，如果辅助输入数据和/或伪彩色图像数据的内容超过上阈值，那么这可以表示数据中的饱和。然后，这些数据可以由图案字段表示，以便将它们标记为不可靠。可以结合下阈值使用相同的方法，下阈值可以表示低于灵敏度阈值的数据并且因此可以被认为是不可靠的。时间调制的图案的示例可以是伪彩色图像或其相干部分，其被用伪彩色填充并且其中伪彩色被打开和关闭，或者根据变化速率改变亮度、色调和饱和度中的至少一个。
时间调制的图案可以具有变化速率，其中发生交替图案的循环重复。为了清楚地可见，变化速率应当小于闪烁融合速率，即，特别地小于25Hz。
图像处理器可以被配置为取决于输入图像数据和辅助输入数据中的至少一个的内容来确定变化速率。变化速率可以随时间由图像处理器自动改变。特别地，随时间的变化可以取决于输入图像数据、辅助输入数据和伪彩色图像数据中的至少一个的内容。例如，如果辅助数据是超声数据，那么变化速率可以取决于瞬时流速，或取决于速度改变的频率和/或振幅(例如，由血流中的脉冲造成的)。
如果伪彩色图案字段是时间图案，其中图像处理器被配置为生成具有变化速率的时间图案，那么有利的是输出数据速率大于变化速率。因此，可以平滑地显示图案的时间变化。输出数据速率通常与帧速率对应，因此应当高于闪烁融合速率以便产生平滑的图像序列。相反，变化速率被配置为产生可感知的运动。
伪彩色图像数据还可以包括符号，诸如箭头、字母和数字。
根据本发明的另一方面，输入接口可以包括输入部分，该输入部分被配置为接收超声数据和荧光图像数据中的至少一个作为辅助输入数据。超声数据可以是由超声麦克风的记录生成的一维数据字段。超声数据可以附加地或替代地是多维的，诸如由超声传感器头或扫描仪产生的。特别地，超声数据可以是二维或三维的(在空间维度上)并且在表示空间位置的每个数据点处包含附加数据，诸如流或移动的速度和方向。
图像处理器可以包括空间对准模块，该空间对准模块适于在空间上对准输入图像数据和任何辅助输入图像数据，使得两个数据中的空间特征在空间上是一致的。
例如，如果输入图像数据是从可见光相机接收的图像数据并且辅助输入数据是从荧光相机接收的荧光图像数据，其中可见光相机和荧光相机都具有重叠的视场，那么空间对准模块对其中至少一个图像进行矫正(rectify)，使得空间特征在两个图像数据中具有相同的尺寸和朝向。这允许输出图像数据中的各种图像数据的精确合并。在这种情况下，辅助输入数据可以替代地或附加地包括来自检测其它物理量(优选地是不可见的量)的传感器的数据。可以使用空间对准模块以与上面提到的荧光图像数据相同的方式对这些数据进行矫正。
如果荧光发生在NIR范围内，那么荧光相机可以是NIR相机，并且荧光图像数据可以是NIR图像数据。
如果辅助数据是来自荧光相机的图像数据，特别是荧光图像数据，那么时间和/或空间图案可以取决于荧光图像数据的饱和度和/或亮度。还可以生成伪彩色图案字段，其中荧光图像数据中的两种不同颜色或波长重叠并且，作为可选的进一步标准，每种颜色或波长超过最小强度。
如果辅助输入图像数据包括三维数据集，那么时间和/或空间图案可以取决于检测到用于切换该图案的预定条件的位置，特别是深度。这允许在输出图像数据中包括表示在输入图像数据中所表示的平面下面的平面内的结构和/或物理特征的数据，诸如由荧光团标记的肿瘤下面的血管或骨。
根据另一方面，图像处理器可以被配置为根据时间调制方案生成的伪彩色图像数据的序列集合。时间调制方案优选地存储在图像处理器中。调制方案可以包括表示不同伪彩色的不同伪彩色图像数据、不同饱和度和/或亮度的伪彩色图像数据、表示循环改变的图案的不同伪彩色图像数据的集合之间的至少一个时变更改。
调制方案还可以包括传播波图案，其中，在传播波图案中，速度、方向和波长中的至少一个取决于辅助输入数据的内容。
根据医学观察设备的另一方面，输出图像数据可以包括三维图像数据。图像处理器可以被配置为生成和/或处理三维输出图像数据，其中取决于辅助数据的内容在三维图像数据的不同深度或平面处生成伪彩色图像数据。这方面可以独立于伪彩色图案字段的生成来实现。
例如，可以使用或者可见光相机或者荧光相机通过Z堆叠来生成三维输入图像数据。因此，伪彩色图像数据可以用于呈现三维特征。如上面已经解释过的，图像数据的三维性也可以由三维超声图像产生。
根据本发明的另一方面，输出图像数据可以是二维图像数据，并且输入图像数据和辅助输入数据中的至少一个可以包括三维数据。图像处理器适于使用不在二维输出图像数据的平面中的特征的伪颜色从三维输入数据计算二维输出图像数据。伪彩色图像数据，特别是其伪彩色图案字段，可以用于显示三维输入图像和/或三维辅助输入数据的不在二维输出数据中呈现的平面内的一部分的数据内容。
结合三维输入图像或辅助输入数据使用伪彩色图像本身是有利的，即，不使用伪彩色图案字段。
医学观察设备可以包括连接到输入接口的至少一个可见光相机，以提供输入图像数据。可见光相机可以提供三维输入图像数据或二维输入图像数据。医学观察设备还可以包括至少一个传感器设备，至少一个传感器设备被配置为感测不是可见波长范围内的电磁辐射的物理量，诸如至少一个荧光相机、至少一个超声传感器、至少一个微辐射相机、至少一个伽马射线相机、至少一个X射线相机和/或至少一个热成像相机。这些设备可以连接到输入接口，以提供辅助输入数据。辅助输入数据可以是一维的、二维的、三维的，或者提供不同维度的辅助输入数据的集合。
医学观察设备优选地被配置为辨别、处理和显示多于一个荧光团，即，多于一个不同的荧光光谱。为此，荧光相机、光源和可见光相机中的至少一个可以设有用于选择性地阻挡和/或透射荧光光谱的滤光器布置。在这种情况下，伪彩色图像优选地包括至少两种不同的伪彩色，其中每种伪彩色被指派给不同的荧光光谱，即，指派给不同的荧光团。
图像处理器及其组成部分可以是硬件设备，或者可以至少部分地由在多功能计算机或处理器中执行的软件模块表示。
本发明可以采用伪彩色图像数据与输入图像数据的合并，如在并行申请EP 16155 625.3中描述的，该申请通过引用完整地并入本文。
附图说明
在下文中，参考附图示例性地描述本发明。在附图中，关于功能和设计中的至少一个彼此对应的元素被赋予相同的附图标记。
图中所示和下面描述的特征的组合仅仅是示例。如果对于特定应用需要或不需要上述特定特征的技术效果，那么可以添加或省略各个特征。
在附图中，
图1示意性地示出根据本发明的医学观察设备的实施例；
图2示出根据本发明的用于叠加医学图像的操作方法的示意图；
图3示意性地示出输入图像数据和辅助输入数据的集合被合并成输出图像数据的示例；
图4示意性地示出输入图像数据和辅助输入数据被合并成输出图像的另一个示例；
图5示意性地示出伪彩色图像数据中具有空间调制的伪彩色图案字段；
图6A-7C示意性地示出时间调制的图案；
图7A-7I示意性地示出时间调制的图案。
具体实施方式
首先，参考图1描述包括本发明的医学观察设备1的结构。
仅作为示例，医学观察设备1在图1中示为显微镜。医学观察设备1也可以是内窥镜。
医学观察设备1用于检查物体4，诸如活组织6，用于诊断或外科手术目的。在物体4中，可以存在一个或多个荧光团。
在被某些波长的光源8激发时，荧光团发射处于不同峰值发射波长的荧光，例如，在NIR范围内。如果使用两个或更多个荧光团，那么它们可以发射不同峰值发射波长的光，或者仅具有不同的光谱。可以使用不同的荧光团来标记不同类型10、12的活组织6，使得这些类型10、12可以通过它们发射的不同荧光波长来辨别。光源8还可以用作在可见光范围内观察物体的照明。
例如，第一荧光团14(在图1中用一种类型的阴影线示意性地表示)可以用于特别地标记一种类型12的活组织6，例如血管。第二荧光团16(在图1中用另一种类型的阴影线表示)可以例如专门标记另一种类型10的活组织6，例如肿瘤细胞。
医学观察设备1可以包括光学系统18，诸如变焦放大镜。在内窥镜的情况下，光学系统18还可以包括光纤。在医学观察设备1及其医学图像叠加设备49的操作中，光学系统18被指引到活组织6的至少部分上。物体4的可见部分由光学系统18的视场20确定。从活组织6反射的光与从至少一个荧光团14、16发射的任何荧光一起被光学系统8收集并被指引到包含至少一个分束器的一个或多个分束器系统24。
光22的一部分26通过至少一个分束器系统24被指引到可见光相机28。光22的另一部分30可以被指引到荧光相机32。光22的另一部分34可以被指引到可以是单目或双目的目镜36。
目镜36可以被指引到透射显示器38上，透射显示器38布置在目镜36和至少一个分束器系统24之间。透射显示器38允许光22的部分34通过并将当前在显示器38上显示的图片叠加到由光学系统18提供的图像上。
可替代地，显示器38可以不是透射的。在这种情况下，显示器38可以用附加信息渲染物体4的实时视图，或者显示医学图像叠加设备49或医学观察设备1的操作者请求的任何其它信息。特别地，在透射显示器38的情况下将由光学系统18直接提供的背景图像可以代替地由可见光相机28实时提供。
医学观察设备1还可以包括至少一个传感器40，例如，超声或血流传感器，其可以与物体4接触。
除了至少一个传感器40之外，还可以提供至少一个另外的传感器设备42。传感器设备42优选地是被配置为感测不可见的物理量(诸如微射线(microradio)、伽马、X射线、红外或声音数据)的非光学感测设备。非光学感测设备42提供二维或三维数据。非光学感测设备42的示例是微射线成像相机、超声传感器头、热成像相机、伽马射线相机和X射线相机。
非光学感测设备优选地具有传感器场43，其与视场20重叠，使得由光学系统28和非光学感测设备42捕获的数据表示来自物体4的相同区域的不同物理量。
为了将可见光范围内的光与荧光波长的光分开并且为了避免反射，可以优选地在光源8、分束器系统24、可见光相机28、荧光相机32、目镜36和显示器38中的至少一个的紧前面使用滤光器布置44。
可见光相机28经由数据连接46连接到医学图像叠加设备49的输入接口48。医学叠加设备可以由专用于执行特定功能的硬件(诸如ASIC)、由通用计算设备执行的软件、或两者的组合来实现。
在医学图像叠加设备49和医学观察设备1的操作中，输入接口48接收输入图像数据52的序列集合50。输入图像数据52是二维的并且被组织成包含像素54。在图1的实施例中，输入图像数据52的序列集合50与由相机28提供的可见光图像数据53的序列对应。
输入接口48还被配置为接收辅助输入数据58，辅助输入数据58可以是一维辅助输入数据60、二维辅助输入数据64的集合62或由二维数据的若干平面67组成的三维辅助输入数据66的集合62。当然，辅助输入数据58还可以包括更高维度的数据，例如，如果使用输出包含附加物理数据(诸如每个像素或体素的血流速度和方向)的三维图片的高光谱相机或超声传感器头的话。
荧光相机32可以经由数据连接56发送二维辅助输入数据64的序列集合62，其可以特别地表示来自荧光相机32的荧光图像数据65。荧光图像数据65可以具有与输入图像数据52相同的格式，但是具有不同的分辨率。
传感器40可以提供一维辅助输入数据，例如，以血管12中的时间序列血流速度68的形式。
感测设备42可以提供二维或三维辅助输入数据64的序列集合62，例如，在与物体4的深度方向70平行，即与医学观察设备1的观察方向72平行的平面67中。
感测设备42可以通过数据连接74连接到医学叠加设备1的输入接口48。为了简单起见而未示出的另一个数据连接可以存在于超声传感器42和输入接口48之间。所有数据连接都可以包括有线和/或无线部分。
应当理解的是，辅助输入数据58可以由医学图像叠加设备49从所描述的设备的任一个接收，例如，仅从荧光相机38或仅从超声传感器40接收，以及从这些设备的任意组合接收。而且，虽然未在图1中示出，但是也可以采用其它设备来提供辅助输入数据58。例如，可以使用热成像相机、微射线成像相机、X射线相机和/或伽马射线相机来代替超声传感器和/或荧光相机或作为其补充。
医学图像叠加设备49包括图像处理器80，图像处理器80被配置为将来自可见光相机28的输入图像数据52与辅助输入数据58混合，并提供包含输入图像数据52的至少部分和辅助输入数据58的至少部分的输出图像数据81。输入图像数据52用作背景数据，而辅助输入数据58在它们与输入图像数据52合并之前被指派至少一个伪彩色和/或伪彩色图案。伪彩色是手动或由图像处理器80自动从不存在于图像输入数据58中并且优选地不存在于组织6中的颜色列表中选择的，例如霓虹颜色。优选地，为每个不同的物理量指派不同的伪彩色和/或伪彩色图案。
为此，图像处理器80包括伪彩色图像生成器82。伪彩色图像生成器82取决于辅助输入图像数据58的内容和/或源将伪彩色指派给辅助输入数据58。优选地，对于图像数据52的每个集合50，伪彩色图像生成器82被配置为实时地生成对应的伪彩色图像数据86的集合84。然后将伪彩色图像数据86与输入图像数据52混合。
图像处理器80，特别是伪彩色图像生成器82，还被配置为在伪彩色图像数据86内生成至少一个伪彩色图案87。图案87在伪彩色图像数据86的相干部分上延伸并因此形成伪彩色图案字段88。图案87可以包括伪彩色图像数据65内的伪彩色区的时间调制和/或空间调制。空间调制的图案在空间中具有规律性，时间调制的图案随着时间的推移具有规律性。规律性意味着图案以可预测的方式重复。
如果图案87具有时间修改，那么它由伪彩色图像生成器82生成，以具有变化速率，该变化速率表示图案87的相继重复之间的时间。
图案87取决于辅助输入数据58的内容而生成。例如，伪彩色图像生成器82可以在辅助输入数据58，特别是荧光图像数据65的区域中生成图案87而不是实心伪彩色，在该区域中，不满足阈值，例如亮度阈值。可以取决于内容低于阈值的程度来生成不同的图案87。这在下面参考图5、6A至6C和7A至7I示例性地描述。图5示出具有空间调制的伪彩色图案87'，图6A至6C示出具有时间调制的图案87”，而图7A至7I示出具有时间和空间调制的图案87”'，时间调制基于时间调制方案87””。
在图5中，给出了伪彩色图像数据86的一个集合的示意表示。伪彩色图像数据86包含至少一个伪彩色89(在这个示例中包括两个不同的伪彩色89a和89b)，以及包含不同伪彩色图案87的两个不同的伪彩色图案字段88，在这个示例中图案仅具有空间调制。例如，一个伪彩色图案字段88a由重复的波形模板构成并且可以用于指定(例如，来自超声传感器的)辅助输入数据58中通过自动将辅助输入数据58与数据库进行比较已经发现增加的液体含量的区域。另一个伪彩色图案字段88b可以用于指定辅助输入数据58中强度低于或高于阈值的区域。由于图案87仅具有空间调制，因此它们不随时间改变。但是，伪彩色图案字段88的范围可以随时间改变，因为它取决于输入图像数据52和/或辅助输入数据58的内容。
图6A至6C示出具有时间修改的伪彩色图案87。在这个示例中，时间修改是随时间的简单闪烁操作。在图6A中，伪彩色图案字段88包含第一伪彩色89a。在图6B中，相同的伪彩色图案字段88被示为在稍后的时间点包含第二伪彩色89b(或没有伪彩色)，其已经替换了第一伪彩色89a。再次在稍后的时间点，如图7C中所示，伪彩色图案字段88恢复到图6A中所示的状态。因此，随着时间的推移显示重复的图案。相继的重复之间的时间段由时间调制的伪彩色图案87的变化速率确定。取决于输入图像数据52和/或辅助输入数据58的内容，在伪彩色图像生成器82中确定变化速率。为了具有清晰可见的时间调制，变化速率小于闪烁融合速率，特别是小于闪烁融合速率的一半。
图6A至6C中所示的时间调制可以例如被指派给辅助输入数据，其中强度高于阈值，并且如果指派给静态伪彩色，那么它在伪彩色图像数据86中不可辨别，例如，因为已达到饱和度。在这种情况下，代替显示第二伪彩色98b，可以在伪彩色图像数据86中关掉伪彩色。
可以使用图6A至6C中所示的时间调制的另一个示例是另外已经被指派两个静态伪彩色的区域。使用时间修改，可以清楚地指示伪彩色图案字段88来自其内容满足指派多于一种伪彩色89的标准的辅助输入数据。当然，图6A至6C中所示的时间调制可以被扩展为依次包含多于两个伪彩色89a、89b。
伪彩色图案字段88可以包括既具有时间调制又具有空间调制的伪彩色图案字段88。这在图7A至7I中示出，这些图描绘了包括至少一个实心伪彩色图案区域87a的图案87，该区域87a在伪彩色图像数据86的序列集合84中采取不同的位置，以产生在箭头87c的方向上前进的前进波图案87b。图7A至7I中的每一个示出了在一个变化周期期间的序列集合84中的一个。在变化周期结束时，在图7I中，通过从图7A的图案开始重复该循环。
伪彩色图案字段88示出了其随时间和空间的改变的规律性，其中至少一个实心伪彩色图案区域87a在空间中规律地与透明区域或填充有另一种伪彩色的区域交替，并且在每次通过变化速率之后，伪彩色图案字段88中包含相同的空间图案。要注意的是，变化速率本身可以取决于辅助输入数据58的内容而随时间改变。
图7A至7I中所示的伪彩色图案87可以例如用于表示速度、流速和/或方向的辅助输入数据58，诸如血流数据。辅助输入数据59中表示的速度可以由变化速率表示，流速由图案87中的伪彩色89的空间变化速率或强度表示。对于每个集合52，伪彩色图案字段88的范围是从辅助输入数据58自动确定的。
图像处理器80还可以包括空间对准模块90。空间对准模块90被配置为在空间上矫正输入图像数据52和辅助输入数据58，使得每个集合52、62在空间上彼此一致。这可以例如通过将在输入图像数据52和辅助输入图像数据58中存在的空间特征进行算法相关来完成。空间对准模块90被配置为通过使图像变形(morph)来对图像输入数据52和空间输入数据58中的至少一个进行矫正，以便使得相关结构对准。变形操作可以包括输入图像数据和辅助输入数据中的至少一个的拉伸、旋转、调整分辨率和/或扭曲。
例如，来自荧光相机32的荧光图像数据可以相对于来自可见光相机82的可见光图像数据被稍微旋转、扭曲和移位。另外，来自超声传感器40的二维数据64可以具有不同的比例和分辨率，并且相对于输入图像数据50和/或来自荧光相机的荧光图像数据65被扭曲和旋转。为了正确地叠加这些数据，空间对准模块90被配置为执行相关算法，以识别相应数据52、58中的共同结构并计算它们相应的朝向和比例。取决于这个算法对于输入图像数据和辅助输入数据的每个同步集合的结果来执行空间矫正。
另外，空间对准模块90可以包括生成辅助输入数据58的设备的传递函数，该传递函数已经通过初始校准过程而获得。传递函数可以用于校正光学系统中的误差，诸如渐晕、失真和/或像差。
医学图像叠加设备49还包括输出接口91，该输出接口91被配置为输出输出图像数据94的序列集合92。输出图像数据94由伪彩色图像数据86和输入图像数据50的合并产生。
在申请人的申请EP 16 15 5625.3中给出了这种合并的示例，该申请通过引用整体并入本文。虽然在这个参考文献中仅关于荧光图像数据描述了合并，但是合并可以用于任何其它类型的二维辅助输入数据58、64、67而无需任何进一步的改变。
输出图像数据94以输出数据速率输出，该输出数据速率优选地比输出图像数据94中时间调制的图案87的最高变化速率大一个数量级。特别地，输出数据速率高于闪烁融合速率，特别是高于25Hz。相反，变化速率小于闪烁融合速率，以便伪彩色图案87的规律变化清晰可见。
应当理解的是，对图案87的识别不取决于人类思维的认知过程，而是由于其在空间域和时间域中的至少一个当中的规律性，可以通过任何自动图案识别过程来识别图案87。
显示器38经由数据连接96连接到输出接口91。在显示器38中，显示输出图像数据94。如果显示器38是透射的，那么可以从输出图像数据92中省略输入图像数据52，并且可以仅显示伪彩色图像数据86。在这种情况下，输入图像数据50仅用于将伪彩色图像数据86和图案87与输入图像数据52对准。当输入图像数据50给出通过显示器38看到的内容的准确再现时，该效果与使用非透射显示器并显示合并的输入图像数据52和伪彩色图像86相同。
在图1的细节I中给出了通过目镜36看到的内容的示意性示例。
通过伪彩色图像生成器82为荧光团14、16各自指派不同的伪彩色。输出图像数据94包括至少一个伪彩色图案字段88，伪彩色图案字段88是由伪彩色图像生成器82实时生成的并且具有时间和/或空间调制。图案字段88包括伪彩色图案87，并且取决于输入图像数据52和/或辅助输入数据58的内容而生成。
例如，如果在荧光相机32的荧光图像数据65中，在荧光图像数据65内存在具有低于预定但优选地可调整的阈值的荧光强度的区域，那么它们可以用其中伪彩色89可以具有其全亮度的至少一半的伪彩色图案87标记，使得虽然荧光图像数据65中的强度低，但是这个区域对观察者仍然可见。可替代地或附加地，可以在荧光图像数据具有超过预定但优选地可调整的阈值的强度的区域中使用不同的图案87。这可以向观察者指示这些数据不可靠或者他必须调整相机灵敏度。
医学图像叠加设备49和医学观察设备1可以在显示器38中提供二维和/或三维图像，因而，显示器38可以是2D或3D显示器。
如果使用包括来自位于光学系统18的视场20的平面下方的深度方向70上的位置并且因此不包含在来自可见光相机28的可见光图像数据53中或来自荧光相机32的荧光图像数据65中的数据的辅助输入数据58，那么可以使用伪彩色图案87将它们添加到伪彩色图像数据86中。例如，如果超声传感器40或42已经检测到物体4中的相干结构100，诸如视场20下方的大血管或神经，那么可以通过在伪彩色图像数据中并最终在输出图像数据中使用伪彩色图案字段88来渲染结构100。
可以通过使用不同的伪彩色和不同的图案87来同时显示来自不同设备的各种辅助输入数据58。
接下来，参考图2解释经由伪彩色图像数据从输入图像数据和辅助输入数据生成输出图像数据的处理。在图2中，可选的步骤用虚线指示。
图2示出了在第一步骤110中对输入图像数据52进行预处理，该步骤可以由医学图像叠加设备1执行。预处理步骤110可以包括直方图均衡化、自动调整对比度、由光学系统18引起的像差、渐晕和失真误差的补偿以及降噪当中的任何一个或任意组合，但是可以不限于这些。
辅助输入数据58(诸如荧光图像数据65或其它和另外的辅助输入数据58(诸如超声数据、微射线成像图像数据、热成像图像数据和/或X射线图像数据))也可以经历预处理步骤112，以补偿至少一个误差、噪声和失真。在步骤112中执行的预处理算法一般可以与步骤110中针对输入图像数据52的相同，但是使用不同的参数来考虑不同的物理参数和系统。例如，由光学系统18引入的误差的补偿对于荧光图像数据63可以与对于可见光图像数据53的不同。
特别地，对于辅助输入数据58，预处理112还可以包括阈值比较，其中具有低于某个灵敏度阈值的内容的那些辅助输入数据例如被消隐或删除，使得它们将不被包含在输出图像数据中。例如，如果像素的强度低于灵敏度阈值，那么那个像素可以在辅助输入数据58中被消隐或设置为零或设置为透明。灵敏度阈值可以由医学图像叠加设备1或医学观察设备1的用户确定。因此，仅表示非常低的信号强度(即，荧光水平或超声反射率)的像素因此可以在伪彩色图像生成中不被考虑。
下一步骤114包括对输入图像数据52和辅助输入数据58中的至少一个，特别是二维和/或三维辅助输入数据，进行空间调整，使得空间特征在输入图像数据52和辅助输入数据58中位于相同位置并且具有相同的尺寸和朝向。在空间调整114结束时，输入图像数据和辅助输入数据至少基本上是空间一致的。优选地，输入图像数据52在空间对准步骤114中用于参考。因此辅助输入数据58在空间对准步骤114中被修改，而输入图像数据53保持不变。如果辅助输入数据58包含的数据少于输入图像数据，例如因为像素已被消隐和/或因为以荧光相机32和/或微射线成像、热成像或伽马射线相机和/或超声传感器的像素测得的分辨率小于可见光相机28的分辨率，那么这是特别有利的。但是，保持输入图像数据不变将维持光学系统18和可见光相机28的视场20，从而将忠实地在显示器38上渲染视场20。
在空间对准步骤114中，集合62或平面67的辅助输入数据58可以就其分辨率而言失真、旋转和改变，以使其与输入图像数据52在空间上相关。输入图像数据52和辅助输入数据58可以加时间戳，使得输入图像数据组52的集合与辅助输入数据58的集合一起被处理，其中辅助输入数据58与输入图像数据同时被采样。
接下来，在步骤116中，从辅助输入数据58生成伪彩色图像数据。
例如，荧光图像数据63中的不同荧光颜色(其在NIR范围内并因此对人不可见)可以被指派在可见范围内的不同的伪彩色。另外，表示不可见物理量(即，不是可见光范围内的电磁波的物理量，诸如超声、微辐射、伽马射线或热成像感测)的辅助输入数据58也可以被指派伪彩色。优选地，为每个感测模态指派不同的伪彩色和/或不同的图案。
在输出图像数据的单个集合中使用许多不同类型的辅助输入数据58可能导致使用太多的伪彩色。因此，使用相同伪彩色的图案可以被用来保持不同伪彩色的数量小。另外，使用诸如阴影线之类的图案87仅遮蔽底层的输入图像数据的一部分，并且允许更好地查看底层的输入图像数据。
另外，如果辅助输入数据58的内容指定辅助输入数据58中记录的信号的低强度，那么它们将仅用淡的(subtle)伪着色来可视化。这种淡的伪着色可能与非伪着色的区域不充分地分开。因此，这些区域不应当填充实心伪彩色，而应当其中用伪彩色具有高亮度(例如，至少为最大亮度值的50％)的图案填充。
优选地，从医学图像叠加设备2中维护的存储装置120自动选择不同的图案和伪彩色。用户可以能够预设某些指派，即，将例如特定的伪彩色和/或图案指派给特别的数据源、来自数据源的数据的特别内容，诸如特别的荧光团、像素强度或者数据的更改图案，诸如改变的速率。
在步骤116中，获得伪彩色图像数据86的序列集合84，其中取决于输入图像数据52和辅助输入数据58中的至少一个的内容，用图案87填充至少一个伪彩色图案字段88。
在下一个步骤124中，合并伪彩色图像和输入图像。应当理解的是，对于辅助输入数据58和输入图像数据52的序列集合中的每个数据集发生这种合并，以允许实时处理。
在并行申请EP 16 155 625.3中详细描述了合并处理，该申请通过引用并入本文。作为图像合并步骤124的结果，获得输出图像数据94并最终显示在显示器38上。
在图3中，进一步解释了图2中描绘的处理。
图像输入数据52表示来自可见光相机28的可见光图像数据53。荧光图像数据63作为辅助输入数据58从荧光相机32获得并且包含至少两个荧光团14、16的发射光谱，在图3中向这两个荧光团指派了指定为FL800和FL400的不同伪彩色。
取决于荧光图像数据63的内容，在伪彩色图像数据86中生成至少一个伪彩色图案字段88。伪彩色图案字段88a指定两个荧光团14、16在其中重叠的区域。伪彩色图案字段88a可以包含已经指派给相应荧光团14、16或对应发射光谱的一种或两种伪彩色，或者不同的伪彩色。另一个合成生成的伪彩色图案字段88c指定其中一种伪彩色具有非常低的强度的区域。这个伪彩色图案字段98可以使用指派给相应荧光团或荧光发射光谱的相同伪彩色。
来自超声传感器42的二维辅助输入数据58也被变换为伪彩色图像数据86。在来自超声的辅助输入数据58中的像素强度高于阈值的区域中，合成地生成图案字段88。然后将伪彩色图像与图像输入数据52合并，以获得包含至少一个伪彩色图案字段88的输出图像数据94。
在图4中，已经通过将包含来自肿瘤标记荧光团16的荧光的荧光图像数据65与超声图像数据和可见光图像数据53合并而生成输出图像数据94的集合92。
输出图像数据94中的至少一个伪彩色图案字段88可以具有如箭头134所指示的时间调制。被伪彩色图案字段88占据的区域与被自动识别为具有每个序列集合中的血流速度和方向的血管的区域对应。伪彩色图案字段88是波图案，其在输出图像数据94的序列集合中被修改，以产生在箭头134的方向上传播的波图案87b。
波传播34的速度和方向取决于包含在来自超声传感器40或42的辅助输入数据58中的血流方向和血流速度。波长度可以被选择为取决于血管距表面的距离。可以通过由图像处理器80执行的算法从超声数据中提取关于血管的位置和范围以及血流的速度和方向的信息。
附图标记
1 医学观察设备
4 物体
6 活组织
8 光源
10 组织的类型，肿瘤组织
12 组织的类型，血管
14 第一荧光团
16 第二荧光团
18 光学系统
20 视场
22 由光学系统收集的光
24 分束器系统
26 分支到可见光相机的光
28 可见光相机
30 分支到荧光相机的光
32 荧光相机
34 分支到目镜或双目目镜的光
36 目镜
38 显示器
40 超声传感器
42 非光学感测设备
43 非光学感测设备的视场
44 滤光器布置
46 数据连接
48 输入接口
49 医学图像叠加设备
50 输入图像数据的集合
52 输入图像数据
53 可见光图像数据
54 像素
56 数据连接
58 辅助输入数据
60 一维辅助输入数据
62 二维辅助输入数据的集合
64 二维辅助输入数据
65 荧光图像数据
66 三维辅助输入数据
67 三维输入数据的平面
68 血流速度/方向
70 深度方向
72 查看方向
74 数据连接
80 图像处理器
82 伪彩色图像生成器
81 输出图像数据
84 伪彩色图像数据的集合
86 伪彩色图像数据
87 伪彩色图案
87' 具有空间调制的伪彩色图案
87” 具有时间调制的伪彩色图案
87”' 具有时间和空间调制的伪彩色图案
87”” 时间调制方案
87a 伪彩色图案内的实心伪彩色区域
87b 前进波图案
87c 前进的方向
88 伪彩色图案字段
88a 指示数据重叠的伪彩色图案字段
88b 指示低强度的伪彩色图案字段
89 伪彩色
89a 一种伪彩色
89b 不同的伪彩色
90 空间图像对准模块
91 输出接口
92 输出图像数据的集合
94 输出图像数据
96 数据连接
98 伪彩色图案字段
100 大血管
110 预处理输入图像数据的步骤
112 预处理辅助输入数据的步骤
114 空间图像对准
116 伪彩色图像生成
120 伪彩色和/或伪彩色图案存储
124 图像合并
134 箭头

Claims (15)

1.一种医学观察设备(1)，诸如显微镜(2)或内窥镜，包括：
输入接口(48)、图像处理器(80)和输出接口(90)，
输入接口(48)被配置为接收输入图像数据(52)的序列集合(50)和辅助输入数据(58)，
输出接口(90)被配置为以输出数据速率输出输出图像数据(94)的序列集合(92)，
图像处理器(80)连接到输入接口(48)以接收输入图像数据的集合和辅助输入数据，并且连接到输出接口以输出输出图像数据，图像处理器还被配置为取决于辅助输入数据(58)和输入图像数据(52)中的至少一个的内容而生成伪彩色图像数据(86)的序列集合(84)，并且取决于输入图像数据(52)、辅助输入数据(58)和伪彩色图像数据(86)中的至少一个的内容而生成伪彩色图像数据(86)内的至少一个合成的伪彩色图案字段(88)，
伪彩色图案字段(88)包括时间和/或空间改变的伪彩色图案中的至少一个(87，87'，87”，87”')，并且图像处理器被配置为合并伪彩色图像数据(86)与输入图像数据(52)的至少一个部分，以生成包含伪彩色图案字段(88)的输出图像数据(94)。
2.如权利要求1所述的医学观察设备(1)，其中伪彩色图案字段(88)包括具有变化速率的时间调制的图案(87”，87”')，其中输出数据速率大于变化速率。
3.如权利要求1或2所述的医学观察设备(1)，其中图像处理器被配置为取决于输入图像数据(52)和辅助输入数据(58)中的至少一个的内容来计算时间调制的图案(87)的变化速率。
4.如权利要求1至3中任一项所述的医学观察设备(1)，其中输入接口(48)被配置为接收超声麦克风数据、超声图像数据、微射线成像图像数据、伽马射线图像数据、热成像图像数据、多光谱成像数据和荧光图像数据中的至少一个作为辅助输入数据(58)。
5.如权利要求1至4中任一项所述的医学观察设备(1)，其中输出图像数据(52)在辅助输入数据(58)的内容为低于阈值和高于阈值中的至少一个的区域中包含至少一个伪彩色图案字段(88)。
6.如权利要求1至5中任一项所述的医学观察设备(1)，其中输出图像数据(52)的序列集合(50)包括具有时间调制的图案(87”，87”')的伪彩色图案字段(88)，时间调制的图案包括其速度、方向和波长中的至少一个取决于辅助输入数据(58)的内容的传播波图案(87b)。
7.如权利要求1至6中任一项所述的医学观察设备(1)，其中输出图像数据(52)是三维的，并且其中图像处理器(80)被配置为取决于辅助输入数据(58)的内容而在三维输出图像数据的不同深度层处生成伪彩色图像数据(86)。
8.如权利要求1至7中任一项所述的医学观察设备(1)，包括连接到输入接口(48)用于提供输入图像数据(52)的序列集合(50)的可见光相机(28)，并且包括连接到输入接口(48)用于提供辅助输入数据(58)的荧光相机(32)和超声传感器(40，42)中的至少一个。
9.如权利要求8所述的医学观察设备(1)，包括荧光相机(32)和光源(8)，荧光相机(32)、光源(8)和可见光相机(28)中的至少一个设有用于至少两个不同荧光团(14，16)的滤光器布置(44)，每个荧光团(14，16)具有不同的峰值发射波长，输出图像数据(94)包括至少两个伪彩色(89)，并且图像处理器(80)被配置为将不同的伪彩色(89)指派给每个不同的荧光峰值发射波长。
10.如权利要求8或9中任一项所述的医学观察设备(1)，还包括超声传感器(40，42)，其中图像处理器(80)被配置为取决于来自超声波传感器(40，42)的辅助输入数据(58)的内容而生成输出图像数据(94)中的伪彩色图案字段(88)。
11.如权利要求1至10中任一项所述的医学观察设备(1)，其中辅助输入数据(58)包括三维辅助输入数据(66)，并且其中图像处理器(80)适于取决于三维辅助输入数据(67)的内容而生成伪彩色图案字段(88)。
12.一种用于显示医学图像的方法，包括以下步骤：接收输入图像数据(52)的序列集合(50)，接收辅助输入数据(58)，取决于辅助输入数据(58)和输入图像数据(52)中的至少一个的内容而生成伪彩色图像数据(86)的序列集合，取决于输入图像数据(52)、辅助输入数据(58)和伪彩色图像数据(86)中的至少一个的内容而生成伪彩色图像数据(86)内的至少一个伪彩色图案字段(88)，其中伪彩色图案字段(88)具有空间和时间调制中的至少一个，将伪彩色图像数据(86)的每个集合(84)与输入图像数据(52)的每个集合合并以获得输出图像数据(94)的集合(92)，输出图像数据(94)包含伪彩色图案字段(88)，以及以输出数据速率显示输出图像数据(94)。
13.如权利要求12所述的方法，其中从超声传感器、微射线成像相机、热成像相机、荧光相机、多光谱相机和伽马射线相机接收辅助输入数据的至少一个集合。
14.如权利要求12或13所述的方法，其中输出图像数据(94)的序列集合(92)包括具有以变化速率的时间调制的伪彩色图案字段(88)，变化速率小于输出数据速率并且取决于输入图像数据(52)、辅助输入数据(58)和伪彩色图像数据(86)中的至少一个的内容。
15.一种非瞬态计算机存储介质，存储使计算机执行如权利要求12至14中任一项所述的方法的程序。
CN201780032076.4A 2016-05-23 2017-05-19 时间和/或空间调制的伪彩色图案的医学观察设备和方法 Active CN109310271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110516737.9A CN113256545A (zh) 2016-05-23 2017-05-19 时间和/或空间调制的伪彩色图案的医学观察设备和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16170769.0A EP3248531A1 (en) 2016-05-23 2016-05-23 Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation
EP16170769.0 2016-05-23
PCT/SG2017/050261 WO2017204746A1 (en) 2016-05-23 2017-05-19 Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110516737.9A Division CN113256545A (zh) 2016-05-23 2017-05-19 时间和/或空间调制的伪彩色图案的医学观察设备和方法

Publications (2)

Publication Number Publication Date
CN109310271A true CN109310271A (zh) 2019-02-05
CN109310271B CN109310271B (zh) 2021-05-28

Family

ID=56087130

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110516737.9A Pending CN113256545A (zh) 2016-05-23 2017-05-19 时间和/或空间调制的伪彩色图案的医学观察设备和方法
CN201780032076.4A Active CN109310271B (zh) 2016-05-23 2017-05-19 时间和/或空间调制的伪彩色图案的医学观察设备和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110516737.9A Pending CN113256545A (zh) 2016-05-23 2017-05-19 时间和/或空间调制的伪彩色图案的医学观察设备和方法

Country Status (5)

Country Link
US (1) US20190274518A1 (zh)
EP (3) EP3248531A1 (zh)
JP (2) JP2019520879A (zh)
CN (2) CN113256545A (zh)
WO (1) WO2017204746A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3527123B1 (en) * 2018-02-15 2022-08-31 Leica Instruments (Singapore) Pte. Ltd. Image processing method and apparatus using elastic mapping of vascular plexus structures
EP3530191A1 (en) * 2018-02-27 2019-08-28 Leica Instruments (Singapore) Pte. Ltd. Ultrasound head combining ultrasound and optics
EP3540494B1 (en) * 2018-03-16 2022-11-23 Leica Instruments (Singapore) Pte. Ltd. Augmented reality surgical microscope and microscopy method
EP3690819B1 (en) 2019-01-31 2023-09-13 Leica Instruments (Singapore) Pte. Ltd. Image processing device and method, and medical observation device comprising such an image processing device, using an intensity or brightness-dependent variation of a pseudocolor pattern characteristic
EP3983844A1 (en) * 2019-06-14 2022-04-20 Leica Instruments (Singapore) Pte Ltd Optical assembly, observation apparatus and method for optically overlaying input images
DE102021203187B3 (de) 2021-03-30 2022-02-24 Carl Zeiss Meditec Ag Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops und Operationsmikroskop
JPWO2023085262A1 (zh) * 2021-11-09 2023-05-19
CN114018843B (zh) * 2022-01-05 2022-04-08 北京新煜达石油勘探开发有限公司 基于光谱数据评价地层烃源物性的方法、装置、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007136133A (ja) * 2005-11-18 2007-06-07 Toshio Fukuda 拡張現実感呈示システム
CN104394754A (zh) * 2012-04-18 2015-03-04 昂科福禄尔有限公司 用于人和动物的病变组织可视化的发光二极管内窥镜装置
CN104853666A (zh) * 2012-12-13 2015-08-19 奥林巴斯株式会社 荧光观察装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
US6834122B2 (en) * 2000-01-22 2004-12-21 Kairos Scientific, Inc. Visualization and processing of multidimensional data using prefiltering and sorting criteria
US7536043B2 (en) * 2003-08-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Flow representation method and system for medical imaging
DE10357184A1 (de) * 2003-12-08 2005-07-07 Siemens Ag Verfahren zur fusionierten Bilddarstellung
JP4533673B2 (ja) * 2004-06-07 2010-09-01 オリンパス株式会社 赤外観察システム及び赤外観察システムによる作動方法
JP4619803B2 (ja) * 2005-01-26 2011-01-26 富士フイルム株式会社 蛍光断層画像取得装置
ATE555711T1 (de) * 2007-12-19 2012-05-15 Kantonsspital Aarau Ag Verfahren zur analyse und bearbeitung von fluoreszenzbildern
US8803955B2 (en) * 2008-04-26 2014-08-12 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using a camera unit with a modified prism
WO2010067293A1 (en) * 2008-12-12 2010-06-17 Koninklijke Philips Electronics N.V. Flow sound in x-ray examination
US20130041250A1 (en) * 2011-08-09 2013-02-14 Ultrasonix Medical Corporation Methods and apparatus for locating arteries and veins using ultrasound
JP5972561B2 (ja) * 2011-12-08 2016-08-17 東芝メディカルシステムズ株式会社 超音波診断装置、画像処理装置及び画像処理プログラム
JP2016502433A (ja) * 2012-11-19 2016-01-28 アカデミス・メディス・セントルム 関節鏡器具アセンブリ及び関節鏡手術中の筋骨格構造の位置特定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007136133A (ja) * 2005-11-18 2007-06-07 Toshio Fukuda 拡張現実感呈示システム
CN104394754A (zh) * 2012-04-18 2015-03-04 昂科福禄尔有限公司 用于人和动物的病变组织可视化的发光二极管内窥镜装置
CN104853666A (zh) * 2012-12-13 2015-08-19 奥林巴斯株式会社 荧光观察装置

Also Published As

Publication number Publication date
EP3616595B1 (en) 2023-03-29
CN109310271B (zh) 2021-05-28
US20190274518A1 (en) 2019-09-12
JP2019520879A (ja) 2019-07-25
EP3616595A2 (en) 2020-03-04
CN113256545A (zh) 2021-08-13
EP3616596A2 (en) 2020-03-04
JP2020157088A (ja) 2020-10-01
EP3248531A1 (en) 2017-11-29
WO2017204746A1 (en) 2017-11-30
EP3616596A3 (en) 2020-03-18
EP3616595A3 (en) 2020-03-18

Similar Documents

Publication Publication Date Title
CN109310271A (zh) 医学观察设备，诸如显微镜或内窥镜，以及使用具有时间和/或空间调制的伪彩色图案的方法
US10666928B2 (en) Optical imaging system and methods thereof
JP6813245B2 (ja) 単一の画像上で解剖学的データと生理学的データとを結合するためのシステムの作動方法、コンピュータシステム、及び単一の画像上で解剖学的データと生理学的データとを結合するためのプログラムが記録された記録媒体
KR101876795B1 (ko) 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치
LU500127B1 (en) Enhanced augmented reality headset for medical imaging
CN106029000A (zh) 用于引导医疗干预的成像和显示系统
CN108024832A (zh) 投影映射装置
CN105208909B (zh) 用于立体显示图像数据的方法和装置
CN102402799A (zh) 用于被测量的三维目标场景的目标分类
CN106455944A (zh) Q3d模型与3d图像的对准
JP6745508B2 (ja) 画像処理システム、画像処理装置、投影装置、及び投影方法
CN109561810A (zh) 内窥镜设备和用于内窥镜检查的方法
CN110164528A (zh) 利用血管丛结构的弹性映射的图像处理方法和装置
WO2013108391A1 (ja) 画像処理装置、立体画像表示装置、および、画像処理方法
CN108227173A (zh) 电子显微镜
JP2024510479A (ja) 媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法およびシステム
EP4056123A1 (en) Three-dimensional diagnostic system
CN105359191B (zh) 超声成像设备及其控制方法
JP2021069698A (ja) 放射線撮影装置、放射線撮影システム、放射線撮影方法及びプログラム
JP2022064132A (ja) 医用画像処理装置及びその制御方法、並びにプログラム
WO2023230273A1 (en) Multispectral imaging camera and methods of use
CN118236174A (zh) 手术辅助系统、方法、电子设备及计算机存储介质
CN117934304A (zh) 图像融合处理系统、方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant