CN107661087B - 用于感光物体如生物组织的成像的医学成像装置及方法 - Google Patents

用于感光物体如生物组织的成像的医学成像装置及方法 Download PDF

Info

Publication number
CN107661087B
CN107661087B CN201710562149.2A CN201710562149A CN107661087B CN 107661087 B CN107661087 B CN 107661087B CN 201710562149 A CN201710562149 A CN 201710562149A CN 107661087 B CN107661087 B CN 107661087B
Authority
CN
China
Prior art keywords
output
spectral
input
medical imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710562149.2A
Other languages
English (en)
Other versions
CN107661087A (zh
Inventor
乔治·塞梅利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN107661087A publication Critical patent/CN107661087A/zh
Application granted granted Critical
Publication of CN107661087B publication Critical patent/CN107661087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及用于感光物体(2)(例如生物组织(3)、特别地眼睛(4))的成像的医学成像装置(1)和方法。本发明的目的在于呈现一种允许在物体对其敏感因此不能被照射的可见光范围(37)的光谱带(30)中显示物体(2)的装置和方法。通过包括用于捕获输入图像(10)的照相机的医学成像装置(1)实现此目的。因此，物体的光谱特征(36)在输入图像中由光谱带(16)的输入集合(15)表示。装置产生输出图像(22)，其中可见光范围(37)中的光谱特征(60)由光谱带(30)的输出集合(29)表示。通过将输入集合(15)中的至少一个仅输入光谱带(38)替换为输出集合(29)中的至少一个仅输出光谱带(39)，在物体(2)不敏感或几乎不敏感的光谱带(16)(例如不可见光范围(18))内捕获输入图像(10)，并在物体可能对照明(40)过于敏感的光谱带(30)内显示物体(2)是可能的。使用校准数据(56)和图像处理器(31)完成将至少一个仅输入光谱带(38)替换为至少一个仅输出光谱带(39)。

Description

用于感光物体如生物组织的成像的医学成像装置及方法
技术领域
本发明涉及用于具有光谱特征的感光物体(例如生物组织，特别地，活体的感光组织(例如眼睛))的成像的医学成像装置和方法。特别地，医学成像装置和方法分别是眼科装置和方法。
背景技术
如果物体是感光的，对物体(例如活组织)的观察和成像是复杂的。当被照明时，感光性可能引起组织对其反应。此反应可能覆盖需要被观察以做出诊断的组织的特性。在一些情况中，照明甚至可能损坏组织。
在眼科学中，由于眼睛对光的反射反应，眼睛中感光组织的敏感性引起患者的不舒适、损伤的高风险和额外的困难。
为避免这些问题，使用彩色照相机，其在弱光条件下产生可接受的图像质量。然而，这样的照相机是昂贵且体积庞大的，且需要昂贵的且大的高质量光学系统。尽可能多捕获入射光所需的光学系统的大的孔径仅仅导致有限的视场深度。
发明内容
本发明旨在提供一种医学成像装置和方法，其克服活体感光组织的检查中的这些问题。
对于首先提到的医学成像装置，根据本发明实现此目的，其中医学成像装置包括用于捕获输入图像的照相机，物体的光谱特征在输入图像中由光谱带的输入集合表示，用于传送输出图像的输出接口，例如传送至外围设备，其中，在输出图像中，可见光范围内的光谱特征由光谱带的输出集合表示，其中输入集合中的至少一个仅输入光谱带由输出集合中的至少一个仅输出光谱带替换，医学成像装置还包括存储部件，存储部件中存储校准数据，用于将输入集合映射至光谱带的输出集合，以及图像处理器，用于取决于输入集合和校准数据确定至少一个仅输出光谱带中的强度。
根据本发明的医学成像方法包括步骤：获取光谱带的输入集合中的输入图像，传送由光谱带的输出集合组成的输出图像，输出集合表示在输出集合的光谱带中的光谱特征，通过将输入集合中的至少一个仅输入光谱带替换为输出集合中的至少一个仅输出光谱带以及使用先前存储的校准数据使至少一个仅输出光谱带中的强度适应光谱特征，将输入图像转换为输出图像。
本发明使用光谱带的输入集合中包括的信息，确定物体的光谱特征并使用与输入集合不同的光谱带的输出集合渲染输出图像中的光谱特征。此允许在物体特别是感光组织不具有任何感光性的光谱带(例如IR或NIR范围)中记录图像。使用校准数据，使用与捕获输入图像的光谱范围不同的光谱范围(例如可见光范围)内的输出集合的光谱带渲染物体的“真正”光谱特征。
如果在显示器上显示输出图像，观察者能够看见与在光谱带的输出集合中观察组织非常相同的颜色。因此，在对组织不危险的、例如不为人眼所看见的光谱范围中完成成像，而在可见光范围内完成显示，以允许观察者通过其天然的颜色正确识别组织。
根据本发明的方法和装置具有减少患者的不舒适并显著地降低损伤组织的风险的优点。本发明的方法和装置允许显著地延长检查，其帮助避免诊断和治疗中的错误。
还可以在非医学应用中使用装置和方法。例如，在军事应用中，在仅具有有限量的足够强度的光谱带的环境光中观察物体可能是可能的。使用本发明允许以其自然颜色显示物体。
根据本发明的方法和装置还可以通过以下特征改进，就其各自的技术效果而言是彼此独立的且其可以任意组合。
例如，优选地，输入集合的至少两个光谱带(以下称为输入光谱带)在较长的不可见波长中，特别地在IR光范围内。尤其在眼科学中，相较于较短的不可见波长(例如UV)，组织对较长的不可见波长显著更不敏感。然而，由于较短波长的光的低穿透力，也可以使用蓝或UV光谱带中的较短波长，尤其用于研究表面组织层。
输入图像和输出图像是捕获和/或显示的时间序列的输入图像和输出图像的部分，输入图像和输出图像以高于闪光融合率的帧率捕获以便观察期间内组织的任何变化可以平滑地再现于输出图像中。
输入图像可以包括输入像素。输出图像可以包括输出像素。输入图像可是彩色图像。输出图像可以是彩色图像。
根据一个方面，每个输入像素表示照相机的视场中的位置。优选地，输出图像和输入图像是一致的并具有相同的定向。它们可以具有相同的分辨率、像素量、尺寸和/或纵横比。优选地，输入图像中的输入像素和输出图像中的输出像素分别表示观察的组织的视场或相同区域中的相同或至少重合的位置。
从输入集合至输出集合的转换优选地基于像素执行：对于输入图像中的每个像素，取决于输入光谱带中的强度和校准数据计算仅输出光谱带中的对应的强度。
根据本发明的另一有益实施例，医学成像装置可以包括照明系统，照明系统用于使用由光谱带的照明集合组成的光照明物体。照明光谱带可以是至少部分地在不可见光范围内、特别地至少在输入光谱带内的光谱带。优选地，仅输出光谱带是衰减的或不存在于照明集合中的。在输入光谱带中照明物体，就场深和空间分辨率而言，在不需要空间弱光光学系统或照相机的情况下，保证输入图像的好品质。在输入光谱带中，没有损伤组织或使患者不舒适的风险。此外，在眼科检查中，通过收缩虹膜，眼睛将不对不可见光范围中的照明反应，因此允许更加简单的检查。
在非医学的其他应用中，这样的照明可以阻止照明源的检测。
优选地，照明被限制于不可见光范围。例如，可以提供将组织的照明限制于不可见光范围的照明滤波。
由于仅需要在输入光谱带中的照明，将照明限制于输入光谱带是足够的。因此，照明滤波可以包括在输入光谱带中是可透射的带通滤波器和/或带阻滤波系统。
根据本发明的另一方面，照明可以优选地包括匹配多光谱照相机的输入光谱带的离散照明光谱带。输入光谱带和照明光谱带可以由具有至少550nm的波长的光构成。特别地，照明系统可以包括IR和/或NIR光源。
为避免刺激眼睛或与物体的任何其他类型的干扰，在一个实施例中，多数(即使不是所有)的仅输入光谱带位于可见光范围之外，特别地在IR或NIR范围内，相反，多数(即使不是所有)的仅输出光谱带在可见光范围内。输入和/或输出光谱带可以是离散的和/或具有大量(substantial)重叠。输入集合中的多数(即使不是所有的)光谱带可以位于不可见光范围内以尽可能多收集关于物体在不敏感光谱带中的光谱特征的信息。对于物体的颜色的最优再现，输出集合中的多数(即使不是所有的)光谱带可以在可见光范围内。
照相机可以是成像光谱仪、特别地是多光谱照相机或高光谱照相机。使用的光谱带越多，输入光谱特征的空间分辨率越好且将物体的光谱特征指定至输出集合越准确。对于一些应用，标准彩色照相机，例如操作RGB颜色空间可能是足够的。
在一个实施例中，优选地，输出集合可以仅包括三个离散的光谱带并可以特别地由三色空间(例如RGB)组成。这样的颜色系统对于输出像素向人类观察者如实地再现组织的真正颜色是足够的。
根据本发明的另一方面，图像处理器可以用于将输入集合转换至RGB空间。在此，输出集合包括R-、G-和B-光谱带。理论上，这是不适定性问题并不能被求解，原因是输入集合中的光谱特征单独不包含足够的信息以确定组织在输入集合之外的光谱带内的颜色外观。然而，生物组织的光学(例如反射)属性的现有知识可以提供所需的额外信息以计算此转换。此信息包含在校正数据中。
图像处理器可以用于通过光谱拟合根据输入光谱特征对输入像素表示的组织进行分类。图像处理器可以包括用于对输入光谱特征执行光谱拟合并用于从光谱拟合计算组织参考值的光谱分析模块，其中图像处理器用于根据生物参考值确定输出光谱特征。因此，光谱分析模块可以执行由输入像素表示的组织的分类。可以通过将组织参考值指定至各别输入光谱特征完成分类。然后，此数值是特别种类的组织(例如具有特定生物色素的浓度的组织)的特征。通过根据组织参考值确定输出光谱特征，可见光范围内组织的可见外观可以与具有不可见光范围内的特定输入光谱特征的组织匹配。组织参考值代表可见光范围内组织的颜色。
校准数据可以包括光谱库。可以使用组织参考值索引光谱库。多个输出光谱特征的每个可以被指定至唯一各自的组织参考值。
校准数据可以包括将输入集合映射至输出集合的传递函数的参数。例如可以基于光-组织相互作用模型，经验地或分析地确定这样的传递函数。
校准数据可以包括机械测试系统例如使用模型输入和输出集合训练的人工网络，的参数。
组织参考值可以从单个位到位字段的任何，在特别的示例中，其可以是单个数值或数值的阵列。其可以表示一个或多个量，例如指数傅里叶级数的指数、或RGB值。组织参考值还可以是指示有贡献于和/或引起输入光谱特征的生物色素的浓度的数值的阵列。这样的阵列可以用于从光谱库中的模型输出光谱特征分析可见光图像中的输出光谱特征，其中每个输出光谱特征表示可见光范围中组份生物色素的颜色。
如果例如通过上述提到的光谱拟合从输入像素的输入光谱特征自动地确定组织中生物色素的浓度，输出光谱特征可以根据此浓度由模型输出光谱特征组成。浓度被确定和/或模型输出光谱被存储在光谱库中的生物色素包括氧合血红蛋白、脱氧血红蛋白中的至少一个和至少一个黑色素，例如真黑素。优选地，输入光谱带的数量至少与光谱库中表示的生物色素的数量一样多。
代替这样的来自多个模型输出光谱特征的输出光谱特征的组成，还可以在不同构造的光谱库中直接地查找输出光谱特征。
在另一实施例中，为执行光谱拟合，存储部件可以包括例如上述的、存储的某些生物色素的模型输入光谱特征的表示，用于光谱拟合输入像素的输入像素特征。
图像处理器和图像处理器包括的任意模块可以由硬件和/或软件构成。
本发明还可以涉及非临时性计算机存储介质，其存储引起计算机执行上述实施例的一个中的医学成像方法的程序。非临时性计算机存储介质可以是医学成像装置的部分。
附图说明
下面，参考所附附图更加详细地解释根据本发明的方法和装置，其中示出示例性实施例。
图中，相同的附图标记用于在其功能和/或结构中彼此对应的元件。
根据各种方面和实施例的描述，如果对于特定应用不需要这些元件的技术效果，图中示出的元件可以忽略。反之亦然，如果在特殊应用中特定元件的技术效果是有益的，可以添加参考图没有示出或描述的、然而在上述描述的元件。
图中：
图1示出根据本发明的医学成像装置的示意性再现；
图2示出生物色素的光谱的示意性再现。
图3示出根据本发明的医学成像方法的示意性再现。
附图标记
1 医学成像装置
2 物体
3 组织
4 眼睛
6 眼科成像设备
8 多光谱照相机
10 输入图像
12 视场
14 输入像素
15 光谱带的输入集合
16 输入光谱带
18 不可见光范围
20 输出接口
22 输出图像
24 显示器
26 输出像素
28 视场中输入像素的位置
29 光谱带的输出集合
30 输出光谱带
31 图像处理器
32 由照相机记录的输入光谱特征
34 在显示器中输出的输出光谱特征
36 物体的真实光谱特征
37 可见光范围
38 仅输入光谱带
39 仅输出光谱带
40 照明系统
42 由照明系统产生的光
44 光谱带的照明集合
46 照明光谱带
48 滤波系统
50 光谱分析模块
52 组织参考值
54 存储部件
56 校准数据，例如光谱库
58 模型输入光谱特征
60 模型输出光谱特征
62 光学系统
64 照明系统的光的光路
66 照相机的光路
68 照明场
70 分束器布置
72 观察器
74 观察器的光路
75-79 模型输入和输出光谱特征
80 样本输入光谱特征
82 样本输出光谱特征
90 图像获取步骤
92 光谱拟合
94 组织组份确定
96 输出图像产生
98 图像输出步骤
NIR1，NIRn n个输入光谱带的每个中的多光谱数据
BP1，BPm 由光谱拟合确定的m个生物色素的每个的浓度
具体实施方式
首先，参考图1描述医学成像装置1的示例。
医学成像装置1用于物体2(例如生物组织3、特别地用于组织的感光区域(例如眼睛4))的成像。特别地，医学成像装置1在眼科学中用作眼科成像设备6。
医学成像装置1包括用于捕获位于视场12中的组织3的输入图像10的照相机8。照相机8可以是彩色照相机(例如RGB照相机)或成像光谱仪(例如多光谱或高光谱照相机)。
每个输入图像10包括输入像素14。每个像素14代表视场的区域。每个输入图像10和每个输入像素14分别包含至少光谱带16的输入集合15。
照相机8对不可见光范围18中的至少两个离散输入光谱带16敏感。不可见光由不为人眼所见的电磁谱的部分组成。因此，不可见光范围18的光谱带对应于小于约390nm或者大于约700nm的波长。优选地，至少两个光谱带位于红外或近红外，且因此包括大于700nm至约1mm的波长。
医学成像装置1还优选地包括数字输出接口20，用于优选地将输出图像22数字化传送至外围设备24，例如显示器。显示器24在具有约390nm至约700nm之间的波长的可见光范围内显示输出图像22。
输出图像22是彩色图像并包括输出像素26。输出图像22可以具有标准彩色空间形式，且例如可以是RGB图像。
优选地，输入图像10和输出图像22是一致(congruent)且调整(rectified)的。优选地，输入像素14和输出像素26是一致的。因此，输出图像22中输出像素26的位置与视场24中各自的输入像素14的位置28对应。每个输入像素14包含对应的位置28的光谱信息，且因此包含组织3的光谱信息。
特别地，每个输出图像22或输出图像22中的每个输出像素26可以由光谱带30的输出集合29构成，光谱带30的输出集合29在下面被称为输出光谱带。输入集合15和输出集合29的至少一个光谱带不同，优选地，此至少一个光谱带位于可见光范围内。
优选地，输出图像22的空间分辨率对应于、或小于输入图像10的空间分辨率。因此，由输入像素和输出像素14、26表示的物体2的部分的尺寸和位置在输入图像和输出图像10、22中相互匹配。可选地，输出图像22可以包含比输入图像14少的或多的输出像素。在前一情况中，多个输入像素14可以被组合成输出像素26。在后一情况中，输入像素14可以被复制到多个输出像素26上。
医学成像装置1还可以包括图像处理器31，用于由输入像素14产生输出像素26并用于将输入像素14的输入光谱特征32替换为输出像素26中的输出光谱特征34，其中输入光谱特征由输入集合15表示，输出光谱特征由输出集合29表示。就在输出图像22中的位置和尺寸而言，包括替换输出光谱特征34的输出像素26对应于输入图像10中输入像素14的位置和尺寸。由于跨每个位置28的光谱的反射比的改变，输入光谱特征32对应于输入光谱带16中的强度分布。
优选地，由输出集合29的光谱带30表示的输出像素26的输出光谱特征34至少对应于组织3在视场12中输入像素14的位置28处的可见光范围37内的光谱特征36的近似。因此，输出图像22包含视场12中组织3的可见颜色的计算再现，并因此再现在可见光范围37内捕获输入图像10时观察者可以看见的那些。在输出图像22的每个像素中，输入集合15至少部分地由输出集合29替换。
特别地，输入集合15包括不包含在输出集合19中的至少一个仅输入光谱带38。优选地，仅输入光谱带位于不可见光范围18内。在输出集合29中，至少一个仅输出光谱带39优选地被包含在可见光范围37内而不被包含在输入集合15中。通过图像处理器31完成由至少一个仅输出光谱带39对至少一个仅输入光谱带38的替换。图像处理器31可以以硬件和软件的任意结合或单独以硬件或软件实现。
医学成像装置1还可以包括照明系统40，用于在不可见光范围18内照明组织3。照明系统40用于产生至少包含输入光谱带16的光42。光42可以由至少包括输出光谱带30的照明光谱带46的照明集合44构成。在一个实施例中，照明集合44可以与输入集合5对应。
可以为照明40提供滤波系统48，滤波系统48可以阻挡可见光范围内的光42和/或将光42限制于输入光谱带16。特别地，照明系统40可以包括一个或多个IR和/或NIR光源。
优选地，图像处理器31包括光谱分析模块50，光谱分析模块50用于执行对输入光谱特征32的光谱拟合并用于从光谱拟合计算组织参考值52。图像处理器31可以用于独立于组织参考值52检索或计算输出光谱特征34，即至少一个仅输出光谱带39中的强度。组织参考值代表可见光范围内组织3的颜色。特别地，组织参考值52可以代表映射至输入像素14的组织3的位置28处特定生物色素或色基的含量和/或浓度。组织参考值是数值，其可以是位或位字段。组织参考值可以包含一个或多个量，例如权重因子、指数或傅里叶级数的指数、或RGB值。
医学成像装置1的存储部件54可以包含校准数据56，校准数据56用于将输入集合15映射至输出集合29且因此用于在输出图像22中再现物体2的真实光谱特征36。校准数据56可以表示允许由输入集合15计算输出集合29的传递函数的参数。校准数据可以表示为了校准目的已经使用输入集合15和匹配的输出集合29训练的学习函数或神经网络的参数。校准数据56可以是至少一个光谱库56形式的各种光谱特征的表示。此表示可以是数值形式的，数值对应于由输入集合15和输出集合29限定的颜色空间的各自光谱带中的强度。
在一个实施例中，存储部件54可以将各种生物色素的模型输入光谱特征58的表示存储在光谱库56中。模型输入光谱特征58可以被限制于输入光谱带16。模型输入光谱特征58可以用于光谱拟合由输入集合15表示的输入像素14的输入光谱特征32。在光谱拟合中，算法可以自动地选择模型输入光谱特征58的组，模型输入光谱特征58的组合引起输入像素14的给定输入光谱特征32的最接近近似。对于输入图像10的所有输入像素可以执行此操纵。给定的输入光谱特征中模型输入光谱特征58的特定线性或非线性组合指示在由各自输入像素14表示的位置28中存在哪些类型的生物色素。近似输入光谱特征32所需的模型光谱特征58的组合内的特定模型输入光谱特征58的权重是位置28中各自的生物色素的浓度的指示。
可选地或附加地，光谱库56可以包括模型输出光谱特征60。模型输出光谱特征可以被限制于至少一个仅输出光谱带39。对于每个输入光谱特征32，例如通过使用组织参考值52检索匹配的输出光谱特征60。从模型输出光谱特征60确定对应于匹配的模型输入特征59的至少一个仅输出光谱带39中的强度。
在另一实施例中，存储在光谱库56中的模型输出光谱特征60对应于不同生物色素的输出光谱特征60。在这样的实施例中，输出像素26的输出光谱特征34经由图像处理器31由已经被发现有贡献于输入光谱特征32的生物色素的各个模型输出光谱特征60构成。下面更加具体地解释后一实施例。
输出像素26的输出光谱特征34可以由模型输出光谱特征60的组合构成。模型输出光谱特征60和模型输入光谱特征58可以都被指定至特定生物色素。模型输出光谱特征表示在可见光范围37内、特别地在输出图像22的颜色空间中的生物色素的光谱特征36。模型输入光谱特征32对应于在非可见光范围18内、特别地在输入光谱带16中生物色素的光谱表示。
输出图像22中的输出光谱特征34可以包含模式输出光谱特征60的组合，输出光谱特征60的组合一起形成输出像素26的输出光谱特征34。输出光谱特征34中的各个模型输出光谱特征60的权重是输入光谱特征32中的对应模型输入光谱特征58的权重。在光谱拟合过程中计算的输入像素14的位置28处组织3的材料成分用于由组份生物色素的各个模型输出光谱特征60构成可见光范围内的输出光谱特征34。
医学成像装置1还可以包括光学系统62，光学系统62位于照明系统40的光42的光路64、多光谱照相机8的光路66中。因此，光路64和66对齐且由照明强度在特定阈值之上的照明器确定的照明场匹配视场12。
可以使用分束器布置70以分离光路64和66。
还可以提供观察器72，例如目镜或双目镜，以允许通过光学系统62直接检测视场12。观察器72可以具有经由分束器布置70与光路64和66分离的其自己的光路74。显示器24或附加的显示器可以被布置在光路74中的观察器72和分光束器布置70之间。
当输入图像10和输出图像22是三维的时，也应用如上所述的医学成像装置1及其处理。
在图2中，对于不同的生物色素示出不可见光范围18中的模型输入光谱特征58和可见光范围37中的模型输出光谱特征60。
在图2中，线75示出脱氧血红蛋白的模型输入和输出光谱特征58、60，线76示出氧合血红蛋白的模型输入和输出光谱特征，线77示出真黑素的模型输入和输出光谱特征，线78示出具有80％氧饱和度的血液的模型输入和输出光谱特征，且线79表示脂肪组织的模型输入和输出光谱特征。模型输入和输出光谱特征75-79分别在可见光范围37和不可见光范围18中。
可以通过使用校准数据56(例如光谱库)导出(特别地计算)模型输出特征。其他形式的校准数据是将输入光谱特征映射至输出光谱特征的传递函数、或在使用装置1之前校准的自学习计算结构(例如神经网络)的参数。
在图2中，模型输入和输出光谱特征形成对于指示的生物色素的样本光谱库56。可以看出的是，模型输出光谱特征60仅是不可见光范围18中模型输入光谱特征58在可见光范围37中的继续或完成。
模型输入和输出光谱特征75-79是在任意尺度上的示意性表示。输入光谱带30中给定的输入像素的输入光谱特征32示例性指示为线80。在光谱拟合中，计算模型输入光谱特征58的加权总和，例如通过最小化输入光谱特带30的最小均方差，其最佳近似样本输入光谱特征80。然后，各个模型输入光谱特征58的权重用于计算输出光谱带30中的样本输出光谱特征82。如同应用至模型输出光谱特征60，简单地应用各个模型光谱特征54的权重。
如从图2可以进一步看出的，可以由输入集合15的输入光谱带16确定模型输入光谱特征58。一旦识别模型输入光谱特征(或分类物体或组织)，可以从对应的模式输出特征60(或分类)获得至少一个仅输出光谱带39中的强度。然后输出集合29的光谱带30中的强度对应于物体2的颜色。
如从图2所看出的，至少一个光谱带可以由输入和输出集合15、29共享。
参考图3，简要描述医学成像方法。
在图像获取90中，对于n个输入光谱带16的每个中的输入图像10中的每个输入像素14，由照相机8获得多光谱数据NIR1至NIRn。输入光谱带16的数量n至少对应于生物色素的数量m，生物色素是可见光范围内组织3的颜色的原因。
通过光谱拟合92，计算来自光谱库56的模型输入光谱特征的组成，其最佳匹配多光谱数据NIR1至NIRn。从光谱拟合92，确定位置28处组织3中生物色素BP1至BPm的浓度。
在输出图像产生96中，就视场12中的位置28(图1)而言，对于对应于输入像素14的每个输出像素26计算输出光谱特征34。每个输出像素26处的输出光谱特征34由通过光谱拟合92确定的位置28处存在的生物色素BP1至BPm的各个模型输出光谱特征60构成。输出光谱特征34中的各个输出光谱特征60的权重对应于输入光谱特征32中的模型输入光谱特征58的权重。如同查找模型输入光谱特征58，在光谱库中查找模型输出光谱特征60。
最后，在步骤98中，以颜色空间形式(例如RGB)输出包括输出像素26的输出图像22。

Claims (15)

1.一种用于感光物体(2)的成像的医学成像装置(1)，用于生物组织(3)的成像，所述感光物体具有光谱特征(36)，所述医学成像装置(1)包括：
照相机(8)，用于捕获输入图像(10)，所述感光物体(2)的所述光谱特征(36)在所述输入图像中由输入光谱带(16)的输入集合(15)表示，
输出接口(20)，用于传送输出图像(22)，
其中，在所述输出图像(22)中，可见光范围(37)内的光谱特征(60)由输出光谱带(30)的输出集合(29)表示，
其中，所述输入集合(15)中的至少一个仅输入光谱带(38)由所述输出集合(29)中的至少一个仅输出光谱带(39)替换，
所述医学成像装置(1)还包括：
存储部件(54)，所述存储部件(54)中存储校准数据(56)用于将所述输入集合(15)映射至所述输出集合(29)，以及
图像处理器(31)，用于根据所述输入集合(15)和所述校准数据(56)确定所述至少一个仅输出光谱带(39)中的强度。
2.根据权利要求1所述的医学成像装置(1)，还包括照明系统(40)，所述照明系统(40)用于使用由照明光谱带(46)的照明集合(44)组成的光(42)照明所述感光物体(2)，其中所述至少一个仅输出光谱带(39)是相较于其他输出光谱带(30)衰减的或是不被包括的。
3.根据权利要求1所述的医学成像装置(1)，其中，所述至少一个仅输入光谱带(38)位于不可见光范围(18)内。
4.根据权利要求2所述的医学成像装置(1)，其中，所述照明集合(44)包括NIR范围内的至少一个照明光谱带(46)。
5.根据权利要求1至4中任一项所述的医学成像装置(1)，其中，所述输入集合(15)中的多数输入光谱带(16)位于不可见光范围(18)内，且所述输出集合(29)中的多数输出光谱带(30)位于可见光范围(37)内。
6.根据权利要求1至4中任一项所述的医学成像装置(1)，其中，所述存储部件(54)包括至少在所述输入集合(15)的输入光谱带(16)和所述输出集合(29)的输出光谱带(30)中的光谱特征(36)的表示，所述光谱特征(36)的表示对应于在所述输入集合(15)和所述输出集合(29)限定的颜色空间的各自光谱带的强度。
7.根据权利要求6所述的医学成像装置(1)，其中，所述存储部件(54)包括生物色素(BP1至BPm)的光谱特征(36)的表示，用于输入图像(10)的输入集合(15)的光谱拟合(92)。
8.根据权利要求1至4中任一项所述的医学成像装置(1)，其中所述医学成像装置(1)包括光谱库(56)，所述光谱库包括模型输出光谱特征(60)的集合，其中所述输出集合(29)包括所述光谱库(56)中模型输出光谱特征(60)的至少子集合的组合。
9.根据权利要求2所述的医学成像装置(1)，其中，所述输入集合(15)和所述照明集合(44)的至少一个表示具有至少550nm的波长并包括NIR和IR的至少一个的光(42)。
10.一种用于对感光物体(2)成像的医学成像方法，用于对眼睛(4)的生物组织(3)成像，所述感光物体(2)具有光谱特征(36)，所述方法包括步骤：
以输入光谱带(16)的输入集合(15)获取输入图像(10)，所述输入图像(10)包括输入像素(14)，所述输入像素(14)包括所述输入集合(15)，
传送由输出光谱带(30)的输出集合(29)组成的输出图像(22)，所述输出集合(29)表示所述输出集合(29)的输出光谱带(30)中的光谱特征(36)，
通过将所述输入集合(15)中的至少一个仅输入光谱带(38)替换为所述输出集合(29)中的至少一个仅输出光谱带(39)并通过使用先前存储的校准数据(56)使所述至少一个仅输入光谱带(38)中的强度适应光谱特征(36)，将所述输入图像(10)转换为所述输出图像(22)。
11.根据权利要求10所述的医学成像方法，还包括步骤：由所述输入图像(10)的至少一个中的输入像素(14)的所述输入集合(15)确定所述生物组织(3)中生物色素(BP1至BPm)的本地浓度，以及根据所述本地浓度将所述输出集合(29)指定至输出像素(26)。
12.根据权利要求10所述的医学成像方法，其中，在不可见光范围(18)内照明所述生物组织(3)，所述至少一个仅输入光谱带(38)位于所述不可见光范围(18)内，且所述至少一个仅输出光谱带(39)位于可见光范围(37)内。
13.根据权利要求10所述的医学成像方法，其中，在所述至少一个仅输出光谱带(39)中对所述感光物体(2)的照明比在所述至少一个仅输入光谱带(38)中对所述感光物体(2)的照明弱。
14.根据权利要求10至13中任一项所述的医学成像方法，还包括步骤：由存储的模型输出光谱特征(60)的表示产生所述输出集合(29)。
15.一种非临时性计算机存储介质，存储引起计算机执行根据权利要求10至14中任一项所述的方法的程序。
CN201710562149.2A 2016-07-29 2017-07-11 用于感光物体如生物组织的成像的医学成像装置及方法 Active CN107661087B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16181848.9A EP3275361B1 (en) 2016-07-29 2016-07-29 Medical imaging apparatus and method for the imaging of a light-sensitive object, such as biological tissue
EP16181848.9 2016-07-29

Publications (2)

Publication Number Publication Date
CN107661087A CN107661087A (zh) 2018-02-06
CN107661087B true CN107661087B (zh) 2019-12-31

Family

ID=56557558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710562149.2A Active CN107661087B (zh) 2016-07-29 2017-07-11 用于感光物体如生物组织的成像的医学成像装置及方法

Country Status (4)

Country Link
US (1) US11501427B2 (zh)
EP (1) EP3275361B1 (zh)
JP (1) JP6400159B2 (zh)
CN (1) CN107661087B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325938B (zh) * 2018-08-23 2021-11-30 武汉嫦娥医学抗衰机器人股份有限公司 一种基于光密度空间的中心化图像通道差的色素分离方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6089716A (en) * 1996-07-29 2000-07-18 Lashkari; Kameran Electro-optic binocular indirect ophthalmoscope for stereoscopic observation of retina
EP2189108A1 (en) * 2007-08-16 2010-05-26 Shiro Amano Meibomian gland observing device
CN101716068A (zh) * 2009-11-13 2010-06-02 深圳大学 一种立体视功能客观检测装置及方法
CN204813796U (zh) * 2015-03-05 2015-12-02 淄博职业学院 一种红外光生物分析检测装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000067635A1 (en) 1999-05-07 2000-11-16 Applied Spectral Imaging Ltd. Spectral bio-imaging of the eye
JP4097873B2 (ja) * 2000-03-06 2008-06-11 富士フイルム株式会社 マルチスペクトル画像の画像圧縮方法および画像圧縮装置
US6792136B1 (en) * 2000-11-07 2004-09-14 Trw Inc. True color infrared photography and video
JP3736394B2 (ja) * 2001-07-10 2006-01-18 松下電器産業株式会社 画像圧縮装置
IL166042A (en) * 2004-12-29 2014-04-30 Elbit Systems Ltd You saw a night in color
CA2947613C (en) * 2005-04-04 2019-11-05 Hypermed Imaging, Inc. Hyperspectral imaging in diabetes and peripheral vascular disease
US20110151575A1 (en) * 2005-07-27 2011-06-23 L-3 Communications Cyterra Corporation Energetic Material Detector
US8810651B2 (en) * 2007-09-26 2014-08-19 Honeywell International, Inc Pseudo-color covert night vision security digital camera system
ES2438093T3 (es) * 2008-05-29 2014-01-15 Northeastern University Método de reconstitución de espectros celulares útiles para la detección de trastornos celulares
US9117133B2 (en) * 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US20100245765A1 (en) * 2008-10-28 2010-09-30 Dyer Holdings, Llc Video infrared ophthalmoscope
US8189860B2 (en) * 2008-11-07 2012-05-29 Micro Usa, Inc. Systems and methods of using spatial/spectral/temporal imaging for hidden or buried explosive detection
JP2010233916A (ja) 2009-03-31 2010-10-21 Chiba Univ 眼底画像処理装置及び眼底画像処理プログラム並びに眼底画像処理方法
EP2579574A4 (en) 2010-06-07 2013-12-25 Konica Minolta Advanced Layers IMAGING DEVICE
US8811754B2 (en) * 2011-08-29 2014-08-19 Lawrence Livermore National Security, Llc Spatial clustering of pixels of a multispectral image
US9380270B1 (en) * 2011-08-31 2016-06-28 Amazon Technologies, Inc. Skin detection in an augmented reality environment
US9818193B2 (en) * 2012-01-30 2017-11-14 Scanadu, Inc. Spatial resolution enhancement in hyperspectral imaging
WO2013116316A1 (en) * 2012-01-30 2013-08-08 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
US20130342845A1 (en) * 2012-06-21 2013-12-26 Wei Chen Method of multispectral decomposition for the removal of out-of-band effects
US8724894B1 (en) * 2012-12-03 2014-05-13 Rockwell Collins, Inc. Colorization of digital imagery
US11103122B2 (en) * 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
WO2015123699A1 (en) * 2014-02-17 2015-08-20 Children's National Medical Center Method and system for providing recommendation for optimal execution of surgical procedures
US9619711B2 (en) * 2014-09-29 2017-04-11 Digitalglobe, Inc. Multi-spectral image labeling with radiometric attribute vectors of image space representation components
US9959628B2 (en) * 2014-11-21 2018-05-01 Christopher M. MUTTI Imaging system for object recognition and assessment
EP3227830B8 (en) * 2014-12-03 2020-07-01 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
US10482361B2 (en) * 2015-07-05 2019-11-19 Thewhollysee Ltd. Optical identification and characterization system and tags
US10580170B2 (en) * 2015-10-19 2020-03-03 National Ict Australia Limited Spectral reconstruction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6089716A (en) * 1996-07-29 2000-07-18 Lashkari; Kameran Electro-optic binocular indirect ophthalmoscope for stereoscopic observation of retina
EP2189108A1 (en) * 2007-08-16 2010-05-26 Shiro Amano Meibomian gland observing device
CN101716068A (zh) * 2009-11-13 2010-06-02 深圳大学 一种立体视功能客观检测装置及方法
CN204813796U (zh) * 2015-03-05 2015-12-02 淄博职业学院 一种红外光生物分析检测装置

Also Published As

Publication number Publication date
US20180033141A1 (en) 2018-02-01
US11501427B2 (en) 2022-11-15
JP2018029954A (ja) 2018-03-01
EP3275361A1 (en) 2018-01-31
CN107661087A (zh) 2018-02-06
JP6400159B2 (ja) 2018-10-03
EP3275361B1 (en) 2024-06-05

Similar Documents

Publication Publication Date Title
US8155413B2 (en) Method and system for analyzing skin conditions using digital images
US8027533B2 (en) Method of automated image color calibration
US10168215B2 (en) Color measurement apparatus and color information processing apparatus
CN111345903B (zh) 图像处理设备、荧光观察设备及模拟荧光观察设备的方法
EP1433418A1 (en) Skin diagnostic imaging method and apparatus
CN110383805A (zh) 用于捕获被测对象的测量图像的方法和系统
US8976239B2 (en) System and apparatus for color correction in transmission-microscope slides
US20080080766A1 (en) Apparatus and Method for Analyzing Skin Using L*a*b* Colorspace
US20150103401A1 (en) Reference color slide for use in color correction of transmission-microscope slides
US20190239752A1 (en) Hyperspectral imaging system and method of using the same
McCann et al. Calculating retinal contrast from scene content: a program
JP5266486B2 (ja) 緑視率測定装置、方法及びプログラム
CN107661087B (zh) 用于感光物体如生物组织的成像的医学成像装置及方法
WO2023096971A1 (en) Artificial intelligence-based hyperspectrally resolved detection of anomalous cells
Yélamos et al. Understanding Color
Beneducci et al. Dental shade matching assisted by computer vision techniques
Babilon et al. Spectral reflectance estimation of organic tissue for improved color correction of video-assisted surgery
JP2012104879A (ja) 画像撮像装置、画像表示装置、画像処理方法、画像処理プログラム、および画像撮像表示装置
Oliver Considerations for gross autopsy photography
BE1027625B1 (fr) Dispositif multifonctionnel et système multifonctionnel pour la surveillance ergonomique et à distance d'une affection cutanée médicale ou cosmétique
KR20200008484A (ko) 피부 진단을 통한 화장품 추천 시스템
CN214231268U (zh) 内窥镜成像装置和电子设备
NL2033415B1 (en) Improved white balance
EP4275579A1 (en) Method, processor, and medical observation device using two color images and color cameras for fluorescence and white-light
Feild Spectrally-Based Color Calibration of Microscopes for Birefringence Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant