CN116887760A - 医用图像处理设备、医用图像处理方法和程序 - Google Patents

医用图像处理设备、医用图像处理方法和程序 Download PDF

Info

Publication number
CN116887760A
CN116887760A CN202280014492.2A CN202280014492A CN116887760A CN 116887760 A CN116887760 A CN 116887760A CN 202280014492 A CN202280014492 A CN 202280014492A CN 116887760 A CN116887760 A CN 116887760A
Authority
CN
China
Prior art keywords
image
phosphor
biological tissue
depth position
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280014492.2A
Other languages
English (en)
Inventor
高桥穗
深沢健太郎
菊地大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN116887760A publication Critical patent/CN116887760A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

[问题]提供一种有益特征以基于生物组织中的观察目标部位的深度位置来获取信息。[解决方案]医用图像处理设备具有：图像获取单元，用于获取荧光图像，荧光图像是在用激发光照射生物组织的同时对包括荧光体的生物组织成像而获得的；以及深度位置信息获取单元，用于基于荧光图像获取与荧光体的深度位置相关的深度位置信息。深度位置信息获取单元通过分析荧光图像获取指示荧光图像内的荧光体的图像强度分布的扩散信息，并且通过将扩散信息与表示生物组织中的图像强度分布的扩散函数进行对照获取深度位置信息。

Description

医用图像处理设备、医用图像处理方法和程序
技术领域
本公开涉及医用图像处理设备、医用图像处理方法和程序。
背景技术
在生态观察技术领域，用荧光试剂标记生物组织，观察生物组织的荧光图像。通过使用荧光试剂，可以以可见的方式视觉化在白光下难以用肉眼视觉识别和成像的诸如血管、血流、淋巴流和肿瘤的生物组织。操作者可以通过在确认荧光图像与在白光下获得的正常观察图像的同时进行手术来执行精确的手术(即，荧光引导手术)。
另一方面，荧光图像在生物组织中通过荧光散射而变模糊。尤其是，随着从生物组织的表面到血管等观察对象(荧光体)的距离变大，荧光图像的模糊程度趋于变大。因此，存在难以清楚地掌握荧光图像中的荧光体的边界的情况。另外，根据荧光图像难以视觉地且准确地判断生物组织中的荧光体的深度位置。
在专利文献1中公开了如下的设备：使用波长范围不同的多个光谱图像来判断血管的深度位置，对血管的荧光图像进行与该深度位置对应的血管强调处理。
引用列表
专利文献
专利文献1：日本专利申请公开号2010-51350
发明内容
本发明要解决的问题
在专利文献1的设备中，根据通过对血管照射白色光而拍摄到的正常观察图像来获取光谱图像，根据该光谱图像来确定血管的深度位置。
因此，专利文献1的设备能够确定深度位置的血管等目标限于能够在正常观察图像中拍摄到的目标。即，专利文献1的设备无法确定在正常观察图像中不能捕获的目标的深度位置。因此，专利文献1的设备无法确定能够在荧光图像中拍摄但不能在正常观察图像中拍摄的目标的深度位置。
因此，例如，专利文献1的设备不能确定与生物组织的表面具有大距离的深组织的深度位置。
本公开提供一种有利于基于生物组织中的观察对象部位的深度位置获取信息的技术。
问题的解决方案
本公开的一方面涉及一种医用图像处理设备，包括：图像获取单元，其获取荧光图像，荧光图像是通过在用激发光照射包括荧光体的生物组织的同时对该生物组织成像而获得的；以及深度位置信息获取单元，基于荧光图像获取与荧光体的深度位置相关的深度位置信息，其中，深度位置信息获取单元通过分析荧光图像获取指示荧光图像中的荧光体的图像强度分布的扩散信息，并且通过将扩散信息与表示生物组织中的图像强度分布的扩散函数进行对照来获取深度位置信息。
图像获取单元可获取通过在用可见光照射生物组织的同时对生物组织成像而获得的可见光图像，深度位置信息获取单元可通过分析可见光图像来估计生物组织的类型，并根据估计的生物组织的类型来获取扩散函数。
扩散信息可以是荧光图像中的荧光体的亮度分布，并且扩散函数可以是基于荧光体的亮度分布和深度位置信息的线扩散函数。
扩散函数可以包括根据荧光体的荧光波长确定的散射系数作为参数，并且深度位置信息获取单元可以获取与荧光波长对应的散射系数，并且基于反映散射系数的扩散函数和扩散信息获取深度位置信息。
生物组织可以包括具有不同荧光波长的多个荧光体，图像获取单元可以获取荧光图像，荧光图像是通过使用多个荧光体中的每一个的激发光照射生物组织并且对生物组织成像而获得的，并且深度位置信息获取单元可以基于荧光图像获取关于多个荧光体中的每一个的深度位置信息。
深度位置信息获取单元可基于关于多个荧光体中的每一个的深度位置信息获得相对深度位置信息，相对深度位置信息指示多个荧光体之间的深度位置的相对关系。
医用图像处理设备还可包括图像质量调整单元，其对荧光图像执行根据深度位置信息的锐化处理。
医用图像处理设备还可包括观察图像生成单元，该观察图像生成单元生成观察图像，图像获取单元获取可见光图像，可见光图像是在用可见光照射生物组织的同时对生物组织成像而获得的，在观察图像中，经过锐化处理的荧光图像中对应于荧光体的部分叠加在可见光图像上。
生物组织可以包括具有不同荧光波长的多个荧光体，图像获取单元获取荧光图像，荧光图像是通过在用多个荧光体中的每一个的激发光照射生物组织的同时对生物组织成像而获得的，深度位置信息获取单元基于荧光图像获取关于多个荧光体中的每一个的深度位置信息，观察图像生成单元针对荧光图像中对应于多个荧光体的部分调节多个荧光体之间的相对亮度，通过将在调节多个荧光体之间的相对亮度之后的荧光图像中对应于多个荧光体的部分叠加在可见光图像上而生成观察图像。
医用图像处理设备还可以包括观察图像生成单元，该观察图像生成单元生成观察图像，图像获取单元获取可见光图像，可见光图像是通过在用可见光照射生物组织的同时对生物组织成像而获得的，观察图像生成单元通过分析经历锐化处理之后的荧光图像指定生物组织中的荧光体的范围，生成在可见光图像中强调与荧光体的范围对应的部分的观察图像。
观察图像生成单元可生成根据深度位置信息强调了可见光图像中与荧光体的范围对应的部分的观察图像。
本公开的另一方面涉及医用图像处理方法，包括：获取荧光图像的步骤，荧光图像是通过在用激发光照射包括荧光体的生物组织的同时对该生物组织成像而获得的；通过分析荧光图像获取扩散信息的步骤，扩散信息指示荧光图像中的荧光体的图像强度分布；以及通过将所述扩散信息与表示所述生物组织中的图像强度分布的扩散函数进行对照来获取与所述荧光体的深度位置相关的深度位置信息的步骤。
本公开的另一方面涉及一种用于使计算机执行以下操作的程序：获取荧光图像的步骤，荧光图像是通过在用激发光照射包括荧光体的生物组织的同时对该生物组织成像而获得的；通过分析荧光图像获取扩散信息的步骤，扩散信息指示荧光图像中的荧光体的图像强度分布；以及通过将扩散信息与表示生物组织中的图像强度分布的扩散函数进行对照来获取与荧光体的深度位置相关的深度位置信息的步骤。
附图说明
图1是示出医用观察系统的实例的框图。
图2是示出医用图像处理设备的实例的框图。
图3示出了生物组织的可见光图像(正常观察图像)的实例。
图4示出了生物组织的荧光图像的实例。
图5示出了通过对图4所示的荧光图像执行锐化处理而获得的荧光图像(即，锐化的荧光图像)的实例。
图6是沿着XZ平面的生物组织的实例的截面图。
图7是图6中示出的生物组织沿着XY平面的截面图。
图8示出了基于高斯函数通过沿着荧光体的观察参考线的一维亮度分布的近似(即，近似函数)获得的函数的实例。
图9是示出根据第一实施方式的观察图像的实例的示图。
图10是示出根据第一实施方式的观察图像的另一个实例的示图。
图11是示出根据第一实施方式的医用图像处理方法的实例的流程图。
图12示出了两种类型的荧光体(即，第一荧光体和第二荧光体)的波长(水平轴)和荧光强度(垂直轴)之间的关系的实例。
图13示出了在第一荧光试剂混合在血液中的状态下在手术前捕获的生物组织的荧光图像的实例。
图14示出了在与第一荧光试剂不同的第二荧光试剂混合在血液中的状态下在手术之后捕获的生物组织的荧光图像的实例。
图15是示出根据第二实施方式的医用图像处理方法的实例的流程图。
图16是示出根据第二实施方式的观察图像的实例的示图。
图17是示出根据第二实施方式的观察图像的另一实例的示图。
图18是示出根据第三实施方式的医用图像处理方法的实例的流程图。
图19是示出根据第三实施方式的观察图像的实例的示图。
图20是示意性地示出显微镜系统的整体配置的示图。
图21是示出成像方法的实例的示图。
图22是示出成像方法的实例的示图。
具体实施方式
在下文中，将参考附图示例性地描述本公开的典型实施方式。
[第一实施方式]
[医用观察系统]
图1是示出医用观察系统10的示例的框图。图2是示出医用图像处理设备12的实例的框图。图3示出了生物组织200的可见光图像(正常观察图像)100的实例。图4示出生物组织200的荧光图像101的实例。图5示出通过对图4所示的荧光图像101进行锐化处理(散射抑制处理)而获得的荧光图像101(即，锐化的荧光图像102)的实例。
图1所示的医用观察系统10具备图像捕获单元11、医用图像处理设备12以及输出单元13。
图像捕获单元11、医用图像处理设备12以及输出单元13可以一体地或分开地设置。例如，图像捕获单元11、医用图像处理设备12以及输出单元13中的两个以上的控制单元也可以配置为共同的控制单元。
图像捕获单元11、医用图像处理设备12和输出单元13包括发送/接收单元(未示出)，并且能够以有线和/或无线的方式相互发送/接收数据。
图像捕获单元11在用可见光照射生物组织200的同时对包括诸如血管201等的荧光体202的生物组织200成像，从而获取生物组织200的可见光图像100(参见图3)。此外，图像捕获单元11在用激发光照射生物组织200的同时对生物组织200成像，从而获取生物组织200的荧光图像101(参见图4)。
以这种方式，图像捕获单元11获取关于要观察的生物组织200的可见光图像100和荧光图像101两者。
图1中示出的图像捕获单元11包括相机控制器21、相机存储单元22、成像单元23、光照射单元24和样品支撑单元25。
相机控制器21控制图像获取单元11的组件。
相机存储单元22存储各种数据和程序。图像捕获单元11的组件(例如，相机控制器21)能够适当地读取、重写和更新，并且删除相机存储单元22中的各种数据和程序。
样本支撑单元25支撑将被观察的生物组织200的样本，同时在相机控制器21的控制下将样本布置在预定观察位置处。在观察位置处的生物组织200的样本的布置可通过传送装置(未示出)手动地执行或机械地执行。
由样品支撑单元25支撑的生物组织200的样品包括用荧光试剂(例如，吲哚菁绿(ICG)、5-ALA或荧光素)标记的荧光体202。
在本实施方式中，假设在要观察的生物组织200中仅包含1个荧光体202的情况，但是如后所述，生物组织200可以包含2个以上的荧光体202。
光照射单元24在照相机控制器21的控制下利用成像光(即，可见光和激发光)照射位于观察位置处的生物组织200。
光照射单元24包括可见光照射单元24a和激发光照射单元24b。可见光照射单元24a朝向观察位置射出可见光(特别是白光)。激发光照射单元24b朝向观察位置发射用于荧光地激发荧光体202的激发光。
在有可能使用具有不同激发波长的多种类型的荧光试剂来使目标部位发荧光的情况下，激发光照射单元24b可以发射具有这些激发波长的多种类型的激发光。在这种情况下，激发光照射单元24b可以选择性地发射具有对应于实际使用的荧光试剂的波长的激发光。
可见光照射单元24a和激发光照射单元24b可配置为单独的装置，或者可部分或全部配置为共同的装置。
在相机控制器21的控制下，成像单元23对位于观察位置的生物组织200进行摄像，以获取摄像图像(即，可见光图像100和荧光图像101)。
成像单元23具有可见光成像单元23a和激发光成像单元23b。可见光成像单元23a获取生物组织200的可见光图像100。激发光成像单元23b获取生物组织200的荧光图像101。
可见光成像单元23a和激发光成像单元23b也可以由独立的装置构成，也可以一部分或全部由共同的装置构成。
在相机控制器21的控制下，这样取得的生物组织200的可见光图像100和荧光图像101从图像捕获单元11发送到医用图像处理设备12。
可见光图像100和荧光图像101从图像捕获单元11到医用图像处理设备12的具体传输方法不受限制。可见光图像100和荧光图像101可以在成像之后立即从成像单元23直接传输到医用图像处理设备12，或者可以从除了成像单元23以外的设备(例如，相机控制器21)传输到医用图像处理设备12。例如，可见光图像100和荧光图像101可被一次存储在相机存储单元22中，然后从相机存储单元22读取，并被发送到用图像处理设备12。
医用图像处理设备12分析生物组织200的摄像图像(特别是荧光图像101)，获取荧光体202的深度位置信息。另外，医用图像处理设备12根据可见光图像100和荧光图像101生成观察图像。
在本实施方式的观察图像中，能够在视觉上识别生物组织200中的荧光体202的位置。然而，包括在观察图像中的特定图像和其他信息不受限制。
医用图像处理设备12的功能配置实例和图像处理实例的详细内容在后面叙述。
输出单元13包括输出控制器31、输出存储单元32和显示装置33。
输出控制器31控制输出单元13的组件。
输出存储单元32存储各种数据和程序。输出单元13的构成部件(例如输出控制单元31)能够适当地读取、重写、更新、删除输出存储单元32中的各种数据和程序。
显示装置33显示从医用图像处理设备12发送的观察图像。操作者等观察者通过观察显示装置33所显示的观察图像，能够确认生物组织200中的荧光体202的范围。
[医用图像处理设备]
接着，说明医用图像处理设备12的功能配置实例和图像处理实例。
图2中所示的医用图像处理设备12包括图像处理控制器40、图像获取单元41、深度位置信息获取单元42、图像质量调整单元43、观察图像生成单元44以及处理存储单元45。医用图像处理设备12所包含的这些功能单元可以由任意的硬件和/或软件构成，也可以由共用的处理单元实现两个以上的功能单元。
图像获取单元41从图像捕获单元11获取生物组织200(包括荧光体202)的可见光图像100和荧光图像101。
图像获取单元41可将所获取的可见光图像100和荧光图像101直接发送至其他处理单元(图像处理控制器40、深度位置信息获取单元42、图像质量调整单元43、以及观察图像生成单元44)，或者可将其临时存储在处理存储单元45中。医用图像处理设备12的其他处理单元(图像处理控制器40、深度位置信息获取单元42、图像质量调整单元43和观察图像生成单元44)可根据需要从处理存储单元45获取可见光图像100和荧光图像101。
深度位置信息获取单元42基于荧光图像101获取与荧光体202的深度位置相关的深度位置信息。即，深度位置信息获取单元42基于荧光图像101中的荧光体202的模糊程度导出关于荧光体202的深度位置信息。
这里提到的深度位置信息是与荧光体202的深度位置相关联的信息，并且通常是直接指示荧光体202的深度位置的信息(例如，与组织表面200a的距离(深度)的绝对值)。然而，深度位置信息可以是间接指示荧光体202的深度位置的信息，或者可以是从深度位置和其他信息导出的不同信息。
本实施方式的深度位置信息获取单元42分析荧光图像101以获取指示荧光图像101中的荧光体202的图像强度分布的扩散信息。然后，深度位置信息获取单元42通过将关于荧光体202的扩散信息与表示生物组织200中的图像强度分布的扩散函数进行对照来获取关于荧光体202的深度位置信息。
荧光体202的扩散信息指示荧光图像101中的荧光体202的模糊的实际程度。荧光图像101中的荧光体202的模糊是由于生物组织200中的光散射引起的，因此根据荧光体202的深度位置而不同。另一方面，扩散函数是根据荧光体202的深度位置来决定荧光图像101中的荧光体202的模糊程度的函数。
因此，深度位置信息获取单元42通过将指示荧光体202的实际模糊程度的扩散信息与制定的扩散函数进行对照来导出荧光体202的深度位置。
图6是生物组织200的实例沿XZ平面的截面图。图7是图6中示出的生物组织200沿着XY平面的截面图。图8示出了基于高斯函数通过沿着荧光体202的观察参考线203的一维亮度分布的近似(即，近似函数)获得的函数的实例。“X轴”、“Y轴”以及“Z轴”彼此形成直角，并且沿着Z轴的方向(即，Z轴方向)指示深度方向。
如图6所示，从位于从生物组织200的表面(即，“组织表面”)200a起由“d”表示的深度处的荧光体202发射的荧光在到达组织表面200a之前被生物组织200散射。因此，在组织表面200a上观察到的荧光体202的荧光图像模糊并且变得大于荧光体202的实际尺寸(参见图7)。
因此，在荧光图像101中，荧光体202出现在比实际范围宽的范围内。
深度位置信息获取单元42获取关于比荧光体202的实际范围更宽的“荧光图像101中的荧光体202的范围”的信息作为“扩散信息”。
通常，荧光图像101中的荧光体202的一维亮度分布可被获取为“关于荧光体202的扩散信息”。本实施方式的深度位置信息获取单元42分析荧光图像101的亮度分布，以获取与荧光体202的线性部分(即，观察参考线203)相关的一维亮度分布，荧光体202具有沿图7所示的X轴方向的长度L。应注意，在图6和图7中示出的实例中，在荧光体202的X轴方向上具有最大长度的线性部分被设置为观察参考线203。
本实施方式的深度位置信息获取单元42参考统计建模的函数(例如，诸如高斯函数或洛伦兹函数的概率分布函数)对以这种方式获得的关于荧光体202的扩散信息进行近似，以获得近似函数。
通过使用由此获得的近似函数(参见图8)作为“关于荧光体202的扩散信息”，可以简化扩散信息与扩散函数(尤其是，线扩散函数)之间的对照，并且可以降低处理负荷。
另一方面，扩散函数通常由作为与点光源相关的响应函数的点扩散函数(PSF)或者作为与线光源相关的响应函数的线扩散函数(LSF)表示。由于实际荧光体202具有长度，因此在本实施方式中使用线扩散函数作为扩散函数。
点扩散函数(PSF(ρ))和线扩散函数(LSF(ρ))由例如以下公式表示。
[数学式.1]
公式1
[数学式.2]
公式2κd 2＝3μa(μs′+μa)
[数学式.3]
公式3
[数学式.4]
公式4d＝f(ρ)
在关于上述点扩散函数(PSF(ρ))和线扩散函数(LSF(ρ))的公式1至4中，“ρ”表示与深度方向(Z轴方向)垂直的平面(即，XY平面)中的位置。
“d”表示荧光体202的深度位置(即，从组织表面200a到荧光体202(尤其是，观察参考线203)深度方向上的位置)。
“μa”表示吸收系数，并且根据生物组织200的类型(例如，器官如肝脏等；更具体地，构成生物组织200的介质(组合物))。
“μs”表示等效的散射系数，并且根据生物组织200的类型和荧光体202的荧光波长来确定。
应注意，因为激发光的波长和荧光体202的荧光波长具有预定的对应关系，所以可以与激发光的波长相关联地确定“μs”。对于大多数荧光试剂，激发波长和荧光波长之间的差异较小，并且相对于荧光体202的模糊程度，激发波长和荧光波长之间的差异可以基本上忽略。在这种情况下，激发波长可以被认为是荧光波长，并且可以与激发波长相关联地确定“μs”。此外，在存在使用多种荧光试剂的可能性并且独特地确定每种荧光试剂的荧光波长的情况下，可以与荧光试剂相关联地确定“μs”。在这种情况下，“μs””与荧光波长间接相关。
如上所述，可以预先获取“μa”和“μs”的特定值并将其存储在数据库中。本实施方式的处理存储单元45提前存储与生物组织200的类型相关联的大量“μa”数据。类似地，处理存储单元45预先存储与生物组织200的类型和荧光体202的荧光波长相关联的大量“μs”数据。
因此，“μa”的具体值可以根据生物组织200的实际类型从处理储存单元45中读取。类似地，根据生物组织200的实际类型和荧光体202的实际荧光波长，可以从处理存储单元45中读取“μs”的特定值。
“L”表示荧光体202在垂直于深度方向的XY平面中的长度(参见图7)。在本实施方式中，“L”由表示荧光体202的观察参考线203在X轴方向上的长度表示。
基于由上述公式2表示的吸收系数(μa)和等效散射系数(μs’)确定“κd”。
从上述公式1至4中显而易见，扩散函数(即，点扩散函数“PSF(ρ)”和线扩散函数“LSF(ρ)”)包括“d”、“μa”、“μs’”和“L”作为参数。因此，当“μa”、“μs””和“L”被确定为特定值时，扩散函数被表示为“d”的函数，并且如上述公式4所示，荧光体202的深度位置“d”可以由荧光体202在XY平面中的位置“ρ”的函数(“f(ρ)”)表示。
本实施方式的深度位置信息获取单元42从通过分析荧光图像101指定的“荧光图像101中的荧光体202的范围”获取要观察的荧光体202的长度“L”。此外，深度位置信息获取单元42根据生物组织200的类型和荧光体202的荧光波长从处理存储单元45读取并获取相应的“μa”和“μs”。然后，深度位置信息获取单元42获取反映“L”、“μa”和“μs”的相应值的“LSF(ρ)”，并基于“LSF(ρ)”推导出“f(ρ)”。
另外，深度位置信息获取单元42能够通过任意的方法获取生物组织200的类型和荧光体202的荧光波长。
本实施方式的深度位置信息获取单元42通过分析可见光图像100来估计生物组织200的类型，并且基于从图像捕获单元11传输的信息确定荧光体202的荧光波长。但是，深度位置信息获取单元42也可以基于由手术操作者手动输入到医用观察系统10(例如医用图像处理设备12)的信息来获取生物组织200的类型和荧光体202的荧光波长。
以这种方式，深度位置信息获取单元42获取根据生物组织200的类型确定的“基于荧光体202的亮度分布的线扩散函数和关于荧光体202的深度位置信息”作为“基于荧光体202的深度位置的扩散函数”。然后，深度位置信息获取单元42根据基于荧光体202的亮度的线扩散信息(近似函数)和线扩散函数导出关于荧光体202的深度位置信息。
图像质量调整单元43(参见图2)根据关于荧光体202的深度位置信息对荧光图像101执行锐化处理。
锐化处理的具体方法不受限制。通常，使用表示荧光体202的模糊程度的扩散函数的逆函数进行锐化处理，将从上述扩散函数导出的图像恢复滤波器应用于荧光图像101。
图像质量调整单元43可以对荧光图像101执行其他锐化处理或者可以对可见光图像100和/或荧光图像101执行任意图像质量调整处理。
观察图像生成单元44生成观察图像103。观察图像103不受限制，只要荧光体202在生物组织200中的位置是可视觉识别的。
图9是示出根据第一实施方式的观察图像103的实例的示图。图10是示出根据第一实施方式的观察图像103的另一实例的示图。
作为实例，观察图像生成单元44可以通过强调与可见光图像100中的荧光体202的范围对应的部分来生成观察图像103(参见图9)。
尤其是，在经历锐化处理的荧光图像101中，荧光体202的模糊减小，并且荧光体202的更精确的范围出现。因此，观察图像生成单元44通过对实施了锐化处理的荧光图像101进行分析，能够更准确地确定生物组织200中的荧光体202的范围。然后，观察图像生成单元44可以通过执行强调可见光图像100中的荧光体202的范围的对应部分的处理来生成观察图像103。
在这种情况下，观察观察图像103的观察者可以清晰地确定可见光图像100上荧光体202的范围。
作为另一个实例，观察图像生成单元44可以通过在可见光图像100的对应部分上叠加对应于经过锐化处理的荧光图像101的荧光体202的部分来生成观察图像103(参见图10)。
在这种情况下，观察观察图像103的观察者能够可视地识别可见光图像100上的荧光体202的荧光状态。另外，观察图像生成单元44也可以通过在可见光图像100上叠加实施了图像处理(例如颜色、阴影、亮度调整处理等)的荧光体202的荧光图像101来生成观察图像103。
在观察图像103中可反映直接或间接指示荧光体202的深度位置信息的信息(参见图9)。在这种情况下，观察图像103的观察者可以直观地掌握关于荧光体202的深度位置信息。
指示荧光体202的深度位置信息的信息可以以任意形式反映在观察图像103中。例如，在观察图像103中，可以根据深度位置信息来强调与荧光体202的范围对应的部分。作为实例，观察图像生成单元44可以根据相应荧光体202的深度位置信息调整观察图像103的与荧光体202的范围对应的部分的颜色、图案、阴影和/或亮度。
在这种情况下，指示荧光体202的强调和关于荧光体202的深度位置信息之间的关系的指示器显示可以包括在观察图像103中。在图9示出的实例中，通过填充荧光体202的阴影指示荧光体202的深度位置，并且在观察图像103中包括指示阴影显示和深度位置(即，与组织表面200a的距离(0mm至20mm))之间的关系的条形指示器显示。
此外，可根据关于荧光体202的深度位置信息来优化生物组织200的可见光图像100和/或荧光图像101的成像条件。即，图1中所示的图像捕获单元11可基于从医用图像处理设备12传输的“荧光体202的深度位置信息”调节成像条件。在这种情况下，图像捕获单元11可以调整例如照相机(包括成像元件)的驱动条件和照射生物组织200的成像光的状态(例如，激发光和/或可见光的亮度)。
接着，说明使用医用观察系统10(特别是医用图像处理设备12)的医用图像处理方法的实例。
图11是示出根据第一实施方式的医用图像处理方法的实例的流程图。
首先，通过医用图像处理设备12的图像获取单元41从图像捕获单元11获取生物组织200的可见光图像100和荧光图像101(图11中的S1)。
然后，深度位置信息获取单元42分析可见光图像100以指定生物组织200的类型(S2)。不限制用于指定生物组织200的类型的可见光图像100的具体分析方法，并且可以通过使用已知的图像处理方法来指定生物组织200的类型。
然后，深度位置信息获取单元42取得与生物组织200的类型相应的线扩散函数(S3)。如上所述，本实施方式的深度位置信息获取单元42获取反映从处理存储单元45读取的相应吸收系数和等效散射系数的线扩散函数以及荧光体202(尤其是，观察参考线203)的长度L。
然后，深度位置信息获取单元42分析荧光图像101并且获取与荧光图像101中的荧光体202的亮度有关的线扩散信息(S4)。用于获取关于荧光体202的线扩散信息的荧光图像101的具体分析方法不受限制，并且可以通过使用已知的图像处理方法来获取关于荧光体202的线扩散信息(关于荧光体202的观察参考线203的亮度分布)。
然后，深度位置信息获取单元42将荧光体202的线扩散信息与线扩散函数进行对照，以导出荧光体202的深度位置(S5)。
然后，图像质量调整单元43对荧光图像101进行基于荧光体202的深度位置而最优化的锐化处理(即，光散射抑制处理)(S6)。因此，可以获得抑制模糊的荧光体202的清晰的荧光图像101，并且使荧光图像101中的荧光体202的范围接近荧光体202的实际范围。
然后，观察图像生成单元44根据可见光图像100和荧光图像101(尤其是，锐化处理后的荧光图像101)生成观察图像103(S7)。
另外，图像质量调整单元43和观察图像生成单元44也可以进行任意的图像处理来调整生物组织200的可见光图像100、荧光图像101和/或观察图像103的图像质量的状态等。
然后，将观察图像103从医用图像处理设备12发送到输出单元13，显示在显示装置33上。另外，指示荧光体202的深度位置的信息根据需要从医用图像处理设备12发送到图像捕获单元11。
如上所述，根据本实施方式，能够基于荧光图像101中的荧光体202的图像模糊的程度来获取荧光体202的深度位置。
因此，不仅对于出现在可见光图像100中的荧光体202，而且对于未出现在可见光图像100中的荧光体202(例如，位于生物组织200的深部中的荧光体202)，可以适当地获取深度位置。此外，在不设置特殊装置的情况下，可获取荧光体202在生物组织200中的深度位置。
此外，可执行针对荧光体202的深度位置优化的图像处理(锐化处理等)。
因此，能够提高荧光图像101中的荧光体202的可视性，并且能够指定生物组织200中的荧光体202的更精确的范围。另外，通过基于这种荧光图像101生成观察图像103，手术操作者等观察者能够从观察图像103容易且准确地掌握生物组织200中的荧光体202的状态。
结果是，手术操作者能够更准确地进行手术(例如内窥镜手术)，能够有效地减少手术中癌等的遗留或正常组织的损伤。
[第二实施方式]
在以下描述的第二实施方式中，与上述的第一实施方式中的那些相同或相应的元件由相同的参考标号表示，并且将省略其详细描述。
在本实施方式中，设想在生物组织200中包含荧光波长不同的多个荧光体202的情况。例如，使用两种以上的荧光试剂对一种以上的组织(荧光体202)进行标记，在观察的生物组织200中包含荧光波长相互不同的两种以上的荧光体202。
在以下描述中，在不在类型上彼此区分的情况下共同地提及多个荧光体的情况下，它们被简称为“荧光体202”。
图12示出了两种类型的荧光体202(即，第一荧光体202a和第二荧光体202b)的波长(水平轴)和荧光强度(垂直轴)之间的关系的实例。
图12中所示的第一荧光体202a和第二荧光体202b在彼此不同的波长范围内被激发，并且它们的峰值荧光波长(即，示出最大荧光强度的荧光波长)彼此不同。具体而言，第一荧光体202a的峰值荧光波长Pw1比第二荧光体202b的峰值荧光波长Pw2、Pw3短。
以这种方式，通过使用多种荧光试剂使多种荧光体202发荧光，能够在一个观察图像103中以相互区别的状态同时显示多种荧光体202。操作者等观察者能够一边对这种观察图像103中的多种荧光体202进行区分一边同时进行观察。
多种类型的荧光体202的这种同时观察可以应用于各种应用，并且预期在将来手术等领域中的需求将越来越多地增加。
以下，说明同时观察多种荧光体202的应用实例。
作为第一应用实例，存在一种应用，其中生物组织200中的不同部分用不同的荧光试剂进行标记。例如，有时在肝胆手术中分别进行肝脏区域的识别和肝癌区域的识别。
在使用一种荧光试剂使肝脏区域与肝癌区域二者发荧光的情况下，荧光部分的边界指示的是肝脏区域的边界还是肝癌区域之间的边界并不明确。
另一方面，肝脏区域可以用第一荧光试剂进行标记，肝癌区域可以用第二荧光试剂进行标记，该第二荧光试剂具有与第一荧光试剂不同的荧光波长(特别是峰值荧光波长)。在该情况下，手术操作者等观察者能够从荧光图像中清楚地掌握肝脏区域(第一荧光体202a)和肝癌区域(第二荧光体202b)的边界。因此，手术操作者能够更准确地掌握肝脏整体的肝癌区域的位置和范围，能够在抑制组织切除范围扩大的同时适当地去除肝癌。
作为第二应用实例，存在生物组织200中的一部分用不同的荧光试剂标记的应用。例如，存在观察手术前后血流的状态的情况。
图13示出了在第一荧光试剂混合在血液中的状态下在手术前捕获的生物组织200的荧光图像101的实例。图14示出了在与第一荧光试剂不同的第二荧光试剂混合在血液中的状态下在手术之后捕获的生物组织200的荧光图像101的实例。
即使在手术之后，在手术之前在血液中混合的荧光试剂也可以保留在血管(尤其是，观察目标部位)中。因此，在手术之前在血液中混合的荧光试剂与在手术之后在血液中混合的荧光试剂相同的情况下，不能确定在手术之后观察到的荧光是由于在手术之前给予的荧光试剂还是由于在手术之后给予的荧光试剂。
另一方面，在手术之前在血液中混合的第一荧光试剂的荧光波长不同于在手术之后在血液中混合的第二荧光试剂的荧光波长的情况下，从第二荧光试剂发射的荧光(参见图14)可以与从第一荧光试剂发射的荧光(参见图13)清晰地区分。因此，在将第二荧光试剂混合到血液中之前，在不从观察对象部位执行第一荧光试剂的移除处理(即，清洁处理)的情况下，可以从荧光图像101中快速且适当地观察手术之后的血流状态。
从满足如上所述的多种类型的荧光体202的同时观察的需要的观点来看，优选地，根据荧光体202的类型(即，荧光试剂的类型)改变观察图像103中的多个荧光体202的显示。
在通过在可见光图像100上叠加荧光图像101而生成观察图像103的情况下，在荧光图像101中的多种荧光体202的亮度差大时，难以视觉识别荧光图像101和观察图像103中的荧光体202。
因此，通过根据荧光体202的类型来调整荧光图像101中与各荧光体202对应的部分的亮度，能够减小荧光体202之间的亮度差，能够容易地看到荧光体202。
此外，在荧光图像101中第一荧光体202a和第二荧光体202b相互重叠的情况下，无法从荧光图像101掌握第一荧光体202a和第二荧光体202b之间的相对深度位置关系。特别是，由于第一荧光体202a和第二荧光体202b的荧光波长不同，因此生物组织200中的荧光的散射方式不同。因此，即使简单地比较第一荧光体202a和第二荧光体202b之间的荧光图像101的模糊程度，也难以判断第一荧光体202a和第二荧光体202b中的哪一个位于更高的位置。
因此，根据每个荧光体202的深度位置，可根据相应荧光体202的深度位置信息来调节观察图像103中的每个荧光体202的显示的颜色、图案、阴影和/或亮度。在这种情况下，能够从观察图像103掌握每个荧光体202的深度位置，并且能够从观察图像103掌握荧光体202之间的相对深度位置关系。
另外，在通过对可见光图像100中的荧光体202的对应范围进行强调显示来生成观察图像103的情况下，如果不考虑类型而在观察图像103中同样对所有的荧光体202进行强调显示，则不能确定荧光体202之间的相对深度位置关系。此外，即使各荧光体202的深度位置信息被反映在观察图像103中，在不考虑类型而同样地强调所有荧光体202的情况下，无法在观察图像103中识别各荧光体202的类型。
因此，可根据深度位置信息和荧光体202的类型来强调观察图像103中的每个荧光体202的显示。在这种情况下，可以从观察图像103掌握每个荧光体202的深度位置和每个荧光体202的类型。另外，能够从观察图像103掌握荧光体202之间的相对深度位置关系和荧光体202的类型之间的相对深度位置关系。
接着，说明使用了第二实施方式的医用观察系统10(特别是医用图像处理设备12)的医用图像处理方法的实例。
图15是示出根据第二实施方式的医用图像处理方法的实例的流程图。
在下文中，将描述生物组织200包括两个荧光体202(第一荧光体202a和第二荧光体202b)的情况。
在第二实施方式中，基本上，对多个荧光体202(第一荧光体202a和第二荧光体202b)中的每一个执行在上述第一实施方式中对单个荧光体202执行的处理。
首先，通过医用图像处理设备12的图像获取单元41从图像捕获单元11获取生物组织200的可见光图像100和荧光图像101(图15中的S11)。
通过图像捕获单元11执行一个可见光成像来获得生物组织200的可见光图像100。
另一方面，生物组织200的荧光图像101可以通过图像捕获单元11执行一次荧光成像来获得，或者可以通过执行多次荧光成像来获得。在从图像捕获单元11的光照射单元24(具体地，激发光照射单元24b)一次发射的激发光能够适当地激发第一荧光体202a和第二荧光体202b的情况下，可以通过一次荧光成像获得荧光图像101。另一方面，在从激发光照射单元24b一次发射的激发光不能适当地激发第一荧光体202a和第二荧光体202b两者的情况下，通过分开的荧光成像获得第一荧光体202a的荧光图像101和第二荧光体202b的荧光图像101。
然后，深度位置信息获取单元42分析可见光图像100以指定生物组织200的类型(S12)。
然后，深度位置信息获取单元42获取与生物组织200的类型相应的线扩散函数(S13)。根据本实施方式的深度位置信息获取单元42获取与第一荧光体202a相关的线扩散函数和与第二荧光体202b相关的线扩散函数。
然后，深度位置信息获取单元42分析荧光图像101，并且获取关于第一荧光体202a和第二荧光体202b中的每一个的亮度的线扩散信息(S14)。
然后，深度位置信息获取单元42将关于第一荧光体202a和第二荧光体202b中的每一个的线扩散信息与相应的线扩散函数进行对照，从而得出第一荧光体202a和第二荧光体202b的深度位置(S15)。如上所述，本实施方式的深度位置信息获取单元42基于荧光图像101获得关于多个荧光体202(第一荧光体202a和第二荧光体202b)中的每一个的深度位置信息。
然后，图像质量调整单元43对第一荧光体202a和第二荧光体202b中的每一个执行基于第一荧光体202a和第二荧光体202b的深度位置而优化的锐化处理(S16)。
之后，对荧光图像101进行调整荧光图像101中的第一荧光体202a和第二荧光体202b之间的亮度的处理(S17)。因此，即使在第一荧光体202a和第二荧光体202b的发射强度彼此大大不同的情况下，第一荧光体202a和第二荧光体202b的亮度也被适当地调节。
该亮度调整处理可以由图像质量调整单元43执行或者可以由观察图像生成单元44执行。在由图像质量调整单元43进行亮度调整的情况下，图像质量调整单元43实质上也作为观察图像生成单元44发挥功能。
以这样的方式，在对荧光图像101中的与多个荧光体202对应的部分的多个荧光体202之间的相对亮度进行调整之后，生成观察图像103(S18)。即，由观察图像生成单元44根据可见光图像100和荧光图像101(特别是锐化处理后的荧光图像101)生成观察图像103。
生成观察图像103的具体方法没有特别限制。例如，观察图像生成单元44可以通过在可见光图像100上叠加调整了多个荧光体202之间的相对亮度之后的荧光图像101中与多个荧光体202对应的部分来生成观察图像103。另外，观察图像生成单元44可以通过执行强调可见光图像100中的荧光体202的范围的对应部分的处理来生成观察图像103。
图16是示出根据第二实施方式的观察图像103的实例的示图。图17是示出根据第二实施方式的观察图像103的另一实例的示图。在图16和图17中所示的实例中，待观察的生物组织200包括三种荧光体202(第一荧光体202a、第二荧光体202b和第三荧光体202c)。
作为实例，观察图像生成单元44可以通过强调与可见光图像100中的荧光体202a、202b和202c的范围对应的部分来生成观察图像103，与上述在图9中示出的实例(参见图16)相似。
在图16所示的实例中，对应于观察图像103的荧光体202的范围的部分的阴影或颜色根据对应荧光体202的深度位置信息来调整。因此，即使荧光体(图16中的第二荧光体202b和第三荧光体202c)在观察图像103中彼此重叠，也可以区分和视觉识别重叠的荧光体202b和202c。
作为另一实例，观察图像生成单元44可以生成指示其中荧光体202a、202b、202c被投射在XZ平面上的状态的观察图像103(参见图17)。例如，通过基于获得的每个荧光体202a、202b和202c的深度位置将每个荧光体202a、202b和202c投射在穿过观察参考线203的XZ平面上，可以生成如图17所示的观察图像103。另外，在荧光体202a、202b、202c的Z轴方向的厚度未知的情况下，也可以根据各荧光体的长度(L)来暂时决定各荧光体的厚度。
在这种情况下，可以从观察图像103直观地掌握荧光体202a、202b和202c之间的相对深度位置关系。
在图17中所示的实例中，荧光体202a、202b和202c中的每一个以与深度位置对应的阴影显示，但是可以执行与另一标准(例如，荧光体(荧光试剂)的类型)对应的阴影显示或颜色编码显示。
如上所述，根据本实施方式，在生物组织200中包含多个荧光体202的情况下，观察者能够根据观察图像103中显示的各荧光体202的深度位置信息来掌握多个荧光体202之间的相对深度位置关系。
因此，手术操作者等观察者能够从观察图像103容易且准确地掌握生物组织200中的荧光体202的相对位置关系。其结果，操作者能够一边掌握荧光体202之间的相对位置关系一边进行手术，能够提高手术的精度和稳定性。
[第三实施方式]
在第三实施方式中，与上述第一和第二实施方式中的元件相同或相应的元件由相同的附图标记表示，并且将省略其详细描述。
在本实施方式中，在生物组织200中包含荧光波长不同的多种荧光体202的情况下，不直接导出各荧光体202的深度位置而导出荧光体202的深度位置之间的相对关系。即，在上述的第一实施方式和第二实施方式中，导出各荧光体202的深度位置的绝对值，但在第三实施方式中，导出荧光体202之间的相对深度位置关系。
作为实例，假设一种情况，在这种情况中，在上述扩散函数(见上述公式1至4)的参数中，可以获得荧光体202的等效散射系数(μs’)和长度(L)的相应值，并且不能获得吸收系数(μa)的相应值。在这种情况下，例如，存在处理存储单元45存储等效散射系数(μs’)的数据并且不存储吸收系数(μa)的情况。
在这种情况下，类似于上述第一和第二实施方式，深度位置信息获取单元42分析荧光图像101，获取荧光图像101中关于多个荧光体202中的每一个的分散信息，并且获取每个荧光体202的长度“L”。
此外，深度位置信息获取单元42分析可见光图像100以获取生物组织200的类型，并且基于生物组织200的类型和每个荧光体202的荧光波长从处理存储单元45获取每个荧光体202的等效散射系数(μs’)。
因此，对于包含在生物组织200中的多个荧光体202中的每一个，可获得包括荧光体202的深度位置(d)和吸收系数(μa)作为未知参数的“基于扩散信息和扩散函数的关系表达式”。例如，在生物组织200中包含两个荧光体202(即，第一荧光体202a和第二荧光体202b)的情况下，获得基于上述扩散信息和扩散函数的两个关系表达式。
如此获得的多个关系表达式中的每个指示相应的荧光体202的深度位置和模糊程度，而不取决于相应的荧光体202的荧光波长。
这里，根据生物组织200的类型来确定吸收系数(μa)的值。因此，包括在同一生物组织200中的多个荧光体202的吸收系数(μa)具有相同的值。
因此，通过将上述“基于扩散信息和扩散函数的多个关系表达式”相互比较，可以掌握荧光体202的深度位置之间的相对关系。
例如，在比较与第一荧光体202a和第二荧光体202b相关的上述两个关系表达式的情况下，基本上未知的参数是第一荧光体202a的深度位置(d)、第二荧光体202b的深度位置(d)以及共同吸收系数(μa)。根据包括这三个未知参数的两个关系表达式，可以导出第一荧光体202a的深度位置与第二荧光体202b的深度位置之间的相对关系。
如上所述，本实施方式的深度位置信息获取单元42根据针对荧光体202求出的多个关系表达式以及关于荧光体202的扩散信息，获取指示多个荧光体202之间的相对深度位置关系的相对深度位置信息。
图18是示出根据第三实施方式的医用图像处理方法的实例的流程图。在下文中，将描述生物组织200包括两个荧光体202(第一荧光体202a和第二荧光体202b)的情况。
首先，通过医用图像处理设备12的图像获取单元41从图像捕获单元11获取生物组织200的可见光图像100和荧光图像101(图18中的S21)。
然后，深度位置信息获取单元42分析可见光图像100以指定生物组织200的类型(S22)。
然后，深度位置信息获取单元42针对第一荧光体202a和第二荧光体202b中的每个获得与生物组织200的类型相应的线扩散函数(S23)。
然后，深度位置信息获取单元42分析荧光图像101以获取关于第一荧光体202a和第二荧光体202b中的每一个的亮度的线扩散信息(S24)。
然后，深度位置信息获取单元42将关于第一荧光体202a和第二荧光体202b中的每一个的线扩散信息与相应的线扩散函数进行对照，以导出第一荧光体202a和第二荧光体202b之间的相对深度位置信息(S25)。作为实例，深度位置信息获取单元42基于荧光图像101获取关于第一荧光体202a和第二荧光体202b中的每个的深度位置信息。然后，深度位置信息获取单元42可以通过将关于第一荧光体202a的深度位置信息与关于第二荧光体202b的深度位置信息进行比较来得到第一荧光体202a和第二荧光体202b之间的相对深度位置信息。
之后，本实施方式的图像质量调整单元43对荧光图像101进行荧光图像101中的第一荧光体202a与第二荧光体202b之间的亮度调整的处理(S26)。
然后，观察图像生成单元44根据可见光图像100和荧光图像101(尤其是，亮度调节之后的荧光图像101)生成观察图像103(S27)。
例如，观察图像生成单元44能够通过在可见光图像100上叠加在调整了多个荧光体202之间的相对亮度之后的荧光图像101中与多个荧光体202对应的部分来生成观察图像103。可替代地，观察图像生成单元44可以通过从荧光图像101获取每个荧光体202的范围并且强调可见光图像100中与每个荧光体202的范围对应的部分来生成观察图像103。
图19是示出根据第三实施方式的观察图像103的实例的示图。
在图19中所示的观察图像103中，第一荧光体202a和第二荧光体202b的填充颜色根据第一荧光体202a和第二荧光体202b的相对深度位置而改变。由于第一荧光体202a的深度位置和第二荧光体202b的深度位置彼此更接近，所以第一荧光体202a和第二荧光体202b填充有更接近图19中示出的条形指示器显示的中心处的颜色的颜色。另一方面，由于第一荧光体202a的深度位置和第二荧光体202b的深度位置彼此更远离，所以第一荧光体202a和第二荧光体202b填充有更接近图19中示出的条形指示器显示的两端的颜色的颜色。
应注意，在图19中所示的实例中，相对深度位置由观察图像103中的每个荧光体202的显示密度表示，但是荧光体202之间的相对深度位置可以基于另一显示状态(例如，阴影、亮度等)在观察图像103中表示。
如上所述，根据本实施方式，在生物组织200中包含多个荧光体202的情况下，观察者能够根据观察图像103中显示的各荧光体202的深度位置信息来掌握多个荧光体202之间的相对深度位置关系。
[应用实例]
以下，说明能够应用上述医用观察系统10、医用图像处理设备12以及医用图像处理方法的显微镜系统的实例。另外，上述医用观察系统10、医用图像处理设备12以及医用图像处理方法也能够应用于后述的显微镜系统以外的任意系统、设备、方法等。
图20中示出了本公开的显微镜系统的配置实例。图20中示出的显微镜系统5000包括显微镜装置5100、控制单元5110和信息处理单元5120。显微镜装置5100包括光照射单元5101、光学单元5102、以及信号获取单元5103。此外，显微镜装置5100可以包括其上放置生物样本S的样本放置单元5104。要注意的是，显微镜装置的配置不限于在图20中所示的配置。例如，光照射单元5101可存在于显微镜装置5100的外部，并且例如，不包括在显微镜装置5100中的光源可用作光照射单元5101。此外，光照射单元5101可被布置为使得样本放置单元5104夹在光照射单元5101和光学单元5102之间，并且例如，可被布置在光学单元5102存在的一侧上。显微镜装置5100可以通过明视场观察、相位差观察、微分干涉观察、偏振观察、荧光观察和暗视场观察中的一个或两个或更多个来配置。
显微镜系统5000可被配置为所谓的全载玻片成像(WSI)系统或数字病理系统，并且可用于病理诊断。此外，显微镜系统5000还可以被配置为荧光成像系统，特别是多荧光成像系统。
例如，显微镜系统5000可以用于执行术中病理诊断或远程病理诊断。在手术中的病理诊断中，当执行手术时，显微镜装置5100可以获取从手术的受试者获取的生物样品S的数据，并且随后将数据传输至信息处理单元5120。在远程病理诊断中，显微镜装置5100可以将获取的生物样本S的数据传输至存在于远离显微镜装置5100的地方(另一房间、建筑物等)的信息处理设备5120。然后，在这些诊断中，信息处理设备5120接收并输出数据。信息处理设备5120的用户可基于输出数据执行病理诊断。
(生物样品)
生物样品S可以是含有生物组分的样品。生物组分可以是活体的组织或细胞、活体的液体组分(血液、尿等)、培养物或活细胞(心肌细胞、神经细胞、受精卵等)。
生物样品可以是固体、用固定试剂(如石蜡)固定的样品、或通过冷冻形成的固体。生物样品可以是固体的一部分。生物样品的具体实例包括活检样品的切片。
可以对生物样品进行处理，如染色或标记。处理可以是用于显示生物组分的形式或显示生物组分的物质(例如表面抗原)的染色，并且其实例包括苏木精-伊红(HE)染色和免疫组织化学染色。生物样品可经受一种或两种或更多种试剂的治疗，并且试剂可以是荧光染料、着色试剂、荧光蛋白或荧光标记的抗体。
为了病理诊断、临床检查等的目的，可以从样本或者从人体收集的组织样本中制备样本。此外，样本不限于人体，并且可以来源于动物、植物或其他材料。取决于使用的组织的类型(例如，器官或细胞)、待靶向的疾病的类型、受试者的属性(例如，年龄、性别、血型或人种)、受试者的生活方式(例如，饮食习惯、运动习惯或吸烟习惯)等，标本具有不同的特性。可以利用能够识别每个样本的识别信息(条形码信息、QR码(商标)信息等)管理样本。
(光照射单元)
光照射单元5101是用于照射生物样品S的光源和将从光源发出的光引导至样本的光学单元。光源可用可见光、紫外光、红外光或其组合照射生物样本。光源可以是卤素灯、激光光源、LED灯、水银灯、以及氙气灯中的一种或者两种以上。荧光观察中的光源的类型和/或波长可以是多个，并且可以由本领域技术人员适当地选择。该光照射单元可以具有透射式、反射式或落射照明(同轴落射照明或侧照明)配置。
(光学单元)
光学单元5102被配置为将来自生物样品S的光引导至信号获取单元5103。光学单元可被配置为使显微镜装置5100能够观察或成像生物样品S。
光学单元5102可包括物镜。本领域技术人员可根据观察方法适当地选择物镜的类型。此外，光学单元可包括用于将由物镜放大的图像中继至信号获取单元的中继透镜。光学单元可进一步包括除物镜和中继透镜之外的光学组件、目镜透镜、相位板、聚光透镜等。
此外，光学单元5102还可包括被配置为从来自生物样本S的光分离具有预定波长的光的波长分离单元。波长分离单元可被配置为选择性地允许预定波长或波长范围的光到达信号获取单元。例如，波长分离单元可包括选择性地透射光的滤光器、偏光板、棱镜(沃拉斯顿棱镜)、以及衍射光栅中的一种或者多种。波长分离单元中所包括的光学组件可以被布置在例如从物镜到信号获取单元的光路上。在进行荧光观察的情况下，尤其是在包括激发光照射单元的情况下，在显微镜装置中设置波长分离单元。波长分离单元可被配置为将荧光彼此分离或者将白光和荧光分离。
(信号获取单元)
信号获取单元5103可被配置为从生物样本S接收光并且将光转换成电信号，尤其是，数字电信号。信号获取单元可被配置为能够基于电信号获取关于生物样品S的数据。信号获取单元可被配置为能够获取生物样本S的图像(图像，尤其是，静止图像、延时图像、或运动图像)的数据，并且尤其是，可被配置为获取由光学单元放大的图像的数据。信号获取单元包括一个或多个成像元件、CMOS、CCD等，一个或多个成像元件包括一维或二维布置的多个像素。信号获取单元可以包括用于获取低分辨率图像的成像元件和用于获取高分辨率图像的成像元件，或者可以包括用于感测AF等的成像元件和用于观察等的图像输出的成像元件。除了多个像素之外，成像元件可包括信号处理单元(包括CPU、DSP和存储器中的一个、两个或三个)和输出控制单元，信号处理单元使用来自每个像素的像素信号执行信号处理，输出控制单元控制从像素信号生成的图像数据的输出和由信号处理单元生成的处理数据。此外，成像元件可包括异步事件检测传感器，其检测光电转换入射光的像素的亮度变化超过预定阈值作为事件。包括多个像素的成像元件、信号处理单元和输出控制单元可优选地被配置为单片半导体器件。
(控制单元)
控制单元5110控制显微镜装置5100的成像。控制单元可通过驱动光学单元和/或样本放置单元的移动以用于成像控制来调节光学单元5102与样本放置单元5104之间的位置关系。控制单元5110可以在彼此接近或分离的方向(例如，物镜的光轴方向)上移动光学单元和/或样本放置单元。此外，控制单元可以在垂直于光轴方向的平面上的任何方向上移动光学单元和/或样本放置单元。控制单元可控制光照射单元5101和/或信号获取单元5103以进行成像控制。
(样本放置单元)
样本放置单元5104可被配置为能够将生物样本的位置固定在样本放置单元上，并且可以是所谓的载物台。样本放置单元5104可被配置为能够在物镜的光轴方向上和/或与光轴方向垂直的方向上移动生物样本的位置。
(信息处理单元)
信息处理单元5120可以从显微镜装置5100获取由显微镜装置5100获取的数据(诸如成像数据)。信息处理单元可对成像数据执行图像处理。图像处理可以包括颜色分离处理。颜色分离处理可以包括从成像数据中提取预定波长或波长范围的光分量的数据以生成图像数据的处理、从成像数据中移除预定波长或波长范围的光分量的数据的处理等。此外，图像处理可包括分离组织切片的自发荧光成分和颜料成分的自发荧光分离处理、以及分离具有不同荧光波长的颜料的波长的荧光分离处理。在自发荧光分离处理中，可执行使用从具有相同或类似特性的多个样本中的一个提取的自发荧光信号从关于另一样本的图像信息中去除自发荧光组分的处理。
信息处理单元5120可以将用于成像控制的数据传输至控制单元5110，并且已经接收数据的控制单元5110可以根据数据控制显微镜装置5100的成像。
信息处理单元5120可被配置为信息处理装置，诸如，通用计算机，并且可包括CPU、RAM、以及ROM。信息处理单元可以包括在装置5100的壳体中或者可以在壳体外部。此外，信息处理单元的各种处理或功能可通过经由网络连接的服务器计算机或云来实现。
本领域技术人员根据生物样品的类型、成像的目的等可以适当地选择通过显微镜装置5100使生物样品S成像的方法。下面将描述成像方法的实例。
成像方法的一个实例如下。显微镜装置可以首先指定成像目标区域。成像目标区域可被指定为覆盖存在生物样品的整个区域，或者可被指定为覆盖生物样品的目标部分(存在目标组织切片、靶向细胞或目标病变的部分)。接下来，显微镜装置将成像目标区域分成预定尺寸的多个分割区域，并且显微镜装置依次对每个分割区域进行成像。因此，取得各分割区域的图像。
如图21所示，显微镜装置指定覆盖整个生物样本S的成像目标区域R。然后，显微镜装置将成像目标区域R分割成16个分割区域。然后，显微镜装置对分割区域R1成像，然后，可对包括在成像目标区域R中的区域，例如，邻近于分割区域R1的区域中的任何区域进行成像。然后，对分割区域进行摄像，直到不存在未摄像的分割区域。要注意的是，还可根据关于所分割区域的捕获的图像信息，对成像目标区域R以外的区域进行成像。
为了在对某个分割区域成像之后对下一分割区域进行成像，调整显微镜装置与样品放置单元之间的位置关系。可以通过显微镜装置的移动、样本放置单元的移动或移动这两者来执行调整。在这个实例中，成像每个分割区域的成像装置可以是二维成像元件(区域传感器)或一维成像元件(线传感器)。信号获取单元可经由光学单元对每个划分的区域成像。此外，可以在移动显微镜装置和/或样品放置单元的同时连续地执行每个分割区域的成像，或者可以在对每个分割区域成像时停止显微镜装置和/或样品放置单元的移动。可以分割成像目标区域使得分割区域的部分重叠，或者可以分割成像目标区域使得分割区域不重叠。在改变诸如焦距和/或曝光时间的成像条件的同时，每个分割区域可以被成像多次。
此外，信息处理设备可组合多个相邻的分割区域以生成更宽区域的图像数据。通过对整个成像目标区域执行组合处理，可以针对成像目标区域获取更宽区域的图像。此外，可以从分割区域的图像或经受组合处理的图像生成具有较低分辨率的图像数据。
成像方法的另一实例如下。显微镜装置可以首先指定成像目标区域。成像目标区域可被指定为覆盖存在生物样本的整个区域，或者可被指定为覆盖生物样本的目标部分(存在目标组织切片或目标细胞的部分)。接下来，显微镜装置在与光轴垂直的平面中的一个方向(也称为“扫描方向”)上扫描和成像成像目标区域的部分区域(也称为“分割扫描区域”)。当完成分割扫描区域的扫描时，接着，扫描与扫描区域相邻的分割扫描区域。重复这些扫描操作，直到成像整个成像目标区域。
如图22所示，显微镜装置将生物样品S中存在组织切片的区域(灰色部分)指定为成像目标区域Sa。然后，显微镜装置在成像目标区域Sa中在Y轴方向扫描分割扫描区域Rs。当完成分割扫描区域Rs的扫描时，显微镜装置接下来在X轴方向上扫描相邻的分割扫描区域。重复该操作，直到完成对整个成像目标区域Sa的扫描。
调整显微镜装置和样品放置单元之间的位置关系，用于扫描每个分割扫描区域，并且在成像某个分割扫描区域之后成像下一个分割扫描区域。可以通过显微镜装置的移动、样本放置单元的移动或这些移动中的两者来执行调整。在该实例中，成像每个分割扫描区域的成像装置可以是一维成像元件(线传感器)或二维成像元件(区域传感器)。信号获取单元可以经由放大光学系统对每个分割区域成像。此外，在移动显微镜装置和/或样本放置单元的同时，可以连续执行每个分割扫描区域的成像。可以分割成像目标区域使得分割扫描区域的部分重叠，或者可以分割成像目标区域使得分割扫描区域不重叠。在改变诸如焦距和/或曝光时间的成像条件的同时，每个分割扫描区域可被成像多次。
此外，信息处理装置可以组合多个相邻的分割扫描区域以生成更宽区域的图像数据。通过对整个成像目标区域执行组合处理，可以针对成像目标区域获取更宽区域的图像。此外，可以从分割扫描区域的图像或经受组合处理的图像生成具有较低分辨率的图像数据。
应注意，在本说明书中公开的实施方式和变形例仅在所有方面都是说明性的，而不应被解释为限制性的。在不背离所附权利要求的范围和精神的情况下，可以以各种形式省略、替换和改变上述实施方式和修改。例如，上述实施方式和变形例可整体或部分地组合，并且其他实施方式可与上述实施方式或变形例组合。此外，在本说明书中描述的本公开的效果仅是示例性的，并且可以提供其他效果。
体现上述技术构思的技术类别不受限制。例如，上述技术构思可以通过计算机程序来体现，该计算机程序用于使计算机执行包括在制造或使用上述设备的方法中的一个或多个过程(步骤)。此外，上述技术构思可以通过其中记录这种计算机程序的计算机可读非暂时性记录介质体现。
本公开还可具有以下配置。
[项1]
一种医用图像处理设备，包括：
图像获取单元，获取荧光图像，荧光图像是通过在用激发光照射包括荧光体的生物组织的同时对生物组织成像而获得的；以及
深度位置信息获取单元，基于荧光图像获取与荧光体的深度位置相关的深度位置信息，其中
深度位置信息获取单元
通过分析荧光图像获取指示荧光图像中的荧光体的图像强度分布的扩散信息，并且
通过将扩散信息与表示生物组织中的图像强度分布的扩散函数进行对照来获取深度位置信息。
[项2]
根据项1所述的医用图像处理设备，其中
图像获取单元获取可见光图像，可见光图像是通过在用可见光照射所述生物组织的同时对生物组织成像而获得的，并且
深度位置信息获取单元
通过分析可见光图像估计生物组织的类型，以及
根据估计的生物组织的类型获取扩散函数。
[项3]
根据项1或项2所述的医用图像处理设备，其中
扩散信息是荧光图像中的所述荧光体的亮度分布，以及
扩散函数是基于荧光体的亮度分布和深度位置信息的线扩散函数。
[项4]
根据项1至项3中任一项所述的医用图像处理设备，其中
扩散函数包括根据荧光体的荧光波长确定的散射系数作为参数，并且
深度位置信息获取单元
获取与荧光波长对应的散射系数，以及
基于反映散射系数的扩散函数和扩散信息获取深度位置信息。
[项5]
根据项1至项4中任一项所述的医用图像处理设备，其中
生物组织包括具有不同荧光波长的多个荧光体，
图像获取单元获取荧光图像，荧光图像是通过在用多个荧光体中的每一个的激发光照射生物组织并且对生物组织成像而获得的，并且
深度位置信息获取单元基于荧光图像获取关于多个荧光体中的每一个的深度位置信息。
[项6]
根据项5所述的医用图像处理设备，其中，深度位置信息获取单元根据多个荧光体中每一个的深度位置信息，获取指示多个荧光体之间的深度位置的相对关系的相对深度位置信息。
[项7]
根据项1至项6中任一项所述的医用图像处理设备，其中，还具备图像质量调整单元，对荧光图像执行根据深度位置信息的锐化处理。
[项8]
根据项7所述的医用图像处理设备，还包括：
观察图像生成单元，生成观察图像，其中
图像获取单元获取可见光图像，可见光图像是通过在用可见光照射生物组织的同时对生物组织成像而获得的，并且
在观察图像中，将经过锐化处理的荧光图像中对应于荧光体的部分叠加在可见光图像上。
[项9]
根据项8所述的医用图像处理设备，其中
生物组织包括具有不同荧光波长的多个荧光体，
图像获取单元获取荧光图像，荧光图像是通过在用多个荧光体中的每一个的激发光照射生物组织的同时对生物组织成像而获得的，
深度位置信息获取单元基于荧光图像获取关于多个荧光体中的每一个的深度位置信息，以及
观察图像生成单元
针对荧光图像中对应于多个荧光体的部分调节多个荧光体之间的相对亮度，以及
通过将在调节多个荧光体之间的相对亮度之后的荧光图像中对应于多个荧光体的部分叠加在可见光图像上来生成观察图像。
[项10]
根据项7所述的医用图像处理设备，还包括：
观察图像生成单元，生成观察图像，其中
图像获取单元获取可见光图像，可见光图像是通过在用可见光照射生物组织的同时对生物组织成像而获得的，并且
观察图像生成单元
通过分析经过锐化处理之后的荧光图像指定生物组织中的荧光体的范围，以及
生成在可见光图像中强调与荧光体的范围对应的部分的观察图像。
[项11]
根据项10所述的医用图像处理设备，其中，观察图像生成单元生成根据深度位置信息强调了与可见光图像中与荧光体的范围对应的部分的观察图像。
[项12]
一种医用观察系统，包括：
图像捕获单元获取荧光图像，荧光图像是通过在用激发光照射包括荧光体的生物组织的同时对生物组织成像而获得的；以及
医用图像处理设备，分析荧光图像，其中
医用图像处理设备包括：
图像获取单元，获取所述荧光图像；以及
深度位置信息获取单元，基于荧光图像获取与荧光体的深度位置相关的深度位置信息，以及
深度位置信息获取单元
通过分析荧光图像获取指示荧光图像中的荧光体的图像强度分布的扩散信息，并且
通过将扩散信息与表示生物组织中的图像强度分布的扩散函数进行对照来获取深度位置信息。
[项13]
根据项12所述的医用观察系统，还包括：
显示装置，显示观察图像，在观察图像中，荧光体在生物组织中的位置是视觉上可识别的，其中
图像获取单元获取可见光图像，可见光图像是通过在用可见光照射生物组织的同时对所述生物组织成像而获得的，并且
医用图像处理设备具有基于可见光图像和荧光图像生成观察图像的观察图像生成单元。
[项14]
根据项12或项13所述的医用观察系统，其中，图像捕获单元根据深度位置信息来调整成像条件。
[项15]
一种医用图像处理方法，包括：
获取荧光图像的步骤，荧光图像是通过在用一边激发光照射包括荧光体的生物组织的同时对生物组织成像而获得的；
通过分析荧光图像获取扩散信息的步骤，扩散信息指示荧光图像中的荧光体的图像强度分布的；以及
通过将扩散信息与表示生物组织中的图像强度分布的扩散函数进行对照来获取与荧光体的深度位置相关的深度位置信息的步骤。
[项16]
一种程序，用于使计算机执行：
获取荧光图像的步骤，荧光图像是通过在用激发光照射包括荧光体的生物组织的同时对生物组织成像而获得的；
通过分析荧光图像获取扩散信息的步骤，扩散信息指示荧光图像中的荧光体的图像强度分布；以及
通过将所述扩散信息与表示生物组织中的图像强度分布的扩散函数进行对照来获取与荧光体的深度位置相关的深度位置信息的步骤。
参考符号列表
10医用观察系统
11图像捕获单元
12 医用图像处理设备
13 输出单元
21 相机控制器
22 相机存储单元
23 成像单元
24 光照射单元
25 样品支撑单元
31 输出控制器
32 输出存储单元
33 显示装置
40 图像处理控制器
41 图像获取单元
42 深度位置信息获取单元
43 图像质量调整单元
44 观察图像生成单元
45 处理存储单元
100 可见光图像
101 荧光图像
102 锐化的荧光图像
103 观察图像
200 生物组织
200a 组织表面
201 血管
202 荧光体
203 观察参考线

Claims (13)

1.一种医用图像处理设备，包括：
图像获取单元，获取荧光图像，所述荧光图像是通过在用激发光照射包括荧光体的生物组织的同时对所述生物组织成像而获得的；以及
深度位置信息获取单元，基于所述荧光图像获取与所述荧光体的深度位置相关的深度位置信息，其中，
所述深度位置信息获取单元
通过分析所述荧光图像获取指示所述荧光图像中的所述荧光体的图像强度分布的扩散信息，并且
通过将所述扩散信息与表示所述生物组织中的图像强度分布的扩散函数进行对照获取所述深度位置信息。
2.根据权利要求1所述的医用图像处理设备，其中，
所述图像获取单元，获取可见光图像，所述可见光图像是通过在用可见光照射所述生物组织的同时对所述生物组织成像而获得的，以及
所述深度位置信息获取单元
通过分析所述可见光图像估计所述生物组织的类型，并且
根据估计的所述生物组织的类型获取所述扩散函数。
3.根据权利要求1所述的医用图像处理设备，其中，
所述扩散信息是所述荧光图像中的所述荧光体的亮度分布，以及
所述扩散函数是基于所述荧光体的所述亮度分布和所述深度位置信息的线扩散函数。
4.根据权利要求1所述的医用图像处理设备，其中，
所述扩散函数包括根据所述荧光体的荧光波长确定的散射系数作为参数，以及
所述深度位置信息获取单元
获取与所述荧光波长对应的散射系数，并且
基于反映所述散射系数的所述扩散函数和所述扩散信息获取所述深度位置信息。
5.根据权利要求1所述的医用图像处理设备，其中，
所述生物组织包括具有不同荧光波长的多个荧光体，
所述图像获取单元获取所述荧光图像，所述荧光图像是通过在用所述多个荧光体中的每一个的激发光照射所述生物组织并且对所述生物组织成像而获得的，以及
所述深度位置信息获取单元基于所述荧光图像获取关于所述多个荧光体中的每一个的深度位置信息。
6.根据权利要求5所述的医用图像处理设备，其中，所述深度位置信息获取单元基于关于所述多个荧光体中的每一个的深度位置信息获取相对深度位置信息，所述相对深度位置信息指示所述多个荧光体之间的深度位置的相对关系。
7.根据权利要求1所述的医用图像处理设备，还包括图像质量调整单元，对所述荧光图像执行根据所述深度位置信息的锐化处理。
8.根据权利要求7所述的医用图像处理设备，还包括：
观察图像生成单元，生成观察图像，其中
所述图像获取单元获取可见光图像，所述可见光图像是通过在用可见光照射所述生物组织的同时对所述生物组织成像而获得的，并且
在所述观察图像中，将经过所述锐化处理的所述荧光图像中对应于所述荧光体的部分叠加在所述可见光图像上。
9.根据权利要求8所述的医用图像处理设备，其中，
所述生物组织包括具有不同荧光波长的多个荧光体，
所述图像获取单元获取所述荧光图像，所述荧光图像是通过在用所述多个荧光体中的每一个的激发光照射所述生物组织的同时对所述生物组织成像而获得的，
所述深度位置信息获取单元基于所述荧光图像获取关于所述多个荧光体中的每一个的深度位置信息，以及
所述观察图像生成单元
针对所述荧光图像中对应于所述多个荧光体的部分调节所述多个荧光体之间的相对亮度，并且
通过将在调节所述多个荧光体之间的相对亮度之后的所述荧光图像中对应于所述多个荧光体的所述部分叠加在所述可见光图像上而生成所述观察图像。
10.根据权利要求7所述的医用图像处理设备，还包括：
观察图像生成单元，生成观察图像，其中
所述图像获取单元获取可见光图像，所述可见光图像是通过在用可见光照射所述生物组织的同时对所述生物组织成像而获得的，以及
所述观察图像生成单元
通过分析经历所述锐化处理之后的荧光图像指定所述生物组织中的所述荧光体的范围，并且
生成在所述可见光图像中强调与所述荧光体的所述范围对应的部分的所述观察图像。
11.根据权利要求10所述的医用图像处理设备，其中，所述观察图像生成单元生成根据所述深度位置信息强调了所述可见光图像中与所述荧光体的所述范围对应的所述部分的所述观察图像。
12.一种医用图像处理方法，包括：
获取荧光图像的步骤，所述荧光图像是通过在用激发光照射包括荧光体的生物组织的同时对所述生物组织成像而获得的；
通过分析所述荧光图像获取扩散信息的步骤，所述扩散信息指示所述荧光图像中的荧光体的图像强度分布；以及
通过将所述扩散信息与表示所述生物组织中的图像强度分布的扩散函数进行对照来获取与所述荧光体的深度位置相关的深度位置信息的步骤。
13.一种程序，用于使计算机执行：
获取荧光图像的步骤，所述荧光图像是通过在用激发光照射包括荧光体的生物组织的同时对所述生物组织成像而获得的；
通过分析荧光图像获取扩散信息的步骤，所述扩散信息指示所述荧光图像中的荧光体的图像强度分布；以及
通过将所述扩散信息与表示所述生物组织中的图像强度分布的扩散函数进行对照来获取与所述荧光体的深度位置相关的深度位置信息的步骤。
CN202280014492.2A 2021-02-24 2022-02-02 医用图像处理设备、医用图像处理方法和程序 Pending CN116887760A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-027800 2021-02-24
JP2021027800A JP2022129194A (ja) 2021-02-24 2021-02-24 医療用画像処理装置、医療用画像処理方法、及びプログラム
PCT/JP2022/003924 WO2022181263A1 (ja) 2021-02-24 2022-02-02 医療用画像処理装置、医療用画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN116887760A true CN116887760A (zh) 2023-10-13

Family

ID=83048098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280014492.2A Pending CN116887760A (zh) 2021-02-24 2022-02-02 医用图像处理设备、医用图像处理方法和程序

Country Status (4)

Country Link
US (1) US20240303842A1 (zh)
JP (1) JP2022129194A (zh)
CN (1) CN116887760A (zh)
WO (1) WO2022181263A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5257891B2 (ja) * 2007-12-05 2013-08-07 富士フイルム株式会社 画像処理システムおよびプログラム

Also Published As

Publication number Publication date
WO2022181263A1 (ja) 2022-09-01
JP2022129194A (ja) 2022-09-05
US20240303842A1 (en) 2024-09-12

Similar Documents

Publication Publication Date Title
CN107003242B (zh) 使用荧光剂进行染色之后在紫外激发的情况下使用荧光显微镜控制组织中的成像深度的系统和方法
CN110269700B (zh) 增强现实手术显微镜和显微镜学方法
CN102892348B (zh) 多光谱光子成像的方法和装置
JP5540102B2 (ja) 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出
JP5185151B2 (ja) 顕微鏡観察システム
JP2012122852A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US8598541B2 (en) Fluorescent image obtaining device, fluorescent image obtaining method and fluorescent image obtaining program
JPWO2013132998A1 (ja) 画像処理装置、顕微鏡システム、及び画像処理方法
JP5677770B2 (ja) 医療診断支援装置、バーチャル顕微鏡システムおよび標本支持部材
US20240169534A1 (en) Medical image analysis device, medical image analysis method, and medical image analysis system
WO2023276219A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023157756A1 (ja) 情報処理装置、生体試料解析システム及び生体試料解析方法
WO2023157755A1 (ja) 情報処理装置、生体試料解析システム及び生体試料解析方法
US20240303842A1 (en) Medical image processing apparatus, medical image processing method, and program
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
CN115038385A (zh) 用于识别肿瘤区域的方法
KR101986658B1 (ko) 생물학적 샘플의 3차원 영상 획득방법
JP2022535798A (ja) ハイパースペクトル定量的イメージング・サイトメトリ・システム
WO2022270015A1 (ja) 生体標本観察装置及び生体標本観察システム
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2023248954A1 (ja) 生体試料観察システム、生体試料観察方法及びデータセット作成方法
EP4137795A1 (en) Fluorescence image analysis method, fluorescence image analyser, fluoresence image analysis program
WO2022209262A1 (ja) 生体試料観察装置用照明装置、生体試料観察装置、観察装置用照明装置及び観察システム
JP2022156634A (ja) 観察装置用照明装置、観察装置及び観察システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination