JP2017148503A - 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置 - Google Patents

擬似色を用いた顕微鏡又は内視鏡などの医用検査装置 Download PDF

Info

Publication number
JP2017148503A
JP2017148503A JP2017026007A JP2017026007A JP2017148503A JP 2017148503 A JP2017148503 A JP 2017148503A JP 2017026007 A JP2017026007 A JP 2017026007A JP 2017026007 A JP2017026007 A JP 2017026007A JP 2017148503 A JP2017148503 A JP 2017148503A
Authority
JP
Japan
Prior art keywords
image
color
visible light
fluorescent
medical examination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017026007A
Other languages
English (en)
Other versions
JP6456416B2 (ja
Inventor
テメリス ゲオルゲ
Themelis George
テメリス ゲオルゲ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of JP2017148503A publication Critical patent/JP2017148503A/ja
Application granted granted Critical
Publication of JP6456416B2 publication Critical patent/JP6456416B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0028—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders specially adapted for specific applications, e.g. for endoscopes, ophthalmoscopes, attachments to conventional microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/43—Conversion of monochrome picture signals to colour picture signals for colour picture display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

【課題】顕微鏡又は内視鏡などの医用検査装置及び医用検査方法において、可視光画像を表す可視光画像データと蛍光画像を表す蛍光画像データと擬似色とを統合して、対象物の特別の特徴を標示する少なくとも１つの蛍光体を含む対象物の改善された視覚的表現を提供する。【解決手段】顕微鏡又は内視鏡の画像処理ユニットが、擬似色画像の出力ピクセルの色（ｒｏ，ｇｏ，ｂｏ）を、少なくとも１つの擬似色（ｒｐ，ｇｐ，ｂｐ）と、可視光画像の第１の入力ピクセルの色（ｒｉ，ｇｉ，ｂｉ）と、蛍光画像の第２の入力ピクセルの輝度と、から計算するように構成されていることにより達成される。特に、色（ｒｏ，ｇｏ，ｂｏ）は、蛍光画像の第２の入力ピクセルの輝度に依存して、擬似色と可視光画像の第１の入力ピクセルの色との間の色空間での線形補間から得ることができる。【選択図】図４

Description

本発明は、顕微鏡又は内視鏡などの医用検査装置、及び、顕微鏡検査又は内視鏡検査などの医用検査方法に関する。
顕微鏡及び内視鏡は、所定のタイプの組織を良好に認識するために、蛍光体の蛍光を用いることが知られている。本発明の目的は、外科医に表示される画像の品質を、既存の顕微鏡又は内視鏡に比べて改善することである。
顕微鏡又は内視鏡などの医用検査装置に対して、上記目的は、画像処理ユニットを含む、顕微鏡又は内視鏡などの医用検査装置において達成される。画像処理ユニットは、対象物の可視光画像を表す可視光画像データを受信するように構成された第１の入力セクションと、対象物の蛍光画像を表す蛍光画像データを受信するように構成された第２の入力セクションと、対象物の擬似色画像を表す擬似色画像データを出力するように構成された出力セクションとを含み、画像処理ユニットは、擬似色画像の出力ピクセルの色を、少なくとも１つの擬似色と、可視光画像の第１の入力ピクセルの色と、蛍光画像の第２の入力ピクセルの輝度とから計算するように構成されている。
本発明の医用検査方法は、対象物の可視光画像を表す可視光画像データを取得するステップと、対象物の蛍光画像を表す蛍光画像データを取得するステップと、可視光画像データと蛍光画像データと少なくとも１つの擬似色とを結合して、擬似色画像を表す出力データを取得するステップとを含み、ここで、擬似色画像の出力ピクセルの色は、少なくとも１つの擬似色と、可視光画像の第１の入力ピクセルの色と、蛍光画像の第２の入力ピクセルの輝度とに依存する。
また、上記課題は、医用視覚化装置に上記方法を実行させるためのプログラムを記憶した、非一時性のコンピュータで読み出し可能な媒体によって解決される。
本発明の解決手段では、少なくとも１つの擬似色が自然に見えるように可視光画像に混合された擬似色画像が形成される。よって、蛍光色で色づけされた対象物のセクションがより自然に表現される。蛍光画像が可視光画像に単純にオーバレイされるのではなく、むしろ少なくとも１つの擬似色を用いて蛍光画像が可視光画像に統合され、対象物の蛍光部分が表示される。
本発明は、さらに、以下の特徴によって改善でき、各特徴は単独でも任意に組み合わせても有利である。
以下で「画像」及び「データ」なる語又は「画像」もしくは「データ」の演算について言及する場合、画像とは自身を形成するデータの全体を表すので、「画像」及び「データ」なる語はほぼ同義に使用できるものと理解されたい。また、画像データはピクセルとしてグループ化できる。よって、「ピクセル」は、「データ」の序列化されたグループに相当する。画像及びデータは処理及び／又はディジタル記憶され、それら自体がディジタルとなる。
少なくとも１つの擬似色は、蛍光体の蛍光色に対応させる必要はなく、顕微鏡又は内視鏡のユーザによって選択可能である。好ましくは、擬似色とは、可視光領域における、観察すべき対象物に自然には生じない色である。
本発明の別の特徴によれば、医用視覚化装置は実体式である。実体顕微鏡もしくは実体内視鏡では、僅かに異なる視点から記録された個別の擬似色画像が観察者の片方ずつの目に提供される。つまり、実体顕微鏡もしくは実体内視鏡では、２つの個別の擬似色画像が２つの異なる可視光画像と２つの蛍光画像とから計算される。２つの実体チャネルのそれぞれに対して、単眼顕微鏡の単眼チャネルに使用されるのと同じ装置及び同じ処理を使用できる。
蛍光画像はディジタルＮＩＲカメラでサンプリング可能であり、可視光画像は標準カメラでサンプリング可能である。画像処理ユニットは、画像データを記憶するメモリを含んでよい。画像処理ユニットは、例えばソフトウェアによって顕微鏡又は内視鏡のための制御処理システムを形成するように構成された汎用コンピュータの一部であってよい。また、画像処理ユニットは、顕微鏡又は内視鏡での使用のみのために専用に設計された電子装置であってもよい。
本発明の別の特徴によれば、顕微鏡又は内視鏡は、２つ以上の蛍光チャネルを含むことができる。例えば、それぞれ異なる励起波長で励起されて異なる発光波長で蛍光発光する２つ以上の蛍光体を使用可能である。２つ以上の蛍光体を使用して、調査される対象物の種々の特性を識別することができる。例えば、第１種の蛍光体を使用して血管をマーキングし、第２種の蛍光体を使用してがん細胞をマーキングすることができる。他の蛍光体を用いて例えば神経細胞をマーキングすることもできる。
本発明の別の特徴によれば、蛍光画像データは、少なくとも２つの異なる蛍光発光色を含み、処理ユニットは、種々異なる擬似色を種々異なる蛍光発光色のそれぞれに割り当てるように構成可能である。したがって、種々のタイプの蛍光体によってマーキングされる種々のタイプの組織は、擬似色画像において異なる擬似色によって識別可能である。本発明によれば、蛍光画像の第１の入力ピクセルの色と第２の入力ピクセルの輝度との双方を考慮して、種々の擬似色が全て可視光画像へ自然に混合される。
出力ピクセルの色を計算するために、第１の入力ピクセルと第２の入力ピクセルとは対象物の同じ特徴に対応しなければならない。例えば、蛍光画像、可視光画像及び擬似色画像は、同じ寸法を有しており、すなわち、同数のピクセル行列を含むことができる。可視光画像と蛍光画像とが互いに合同である場合、すなわち、対象物の寸法、配向及び位置が２つの画像において等しい場合、第１の入力ピクセルと第２の入力ピクセルとは各画像の同じ行列に位置することになる。
混合の度合を高めるため、出力ピクセルの色を、色空間において、第１の入力ピクセルの色と少なくとも１つの擬似色との間に線形に配置することができ、出力ピクセルの色から第１の入力ピクセルの色までの距離は、第２の入力ピクセルの輝度に比例する。典型的な色空間はＨＳＶ，ＨＳＩ，ＲＧＢ及びＹＭＣＫであるが、これらの色空間のみに限定されない。当該色空間では、各色は位置ベクトルによって表現することができる。したがって、出力ピクセルの色計算を、ベクトル算術によって高い計算効率で行うことができる。
ＲＧＢ色空間を例として用いると、画像処理ユニットは、出力ピクセルの色を取得するために、第２の入力ピクセルの輝度に依存して、可視光の第１の入力ピクセルのＲＧＢ値を選択された擬似色値へ線形補間するように構成可能である。第１の入力ピクセルがＲＧＢ値（ｒｉ，ｇｉ，ｂｉ）を有し、蛍光輝度がｆであり、補間係数（ｈ＝ｆ／ｆｍａｘ、ここでｆｍａｘは予測される最大蛍光輝度）は選択可能であるとする。特定の蛍光体に対してユーザが選択した擬似色がＲＧＢ値（ｒｐ，ｇｐ，ｂｐ）を有する場合、出力ピクセルの色（ｒｏ，ｇｏ，ｂｏ）は
ｒｏ＝ｒｉ＋ｈ・（ｒｐ−ｒｉ）
ｇｏ＝ｇｉ＋ｈ・（ｇｐ−ｇｉ）
ｂｏ＝ｂｉ＋ｈ・（ｂｐ−ｂｉ）
となる。つまり、蛍光輝度がｆ＝０の場合、ｈ＝０であり、出力ピクセルの色は可視光画像の色に対応する。蛍光画像のピクセルの輝度が増大するにつれて、出力ピクセルの色は擬似色に近づく。
上掲の式では、係数ｈは、係数ｋ＝ａ・ｈで置換可能であり、ここで、ａは、当該擬似色が擬似色画像においてどの程度不透明であるかを定める、擬似色の不透明度係数である。当該擬似色の不透明度係数ａは、ユーザが選択可能である。不透明度係数を、例えば１を下回るきわめて小さい値に設定すると、ｆ＝ｆｍａｘであっても、擬似色画像にはきわめて弱い擬似色が生じる。
擬似色画像の品質を改善し、雑音アーティファクトを回避するために、処理ユニットは、蛍光画像内のピクセルが閾値を下回る輝度を有する場合に当該ピクセルを空白化するように構成された閾値調整モジュールを含むことができる。閾値は、ユーザが調整して画像処理ユニットのメモリ部に記憶させることができる。医用視覚化装置の動作において、ｆｍｉｎを下回る輝度を有する蛍光画像のピクセルは、ゼロに設定できる。閾値フィルタは暗色雑音及びクロストークを低減する。閾値フィルタ又は閾値調整モジュールを用いると、それぞれ、係数ｈは、
ｆ＜ｆｍｉｎに対してｈ＝０、かつ、
ｆ＞ｆｍｉｎに対してｈ＝ｆ
となる。
さらに、画像処理ユニットは、蛍光画像データ及び可視光画像データの少なくとも一方に対してガンマ補正を適用するように構成されたガンマ補正モジュールを含むことができる。特に、ガンマ補正は、蛍光画像をモノクロ蛍光画像のごとく見せるために、蛍光画像データに適用される。
本発明の別の特徴によれば、処理ユニットは、可視光画像データ及び蛍光画像データの少なくとも一方における口径食及び不均一な照明の少なくとも一方を補償するように構成された少なくとも１つの均一化モジュールを含むことができる。例えば、均一化モジュールは、可視光画像データ及び／又は蛍光画像データに対してフラットフィールドフィルタを適用することができる。
照明の不均一及び撮像光学系の口径食によって、視野において不均一な輝度が生じる。典型的には、顕微鏡もしくは内視鏡の視野の周辺のほうが中央よりも著しく暗く、そのため、典型的には顕微鏡もしくは内視鏡でのディジタルイメージングには視野の中央部しか使用できない。しかし、外科医は尚、顕微鏡もしくは内視鏡の接眼部を介して、視野全体を視覚的に観察しうる。よって、擬似色画像に使用される一方の視野と、外科医が観察している他方の視野との不整合が生じうる。当該不整合を回避するために、ディジタル均一化フィルタを可視光画像データ及び／又は蛍光画像データに適用できる。均一化フィルタは、照明の不均一及び／又は撮像光学系の口径食を補正するように構成されている。均一化フィルタを適用した後、得られる中間画像は、視野全体を通して同じ輝度を有する。均一化フィルタでは、作業距離、顕微鏡もしくは内視鏡の光学系の焦点距離、焦点、及び、照明輝度設定の全てを考慮することができる。
特に、均一化フィルタは、キャリブレーションによって、例えばキャリブレーション画像の取得元であるグレー又は白の均一色のターゲットを対象物として使用することで、取得可能である。白の均一色のターゲットは、口径食及び照明の不均一の双方を明示する。
均一化フィルタは、可視光画像及び／又は蛍光画像での空間分布に沿ってＲＧＢ値を好ましくは別個に測定することによって、キャリブレーション画像から求めることができる。空間分布は、例えば、対角線又はキャリブレーション画像の中央を通る他の直線であってよい。当該空間分布は、反転によって均一化フィルタに生じる２次元の不均一性マップを形成するために、多項式に適合化しかつ画像中心の周囲を回転可能である。
均一化フィルタは、画像処理ユニットのメモリ部に記憶可能である。均一化モジュールは、可視光画像データ及び蛍光画像データのための種々の均一化フィルタを含むことができ、これにより、一方では可視光画像の種々の光学系及び照明部、他方では蛍光画像の種々の光学系及び照明部を考慮することができる。
可視光画像が蛍光画像とは異なるカメラによって記録される場合、可視光画像及び蛍光画像に対して２つの異なる視野角又はアライメント誤差が発生しうる。したがって、蛍光画像と可視光画像とは厳密には相互に合同でない。例えば、可視光画像は、蛍光画像に対して僅かに回転していてよい。また、蛍光画像は、可視光画像に対してずれていてよい。さらに、可視光画像と蛍光画像とは相互にアナモルフィックであってもよい。
よって、可視光画像と蛍光画像とを相互に自然に混合するには、処理ユニットが、可視光画像及び蛍光画像を相互に合同となるように移動させるべく構成された空間調整モジュールを含むようにすると有利である。空間調整モジュールにより、第１の入力ピクセルと第２の入力ピクセルとが対象物上の同じ点をマッピングすることが保証される。特に、空間調整モジュールは、可視光画像及び蛍光画像の少なくとも一方に対してクロップ、回転、シフト及びストレッチの少なくとも１つを行うように構成することができる。
２つ以上の蛍光チャネルが使用される場合、各蛍光発光色に対して個別のカメラを使用することができる。蛍光画像を記録する単独カメラが２つ以上の蛍光発光色を使用している場合には、好ましくは色感応性のカメラ又は記録方法を用いて、種々の蛍光帯域を相互に区別できる。種々の蛍光体の発光波長のみを通過させる帯域通過フィルタを使用することができる。
顕微鏡もしくは内視鏡の幾つかの特徴を画像処理ユニットのモジュールに関連して説明したが、これらのモジュールは、少なくとも部分的に、画像処理ユニットが実行するソフトウェアとして実現された機能ユニットであってよい。これに加えて又はこれに代えて、モジュールを少なくとも部分的にハードウェアとして表現してもよい。
以下に、本発明の例示的な実施形態を図に関連して説明する。上述したように、これらの実施形態に示される各特徴の組み合わせは、特定の適用分野の必要に応じて変化させることができる。例えば、所定の適用分野でここに示す実施形態の特定の特徴の技術的効果が必要とされない場合、当該特徴を省略することができる。逆に、所定の実施形態で上述した特徴の技術的効果が必要とされる場合、当該特徴をここに示す実施形態に加えることができる。
なお、各図を通して、少なくとも１つの構造及び機能において相互に対応する要素には、同じ参照番号を使用している。
本発明による医用視覚化装置の概略表現を示す図である。 本発明の医用視覚化装置の画像処理ユニットの概略表現を示す図である。 均一化フィルタを較正するための、均一に色づけされた対象物の概略表現を示す図である。 均一化フィルタの概略表現を示す図である。 画像データでの画像処理効果の概略表現を示す図である。 入力画像データで実行される画像処理ステップの概観を示す図である。 画像内での擬似色の割り当ての概略表現を示す図であり、図６は、２つ以上の蛍光体を用いて得られる擬似色画像の概略表現を示す図である。
図１に関連して、本発明の医用検査装置１の全体的構造を説明する。図１には、例示の目的のみにおいて、顕微鏡としての医用検査装置１が示されている。
顕微鏡１は、手術準備中もしくは手術中に、対象物２、例えばヒトもしくは動物の体組織などを視覚的に検査するために用いられる。このために、対象物２は、少なくとも１つの光源４を含む照明サブシステム３によって照明される。光源４からの光５は、対象物２を通って透過可能であるか又は対象物２によって反射可能である。蛍光体６すなわち蛍光性の液体もしくは固体もしくは懸濁液は、対象物２内に存在しうる。光源は、少なくとも１つの蛍光体６の蛍光を励起する波長帯域のエネルギを有する光５を放出することができる。
照明サブシステム３は、少なくとも１つの光源４からの光５を配向する１つもしくは複数の照明フィルタ７を含むことができる。例えば、照明フィルタ７は、少なくとも１つの蛍光体の励起帯域及び可視光領域の光のみ通過を許容する帯域通過フィルタを含むことができる。特に、少なくとも１つの照明フィルタ７は、光源４からの、少なくとも１つの蛍光体が蛍光を発光する波長の光を阻止することができる。
これに加えて又はこれに代えて、照明フィルタ７は照明を均一化するためにも利用でき、アパーチャを有してもよい。
対象物２で反射された光８及び／又は対象物２から放出された光８は、例えば増倍ズームレンズとしての光学サブシステム９によって受信される。
光学サブシステム９からの光は、撮像サブシステム１０を通過する。当該撮像サブシステム１０は、可視光画像データ１１及び蛍光画像データ１２を、電気信号の形態で、対象物２及びこの対象物２の表面もしくは内部の蛍光材料で反射された光８及び／又はそこから放出された光８から抽出するように構成されている。
可視光画像データ１１は、対象物２の可視光画像、すなわち、人間の観察者の目に認識可能な画像に対応するディジタル画像を表している。蛍光画像データ１２は、蛍光画像を表している。蛍光画像は、対象物２の少なくとも１つの蛍光体６の発光波長における対象物のディジタル画像に対応する。
可視光画像データ１１における可視光スペクトルの全体を利用できるようにするために、少なくとも１つの蛍光体の励起帯域及び発光帯域の双方が可視光領域にないことが好ましい。例えば、発光帯域及び励起帯域の双方が近赤外領域（ＮＩＲ）にあってよい。適切な蛍光体は、代謝物質中で蛍光性を有するプロトポルフィリンＩＸとインドシアニングリーンとを生じる５‐アミノレブリン酸であってよい。
撮像サブシステム１０は、入射光８を可視光１４とＮＩＲ光１５とへ分離するダイクロイックもしくはポリクロイックのビームスプリッタ１３を含み、後者のＮＩＲ光１５は、対象物２で反射された励起波長と、対象物２内の少なくとも１つの蛍光体からの発光波長と、の双方を含む。撮像サブシステム１０は可視光撮像アセンブリ１６及び蛍光撮像アセンブリ１７を含むが、これらのアセンブリにおいては、可視光画像データ１１及び蛍光画像データ１２が顕微鏡１の画像処理ユニット１８において結合され、出力データ１９によって表される擬似色画像が形成されて画像処理ユニット１８で利用可能となるまで、可視光１４とＮＩＲ光１５とが光学的にも信号レベルの点でも区別されて扱われる。
可視光撮像アセンブリ１６には、可視光以外の全ての光を阻止する１つもしくは複数の可視光観察フィルタ２０を設けることができる。また、可視光観察フィルタ２０は、光学サブシステム９によって観察される視野２１の輝度をより均一にレンダリングする光学均一化フィルタを含むことができる。可視光１４は可視光カメラ２２で記録され、可視光画像データ１１へ変換される。
蛍光画像データ１２を取得するために、ＮＩＲ光１５は、蛍光観察フィルタ２３によってフィルタリングされ、ついで、ＮＩＲカメラであってよい蛍光カメラ２４へ配向される。蛍光観察フィルタ２３は、少なくとも１つの蛍光体６の発光波長の光以外の全ての光を阻止する帯域通過フィルタとして構成可能である。このため、ＮＩＲカメラ２４は、発光波長のみの情報を含む画像を記録する。ＮＩＲカメラは、モノクロカメラ又は色感応性カメラであってよい。後者の色感応性カメラは、種々の蛍光体の励起波長として使用される２つ以上の蛍光体が蛍光画像の種々の色によって識別可能である場合に、特に有効である。この場合、蛍光観察フィルタは、種々の蛍光波長を通過させることのできるマルチ帯域通過フィルタであってよい。
撮像サブシステム１０は、可視光カメラ２２から可視光画像データ１１を形成し、かつ、蛍光カメラ２４から蛍光画像データ１２を形成して、顕微鏡１の他のサブシステムに提供する、データインタフェース２５を含むことができる。
撮像サブシステム１０は、光学サブシステム９で受信された光学画像に対する遅延が全くないか又は殆ど存在しない可視光画像データ１１及び蛍光画像データ１２を形成することにより、リアルタイムで動作する。
撮像サブシステム１０のデータインタフェース２５は、可視光画像データ１１及び蛍光画像データ１２をビデオストリーム用の標準データフォーマットで形成することができる。また、蛍光撮像サブシステム１０のデータインタフェース２５は、例えばカメラ設定を制御するための制御信号２６を受信するように構成可能である。さらに、撮像サブシステム１０は、可視光観察フィルタ２０及び蛍光観察フィルタ２３の少なくとも一方が調整可能である場合に、可視光観察フィルタ２０及び蛍光観察フィルタ２３の少なくとも一方の設定を変更するように構成可能である。
顕微鏡１は、実体顕微鏡であってよい。このケースでは、撮像サブシステム１０は各実体チャネルに対して設けることができる。
図１の実施形態では、制御処理サブシステム２７は、例えば動作中に可視光画像データ１１及び蛍光画像データ１２を受信しかつ制御信号２６を交換する一方向もしくは双方向でのデータ伝送のために、蛍光撮像サブシステム１０に接続される。
さらに、制御処理サブシステム２７は、制御信号２６によって光学サブシステム９を制御するように、及び／又は、同様に制御信号２６によって照明サブシステム３を制御するように構成できる。照明フィルタが調整可能である場合、制御及び処理サブシステム２７は、同様に照明フィルタ７を制御するように構成可能である。
制御処理サブシステム２７は、汎用コンピュータ、例えばパーソナルコンピュータであってもよいし、又は、顕微鏡１の要求に特に適した専用の電子システムであってもよい。顕微鏡１の種々のサブシステム及びアセンブリ及び他のデバイス間のデータ伝送は、ディジタル通信バスが使用される場合に実現可能である。
制御処理サブシステム２７は、ハードウェア及び／又はソフトウェアとして実現可能な複数のユニットを含んでよい。
例えば、コントローラユニット３０は、顕微鏡１の動作パラメータの設定を記憶、変更及び制御するために用いることができる。動作パラメータは、これらに限定されるものではないが、光学サブシステム９の各パラメータ、例えばアパーチャ、焦点、焦点距離、照明サブシステム３の各パラメータ、例えば照明フィルタ設定、光源輝度、蛍光撮像サブシステム１０の各パラメータ、例えばカメラ設定、観察フィルタ設定、及び、画像処理ユニット１８の各パラメータを含むことができる。コントローラユニット３０は、動作に応じて動作パラメータを変更するユーザインタラクション用のエレメントを含むことができる。こうしたエレメントは、スクリーン上もしくはタッチパネル上のグラフィックユーザインタフェース、及び／又は、スライダ、プッシュボタン、スイッチ及び／又はノブなどの機械エレメントを含むことができる。
画像処理ユニット１８は、可視光画像データ１１を受信するように構成された第１の入力セクション３１を含む。画像処理ユニット１８の第２の入力セクション３２は、蛍光画像データ１２を受信するように構成されている。出力データ１９は、画像処理ユニット１８の出力セクション３３で形成される。
出力セクション３３では、出力データ１９を、対象物２の擬似色画像を表す擬似色画像データの形態で利用可能である。
擬似色画像では、可視光画像が蛍光画像に統合され、可視光画像から蛍光画像への平滑な色遷移が形成される。ここで、蛍光画像が割り当てられ、擬似色において表示される。擬似色画像の出力ピクセルの色は、画像処理ユニット１８により、少なくとも１つの擬似色と、可視光画像の第１の入力ピクセルの色と、蛍光画像の第２の入力ピクセルの輝度とから計算される。２つ以上の蛍光体が使用される場合、各蛍光体もしくは蛍光の発光する波長帯域のそれぞれに、１つずつ異なる擬似色が好ましくはユーザによって又は自動的に割り当てられる。
さらに、図１から見て取れるように、全ての画像データ又は選択された画像データと好ましくは顕微鏡設定との双方を記憶するためのドキュメンテーションサブシステム３５が顕微鏡１に設けられているか又は顕微鏡１に接続されている。また、顕微鏡１は、好ましくは複数のディスプレイ、例えば接眼ディスプレイ３７及び顕微鏡モニタ３８などを含むモニタリングサブシステム３６を有してよい。顕微鏡１には、（図示されていない）外部モニタへビデオデータを供給するように構成されたディスプレイインタフェース３９を設けることができる。
図２には、画像処理ユニット１８の構造が概略的に示されている。画像処理ユニット１８は、リアルタイムで画像データ１１，１２についての種々の画像処理機能を実行する複数のモジュールを含む。画像処理ユニット１８の各モジュールは、ハードウェア及び／又はソフトウェアにおいて実行可能である。同じ機能を実行する種々のモジュールは、例えば、種々のデータが供給される同一のソフトウェアルーチンとして実現可能である。各モジュールは、同時に実行可能であるし、又は、連続実行において出力をリアルタイムで利用できる場合には連続的にも実行可能である。
画像処理ユニット１８は、可視光画像データ１１及び蛍光画像データ１２の少なくとも一方における少なくとも１つの口径食及び不均一照明を補償するように構成された均一化モジュール４１を含むことができる。均一化モジュール４１はさらに、画像のコントラスト領域を完全に利用できるようにするために、画像データ１２のヒストグラム正規化及び最適化を行うように構成することができる。
均一化モジュール４１はディジタル均一化フィルタ４２を含むことができ、この均一化フィルタ４２は可視光画像データ１１と蛍光画像データ１２とに対して異なっていてよい。というのは、可視光と少なくとも１つの蛍光体の励起帯域の光とに対して照明分布が異なりうるからである。また、カメラは、個別の補償の必要な、種々の口径食特性及び歪み特性を呈することがある。
均一化フィルタ４３は、例えば均一に色づけされたキャリブレーション対象物、例えば白、グレーもしくは別の均一色で色づけされたプレートなどでのキャリブレーションを利用して決定可能であり、画像処理ユニット１８又は付属のメモリに電子的に記憶可能である。図３のＡには、均一に色づけされたこうしたキャリブレーション対象物４３の画像が示されている。不均一照明及び口径食は、キャリブレーション対象物の画像では、視野２１の周辺が中央部よりも著しく暗くなるため、明らかに可視である。均一化モジュール４１では、図３のＢに示されている均一化フィルタ４２が、可視光画像及び蛍光画像の少なくとも一方に対してリアルタイムで適用される。均一化フィルタ４２は、キャリブレーション対象物の画像の、空間分布４４に沿ったＲＧＢ値から得られる。すなわち、色空間の各座標に対して、個別の分布が得られる。異なる分布に複数の多項式を適用可能である。多項式の曲線を画像中心の周囲で回転させることにより、対象物２から対応するカメラ２２，２４のセンサまでの各光路における不均一性の２次元マップが形成される。均一化フィルタ４２は、均一性マップを反転させることによって得られる。
さらに、画像処理ユニット１８は、好ましくは蛍光画像データ１２及び可視光画像データ１１の一方のみ、好ましくは蛍光画像データ１２のみに作用する空間調整モジュール４５を含むことができる。これは、蛍光画像データ１２が低い色深度のために可視光画像データ１１よりも少なくてよいからである。空間調整モジュール４５は、可視光画像及び蛍光画像の少なくとも一方にクロップ、回転、シフト及びストレッチの少なくともいずれかを行うように構成されている。空間調整モジュール４５の目的は、可視光画像及び蛍光画像を相互に合同となるように移動させることにより、可視光画像の所定位置のピクセルを蛍光画像の同じ位置のピクセルとしての対象物２の同じ位置に対応させることにある。空間調整モジュール４５では、可視光画像と蛍光画像とにおける対応構造を一致させ、２つの画像を互いに整合させるのに必要なクロップ量、シフト量、ストレッチ量及び／又は回転量を計算するために、相関アルゴリズムとパターン識別アルゴリズムとを実行可能である。
さらに、画像処理ユニット１８は、可視光画像データ１１及び蛍光画像データ１２の少なくとも一方に作用するように構成されたガンマ補正モジュール４６を含むことができる。ガンマ補正を用いることにより、画像を人間の視覚に適合させることができる。
画像処理ユニット１８はさらに、好ましくは蛍光画像データ１２のみに作用するように構成された閾値調整モジュール４７を含むことができる。閾値調整モジュール４７は、蛍光画像データ１２のピクセルが閾値ｆｍｉｎを下回る輝度ｆを有する場合にこのピクセルを空白化するように構成されており、すなわち、ｆ＞ｆｍｉｎのときｆ＝ｆとなり、ｆ＜ｆｍｉｎのときｆ＝０となる。コントローラユニット３０（図１）は、ユーザによる閾値調整が許容されるように構成可能である。
ピクセルの空白化には、ピクセルの色を所定の色、例えば黒に設定すること、ピクセルの色をゼロに設定すること、及び、ピクセルを透明にすることのいずれかが含まれる。
さらに、画像処理ユニット１８は、可視光画像と蛍光画像とを統合して、出力セクション３３で利用可能な擬似色画像を形成するように構成された擬似色画像発生器４８を含むことができる。
以下では、擬似色画像発生器４８の色空間、例えばＲＧＢ色空間に対する機能を説明する。ＲＧＢ色空間では、デカルト座標系が３つの色成分である赤（ｒ）、緑（ｇ）、青（ｂ）によって形成されている。これに代えて他の色空間を使用することもでき、これらはＣＭＹＫ色空間又はＨＳＬもしくはＨＳＶ色空間であってよい。
ＲＧＢ色空間では、どの色も３成分（ｒ，ｇ，ｂ）によって表されるので、３次元の色空間の所定の位置に対応する。当該位置は、色空間の原点から特定の色へ向かう位置ベクトルに対応する。
擬似色画像発生器４８は、第２の入力ピクセルの輝度に依存して、擬似色画像の出力ピクセルの色を擬似色から可視光画像の第１の入力ピクセルの色へ線形補間するように構成されている。したがって、色空間では、出力ピクセルの色（ｒｏ，ｇｏ，ｂｏ）は、可視光画像の第１の入力ピクセルの色（ｒｉ，ｇｉ，ｂｉ）と少なくとも１つの擬似色（ｒｐ，ｇｐ，ｂｐ）との間に線形に配置されており、つまり（ｒｉ，ｇｉ，ｂｉ）から（ｒｐ，ｇｐ，ｂｐ）へ向かうベクトル上に位置している。出力ピクセルの色（ｒｏ，ｇｏ，ｂｏ）から第１の入力ピクセルの色（ｒｉ，ｇｉ，ｂｉ）までの距離は、蛍光画像の第２の入力ピクセルの輝度ｆに比例するように計算されている。これにより、第１の入力ピクセルと第２の入力ピクセルとの双方が（図１の）対象物２の同じ位置に対応する。色空間を用いることにより、計算効率の良いベクトル算術を用いて線形補間を行うことができる。
特に、出力ピクセルの色（ｒｏ，ｇｏ，ｂｏ）は、擬似色画像発生器４８において、
ｒｏ＝ｒｉ＋ｈ・（ｒｐ−ｒｉ）
ｇｏ＝ｇｉ＋ｈ・（ｇｐ−ｇｉ）
ｂｏ＝ｂｉ＋ｈ・（ｂｐ−ｂｉ）
ここで、係数ｈ＝ｆ／ｆｍａｘであり、ｆｍａｘは予測される蛍光最大輝度である
により、計算可能である。
このように、第２の入力ピクセルの蛍光輝度により、所定の色成分に対して、出力色から入力色までの距離が求められる。蛍光輝度がｆ＝０の場合、すなわち、蛍光が生じない場合、出力ピクセルの色は可視光画像の第１の入力ピクセルの色に対応するはずである。第２の出力ピクセルの蛍光色が最大値すなわちｆ＝ｆｍａｘである場合、出力ピクセルの色は擬似色（ｒｐ，ｇｐ，ｂｐ）に対応するはずである。
さらなるバリエーションでは、不透明度係数を係数ｆ／ｆｍａｘに組み合わせて用いることができ、代替の係数ｈ＝ａ・（ｆ／ｆｍａｘ）が形成される。不透明度係数ａは、制御処理サブシステム２７とのインタラクションに応じてユーザが調整可能であり、擬似色の透明度が増減される。係数ａがゼロに近づくと、蛍光画像の蛍光部分が大きくても擬似色画像において擬似色が殆ど見えなくなる。係数ａが増大すると、擬似色の可視性も増大する。
図４に、蛍光画像データの輝度と可視光画像データの対応するピクセルの色（ｒｉ，ｇｉ，ｂｉ）とに基づいて、出力データに色（ｒｏ，ｇｏ，ｂｏ）を割り当てるプロセスが例示されており、ここでは例えば緑色が擬似色（ｒｐ，ｇｐ，ｂｐ）＝（０，２５６，０）として用いられる。上方の正方形は、４×４の第１の入力ピクセル５０を有する（概略的な）可視光画像４９を表している。例示のためにすぎないが、サンプル可視光画像４９は、可視光画像の全ての列と一貫して同一の４色のみを有する。
左下方の四角形は、４×４のサンプル蛍光画像５１の輝度を概略的に示している。蛍光画像は４×４の第２の入力ピクセル５２から成る。例示のためにすぎないが、蛍光画像５１の各行の輝度は一定である。蛍光画像５１の第２の入力ピクセル５２の最上行はゼロ輝度を有し、これに対して、蛍光画像５１の第２の入力ピクセル５２の最下行は最大輝度を有する。
上述したＲＧＢ線形補間スキーマを用いると、４×４の擬似色画像５３が得られる。またも見て取れるように、第２の入力ピクセル５２の輝度がゼロである場合、可視光画像４９のオリジナルの色は、擬似色画像５３の対応する出力ピクセル５４において再現される。第２の入力ピクセル５２の輝度が最大である場合、擬似色画像５３の色は、上述したように、不透明度係数ａに応じて定められる。
図４Ａには、可視光画像４９と蛍光画像５１とを統合して擬似色画像５３を取得するための種々のステップが示されている。
第１のステップ６０では、可視光画像４９と蛍光画像５１とが可視光カメラ２２と蛍光カメラ２４とによってそれぞれサンプリングされる。第２のステップ６１では、均一化モジュールを用いて、対応する画像４９，５１が均一化される。
第３のステップ６２では、均一化蛍光画像５１が可視光画像と合同となるように移動され、２つの画像４９，５１の物理的構造が寸法及び位置の双方において互いに対応する。空間調整は、好ましくは、蛍光画像５１が閾値調整モジュール４７の動作にかけられる前に行われ、これにより、空間調整アルゴリズムはパターンマッチングに利用可能なより多くのデータを有する。
第４のステップ６３では、蛍光画像５１の閾値フィルタリングによって、輝度閾値ｆｍｉｎを下回る蛍光画像５１の全ての第２の入力ピクセル５２の空白化が行われる。
第５のステップ６４では、擬似色画像５３が、擬似色画像発生器４８を用いて、上述した線形色補間によって計算される。
図５には、２つの擬似色７０，７１を含む擬似色画像５３の形成が示されている。２つの擬似色は、対象物２内で、２つの異なる発光帯域で発光するために２つの異なる蛍光色７２，７３を有する２つの蛍光体を使用することで生じる。こうしたケースでは、擬似色７０，７１が蛍光画像５１において第２の入力ピクセル５２の蛍光色７２，７３に基づいてこの第２の入力ピクセル５２に割り当てられた後に、線形補間が行われる。当該割り当ての後、色空間での線形補間が、特定のピクセル５０，５２，５４に割り当てられた擬似色と第１の入力ピクセル５０の色との間で、上述したように行われる。
本発明を顕微鏡に即して説明したが、本発明は内視鏡にも適用可能である。顕微鏡１と比較した内視鏡のケースでの相違点は、光学サブシステム９が光ファイバを含むということのみである。
１ 顕微鏡
２ 対象物
３ 照明サブシステム
４ 光源
５ 照明サブシステムからの光
６ 蛍光体
７ 照明フィルタ
８ 対象物からの反射光又は放出光
９ 光学サブシステム
１０ 撮像サブシステム
１１ 可視光画像データ
１２ 蛍光画像データ
１３ ビームスプリッタ
１４ 可視光
１５ ＮＩＲ光
１６ 可視光撮像アセンブリ
１７ 蛍光撮像アセンブリ
１８ 画像処理ユニット
１９ 画像処理ユニットの出力データ
２０ 可視光観察フィルタ
２１ 視野
２２ 可視光カメラ
２３ 蛍光観察フィルタ
２４ 蛍光カメラ
２５ 蛍光撮像サブシステムのデータインタフェース
２６ 制御信号
２７ 制御処理サブシステム
３０ コントローラユニット
３１ 第１の入力セクション
３２ 第２の入力セクション
３３ 出力セクション
３５ ドキュメンテーションサブシステム
３６ モニタリングサブシステム
３７ 接眼ディスプレイ
３８ 顕微鏡モニタ
３９ ディスプレイインタフェース
４１ 均一化モジュール
４２ 均一化フィルタ
４３ 均一化フィルタを取得するためのキャリブレーション対象物
４４ 空間分布
４５ 空間調整モジュール
４６ ガンマ補正モジュール
４７ 閾値調整モジュール
４８ 擬似色画像発生器
４９ 可視光画像
５０ 第１の入力ピクセル
５１ 蛍光画像
５２ 第２の入力ピクセル
５３ 擬似色画像
５４ 出力ピクセル
６０ 第１のステップ
６１ 第２のステップ
６２ 第３のステップ
６３ 第４のステップ
６４ 第５のステップ
７０ 第１の擬似色
７１ 第２の擬似色
７２ 第１の蛍光色
７３ 第２の蛍光色

Claims (15)

  1. 画像処理ユニット（１８）を含む、顕微鏡又は内視鏡などの医用検査装置（１）であって、
    前記画像処理ユニット（１８）は、
    対象物（２）の可視光画像（４９）を表す可視光画像データ（１１）を受信するように構成された第１の入力セクション（３１）と、
    前記対象物（２）の蛍光画像（５１）を表す蛍光画像データ（１２）を受信するように構成された第２の入力セクション（３２）と、
    前記対象物（２）の擬似色画像（５３）を表す擬似色画像データ（３４）を出力するように構成された出力セクション（３３）と、
    を含み、
    前記画像処理ユニット（１８）は、前記擬似色画像（５３）の出力ピクセル（５４）の色（ｒｏ，ｇｏ，ｂｏ）を、少なくとも１つの擬似色（ｒｐ，ｇｐ，ｂｐ）と、前記可視光画像（４９）の第１の入力ピクセル（５０）の色（ｒｉ，ｇｉ，ｂｉ）と、前記蛍光画像（５１）の第２の入力ピクセル（５２）の輝度（ｆ）と、から計算するように構成されている、
    医用検査装置（１）。
  2. 前記蛍光画像（５１）は、少なくとも２つの異なる蛍光発光色（７２，７３）を含み、
    前記画像処理ユニット（１８）は、種々異なる擬似色（７０，７１）を前記異なる蛍光発光色のそれぞれに割り当てるように構成されている、
    請求項１に記載の医用検査装置（１）。
  3. 前記出力ピクセル（５４）の色（ｒｏ，ｇｏ，ｂｏ）は、色空間（ＲＧＢ）において、第１の入力ピクセル（５０）の色（ｒｉ，ｇｉ，ｂｉ）と前記少なくとも１つの擬似色（ｒｐ，ｇｐ，ｂｐ）との間に線形に配置されており、
    前記出力ピクセル（５４）の色から前記第１の入力ピクセル（５０）の色までの距離は、前記蛍光画像（５１）の前記第２の入力ピクセル（５２）の輝度（ｆ）に比例する、
    請求項１又は２に記載の医用検査装置（１）。
  4. 前記画像処理ユニット（１８）は、均一化モジュール（４１）を含み、
    前記均一化モジュールは、前記可視光画像（４９）及び前記蛍光画像（５１）の少なくとも一方における口径食及び不均一な照明の少なくとも一方を補償するように構成されている、
    請求項１から３までのいずれか１項に記載の医用検査装置（１）。
  5. 前記均一化モジュール（４１）は、前記可視光画像（４９）及びデータと前記蛍光画像（５１）とに対して異なる均一化フィルタ（４２）を含む、
    請求項４に記載の医用検査装置（１）。
  6. 前記画像処理ユニット（１８）は、前記第２の入力ピクセル（５２）が閾値（ｆｍｉｎ）を下回る輝度（ｆ）を有する場合に、前記蛍光画像（５１）の前記第２の入力ピクセル（５２）を空白化するように構成された閾値調整モジュール（４７）を含む、
    請求項１から５までのいずれか１項に記載の医用検査装置（１）。
  7. 前記画像処理ユニット（１８）は、前記可視光画像（４９）及び前記蛍光画像（５１）を互いに合同となるように移動させるべく構成された空間調整モジュール（４５）を含む、
    請求項１から６までのいずれか１項に記載の医用検査装置（１）。
  8. 前記空間調整モジュール（４５）は、前記可視光画像（４９）及び前記蛍光画像（５１）の少なくとも一方に対して、クロップ、回転、シフト及びストレッチのうち少なくとも１つを行うように構成されている、
    請求項７に記載の医用検査装置（１）。
  9. 顕微鏡検査又は内視鏡検査などの、医用検査方法であって、
    対象物（２）の可視光画像（４９）を表す可視光画像データ（１１）を取得するステップと、
    前記対象物の蛍光画像（５１）を表す蛍光画像データ（１２）を取得するステップと、
    前記可視光画像データ（１１）と前記蛍光画像データ（１２）と少なくとも１つの擬似色とを結合して、擬似色画像（５３）を表す擬似色画像データ（３４）を取得するステップと、
    を含み、
    前記擬似色画像（５３）の出力ピクセル（５４）の色（ｒｏ，ｇｏ，ｂｏ）は、少なくとも１つの擬似色（ｒｐ，ｇｐ，ｂｐ）と、前記可視光画像（４９）の第１の入力ピクセル（５０）の色（ｒｉ，ｇｉ，ｂｉ）と、前記蛍光画像（５１）の第２の入力ピクセル（５２）の輝度（ｆ）と、に依存する、
    医用検査方法。
  10. 種々異なる擬似色（７０，７１）を前記蛍光画像（５１）の種々異なる蛍光発光色（７２，７３）に割り当てるステップをさらに含む、
    請求項９に記載の医用検査方法。
  11. 結合によって擬似色画像（５３）を取得する前記ステップの前に、前記可視光画像（４９）及び前記蛍光画像（５１）の少なくとも一方を相互に合同となるように移動させるステップをさらに含む、
    請求項９又は１０に記載の医用検査方法。
  12. 少なくとも１つの前記可視光画像（４９）及び少なくとも１つの前記蛍光画像（５１）に対して、前記可視光画像（４９）が前記蛍光画像（５１）と合同となるように、クロップ、シフト、ストレッチ及び回転のうち少なくとも１つを行う、
    請求項１１に記載の医用検査方法。
  13. 前記第２の入力ピクセル（５２）の輝度が閾値（ｆｍｉｎ）を下回る場合、前記第２の入力ピクセル（５２）を前記蛍光画像（５１）において空白化する、
    請求項９から１２までのいずれか１項に記載の医用検査方法。
  14. 前記出力ピクセル（５４）の色（ｒｏ，ｇｏ，ｂｏ）を、色空間（ＲＧＢ）において、前記擬似色（ｒｐ，ｇｐ，ｂｐ）と前記第１の入力ピクセル（５０）の色（ｒｉ，ｇｉ，ｂｉ）との間で線形に補間する、
    請求項９から１３までのいずれか１項に記載の医用検査方法。
  15. 非一時性のコンピュータで読み出し可能な媒体であって、
    医用検査装置（１）に請求項９から１４までのいずれか１項に記載の方法を実行させるためのプログラムを記憶した、媒体。
JP2017026007A 2016-02-15 2017-02-15 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置 Active JP6456416B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16155625.3A EP3205254B1 (en) 2016-02-15 2016-02-15 Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors
EP16155625.3 2016-02-15

Publications (2)

Publication Number Publication Date
JP2017148503A true JP2017148503A (ja) 2017-08-31
JP6456416B2 JP6456416B2 (ja) 2019-01-23

Family

ID=55450982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017026007A Active JP6456416B2 (ja) 2016-02-15 2017-02-15 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置

Country Status (4)

Country Link
US (2) US20170237958A1 (ja)
EP (1) EP3205254B1 (ja)
JP (1) JP6456416B2 (ja)
CN (1) CN107137053B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020076743A (ja) * 2018-09-18 2020-05-21 カール・ツアイス・メディテック・アーゲー 対象物の特性を判断するための方法及び装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3505059A1 (en) * 2017-12-28 2019-07-03 Leica Instruments (Singapore) Pte. Ltd. Apparatus and method for measuring blood flow direction using a fluorophore
EP3540494B1 (en) 2018-03-16 2022-11-23 Leica Instruments (Singapore) Pte. Ltd. Augmented reality surgical microscope and microscopy method
CN112040831A (zh) * 2018-05-31 2020-12-04 松下i-PRO传感解决方案株式会社 相机设备、图像处理方法和相机系统
US10694117B2 (en) * 2018-06-07 2020-06-23 Curadel, LLC Masking approach for imaging multi-peak fluorophores by an imaging system
EP4239390A3 (en) * 2018-12-21 2023-11-15 Leica Instruments (Singapore) Pte Ltd Fluorescence observation device and method for emulating a first type of fluorescence observation device on a second type of fluorescence observation device
DE102019101777B4 (de) * 2019-01-24 2023-11-02 Carl Zeiss Meditec Ag Mikroskopieverfahren
DE102019101773B9 (de) * 2019-01-24 2021-11-25 Carl Zeiss Meditec Ag Mikroskopiesystem und Verfahren zum Betreiben eines Mikroskopiesystems
EP3690819B1 (en) * 2019-01-31 2023-09-13 Leica Instruments (Singapore) Pte. Ltd. Image processing device and method, and medical observation device comprising such an image processing device, using an intensity or brightness-dependent variation of a pseudocolor pattern characteristic
WO2020181413A1 (zh) * 2019-03-08 2020-09-17 北京数字精准医疗科技有限公司 内窥式荧光系统的图像处理方法、装置及存储介质
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11276148B2 (en) * 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11288772B2 (en) * 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US20200397302A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Fluorescence imaging in a light deficient environment
US11360028B2 (en) 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11733503B2 (en) 2019-11-14 2023-08-22 Leica Instruments (Singapore) Pte. Ltd. System and a method for generating output image data and a microscope
EP3889886A1 (en) * 2020-04-01 2021-10-06 Leica Instruments (Singapore) Pte. Ltd. Systems, methods and computer programs for a microscope system and for determining a transformation function
CN111449611B (zh) * 2020-04-10 2021-04-09 深圳迈瑞生物医疗电子股份有限公司 一种内窥镜系统及其成像方法
EP3907497B1 (en) * 2020-05-08 2023-08-02 Leica Microsystems CMS GmbH Apparatus and method for displaying and/or printing images of a specimen including a fluorophore
CN114266817B (zh) * 2022-03-02 2022-06-07 广东欧谱曼迪科技有限公司 一种荧光深度图像合成方法、装置、电子设备及存储介质
CN114298956B (zh) * 2022-03-09 2022-06-28 广东欧谱曼迪科技有限公司 双荧光内窥镜图像融合方法、电子设备及装置
EP4275581A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Method, processor, and medical fluorescence observation device for toggling images
EP4275577A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Method, processor, and medical fluorescence observation device using two color images and color cameras for fluorescence and white-light
EP4275579A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte. Ltd. Method, processor, and medical observation device using two color images and color cameras for fluorescence and white-light
EP4275590A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Data processing device and computer-implemented method combining two images and an overlay color using a uniform color space
EP4275578A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Method, processor, and medical fluorescence observation device using a color-dependent color conversion function
EP4275580A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Method, processor, and medical fluorescence observation device using two color images to record fluorescence

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111716A (ja) * 2001-10-09 2003-04-15 Fuji Photo Film Co Ltd 標準光源、補正係数算出方法および装置並びに蛍光画像生成方法および装置
JP2003159210A (ja) * 2001-11-29 2003-06-03 Fuji Photo Film Co Ltd 蛍光診断画像表示方法および表示装置
JP2011104011A (ja) * 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2013507182A (ja) * 2009-10-07 2013-03-04 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 臨床画像上に強調された画像化データを表示するための方法および装置
US20140296718A1 (en) * 2013-03-29 2014-10-02 Sony Corporation Image processing apparatus, image processing method, information processing program, fluorescence observation system, and fluorescence navigation surgery system
WO2015025640A1 (ja) * 2013-08-23 2015-02-26 オリンパス株式会社 蛍光観察装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8473035B2 (en) * 2003-09-15 2013-06-25 Beth Israel Deaconess Medical Center Medical imaging systems
US7706863B2 (en) * 2004-01-21 2010-04-27 University Of Washington Methods for assessing a physiological state of a mammalian retina
KR100583250B1 (ko) * 2004-03-05 2006-05-24 한국전기연구원 개선된 영상 검출 모듈을 갖는 형광 내시경 장치
US7853061B2 (en) * 2007-04-26 2010-12-14 General Electric Company System and method to improve visibility of an object in an imaged subject
US8169468B2 (en) * 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot
WO2009152364A2 (en) * 2008-06-11 2009-12-17 The Regents Of The University Of California Proteins that fluoresce at infrared wavelengths or generates singlet oxygen upon illumination
US8704909B2 (en) * 2010-02-23 2014-04-22 Apple Inc. Systems and methods for efficiently coding and processing image data
JP5612371B2 (ja) * 2010-06-11 2014-10-22 富士フイルム株式会社 画像位置合わせ装置および方法並びにプログラム
US9129371B2 (en) * 2010-06-25 2015-09-08 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
US9797767B2 (en) * 2014-08-26 2017-10-24 General Electric Company Calibration of microscopy systems
CN104299212A (zh) * 2014-09-28 2015-01-21 安徽中科医药成像技术科技有限公司 白光图像和荧光图像的融合方法和系统
US10422749B2 (en) * 2015-01-23 2019-09-24 The Regents Of The University Of California Facilitating real-time visualization of tissue features derived from optical signals
US9784614B2 (en) * 2015-02-09 2017-10-10 Datacolor Holding Ag Method and apparatus for color measurement of non-solid colors
US9754378B2 (en) * 2016-01-21 2017-09-05 Molecular Devices, Llc System and method for segmentation of three-dimensional microscope images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111716A (ja) * 2001-10-09 2003-04-15 Fuji Photo Film Co Ltd 標準光源、補正係数算出方法および装置並びに蛍光画像生成方法および装置
JP2003159210A (ja) * 2001-11-29 2003-06-03 Fuji Photo Film Co Ltd 蛍光診断画像表示方法および表示装置
JP2013507182A (ja) * 2009-10-07 2013-03-04 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 臨床画像上に強調された画像化データを表示するための方法および装置
JP2011104011A (ja) * 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
US20140296718A1 (en) * 2013-03-29 2014-10-02 Sony Corporation Image processing apparatus, image processing method, information processing program, fluorescence observation system, and fluorescence navigation surgery system
JP2014198144A (ja) * 2013-03-29 2014-10-23 ソニー株式会社 画像処理装置、画像処理方法、情報処理プログラム、蛍光観察システム、および蛍光ナビゲーション・サージェリー・システム
WO2015025640A1 (ja) * 2013-08-23 2015-02-26 オリンパス株式会社 蛍光観察装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020076743A (ja) * 2018-09-18 2020-05-21 カール・ツアイス・メディテック・アーゲー 対象物の特性を判断するための方法及び装置
JP2022069531A (ja) * 2018-09-18 2022-05-11 カール・ツアイス・メディテック・アーゲー 対象物の特性を判断するための方法及び装置
US11391937B2 (en) 2018-09-18 2022-07-19 Carl Zeiss Meditec Ag Method and device for determining a property of an object
JP7312873B2 (ja) 2018-09-18 2023-07-21 カール・ツアイス・メディテック・アーゲー 対象物の特性を判断するための方法及び装置

Also Published As

Publication number Publication date
JP6456416B2 (ja) 2019-01-23
CN107137053B (zh) 2020-01-14
US11330237B2 (en) 2022-05-10
US20170237958A1 (en) 2017-08-17
EP3205254A1 (en) 2017-08-16
EP3205254B1 (en) 2020-11-18
US20210021795A1 (en) 2021-01-21
CN107137053A (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
JP6456416B2 (ja) 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置
JP2021192534A (ja) 撮像装置及び撮像方法
US10278586B2 (en) Complementary color flashing for multichannel image presentation
DE112015006505T5 (de) Bildgebungsvorrichtung
CN112274105A (zh) 手术显微镜、图像处理装置和图像处理方法
US20150103401A1 (en) Reference color slide for use in color correction of transmission-microscope slides
JP6608884B2 (ja) 観察対象物の視覚強化のための観察装置および観察装置の作動方法
US11143857B2 (en) Microscope and microscopy method for imaging an object involving changing size of depth-of-field region
CN112040831A (zh) 相机设备、图像处理方法和相机系统
US20210251570A1 (en) Surgical video creation system
US7589330B2 (en) Ultraviolet microscope apparatus
DE102018123781A1 (de) Verfahren zum Durchführen einer Shading-Korrektur und optisches Beobachtungsgerätesystem
JP6896053B2 (ja) 特に顕微鏡および内視鏡のための、蛍光発光性蛍光体のｈｄｒモノクローム画像を作成するためのシステムおよび方法
EP4275577A1 (en) Method, processor, and medical fluorescence observation device using two color images and color cameras for fluorescence and white-light
EP4275578A1 (en) Method, processor, and medical fluorescence observation device using a color-dependent color conversion function
EP4277256A1 (en) Image processor and computer-implemented method for a medical observation device, using a location-dependent color conversion function
EP4275581A1 (en) Method, processor, and medical fluorescence observation device for toggling images
JP7189173B2 (ja) 画像処理方法、撮像装置及び画像処理装置
EP4275580A1 (en) Method, processor, and medical fluorescence observation device using two color images to record fluorescence
JP6960773B2 (ja) 撮像画像処理システム
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
EP3772852A1 (en) Optical assembly, image processing apparatus and method for recording and/or retrieving a stereoscopic color image with multiple stereoscopic channels in a multispectral color image
JPS6080428A (ja) 内視鏡映像システム
JP2012049867A (ja) 画像処理装置および方法、アスベスト観察装置、並びに、プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180305

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181218

R150 Certificate of patent or registration of utility model

Ref document number: 6456416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250