JP2020099694A - 特に顕微鏡および内視鏡のための、蛍光発光性蛍光体のｈｄｒモノクローム画像を作成するためのシステムおよび方法 - Google Patents

特に顕微鏡および内視鏡のための、蛍光発光性蛍光体のｈｄｒモノクローム画像を作成するためのシステムおよび方法 Download PDF

Info

Publication number
JP2020099694A
JP2020099694A JP2019229332A JP2019229332A JP2020099694A JP 2020099694 A JP2020099694 A JP 2020099694A JP 2019229332 A JP2019229332 A JP 2019229332A JP 2019229332 A JP2019229332 A JP 2019229332A JP 2020099694 A JP2020099694 A JP 2020099694A
Authority
JP
Japan
Prior art keywords
image
color
acquisition system
digital monochrome
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019229332A
Other languages
English (en)
Other versions
JP6896053B2 (ja
Inventor
テメリス ゲオルゲ
Themelis George
テメリス ゲオルゲ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of JP2020099694A publication Critical patent/JP2020099694A/ja
Application granted granted Critical
Publication of JP6896053B2 publication Critical patent/JP6896053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3904—Markers, e.g. radio-opaque or breast lesions markers specially adapted for marking specified tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】本発明は、蛍光発光性蛍光体を含んでいる対象物のデジタルカラー入力画像からＨＤＲ画像を計算する方法およびシステムに関する。【解決手段】入力画像は、少なくとも２つの異なるタイプのカラーセンサ、例えばＲ，ＧおよびＢセンサを有するカラーカメラを使用して取得される。入力画像は、共通センシング波長帯域において記録され、ここでは少なくとも２つの異なるタイプのカラーセンサの異なる分光感度が重畳する。入力画像は、それぞれ、異なるタイプのセンサによって記録される少なくとも２つの異なるデジタルモノクローム入力画像を含んでいる。カラーカメラの入射光は、有利には調整可能な通過帯域を有する帯域通過フィルターを使用してフィルタリングされてよい。通過帯域は、共通センシング波長帯域を規定し、さらにカラーセンサの分光感度、蛍光体およびデジタルモノクローム入力画像の画像特性に応じて調整されてよい。【選択図】図１

Description

本発明は、蛍光発光性蛍光体のＨＤＲモノクローム画像を作成するためのシステムおよび方法に関する。
手術中または生検の病理検査中に、蛍光体は特定のタイプの組織、細胞または細胞の一部をマークするために使用される。蛍光体の蛍光は、蛍光体の蛍光励起スペクトルをカバーする光によってトリガされる。励起されると、蛍光体は蛍光スペクトルにある蛍光を放射する。蛍光スペクトルにおける光強度は典型的に低く、この結果、蛍光スペクトル内にない全ての他の波長が阻止されている場合でも、蛍光画像のコントラストは低くなってしまう。
同じ画像内に強度が極めて低い領域と強度が極めて高い領域が共存している場合には、撮像センサのダイナミックレンジは、高い強度と低い強度の両方を捉えるのには不十分であろう。この結果、最も明るい強度および／または最も暗い強度に対する強度情報が失われてしまう。このような場合には、最も低いレベルを下回る強度内の全ての領域は黒として提示され、最も高いレベルを上回る全ての強度は白として提示されるだろう。
ダイナミックレンジが制限されてしまうという問題は、高い強度と低い強度が同時に示されるケースにおいてのみ生じるのではなく、高い強度と低い強度が順番に示されるケースにおいても生じる。このようなケースでは、カメラ感度を調整することによって、この問題が軽減されるだろうが、迅速な強度変化が、感度の調整によって十分に速く補償されることはないだろう。例えば、インドシアニングリーン（ＩＣＧ）等の蛍光色素が蛍光血管造影のために静脈内に注入される場合、蛍光シグナルは始めは極めて暗く、その後、色素ボーラスに達するとすぐに、シグナルは迅速に極めて高くなり、この結果、カメラ感度自動調整の遅延が原因で、飽和領域を伴う幾つかのフレームが生じてしまう。
撮像センサ（例えばＣＣＤ、ＣＭＯＳ）が高いノミナルダイナミックレンジを有している場合でも、これはしばしばデジタル化回路を参照し、センサの全体的なダイナミックレンジを反映しない。例えば、出力信号が１４ビットの場合、つまり約１６０００個の異なる信号レベルの場合でも、センサは１０００個の異なる光強度レベルしか区別することができない。典型的に、ダイナミックレンジは、異なる露光レベルで１つのセンサによって複数の画像を順に捕捉することによって増大する。したがって後続の各画像は、異なるダイナミックレンジを捕捉する。例えば１つの画像は低い強度用であり、別の画像は高い強度用である。次に、これらのダイナミックレンジが結合され、最も明るい領域と最も暗い領域の両方が１つの画像内で視覚化されるように、これらの画像が統合される。しかしこのような手法は、動画キャプチャーには使用不可能である。
高い強度の蛍光画像と低い強度の蛍光画像が存在することによって、コントラストは低くなり、蛍光画像を記録するプロセスにおいて、有益な情報が失われてしまう。このような情報を維持するために、高価な付加的な機器を使用することなく、ダイナミックレンジが増大された、動画に使用可能な蛍光画像を作成することが、本発明のシステムおよび方法の課題である。
上記の課題を解決するために、本発明は、蛍光発光性蛍光体のデジタル入力画像を処理する、特に顕微鏡または内視鏡のための、画像取得システムと、少なくとも１つの蛍光体の少なくとも２つのデジタルモノクローム入力画像からデジタルモノクロームＨＤＲ蛍光画像を作成する方法を提示する。
本発明では、画像取得システムはカラーカメラを含んでおり、このカラーカメラは、複数の入力ピクセルでの少なくとも２つの異なるタイプのカラーセンサを有しており、各タイプのカラーセンサは、入力ピクセルを含んでいる異なるデジタルモノクローム入力画像を生成し、異なる分光感度を有している。カラーカメラはさらに、少なくとも１つの共通センシング波長帯域を含んでおり、共通センシング波長帯域において、ピクセルでの少なくとも２つのセンサの各分光感度が重畳する。画像取得システムはさらに、カラーカメラに結合されているＨＤＲ画像生成器を含んでおり、ここでＨＤＲ画像生成器は、少なくとも２つのデジタルモノクローム入力画像からデジタルモノクロームＨＤＲ蛍光出力画像を計算するように構成されている。
さらに、この方法は、少なくとも２つの異なるタイプのカラーセンサを使用して蛍光発光性蛍光体の少なくとも２つのデジタルモノクローム入力画像を取得するステップを含んでおり、少なくとも２つの異なるタイプのカラーセンサは、異なる分光感度を有しており、かつ少なくとも１つの共通センシング波長帯域を含んでおり、共通センシング波長帯域において、少なくとも２つのタイプのセンサの分光感度が重畳する。この方法はさらに、共通センシング波長帯域と重畳する蛍光スペクトルを有する蛍光体を選択するステップと、少なくとも２つのデジタルモノクローム入力画像からデジタルモノクロームＨＤＲ蛍光画像を計算するステップを含んでいる。
したがって、本発明のシステムおよび方法は、例えば標準的なカラーカメラを使用することによって、蛍光発光性蛍光体のＨＤＲ画像を提供することができる。これは例えば、各ピクセルに対して、すなわちＲ（赤色）、Ｇ（緑色）およびＢ（青色）カラーセンサに対して３つの異なるタイプのカラーセンサを有するＲＧＢカメラである。ＨＤＲ画像は、各タイプのカラーセンサからの別個のモノクローム画像を取得することによって生成される。共通センシング波長帯域における異なるタイプのカラーセンサの異なる感度を使用することによって、ＨＤＲ画像にとって必要な異なる露光レベルが自動的に生成される。
上述のシステムおよび方法を、１つまたは複数の以降の付加的な特徴を加えることによってさらに改良することができる。これらの特徴の各々は、独立して加えることが可能であり、各々はそれ自体で有利である。以降に記載する付加的な特徴はそれぞれ、方法およびシステムの両方に適用することが可能である。
例えば、有利にはデジタルモノクローム画像は少なくとも１つの共通センシング波長帯域においてのみ取得される。これによって、デジタルモノクローム入力画像が、異なる感度で、すなわち異なる平均強度レベルで記録されることが保証される。
さらに、有利には、少なくとも２つの、有利には少なくとも３つの異なるタイプのカラーセンサの分光感度、特に平均分光感度は、少なくとも１つの共通センシング波長帯域において異なっている。
別の実施形態に相応するシステムは、少なくとも１つの通過帯域を有する光学的な帯域通過フィルターを含んでいてよい。この帯域通過フィルターは、少なくとも１つの共通センシング波長帯域と蛍光波長帯域の両方に重畳している少なくとも１つの通過帯域を有している。このような帯域通過フィルターを使用することによって、適切な共通センシング波長帯域を選択することができ、ここでは少なくとも１つのカラーセンサの各分光感度は、結果として生じるＨＤＲ画像のダイナミックレンジを高めるのに十分に異なっている。光学的な帯域通過フィルターは有利には、カラーカメラまたは異なるタイプのカラーセンサそれぞれに届く光をフィルタリングするために、カラーカメラの前に配置されている。
有利には、光学的な帯域通過フィルターの通過帯域は、少なくとも２つの、有利には３つのカラーセンサの各々の分光感度が異なっている共通センシング波長帯域に制限されている。最も有利には、少なくとも２つまたは３つのカラーセンサの分光感度は、帯域通過フィルターの通過帯域において最大の相違を有する。最大の相違は、通過帯域におけるカラーセンサの平均分光感度から計算されてよい。平均分光感度は、幾何平均、算術平均および／または調和平均および／または中央値を使用して計算可能である。最大の相違は、通過帯域における各分光感度の間の相違の絶対値の総計を最大化すること、および／または相違および／または平均相違の積を最大化することによって計算されてよい。対応する所定の閾値を上回る分光感度および／または対応する所定の閾値を下回る分光感度、例えばダイナミックレンジの４０％を上回る分光感度および／または９０％を下回る分光感度だけが、最大の相違を計算するために、通過帯域において考察されてよい。
さらに、複数のカラーセンサの複数の分光感度、特に上述のように計算された、分光感度の複数の平均値が、通過帯域において少なくとも近似的に等間隔で交互になっているのは有利である。分光感度の間の間隔は、リニアスケールまたは対数スケールで計算されてよい。±２０％の変化は、依然として、等間隔として考察される。
上述した特徴の各々は、デジタルモノクローム入力画像によってカバーされているダイナミックレンジを最大化することを可能にする。
通過帯域は、ある実施形態では、少なくとも１つの蛍光体の蛍光スペクトルおよび共通センシング波長帯域における分光感度に応じて、手動で帯域通過フィルターを交換することによって調整されてよい。
本発明の別の有利な実施形態では、通過帯域は、帯域通過フィルターを交換する必要なく、変更可能である。このために、帯域通過フィルターは、調整可能な帯域通過フィルターであってよい。調整可能な帯域通過フィルターは、通過帯域の中心周波数、通過帯域の少なくとも１つのカットオフ周波数、少なくとも１つのカットオフ周波数でのロールオフおよびＱ値のうちの少なくとも１つに関して調整可能な通過帯域を含んでいてよい。例えば、調整可能な光学的な帯域通過フィルターは、液晶フィルター、光ファイバーフィルタまたは干渉法に基づく調整可能な帯域通過フィルターであってよい。
通過帯域は、画像取得システムの動作中に、有利には自動的に調整されてよい。通過帯域のこの種の自動的な調整のために、画像取得システムは、有利には、デジタルモノクローム入力画像および／またはデジタルモノクロームＨＤＲ出力画像の画像特性に応じて通過帯域を変えるフィルターコントローラを含んでいてよい。画像特性は、平均強度、強度ヒストグラム、強度の分散および蛍光発光性蛍光体のダイナミックレンジのうちの少なくとも１つを含んでいてよい。
ある実施形態では、通過帯域は、フィードバックループに基づいて自動的に変えられてよい。このようなフィードバックループにおける修正変数として、少なくとも２つのモノクローム入力画像の画像特性および／またはデジタルモノクロームＨＤＲ出力画像の画像特性が使用されてよい。例えば、通過帯域は、通過帯域における蛍光強度を最大化するために自動的に変更されてよい。通過帯域における蛍光強度は、少なくとも２つのデジタルモノクローム入力画像および／またはデジタルモノクロームＨＤＲ出力画像のうちの少なくとも１つの平均または平均強度また輝度を特定することによって計算されてよい。
択一的にまたは累積的に、通過帯域は、通過帯域における平均分光感度の間の相違を増大するために、例えばフィードバックループによって自動的に変更されてよい。このような相違は、少なくとも２つのデジタルモノクローム入力画像相互の平均強度を比較することによって特定されてよい。さらに、択一的または累積的に、通過帯域は、蛍光強度が最大レベルにある蛍光波長を含むために変更されてよい。このような波長は、多様な異なる蛍光体に対して格納されていてよい。
別の実施形態では、通過帯域は、蛍光体に応じて自動的に変えられてよい。例えば、蛍光体のタイプが手動で入力され、通過帯域が自動的に調整されてよい。この種の調整は、例えば、経験的に特定され、画像取得装置内に格納されている蛍光体依存通過帯域に対する値を使用して行われてよい。
上述の実施形態に対して別個にまたは付加的に使用され得る別の実施形態では、通過帯域は、デジタルモノクロームＨＤＲ蛍光出力画像がモノクローム入力画像の少なくとも幾つかの出力ピクセルにわたって平均最大ダイナミックレンジを有するように変更されてよい。
択一的または累積的に、通過帯域は、カラーセンサのダイナミックレンジの中央にある少なくとも１つの分光感度を含むように変更されてよい。中央ダイナミックレンジは、全体のダイナミックレンジの５０％±１５％である。例えば、８ビットカラーセンサの１つのピクセルでの最大強度値が２５５である場合には、中央ダイナミックレンジは、１２８±３８の強度値にある。
通過帯域のこの種の自動調整を実行するために、画像取得システムのフィルターコントローラは、少なくとも１つのモノクローム入力画像の少なくとも幾つかのピクセルの平均強度を計算し、その強度に応じて通過帯域を変更するように構成されていてよい。択一的または付加的に、異なるタイプのカラーセンサの分光感度が、画像取得システム内に格納されていてよく、通過帯域を自動的に調整するために使用されてよい。画像取得システム、特にＨＤＲ画像生成器は、異なるタイプのカラーセンサの分光感度に応じて通過帯域を調整するように構成されていてよい。画像取得システム、特にＨＤＲ画像生成器は、分光感度の重畳を自動的に計算して、分光感度の重畳に少なくとも部分的に重畳するように、通過帯域を調整するように構成されていてよい。
制限波長、すなわち共通センシング波長帯域の終端は手動で指定されてよく、通過帯域の自動調整は、この制限内に入るように制限されてよい。
カラーカメラはＲＧＢカメラ、ＣＹＧＭカメラまたはＲＧＢＥカメラであってよい。カラーカメラは、モザイクフィルターアレンジメント、例えばベイヤーフィルター、ＣＹＧＭフィルター、ＲＧＢフィルターを含んでいてよく、かつ／またはこれはＦｏｖｅｏｎセンサアーキテクチャ、ｃｏｌｏｒ ｃｏ−ｓｉｔｅ ｓａｍｐｌｉｎｇアーキテクチャ、ダイクロックミラーおよび／または透過性回折フィルターアレイを含んでいてよい。カラーカメラは、マルチスペクトルカメラまたはハイパースペクトルカメラであってもよい。少なくとも２つの、有利には少なくとも３つの異なるタイプのカラーセンサが必要である。共通センシング帯域の数は有利には、異なるセンサタイプの数よりも１つ低い。各タイプのセンサは異なるカラーバンドを記録する。
ＨＤＲ画像生成器およびフィルターコントローラは、それぞれハードウェア機器として実装されていても、ソフトウェア機器として実装されていても、またはハードウェア機器とソフトウェア機器の両方の組み合わせとして実装されていてもよい。例えば、ＨＤＲ画像生成器および／またはフィルターコントローラは、少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵおよび／または少なくとも１つのＡＳＩＣおよび／または動作時に、必要な機能を実行するソフトウェアモジュールを含んでいてよい。動作時に、ソフトウェアがハードウェア機器に対して構造的な変化を生じさせてよく、これによってハードウェア機器がＨＤＲ画像生成器および／またはフィルターコントローラとして動作してよい、ということに留意されたい。このような動作上の変化は例えば、電子部品、例えばトランジスタおよびストレージ要素等の変化に関連し得る。
ある実施形態では、少なくとも２つのデジタルモノクローム入力画像は１つのフレームの一部である。したがって少なくとも２つのデジタルモノクローム入力画像は実質的に同時に記録され、したがって、結果として生じるＨＤＲ出力画像においてモーションブラーは生じない。
本発明は特に、上述した実施形態のうちの１つにおける画像取得システムを含んでいる、かつ／または上述した画像処理方法を実行するのに適した医療用観察装置、例えば顕微鏡または内視鏡に関連していてよい。
最後に、本発明は、上述した実施形態のいずれかに従った画像処理方法をコンピュータに実行させるプログラムを格納している非一過性のコンピュータ可読媒体に関する。
以降では、本発明の例示的な実施形態を、図面を参照して説明する。図面では、機能および構造のうちの少なくとも１つに関して相互に一致する要素に同じ参照番号が付けられている。
図面において示され、記載された特徴の組み合わせは、単に説明のために用いられ、図示および記載された組み合わせに本発明を制限するものではない。特に、１つまたは複数の上述した、自由選択的な特徴は、得られる技術的な作用が特定の用途に不要な場合には実施形態から省かれてよい、またその逆に、自由選択的であるとして上述された１つまたは複数の付加的な特徴が、この１つまたは複数の特徴の技術的な作用が特定の用途に対して必要である場合には、図示の実施形態に加えられてよい。
本発明に相応する画像取得システムの概略図である。 図１の画像取得システムにおいて使用されるカラーセンサの概略図である。 図１の画像取得システムにおいて使用される別のカラーセンサの概略図である。 図１の画像取得システムの帯域通過フィルターの通過帯域の概略図である。 図１の画像取得システムにおいて使用される種々のタイプのカラーセンサの分光感度、１つまたは複数の帯域通過フィルターの種々の通過帯域および蛍光体の種々の蛍光波長帯域の概略図である。 本発明の方法のフローチャートの概略図である。
図１に示す本発明に相応する画像取得システム１はカラーカメラ２、例えばＲＧＢカメラ、マルチスペクトルカメラまたはハイパースペクトルカメラを含んでいてよい。ＲＧＢカメラ２は典型的に、３つの異なるモノクローム画像６を含んでいるデジタルカラー入力画像４を記録する。デジタルモノクローム入力画像６の各々は、図２および図３に示されているように、異なるタイプのカラーセンサ８によって記録されたものである。各タイプのカラーセンサ８は、デジタルカラー入力画像４における入力ピクセル１０での異なるカラーバンドを表している。各デジタル入力画像４、６は、２次元または一般的にはｎ次元の、例えば光強度を表すデジタル値のアレイによって表されてよい。
異なるデジタルモノクローム入力画像６は、例えばモザイクフィルターアレンジメント１２、例えばベイヤーフィルター、ＣＹＧＭフィルターまたはＲＧＢＥフィルターを提供することによって生成されてよい。単に例示の目的で、図２はＲＧＢフィルターを示しており、ここでは、各ピクセル１０で、２つの緑フィルター１３、１つの赤フィルター１４および１つの青フィルター１５が、各カラーセンサ８の前に使用されている。緑フィルター１３は可視の緑色の光のみを通過させ、赤フィルター１４は可視の赤色の光のみを通過させ、青フィルター１５は可視の青色の光のみを通過させる。したがって、３つの異なるタイプのセンサ１６、１７、１８が提供され、各センサ１６、１７、１８は、異なるカラーバンドにおける光に対して感度を有する。表現「カラーセンサのタイプ（ｔｙｐｅ ｏｆ ｃｏｌｏｒ ｓｅｎｓｏｒ）」は、異なるタイプ１６、１７、１８のセンサ８の間に構造的な相違が存在することを必ずしも必要とせず、少なくとも機能的な相違を必要としてよく、すなわち各タイプ１６、１７、１８のカラーセンサ８が異なる色または波長帯域を記録することを必要としてよい。
図３は、カラーセンサ８の別の配置を示している。ここでは、異なるタイプ１６、１７、１８のカラーセンサ８によってセンシングされた色が、表面２０からのその深度によって特定される。可視光の侵入深度は波長に依存しているので、青色光は緑色光よりも浅く侵入し、緑色光は赤色光よりも浅く侵入する。したがって、カラーセンサ８は、各ピクセル１０に対して相互に積み重ねられる。
本発明は、少なくとも２つの異なるタイプ１６、１７、１８のカラーセンサ８を有する、あらゆる構造に対して作用する。しかし、３つまたはそれよりも多くの異なるタイプのカラーセンサが有利である。有利には、異なるデジタルモノクローム入力画像６は、同じフレーム２１の一部であり、すなわち、同時に撮影されたものである。
画像取得システム１は、手術顕微鏡または内視鏡の場合のように、蛍光発光性蛍光体２２（図１）、特に生体組織２４内の蛍光体２２の画像４、６を記録するように適応されている。択一的に、蛍光体２２は、あらゆる他のタイプの顕微鏡または内視鏡と同様に、例えば細胞の一部を視覚化するための、比較的大きい倍率を有する実験用顕微鏡において使用されてもよい。
画像取得システム１は光源２６を含んでいてよく、光源は蛍光体２２において蛍光をトリガする波長で光を生成する。光源２６からの光２８は、蛍光体２２を含んでいる対象物３０、例えば生体組織２４へ向けられる。蛍光体２２から放射される蛍光は、少なくとも２つのデジタルモノクローム入力画像６に、カラーカメラ２によって記録される。
光源２６は白色光も含んでいてよく、これによって可視光画像が同時に、蛍光光を含んでいる画像として記録され得る。可視光画像を取得するために、別のカメラ（図示されていない）が使用されてよく、これは、光学的なフィルターアレンジメント（図示されていない）によって蛍光励起および放射帯域から分離されており、したがってこれらの波長は可視光画像において記録されない。
このような場合には、カラーカメラ２は、蛍光画像を記録するためだけに設けられていてよく、光源２６の励起波長とあらゆる白色光の両方から、帯域通過フィルター３２によって分離されていてよい。帯域通過フィルター３２は、複数の光学的なフィルターのうちの１つを含んでいてよく、これによって、組み合わせにおいて結果として、図４および図５に概略的に示されているように、通過帯域３４内の波長のみが帯域通過フィルターを通過することができる。ここでは帯域通過フィルターの透過率Ｔが種々の波長λに対して示されている。択一的に、マルチスペクトルカメラまたはハイパースペクトルカメラが使用されてよく、これは、相応する数の異なるタイプのカラーセンサを使用して、複数の、例えば少なくとも４つの波長帯域における白色光および蛍光画像を同時に記録する。各デジタルモノクローム入力画像６は、異なるタイプのカラーセンサによって記録される。
帯域通過フィルター３２は、カメラ２も含んでいる画像取得システム１の光学的な取得システム３７の光路３６においてカメラ２の前に配置されている。内視鏡が使用される場合、光路は光ファイバー（図示されていない）を通じて対象物３０へ向けられる。
デジタルモノクロームＨＤＲ出力画像３８を計算するために、画像取得システム１はＨＤＲ画像生成器４０を含んでいる。これは汎用コンピュータ４２のＣＰＵ等であるハードウェア機器４１であってよく、かつ／または画像取得システムはＧＰＵ、ＦＰＵおよび／またはＡＳＩＣを含んでいてよい。択一的または累積的に、ＨＤＲ画像生成器４０は、ソフトウェアモジュールから構成されていてよい、またはソフトウェアモジュールを含んでいてよい。デジタルカラー入力画像４またはデジタルモノクローム入力画像６はそれぞれ、入力インタフェース４４を介して、ＨＤＲ画像生成器４０へ入力されてよく、入力インタフェースは、例えばＲＧＢ、ＨＤＭＩ、ＤＶＩまたは、画像または動画データを伝送するのに適した他の入力フォーマットを受容するように構成されていてよい。
デジタルモノクローム出力画像３８は、出力インタフェース４６を用いた、同じまたは異なる画像フォーマットにおいて出力されてよい。
ＨＤＲ画像生成器４０は、少なくとも２つのデジタルモノクローム入力画像６から、デジタルモノクロームＨＤＲ出力画像３８を計算するように適応されている。デジタルモノクロームＨＤＲ出力画像３８は、少なくとも１つの表示機器４８、例えばアイピース５０、ＡＲゴーグル５２またはモニター５４に表示される。あらゆるデジタルカラー入力画像のように、デジタルモノクローム入力画像６およびデジタルモノクロームＨＤＲ出力画像３８は立体画像であってよく、１つまたは複数の表示機器４８も立体表示機器であってよい。
ＨＤＲ画像生成器４０は、出力ピクセル５６での強度値に応じて、デジタルモノクロームＨＤＲ出力画像３８を可視光画像と混合するように、かつ／または疑似カラーをデジタルモノクロームＨＤＲ出力画像３８に割り当てるように適応されていてよい。
デジタル入力画像４、６およびデジタルモノクロームＨＤＲ出力画像３８が、結果として動画シーケンスになる、時間的に連続した入力画像および出力画像の一部であってよい、ということに留意されたい。各デジタルモノクロームＨＤＲ出力画像３８は有利には、ＨＤＲ画像生成器４０によってリアルタイムに計算および出力され、あらゆる表示機器４８によってリアルタイムに表示される。さらに、デジタルモノクロームＨＤＲ出力画像３８がデジタルモノクローム入力画像６に基づいているということがこの明細書において述べられる場合、これは、１つまたは複数のタイプのカラーセンサ８の２つ以上のモノクローム入力画像６が平均化されて、結果的に１つのデジタルモノクローム入力画像６になり、これが次に、デジタルモノクロームＨＤＲ出力画像３８を計算するために使用されるケースも含んでいる。
デジタルモノクロームＨＤＲ出力画像３８の計算を、図５を参照してより詳細に記載する。
図５の最も上の部分では、ＲＧＢカメラの例示的なケースにおける種々のタイプ１６、１７、１８のカラーセンサ８（図２および図３）の分光感度Ｒが参照番号５８、６０、６２によって示されており、波長λに関連して示されている。示されている分光感度Ｒは、共通の最大値Ｒｍａｘに規準化されている。曲線６０は、赤色の可視光スペクトルからの光をセンシングするカラーセンサ８の分光感度を示している。曲線５８は、緑色の可視光スペクトルからの光をセンシングするカラーセンサ８の分光感度を示している。曲線６２は、青色の可視光スペクトルからの光をセンシングするカラーセンサ８の分光感度を示している。全ての分光感度Ｒは、概略的に示されているだけであり、正規化されている。
図５の最も上の部分には、共通センシング波長帯域６４、６６、６８の例も示されている。共通センシング波長帯域６４、６６、６８では、少なくとも２つのタイプ１６、１７、１８のカラーセンサ８の分光感度５８、６０、６２は重畳している。例えば、共通センシング波長帯域６４では、青色のカラーセンサ１８の分光感度６２と、緑色のカラーセンサ１６の分光感度５８が重畳している。共通センシング波長帯域６４内の波長を有する光に対しては、青色のセンサ１８および緑色のセンサ１６の両方が信号を生じさせることになる。赤色のカラーセンサ１７の分光感度６０は、共通センシング波長帯域６４では無視してよい。
さらに、共通センシング波長帯域６４では、あるタイプ１６のカラーセンサの平均分光感度７０は、別のタイプ１８のカラーセンサの平均分光感度７４とは異なっている。平均分光感度７０は、平均化のためのあらゆる手法、例えば幾何平均値、算術平均値および／または調和平均値または各共通センシング波長帯域６４、６６、６８内の各分光感度５８、６０、６２の中央値によって計算可能である。有利には、少なくとも２つのタイプのカラーセンサ、有利には少なくとも３つのタイプのカラーセンサの平均分光感度７０、７２、７４は異なっている。
共通センシング波長帯域６６では、分光感度５８、６０、６２は重畳しており、共通センシング波長帯域６６内の波長によって照明される場合に各カラーセンサ８は、信号を生じさせるだろう。ここでも、参照番号７０、７２、７４は平均分光強度を示している。共通センシング波長帯域６８では、関連する平均分光強度７０、７２および７４は、共通センシング波長帯域６６に比べてシフトされている。したがって、図５の最も上の部分から、例えば中心周波数または少なくとも１つのカットオフ周波数によって特定されるように、共通センシング波長帯域の位置および／または幅を変えることによって、平均分光感度７０、７２、７４が調整されてよいことが明らかである。この依存性は、異なるタイプのセンサによって記録されたカラーバンドが共通センシング波長帯域に制限されている場合に、デジタルモノクローム入力画像６から計算されたデジタルモノクロームＨＤＲ出力画像３８のダイナミックレンジを最大化するために使用されてよい。
例えば、共通センシング波長帯域は、平均分光感度７０、７２、７４が少なくとも近似的に、リニアスケールまたは対数スケールにおいて等間隔で間隔が空けられているように選択されていてよい。ここでは、後続する平均分光感度７０、７２、７４の間の相違の±２０％の変化は、依然として、等間隔と見なされる。
択一的または累積的に使用され得る別の手法では、正規化されたスペクトル感度の約半分Ｒ０．５に、少なくとも１つの平均スペクトル感度７０、７２、７４がある共通センシング波長帯域が選択される。ここでも、Ｒ０．５に相対的に±２０％の変化は、依然として、Ｒ０．５に相当すると考察される。
さらに、再び、択一的または累積的に、共通センシング波長帯域は、平均分光感度７０、７２、７４の間の相違が、選択された共通センシング波長帯域において最大であるようにシフトされてよい。相違のこのような最大化は、平均スペクトル感度の間の相違の総計、積またはあらゆる他の基準を最大化することによって実行されてよい。
本出願において使用されているように、あるタイプのカラーセンサの分光感度は、特定の波長λでの入射光に対するその応答を表している。分光感度は、特に、光学的な入力に対する電気的な出力の比に関していてよく、すなわち、このタイプのカラーセンサの光学的な波長依存特性を含んでいるだけでなく、その電気的な特性および電子的な特性も含んでいる。しかし、最低限、分光感度は、各タイプのカラーセンサの光学的な特性に関係している。
共通センシング波長帯域６４、６６、６８を作成および／または調整するために、有利には帯域通過フィルター３２（図１）が使用される。通過帯域３４は、異なるタイプのカラーセンサがデジタルモノクローム入力画像６を記録する共通センシング波長帯域を定める。
例えば、共通センシング波長帯域６４、６６、６８または図５に示されていないあらゆる他の共通センシング波長帯域が、帯域通過フィルター３２を手動で交換し、異なる通過帯域３４を有するカラーセンサ８への入射光をフィルタリングすることによって選択されてよい。図５の中央部分には、３つの異なる通過帯域３４が示されており、これらは、異なる帯域通過フィルター３２を使用することによって選択されてよい。有利には、１つの通過帯域３４だけが一度に使用される。当然、あらゆる他の通過帯域３４が選択されてよい。これは、少なくとも２つの無視できないまたはゼロではない分光感度５８、６０および／または６２が存在し、つまり結果として共通センシング波長帯域になる波長帯域と、このような他の通過帯域が重畳する、つまり同時に発生する場合に限る。
しかし、帯域通過フィルター３２が調整可能な帯域通過フィルター３２であるのは有利である。これは、以降のフィルター特性７７のうちの少なくとも１つが変更可能であることを意味する。フィルター特性は、上方のカットオフ周波数または同様に下方のカットオフ波長λｌ、上方のカットオフ周波数または下方のカットオフ波長λＵ、中心周波数または中心波長λＣ、帯域幅７５（図４）「Ｑ値」、すなわち帯域幅７５によって分けられた中心周波数および／またはフィルターのロールオフ７６、すなわちカットオフ波長λｌ、λＵでの減衰または上述のものに加えられる、あらゆる他のフィルター特性７７である。
調整可能な帯域通過フィルター３２を使用することによって、デジタルモノクロームＨＤＲ出力画像３８（図１）に対して最良の結果をもたらす、特に、最大のコントラストをもたらす共通センシング波長帯域６４、６６、６８を選択するために通過帯域３４を迅速に調整することが可能になる。
さらに、調整可能な帯域通過フィルター３２が使用される場合、あらゆるフィルター特性７７の自動的な調整、特にフィードバックコントロールが、例えばフィルターコントローラ７８（図１）を使用して実現されてよい。これは、ＨＤＲ画像生成器４０の一部またはＣＰＵまたはＡＳＩＣ等の別個の電子コンポーネントおよび／またはソフトウェアコンポーネントであってよい。
このようなフィードバックコントロールの例として、ＨＤＲ画像生成器４０は、各デジタルモノクローム入力画像６および／またはデジタルモノクロームＨＤＲ出力画像３８内のダイナミックレンジを計算するように構成されていてよく、このダイナミックレンジを最大化するために、フィルター特性７７の少なくとも１つを調整してよい。このために、ＨＤＲ画像生成器４０はメモリ部分８０（図１）を含んでいてよく、ここに、図５の最も上の部分に示されているように、分光感度曲線５８、６０、６２を表すルックアップテーブルが格納されている。通過帯域３４での異なるタイプのカラーセンサの分光感度を照合することによって、フィルターコントローラ７８は、例えば固定されたフィルター帯域幅７４のために、帯域通過フィルター３２の調整可能なレンジ内の共通センシング波長帯域の位置を計算してよい。これは、デジタルモノクロームＨＤＲ出力画像３８および／またはあらゆるデジタルモノクローム入力画像６において、所与の入力画像４、６に対してコントラストを最大化する。それに従って、通過帯域３４の自動的な適合が実行されていてよい他の基準は上述されており、これは例えば平均分光感度の間の相違を最大化することである。
図５の最も下の部分では、２つの異なる蛍光体２２の蛍光スペクトル８２、８４が概略的に示されている。例えば、共通センシング波長帯域６８において、両方の蛍光体２２の蛍光強度Ｆが低くなることが見て取れるだろう。蛍光スペクトル８４を有する蛍光体の場合には、共通センシング波長帯域７０を使用するのが最も良い。なぜなら、これは、蛍光放射が最大になる波長λＦと一致するからである。これは、デジタルモノクロームＨＤＲ出力画像３８において極めて高いコントラストを生じさせるだろう。
蛍光スペクトル８２を有する蛍光体の場合には、共通センシング波長帯域６４および６６の両方が良好な結果をもたらし得る。しかし、共通センシング波長帯域６４が蛍光スペクトル８２からのλＦを含んでいるとはいえ、２つのカラーセンサだけの信号が使用されてよい。なぜなら、赤色のカラーセンサ１７の平均感度６０はこの共通センシング波長帯域６４においてはゼロまたは無視できるものだからである。したがって、デジタルモノクローム入力画像６および／またはデジタルモノクロームＨＤＲ出力画像３８の画像特性に応じて、通過帯域３４を共通センシング波長帯域６６にシフトさせることが有利であり得る。
これは、最適な結果に達するために、蛍光体が、異なるタイプのカラーセンサの分光感度に応じて選択されてもよい、ということを明らかにする。特に、蛍光体は、使用可能な共通センシング波長帯域において強い蛍光を有しているべきであり、これと同時に、異なるタイプのカラーセンサは、十分に異なる分光感度を有しているべきである。
図６は、対象物３０における蛍光のデジタルモノクローム入力画像６を使用したデジタルモノクロームＨＤＲ出力画像３８を得るためのプロセスの外観を提供している。
自由選択的なステップ９０において、蛍光体２２が選択され、その蛍光スペクトル８２、８４は、共通センシング波長帯域と重畳している。このステップは、少なくとも２つのカラーセンサ８が十分に大きい出力信号を生成するだろう波長帯域において生成された十分な蛍光強度が存在することを保証する。
さらに、ステップ９０では、その通過帯域３４が、有利には蛍光体の蛍光スペクトルよりも狭い共通センシング波長帯域を規定する帯域通過フィルター３２が選択されてよい。
次のステップ９２では、蛍光励起光が、蛍光体２２における蛍光をトリガするために提供される。
次に、ステップ９４では、蛍光体によって放射された蛍光が、有利には、あらゆる反射光に沿って、帯域通過フィルター３２によってフィルタリングされ、これによって、共通センシング波長帯域がそれに制限される。
ステップ９６では、デジタルモノクローム入力画像６が、有利には少なくとも２つのカラーチャネルに対して、最も有利にはカラーカメラ２の各カラーチャネルに対して取得される。デジタルモノクローム入力画像６は有利には同時に、すなわち同じフレーム２１の一部として、または同じデジタルカラー入力画像４として取得される。画像４、６は立体画像であってよい。
ステップ９８では、デジタルモノクロームＨＤＲ出力画像３８が、デジタルモノクローム入力画像６から計算される。デジタルモノクロームＨＤＲ出力画像３８は三次元画像または立体画像であってよい。
ステップ１００では、デジタルモノクロームＨＤＲ出力画像３８が、少なくとも１つの表示機器４８に表示される。
デジタルモノクロームＨＤＲ出力画像３８が、十分なコントラストを示さない場合、ステップ１０２において新たな帯域通過フィルター３２、新たな通過帯域３４および／または新たな蛍光体２２が選択されてよい。調整可能な帯域通過フィルター３２が使用される場合、新たな通過帯域３４の計算が手動で、この段階でトリガされてよい。ステップ１０２は、デジタルモノクロームＨＤＲ画像３８が表示されるときにいつでも実行されてよい。
ステップ１０４では、少なくとも１つのデジタルモノクローム入力画像６および／またはデジタルモノクロームＨＤＲ出力画像３８における画像パラメータ、例えばダイナミックレンジが計算されてよい。付加的にまたは択一的に、現下の共通センシング波長帯域における平均分光感度の位置が定められてよい。ここから、かつ、例えばカメラにおいて使用されている異なるタイプのカラーセンサの分光感度を表すルックアップテーブルを使用することによって、デジタルモノクロームＨＤＲ出力画像３８においてコントラストを最大化するフィルター特性７７を有する通過帯域３４が計算される。必要なフィルター特性７７が、帯域通過フィルター３２を手動で選択するため、または調整可能な帯域通過フィルター３２を手動で調整するためにユーザーに表示されてよい。フィルター特性が、通過帯域３４を調整するために、フィルターコントローラ７８に対して電子的かつ自動的に、伝えられてもよい。
ステップ１０６では、帯域通過フィルター３２は、新たなフィルター特性７７を示すために自動的に調整される、または手動で交換される。ステップ１０４および１０６は最適な通過帯域３４を自動的に調整するためのフィードバックコントロール１０８を確立する。
上述したステップはリアルタイムで実行可能であり、したがって、デジタルモノクロームＨＤＲ出力画像３８の計算は、動画シーケンスまたはストリームのフレームレートで実行可能である。
１ 画像取得システム
２ カラーカメラ
３ 医療用観察装置
４ デジタルカラー入力画像
６ デジタルモノクローム入力画像
８ カラーセンサ
１０ 入力ピクセル
１２ モザイクフィルターアレンジメント
１３ 緑フィルター
１４ 赤フィルター
１５ 青フィルター
１６ 緑色のセンサ
１７ 赤色のセンサ
１８ 青色のセンサ
２０ 表面
２１ フレーム
２２ 蛍光体
２４ 生体組織
２６ 光源
２８ 光源からの光
３０ 対象物
３２ 帯域通過フィルター
３４ 通過帯域
３６ 光路
３７ 光学的な取得システム
３８ デジタルモノクロームＨＤＲ出力画像
４０ ＨＤＲ画像生成器
４１ ハードウェア機器
４２ 汎用コンピュータ
４４ 入力インタフェース
４６ 出力インタフェース
４８ 表示機器
５０ アイピース
５２ ＡＲゴーグル
５４ モニター
５６ 出力ピクセル
５８ 異なるカラーセンサの分光感度
６０ 異なるカラーセンサの分光感度
６２ 異なるカラーセンサの分光感度
６４ 共通センシング波長帯域
６６ 共通センシング波長帯域
６８ 共通センシング波長帯域
７０ 平均分光感度
７２ 平均分光感度
７４ 平均分光感度
７５ 帯域幅
７６ ロールオフ
７７ フィルター特性
７８ フィルターコントローラ
８０ メモリ部分
８２ 蛍光スペクトル
８４ 蛍光スペクトル
９０ プロセスステップ
９２ プロセスステップ
９４ プロセスステップ
９６ プロセスステップ
９８ プロセスステップ
１００ プロセスステップ
１０２ プロセスステップ
１０４ プロセスステップ
１０６ プロセスステップ
１０８ フィードバックコントロールループ
Ｒ 分光感度
Ｔ 透過率
Ｆ 蛍光強度
λ 波長
λＣ 中心周波数での波長
λｌ 下方カットオフ周波数での波長
λＵ 上方カットオフ周波数での波長
λＦ 最大周波数での波長

Claims (15)

  1. 蛍光スペクトル（８２，８４）を有する蛍光体（２２）のデジタル入力画像（４，６）を処理する、特に顕微鏡または内視鏡のための、画像取得システム（１）であって、
    前記画像取得システム（１）は、カラーカメラ（２）を含んでおり、
    前記カラーカメラ（２）は、複数の入力ピクセル（１０）での少なくとも２つの異なるタイプ（１６，１７，１８）のカラーセンサ（８）を有しており、各タイプ（１６，１７，１８）のカラーセンサ（８）は、入力ピクセル（１０）を含んでいる異なるデジタルモノクローム入力画像（６）を生成し、異なる分光感度（５８，６０，６２）を有しており、
    前記カラーカメラ（２）は、さらに、少なくとも１つの共通センシング波長帯域（６４，６６，６８）を含んでおり、前記共通センシング波長帯域において、少なくとも２つのタイプのカラーセンサの前記分光感度が重畳し、
    前記画像取得システム（１）は、さらに、前記カラーカメラ（２）に結合されているＨＤＲ画像生成器（４０）を含んでおり、
    前記ＨＤＲ画像生成器（４０）は、少なくとも２つの前記デジタルモノクローム入力画像（６）からデジタルモノクロームＨＤＲ出力画像（３８）を計算するように構成されている、
    画像取得システム（１）。
  2. 前記画像取得システム（１）は、さらに、前記カラーカメラ（２）の前に配置されている光学的な帯域通過フィルター（３２）を含んでおり、前記光学的な帯域通過フィルター（３２）は、前記共通センシング波長帯域（６４，６６，６８）を規定する通過帯域（３４）を有している、
    請求項１記載の画像取得システム（１）。
  3. 前記帯域通過フィルター（３２）の前記通過帯域（３４）は、前記蛍光体（２２）の前記蛍光スペクトル（８２，８４）に重畳している、
    請求項２記載の画像取得システム（１）。
  4. 前記帯域通過フィルター（３２）は、中心周波数、少なくとも１つのカットオフ周波数、ロールオフ（７６）および帯域幅（７５）およびＱ値のうちの少なくとも１つを含んでいる少なくとも１つのフィルター特性（７７）に関して調整可能な通過帯域（３４）を含んでいる、
    請求項２または３記載の画像取得システム（１）。
  5. 前記画像取得システム（１）は、さらに、フィルターコントローラ（７８）を含んでおり、前記フィルターコントローラ（７８）は、前記ＨＤＲ画像生成器（４０）に結合され、前記デジタルモノクローム入力画像（６）および／または前記デジタルモノクロームＨＤＲ出力画像（３８）の画像特性に応じて、前記帯域通過フィルター（３２）の前記通過帯域（３４）を変更する、
    請求項４記載の画像取得システム（１）。
  6. 前記画像取得システム（１）は、さらに、コントロールループ（１０８）を含んでおり、前記コントロールループ（１０８）は、前記デジタルモノクローム入力画像（６）の少なくとも１つおよび／または前記デジタルモノクロームＨＤＲ出力画像（３８）の画像特性に応じて、自動的に前記通過帯域（３４）を変更する、
    請求項４または５記載の画像取得システム（１）。
  7. 前記画像取得システム（１）は、さらに、メモリ部分（８０）を含んでおり、前記メモリ部分（８０）は、前記カラーカメラ（２）の異なるタイプ（１６，１７，１８）のカラーセンサ（８）の前記分光感度（５８，６０，６２）の表示を含んでおり、
    前記画像取得システム（１）は、前記分光感度（５８，６０，６２）に応じて前記通過帯域（３４）を自動的に調整するように構成されている、
    請求項１から６までのいずれか１項記載の画像取得システム（１）。
  8. 請求項１から７までのいずれか１項記載の画像取得システム（１）を含んでいる顕微鏡または内視鏡等の医療用観察装置（３）。
  9. それぞれ複数の入力ピクセル（１０）を有している少なくとも２つのデジタルモノクローム入力画像（６）から少なくとも１つの蛍光発光性蛍光体（２２）のデジタルモノクロームＨＤＲ出力画像（３８）を作成する方法であって、前記方法は、
    少なくとも２つの異なるタイプ（１６，１７，１８）のカラーセンサ（８）を使用して前記蛍光発光性蛍光体（２２）の少なくとも２つのデジタルモノクローム入力画像（６）を取得するステップであって、少なくとも２つの異なるタイプの前記カラーセンサは、異なる分光感度（５８，６０，６２）を有しており、少なくとも１つの共通センシング波長帯域（６４，６６，６８）を含んでおり、前記共通センシング波長帯域において、少なくとも２つのタイプのカラーセンサの前記分光感度が重畳するステップと、
    前記共通センシング波長帯域と重畳する蛍光スペクトル（８２，８４）を有する蛍光体（２２）を選択するステップと、
    少なくとも２つのデジタルモノクローム入力画像（６）からデジタルモノクロームＨＤＲ出力画像（３８）を計算するステップと、
    を含んでいる方法。
  10. 前記方法は、さらに、前記共通センシング波長帯域（６４，６６，６８）と重畳する通過帯域（３４）を有する光学的な帯域通過フィルター（３２）を使用して、前記カラーセンサ（８）に向けられている前記蛍光体（２２）からの蛍光光をフィルタリングするステップを含んでいる、
    請求項９記載の方法。
  11. 前記方法は、さらに、前記デジタルモノクロームＨＤＲ出力画像（３８）におけるコントラストを増大するために、前記通過帯域（３４）を変更するステップを含んでいる、
    請求項９または１０記載の方法。
  12. 前記方法は、さらに、前記デジタルモノクローム入力画像（６）の少なくとも１つおよび／または前記デジタルモノクロームＨＤＲ出力画像（３８）の画像特性に応じて、自動的に前記通過帯域（３４）を変更するステップを含んでいる、
    請求項１１記載の方法。
  13. 前記方法は、さらに、前記通過帯域（３４）内の、前記少なくとも２つのタイプ（１６，１７，１８）のカラーセンサ（８）の前記分光感度（５８，６０，６２）の間の相違に応じて、前記通過帯域（３４）を変更するステップを含んでいる、
    請求項１１または１２記載の方法。
  14. 前記方法は、さらに、前記少なくとも２つの異なるタイプ（１６，１７，１８）のカラーセンサ（８）を使用して、少なくとも２つの前記デジタルモノクローム入力画像（６）を記録するステップを含んでいる、
    請求項１１から１３までのいずれか１項記載の方法。
  15. 請求項９から１４までのいずれか１項記載の方法をコンピュータに実施させるプログラムを格納している非一過性のコンピュータ可読媒体。
JP2019229332A 2018-12-20 2019-12-19 特に顕微鏡および内視鏡のための、蛍光発光性蛍光体のｈｄｒモノクローム画像を作成するためのシステムおよび方法 Active JP6896053B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18214911.2A EP3669743B1 (en) 2018-12-20 2018-12-20 System and method, in particular for microscopes and endoscopes, for creating an hdr image of a fluorescing fluorophore
EP18214911.2 2018-12-20

Publications (2)

Publication Number Publication Date
JP2020099694A true JP2020099694A (ja) 2020-07-02
JP6896053B2 JP6896053B2 (ja) 2021-06-30

Family

ID=64755302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019229332A Active JP6896053B2 (ja) 2018-12-20 2019-12-19 特に顕微鏡および内視鏡のための、蛍光発光性蛍光体のｈｄｒモノクローム画像を作成するためのシステムおよび方法

Country Status (4)

Country Link
US (1) US11083368B2 (ja)
EP (1) EP3669743B1 (ja)
JP (1) JP6896053B2 (ja)
CN (1) CN111345902B (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110009163A1 (en) * 2008-01-02 2011-01-13 The Regents Of The University Of California High numerical aperture telemicroscopy apparatus
US20110064296A1 (en) * 2008-05-16 2011-03-17 Huron Technologies International Inc. Imaging system with dynamic range maximization
WO2014125724A1 (ja) * 2013-02-12 2014-08-21 オリンパスメディカルシステムズ株式会社 内視鏡装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050027166A1 (en) * 2003-06-17 2005-02-03 Shinya Matsumoto Endoscope system for fluorescent observation
GB0601183D0 (en) * 2006-01-20 2006-03-01 Perkinelmer Ltd Improvements in and relating to imaging
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
AU2013346684A1 (en) * 2012-11-19 2015-06-11 Academisch Medisch Centrum Arthroscopic instrument assembly, and method of localizing musculoskeletal structures during arthroscopic surgery
JP2017511176A (ja) * 2014-03-17 2017-04-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 非白色光の一般的な照明装置を含む手術システム
JP6696912B2 (ja) * 2014-06-05 2020-05-20 ウニベルジテート ハイデルベルク マルチスペクトルイメージングのための方法及び手段
EP3284396B1 (en) * 2016-08-16 2020-02-12 Leica Instruments (Singapore) Pte. Ltd. Observation apparatus and method for visual enhancement of an observed object
US10823952B2 (en) * 2017-06-22 2020-11-03 Huron Technologies International Inc. MSIA scanning instrument with increased dynamic range

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110009163A1 (en) * 2008-01-02 2011-01-13 The Regents Of The University Of California High numerical aperture telemicroscopy apparatus
US20110064296A1 (en) * 2008-05-16 2011-03-17 Huron Technologies International Inc. Imaging system with dynamic range maximization
WO2014125724A1 (ja) * 2013-02-12 2014-08-21 オリンパスメディカルシステムズ株式会社 内視鏡装置

Also Published As

Publication number Publication date
CN111345902A (zh) 2020-06-30
EP3669743A1 (en) 2020-06-24
CN111345902B (zh) 2023-07-04
JP6896053B2 (ja) 2021-06-30
US20200196846A1 (en) 2020-06-25
EP3669743B1 (en) 2024-04-03
US11083368B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
US11399123B2 (en) Image transformation and display for fluorescent and visible imaging
JP6456416B2 (ja) 擬似色を用いた顕微鏡又は内視鏡などの医用検査装置
JP6455604B2 (ja) 撮像装置、撮像プログラムおよび撮像方法
JP6939000B2 (ja) 撮像装置及び撮像方法
JP6367683B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
RU2381737C2 (ru) Устройство для наблюдения биологических объектов
US20180220052A1 (en) Temporal Modulation of Fluorescence Imaging Color Channel for Improved Surgical Discrimination
JP6467562B2 (ja) 内視鏡システム
US10874293B2 (en) Endoscope device
CN110893096A (zh) 一种基于图像曝光的多光谱成像系统和方法
US8300093B2 (en) Endoscope image processing method and apparatus, and endoscope system using the same
CN106455955A (zh) 图像处理装置
JP6896053B2 (ja) 特に顕微鏡および内視鏡のための、蛍光発光性蛍光体のｈｄｒモノクローム画像を作成するためのシステムおよび方法
JPWO2020044860A1 (ja) 分光イメージング装置および蛍光観察装置
US10778948B2 (en) Imaging apparatus and endoscope apparatus
EP4275577A1 (en) Method, processor, and medical fluorescence observation device using two color images and color cameras for fluorescence and white-light
EP4275578A1 (en) Method, processor, and medical fluorescence observation device using a color-dependent color conversion function
EP3991633A1 (en) Microscope system for use in eye surgery and corresponding system, methods and computer programs
EP4275580A1 (en) Method, processor, and medical fluorescence observation device using two color images to record fluorescence
JP6615950B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
EP4275581A1 (en) Method, processor, and medical fluorescence observation device for toggling images
WO2017051909A1 (ja) 画像処理装置、画像処理プログラム、撮像装置、および撮像プログラム
US20230255460A1 (en) Image processing apparatus and image processing method
WO2020017638A1 (ja) 画像生成装置及び撮像装置
WO2023218098A1 (en) Method, processor, and medical fluorescence observation device for toggling images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210608

R150 Certificate of patent or registration of utility model

Ref document number: 6896053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150