JP2021079102A - 医療用撮像デバイス、方法、および使用 - Google Patents

医療用撮像デバイス、方法、および使用 Download PDF

Info

Publication number
JP2021079102A
JP2021079102A JP2020189620A JP2020189620A JP2021079102A JP 2021079102 A JP2021079102 A JP 2021079102A JP 2020189620 A JP2020189620 A JP 2020189620A JP 2020189620 A JP2020189620 A JP 2020189620A JP 2021079102 A JP2021079102 A JP 2021079102A
Authority
JP
Japan
Prior art keywords
image
spectral range
light
imaging device
tissue area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020189620A
Other languages
English (en)
Other versions
JP7291314B2 (ja
Inventor
ウィソツキー エリック
Wisotzky Eric
ウィソツキー エリック
エイサート ピーター
Eisert Peter
エイサート ピーター
ヒルズマン アンナ
Hilsmann Anna
ヒルズマン アンナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of JP2021079102A publication Critical patent/JP2021079102A/ja
Application granted granted Critical
Publication of JP7291314B2 publication Critical patent/JP7291314B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/227Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for ears, i.e. otoscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

【課題】組織エリア内での様々なタイプの組織の識別の改善が可能になる撮像デバイスを提供する。【解決手段】可視波長範囲を含む、第1のスペクトル範囲からの光4a、および第2のスペクトル範囲からの光4bにより組織エリア3を照明するように構成されている照明ユニット2と、第1のスペクトル範囲の光を検出し、組織エリアの第1の画像6aを生成し、かつ第2のスペクトル範囲の光を検出し、組織エリアの第2の画像6bを生成するように構成されている撮像ユニット5と、第1の画像および第2の画像を重ね合わせた画像8を生成する重ね合わせユニット7とを備える医療用撮像デバイス1に関する。【選択図】図1

Description

本発明は、医療用撮像デバイス、医学的介入のための画像ベースのサポートを提供するための方法、およびそのような方法におけるそのような撮像デバイスの使用に関する。
医学的介入中または検査中に、単一の組織エリア内の異なるタイプの組織を区別することが多くの場合必要となる。例えば、欠陥のある変化または増殖している組織(異常組織)と、組織エリアの周囲の健康な組織とを区別する必要があり得る。そのような区別に基づいて、例えば、医療スタッフは、診断を行い、かつ/または局所療法、例えば、注射または異常組織の切除を適用するための部位を決定することができる。異常組織は、例えば、腫瘍組織、嚢胞組織、および/または拡大組織の成長、例えば、真珠腫性中耳炎組織、すなわち、中耳組織エリアにおける炎症性拡大組織成長であり得る。
組織エリア内の異なるタイプの組織を区別するために参照し得る組織エリアの画像を生成することができる医療用撮像デバイスは、従来技術から公知である。ここで、異なるタイプの組織が常に視覚的に明確に区別できるものではないという問題が生じ得る。例えば、真珠腫性中耳炎組織は、中耳の周囲組織、特に骨組織との区別は、視覚的に容易に行うことはできない。特に、このように区別することにより、異常組織を完全に切除することを遅らせることができ、これは治療を成功させるために必須である。
したがって、本発明の目的は、組織エリア内での様々なタイプの組織の識別の改善が可能になる撮像デバイスを提唱することである。さらに、医学的介入のための画像ベースのサポートのための方法、および提唱された方法における提唱された撮像デバイスの使用が提供される。
この目的は、請求項1に記載の撮像デバイス、請求項13に記載の画像をサポートするための方法、および請求項15に記載の使用によって、本発明に従って達成される。本発明の有利な実施形態、開発および使用は、従属請求項の特徴によって提供される。
本発明による医療用撮像デバイスは、
可視波長範囲を含む、第1のスペクトル範囲からの光、および第1のスペクトル範囲とは異なる第2のスペクトル範囲からの光により組織エリアを照明するように構成されている照明ユニットと、
第1のスペクトル範囲からの光を検出し、第1のスペクトル範囲からの検出された光に基づいて、組織エリアの第1の画像を生成するように構成され、かつ第2のスペクトル範囲からの光を検出し、第2のスペクトル範囲からの検出された光に基づいて、組織エリアの第2の画像を生成するようにさらに構成されている撮像ユニットと、
第1の画像および第2の画像に基づいて重ね合わせた画像を、重ね合わせた画像において、視覚的強調表示に基づいて、組織エリアが、組織エリアの他の領域と比較して、第2のスペクトル範囲からの光の放出が増えていることにより特徴付けられる強調表示領域を含むか否か、および組織エリアが含む場所を識別することが可能であるように生成するように構成されている重ね合わせユニットと、
を備える。
本発明による撮像デバイスでは、画像(具体的には第1の画像および第2の画像)を生成することにより、組織エリア内の異なるタイプの組織を、異なるスペクトル範囲から(具体的には、第1のスペクトル範囲および第2のスペクトル範囲から)の検出された光に基づいて、重ね合わせた画像の視覚的強調表示と組み合わせて、互いに明確に区別することができる。
特に、これは、第1のスペクトル範囲および/または第2のスペクトル範囲、特に第2のスペクトル範囲内のスペクトル特性に関して互いに異なるタイプの組織に関係する。組織エリアの他の領域と比較して、強調表示領域での第2のスペクトル範囲からの光の放出の増加は、組織エリアの他の領域と比較して、第2のスペクトル範囲からの光の反射および/または散乱および/または反射(remission)および/または他の放出が増えているために起こり得る。
重ね合わせユニットによって生成された重ね合わせた画像は、同時に、組織エリアの概要として有利に機能し、これに基づいて、特に第1の画像から生じる組織エリアの様々な特徴を識別することができ、また、視覚的強調表示の結果として第2の画像に含まれる追加情報を利用するのに役立ち、これにより、組織エリアが強調表示領域を含むか否か、および組織エリアが含む場所を識別することが可能になる。このように提供された情報は、診断および/もしくは治療上の決定を可能にするか、または単純化し得る。
この用途では、「強調表示領域」は、組織エリアの他の領域と比較して、第2のスペクトル範囲からの光の放出が増加した組織エリアの前述の領域、ならびにこれらの組織領域に対応する画像の領域の両方、特に視覚的強調表示によって特徴付けられる重ね合わせた画像の領域を含む。
「可視波長」という用語は、可視光の波長、すなわち、およそ380nm〜750nm、特に400nm〜700nmの波長を意味すると理解される。第1のスペクトル範囲および/または第2のスペクトル範囲は、波長の単一の連続した間隔または波長の複数の間隔を含み得る。
第2のスペクトル範囲は、全体的または部分的に第1のスペクトル範囲に含まれ得るか、第1のスペクトル範囲と部分的に重複し得るか、または第1のスペクトル範囲から互いに接合し得ない、すなわち、第1のスペクトル範囲と重複し得ない。第2のスペクトル範囲は、好ましくは、第1のスペクトル範囲よりも低い帯域幅を有し得る。第1のスペクトル範囲および/または第2のスペクトル範囲はまた、可視光の外側の波長、特に近紫外線範囲および/または近赤外線範囲の波長を含み得る。第1のスペクトル範囲は、例えば、第2のスペクトル範囲を含むかまたは含まないすべての可視波長、または第2のスペクトル範囲を含むかまたは含まない可視波長のサブ範囲を含み得る。
第1の画像および/もしくは第2の画像および/もしくは重ね合わせた画像は、光学画像、すなわち、光学撮像プロセスによって生成したかもしくは生成可能である実画像もしくは仮想画像、または表示画像、すなわち、ディスプレイ、スクリーンまたは別のディスプレイユニット上に提示したかもしくは提示可能な画像、または画像データセット、すなわち、検出ユニットによって検出されたかもしくは検出可能であり、光学画像および/もしくは表示画像に対応するデジタルデータセットであり得る。
第1の画像および/または第2の画像および/または重ね合わせた画像を連続的かつ/または反復的に生成することによって、組織エリアへの変化、例えば、実行された切除または他の治療手段による変化は、例えば、医学的介入中に監視され得、さらなる治療段階および/または診断段階のために分析され得る。
第1のスペクトル範囲は、450nmを超える可視波長の少なくとも1つのサブ範囲を含み得、かつ/または450nm未満の波長のサブ範囲、特に第2のスペクトル範囲の少なくとも1つのサブ範囲を省略し得る。第2のスペクトル範囲は、350nm〜500nm、特に370nm〜480nm、好ましくは400nm〜450nmの波長の少なくとも1つのサブ範囲を含み得、かつ380nm未満および/または450nmを超える波長の少なくとも1つのサブ範囲を省略し得る。例えば、第2のスペクトル範囲は、350nm〜420nmの下限および430nm〜500nmの上限を有する単一の間隔からなり得る。
このように選択されたスペクトル範囲では、撮像デバイスは、異常組織が前述の範囲(350nm〜500nm、すなわちほぼ紫外線から青緑色)内の光の放出が増えていることにより特徴付けられる組織エリアを検査するのに特に十分に適している。これは、そのような異常組織が、視覚的強調表示に基づいて、重ね合わせた画像内で識別できるためである。例えば、このように、真珠腫性中耳炎組織では、中耳内の周囲骨組織と比較して、波長が370nm〜480nmである光の反射が増加し、吸収が減少するという事実を利用することが可能である。したがって、この場合、視覚的強調表示により、医療スタッフによる真珠腫性中耳炎組織の識別(したがって、除去に関する決定)が容易になり得る。
380nm未満の波長のサブ範囲を省略することにより、紫外線によって生じる組織エリアへの損傷を低減できるかまたは回避できる。450nmを超える波長のサブ範囲を省略することにより、第1のスペクトル範囲と第2のスペクトル範囲とのスペクトルを上手く分離できる。
波長範囲を省略している/重複していないスペクトル範囲とは、本出願を通して、スペクトル範囲が本質的に波長範囲を省略している/重複していないことを意味する。特に、物理的分離を使用して(例えば、光学フィルタおよび/または照明ユニットの発光幅および/または撮像ユニットの検出幅によって)、スペクトル範囲の光を生成/検出する場合、特定の割合の省略された/重複していない波長範囲が、以前として生成/検出され得る。この割合は、例えば、全体として生成/検出される光の10%未満、特に1%未満、好ましくは0.1%未満であり得る。
撮像デバイスが他のタイプの組織を区別するのに特に適しているように、第1のスペクトル範囲および/または第2のスペクトル範囲も異なって選択され得る。例えば、第2のスペクトル範囲は、490nmの中心波長の周りの間隔および/または640nmの中心波長の周りの間隔の波長を含み得、それぞれの間隔の外側の波長の少なくともサブ範囲を省略し得る。ここで、間隔は、適切な帯域幅、例えば、それぞれの中心波長の周りの10nm〜100nmの帯域幅によって与えられ得る。したがって、撮像デバイスは、例えば、神経組織の検査に十分に適している。例えば、耳下腺組織および神経組織は、周囲組織と比較して、約490nmおよび約640nmの波長で反射が増加し、吸収が減少している。
第1の画像および第2の画像の生成が可能になるように、撮像デバイスは、第1のスペクトル範囲からの光および第2のスペクトル範囲からの光を別々に検出できるように構成され得る。これは、以下に記載する可能性に従って、異なる方法で、例えば、第1のスペクトル範囲からの光および第2のスペクトル範囲からの光の空間的に分離した検出かつ/または時間的に分離した検出によって、達成され得る。
照明ユニットは、例えば、最初に組織エリアを第1のスペクトル範囲からの光により照明し、次に第2のスペクトル範囲からの光により照明するように、第1のスペクトル範囲および第2のスペクトル範囲からの光により組織エリアを順次照明するように構成され得る。第1のスペクトル範囲および第2のスペクトル範囲からの光による照明の時間的順序がわかっているので、第1のスペクトル範囲からの光および第2のスペクトル範囲からの光の時間的に分離した検出が可能である。第1のスペクトル範囲および第2のスペクトル範囲からの光により組織エリアを順次照明することにより、特に、第2のスペクトル範囲における組織エリアのスペクトル特性が確実に別々に(すなわち、第1のスペクトル範囲からの光により組織エリアを同時に照明することなく)検出可能になり得る。
順次照明の場合、照明ユニットは、例えば、広帯域光源、例えば、ハロゲンメタルハライドランプまたは広帯域LED光源を備え得、それぞれの場合において、第1のスペクトル範囲および第2のスペクトル範囲の両方から同時に光を放出するように構成される。さらに、照明ユニットは、第1のスペクトル範囲と第2のスペクトル範囲との間の送信を切り替えることができるフィルタユニットを有し得る。
しかし、照明ユニットはまた、複数の光源、例えば、LED光源および/またはレーザー光源を備え得、これらは、第1のスペクトル範囲および第2のスペクトル範囲からの光を順次生成するために切り替える、かつ/または組み合わせることができる。
照明ユニットは、第1のスペクトル範囲および第2のスペクトル範囲からの光により組織エリアを同時に照明するように構成され得る。組織エリアの同時照明は、例えば上記のような広帯域光源を使用することで、照明ユニットの特に簡素な設計が可能になるが、この場合、切り替え式フィルタユニットは不要である。
撮像ユニットは、第1の画像および第2の画像を順次生成するために構成され得る。したがって、撮像ユニットの特に簡素な設計が可能であり、この場合の撮像ユニットは、例えば、第1の画像および第2の画像を生成するための単一のビーム経路および単一の広帯域検出器を有し得る。
特に、撮像ユニットは、第1の画像および第2の画像を順次生成するように構成され、照明ユニットは、第1のスペクトル範囲および第2のスペクトル範囲の光により組織エリアを順次照明するように構成されるようになり得る。この目的のために、例えば、照明ユニットの1もしくは複数の光学フィルタの交互に挿入することおよび/もしくは除去すること、ならびに/または照明ユニットの光源を切り替えることは、一連の画像の検出と同期させることができ、その結果、一連の画像内で、第1の画像および第2の画像、または第1の一連の画像および第2の一連の画像が交互になる。
また、撮像ユニットは、第1の画像および第2の画像を順次生成するように構成され、照明ユニットは、第1のスペクトル範囲および第2のスペクトル範囲の光により組織エリアを順次照明するように構成されるようになり得る。この目的のために、例えば、撮像ユニットの1または複数の光学フィルタの交互に挿入することおよび/または除去すること、一連の画像の検出と同期させることができ、その結果、一連の画像内で、第1の画像および第2の画像が交互になる。
撮像ユニットは、第1の画像および第2の画像を同時に生成するように構成され得る。第1の画像および第2の画像は、少なくとも1つの光学フィルタによって空間的に分離される。すなわち、第1のスペクトル範囲からの光および第2のスペクトル範囲からの光が、空間的に分離させて検出可能である。第1の画像および第2の画像を同時に生成することによって、例えば、特に高い時間的分解が可能になる。
撮像ユニットは、第1の画像および第2の画像を同時に生成するように構成され、照明ユニットは、第1のスペクトル範囲および第2のスペクトル範囲の光により組織エリアを同時に照明するように構成されるようになり得る。この目的のために、例えば、広帯域照明によって生成され、組織エリアによって放出される広帯域光は、ダイクロイックミラーによって、第1のスペクトル範囲および第2のスペクトル範囲に対応する2つの成分に空間的に分離され得、かつ、別々のセンサまたは単一のセンサの空間的に分離した領域によって検出され得る。
順次および/または同時の照明および/または検出について異なるように言及されている可能であることを適切に選択し、組み合わせることによって、様々な利点を互いに組み合わせて、所望の用途に関して最適化することができる。
医療用撮像デバイスは、耳鼻咽喉(ENT)顕微鏡および/または手術顕微鏡(外科用顕微鏡)、特にENTエリア用の外科用顕微鏡、および/または内視鏡であるか、またはそれらを備え得る。これによって、医療用撮像デバイスは、そのような器具を使用して行われる医療処置での使用に特に適している。
撮像ユニットは、第1のスペクトル範囲および第2のスペクトル範囲からの光を検出するための少なくとも1つの対物レンズを有し得る。撮像ユニットおよび/または重ね合わせユニットは、第1の画像および/または第2の画像および/または重ね合わせた画像を視覚的に表示するための少なくとも1つの接眼レンズを備え得る。
医療用撮像デバイスは、第1の画像および/または第1の一連の画像に対応する第1のピクセルデータセット、ならびに第2の画像および/または第2の一連の画像に対応する第2のピクセルデータセットを検出するように構成されている検出ユニットを備え得る。
第1の画像および第2の画像は、デジタル画像データセットの形態で、特に第1のピクセルデータセットおよび第2のピクセルデータセットの形態で、検出ユニットによって提供され、これにより、柔軟なさらなる処理、記憶および/または表示が可能になる。
そのような検出ユニットは、特に、少なくとも1つの画像センサ(第1の画像および第2の画像の順次検出の場合、好ましくは少なくとも2つの画像センサ)、例えば、第1のピクセルデータセットおよび/または第2のピクセルデータセットを空間分解検出するように構成されているCCDまたはCMOSチップを備え得る。
重ね合わせユニットは、第1のピクセルデータセットおよび第2のピクセルデータセットに基づいて、重ね合わせた画像および/または重ね合わせた一連の画像に対応する第3のピクセルデータセットを生成するように構成されている画像処理ユニットであり得るか、または画像処理ユニットを備え得る。
検出ユニットは、少なくとも30Hz、好ましくは少なくとも60Hzの繰り返し周波数により画像を繰り返し検出するように構成され得る。画像処理ユニットは、100ms未満、好ましくは50ms未満のレイテンシで第3のピクセルデータセットを生成するように構成され得る。
このようにして達成可能な時間的分解と、第1の画像および第2の画像の生成と重ね合わせた画像の生成との間の短い時間遅延により、重ね合わせた画像のリアルタイムでの表示が可能となり、これにより、特に組織エリアでの外科的介入は、直接的な視覚的フィードバックにより実施され得る。
撮像デバイスは、1または複数のディスプレイによって、および/または1もしくは複数の接眼レンズによって、重ね合わせた画像を示すかつ/または表示するように構成され得る。
接眼レンズを使用することにより、ユーザは重ね合わせた画像に、直感的かつ密接にアクセスできるようになる。ディスプレイを使用することにより、複数のヒトが重ね合わせた画像を同時に見ることができ、また、特に柔軟な表示オプションが提供され、これにより、例えば、視覚的強調表示を特に明確に見ることができる。
重ね合わせユニットは、特に光学的またはデジタル的に、第1の画像および第2の画像を重ね合わせることによって、重ね合わせた画像を生成するように構成され得る。
光学的重ね合わせは、単に、重ね合わせた画像を生成するために特に可能であり、特に、第2の画像の強調表示領域が明確であり、かつ第1の画像が第2の画像と比較して明るすぎない場合に可能である。これを確実にするために、灰色フィルタによって第1の画像を柔らかくすること、かつ/または第1のスペクトル範囲および/もしくは第2のスペクトル範囲からの光によって照明の照明レベルを適切に適合させることも可能であり得る。
デジタル重ね合わせの場合、第1の画像および/または第2の画像の補力および/または軟化は、第1のピクセルデータセットおよび/または第2のピクセルデータセットの線形または非線形スケーリングによって簡単な方法で達成することができる。
重ね合わせユニットは、第1の画像および第2の画像を交互に生成および/または表示および/または非表示および/またはリフレッシュすることによって重ね合わせた画像を生成するように構成され得る。
第1の画像と第2の画像との間で交互にする周波数および/または第1の画像または第2の画像をリフレッシュする周波数は、少なくとも30Hz、好ましくは少なくとも60Hzであり得る。
このようにして達成可能な時間的分解によって、リアルタイムでの重ね合わせた画像の表示が再び可能になり得、それにより、特に組織エリアでの外科的介入が、直接の視覚的フィードバックにより実施され得る。
画像処理ユニットは、第2の画像に基づいて、または第1の画像および第2の画像に基づいて、強調表示画像を生成するように構成され得、ここで強調表示画像は、視覚的強調表示を含む。次いで、重ね合わせユニットは、第1の画像を強調表示画像と重ね合わせることによって、重ね合わせた画像を生成するように構成され得る。重ね合わせた画像は、第1の画像の領域を強調表示画像または強調表示画像の対応する領域で置き換えることによって生成することもできる。
画像処理ユニットは、第2の画像の閾値によって、および/または第2の画像のセグメンテーションによって、および/または色空間変換、および/または特徴抽出、および/またはオブジェクト分類、および/または機械学習アルゴリズム、および/またはニューラルネットワークによって、視覚的強調表示および/または強調表示画像を生成するように構成され得る。
このようにして、視覚的強調表示および/または強調表示画像は、確実に決定され得、かつ/または明確に見える方法で表示され得る。
画像処理ユニットは、ユーザ入力に基づいて視覚的強調表示の種類を選択するように構成され得る。したがって、視覚的強調表示は、ユーザの嗜好および/または必要情報に応じて調整可能であり得る。
視覚的強調表示は、強調表示領域の色ベースの区切りおよび/もしくはエッジ、ならびに/または少なくとも1つの記号および/もしくはレタリングによる強調表示領域のマーキングを含み得る。視覚的強調表示は、例えば、色割り当てテーブルによる、および/または混合された数値および/または重ね合わせた等高線による、第1の画像および/または第2の画像の定量的特徴の表示を含み得る。定量的特徴は、例えば、第2の画像および/または第1の画像のピクセル値の商または他の関数であり得る。視覚的強調表示は、例えば、重ね合わせた画像に導入された記号および/またはレタリングによる、強調表示領域がないことによるマーキングを含み得る。視覚的強調表示は、第2の画像の偽色表示であり得るか、または偽色表示を含み得る。
重ね合わせた画像および/または第1の画像および/または第2の画像は、二次元画像、またはステレオ画像、すなわち、左右の成分から構成される三次元画像であり得る。撮像ユニットは、第1の画像および第2の画像の左右の成分を生成するために、組織エリアによって放出された光を分割するように構成され得る。
重ね合わせた画像がステレオ画像である場合、撮像デバイスは、2つの接眼レンズによって重ね合わせた画像を表示するように、かつ/または3Dディスプレイに重ね合わせた画像を示すように構成され得る。
ステレオ画像としての重ね合わせた画像ならびに/または第1の画像および/もしくは第2の画像の生成は、ステレオ画像の結果として空間知覚が可能になるので、外科的介入と組み合わせた医療用撮像デバイスの使用に特に有利である。視覚的強調表示が拡張現実ディスプレイ(ARディスプレイ)での強調表示である場合、同様の利点がもたらされる。
検出ユニットは、少なくとも1つのピクセルグループ、好ましくは複数のピクセルグループを有する画像センサを備え得、ここで、ピクセルグループの各々は、第1のスペクトル範囲からの光を検出するように構成されている少なくとも1つの第1のピクセル、好ましくは複数の第1のピクセル、かつ第2のスペクトル範囲からの光を検出するように構成されている少なくとも1つの第2のピクセル、好ましくは複数の第2のピクセルを含む。ピクセルグループは、特に、複数のピクセルグループの複数の行に配置され得る。ピクセルグループは、同一平面上、特に接合センサチップ上に配置され得る。特定のスペクトル範囲または特定のスペクトル範囲のサブ範囲を送信するための光学フィルタ、特にバンドパスフィルタは、ピクセルの各々に配置され得る。
第1のスペクトル範囲および第2のスペクトル範囲からの光は、記載された種類のピクセルグループを含む画像センサによって、特に簡単な方法で同時に検出され得、空間的およびスペクトル分解画像データセットが生成され得、次いて画像処理ユニットによって第1のピクセルデータセットおよび第2のピクセルデータセットに分割され得る。
各ピクセルグループのピクセル数および/または各ピクセルグループのピクセルに配置された光学フィルタを適切に選択することにより、高いスペクトル分解を達成することができ、同時に、同時検出によって高い時間的分解を達成することができる。
上記の種類のピクセルグループを有する画像センサの場合、各ピクセルグループが少なくとも3つのピクセルを含み、各ピクセルグループの少なくとも2つのピクセルが上記で定義された第1のピクセルであり、残りの1または複数のピクセルは、上記で定義した第2のピクセルであるものとし得る。
第1のピクセルは、第2のピクセルとは接合し得ない。すなわち、第1のピクセルが同時に第2のピクセルとはならない。すべてではないが、第1のピクセルのうちの1または複数が同時に第2のピクセルであってもよい(例えば、第1のスペクトル範囲および第2のスペクトル範囲が重複する場合)。
ピクセルグループの各々が複数の第1のピクセルおよび/または複数の第2のピクセルを含む場合、第1のピクセルおよび/または第2のピクセルの異なるピクセルは、それぞれ、第1のスペクトル範囲および/または第2のスペクトル範囲の異なるサブ範囲からの光を検出するように構成され得る。このようにして、第1のスペクトル範囲および/または第2のスペクトル範囲からの光のスペクトル分解検出が可能になり得る。
各ピクセルグループのピクセルは、同一平面上に配置され得る。各ピクセルグループのピクセルは、行ごとに1または複数がピクセルの1または複数の行に配置され得る。例えば、各ピクセルグループは、3ピクセルの行、または行ごとに1ピクセルを3行含み得る。この例では、画像センサは従来型または適合型のRGBセンサであってもよい。さらなる例では、各ピクセルグループは、行あたりnピクセルのn行を含み得る(n=1、2、3、…)。
特に高いスペクトル分解能(ただし、時間的分解能は低い)も別の方法で達成され得る。例えば、撮像デバイスは、スペクトル分解検出ユニットを使用して、組織エリアを行ごとに順次スキャンを行うために構成され得る。
これは、例えば、次の方法で実装され得る。照明ユニットは、組織エリアにスリット形状照明を投射するためのスリット開口および傾斜型ミラーを備え得る。また、撮像ユニットは、スリット形状の照明に対応する組織エリアの任意の領域の静止撮像を行うための傾斜型ミラーを備え得る。次に、撮像ユニットは、分光計ユニット、例えば、プリズム分光計ユニットまたは格子分光計ユニットを備え、スリット形状の照明に対応する組織エリアの領域の検出された光のスペクトルファンアウト、およびスリット形状の照明の長手方向に垂直である画像センサ上にスペクトルファンアウトされた光を撮像するために構成される。次に、傾斜型ミラーを傾斜させ、かつ画像センサによる画像の順次検出を時間的に調整した方法で実施することにより、空間的およびスペクトル的分解画像データセットが生成され得る。
照明ユニットおよび/または撮像ユニットは、複数の光学フィルタを備えたマルチフィルタユニット、例えばフィルタホイールを備えることができ、フィルタの各々は、マルチフィルタユニットを移動させることによって、照明ユニットおよび/または撮像ユニットのビーム経路に導入することができる。次に、マルチフィルタユニットを移動させ、かつ画像センサによる画像の順次検出を時間的に調整した方法で実施することにより、空間的およびスペクトル的分解画像データセットが生成され得る。この方法でも、高いスペクトル分解能が達成され得る。
医学的介入のための画像ベースのサポートを提供するための本発明による方法は、
可視波長範囲を含む、第1のスペクトル範囲からの光、および第1のスペクトル範囲とは異なる第2のスペクトル範囲からの光により組織エリアを照明する段階と、
第1のスペクトル範囲および第2のスペクトル範囲からの光を検出する段階と、
第1のスペクトル範囲からの検出された光に基づいて組織エリアの第1の画像を生成し、第2のスペクトル範囲からの検出された光に基づいて組織エリアの第2の画像を生成する段階と、
第1の画像および第2の画像から重ね合わせた画像を、重ね合わせた画像において、視覚的強調表示に基づいて、組織エリアが、組織エリアの他の領域と比較して、第2のスペクトル範囲からの光の放出が増えていることにより特徴付けられる強調表示領域を含むか否か、および組織エリアが含む場所を識別することが可能であるように生成する段階と、
を備える。
この方法は、提唱された撮像デバイスと同様に、画像(特に第1の画像および第2の画像)を生成することにより、組織エリア内の異なるタイプの組織は、重ね合わせた画像の視覚的強調表示と組み合わせて、異なるスペクトル範囲(特に第1のスペクトル範囲および第2のスペクトル範囲)からの検出された光に基づいて互いに明確に区別され得ることを特徴とし、したがって、上記の利点が得られる。
この方法は、さらなる段階を含み得、かつ/または撮像デバイスに関連して、上記の特徴に従って改良され得る。
本発明による医療用撮像デバイスは、医学的介入のための画像ベースのサポートを提供するための本発明による方法によって、中耳組織エリアを検査するための使用に特に十分に適している。
この使用の場合、重ね合わせた画像の強調表示領域によって、中耳組織エリアが欠陥があるように変化した上皮組織、特に真珠腫性中耳炎組織を含むか否か、および組織エリアが含む場所を結論付けることが可能である。特に、この使用により、上記の真珠腫性中耳炎組織と骨組織との異なる反射および吸収特性から利益を得ることが可能である。例えば、視覚的強調表示に基づいて、外科的介入中に真珠腫性中耳炎組織が完全に除去されたか否か、または真珠腫性中耳炎組織の残骸がまだ残存しているか否かを確認することが可能であり、次いで、再度識別して除去され得る。
以下、本発明の実施形態について、図1〜図5を参照して説明する。図は、概略的に以下を示す。
医療用撮像デバイスの機能の基本的な略図である。
例示的な医療用撮像デバイスのビーム経路を示す図である。
図2aによる医療用撮像デバイスの部分図である。
医療用撮像デバイスのさらなる実施例の配置略図である。
医学的介入のための画像ベースのサポートを提供するための方法のフロー図である。
異なるタイプの組織のスペクトル吸収曲線を示す図である。
異なる実施形態における反復的および類似の特徴は、同一または類似の英数字の参照記号とともに図面に提供する。
図1に示す医療用撮像デバイス1は、
可視波長範囲を含む、第1のスペクトル範囲からの光4a、および第1のスペクトル範囲とは異なる第2のスペクトル範囲からの光4bにより組織エリア3を照明するように構成されている照明ユニット2と、
第1のスペクトル範囲からの光4aを検出し、第1のスペクトル範囲からの検出された光4aに基づいて、組織エリア3の第1の画像6aを生成するように構成され、かつ第2のスペクトル範囲からの光4bを検出し、第2のスペクトル範囲からの検出された光4bに基づいて、組織エリア3の第2の画像6bを生成するようにさらに構成されている撮像ユニット5と、
第1の画像6aおよび第2の画像6bに基づいて重ね合わせた画像8を、重ね合わせた画像において、視覚的強調表示9に基づいて、組織エリア3が、組織エリア3の他の領域11と比較して、第2のスペクトル範囲からの光4bの放出が増えていることにより特徴付けられる強調表示領域10を含むか否か、および組織エリアが含む場所を識別することが可能であるように生成するように構成されている重ね合わせユニット7と、
を備える。
重ね合わせた画像8では、他の領域11と、視覚的強調表示9に基づいて、強調表示領域10との両方が明確に見える。したがって、第1の画像6aおよび第2の画像6bと比較して、組織エリア3内の異なるタイプの組織間の区別が単純化される。第2の画像6bでは、強調表示領域10が明確に見えるが、他の領域11は明確に見えず、対照的に、第1の画像6aでは、組織エリア3の良好な概観が提供されているが、その中の強調表示領域10は、他の領域11とは明確に区別できないためである。
図2aに示す医療用撮像デバイス1'は、外科用顕微鏡としても機能するENT顕微鏡として設計されている。したがって、撮像デバイス1'は、患者13の中耳の組織エリア3の検査に特に適している。
撮像デバイス1'の照明ユニット2は、第1のスペクトル範囲および第2のスペクトル範囲からの光4により組織エリア3を照明するための広帯域光源14(例えば、ハロゲンメタルハライドランプ、キセノン光源、広帯域LED光源、または広帯域LED光源ユニット(複数の狭帯域LED光源を含む))を備え、第1のスペクトル範囲は、約400nm〜700nmの波長間隔に対応する(この波長間隔外の広帯域光源14によって生成された光は、バンドパスフィルタによって抑制され得る)。
この実施例では、第2のスペクトル範囲は、400nm〜450nmの波長間隔に対応する。第2のスペクトル範囲は第1のスペクトル範囲に含まれるため、第2のスペクトル範囲に対して別々の光源は必要なく、それにより、照明ユニット2は、第1のスペクトル範囲および第2のスペクトル範囲からの光4により組織エリア3を同時に照明するように構成される。
広帯域光源14によって放出された光4は、組織エリア3を照明するために、コレクタレンズ15およびコンデンサ16によって対物レンズ17に結合させ得る。
対物レンズ17を用いて、組織エリア3によって放出された(特に反射および散乱された)光が検出される。対物レンズ17によって検出された光は、撮像ユニット5に供給され、2つのビーム経路18aおよび18bに分割され、これらは、組織エリア3の三次元撮像を行うためのステレオ画像の左右の成分に対応する。あるいは、ビーム経路18aおよび18bのうちの1つは、省略してもよく、組織エリア3を二次元的に撮像することができる。
撮像の拡大は、ビーム経路18aおよび18bに導入されたズームユニット19によって調整することができる。管レンズ20によって、組織エリア3は、中間像面21で撮像され、そこから、撮像レンズ22によって、画像センサ23の表面に対応する像面に撮像させる。ここで、ビーム経路18aおよび18bは、ステレオ画像の左右の成分に対応する画像センサ23の2つの別々の領域に対応する。撮像レンズ22および画像センサ23は、検出ユニット24の一部である。
画像センサ23は、複数の同様のピクセルグループ25を有し、これらは、複数のピクセルグループ25の複数の行に配置されている。ピクセルグループ25のうちの1つを、図2bに拡大スケールで示す。ピクセルグループ25は、それぞれ3ピクセル(26a〜26c、26d〜26f、26g〜26i)の3行に配置された9つのピクセル26a〜26iを含む。バンドパスフィルタ(図示せず)は、ピクセルの各々に配置される。この実施例では、ピクセル26a〜26cのバンドパスフィルタは、第2のスペクトル範囲の3つのサブ範囲に対応し、ピクセル26d〜26iのバンドパスフィルタは、第2のスペクトル範囲の外側にある第1のスペクトル範囲のサブ範囲に対応している。したがって、ピクセル26a〜26iは、第1のスペクトル範囲および第2のスペクトル範囲からの光を同時にかつ空間的に分離させて検出するために一緒に構成される。ピクセルグループは、異なる数のピクセルを含み得る。第1のスペクトル範囲および第2のスペクトル範囲は、バンドパスフィルタの異なる組み合わせによって、異なる方法で様々なピクセルに分割し得る。
組織エリア3は、ピクセルグループ25によって空間的に分解可能であり、検出された光は、各ピクセルグループの個々のピクセル26a〜26iによってスペクトル分解可能であり、特に、ピクセル26a〜26cによって検出された第2のスペクトル範囲からの光に対応する第1の画像と、ピクセル26a〜26iによって検出された第1のスペクトル範囲からの光に対応する第2の画像とを生成するために組み合わせることができる。
画像センサ23は、重ね合わせユニット7(図2aに示す)(この実施例では、画像処理ユニット)に接続され、第1の画像(第1のピクセルデータセットの形態で)および第2の画像(第2のピクセルデータセットの形態で)を処理するように構成されている。特に、重ね合わせユニットは、第1の画像および第2の画像に基づいて、重ね合わせた画像(第3のピクセルデータセットの形態で)を生成するように構成される。
撮像デバイス1'は、画像センサ23を用いて、第1の画像および第2の画像を交互に含む一連の画像を検出する段階、および一連の画像を処理して、一連の重ね合わせた画像を生成する段階により、第1の画像、第2の画像、および重ね合わせた画像を繰り返し生成するように構成されている。検出ユニット24は、画像センサ23の対応する高い画像繰り返し率を提供することにより、少なくとも60Hzの繰り返し周波数により、画像を繰り返し検出するために構成されている。重ね合わせユニット7は、十分な処理能力を備えた処理ユニットを使用することにより、50ms未満のレイテンシで第3のピクセルデータセットを生成するように構成される。
重ね合わせユニット7は、重ね合わせた画像を視覚的強調表示するための表示ユニットを備える。
画像処理ユニットはさらに、ユーザインタラクションユニットを備え、それによって、ユーザは、重ね合わせた画像を生成するための1または複数の画像処理オプションおよび重ね合わせた画像を表示するための1または複数の表示オプションを選択することができる。あるいは、画像処理オプションおよび/もしくは表示オプションも固定され得るか、または他の画像処理オプションおよび/もしくは表示オプションは、以下に記載するとおり選択可能であり得る。
重ね合わせユニット7は、選択された画像処理オプションに従って強調表示画像を生成するように構成され、強調表示画像は、視覚的強調表示を含む。
以下は、強調表示画像を生成するための画像処理オプションとして、ユーザインタラクションユニットを使用して選択できる。第2の画像の閾値による強調表示画像の生成、エッジ検出による第2の画像のセグメンテーションによる強調表示画像の生成、領域検出による(例えば、領域拡張アルゴリズム(region−growing algorithm)による)第2の画像のセグメンテーションによる強調表示画像の生成、色空間変換による強調表示画像の生成(例えば、明確に見えない波長を、明確に見える表示色に置き換えることによる)、主成分分析(PCA)および/または独立成分分析(ICA)を使用した強調表示画像の生成。
他の画像処理オプション、例えば、特徴抽出および/またはオブジェクト分類および/または機械学習アルゴリズムおよび/またはニューラルネットワークの使用もまた、代替的または追加的に選択可能であり得る。
重ね合わせユニット7は、第1の画像を強調表示画像と重ね合わせることにより、重ね合わせた画像を生成し、選択した表示オプションに従って、重ね合わせた画像を表示するように構成されている。あるいは、重ね合わせた画像はまた、第1の画像の領域を強調表示画像または強調表示画像の対応する領域で置き換えることによって生成可能であり得る。
以下は、表示オプションとしてユーザインタラクションユニットによって選択可能である。強調表示領域の色ベースの区切りとしての視覚的強調表示の表示(例えば、選択可能な強調表示色または選択可能な色割り当てテーブルによる、ここで、色割り当てテーブルは、例えば、異なる強調表示色を、定量的特徴の異なる値、例えば、第2の画像および第1の画像のピクセル値の商に割り当てることができる)、強調表示領域のエッジとしての視覚的強調表示の表示、重ね合わせた画像に導入された記号による強調表示領域がないことを示すマーキング、定量的特徴の異なる値に対応する等高線の重ね合わせ。
重ね合わせた画像を視覚的強調表示により表示するように構成されているディスプレイユニットは、例えば、重ね合わせた画像を二次元表示画像または3D表示として表示するように構成され、重ね合わせた画像をステレオ画像および/またはARディスプレイ、例えば、3Dメガネ、またはユーザの両眼用のディスプレイが組み込まれた3Dメガネと組み合わせて使用できるコンピュータディスプレイとして表示するように構成されている、従来のコンピュータディスプレイであり得る。
検出ユニット24および/または重ね合わせユニット7に関してのみ図2aに示されている、撮像デバイス1'と比較して修正されたさらなる実施形態では、撮像デバイス(図示せず)は2つの接眼レンズを有する。接眼レンズは、デジタル接眼レンズ(すなわち、上記のデジタルの重ね合わせた画像を表示するためのディスプレイを備えた接眼レンズ)または光学接眼レンズであり得る。
光学接眼レンズは、図2aの画像センサ23に置き換えることができ、光学画像の形態で重ね合わせた画像を見るように構成され得る。この実施例では、重ね合わせユニットは、第1の画像および第2の画像を交互に表示および非表示にすることによって、例えば、少なくとも30Hzである交互の周波数の第1のスペクトル範囲および第2のスペクトル範囲の光により、組織エリア3を交互に照明することによって、重ね合わせた画像を生成するように構成される。次に、重ね合わせた画像は、迅速に交互に表示される第1の画像および第2の画像を個々の画像としてではなく、重ね合わせた画像として知覚する視聴者の知覚に基づいて作成され、第2の画像が、基本的に強調表示領域を示すため、視覚的強調表示は、純粋に光学的に作成される。この光学的重ね合わせの場合、第2の画像の強調表示領域が明確に見え、第1の画像が第2の画像と比較して明るすぎないようにするために、第1の画像は、灰色フィルタによって軟化可能であり得、かつ/または第1のスペクトル範囲および/または第2のスペクトル範囲からの光による照明の照明レベルは、適切に調整可能であり得る。
図3に示す医療用撮像デバイス1''は、内視鏡27を含み、これは、組織エリア3を検査するための異なる診断および/または外科的介入での使用に適している。
撮像デバイス1''は、第1のスペクトル範囲から光4aを放出するように構成されている複数の第1のLED28と、第2のスペクトル範囲から光4bを放出するように構成されている複数のLED29とを含む照明ユニット2を備える。
この実施例では、第1のスペクトル範囲は、約400nm〜700nmの波長間隔に対応する。第2のスペクトル範囲は、480nm〜500nmおよび620nm〜660nmの波長間隔に対応する2つのサブ範囲で構成される。波長間隔の外側のLED28、29によって生成された光は、適用可能である場合には、バンドパスフィルタによって抑制され得る。
第1のスペクトル範囲および第2のスペクトル範囲のこの選択により、撮像デバイスは、例えば、神経組織の検査、特に耳下腺および/または神経組織と周囲組織とを区別するために、十分に適している。これは、耳下腺および神経組織が、周囲の組織と比較して、約490nmおよび約640nmの波長で反射が増加し、吸収が減少するためである。
LED28、29によって放出された光4a、4bは、組織エリア3を照明するために、複数のレンズレット35、コレクタレンズ15、および光導波路30によって、内視鏡27の光チャネル31に結合され得る。
組織エリア3によって放出された(特に反射および散乱された)第1のスペクトル範囲および第2のスペクトル範囲からの光4a、4bは、撮像ユニット5によって検出され、これには、内視鏡27の光チャネル32内に配置された複数のレンズを含み、それにより、組織エリア3は、内視鏡27の端部に配置された検出ユニット24の画像センサ23上で撮像される。画像センサ23は、モノクロCCDまたはCMOSセンサである。
照明ユニット2は、第1のスペクトル範囲および第2のスペクトル範囲からの光4a、4bにより組織エリア3を順次照明するように構成される。この目的のために、第1のLED28および第2のLED29は、交互にオンおよびオフに切り替えることができる。あるいは、照明ユニットは、組織エリア3を順次照明するための広帯域光源および切り替え型フィルタユニットを有し得る。
撮像ユニット5は、第1のスペクトル範囲からの検出された光4aに基づいて第1の画像を、第2のスペクトル範囲からの検出された光4bに基づいて第2の画像を順次生成するように構成される。この目的のために、第1のLED28および第2のLED29の交互のオンおよびオフの切り替えは、画像センサ23による一連の画像の検出と同期され、その結果、一連の画像内の第1の画像および第2の画像が交互になる。
画像センサ23は、重ね合わせユニット7、この実施例では、画像処理ユニットに接続されており、第1の画像(第1のピクセルデータセットの形態)および第2の画像(第2のピクセルデータセットの形態)を処理するように構成される。特に、重ね合わせユニットは、撮像デバイス1'と組み合わせて上記でより詳細に記載したように、第1の画像および第2の画像に基づいて、重ね合わせた画像を生成するように構成され、この実施例における第1の画像、第2の画像、および重ね合わせた画像は、それぞれ1つの成分のみを含んでいるという違いがあり、すなわち、ステレオ画像ではなく二次元画像である。しかし、この実施例の撮像デバイス1''は、ステレオ画像を生成するために代替的に構成されてもよい。
画像センサ23はまた、RGBセンサ、すなわち、それぞれが可視光の赤成分を検出するためのピクセル、緑成分を検出するためのピクセル、および青成分を検出するためのピクセルを含む複数のピクセルグループを有する画像センサであり得る。その成分のうちの1つ、特に青色成分は、第2のスペクトル範囲に対応し得る。画像センサはまた、スナップショットセンサ(上記のとおり)または別のタイプの画像センサであり得る。例えば、撮像デバイス1'および1''の照明ユニット、撮像ユニット、および/または検出ユニットはまた、異なる方法で互いに組み合わせることができ、したがって、第1のスペクトル範囲および第2のスペクトル範囲からの光による順次および/または同時照明は、第1のスペクトル範囲および第2のスペクトル範囲からの光の順次および/または同時および/または空間的に分離したかつ/または時間的に分離した検出と組み合わせることができる。
医学的介入のための画像ベースのサポートを提供するための例示的な方法は、図4を参照して以下に記載する。
第1の方法段階S1aおよびS1bは、可視波長範囲を含む第1のスペクトル範囲からの光(段階S1a)、および第1のスペクトル範囲とは異なる第2のスペクトル範囲からの光(段階S1b)による組織エリアの照明を含む。段階S1aおよびS1bは、同時にまたは順次実行され得る。
同様に同時にまたは順次実行され得る第2の方法段階S2aおよびS2bは、第1のスペクトル範囲(段階S2a)および第2のスペクトル範囲(S2b)から光を検出する段階を含む。
第3の方法段階S3aおよびS3bは、第1のスペクトル範囲からの検出された光に基づく組織エリアの第1の画像を生成(段階S3a)する段階、および第2のスペクトル範囲からの検出された光に基づく組織エリアの第2の画像を生成する段階(段階S3b)を含む。段階S3aおよびS3bは、ここでも、同時にまたは順次実行され得る。
第4の方法段階4は、第1の画像および第2の画像から重ね合わせた画像を生成する段階であって、重ね合わせた画像において、視覚的強調表示に基づいて、組織エリアが、組織エリアの他の領域と比較して、第2のスペクトル範囲からの光の放出が増えていることにより特徴付けられる強調表示領域を含むか否か、および組織エリアが含む場所を識別することが可能であるようにする、段階を含む。
この方法は、さらなる段階を含んでもよく、かつ/または医療用撮像デバイス1、1'、1''に関連して上述の特徴に従って、および特許請求の範囲および他の説明において改良され得る。
図2a/図2bに従って撮像デバイス1'に関連して上述のとおり、そのような撮像デバイスは、中耳組織エリアを検査するために、記載された方法で使用され得、重ね合わせた画像の強調表示領域によって、中耳組織エリアが欠陥があるように変化した上皮組織、特に真珠腫性中耳炎組織を含むか否か、および組織エリアが含む場所を結論付けることが可能である。
この使用は、図5に示す真珠腫性中耳炎組織および骨組織の測定されたスペクトル特性の知識に基づく。
曲線33(実線)は、光波長λ(nm単位)の関数として、mm−1単位のダブルビーム分光計を使用した測定によって決定された中耳の骨組織の吸収係数pa(複数のサンプルでの平均)を示している。曲線34(破線)は、光波長λ(nm単位)の関数として、mm−1単位のダブルビーム分光計を使用した測定によって決定された中耳の真珠腫性中耳炎組織の吸収係数pa(複数のサンプルでの平均)を示している。
曲線33および34に基づいて、真珠腫性中耳炎組織は、中耳の周囲骨組織と比較して、特に、近紫外線、青色光、および青緑色光の反射が増加し、吸収が減少していることが明らかである。両方の曲線は、約310nm未満では実質的に合致している。真珠腫性中耳炎組織による吸収の増加を示す波長範囲は、約310nmから始まり、全体で約600nmまで拡大しているが、骨組織サンプル中に残存している血液でのスペクトル特性のために、局所吸収極大A(約400nm)およびB(約550nmの2倍の最大値)が生じていることに留意のこと。このため、真珠腫性中耳炎組織と実際の骨組織との間のスペクトル差は、波長が増加するとともにすでに600nm未満で互いに接近している。600nmを超えると、2つの曲線は再び実質的に合致している。
したがって、約370nm〜480nmの波長間隔またはその1または複数のサブ間隔に対応するように第2のスペクトル範囲を選択することは、2つのタイプの組織(真珠腫性中耳炎組織および骨組織)を区別するのに特に十分に適している。これは、この範囲では、2種類の組織の吸収の差がほぼ1桁であるためである。したがって、特定の用途では、医療用撮像デバイス1'(図2aおよび図2bの説明を参照)に関する第1のスペクトル範囲および第2のスペクトル範囲の選択が非常に適しており、スペクトル範囲のそのような選択もまた、本発明による撮像デバイス1''または撮像デバイスの他の任意の実施形態のために提供され得る。
[参照標識リスト]
1、1'、1'' 撮像デバイス
2 照明ユニット
3 組織エリア
4、4a、4b 光
5 撮像ユニット
6a 第1の画像
6b 第2の画像
7 重ね合わせユニット
8 重ね合わせた画像
9 視覚的強調表示
10 強調表示領域
11 他の領域
13 患者
14 広帯域光源
15 コレクタレンズ
16 コンデンサ
17 対物レンズ
18a、18b ビーム経路
19 ズームユニット
20 管レンズ
21 中間像面
22 撮像レンズ
23 画像センサ
24 検出ユニット
25 ピクセルグループ
26a〜26i ピクセル
27 内視鏡
28 第1のLED
29 第2のLED
30 光ガイド
31 光チャネル
32 光学チャネル
33 骨組織の吸収係数
34 真珠腫性中耳炎組織の吸収係数
35 レンズレットA、B
吸収極大S1a〜S4 方法段階

Claims (15)

  1. 医療用撮像デバイスであって、
    可視波長範囲を含む、第1のスペクトル範囲からの光、および前記第1のスペクトル範囲とは異なる第2のスペクトル範囲からの光により組織エリアを照明するように構成されている照明ユニットと、
    前記第1のスペクトル範囲からの光を検出し、前記第1のスペクトル範囲からの検出された前記光に基づいて、前記組織エリアの第1の画像を生成するように構成され、かつ前記第2のスペクトル範囲からの光を検出し、前記第2のスペクトル範囲からの前記検出された光に基づいて、前記組織エリアの第2の画像を生成するようにさらに構成されている撮像ユニットと、
    前記第1の画像および前記第2の画像に基づいて重ね合わせた画像を、前記重ね合わせた画像において、視覚的強調表示に基づいて、前記組織エリアが、前記組織エリアの他の領域と比較して、前記第2のスペクトル範囲からの光の放出が増えていることにより特徴付けられる強調表示領域を含むか否か、および前記組織エリアが含む場所を識別することが可能であるように生成するように構成されている重ね合わせユニットと、
    を備える医療用撮像デバイス。
  2. 前記第1のスペクトル範囲は、450nmを超える可視波長の少なくとも1つのサブ範囲を含み、前記第2のスペクトル範囲は、350nm〜500nm、特に370nm〜480nm、好ましくは400nm〜450nmの波長の少なくとも1つのサブ範囲を含み、380nm未満および/または450nmを超える波長の少なくとも1つのサブ範囲を省略している、請求項1に記載の医療用撮像デバイス。
  3. 前記照明ユニットは、前記第1のスペクトル範囲および前記第2のスペクトル範囲からの光により前記組織エリアを順次照明するように構成され、かつ/または前記撮像ユニットは、前記第1の画像および前記第2の画像を順次生成するために構成される、請求項1または2に記載の医療用撮像デバイス。
  4. 前記照明ユニットは、前記第1のスペクトル範囲および前記第2のスペクトル範囲からの光により前記組織エリアを同時に照明するように構成され、かつ/または前記撮像ユニットは、前記第1の画像および前記第2の画像を同時に生成するように構成され、前記第1の画像および前記第2の画像は、少なくとも1つの光学フィルタによって空間的に分離される、請求項1または2に記載の医療用撮像デバイス。
  5. 前記重ね合わせユニットは、前記第1の画像および前記第2の画像を交互に生成および/または表示および/または非表示および/またはリフレッシュすることによって、前記重ね合わせた画像を生成するように構成され、前記第1の画像および前記第2の画像を交互にする周波数、ならびに/または前記第1の画像もしくは前記第2の画像をリフレッシュおよび/もしくは生成および/もしくは表示および/もしくは非表示する周波数は、少なくとも30Hzであり、好ましくは少なくとも60Hzである、請求項1〜4のいずれか一項に記載の医療用撮像デバイス。
  6. 前記医療用撮像デバイスは、ENT顕微鏡および/もしくは外科用顕微鏡および/もしくは内視鏡であるか、または前記ENT顕微鏡および/もしくは前記外科用顕微鏡および/もしくは前記内視鏡を備える、請求項1〜5のいずれか一項に記載の医療用撮像デバイス。
  7. 前記第1の画像に対応する第1のピクセルデータセットと前記第2の画像に対応する第2のピクセルデータセットとを検出するように構成されている検出ユニットをさらに備え、前記重ね合わせユニットは、前記重ね合わせた画像に対応する第3のピクセルデータセットを前記第1のピクセルデータセットと前記第2のピクセルデータセットとに基づいて生成するように構成されている画像処理ユニットであるか、または前記画像処理ユニットを有する、請求項1〜6のいずれか一項に記載の医療用撮像デバイス。
  8. 前記検出ユニットは、少なくとも30Hz、好ましくは少なくとも60Hzの繰り返し周波数により画像の繰り返し検出を行うために構成され、かつ/または前記画像処理ユニットは、100ms未満、好ましくは50ms未満のレイテンシで前記第3のピクセルデータセットを生成するように構成されている、請求項7に記載の医療用撮像デバイス。
  9. 前記検出ユニットが、複数のピクセルグループを有する画像センサを有し、前記複数のピクセルグループの各々は、前記第1のスペクトル範囲からの光を検出するように構成されている少なくとも1つの第1のピクセル、好ましくは複数の第1のピクセル、および前記第2のスペクトル範囲からの光を検出するように構成されている少なくとも1つの第2のピクセル、好ましくは複数の第2のピクセルを含む、請求項7または8に記載の医療用撮像デバイス。
  10. 前記複数のピクセルグループが、特に接合センサチップ上に、行ごとに複数のピクセルグループの複数の行に同一平面上に配置されている、請求項9に記載の医療用撮像デバイス。
  11. 前記画像処理ユニットは、前記第2の画像の閾値によって、および/または前記第2の画像のセグメンテーションによって、および/または色空間変換、および/または特徴抽出、および/またはオブジェクト分類、および/またはパターン認識および/または主成分分析および/または独立成分分析によって、前記視覚的強調表示を生成するように構成されている、請求項7〜10のいずれか一項に記載の医療用撮像デバイス。
  12. 前記第1のスペクトル範囲は、450nmを超える可視波長の少なくとも1つのサブ範囲を含み、450nm未満の波長の少なくとも1つのサブ範囲、特に前記第2のスペクトル範囲の少なくとも1つのサブ範囲を省略し、前記第2のスペクトル範囲は、370nm〜480nmの波長の少なくとも1つのサブ範囲を含み、380nm未満の波長の少なくとも1つのサブ範囲を省略している、請求項1〜11のいずれか一項に記載の医療用撮像デバイス。
  13. 医学的介入のための画像ベースのサポートを提供するための方法であって、
    可視波長範囲を含む、第1のスペクトル範囲からの光、および前記第1のスペクトル範囲とは異なる第2のスペクトル範囲からの光により組織エリアを照明する段階と、
    前記第1のスペクトル範囲および前記第2のスペクトル範囲からの光を検出する段階と、
    前記第1のスペクトル範囲からの検出された前記光に基づいて前記組織エリアの第1の画像を生成し、前記第2のスペクトル範囲からの前記検出された光に基づいて前記組織エリアの第2の画像を生成する段階と、
    前記第1の画像および前記第2の画像から重ね合わせた画像を、前記重ね合わせた画像において、視覚的強調表示に基づいて、前記組織エリアが、前記組織エリアの他の領域と比較して、前記第2のスペクトル範囲からの光の放出が増えていることにより特徴付けられる強調表示領域を含むか否か、および前記組織エリアが含む場所を識別することが可能であるように生成する段階と、
    を備える方法。
  14. 前記第1のスペクトル範囲は、450nmを超える可視波長の少なくとも1つのサブ範囲を含み、450nm未満の波長の少なくとも1つのサブ範囲、特に前記第2のスペクトル範囲の少なくとも1つのサブ範囲を省略し、前記第2のスペクトル範囲は、370nm〜480nmの波長の少なくとも1つのサブ範囲を含み、380nm未満の波長の少なくとも1つのサブ範囲を省略している、請求項13に記載の方法。
  15. 請求項13または14に記載の方法によって中耳組織エリアを検査するための、請求項1〜12のいずれか一項に記載の医療用撮像デバイスの使用。
JP2020189620A 2019-11-13 2020-11-13 医療用撮像デバイスおよび医療用撮像デバイスの作動方法 Active JP7291314B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019217541.4A DE102019217541A1 (de) 2019-11-13 2019-11-13 Medizinische Bildgebungseinrichtung, Verfahren und Verwendung
DE102019217541.4 2019-11-13

Publications (2)

Publication Number Publication Date
JP2021079102A true JP2021079102A (ja) 2021-05-27
JP7291314B2 JP7291314B2 (ja) 2023-06-15

Family

ID=75683166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020189620A Active JP7291314B2 (ja) 2019-11-13 2020-11-13 医療用撮像デバイスおよび医療用撮像デバイスの作動方法

Country Status (3)

Country Link
US (1) US11547290B2 (ja)
JP (1) JP7291314B2 (ja)
DE (1) DE102019217541A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11903774B2 (en) * 2021-09-02 2024-02-20 Cilag Gmbh International Methods and devices for interleaved surgical imaging

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011010998A (ja) * 2009-07-06 2011-01-20 Fujifilm Corp 内視鏡用照明装置および内視鏡装置
JP2011224038A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置及びプログラム
JP2012511361A (ja) * 2008-12-11 2012-05-24 フンダシオ クリニック ぺル ア ラ レセルカ ビオメディカ 解剖学的構造の赤外線ビジョンのための装置およびそのシグナル処理方法
US20120220823A1 (en) * 2011-02-25 2012-08-30 Samsung Electronics Co., Ltd. Endoscope apparatus capable of providing narrow band imaging and image processing method of the endoscope apparatus
WO2017221335A1 (ja) * 2016-06-21 2017-12-28 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018045269A1 (en) * 2016-09-02 2018-03-08 Ohio State Innovation Foundation System and method of otoscopy image analysis to diagnose ear pathology

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270689B2 (en) * 2006-09-12 2012-09-18 Carestream Health, Inc. Apparatus for caries detection
US9654745B2 (en) * 2010-03-17 2017-05-16 Haishan Zeng Rapid multi-spectral imaging methods and apparatus and applications for cancer detection and localization
US20120083772A1 (en) * 2010-09-30 2012-04-05 Curveright Llc Corneal treatment system and method
JP5642619B2 (ja) * 2011-05-12 2014-12-17 富士フイルム株式会社 医療装置システム及び医療装置システムの作動方法
EP2926713A4 (en) * 2012-11-30 2016-07-20 Olympus Corp OBSERVATION DEVICE
WO2014117956A2 (en) * 2013-02-04 2014-08-07 Helen Of Troy Limited Ear inspection device and method of determining a condition of a subject's ear
CN106455964B (zh) * 2014-05-05 2022-04-05 特洛伊海伦有限公司 基于光谱分析的耳镜及耳镜检查的方法
US9022291B1 (en) * 2014-07-24 2015-05-05 Apple Inc. Invisible optical label for transmitting information between computing devices
WO2017049000A1 (en) * 2015-09-15 2017-03-23 Massachusetts Institute Of Technology Systems and methods for diagnosis of middle ear conditions and detection of analytes in the tympanic membrane
US10726814B2 (en) * 2017-01-27 2020-07-28 Canon Kabushiki Kaisha Image display apparatus, image processing apparatus, image display method, image processing method, and storage medium
EP3417763A1 (en) * 2017-06-22 2018-12-26 Helmholtz Zentrum München - Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) System for endoscopic imaging
CN117354636A (zh) * 2018-07-12 2024-01-05 直观外科手术操作公司 多带通拜耳图案滤波器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012511361A (ja) * 2008-12-11 2012-05-24 フンダシオ クリニック ぺル ア ラ レセルカ ビオメディカ 解剖学的構造の赤外線ビジョンのための装置およびそのシグナル処理方法
JP2011010998A (ja) * 2009-07-06 2011-01-20 Fujifilm Corp 内視鏡用照明装置および内視鏡装置
JP2011224038A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置及びプログラム
US20120220823A1 (en) * 2011-02-25 2012-08-30 Samsung Electronics Co., Ltd. Endoscope apparatus capable of providing narrow band imaging and image processing method of the endoscope apparatus
WO2017221335A1 (ja) * 2016-06-21 2017-12-28 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018045269A1 (en) * 2016-09-02 2018-03-08 Ohio State Innovation Foundation System and method of otoscopy image analysis to diagnose ear pathology

Also Published As

Publication number Publication date
US11547290B2 (en) 2023-01-10
DE102019217541A1 (de) 2021-05-20
JP7291314B2 (ja) 2023-06-15
US20210137375A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
CN111345903B (zh) 图像处理设备、荧光观察设备及模拟荧光观察设备的方法
CN110269700B (zh) 增强现实手术显微镜和显微镜学方法
US10605661B2 (en) Image capturing with filters of overlapping passbands
US8440984B2 (en) Fluoroscopy system
EP3205254B1 (en) Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
KR102309075B1 (ko) 수술 로봇용 확대 입체 가시영상
US9727962B2 (en) System for visualizing tissue in a surgical region
US20160086380A1 (en) Hyperspectral imager
CN107847117B (zh) 图像处理装置及图像处理方法
JP5432510B2 (ja) 照明領域で部位を蛍光分析するシステム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6745508B2 (ja) 画像処理システム、画像処理装置、投影装置、及び投影方法
CN107754063B (zh) 用于观察对象的视觉增强的观察装置和方法
US20190041333A1 (en) Imaging method using fluoresence and associated image recording apparatus
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
CN112089403A (zh) 多光谱医用多路成像方法及其系统
JP7063604B2 (ja) 電子式の顕微鏡
JP2021079102A (ja) 医療用撮像デバイス、方法、および使用
US10264190B2 (en) Adaptive optical methods and devices for enhancing image contrast in the presence of bright background
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
US20240252276A1 (en) Method for providing an image representation by means of a surgical microscope, and surgical microscope
WO2024009204A1 (en) Controller for a surgical microscope and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230512

R150 Certificate of patent or registration of utility model

Ref document number: 7291314

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150