本明細書に記載されるマルチスペクトル医用撮像装置及び方法は、反射強度を測定し、それを反射標準と比較する。周辺光減算とメラニン補正も説明される。ニアビデオ又はビデオフレームレートがリアルタイムで達成可能である。処理のオーバーヘッドを軽減しフレームレートを向上するために、ローリング処理の技術と対数差分処理が用いられてよい。動き補正を行うために画像レジストレーション(Image registration)が用いられてよい。曲率の高い領域、及び血管系を含む領域は、処理された酸素飽和濃度画像から削除又はマスクされてよい。差分モードは、参照フレームに対する酸素飽和度の差分を観察することを可能にする。標的組織に対する装置の適切な位置決めを補助するために、レーザー枠決めアレイ及びレーザー位置決めアレイ(Laser framing and positioning arrays)が更に提供される。
本明細書で説明される分光技術は、標的組織における3つの要素、すなわち酸化ヘモグロビン、脱酸素化ヘモグロビン、及びメラニン、の濃度を決定するために用いることができる。対象の組織は、近赤外(NIR)光によって照明され、この光の一部は酸化ヘモグロビン、脱酸素化ヘモグロビン、及びメラニンによって吸収され、一部の光は散乱される。吸光量は、波長及び各要素の濃度に依存する。散光は、波長及び路長に依存する。乱反射された光は近赤外イメージセンサによってキャプチャされる。近赤外光の異なる波長帯から乱反射された光をキャプチャすることで、3つの要素の濃度と、散乱光の量とを決定することができる。測定されたメラニン濃度は、酸化ヘモグロビン及び脱酸素化ヘモグロビンの濃度を補正するために用いることができる。可視スペクトル内の光も、キャプチャ及び処理されてよい。これらの特徴ならびに他の特徴、及び本発明の側面が、以下に説明される。
図1は、本発明の一の実施形態によるマルチスペクトル医用撮像装置10の図を示す。
マルチスペクトル医用撮像装置10は、複数の照明装置12及び14、対物レンズ16、ビームスプリッタ18、近赤外イメージセンサ20、及び可視光イメージセンサ22を含む。
近赤外照明装置12は、標的組織24を照明するように配置される。近赤外照明装置12は、異なる近赤外波長帯の光26を発光するように構成される。可視光照明装置14は、標的組織24を、白色光等の可視スペクトラムの光28で照明するように配置される。照明装置12、14によって発光された近赤外光及び可視光26、28は、以下に説明されるとおり、標的組織の同じ一般領域に時系列的に当たる。照明装置12、14は、適切な波長の発光ダイオード(LED)を含み得る。照明の均一性を向上するために、1以上のフライアイ集光レンズが照明装置12、14の光路内に設けられてよい。多くの実装において、可視光照明装置14は省略され得る。
本実施例では、近赤外照明装置12は、公称ピーク波長が約740、780、850、及び940nmである近赤外波長帯を有する4つのLEDである。
対物レンズ16は、標的組織24から反射された光30をキャプチャし、該キャプチャされた光30をビームスプリッタ18に向けて配向するように位置付けられる。対物レンズ16は任意の適切な種類及び構成であってよい。リレー光学系も備えられ得る。一の例において、分析されるべき標的組織24の領域のサイズは約200mm×約150mmであり、対物レンズ16はこのような面積に合わせて適切に選択されることができる。
ビームスプリッタ18は、ダイクロイックビームスプリッタ又は同様の光学装置であってよい。ビームスプリッタ18は、対物レンズ16から受信されたキャプチャされた光30を、近赤外光32及び可視光34へと分割するように配置される。ビームスプリッタ18はキャプチャされた近赤外光32を近赤外イメージセンサ20に向けて配向し、キャプチャされた可視光34を可視光イメージセンサ22に向けて配向するように配置される。一の例において、ビームスプリッタ18は、約700nm未満の波長を可視光イメージセンサ22へと配向し、約700nmより大きい波長を近赤外イメージセンサ20へと配向する。
近赤外イメージセンサ20は、標的組織24から反射された近赤外光32を対物レンズ16経由でキャプチャするように配置される。近赤外イメージセンサ20は近赤外光32を、適切なビデオフレームレートを超える(例えば、24フレーム/秒(FPS)より大きい)波長のシーケンス画像フレームとしてキャプチャするように構成される。異なる近赤外波長帯の隣接フレームが、ビデオフレームレート(24FPS)のような低下されたフレームレートの酸素飽和度フレームのシーケンスとして組み合わせられて、以下に詳述する動的組織酸素飽和度マップを作成する。近赤外イメージセンサ20は、近赤外波長への感度が高い相補型金属酸化物半導体(CMOS)素子を含み得る。
可視光イメージセンサ22は、標的組織24から反射された可視光34を対物レンズ16経由でキャプチャするように配置される。可視光画像フレームは、近赤外光32をキャプチャする画像フレームのシーケンスに含まれてよく、近赤外波長帯の各々と同じレート又はそれ以下でキャプチャされてよい。可視光センサー22は、ベイヤーマスクされたRGB CMOS素子を含み得る。
マルチスペクトル医用撮像装置10は、照明ドライバー40、画像キャプチャバッファ42、メモリ44、プロセッサ46、ディスプレイ48、及びユーザーインターフェース52を更に含む。
照明ドライバー40は、プロセッサ46に接続されている。照明ドライバー40は、駆動力を照明装置12、14へ制御可能に提供し、プロセッサ46によって制御されるシーケンスに従って照明装置12、14を動作させる回路である。
画像キャプチャバッファ42は、イメージセンサ20、22に接続されたメモリを含み、近赤外イメージセンサ及び可視光イメージセンサ20、22によってキャプチャされた画像フレームをバッファするように動作可能である。画像キャプチャバッファ42は、プロセッサ46に接続され、プロセッサ46が画像フレームのキャプチャシーケンスを制御できるようにする。画像キャプチャバッファ42は更に、キャプチャ及び/又は処理された画像フレーム用の格納領域を提供するメモリ44に接続される。
メモリ44はプロセッサ46に接続され、キャプチャ及び/又は処理された画像フレームと、本明細書に記載の機能を実装するためにプロセッサ46によって実行可能な1以上のプログラムとを格納する。メモリ44は、一時変数及び中間処理値又は画像用の短期的なワーキングメモリ領域を提供する。メモリはまた、動的組織酸素飽和度マップの不確定な記録等の長期的格納も提供できる。メモリ44は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、フラッシュメモリ、ハードディスクドライブ、光学格納ドライブ等の個別の装置又は装置の組み合わせを含んでよい。
プロセッサ46は、任意の種類のマイクロプロセッサ、中央処理装置(CPU)、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)等であり得る。プロセッサ46は、1以上のプログラムによって、照明装置12、14によって出力される近赤外光及び可視光26、28を変調して標的組織24を照明するように構成される。プロセッサ46は、照明装置12、14を順次駆動して画像フレームを順次キャプチャすることによって、標的組織24を照明するように照明装置12、14を変調することができ、ここで各画像フレームは異なる波長帯による標的組織の照明に対応する。プロセッサ46は、イメージセンサ20、22によってキャプチャされた画像フレームから反射強度を決定し、反射強度を用いて標的組織24の動的組織酸素飽和度マップを生成するように、1以上のプログラムによって更に構成される。これは以下に詳述する。
ディスプレイ48は、プロセッサ46に接続され、動的組織酸素飽和度マップ50を表示するように構成された出力装置であって、表示はリアルタイム及び/又はビデオフレームレートで行われ得る。ディスプレイ48は、臨床医又は装置10を操作するその他のユーザーが簡便に見ることができるように位置付けられてよい。追加又は代替の出力装置は、組織そのものの上に重ねて表示されるように、動的組織酸素飽和度マップを標的組織24に投影するプロジェクターである。
ユーザーインターフェース52は、プロセッサ46に接続され、ボタン、スイッチ、ダイヤル、ディスプレイ48のタッチ式素子、これらの組み合わせ、等のユーザーインターフェース制御を含んでよい。ユーザーインターフェース52は、電源のオン/オフ、様々な要素のオン/オフ(例えば、レーザーの枠決め/ピント合わせ)、設定の調整(例えば、本明細書に記載する閾値又はパラメータ)、及び、後述する時間差操作用の参照フレームの選択等の選択を含む、臨床医によるマルチスペクトル医用撮像装置10の制御を可能にする。
マルチスペクトル医用撮像装置10は、レーザー位置決めアレイ(laser positioning array)60及びレーザー枠決めアレイ(laser framing array)62のいずれか又は両方を更に含んでよい。レーザー位置決めアレイ60は、標的組織24の一般的な方向にレーザー光線を照射するよう配置されたダイオードレーザー等の2つのレーザー源64を含む。位置決めスポットが標的組織上に照射され、装置10は標的組織から遠ざかる又は近づくように前後に移動されて、位置決めスポットを移動させることができる。位置決めスポットは、対物レンズ16の正確なピント合わせ位置に達しているか、又は、正確なピント合わせ位置に達するために装置10を標的組織24に近づける又は遠ざけるように移動されるべきかを示すために用いられる。これは以下に詳述する。
レーザー枠決めアレイ62は、標的組織24に向けて1以上の光線を発光するよう配置されたダイオードレーザー等の1以上のレーザー源66を含む。1以上のレーザーポイントが標的組織上に照射され、装置10を回転、傾転、または移動させて、スポットを標的組織24上に整列させることができる。これは、後続の酸素化測定セッション中に、対物レンズ16から所望の測定位置に標的組織24を繰り返し位置決めするのを補助できる。これは以下に詳述する。
マルチスペクトル医用撮像装置10は、背景照明のレベル又は変化を検出するよう位置付けられる周辺光センサー68を更に含み得る。周辺光センサー68はプロセッサ46に接続されており、可視光センサー、赤外光センサー、これらの組み合わせ、等であり得る。
マルチスペクトル医用撮像装置10の構成要素の全て又は一部は、図2に示すとおり筐体58内に設けられてよい。具体的には、筐体58は対物レンズ16用の開口を含んでよく、空間的に均一な照明を促進するために、照明装置12、14の全て又は一部が、対物レンズ16の周囲の1以上の円環内に配置されてよい。
図3を参照すると、プロセッサ46は、近赤外照明装置12の各々による標的組織24の照明に対応する画像フレーム72のウィンドウ70でローリング処理を行うように構成される。各画像フレーム72は、近赤外照明装置12の波長帯のうちの1つに対応する。すなわち、ローリングウィンドウ70が図示の位置にある場合、波長帯λ1、λ2、λ3、λ4の連続する画像フレーム72が組み合わせられて出力フレーム74(「A」と表記、対応するソース画像フレーム72を示すためだけに幅広に図示されている)を形成する。次の画像フレーム72(波長帯λ1)がキャプチャされると、ローリングウィンドウ70は、波長帯λ2、λ3、λ4、λ1の連続する画像フレーム72が組み合わせられて後続の出力フレーム74(「B」と表記)が形成されるよう移動される。この処理は、出力フレームのシーケンスが動的組織酸素飽和度マップを形成するところのキャプチャシーケンスにわたって継続する。
把握可能なとおり、動的組織酸素飽和度マップのフレームレートは、近赤外照明装置12によって出力される全波長帯の変調周波数の組み合わせにおよそ等しい。すなわち、新規の出力フレーム74は、新規の近赤外画像フレーム72の各々が近赤外イメージセンサ20によってキャプチャされた後で生成可能である。出力フレームレートは、順次キャプチャされるよう、多数の異なる近赤外波長帯からこのようにして分離される。しかしながら、これは可視光イメージセンサ22による可視光画像フレームのキャプチャを考慮していない。また、これは、近赤外照明装置12がオフである際の近赤外イメージセンサ20によってキャプチャされる周辺近赤外画像フレームを考慮していない。可視光画像フレーム及び周辺近赤外画像フレームは、必ずしも同じ周波数ではないが、近赤外画像フレーム72と共にキャプチャされる。キャプチャされる可視光画像フレーム及び/又は周辺近赤外画像フレームの数が増加すると、全体の出力フレームレートが低下する場合がある。しかしながら、このような画像フレームは補正のために用いられることから、これは有益である場合がある。
図4は酸素飽和度計算を示す。
組織酸素飽和度は、ランベルト・ベールの法則に基づき、4つの異なる近赤外波長帯において空間的に分解された標的組織の反射を用いて酸化ヘモグロビン(HbO2)と脱酸素化ヘモグロビン(Hb)の相対濃度(C)を決定する分光技術から導かれる。組織酸素飽和度は、以下の式に従ってプロセッサ46によって算出可能である:
画像キャプチャバッファ42(図1)は、キャプチャするべき近赤外波長帯λ1、λ2、λ3、λ4の各々について1以上の画像バッファ80を含んでよい。画像バッファ80は、ローリング処理について上述したように順次充填される。次の画像バッファ80が充填された後、組織酸素飽和度STO2を求めるために酸素飽和度計算82が行われる。すなわち、近赤外イメージセンサ20によってキャプチャされた新規の近赤外画像フレームによって波長帯λ1の画像バッファ80が充填されると、酸素飽和度計算82が行われる。その後、近赤外イメージセンサ20によってキャプチャされた新規の近赤外画像フレームによって波長帯λ2の画像バッファ80が充填されると、酸素飽和度計算82が再度行われる。画像バッファ80の循環型の充填は、各充填の後に行われる新規の酸素飽和度計算82と共に繰り返される。
酸素飽和度計算82に先立って、背景又は周辺赤外放射の補正が行われてよい。周辺画像バッファ84に格納された、キャプチャされた標的組織24の周辺画像が、画像バッファ80の各コンテンツから減算されてよい。結果はその後、周辺補正画像バッファ86に転送される。
標的組織24の周辺画像は、プロセッサ46が近赤外照明装置12をオフにし、さらに、画像フレームをキャプチャするように近赤外イメージセンサ20を制御することによってキャプチャ可能である。これは、最新の周辺赤外画像を周辺画像バッファ84に保持しつつ、例えば対象とする近赤外波長帯(例えばλ1、λ2、λ3、λ4)のキャプチャされたシーケンスの各々につき1回、といったように繰り返し行われてよい。別法として、これは、近赤外波長帯のキャプチャされたシーケンスN個につき1回といったように、より低い頻度で行われてよい。適切なNの値は、期待される利用シナリオに基づいて決定できる。例えば、1秒に1回周辺画像フレームをキャプチャすれば十分であり得る(例えば24FPS、N=24)。別の例においては、1分に1回、もしくはより長い間隔で周辺画像フレームをキャプチャすれば十分であり得る。更に、プロセッサ46と周辺画像バッファ84は、2以上のキャプチャされた周辺画像の時間平均を算出して格納するよう構成されてよい。
別法として、閾値を超える周辺赤外照明の変化があったとプロセッサ46が判定した際に周辺画像のキャプチャをトリガーするために、プロセッサ46に接続された周辺光センサー68を用いることができる。周辺光センサー68は、変化を直接検出可能な赤外光センサーであってよい。別法として、周辺光センサー68は、周辺赤外照明の変化を示唆する周辺可視光照明の変化を検出する可視光センサーであってよい。
差分処理、又は変化に基づいた処理88が、周辺補正画像バッファ86に格納された画像に行われる。各波長帯について、差分処理88は、特定の波長帯の参照標準の役割を果たす参照画像90の対数値を用いる。差分処理88は、反射強度を酸化及び脱酸素化ヘモグロビンの濃度と関連付ける係数行列92を更に参照する。これは処理のオーバーヘッドを軽減し、出力フレームレートを向上できる。
参照画像90の対数値は、拡散反射率約100%のキャプチャされた近赤外画像に基づいてあらかじめ算出されてよく、これらの値は、製造時に行われる初回のキャリブレーション処理中に確立されてよい。
差分処理88は図5に詳しく示される。各近赤外波長帯の画像には、プロセッサ46によって実行される同じ一般処理88が行われる。
ステップ94で、反射強度又は現在の画像フレームの値に対数関数が適用される。その後ステップ96で、前フレーム98の格納された対数値が、ステップ94で取得された現在のフレームについて算出された対数値から減算される。続いてステップ100において、ステップ96の結果が参照画像90の対数値から減算されて作業用差分(つまり一時値)を得る。ステップ102で、係数92が作業用差分に適用されて濃度変化を得る。ステップ104は酸素化(oxygenated)及び脱酸素化(deoxygenated)ヘモグロビン濃度の前回値を、ステップ102で得られた濃度変化によって更新することで、この波長帯の拡散反射強度を反映することを含む。ステップ106で、現在のフレームの対数値は、前フレーム98の対数値として格納される。処理はその後、ステップ108において、次フレームに進む。
差分処理88は、1以上の関数、プロシージャ、数式、アルゴリズム、これらの組み合わせ、等によって実装されてよい。ステップは例示的であり、異なる順序で行われたり、より大きなステップとして組み合わせたりされ得る。対数関数は、メモリ44に格納されるルックアップテーブルとして実装されてよい。
係数行列92の一例が、以下の数式に示される。式の左側は、様々な波長について近赤外イメージセンサ20によってキャプチャされた光の強度を表す。Aλ1〜Aλ4は拡散反射率を表す。右側には2つの部分:定数部と変数部がある。定数部は、酸化ヘモグロビン(HbO2)と脱酸素化ヘモグロビン(Hb)両方について、対象となる様々な近赤外波長の吸光係数εを表す項を含む。定数部は、あらかじめ計算され、係数行列92に格納されてよい。変数部は、層メラニン分布の厚さを表す因数Lで修飾された、酸化ヘモグロビン(HbO2)と脱酸素化ヘモグロビン(Hb)との濃度C、すなわち求めるべき値、を含む。
プロセッサ46は、標的組織24上の皮膚のメラニン補正77を行うように構成されてよい。これは、メラニン(M)、脱酸素化ヘモグロビン(Hb)、及び酸化ヘモグロビン(HbO2)を発色団として用いてランベルト・ベールモデルによって行われてよい。
対象となる各波長Aλ1〜Aλ4について測定された拡散反射率は、以下の数式によってモデル化されてよい。ここでRSは、特定の波長の測定されたとおりの光量を表し、ROはその波長での参照画像の強度を表し、εMはメラニンの吸光係数を表し、CMは標的組織内のメラニン濃度を表す。
メラニンの影響は、測定されたとおりの光量を低下させる。メラニンの濃度CM及び厚さLは、組み合わせられて一つのパラメータZmelとなる。メラニン濃度の決定は、可視光イメージセンサ22及びZmelについてあらかじめ算出されたキャリブレーション曲線を用いて行われる。
可視光イメージセンサ22の出力は、全体の画像バッファ42(図1)の可視光画像バッファ76に格納できる。この例において、メラニン補正はCIELAB色空間において行われる。可視光イメージセンサ22としてRGBセンサーが選択された場合、プロセッサ46は色空間変換78を行って、キャプチャされたRGB値からL*a*b*値を取得するように構成される。
プロセッサ46は、補正パラメータZmelの特定の値を、明るさL*及び反対色次元b*の値を用いて得るように構成される。L*及びb*の値は、以下のような経験式によって特性角αと関連してよい:
特性角αはその後、図7に示すように、あらかじめ算出されたキャリブレーション曲線に適用されて、標的組織24上の皮膚の補正パラメータZmelの特定値を得る。キャリブレーション曲線は、基準器及び様々な皮膚色を用いて経験的に決定されてよい。キャリブレーション曲線はメモリ44に格納されてよい。
メラニン補正パラメータZmelの値が求められ、対象とする波長の近赤外光の強度RSが測定されると、上記の式は、以下のような形式の、組織酸素飽和度STO2を求める2つの式となる:
ここで組織酸素飽和度STO2は判明しており、脱酸素化ヘモグロビン(Hb)及び酸化ヘモグロビン(HbO2)濃度の2つが不明なままである(層厚さ因数Lは約分)。これら2つの式と2つの不明な要素を解くことで、酸素飽和度計算82が形成される(図4)。
上記の式及び/又は計算は、可視光量とメラニン濃度との間の所定の関係としてメモリ44(図1)に格納されてよい。
図8を参照すると、プロセッサ46は、近赤外イメージセンサ20によってキャプチャされた画像フレームに動き補正を行うように構成されてよい。
動き補正は、標的組織24の1以上の画像フレーム内のポイントを、標的組織24の別の画像フレーム内の対応するポイントと一致させる幾何学的変換を決定するために、画像レジストレーション技術を用いて行われる。
動き補正は、参照フレーム110の選択と、キャプチャされた画像フレームの1以上の後続のフレーム114、116についての画像レジストレーション係数112の算出を含んでよい。再度図4を参照すると、キャプチャされた画像バッファ80又は周辺補正画像バッファ86が、各波長帯に係る経時的に連続する画像フレームを格納するために用いられ得る。すなわち、各画像バッファ80は、2以上の経時的に隣接する画像フレームを格納するように構成されてよく、又は、各画像バッファ86はそれを格納するように構成されてよい。本明細書で述べる例において、3つの連続する画像近赤外フレームが動き補正に用いられる。動き補正は、連続する可視光画像フレームにも同様に行うことができる。
マルチスペクトル医用撮像装置10に対する標的組織24の運動が原因で、後続のフレーム114、116の実際の位置及び回転は、参照フレーム110のものとは異なり得る。
参照フレーム110は、マルチスペクトル医用撮像装置10の特定の臨床セッションでキャプチャされた最初の画像フレームであり得る。すなわち、同じ参照フレーム110が、ある患者の撮像セッションの全期間(例えば数分)にわたって用いられ得る。このような場合、プロセッサ46は、算出された画像レジストレーション係数の特定の閾値に基づいて過度の動き補正を決定し、臨床医に対して警告を発出するように構成されてよい。別法として、又は代替として、画像レジストレーション係数があまりにも多くの動き補正を要求する、又はあまりに不正確になるおそれを減らすために、新規の参照フレーム110が、例えば数秒おき、M個の画像フレーム毎(M=10、40、100等)、といったように、定期的に選択され得る。
画像フレーム110、114、116それぞれのサブ領域118、120、122が抽出され得て、画像フレーム110、114、116全体ではなく、サブ領域118、120、122において画像レジストレーション係数112の算出が行われ得る。サブ領域118は、画像フレーム110、114、116のサイズよりも小さく、画像フレームの端部から離間して配置される。この例において、各サブ領域118、120、122は、画像フレーム110、114、116それぞれの中心部である。サブ領域には、任意の適切なサイズが用いられ得る。例えば、各画像フレーム110、114、116が640×480ピクセルである場合、各サブ領域118、120、122は、中央に配置された320×240ピクセルの領域であり得る。
画像フレーム内には顕著な画像背景が存在しないと期待されるため、サブ領域118、120、122の利用は有利であり得る。すなわち、固定背景に対して移動するオブジェクトがないと期待される。むしろ、患者又は装置10の移動によって、表示そのもの全体が移動し得る。したがって、新規の情報が視界に入り得て、既存の情報が視界を出ていき得る。サブ領域118、120、122は、移動中に共通であり続けた特徴を伝達し、それにより、動き補正を可能にする。更に、サブ領域はより小さいことから、画像レジストレーション処理全体を高速化することが可能である。
画像レジストレーション係数112の近似値124が、画像フレーム110、114、116のサブ領域118、120、122の空間変換128について相関分析126を行うプロセッサ46によって決定され、これが、後続のフレーム114、116に移動近似130を提供する。
画像レジストレーション係数112の近似値124の決定後、プロセッサ46はこの近似値124を用いて、後続の画像フレーム114、116のサブ領域120、122に移動及び回転近似を適用する。これは、サブ領域120、122を参照サブ領域118に粗く一致させる。プロセッサ46はその後、おおよその移動を微調整134してレジストレーション係数112の最終値136を算出するために、画像フレーム110、114、116のおおよそ一致されたサブ領域118、120、122で特徴検出132を行う。
画像レジストレーション係数112の近似値124と画像レジストレーション係数112の最終値136とを別々に決定することで、おおよそ一致された画像において特徴検出が行われ、画像レジストレーションの速度を向上し、処理の需要を軽減できる。
近赤外イメージセンサ20によってキャプチャされた近赤外画像フレームに関して、特徴検出132は標的組織24の血管系の検出を含んでよい。血管系は、画像レジストレーション係数112の最終値136の算出を補助可能なエッジ及び強い特徴を示し得る。
可視光イメージセンサ22によってキャプチャされた画像フレームに関して、標的組織24上の皮膚の体毛。体毛はしばしば血管系の撮像では不要な特徴であり、体毛は強いエッジをもたらすことが判明していることから、特徴検出132によって具体的に標的にされてよい。追加で、又は代替として、特徴検出は、標的組織24上の皮膚上のインクマークの検出を含んでよい。このようなマークは臨床医によって付けられてよい。
プロセッサ46はその後、画像レジストレーション係数112の最終値136を用いて後続の画像フレーム114、116を参照画像フレーム110に一致させ、1以上の動き補正済み画像140を得るために画像マッピング138を行う。
図8に示す動き補正処理は、1以上の近赤外波長帯及び可視波長帯を含む、キャプチャされた各波長帯について行われてよい。画像レジストレーションの精度、及びそれによる動き補正の精度は、各波長帯が別個の特徴をもたらすことから、1以上の近赤外波長帯及び可視波長帯に行われた場合に向上できる。
動き補正のための上述の画像レジストレーション技術は、2つのイメージセンサ20、22によってキャプチャされた画像フレームを自動的に一致させて2つのイメージセンサ20、22同士の不一致を補正するためにも用いられてよい。不一致は、上述の動き補正処理と同様又は同一の処理によって補正可能な動きアーティファクトと見なすことができる。不一致の補正を達成するために、2つのイメージセンサ20、22によって標準パターンの1以上の画像がキャプチャされる。標準パターン画像はその後、変位係数を導くために画像レジストレーション処理で用いられる。この手順は、装置10の耐用年数にわたってメモリ44に格納可能な変位係数を決定するために製造時に一度行われてよい。動作時、プロセッサ46は変位係数を参照し、2つのイメージセンサ20、22からキャプチャされた画像を互いに一致させる。これは、メラニン補正や可視光画像を参照するその他のあらゆる補正を向上させるために、近赤外画像と可視光画像との間のデジタル的な一致を提供しつつ、製造時に2つのイメージセンサ20、22の物理的な一致において若干の誤りを有利に許容する。
図9に示すように、動的組織酸素飽和度マップ50から曲率の高い領域を省略するために、プロセッサ46は、マスキングを行うように構成されてもよい。図9は、標的組織の動的組織酸素飽和度マップ50のサンプル画像を示す。大きな中心部150は、疑似カラーで、本明細書に記載の技術を用いて決定された酸化/脱酸素化情報を含む。マップ50の平面に対して曲率の高い領域は、臨床医による理解を向上させるために、酸化/脱酸素化情報を選択された視覚化と置換するためにマスクされている。曲率の高い領域へのマスクの例が152に示されている。
標的組織24等の乱反射する面から観察される放射強度は、対物レンズ16(図1)の視線と面法線との間の角度のコサインに正比例する。標的組織のいかなる曲面も、イメージセンサ20、22によってキャプチャされる光量を低下させ得る。曲面を原因とする酸素飽和度の値の誤りは、臨床医に誤った判断をさせ得る。マスクは、誤りが閾値の量よりも多い場所に適用されるように選択される。
マスク152を生成するために、各近赤外波長帯のキャプチャされた画像フレームが、隣接領域と比べた放射強度の低下量が閾値よりも大きい領域を識別するように分析される。一の例では、強度の変化量の閾値は20%と選択されてよい。これはピクセル毎に行われてよい。マスクは、同じ出力フレーム74を構成するキャプチャされた全ての近赤外画像フレーム72(図2)に共通の、強度の低下量が閾値よりも大きいとプロセッサ46が決定した領域に適用される。これはつまり、閾値に達する標的組織の曲率が、検討される領域に存在することを示す。
図10のフロー図は、マスキング処理の例を示す。これは例示にすぎず、実装においては他の処理、アルゴリズム、又は計算が用いられ得る。
ステップ160において、現在の出力画像を構成する現在の近赤外画像フレームの現在の領域が分析される。現在の領域の強度値が、1以上の隣接領域のそれと比較される。各領域は、ピクセル又はピクセルの集合体であってよい。現在の領域の強度値が、隣接領域の強度値を閾値よりも大きく下回っていない場合、ステップ162ではこの領域にマスキングは行われず、ステップ164で現在の画像の次の領域が選択される。現在の領域の強度値が、隣接領域の強度値を閾値以上に下回る場合、かつ、ステップ166で決定されるように、現在の画像フレーム72(図2)が出力フレーム74に属する一連の画像フレームのうち分析される最後の画像フレーム72である場合、現在の出力フレーム74を構成する全ての画像フレーム72についてステップ162の判定が真となり、ステップ168で領域がマスキングされる。それ以外の場合、ステップ166は、現在の出力フレームには分析されるべき画像フレームが他にあると判定し、ステップ170は次のこのような画像フレームを選択する。ステップ168で領域がマスクされるべきであると判定された後、処理はステップ172で次の出力フレームに進み、ステップ164でこのような出力フレームの最初の画像フレームの最初の領域が選択される。
マスキングの代替として、又はマスキングへの追加として、標的組織24の曲率が判明している、もしくは推定又は算出可能である場合、1以上の曲率補正因数を適用して、曲率の影響を補償することが可能である。
同じく図9に示すように、プロセッサ46は、近赤外画像フレームを用いて標的組織24における血管を識別し、動的組織酸素飽和度マップ50から血管を省略するように更に構成されてよい。測定された反射強度は、血管における酸化/脱酸素化の影響を補償して表示から血管を効果的に隠ぺいし、組織の酸素化の可視化に無関係の情報を省略するように変更されてよい。血管を検出するための近赤外画像フレームの反射強度の分析は、等吸収点の両側を分析することを含んでよい。
動き補正に関して上述した特徴検出技術は、血管補償を達成するために実装されてよい。プロセッサ46は、血管の境界と内側とを検出し、血管領域を強調して可視化するために特徴検出を実行するよう構成されてよい。プロセッサ46は、動的組織酸素飽和度マップを検出された血管領域から決定された1以上のマスクで変更するように構成されてよい。追加で、又は代替として、装置10は、動的組織酸素飽和度マップへの血管の寄与の表示を、ディスプレイ48を通じて出力するように構成されてよい。このような表示は、血管の輪郭、又は同様の可視化を含み得る。
図11に示すように、プロセッサ46は、動的組織酸素飽和度マップのフレームのシーケンスに時間差操作を実行するように更に構成されてよい。時間差操作は、動的組織酸素飽和度マップの参照フレームに対する酸素飽和度を示す。
本明細書に記載の技術で測定された出力フレーム74のシーケンスは、リアルタイムで出力されるか、メモリから再生されてよい。出力フレーム74は、標的組織の動的組織酸素飽和度マップを形成する。このような出力フレーム74の1つが、参照フレームとして選択されてよい。参照フレーム180を後続の出力フレーム74から減算して差分フレーム184を得るのには、差分処理182を用いることができる。差分処理182は、単純差分、又は高次差分であってよい。差分フレーム184は、リアルタイムで出力されるか、動的組織酸素飽和度マップとしてメモリから再生されてよい。動的組織酸素飽和度マップが記録されている間、参照フレーム180よりも早い出力フレーム74について、差分フレーム184も上述のように計算されてよい。
造影剤を必要とすることなく参照に対する酸素飽和度の変化を観察及び記録するために、臨床医によって特定の参照フレーム180が選択されてよい。これは、穿通枝のかん流の制限を分析することを容易にできる。例えば、臨床医はまず対象となる穿通枝をクランプ/ブロックし、特定の期間(例えば2分)待機してから現在の出力フレーム74を参照フレーム180として設定する。その後、臨床医はクランプ/ブロックされた穿通枝を解放/開放する。差分マップ(解放前と解放後)を用いて、穿通枝によって供給されている組織の面積を定量化可能であり、また、穿通枝のかん流の制限を識別可能である。更に、かん流制限試験を一連の穿通枝の各々に対して繰り返し、動的組織酸素飽和度マップを用いて各穿通枝によって供給されている面積を定量化することで、臨床医は主要な穿通枝を識別可能である。
レーザー枠決めアレイ62の例が図12に示される。レーザー66の各々が、標的組織上の皮膚表面にレーザーポイント190を照射するように位置付けられている。レーザーポイントは、標的組織24に対する装置10の手動による位置決めを補助するためものである。レーザー源66は、例えば図示のような矩形といった、任意の適切な配置でポイント190を提供するために配置されてよい。ポイントで定義された領域は、組織の酸素化のマルチスペクトル撮像の対象領域192と見なされてよい。2以上の任意の数のレーザー源66が用いられ得る。
レーザー源30は、任意の適切な波長を有するよう選択され得る。可視光レーザーが用いられる場合、皮膚表面から反射されたレーザーポイントからの光を可視光イメージセンサ22がキャプチャ可能である。プロセッサ46は、可視光画像フレームからポイント190を抽出して、ポイント190又はその表現を出力画像フレームに挿入することによって、動的組織酸素飽和度マップにレーザーポイント190を含めるように更に構成されてよい。可視光レーザーは、近赤外画像処理に干渉せず、酸素化マップに大きく影響しないという利点がある。近赤外レーザーが用いられる場合、近赤外イメージセンサ20が画像キャプチャ手順の一部として本質的にポイント190をキャプチャするよう、適切な近赤外波長が選択されてよい。レーザーポイント190はその後、追加の処理なしに、動的組織酸素飽和度マップに含められる。しかしながら、酸素化計算を行う際に、レーザーポイント190を検出して無視するよう、プロセッサ46が更に構成されることが望ましい。
患者の同じ解剖学的領域の異なる時点における画像を比較できることは、臨床的に有用であり得る。手順の計画のための手順の前評価、又は進捗をモニター又は評価するための後評価の一環として、これらの画像は、1つの手順における異なる時点、数分おき又は数時間おき、又は数日おき又は数週間おき、において取得され得る。別々のセッションで取得された画像は、同じ解剖学的領域を同じ縮尺及び回転で比較するために、一致させられるべきである。レーザー枠決めアレイ62は、対物レンズ16を撮像される表面に対して垂直に位置決めする際に、装置10のユーザーを視覚的に補助する役割を果たす。上述の例においては、ポイント190が対象領域192の周囲に矩形を形成することが期待されるだろう。いかなる傾き(キーストーン又は台形を定義する点)も、標的組織又は装置10の再位置決めが必要であり得ることを臨床医に示すだろう。
図13を参照すると、レーザーポイント190は、キャプチャされた画像に記録されてよい。したがって、以前に記録された画像196内の記録されたレーザーポイント194は、対物レンズによる標的の画像と、現在投影されているレーザーポイント190との間に、容易に識別される視覚的参照を形成できる。このように、新規の画像をキャプチャする臨床医は、以前に記録された画像196と新規の画像のそのような特徴200との間の解剖学的特徴198(すなわち、血管、体毛、臍、辺縁)、ならびに、記録された画像196内のレーザーポイント194と比較した新規の画像内のレーザーポイント190、の両方を手動で一致させることができる。手動による一致は、標的と装置のいずれか又は両方の移動/回転を含んでよい。
図13にも示すように、装置10の筐体58において、レーザー源66が対物レンズの近傍に搭載され得て、対物レンズの主光軸とおおよそ同じ方向に照準される。
記録された画像と新規の画像の解剖学的特徴200と198との間で一見正確な一致がなされているもののレーザーポイント190と194との間に差異がある場合、プロセッサ46は双一次変換等の空間変換を適用して2つの画像間の空間的差異を補正できる。これは、2つの画像間の正規性/傾斜の微小な差異を補正するために用いることができる。
格納された画像と新規の画像との間の正確な一致は、組織の酸素化の正確な局所的変化についての精密な比較を可能にする。これは、臨床医が治療を向上させる、及び/又は介入を開始することを可能にする。
図14は、レーザー枠決めアレイ62として用いるのに適した別のレーザー枠決めアレイ204を図示する。標的組織上の皮膚表面にレーザー光線の線208を照射するよう、線生成光学系206が設けられ得る。レーザー光線の線208は、上述のレーザーポイント190を含み、同じ一般原理が適用される。上述の説明が参照され得る。レーザー66及び光学系206は、対象領域192の境界となる矩形の箱又はその他の形状を形成するように配置され得る。レーザー線の1つの利点は、操作者にとってより目に付き、その結果、装置10がより簡便に使えるようになり得ることである。
図15は、装置10を標的組織から標的距離で位置決めすること補助するように構成されたレーザー位置決めアレイ60の例を示し、標的距離は例えば、対物レンズの適切な焦点距離である。標的距離の一例は、約610mmである。
第1位置決めレーザー64は、対物レンズ16の光軸210から第1オフセット距離に位置付けられ、光軸210に対して第1角度212で照準される。第1位置決めレーザー64は、図16Aに示すように、標的組織上の皮膚表面216に第1位置決めレーザースポット214を照射するように照準される。第1位置決めレーザー64は、筐体58又はマルチスペクトル医用撮像装置10のその他の部品に固定される。したがって、表面216に近づく及び遠ざかるように装置10が移動されると、第1位置決めレーザースポット214は第1のパス218に沿って移動する。
第2位置決めレーザー64は、対物レンズ16の光軸210から第2オフセット距離に位置付けられ、光軸210に対して第2角度220で照準される。第2位置決めレーザー64は、図16Aに示すように、標的組織上の皮膚表面216に第2位置決めレーザースポット222を照射するように照準される。第2位置決めレーザー64は、筐体58又はマルチスペクトル医用撮像装置10のその他の部品に固定される。したがって、表面216に近づく及び遠ざかるように装置10が移動されると、第2位置決めレーザースポット222は第2のパス224に沿って移動する。
第1及び第2角度212、220は、光軸210をそれぞれ含む異なる平面上にある。光軸210はこれらの面の交点と見なすことができる。つまり、第1及び第2位置決めレーザー64は、それぞれ光軸210から横方向にオフセットされており、また、互いから角度方向にオフセットされている。第1位置決めレーザー64が、光軸を中心とする円上の0度の位置にある際、第2位置決めレーザー64は異なる角度、例えば90度、にある。この例において、第1及び第2位置決めレーザー64は約90度離れて位置付けられている。
第1及び第2オフセット距離、ならびに第1及び第2角度212、220は、標的組織が対物レンズ16から標的距離にある際に、第1位置決めレーザースポット214及び第2位置決めレーザースポット222が光軸において一致するように選択される。これを図16Cに示す。
第1及び第2距離、ならびに第1及び第2角度212、220は、対物レンズから標的距離の表面216までの距離が標的距離よりも大きい際に、第1及び第2位置決めレーザースポット214、222を、対物レンズ16の光軸210の一方230に位置させるように選択されてよい(図16A)。逆に、対物レンズから標的組織までの距離が標的距離よりも小さい場合、第1及び第2位置決めレーザースポット214、222は他方232に現れる(図16B)。
臨床医が装置10を標的組織に対して、またはその逆に移動させるにしたがって、2つの位置決めスポット214、222はそれぞれのパス218、214に沿って移動する。装置10と標的組織とが近すぎる場合、位置決めスポット214、222は、図16Bに示すとおり、標的組織216の一方232において別々のスポットとして現れる。装置10と標的組織とが遠すぎる場合、位置決めスポット214、222は、図16Aに示すとおり、標的組織216の他方230において別々のスポットとして現れる。装置10から標的組織への距離を、スポットが分離する方向で調整することは、臨床医に対し、その調整が必要な調整の逆であることを示す。装置10から標的組織への距離を、スポットが収束する方向に調整することは、臨床医に対し、その調整が正しい方向であることを示し、図16Cに示すとおり、スポット214、222が一致すると、標的距離に達したことが示される。
可視光イメージセンサ22及びプロセッサ46は、スポット214、222をキャプチャ及びモニターし、ディスプレイ48又はユーザーインターフェース52の部品、例えばスピーカー、を通じてスポット214、222の位置及び/又は標的距離に達するために装置10を移動させる方向についての表示をユーザーに向けて出力するよう構成されてよい。このような表示は生の距離情報、視覚又は聴覚による警告(例えば「標的が近すぎます」「標的が遠すぎます」)等の形であってよい。更に、プロセッサ46は、酸素飽和度画像のキャプチャが開始する際にレーザー64を自動的にオフにするように構成されてよい。
マルチスペクトル医用撮像装置10は、静脈閉塞並びに静脈及び動脈閉塞の決定を補助可能である。
図17は、模擬静脈閉塞ならびに模擬静脈及び動脈閉塞について装置10によって算出されたヘモグロビンの不飽和率のグラフを示す。x軸は時間を表す標本点であり、y軸は酸素飽和率である。
ここに見られるように、静脈閉塞はより遅い酸素不飽和化速度を示し、静脈及び動脈閉塞はより速い不飽和化速度を示す。また、静脈閉塞は、静脈及び動脈閉塞ほど低い酸素飽和度に達しない。
装置10は、静脈閉塞と静脈及び動脈閉塞との区別を補助するために、選択可能な閾値レベル250を有して構成されてよい。追加で、又は別法として、装置10は、図示したものと同様の経時的な酸素飽和度のグラフを標的組織24全体について計算して選択的に出力し、臨床医がそれを表示し、選択可能な閾値レベル250(あれば)に対してそれを比較できるようにするように構成されてよい。不飽和化速度を評価する上で臨床医を補助するために、1以上の参照スロープ252も設けられ得る。
装置10は、ブロック試験の期間に、45秒、1分、等のように選択肢を提供するよう構成されてよい。
マルチスペクトル医用撮像装置10は、標的組織内の水含有量を検出することが可能である。これにより装置は、対象領域における静脈閉塞によって引き起こされた保水量の上昇を検出することにより静脈閉塞を検出するようにも構成され得る。
上記を考慮すると、本発明の多くの利点が当業者に対して明らかになるだろう。本明細書に記載の技術は、広範囲のマルチスペクトル撮像を、動的に、リアルタイム又は準リアルタイムで提供する。ビデオフレームレートは、可動部品なしで達成可能である。周囲照明、患者の皮膚色、曲面、及び血管系の存在に対して補償が提供される。本発明はまた、簡便かつ反復可能な方法で、装置を正しい焦点距離で対象領域に照準することを提供する。更に、酸素不飽和化の時間差可視化、及び静脈/動脈閉塞検出といった有用な追加機能が提供される。
上述の内容では特定の非限定的な例示の実施形態を提供するが、上述の内容の組み合わせ、部分集合、及び変形が考慮されることが理解されるべきである。求められる独占は請求の範囲によって定義される。