JP2016540614A - １つになっているｏｃｔダーモスコピーおよびエピルミネッセンスダーモスコピーを用いた、皮膚科学のための診断装置 - Google Patents

Abstract

画像化システムの使用のためのシステムおよび方法が提示される。ある実施形態において、上記画像化システムは、第一の光学経路、第二の光学経路、複数の光学素子、検出器およびプロセッサを含んでいる。上記第一の光学経路は、エピルミネッセンスと関連付けられている第一の照射ビームを導き、一方、上記第二の光学経路は、光干渉断層計と関連付けられている第二の照射ビームを導く。上記複数の光学素子は、上記第一の照射ビームおよび第二の照射ビームをサンプル上に送る。上記検出器は、上記サンプルから戻ってくる上記第一の照射ビームおよび第二の照射ビームと関連付けられている光学データを生成する。上記第一の照射ビームおよび第二の照射ビームと関連付けられている上記光学データは、上記サンプルの実質的に同一平面にない複数の領域に対応している。上記プロセッサは、上記第一のビームの光学データを上記第二のビームの光学データと相関させ、上記サンプルの画像を生成する。

Description

発明の詳細な説明

〔背景技術〕
〔分野〕
本発明の実施形態は、質を向上させた上記サンプルの表面画像および深部画像を生成するために、サンプルのエピルミネッセンスデータおよび光干渉断層計データを集め、かつ相関させる画像化装置の設計、およびそれを用いる方法に関する。

〔背景〕
皮膚鏡検査は、がんの発見および他の悪性皮膚疾患のために、ヒト上皮の画像を生成するために、医療従事者によって長年にわたって使用されている。皮膚鏡検査のための最も一般的な用途の１つは、皮膚がん、黒色腫、非黒色腫皮膚癌（ＮＭＳＣ）（基底細胞癌（ＢＣＣ）および扁平上皮癌（ＳＣＣ）が挙げられる）、および他の皮膚疾患（紫外線角膜炎（ＡＫ）および乾癬が挙げられる）の早期発見および早期診断のためである。皮膚表面における、上記表面の可視化の質を向上させるための光の使用は、表面の可視化を向上させるための、皮膚の表面に対する光の使用は、エピルミネッセンス顕微鏡法（ＥＬＭ）として知られている。

皮膚鏡検査は、従来、拡大鏡（典型的に×１０）、非偏光光源、透明板、ならびに機器および皮膚の間にある液体媒体を備えており、したがって皮膚表面の反射によって妨げられない皮膚病変の検査を可能にする。より最新のいくつかの皮膚鏡検査は、液体媒体を使用しておらず、代わりに皮膚表面の反射を相殺するために偏光を使用している。

ＥＬＭは単独で、皮膚の表面の画像診断をもたらし、複数のＥＬＭ源を用いる場合、皮膚表面の三次元モデルさえをもたらし得る。しかし、ＥＬＭデータは、皮膚の表面の下におけるなんらの画像および情報を、医療専門家に与えない。このようなデータは、がんの発見および診断、ならびに皮膚表面の下にある腫瘍または他の異常の位置を確認することに有用である。ＥＬＭデータ単独に基づく病変の検査は、差異に基づく十分な診断をもたらすことがしばしば不可能であり、医療専門家は、切除による生検に頼る必要がある。

光干渉断層計（ＯＣＴ）は、広帯域光源（または掃引狭帯域源）および干渉検出システムを用いた、高い距離分解能を有している深さ方向に分解された情報を与える医療画像診断技術である。眼科および循環器科から産婦人科および生物学的組織の、インビトロにおける高解像度研究までに及ぶ、多くの用途が、見つかっている。ＯＣＴは、深さ方向に分解された画像化をもたらし得るが、かさばる装備を典型的に必要とする。

〔発明の概要〕
画像化システムおよび使用のための方法が提示される。上記画像化システムは、同じ装置からＥＬＭおよびＯＣＴの両方の手法を用いて取得されたデータを集め、相関させる。

ある実施形態において、画像化システムは、第一の光学経路、第二の光学経路、複数の光学素子、検出器およびプロセッサを含んでいる。上記第一の光学経路は、エピルミネッセンスと関連付けられている第一の照射ビームを導き、一方、上記第二の光学経路は、光干渉断層計と関連付けられている第二の照射ビームを導く。上記複数の光学素子は、上記第一の照射ビームおよび第二の照射ビームをサンプル上に送る。上記検出器は、上記検出器において受け取られている、上記サンプルから反射または散乱された上記第一の照射ビームおよび第二の照射ビームと関連付けられている光学データを生成する。上記第一の照射ビームおよび第二の照射ビームと関連付けられている上記光学データは、上記サンプルの実質的に同一平面上にない複数の領域に対応している。上記プロセッサは、上記第一の照射ビームと関連付けられている上記光学データを、上記第二の照射ビームと関連付けられている上記光学データと相関させ、かつ上記相関させられている光学データに基づいて上記サンプルの画像を生成する。

他の実施形態において、ハンドヘルド画像化装置は、第一の光学経路、第二の光学経路、複数の光学素子、検出器および送信器を含んでいる。上記第一の光学経路は、エピルミネッセンスと関連付けられている第一の照射ビームを導き、一方、上記第二の光学経路は、光干渉断層計と関連付けられている第二の照射ビームを導く。上記複数の光学素子は、上記第一の照射ビームおよび第二の照射ビームをサンプル上に送る。上記検出器は、上記検出器において受け取られている、上記サンプルから反射または散乱された上記第一の照射ビームおよび第二の照射ビームと関連付けられている光学データを生成する。上記第一の照射ビームおよび第二の照射ビームと関連付けられている上記光学データは、上記サンプルの実質的に同一平面上にない複数の領域に対応している。上記送信器は、上記光学データを演算装置に送るように設計されている。

方法の例も説明されている。ある実施形態において、サンプルのエピルミネッセンスによる画像化と関連付けられている第一の光学データが受け取られる。上記サンプルの光干渉断層計による画像化と関連付けられている第二の光学データも受け取られる。ここで、上記第一の光学データおよび上記第二の光学データは、上記サンプルの実質的に同一平面上にない複数の領域に対応している。処理装置は、上記第一の光学データの１つ以上のフレームを、上記第二の光学データの１つ以上のフレームと相関させて、相関させられているデータを生成する。上記処理装置はまた、上記相関させられているデータに基づいて、上記サンプルの画像を生成する。

ある実施形態において、コンピュータ読み取り可能な一時的ではない記録媒体は、処理装置によって実行されるときに、以上に開示されている上記方法を上記処理装置に実行させる命令を含んでいる。

本発明のさらなる特徴および利点、ならびに本発明の実施形態の種々の構造および工程は、添付の図面を参照して以下に詳細について説明されている。なお、本発明は、本明細書において説明されている特定の実施形態に限定されない。このような実施形態は、ここでは例示の目的のみのために提示されている。さらなる実施形態は、本書類に含まれている教示に基づいて、当業者にとって明白である。

〔図面の簡単な説明〕
本書類に組み入れられており、本明細書の一部を形成している添付の図面は、本発明の実施形態を説明しており、本発明の本質を説明するために、また当業者が本発明を作製または使用するために、説明と共にさらに役立つ。
図１は、ある実施形態に係る、画像化システムを説明している。
図２は、ある実施形態に係る、サンプルの表面に対する２つの画像化平面を説明している。
図３Ａ〜Ｄは、画像の平行移動および回転の影響を説明している。
図４Ａ〜Ｂは、画像の面外回転の影響を説明している。
図５Ａ〜Ｂは、画像の平行移動の影響を説明している。
図６は、例示の方法を説明している。
図７は、他の例示の方法を説明している。
図８は、種々の実施形態を実施するために有用な、例示のコンピュータシステムを説明している。
本発明の実施形態は、上記添付の図面を参照しながら説明される。

〔詳細な説明〕
特定の構成および配置が論じられているが、これは説明の目的のみのためになされていると理解されるべきである。当業者は、本発明の精神および範囲から離れることなく、他の構成および配置が用いられ得ることを認める。この発明がまた、種々の他の用途において採用され得ることは、当業者にとって明白である。

なお、本明細書における「一実施形態」、「ある実施形態」、「例示の実施形態」などに対する言及は、説明されている実施形態が特定の特徴、構造または特性を含み得るが、すべての実施形態が上記特定の特徴、構造または特性を必ずしも含んでいなくてもよいことを示している。また、このような語句は、同じ実施形態に対して必ずしも言及していない。さらに、ある実施形態と関連付けて特定の特徴、構造または特性が説明されているとき、明示的に説明されているか否かに関係なく、他の実施形態と関連付けてこのような特徴、構造または特性をもたらすことは、当業者の知識の範囲にある。

ここにおける実施形態は、ＥＬＭ画像およびＯＣＴ画像の両方から受け取られたデータを組み合わせて試験中のサンプルの質が向上させられている三次元画像を生成し、ヒトの上皮の試験に用いられ得る画像化装置に関する。ある実施形態において、データが獲得され三次元に纏め上げられることを可能とするために、２つの画像モダリティの画像化平面は、同一平面上にない。上記画像化装置は、独立した２つの光路（ＥＬＭ光のための一方およびＯＣＴ光のための他方）を与えるために必要なすべての光学素子を含み得る。ある実施形態において、それぞれの光路は、１つ以上の光学素子を共有していてよい。これに関連して、用語「光」とは、広く解釈されるべきであり、電磁スペクトルの任意の波長を含み得ると理解されるべきである。一例において、上記ＥＬＭ光は約４００ｎｍ〜約７００ｎｍの間の可視波長を含んでおり、一方、上記ＯＣＴ光は約７００ｎｍ〜１５００ｎｍの間の近赤外波長を含んでいる。他の赤外範囲は、ＯＣＴ光にも同様に利用され得る。さらに、上記ＥＬＭ光または上記ＯＣＴ光のいずれかは、単数の照射ビームまたは単数の照射ビームとして概念的に説明され得る。照射ビームは、１つ以上の任意の種類の光源から発生させられ得る。

上記ＥＬＭ光および上記ＯＣＴ光の両方から集められたデータは、生じた画像の質を向上させるために、時間的および／または空間的に相関させられ得る。例えば、上記画像化装置および上記サンプルの間の相対移動は、上記ＥＬＭ画像における線形変換（平行移動および／または回転が挙げられる）を引き起こし得る。当該線形変換は、三次元モデルの正確な再構築を目的として、上記ＯＣＴ画像の関連している位置を位置付けるために、検出され、使用され得る。さらに、上記画像化装置および上記サンプルの間の上記相対移動はまた、上記ＥＬＭデータにおける面外回転を引き起こし得る。当該面外回転は、上記ＯＣＴデータにおけるサンプルの分析をより良くすることを目的として、角度の相違の増加を活用するために、計算され、使用され得る。上記ＥＬＭ画像およびＯＣＴ画像の間の上記相関に関して、ここにさらなる詳細が説明される。

ある実施形態よれば、図１は、画像化システムを説明している。上記画像化システムは、画像化装置１０２、演算装置１３０および表示部１３２を含んでいる。この例において、画像化装置１０２は、サンプル１２６からデータを集める。画像化装置１０２および演算装置１３０は、インターフェイス１２８を経由して通信により接続され得る。例えば、インターフェイス１２８は、物理的なケーブル接続、ＲＦ信号、赤外線またはＢｌｕｅｔｏｏｔｈ信号であってよい。画像化装置１０２は、インターフェイス１２８を通してデータ信号を送るように、および／または受け取るように設計された１つ以上の回路およびディスクリート素子を含み得る。

画像化装置１０２は、サンプル１２６からの画像データを集めると同時に、容易に手に収められるために適切な大きさおよび形状であり得る。一例において、画像化装置１０２は、ダーモスコープである。画像化装置１０２は、画像化装置１０２の内部にある種々の光学素子および電気素子を保護しており、包み込んでいる筐体１０４を含んでいる。一実施形態において、筐体１０４は、ユーザの手のための人間工学に基づいている意匠を含んでいる。画像化装置１０２はまた、ＥＬＭ光およびＯＣＴ光の両方が透過できる光学窓１０６を含んでいる。筐体１０４の物質がＥＬＭ光およびＯＣＴ光を実質的に透過させないのとは対照的に、光学窓１０６は、ＥＬＭ光およびＯＣＴ光の大部分が透過することを可能にする材料を含み得る。光学窓１０６は、画像化装置１０２の遠位端に配置され得るが、その位置は限定されているとみなされるべきではない。

ある実施形態において、光学窓１０６は、画像化装置１０２の異なる領域に位置している２つ以上の部分を備えていてよい。光学窓１０６のそれぞれの部分は、光の特定の波長領域の大部分が透過することを可能とする材料を含み得る。例えば、光学窓１０６の一部分は、ＯＣＴ光のために調整されていてよく、一方、光学窓１０６の他の部分は、ＥＬＭ光のために調整され得る。

種々の照射信号は、光学窓１０６から出ているとき、または光学窓１０６に入っているときについて、説明されている。送られている照射線１２２は、ＥＬＭ光およびＯＣＴ光の両方を含み得る。同様に、受け取られている照射線１２４は、サンプル１２６によって散乱および反射された少なくとも１つの光である、ＥＬＭ光およびＯＣＴ光の両方を含み得る。他の画像化モダリティ（例えば、蛍光画像化またはハイパースペクトル画像化を含んでいる）も含まれていてよい。

ある実施形態によれば、画像化装置１０２は、複数の光学素子１０８を含んでいる。光学素子１０８は、光を送ることまたは受け取ることに用いられると当業者によって理解される１つ以上の素子（例えばレンズ、鏡、ダイクロイックミラー、格子および導波路など）を含み得る。上記導波路は、シングルモード光ファイバまたはマルチモード光ファイバを含み得る。さらに、上記導波路は、基板上にパターン化されているストリップ型導波路またはリブ型導波路を含み得る。上記ＥＬＭ光およびＯＣＴ光は、同じ光学素子を共有していてよく、または他の例において、異なる光学素子は、それぞれの画像化モダリティのために用いられ、関連付けられている画像化モダリティのために調整されている特性を有している。

ある実施形態によれば、画像化装置１０２は、画像化装置１０２を通って上記ＥＬＭ光を導くためのＥＬＭ経路１１０、および画像化装置１０２を通って上記ＯＣＴ光を導くためのＯＣＴ経路１１２を含んでいる。ＥＬＭ経路１１０は、ＥＬＭ光と関連付けられている光の集光および導光のために必要な、任意の特定の光学素子または電気光学素子を含み得る。同様に、ＯＣＴ経路１１２は、ＯＣＴ光と関連付けられている光の集光および導光のために必要な、任意の特定の光学素子または電気光学素子を含み得る。システム・オン・チップとして導入されているＯＣＴシステムの例は、ＰＣＴ出願第ＰＣＴ／ＥＰ２０１２／０５９３０８号（２０１２年５月８日出願）に開示されており、ここでの言及によって、上記開示はその全体が組み入れられる。幾つかの実施形態において、ＯＣＴ経路１１２の少なくとも一部において導入されている上記ＯＣＴシステムは、偏光感受型ＯＣＴ（ＰＳ−ＯＣＴ）システムまたはドップラーＯＣＴシステムである。ＰＳ−ＯＣＴは、皮膚の火傷の検査に有用であり得る。一方、ドップラーＯＣＴは、皮膚の腫瘍における血管新生についての、さらなるデータをもたらし得る。ＥＬＭ経路１１０は、画像化装置１０２の内部に備えられているＥＬＭ源１１４に対して接続され得る。同様に、ＯＣＴ経路１１２は、ＯＣＴ源１１４に対して接続され得る。ＥＬＭ源１１４またはＯＣＴ源１１６のいずれかは、レーザダイオードまたは１つ以上のＬＥＤを含み得る。ＥＬＭ源１１４およびＯＣＴ源１１６は、任意の種類の広帯域光源であってよい。一実施形態において、ＥＬＭ源１１４およびＯＣＴ源１１６の一方または両方は、画像化装置１０２から外部に物理的に位置しており、例えば、１つ以上の光ファイバを経由して、その光を画像化装置１０２に送っている。

一実施形態において、ＥＬＭ経路１１０およびＯＣＴ経路１１２は、画像化装置１０２の内部にある同じ物理経路の少なくとも一部を共有している。例えば、同じ導波路（または導波路束）が、ＥＬＭ光およびＯＣＴ光の両方を導くために用いられている。同様に、同じ導波路が、上記ＯＣＴ光およびＥＬＭ光を、光学窓１０６を通って送るため、および受け取るための両方に用いられていてよい。他の実施形態は、ＥＬＭ光およびＯＣＴ光を導くための独立した導波路を、画像化装置１０２の内部に有していることを包含している。独立した導波路はまた、光学窓１０６を通って上記光を送るため、および受け取るために用いられ得る。ＥＬＭ経路１１０およびＯＣＴ経路１１２のそれぞれが、集積光学素子に加えて自由空間型光学素子を含み得る。

ＥＬＭ経路１１０およびＯＣＴ経路１１２は、種々の受動変調素子または能動変調素子を含み得る。例えば、いずれかの光学経路は、位相変調器、周波数シフタ、偏光子、デポラライザおよび群遅延素子を含み得る。複屈折の影響および／または色分散の影響を補正するように設計された素子が含まれていてよい。いずれかの経路に沿った上記光は、１つ以上の他の導波路の中にエバネッセント結合され得る。電気光学素子、熱光学素子または音響光学素子が、ＥＬＭ経路１１０に沿った上記光またはＯＣＴ経路１１２に沿った上記光を、能動的に変調するために含まれていてよい。

ある実施形態によれば、検出器１１８は、画像化装置１０２の内部に含まれている。検出器１１８は、特定の波長範囲を検出するために調整されている２つ以上の検出器を含み得る。例えば、一方の検出器は、ＥＬＭ光に対してより高感度であってよく、他方の検出器は、ＯＣＴ光に対してより高感度であってよい。検出器１１８は、ＣＣＤカメラ、光ダイオードおよびＣＭＯＳセンサの１つ以上を含み得る。ある実施形態において、検出器１１８、ＥＬＭ経路１１０およびＯＣＴ経路１１２のそれぞれは、同じ半導体基板上に一体となって集積されている。他の実施形態において、上記半導体基板はまた、ＥＬＭ源１１４およびＯＣＴ源１１６の両方を含んでいる。他の実施形態において、検出器１１８、ＥＬＭ経路１１０およびＯＣＴ経路１１２、ＥＬＭ源１１４およびＯＣＴ源１１６のいずれか１つ以上は、同じ半導体基板上に含まれている。検出器１１８は、ＥＬＭ光およびＯＣＴ光を受け取るように、かつ受け取られているＥＬＭ光と関連している光学データおよび受け取られているＯＣＴ光と関連している光学データを生成するように設計されている。ある実施形態において、上記受け取られているＥＬＭ光およびＯＣＴ光は、サンプル１２６から受け取られており、サンプル１２６と関連付けられている画像データをもたらす。生成された光学データは、アナログ電気信号またはデジタル電気信号であってよい。

ある実施形態において、画像化装置１０２は、処理回路１２０を含んでいる。処理回路１２０は、検出器１１８から生成された上記光学データを受け取り、当該光学データに対する処理操作を実行するように設計されている１つ以上の回路および／または処理素子を含み得る。例えば、処理回路１２０は、上記ＥＬＭ光と関連付けられている画像を、上記ＯＣＴ光と関連付けられている画像と相関させてよい。相関は、上記画像の間において時間的および／または空間的に行われ得る。処理回路はまた、相関させられたデータに基づいて、サンプル１２６の画像を画像処理技術によって生成するために用いられていてよい。上記画像データは、画像化装置１０２の内部に含まれているメモリ１２１に記録され得る。メモリ１２１は、任意の種類の不揮発性のメモリ（フラッシュメモリ、ＥＰＲＯＭまたはハードディスクドライブなど）を含み得る。

他の実施形態において、画像処理技術を実施する処理回路１２０は、画像化装置１０２から離れて、演算装置１３０に含まれている。この実施形態において、画像化装置１０２内部にある処理回路１２０は、画像化装置１０２および演算装置１３０の間において、インターフェイス１２８を通してデータを送るように設計されている送信器を含んでいる。上記光学データに上記画像処理演算を実行して、サンプル１２６の画像を生成するために演算装置１３０を用いることは、画像化装置１０２の内部における処理の複雑さを減少させるために有用であり得る。上記サンプル画像を生成するための独立した演算装置を有していることは、上記画像を生成することの速度を高めること、および画像化装置１０２のコストを低下させることに寄与し得る。

上記ＥＬＭデータおよびＯＣＴデータの両方に基づいている、サンプル１２６の生成された最終的な画像は、表示部１３２に示され得る。一例において、表示部１３２は、演算装置１３０に対して通信により接続されているモニタである。表示部１３２は、サンプル１２６の三次元画像を投影するように設計され得る。さらなる実施形態において、上記三次元画像はホログラムである。

ある実施形態において、画像化システム１０２は、サンプルの質を向上させた画像データを生成するために、異なる２つの光信号モダリティ（例えば、ＯＣＴおよびＥＬＭ）からデータを集めることが可能である。上記データは、それぞれの信号モダリティと関連付けられている上記光を、実質的に同時に、送ることおよび受け取ることによって集められる。この例は、図２に説明されている。

図２は、ある実施形態にしたがって、２つの異なる画像モダリティによって画像化されるサンプル２００を示している。像面Ｂは、サンプル２００の表面を実質的に横切って位置している。一例において、像面Ｂは、上皮の表面２０２から取得されたＥＬＭ画像に対応している。上記ＯＣＴ画像が、上皮層２０２およびより深部の組織２０４の両方に対するデータをもたらすように、像面Ａは、サンプル２００の深さを通して取得されたＯＣＴ画像に対応している。一例において、像面Ａに沿ったＯＣＴ画像データは、像面Ａに沿って軸方向に走査することよって集められている。これらの軸方向の走査はまた、ａスキャン（a-scan）として知られている。像面Ａに沿って取得されたａスキャンを組み合わせることによって、サンプル２００内部における、像面Ａを横切るＯＣＴ画像が与えられる。

ある実施形態において、像面Ａおよび像面Ｂは同一平面にない。一例（例えば、図２に示されている例など）において、像面Ａは像面Ｂに対してと実質的に直角をなしている。像面Ａはまた、無視できない長さにおいて像面Ｂと交差している。示されている２つより多い画像平面を生成するために、他の光源は、示されている２つの画像平面を超えて生成するために使用され得る。独立した２つの画像（例えば、像面Ｂに沿って取得されている画像とともに、像面Ａに沿って取得されている画像）を用い、かつ相関させるとき、視差効果が計算に入れられるべきである。上記視差効果は、画像化装置１０２内部におけるＥＬＭ経路１１０およびＯＣＴ経路１１２のいずれか一方または両方に沿って、光変調効果を用いて補正され得る。他の例において、上記視差効果は、上記ＥＬＭ光およびＯＣＴ光がどこに送られ、集められたかについて正確な認識を用いることによって、画像処理中に補正され得る。

ある実施形態によれば、サンプルの表面について取得された上記ＥＬＭ画像は、取得されている上記ＯＣＴ画像と相関させられ得る。この相関の１つの利点は、上記ＥＬＭ画像において観察される変形に基づいて、上記ＯＣＴ画像の上記軸方向に走査される部分の正確な位置を決定する能力である。ある実施形態において、両方の画像モダリティは、２つのフレームの間における遅延が複数のモダリティの内部において識別されるように、すべてのフレームの、定時の取得をもたらす。複数の画像モダリティの間における複数のフレーム対のうちの、定められている少なくとも部分集合における取得は、実質的に同時である。

ある実施形態において、画像化装置１０２は、検査中のサンプルおよび両方の両画像化モダリティの視野（ＦＯＶ）の間における相対的な変位を許容するように設計され得る。しかし、両方のＦＯＶの間における相対位置は、画像化装置１０２の相対移動によって影響されるべきではない。一例において、この挙動は、画像化装置１０２に用いられているすべての光学素子の、受分に厳密な固定を介して達成され得る。ある実施形態によれば画像化装置１０２の移動の間に、２つの画像系列は、それぞれの画像モダリティに対応して生成され、ここで、これらの複数の画像のうちの、少なくとも２つの部分集合は、実質的に同時の方法において取得される複数のフレームによって形成されている。ＥＬＭ画像データからの、時間的および空間的なサンプリングは、連続するフレームの間において無視できない重複を許容するために十分でなければならない。

図３Ａ〜Ｄは、ＥＬＭ画像の平行移動および回転の両方が、複数の実施形態にしたがって、取り込まれたＯＣＴ画像の位置を追跡するためにどのように使用され得るかを示している。図３Ａは、例えばＥＬＭデータを用いて、画像化され得るサンプル表面３０１上にある病変３０２を示している。したがって、上記ＥＬＭ画像は、サンプル表面３０１のほぼすべて含んでいるＦＯＶを有し得る。ＥＬＭ画像がサンプル表面３０１から取得されているときと実質的に同時に、ＯＣＴ画像３０４は、病変３０２の部分を横切って取得される。マーク３０６ａおよび３０６ｂは、サンプル表面３０１から取得される上記ＥＬＭ画像の、続く図綿における相対移動を説明するためのガイドとして使用される。

ある実施形態によれば、上記ＥＬＭ画像を用いることによって上記ＯＣＴ上記位置を推定することは、上記皮膚表面および上記皮膚表面の直下にある領域の、完全かつ正確なデータの再構成を可能にする。相関関係がなければ、上記取り込まれたＯＣＴ画像にとっての基準がなく、したがって最終的な画像を再構成することは困難である。

図３Ｂは、図３Ａにおいて取り込まれた上記ＥＬＭ画像について実施されるＦＯＶの回転を示している。例えば、図３Ａからの、サンプル表面３０１のＥＬＭ画像は、図３Ｂからのサンプル表面３０１のＥＬＭ画像より前の、別の時点に取得され得る。ある実施形態において、ＥＬＭ画像は、上記ＥＬＭ画像のＦＯＶに生じる任意の変化を捉えるために、所定のフレーム速度において連続的に取り込まれる。マーク３０６ａおよび３０６ｂは、上記回転の結果として移動しており、またＯＣＴ画像３０４ａにとっての、回転された新たな位置が生じている。マーク３０６ａおよび３０６ｂからの、測定された回転の量は、元のＯＣＴ画像３０４および回転されたＯＣＴ画像３０４ａの間の回転の量に等しくなるべきである。このようにして、上記集められたＥＬＭ画像の上記表面データに施される画像処理技術は、回転の量を計算するために使用され得る。例えば、マーク３０６ａおよび３０６ｂは、移動が容易に追跡され得る上記ＥＬＭ画像内にある顕著な特徴を表し得る。

図３Ｃは、サンプル表面３０１に対する上記ＥＬＭ画像の上記ＦＯＶの平行移動を示している。ここでは、マーク３０６ａおよび３０６ｂは、平行移動させられたＯＣＴ画像３０４ｂと同じ距離を、平行移動させられている。図３Ｄは、回転が生じた（回転されたＯＣＴ画像３０４）か、平行移動が生じた（平行移動されたＯＣＴ画像３０４ｂ）か、またはその両方に基づいて、ＯＣＴ画像３０４にとっての見込まれる移動を位置付けることを、示している。ある実施形態において、移動の位置づけは、集められたＯＣＴ画像の、病変３０２を横切る移動を連続的に追跡するためにも、処理されるＥＬＭ画像について連続的に更新される。

また、上記ＥＬＭ画像は、上記サンプル表面について生じる面外回転を算出するために使用され得る。図４Ａ〜Ｂは、ＥＬＭ画像データを用いて面外回転を追跡することを示している。

図４Ａは、例えばＥＬＭデータを用いて、画像化され得るサンプル表面４０１上の病変４０２を示している。したがって、上記ＥＬＭ画像は、サンプル表面４０１のほぼすべてを含んでいるＦＯＶを有し得る。ＥＬＭ画像がサンプル表面４０１から取得されるときと実質的に同時に、ＯＣＴ画像４０４は、病変４０２の一部を横切って取得される。マーク４０６ａおよび４０６ｂは、サンプル表面４０１から取得されている進行中のＥＬＭ画像における相対移動を示すためのガイドとして使用される。

図４Ｂは、サンプル表面４０１の上記ＥＬＭ画像の上記ＦＯＶの、軸４１０についての回転を示している。上記回転は、画像の特徴４０６ａおよび４０６ｂの、画像の特徴４０８ａおよび４０８ｂのそれぞれへの位置の変化を生じさせる。詳細には、マーク４０８ａは、上記回転のためにより大きく見え、マーク４０８ｂは、上記回転のためにより小さく見える（上記画像化装置が、図４Ａ〜Ｂに対して上下を逆にする様式において上記ＥＬＭ画像を取得している状況を想定している）。
上記面外回転は、画像の特徴４０６ａ〜４０８ａの間ならびに画像の特徴４０６ｂ〜４０８ｂの間において、計算による位置合わせ技術（オプティカルフローなど）を用いることによって算出され得る。また、上記オプティカルフローは、ＥＬＭ画像の所定の領域内のみではなく、ほぼ全体他のＥＬＭ画像からのデータを用いて算出され得ることが、理解され得るべきである。それから、この計算された回転は、集められたＯＣＴ画像４０４の上記位置を、修正するため、または追跡するために使用され得る。

ある実施形態において、上記ＥＬＭ画像のサンプリング速度またはフレーム速度取り込みは、上記ＯＣＴ画像と関連付けられているａスキャンの取り込みより高い。一例において、単一のＯＣＴ画像と関連付けられている種々のａスキャンが、取り込まれ、画像化装置１０２の移動は、単一の平面の全体にわたって取得されることのないａスキャンを生じさせ得る。この状況において、取り込まれたＥＬＭ画像は、ａスキャンの位置と相関させるため、および上記サンプルの表面を横切るＯＣＴ画像の経路を最終的に決定するために、使用され得る。この構想は、図５Ａ〜５Ｂに示されている。

図５Ａは、サンプルの表面に対する取り込まれたＥＬＭ画像の例示の移動経路、および単一のＯＣＴ画像の取り込まれたａスキャンに対して生じている、関連している移動を示している。破線を用いた大きな四角形は、取り込まれたＥＬＭ画像の、時間に応じて移動する（大きな矢印によって示されているように）位置を表しており、上記画像の中央における真っ直ぐな破線は、上記ＯＣＴ画像が、時間を通してそれを横切って取得されている平面を表している。それぞれのＯＣＴ画像平面上にある大きい点５０１ａ〜ｆは、ＯＣＴ画像平面を左から右に横切って走査しているａスキャンを表している。図に示すように、上記ａスキャンは、上記サンプルの表面を横切る上記平行移動のために、単一の平面を横切って走査していない。

ある実施形態によれば、上記ＥＬＭ画像の上記移動は、上記ＯＣＴ画像の上記ａスキャンの上記位置を追跡するために使用され得る。図５Ｂは、屈曲したその経路の全体を通して上記ａスキャンを組み合わせることから、実際に集められたＯＣＴ画像５０２を示している。ＯＣＴ画像５０２の上記経路は、ａスキャン５０１ａ〜ｅの位置を、取り込まれたＥＬＭ画像と相関させることによって決定され得る。

示されている画像処理分析のすべては、処理回路１２０によって実行されるか、または演算装置１３０によって、画像化装置１０２から隔てて実行され得る。上記分析は、隣接する連続するＥＬＭ画像に対してか、または時間的にさらに離れて置おかれている画像の複数の対に対して、それらが同時に取得されているＯＣＴ画像であるか否かと関係なく、なされ得る。オプティカルフロー、異なる画像のフーリエ変換の間における位相差、または当業者に知られている他の画像位置合わせ技術といった方法が、この目的のために適用され得る。

いくつかの実施形態によれば、さらに、位置合わせされた画像の個々の対の間における移動および回転は、それぞれの収集されたエピルミネッセンスの画像およびそれぞれのＯＣＴ画像にとっての、基準座標のフレームに対する変形を生じさせるように、重ね合わせられるか、平均化されるか、またはそうでなければ結合され得る。個々の移動の上記組合せは、誤差の最小化を補助するために、画像化装置１０２、および画像化装置１０２内の複数の光学素子１０８の間における相対移動の推定と関連付けて実施され得る。このような推定は、カルマンフィルタまたはいくつかの他の種類の適応フィルタもしくは非適応フィルタを用いて実施され得る。これは、いくつかのＯＣＴ画像が実質的に同時にＥＬＭ画像に対して取得されていないか、サンプリングが時間に応じて不均一であるか、または移動および回転の個々の計算が画質もしくはアルゴリズム実施のためにノイズの多いかと関連し得る。ある実施形態において、誤差を最小化するために用いられるフィルタは、処理回路１２０内のハードウェアにおいて実施される。しかし、他の実施形態は、画像処理手順の間に、ソフトウェアにおいて実施されるフィルタを有し得る。

上記ＥＬＭ画像のために計算された種々の移動および回転は、それらを１つにするため、および拡張されたＦＯＶを有しているＥＬＭ画像を生じさせるために用いられ得る。このＥＬＭ画像は、記録され得、ユーザに対して装置画面（例えば表示部１３２）上に示される。

他の実施形態において、上記ＥＬＭ画像のために計算された種々の移動および回転は、関連付けられているＯＣＴ画像と相関させられ、上記データは三次元データセットを形成するために１つにされている。ある実施形態において、上記三次元データセットは、画像化されている上記サンプルの上記表面の下にある所定の深さにおける、高密度のサンプリングをもたらす。他の実施形態において、上記三次元データセットは、画像化されている上記サンプルの上記表面の下にある所定の深さにおける、低密度なサンプリングをもたらす。一例において、データサンプリングは、上記サンプルの上記表面の２ｍｍ下までの深さについて生じる。他の例において、データサンプリングは、上記サンプルの上記表面の３ｍｍ下までの深さについて生じる。上記三次元データセットは、上記サンプルの三次元画像として描写され得、表示部１３２に表示され得る。ある実施形態において、描写は、マーチングキューブス、レイトレーシング、または当業者に知られている他の任意の３Ｄレンダリング技術の少なくとも１つを用いて達成される。

ある実施形態において、上記ＥＬＭ画像および上記ＯＣＴ画像の間における相関は、複数の画像化モダリティの間における情報（メタデータなど）の移動に関する。例えば、１つの画像化モダリティにおける、自動的にか、またはユーザによって生成されている注釈および／またはマーカは、他の画像化モダリティの、関連付けられている画像に伝えられているそれらの情報を有し得る。１つの画像化モダリティからの、空間的または時間的と関連付けられている任意のメタデータは、他の画像化モダリティに伝えられ得る。具体的な１つの例としては、１つ以上のＥＬＭ画像における腫瘍の縁を描写すること、およびそれから、上記ＯＣＴデータ内に腫瘍の境界を示すためにも、輪郭を描写しているマーカと関連付けられているデータを、相関されているＯＣＴ画像に移すことが挙げられる。複数の画像化モダリティの間における、データのそのような相互位置合わせはまた、モース術の案内のために病変の境界に印を付すことのため、または生検の位置を記録するために有用であり得る。

ある実施形態において、取り込まれた種々のＯＣＴ画像は、上記ＯＣＴ画像化平面および上記サンプル表面の間における交差部分において、上記サンプルの上記表面を分割するために用いられ得る。交差部分のこれらの断片は、上記サンプル表面のトポグラフの近似を作成するために組み合わせられ得る。上記ＥＬＭ画像データは、それから、上記ＯＣＴデータから生成された上記表面のトポロジーを「テクスチャにする（texture）」ために用いられ得る。例えば、上記ＯＣＴ画像データは、サンプル表面トポロジーの、テクスチャなしのワイヤメッシュを生成するために用いられ得る。上記ＥＬＭ画像データ、および必ずしも必要ではないが好ましくは、拡張されたＦＯＶのＥＬＭ画像データは、それから、上記サンプル表面の非常に微細なテクスチャを付した表面マップを生成するために、上記ワイヤメッシュの全体にわたって適用され得る。さらに、上記ＯＣＴ画像は深さ方向に分解されたデータを与えるので、情報はまた、上記サンプル表面の下にある複数の層について、速やかに入手され得、可視化され得る。このような情報は、より速やかな診断を下すときに、保健医療の専門家および皮膚科医を補助し得、腫瘍の摘出手術のための計画を、生検なしに助け得る。

ある実施形態において、局地的な粗さのパラメータは、再構成されたサンプルの表面または個々のＯＣＴ画像から計算され得、かつ再構成されたサンプル画像と重ね合わせられ得るか、もしくはそうでなければ表示され得る。粗さのパラメータはまた、疑似色の段階または任意の他の可視化手法を用いて、再構成されたサンプル表面に位置付けられ得る。

ある実施形態において、ＯＣＴ画像の収集は、集められている複数のＥＬＭ画像の間における相対移動に基づいて引き起こされる。例えば、２つ以上のＥＬＭ画像の間における平行移動が大きすぎると、画像化装置１０２は、上記サンプル表面を横切って過度に素早く通過し、上記ＯＣＴ画像は不鮮明になる。このようにして、ＯＣＴ画像は、ＯＣＴデータのより低いサンプリング頻度がデータ収集において誤りを生じない状態の間にのみ取り込まれる。他の例において、ＯＣＴ画像は、取り込まれ続け、一部の画像は、取り込まれたＥＬＭ画像の間における相対移動が、取り込まれたＯＣＴ画像内に過度に大きな劣化を引き起こしているとき、捨てられる。ＥＬＭ画像系列から得られる画像の動きの推定はまた、両方のＥＬＭ画像における動きのぶれモーションブラーを定量化するため、ならびにより低い画質の画像を、ノイズ除去するため、または少なくとも特定するために、使用され得る。他の実施形態において、所定の期間に移動がないとき、時間の経過の間に記録されている一連のＯＣＴ画像は、ノイズをなくすことおよび画質向上の目的のために組み合わせられ得、それによって、得られたＯＣＴ画像の質を向上させる。さらに、２つの異なる画像モダリティを用いることによって画質の向上をもたらすための手法が、同様に考慮されている。

他の実施形態において、三次元画像化能は、画像化装置１０２内に第二のＥＬＭ経路を導入することによって向上させられ得る。上記第二のＥＬＭ経路は、第一のＥＬＭ経路から離れて配置され、２つの経路の間における位置の違いは、上記サンプル表面の立体的な三次元画像を生成するために、校正され得、利用され得る。

他の実施形態において、サンプル表面の三次元表現は、画像化装置１０２内の単一のＥＬＭ経路を用いて生成され得る。時間的に連続する複数のＥＬＭ画像の間において回収された移動情報は、取り込まれたＥＬＭ画像のそれぞれについて、相対的な視点を推定するために用いられる。サンプル表面の三次元表現は、関連付けられているそれらの、サンプルの視点について、組み合わせられているＥＬＭ画像およびデータから生成され得る。

ある実施形態に係る例示の方法６００は、サンプルのＥＬＭ画像データおよびＯＣＴ画像データの両方に基づいて、サンプル画像を生成することについて説明されている。方法６００は、画像化装置１０２内の処理回路１２０、または演算装置１３０によって実施され得る。

ブロック６０２では、ＥＬＭと関連付けられている第一の光学データが受け取られる。上記第一の光学データは、無線インターフェイスを通して受け取られ得るか、または配線された回路を介して受け取られ得る。ある実施形態において、上記第一の光学データは、検出器がＥＬＭと関連付けられている光を受け取っているときに、当該検出器によって生成される。一例によれば、上記検出器によって受け取られる上記ＥＬＭ光は、上記サンプルの表面から集められている。

ブロック６０４では、ＯＣＴと関連付けられている第二の光学データが受け取られる。上記第二の光学データは、無線インターフェイスを通して受け取られ得るか、または配線された回路を介して受け取られ得る。ある実施形態において、上記第二の光学データは、検出器がＯＣＴと関連付けられている光を受け取っているときに、当該検出器によって生成される。一例によれば、上記検出器によって受け取られる上記ＯＣＴ光は、サンプルの種々の深さから集められている。ある実施形態において、上記第一の光学データに対応している上記画像平面は、上記第二の光学データに対応している上記画像平面と同一平面にない。

ブロック６０６では、上記第一の光学データの１つ以上の画像は、上記第二の光学データの１つ以上の画像と相関させられる。相関は、２つのモダリティからの複数の間において、空間的または時間的に実施され得る。

ブロック６０８では、上記サンプルの画像は、ブロック６０６からの相関させられているデータを用いて、生成される。上記画像は、結合されているＥＬＭデータおよびＯＣＴデータに基づく、上記サンプルの三次元表現であり得る。ある実施形態によれば、表面の粗さのデータは、算出され得、生成された画像に重ね合わさられ得る。
ある実施形態によれば、上記生成された画像は、上記サンプル表面だけでなく。当該サンプル表面の下にある種々の深さにおけるデータをもたらす。

ある実施形態によれば、他の方法７００は、上記サンプルのＥＬＭ画像データおよびＯＣＴ画像データの両方に基づいて、サンプル画像を生成することについて説明されている。方法７００は、画像化装置１０２内の処理回路１２０、または演算装置１３０によって実施され得る。

ブロック７０２では、第一の光学データおよび第二の光学データが受け取られる。上記第一の光学データは、測定されたＥＬＭ画像データに対応し得、上記第二の光学データは、測定されたＯＣＴ画像データに対応し得る。ある実施形態において、上記第一の光学データに対応している画像平面は、上記第二の光学データに対応している画像平面と同一平面にない。

ブロック７０４では、平行移動および／または回転移動は、上記第一の光学データからの時間的について集められた画像に基づいて算出される。上記第一の光学データがＥＬＭデータであるとき、ＥＬＭ画像は、ある期間の全体にわたって集めあれ得、当該画像が平行移動または回転している程度を決定するために分析され得る。上記ＥＬＭ画像が集められているときと同じときに、ＯＣＴ画像はまた集められ得る。一例において、ＯＣＴ画像は、関連付けられているＥＬＭ画像と実質的に同時に取り込まれる。

ブロック７０６では、上記第一の光学データは、上記第二の光学データと相関させられる。ＥＬＭ画像は、実質的に同時に取り込まれ、かつ上記サンプルと交差している画像平面を有しているＯＣＴ画像と関連付けられ得る。上記ＥＬＭ画像の算出された動きは、関連付けられているＯＣＴ画像の動きおよび位置を位置づけるために用いられ得る。上記第一の光学データおよび第二の光学データからの画像は、互いに時間的または空間的に相関させられ得る。

ブロック７０８では、三次元画像が、相関させられた光学データに基づいて生成される。上記画像は、組み合わされているＥＬＭデータおよびＯＣＴデータに基づく、上記サンプルの三次元表現であり得る。例えば、上記ＥＬＭ画像について計算された種々の移動および回転は、関連付けられているＯＣＴ画像の位置を位置付けるために使用され得、上記データは、ＥＬＭ画像データを用いてテクスチャを付された表面データ、およびＯＣＴ画像データからの、深さ方向に分解されたデータの一方または両方をもたらす三次元モデルを形成するために１つにされる。

種々の方法が、結合されているＯＣＴおよびＥＬＭデータを用いて、サンプル表面および深部のモデルを生成するために用いられ得る。例えば、上記ＯＣＴデータは、サンプル表面トポロジーの「ワイヤメッシュ」表現を生成するために用いられ得る。それから、上記ＥＬＭデータは、表面テクスチャのようなワイヤメッシュ表面に適用され得る。他の例としては、上記サンプルの表面トポロジーを精密にするためのボックスモデリング手法および／またはエッジモデリング手法が挙げられる。

種々の画像処理方法およびこれまでに説明されている他の実施形態は、例えば１つ以上の周知のコンピュータシステム（例えば、図８において示されているコンピュータシステム８００）を用いて実施され得る。

コンピュータシステム８００は、中央演算処理装置すなわちＣＰＵとも呼ばれる１つ以上のプロセッサ（プロセッサ８０４など）を含んでいる。プロセッサ８０４は、通信インフラストラクチャーまたはバス８０６に接続されている。一実施形態において、プロセッサ８０４は、フィールドプラグラマブルゲートアレイ（ＦＰＧＡ）に相当する。他の実施形態において、プロセッサ８０４は、デジタルシグナルプロセッサ（ＤＳＰ）である。

１つ以上のプロセッサ８０４はそれぞれ、グラフィックスプロセッシングユニット（ＧＰＵ）であり得る。ある実施形態において、ＧＰＵは、電子素子において数学的に膨大なアプリケーションを高速処理するように設計されている特殊化されている電子回路であるプロセッサである。ＧＰＵは、大きなブロックのデータ（例えば、コンピュータグラフィック・アプリケーション、画像および映像に共通する数学的に膨大なデータ）の並列処理に効率的である高度な並列構造を有し得る。

コンピュータシステム８００はまた、（複数の）ユーザ入／出力装置インターフェイス８０２を通して通信インフラストラクチャー８０６と通信する（複数の）ユーザ入／出力装置８０３（例えば、モニタ、キーボード、位置指示装置など）を含んでいる。

コンピュータシステム８００はまた、メインメモリすなわち主記憶装置８０８（例えばランダムアクセスメモリ（ＲＡＭ））を含んでいる。メインメモリ８０８は、１次以上のキャッシュを含み得る。メインメモリ８０８は、制御論理（すなわちコンピュータソフトウェア）および／またはデータをそこに記憶している。ある実施形態において、少なくともメインメモリ８０８は、本明細書に説明されているように、実現され得、および／または機能し得る。

コンピュータシステム８００はまた、１つ以上の補助記憶装置または補助メモリ８１０を含み得る。補助メモリ８１０は、例えば、ハードディスクドライブ８１２および／または取り外し可能な記憶装置もしくは取り外し可能な記憶装置駆動部８１４を含み得る。取り外し可能な記憶装置駆動部８１４は、フロッピーディスク駆動部、磁気テープ駆動部、コンパクトディスク駆動部、光学記憶装置、テープバックアップ装置および／または任意の他の記憶装置／記憶装置駆動部であり得る。取り外し可能な記憶装置駆動部８１４は、取り外し可能な記憶ユニット８１８と相互に作用し得る。取り外し可能な記憶ユニット８１８は、コンピュータソフトウェア（制御論理）および／またはデータをそれに記憶しているコンピュータ利用可能な記憶装置またはコンピュータ読み取り可能な記憶装置を含んでいる。取り外し可能な記憶ユニット８１８は、フロッピーディスク、磁気テープ、コンパクトディスク、デジタルバーサタイルディスク（ＤＶＤ）、光学記憶ディスクおよび／他の任意のコンピュータデータ記憶装置であり得る。取り外し可能な記憶装置駆動部８１４は、周知の様式において、取り外し可能な記憶ユニット８１８からの読み取り、および／または取り外し可能な記憶ユニット８１８に書き込む。

補助メモリ８１０は、コンピュータプログラムおよび／または他の命令および／またはデータを、コンピュータシステム８００によって利用可能にする他の手段（means）、手段（instrumentalities）またはアプローチを含み得る。このような手段、手段または他のアプローチとしては、例えば、取り外し可能な記憶ユニット８２２およびインターフェイス８２０が挙げられ得る。取り外し可能な記憶ユニット８２２およびインターフェイス８２０の例としては、（１）（例えば、ビデオゲーム装置に見られる）プログラムカートリッジおよびカートリッジインターフェイス、（２）取り外し可能なメモリチップ（ＥＰＲＯＭまたはＰＲＯＭなど）および関連しているソケット、（３）メモリスティックおよびユニバーサルシリアルバス（ＵＳＢ）ポート、（４）メモリカードおよび関連しているメモリカードスロット、および／または（５）任意の他の取り外し可能な記憶ユニットおよび関連しているインターフェイスが挙げられ得る。

コンピュータシステム８００は、通信インターフェイスまたはネットワークインターフェイス８２４をさらに含み得る。通信インターフェイス８２４は、遠隔装置、遠隔ネットワーク、遠隔構成要素など（個別かつ集合的に、参照番号８２８によって指示されている）の任意の組み合わせと通信すること、および相互に作用することを、コンピュータシステム８００に可能にする。例えば、通信インターフェイス８２４は、有線および／または無線であり得る通信経路８２６（ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットなどの任意の組合せが挙げられ得る）を通してリモート装置８２８と通信することを、コンピュータシステム８００に可能にし得る。制御論理および／またはデータは、通信経路８２６を介して、コンピュータシステム８００に送られ得るか、および／またはコンピュータシステム８００から送られ得る。

ある実施形態において、それに記憶されている制御論理（ソフトウェア）を有しているコンピュータ利用可能または読み取り可能な、実体のある媒体を含んでいる実体のある装置または物品はまた、本明細書において、コンピュータプログラム製品またはプログラム記憶装置と呼ばれている。これとしては、コンピュータシステム８００、メインメモリ８０８、補助メモリ８１０、および取り外し可能な記憶ユニット８１８および８２２、ならびに上述の任意の組合せを具体化する製造物の、実体のある物品が挙げられるが、これらに限定されない。このような制御論理は、１つ以上のデータ処理装置（例えばコンピュータシステム８００）によって実行されるとき、当該データ処理装置を本明細書に説明されているように動作させる。

この開示に含まれている教示に基づくと、データ処理装置、コンピュータシステムおよび／または図８に示されている以外のコンピュータアーキテクチャを用いて、どのように本発明を作製し、かつ使用するのかは、当業者にとって明らかである。特に、複数の実施形態は、本明細書に説明されているもの以外の、ソフトウェア、ハードウェアおよび／またはオペレーティングシステムを用いて動作し得る。

発明の概要および要約の項目ではなく、発明を実施するための形態の項目が、特許請求の範囲を解釈するために用いられるべきことを目的としていることは、十分に理解されるべきである。発明の概要および要約の項目は、本発明者（ら）によって考慮されている、すべてではなく１つ以上の、本発明の例示的な実施形態を示し得、したがって、本発明および添付の特許請求の範囲をどのようにも限定することを目的としていない。

本発明の複数の実施形態は、具体化されたそれらの機能および関連性の実施を例証する機能的な構成単位の補助を受けて以上に説明されている。これらの機能的な構成単位の境界は、説明の便宜のために、任意に決められている。代替的な境界は、具体化されたそれらの機能および関連性が実施される限りにおいて、決められ得る。

上述した特定の実施形態の説明は、他者が、本発明の一般的な概念から逸脱することなく、過度の実験を必要とせずに、当該分野の技術の範囲内にある知識を適用することによって、そのような特定の実施形態を、種々の用途のために、容易に変更し得るか、および／または採用し得る本発明の全体的な性質を十分に明らかにしている。したがって、そのような採用および変更は、本明細書に示されている教示および指針に基づく、開示されている複数の実施形態の均等物の目的および範囲のなかにあると意図されている。本明細書における表現または用語は、本明細書の当該表現または用語が、教示および指針に鑑みて、当業者によって理解されるように、限定ではなく、説明を目的としていることが理解されるべきである。

本発明の広がりおよび範囲は、以上に説明されている例示的な実施形態のうちのいずれにも限定されず、以下の特許請求の範囲およびそれらの均等物にしたがってのみ、規定されている。

ある実施形態に係る、画像化システムを説明している。 ある実施形態に係る、サンプルの表面に対する２つの画像化平面を説明している。 Ａ〜Ｄは、画像の平行移動および回転の影響を説明している。 Ａ〜Ｂは、画像の面外回転の影響を説明している。 Ａ〜Ｂは、画像の平行移動の影響を説明している。 例示の方法を説明している。 他の例示の方法を説明している。 種々の実施形態を実施するために有用な、例示のコンピュータシステムを説明している。

〔分野〕
本発明の実施形態は、質を向上させた上記サンプルの表面画像および深部画像を生成するために、サンプルのエピルミネッセンスデータおよび光干渉断層計データを集め、かつ相関させる画像化装置の設計、およびそれを用いる方法に関する。

皮膚鏡検査は、がんの発見および他の悪性皮膚疾患のために、ヒト上皮の画像を生成するために、医療従事者によって長年にわたって使用されている。皮膚鏡検査のための最も一般的な用途の１つは、皮膚がん、黒色腫、非黒色腫皮膚癌（ＮＭＳＣ）（基底細胞癌（ＢＣＣ）および扁平上皮癌（ＳＣＣ）が挙げられる）、および他の皮膚疾患（紫外線角膜炎（ＡＫ）および乾癬が挙げられる）の早期発見および早期診断のためである。皮膚表面における、上記表面の可視化の質を向上させるための光の使用は、表面の可視化を向上させるための、皮膚の表面に対する光の使用は、エピルミネッセンス顕微鏡法（ＥＬＭ）として知られている。米国特許公報第２００５／０１７１４３９号は、有用な背景情報を提供している。

〔詳細な説明〕
特定の構成および配置が論じられているが、これは説明の目的のみのためになされていると理解されるべきである。当業者は、他の構成および配置が用いられ得ることを認める。この発明がまた、種々の他の用途において採用され得ることは、当業者にとって明白である。

Claims (33)

1. エピルミネッセンス顕微鏡と関連付けられている第一の照射ビームを導くように構成されている第一の光学経路；
   光干渉断層計と関連付けられている第二の照射ビームを導くように構成されている第二の光学経路；
   上記第一の照射ビームおよび第二の照射ビームをサンプル上に送るように構成されている複数の光学素子；
   検出器において受け取られている、上記サンプルから反射または散乱された上記第一の照射ビームおよび第二の照射ビームと関連付けられている光学データを生成するように構成されている検出器であって、上記第一の照射ビームおよび第二の照射ビームと関連付けられている上記光学データは、上記サンプルの実質的に同一平面にない複数の領域に対応している、検出器；ならびに
   上記第一の照射ビームと関連付けられている上記光学データを、上記第二の照射ビームと関連付けられている上記光学データと相関させ、かつ
   上記相関させられている光学データに基づいて上記サンプルの画像を生成するように構成されているプロセッサ
   を備えている、画像化システム。
2. 上記第一の光学経路および第二の光学経路は、光ファイバを１つ以上備えている、請求項１に記載の画像化システム。
3. 上記第一の光学経路および第二の光学経路は、基板上にパターン化されている導波路を１つ以上備えている、請求項１に記載の画像化システム。
4. 上記第一の光学経路、上記第二の光学経路、上記複数の光学素子および上記検出器は、ハンドヘルド画像化装置の内部に配置されている、請求項１に記載の画像化システム。
5. 上記ハンドヘルド画像化装置の一部は、上記第一の照射ビームおよび第二の照射ビームを実質的に透過させ、上記複数の光学素子は、上記ハンドヘルド画像化装置の上記一部を通して上記第一の照射ビームおよび第二の照射ビームを送るように構成されている、請求項４に記載の画像化システム。
6. 上記ハンドヘルド画像化装置の第一の部分は、上記第一の照射ビームを実質的に透過させ、上記ハンドヘルド画像化装置の第二の部分は、上記第二の照射ビームを実質的に透過させ、
   上記複数の光学素子の第一の部分は、上記第一の部分を通して上記第一の照射ビームを送るように構成されており、上記複数の光学素子の第二の部分は、上記第二の部分を通して上記第二の照射ビームを送るように構成されている、請求項４に記載の画像化システム。
7. 上記プロセッサは、上記ハンドヘルド画像化装置の内部に含まれている、請求項４に記載の画像化システム。
8. 上記プロセッサは、上記ハンドヘルド画像化装置に対して通信によって接続されている演算装置に含まれている、請求項４に記載の画像化システム。
9. 上記サンプルの上記実質的に同一平面にない複数の領域は、上記サンプルの実質的に直交している複数の領域である、請求項１に記載の画像化システム。
10. 上記第一の光学経路および上記第二の光学経路は、同じ物理経路の少なくとも一部を共有している、請求項１に記載の画像化システム。
11. 上記検出器は、ＣＣＤカメラ、光ダイオードおよびＣＭＯＳセンサの少なくとも１つを備えている、請求項１に記載の画像化システム。
12. 上記プロセッサは、上記サンプルの上記表面に対する、上記装置の平行移動および回転の少なくとも１つを計算するために、
    上記第一の照射ビームと関連付けられている時間的に連続な光学データを分析し、かつ
    上記第一の照射ビームの上記時間的に連続な光学データを使用するようにさらに構成されている、請求項１に記載の画像化システム。
13. 上記プロセッサは、上記サンプルの上記表面を横切る上記平行移動が閾値を上回るときに、上記第二の照射ビームと関連付けられている上記光学データを、上記画像を生成するために使用しないように構成されている、請求項１２に記載の画像化システム。
14. 上記プロセッサは、上記計算された側方への移動および計算された回転の少なくとも１つに基づいて、上記第一の照射ビームと関連付けられている１つ以上の画像の位置を、上記第二の照射ビームと関連付けられている１つ以上の画像の位置と相関させるようにさらに構成されている、請求項１２に記載の画像化システム。
15. 上記プロセッサによって生成されている画像は、上記サンプルの上記表面上のデータ、および上記サンプル表面の下にある深部にまでわたるデータを与える上記サンプルの三次元画像である、請求項１４に記載の画像化システム。
16. 上記サンプルの上記表面上の上記データは、上記サンプルの上記表面の粗さと関連付けられているデータを含んでいる、請求項１５に記載の画像化システム。
17. 上記第一の照射ビームと関連付けられている上記１つ以上の画像と関連付けられているデータは、上記第二の照射ビームと関連付けられている１つ以上の画像に移されるか、またはその逆である、請求項１に記載の画像化システム。
18. 上記データは、注釈、マーカまたはメタデータを含んでいる、請求項１７に記載の画像化システム。
19. 上記第二の光学経路は、偏光感受型光干渉断層計と関連付けられている第二の照射ビームを導くように構成されている、請求項１に記載の画像化システム。
20. 上記第二の光学経路は、ドップラー光干渉断層計と関連付けられている第二の照射ビームを導くように構成されている、請求項１に記載の画像化システム。
21. サンプルのエピルミネッセンス顕微鏡による画像化と関連付けられている第一の光学データを受け取ること；
    上記サンプルの光干渉断層計による画像化と関連付けられている第二の光学データを受け取ることであって、上記第二の光学データと関連付けられている画像平面の方向に対する、上記サンプルの表面上にある上記第一の光学データと関連付けられている画像平面の方向は同一平面にない、受け取ること；
    上記第一の光学データの１つ以上の画像を、上記第二の光学データの１つ以上の画像と、処理装置を用いて相関させて、相関させられているデータを生成すること；および
    上記相関させられているデータに基づいて、上記処理装置を用いて上記サンプルの画像を生成すること
    を含んでいる、方法。
22. 上記サンプルからのエピルミネッセンスと関連付けられている第一の照射ビームを受け取るように構成されている検出器を用いて、第一の光学データを生成すること；および
    上記サンプルからの光干渉断層撮影像と関連付けられている第二の照射ビームを受け取るように構成されている検出器を用いて、第二の光学データを生成すること
    をさらに含んでいる、請求項２１に記載の方法。
23. 上記相関させることは、第一の光学データの１つ以上のフレームを、第二の光学データの１つ以上のフレームと時間的に相関させて、時間的に相関させられているデータを生成することを含んでいる、請求項２１に記載の方法。
24. 時間的に連続な第一の光学データの分析し、かつ
    上記時間的に連続な第一のデータを用いて、上記サンプルの上記表面に対する平行移動および回転の少なくとも１つを計算することをさらに含んでいる、請求項２１に記載の方法。
25. 上記計算された側方への移動に基づいて、上記サンプルの上記表面を横切る上記生成されている画像の視野を拡張することをさらに含んでいる、請求項２４に記載の方法。
26. 上記相関させることは、上記画像化装置および上記サンプルの間における上記計算された平行移動および回転移動に基づいて、上記第一の光学データと関連付けられている１つ以上の画像フレームの位置を、上記第二の光学データと関連付けられている１つ以上の画像フレームの位置と相関させることを含んでいる、請求項２４に記載の方法。
27. 上記相関させることは、上記第一の光学データの上記１つ以上の画像と関連付けられているデータを、上記第二の光学データの上記１つ以上の画像に移すことか、またはその逆を含んでいる、請求項２１に記載の方法。
28. 上記データは、注釈、マーカおよびメタデータを含んでいる、請求項２７に記載の方法。
29. 上記生成することは、上記サンプルの三次元画像を生成することを含んでいる、請求項２１に記載の方法。
30. 上記生成された三次元画像を用いて、上記サンプルの上記表面の粗さを分析することをさらに含んでいる、請求項２９に記載の方法。
31. 上記サンプルの上記表面の下にある深部と関連付けられている悪性腫瘍のデータを分析することさらに含んでいる、請求項２９に記載の方法。
32. エピルミネッセンス顕微鏡と関連付けられている第一の照射ビームを導くように構成されている第一の光学経路；
    光干渉断層計と関連付けられている第二の照射ビームを導くように構成されている第二の光学経路；
    上記第一の照射ビームおよび第二の照射ビームを、サンプル上に送るように構成されている複数の光学素子；
    検出器において受け取られている、上記サンプルから反射または散乱された上記第一の照射ビームおよび第二の照射ビームと関連付けられている光学データを生成するように構成されている検出器であって、上記第一の照射ビームおよび第二の照射ビームと関連付けられている上記光学データは、上記サンプルの実質的に同一平面にない複数の領域と対応する、検出器；ならびに
    上記光学データを演算装置に送るために構成された、送信器
    を備えている、ハンドヘルド画像化装置。
33. サンプルのエピルミネッセンス顕微鏡による画像化と関連付けられている、第一の光学データを受け取ること；
    上記サンプルの光干渉断層計による画像化と関係づけられている第二の光学データ受け取ることであって、上記第二の光学データに対する上記第一の光学データは、上記サンプルの実質的に同一平面にない領域と対応する、受け取ること；
    １つ以上のフレームの第一の光学データを、１つ以上のフレームの第二の光学データと相関させて、相関させられているデータを生成すること；および
    上記相関させられているデータに基づいて、上記サンプルの画像を生成すること
    を含んでいる方法を、処理装置によって実行されるときに実行させる、それに記録された命令を有している、コンピュータ読み取り可能な一時的ではない記録媒体。

Images