JP2021532891A - マルチスペクトル情報を用いた観血的治療における拡張画像化のための方法およびシステム - Google Patents

Abstract

観血的治療、特に観血的手術中の患者の組織の拡張画像を生成する方法が開示され、各拡張画像が少なくとも１つの組織パラメータを組織の画像の領域又は画素に関連付けらており、前記方法は、前記組織の関心領域を証明する光のスペクトル組成を推定し、前記関心領域の１以上のマルチスペクトル画像を取得し、機械学習ベースの回帰器又は分類器を、１以上のマルチスペクトル画像又は前記マルチスペクトル画像から導出された画像に適用するというステップを含み、これにより、対応するマルチスペクトル画像の画像領域又は画素に関連付けられた１以上の組織パラメータを導出し、前記回帰器又は分類器は、照明の所与のスペクトル組成の下で、マルチスペクトル画像から１以上の組織パラメータを予測するように訓練されており、採用される回帰器又は分類器は、組織の前記関心領域を照明する光の推定されたスペクトル組成に一致させられる。

Description

本発明は医療技術の分野のものである。詳細には、本発明は、マルチスペクトル情報を用いた組織の拡張画像化のための方法およびシステムに関する。

観血的または低侵襲手術においては、治療中の組織の拡張画像化が必要である。本明細書において理解されるとおりの拡張画像化は、組織自体のフィルム画像以外の追加情報を示す組織の画像を提供することを指示する。この追加情報は、概して、本開示において「組織パラメータ」と称される。

このような追加情報の１つの重要な例は、組織の機能状態に関連する情報が提供される、機能情報であり得る。外科医に指示されるべき特に重要な機能状態は組織の灌流または酸素化である。より広い意味での機能的画像は、また、機能パラメータから導出された機能状態、例えば、代謝状態、または癌組織、特に、癌リンパ節組織、特に、良性および悪性腫瘍のより多い組織の間の鑑別などの、このような機能パラメータから導出された組織の他の特性に関する情報を提供する画像も含み得る。対応する情報は、概して、本明細書において「組織パラメータ」と称される。

ここでは酸素化とも称される、酸素飽和度は、総ヘモグロビンに対する酸素飽和ヘモグロビンの割合を示す。酸素飽和ヘモグロビンおよび酸素不飽和ヘモグロビンは、波長に応じた異なる光吸収特性を有するため、酸素化は原理的にマルチスペクトル画像化によって決定され得る。

灌流は、期間内に特定の組織または臓器の毛細管を通って流れる血液の体積として定義され得る。灌流の停止または低減は「虚血」として知られ、不可逆の障害をもたらし得る。臓器に応じて、この障害は数分から数時間以内に生じることになる。細胞は酸素および他の栄養素を依然として消費するが、酸素化された新たな血液がやって来ないため、障害は供給と需要との間の不均衡によって引き起こされる。虚血時における低減された酸素化およびより低い血液量のゆえに、マルチスペクトル画像化は、灌流を特徴付ける潜在能力も有する。

虚血はいくつかの理由によって促され得る。状況によっては、それは医師によって随意的に生じさせられる場合がある。この一例は、腎臓腫瘍が外科的に除去される、腎部分切除である。切除の間の出血を低減するために、供給肺門部血管をクランプすることによって虚血が誘起され得る。この場合には、外科医が、介入の開始時に、灌流がうまく停止されたことを確認すること、および介入後に、腎臓が十分な血流を再び受け取っていることを確認することの双方を行うために、機能画像化に頼って虚血を推定することが極めて有用になるであろう。

虚血は、手術後における望ましくない副作用にもなり得る。２つの顕著な例は、臓器移植および吻合、すなわち、２つの管状区分の再結合である。この場合にも、外科医が、介入の最中、およびその後に灌流状態を判定することが極めて有用になるであろう。

灌流を視覚化することは腫瘍の識別においても有用になり得る。低酸素（酸素化された血液の欠乏）および脈管形成（新たな血管の形成）などの癌の重要な特徴は、酸素化および血液体積分率の変化によって特徴付けられるため、灌流に関連する検出可能な変化は、場合によっては、癌に帰せられ得る。

原理的には、酸素化は、マルチスペクトル画像化を用いて検出され得ることが分かっているが、既知の方法は深刻な欠点を持つ。既存の方法における１つの弱点は、それらが、即時のフィードバックを外科医に与えること、および動きアーチファクトまたはぶれを回避することなどのために、「実況」拡張画像、すなわち、例えば、２５Ｈｚ以上の速度で、リアル・タイムで作成される画像を提供することができないことである。

さらなる弱点は、画像によって伝えられる機能情報における精度の不足である。介入性のイン・ビボ・マルチスペクトル画像化のための大抵のシステムは、Ａ．ＳａｓｓａｒｏｌｉおよびＳ．Ｆａｎｔｉｎｉ． Ｃｏｍｍｅｎｔ ｏｎ ｔｈｅ ｍｏｄｉｆｉｅｄ Ｂｅｅｒ−Ｌａｍｂｅｒｔ ｌａｗ ｆｏｒ ｓｃａｔｔｅｒｉｎｇ ｍｅｄｉａ． ＰｈｙｓＭｅｄ Ｂｉｏｌ， ４９（１４）：Ｎ２５５‐２５７ （２００４）に記載されているとおりの、拡張ベール・ランバートの法則に基づく線形推定アプローチを用いる。しかし、これらの方法は高速ではあるが、それらは、酸素化を推定することに限定されており、灌流を推定せず、それらは小さいマルチスペクトル帯域幅を必要とし、それらは、また、不正確な結果をもたらす組織組成に関するいくつかの非現実的な仮定に依拠する。より洗練されたエクス・ビボの組織分析方法は、生理的パラメータのより正確な査定のために高度に正確なモンテ・カルロ法を採用する。これらの方法の欠点は、それらが、高解像度マルチスペクトル画像を扱うときの組織パラメータのリアル・タイム推定のためには低速すぎることであり、それゆえ、それらは手術または介入手順の最中の適用のために適していない。

最後に、マルチスペクトル情報を用いた機能画像化のための既知の方法は、高度に指定された照明条件下での組織の照明を必要とする。今までのところ、この技法を変化する照光条件下で適用することは困難になっており、これが、現在、本方法の融通性および実用的適用性を制限している。変化する光条件は、例えば、異なるスペクトルを有する異なる光源が同時に使用されており、患者、または光源のうちの１つが移動させられたときに組織上の光の組成が変化する、手術室環境において生じ得る。

本発明における課題は、上述された弱点のうちの１つまたは複数を克服する機能画像化のための方法およびシステムを提供することである。この課題は、請求項１による方法や請求項３４によるシステムによって解決される。好ましい実施形態は従属項において示される。

本発明の一態様によれば、観血的手術中の患者の組織の１つまたは複数の拡張画像を生成する方法であって、各拡張画像が少なくとも１つの組織パラメータを組織の画像の領域または画素に関連付けられる。前記方法は、
前記組織の関心領域を証明する光のスペクトル組成を推定するステップと、
前記関心領域の１つまたは複数のマルチスペクトル画像を取得するステップと、
機械学習ベースの回帰器または分類器
を、前記１つもしくは複数のマルチスペクトル画像、または前記マルチスペクトル画像から導出された画像、に適用するステップであって、これにより、対応するマルチスペクトル画像の画像領域または画素に関連付けられた１つまたは複数の組織パラメータを導出する、適用するステップと、
を含み、
前記回帰器または分類器は、照明の所与のスペクトル組成の下で、マルチスペクトル画像から前記１つまたは複数の組織パラメータを予測するように訓練されている。この訓練は、通例、当技術分野において「教師あり学習」として知られるものを含む。「マルチスペクトル画像」から１つまたは複数の組織パラメータを予測することが言及される場合には常に、組織パラメータはまた、複数の画像、特に、画像の時系列に基づいて、また、任意選択的に、その時間発展を考慮して予測または導出され得ることが理解されることに留意されたい。換言すれば、適用可能である場合には常に、「画像」から組織パラメータを導出することが言及されるときには常に、さらなる言及がなくとも、これはまた、画像の時系列から導出され得ることが理解される。

本明細書において、回帰器または分類器は、マルチスペクトル画像自体か、本開示において「前記マルチスペクトル画像から導出された画像」と称される、その処理されたバージョンか、のどちらかに適用される。簡潔にするために、以下において、この区別は明示的に行われておらず、すなわち、回帰器または分類器が「マルチスペクトル画像」に適用されることが言及される場合には常に、それは、マルチスペクトル画像自体か、それから導出された画像、例えば、何らかの種類のセグメント化または同様のものを受けさせられたマルチスペクトル画像か、のどちらかに適用されることを理解されたい。

組織パラメータの種類に応じて、本方法は、連続範囲から酸素化値などの組織パラメータを決定することを可能にする、回帰器、または例えば、マルチスペクトル画像の助けを借りて認識されるべき臓器の所定のセットのうちの１つの認識を示すことができるであろう、分類器を採用し得る。以下においては、時として、簡潔にするために、「回帰器」のみが言及されることになるが、適用可能である場合には、組織パラメータの種類に応じて、それぞれの開示は、さらなる言及がなくとも、分類器にも適用されることを理解されたい。

本発明では、採用される回帰器または分類器は、３つの可能な変形例のうちの１つによって、組織の前記関心領域を照明する光の推定されたスペクトル組成に一致させられる。

第１の変形例によれば、回帰器または分類器が、異なる訓練照明のために以前に訓練された複数の回帰器または分類器の中から、訓練照明のスペクトル組成が、前記関心領域を照明する前記光の推定されたスペクトル組成と最も類似したものになるよう選択される。

第２の変形例によれば、取得されたマルチスペクトル画像が、前記関心領域を照明する光の推定されたスペクトル組成から導出された情報に基づいて変換され、標準照明の下で訓練された標準回帰器または分類器が、変換されたマルチスペクトル画像に適用され、変換は、標準照明からの照明のスペクトル組成の逸脱に起因するマルチスペクトル画像の変化を補償することが可能である。

最後に、第３の変形例では、すでに訓練された回帰器または分類器が、前記関心領域を照明する光の推定されたスペクトル組成に適応させられたシミュレーション・データを用いて再訓練され得る。すなわち、本発明の好ましい実施形態によれば、訓練のために用いられるデータは、以下においてより詳細に説明される仕方でシミュレーションを用いて取得され、このシミュレートされたデータにおいては、照明光のスペクトル組成についてのいくらかの仮定がなされる。光の推定されたスペクトル組成は、概して、訓練データのシミュレーションにおいて用いられた照明スペクトルから逸脱することになるが、シミュレートされた訓練データは、この逸脱に対応するように適応させられ得る。この適応させられたシミュレーション・データに基づいて、異なる照明スペクトルに基づいて以前に訓練された回帰器または分類器が、逸脱した照明を用いた画像から正確な組織パラメータを提供するなどするために、再訓練され得る。発明者らは、いわゆる転移学習に基づく、再訓練の効率的な仕方を用いることで、この再訓練が、いくつかの実際の適用のために許容可能である、驚くほど短い時間フレーム内で実施され得ることを観察した。しかし、この第３の変形例は、最初の２つの変形例よりも実施のために依然としてはるかに多くの時間を要し、この理由のために、最初の２つの変形例が現在のところは好ましい。

したがって、関心領域内の組織の照明が前もって知られていない場合があるか、または経時的に変化しさえし得るという事実にもかかわらず、３つの全ての変形例のうち、好適な回帰器または分類器がマルチスペクトル画像に適用され得る。これは、ＭＳＩベースの拡張画像化を、関心領域内の照光条件が典型的には変化することになる、観血的手術における適用に適したものにする。

特に好ましい実施形態では、これらの変形例のうちの２つ、またはさらには３つ全てが組み合わせられ得、これにより、マルチスペクトル画像に適用され得る、回帰器／分類器のアンサンブルが得られ、拡張画像において実際に用いられるべき組織パラメータは、例えば、個々の回帰器／分類器に基づいて導出された組織パラメータから選択されるか、またはそれらから算出され得ることに留意されたい。

本明細書においては、１つの関心領域が参照されるが、複数の関心領域が存在し得ることを理解されたい。

本開示では、用語「拡張画像化」および用語「組織パラメータ」はどちらも広い意味を有する。拡張画像は、本明細書において、画像自体に加えて情報を提供する画像と理解され、この情報は組織パラメータによって表現される。本明細書において、用語「画像」は、単に、組織パラメータが、画素に、またはマルチスペクトル画像内の特定の領域に関連付けられている事実を表すにすぎず、それは、組織パラメータが「視覚画像」としてユーザに提示されなければならないことを含意しない。

このような追加情報のための一例は、組織の機能状態を特徴付ける機能情報である。したがって、「拡張画像」の一変形例は「機能的画像」と称され得、このとき、対応する「組織パラメータ」は「機能パラメータ」になるであろう。このような「機能パラメータ」のための例は、例えば、以上の本出願の背景セクションにおいて言及された酸素化または血液体積分率である。本発明に係る拡張画像はまた、生理学的情報、例えば、脂質の存在もしくは濃度、またはメラニンの存在もしくは濃度を提供し得、この場合には、「組織パラメータ」は「生理的パラメータ」になることができるであろう。これらの機能または生理的パラメータはマルチスペクトル画像の個々の画素に関連付けられてもよいが、しかし、以下において特定の実施形態を参照してより詳細に説明されることになるように、画素は、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループで構成された「マルチスペクトル画素」に対応することができるであろう。しかし、これらの機能または生理的パラメータは、同様に、マルチスペクトル画像内の特定の領域に関連付けられ得、前記領域は複数のマルチスペクトル画素から成り得る。このような領域の一例は、後述されるいわゆる「スーパー画素」である。したがって、好ましい実施形態では、前記少なくとも１つの組織パラメータが、以下のもの：酸素化、血液体積分率、脂質の存在もしくは濃度、メラニンの存在もしくは濃度、胆液の存在もしくは濃度、コラーゲンもしくはエラスチンの存在もしくは密度、水の存在もしくは濃度、人工染料、特に、メチレン・ブルーの存在、またはこれらのうちの任意のものもしくは任意の組み合わせから導出されたパラメータのうちの１つまたは複数を含む。

しかし、「組織パラメータ」は、代替的に、例えば、形態学的情報を表す、組織分類パラメータを含み得る。例えば、組織分類パラメータは、マルチスペクトル画像内で識別されるべき様々な臓器のうちの１つを指定するか、壊死組織を指定するか、癌組織、特に、癌リンパ節組織、および／もしくはそのステージ（良性または悪性）を指定するか、またはポリープを指定することができるであろう。組織パラメータが形態学的情報を表す場合には、組織パラメータは、通例、個々の画素ではなく、マルチスペクトル画像内の特定の領域、例えば、好適な分類器を用いて画像内で識別された所与の臓器に対応する領域に関連付けられることになる。これらの例では、機械学習ベースの分類器をマルチスペクトル画像に適用することは、臓器または同様のものなどの、認識されるべき形態学的特徴に従って画像をセグメント化するステップを含み得る。セグメント化は、分類器がマルチスペクトル画像に適用される際に実施される固有のステップであり得る。

実施形態によっては、組織パラメータは、歯科適用物における異物質および／または虫歯を指定するパラメータであり得る。

他の実施形態では、組織パラメータは、主要ランドマーク、具体的には、神経または重要な脈管を指定する、外科医がそれらを不注意に傷つけてしまうのを回避することを助け得る、ランドマーク指示パラメータであり得る。マルチスペクトル画像内の領域の画素に関連付けられたこのようなランドマーク指示パラメータを提供することは、この場合も先と同様に、一種の形態学的画像化であり、画像をセグメント化するステップを含み得る。

実施形態によっては、拡張画像内の追加情報は、即時の行動を必要とするであろう事象、例えば、出血、組織炎症、または煙の存在を表し得る。例えば、煙が内視鏡適用物において検出された場合には、これは、より明瞭な視野を得るよう煙を除去するための自動換気をトリガすることができるであろう。したがって、組織パラメータは、出血の存在を指示する事象パラメータ、または煙の存在を指示するパラメータであり得る。

実施形態によっては、組織パラメータは、感覚誘発電位を表す神経学的パラメータであり得る。発明者らは、感覚誘発電位が、マルチスペクトル画像によって検出され得る脳組織内の化学／生物過程を引き起こし得ることを発見した。

最後に、実施形態によっては、組織パラメータは、医療事象、例えば、腎不全を予測する、事象予測パラメータであり得る。組織パラメータが、事象、または事象の予測を表す場合に関しては、組織パラメータはマルチスペクトル画像全体に関連付けられてもよく、これは、組織パラメータが関連付けられる「画像領域」の特別な場合となるであろうことに留意されたい。

本開示では、照明光のスペクトル組成を推定するステップは広い意味を有し、スペクトル組成が決定され得る任意の想到可能な仕方を網羅する。観血的治療、特に、観血的手術における典型的な状況は、本明細書において開示されるシステムには制御不能である、手術室内で患者を照明するためのいくらかの光が存在することであり、この組成は、通例、何らかの種類の測定によって推定されなければならない。代替例では、例えば、異なるスペクトルを有する異なる光源の強度を制御することによって、または選択されたフィルタもしくは同様のものを適用することによって、照明光のスペクトルが能動的に制御される実施形態が存在し得る。このような場合には、「照明光のスペクトル組成を推定する」ステップは、スペクトル組成を決定する制御パラメータに基づいて、すなわち、スペクトルを実際に測定することを必要とせずに、スペクトル組成を計算するという意味になり得る。しかし、この場合にも、用いられる回帰器または回帰器群を、上述された仕方で、現在採用されている照明スペクトルに一致させることが重要である。

好ましい実施形態では、照明光のスペクトル組成を推定する前記ステップが、組織の前記関心領域から、または組織の前記関心領域に近い領域から鏡面反射された光に基づく。これは、関心領域において取得される、関心領域を照明するために実際に用いられる光のスペクトル組成を取得することを可能にする。関心領域における無菌性要求のゆえに、ホワイト・バランス標準または同様のものを用いることは困難であるか、または不可能でさえあろうということに留意されたい。これらの困難は、スペクトル組成の推定を鏡面反射光に基づかせることによって回避され得る。さらに、照明光のスペクトル組成の推定は、組織自体の前記関心領域から鏡面反射された光に基づくことが好ましいが、前記関心領域に「近い」だけの領域から鏡面反射された光に依拠することも可能である。本明細書において、「〜に近い（ｃｌｏｓｅ ｔｏ）」は、光のスペクトル組成が、関心領域におけるのと同じ、または事実上同じであると合理的に仮定され得るほど十分に近いことを意味する。実際に、これは、例えば、前記関心領域から５０ｃｍ未満、好ましくは、３０ｃｍ未満離れていることを意味することができるであろう。

好ましい実施形態では、前記方法は、組織の前記関心領域、または組織の前記関心領域に近い領域のマルチスペクトル画像内の鏡面反射領域を識別するステップをさらに含む。実施形態によっては、前記方法は、前記マルチスペクトル画像をより低い次元の色空間、特に、ＨＳＩ（色相（ｈｕｅ）、彩度（ｓａｔｕｒａｔｉｏｎ）、輝度（ｉｎｔｅｎｓｉｔｙ））色空間に変換するステップをさらに含む。ＨＳＩ色空間は、それが色を輝度および彩度から分離するため、鏡面画像領域を決定するために特に適している。

好ましい実施形態では、本方法は、鏡面反射領域をサイズに従って仕分けるステップをさらに含む。スペクトル（ｓｐｅｃｔｒａｌ）領域のうちのいくつかは、外れ値になりがちであり、照明光源スペクトルを確実に推定するために適さない、単一の画素、または少数の近接した画素の領域のみによって形成され得る。したがって、特に小さい鏡面領域は放棄されるべきである。他方で、実際には、セグメント化された画像内の最も大きい連結領域は、多くの場合、実は、まばらに広がった（ｅｆｆｕｓｉｖｅ）背景によって形成されており、したがって、同様に放棄されるべきであることが見出されている。したがって、好ましい実施形態では、鏡面反射性画素の１番目からｎ番目に大きい連結領域が決定され、鏡面反射性画素の最も大きい連結領域は、通例、セグメント化された画像内の２番目に大きい連結領域である。

好ましい実施形態では、本方法は、識別された鏡面反射領域に形態学的膨張を受けさせ、これにより、それらが所定の数または割合の不飽和画素を含むことを確実にするステップをさらに含む。実際に、鏡面領域は、対応する画素センサ要素の飽和によってスペクトルの部分が切り捨てられるため、スペクトルに関する有用な情報を与えない値を包含し得ることが見られる。しかし、スペクトル（ｓｐｅｃｔｒａｌ）領域の近傍内では、拡散鏡面成分が混合されることが仮定され得、形態学的膨張（ｍｏｒｐｈｏｌｏｇｉｃ ｄｉｌａｔａｔｉｏｎ）を用いて、これらの近傍が鏡面反射領域内に組み込まれ、これにより、飽和／露出過度画素の割合を減少させることができる。形態学的膨張を適用することによって、鏡面領域の全体的形状が維持され得る。

好ましくは、本方法は、マルチスペクトル画像内の識別された鏡面反射領域内で、鏡面反射からの寄与を拡散反射からの寄与から分離するステップをさらに含む。すなわち、実際には、「鏡面領域」として識別されたものは、鏡面反射とは異なり、照明光と同じスペクトル組成を呈しない、ある程度の拡散反射を常に包含することになる。したがって、好ましい実施形態では、スペクトル組成の推定が真に鏡面性の成分のみに基づくよう、鏡面および拡散反射からの寄与が分離される。好ましい実施形態では、分離は、以下においてより詳細に説明されるように、主成分分析（ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ、ＰＣＡ）または独立成分分析（ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ、ＩＣＡ）などの、ブラインド信号源分離方法を用いて行われる。しかし、代替的な実施形態では、分離は、例えば、複数の線形回帰に基づいて実施され得る。

照明光の前記スペクトル組成を推定するために、好ましい実施形態では、前記関心領域のマルチスペクトル画像が、前記回帰器または分類器が適用されるマルチスペクトル画像よりも低い露出を用いて記録される。発明者らは、組織パラメータを導出するためのマルチスペクトル画像を記録するために最適となるものよりも低い露出を用いることで、照明光源のスペクトル組成が鏡面ハイライトに基づいて著しく高い精度で決定され得ることを認識した。本明細書において、より低い露出のマルチスペクトル画像は、例えば、前記回帰器または分類器が適用されるマルチスペクトル画像よりも短い露出時間を用いて、および／または小さい絞り開口を用いて記録され得る。好ましい実施形態では、露出時間および／または絞りサイズは、強度が、機能的画像、すなわち、前記回帰器または分類器が適用されるマルチスペクトル画像を記録するために用いられる露出のために得られた強度と比べたときに、少なくとも２０％だけ、好ましくは、少なくとも４０％だけ、および最も好ましくは、少なくとも６０％だけ減少させられるように選定される。

好ましい実施形態では、前記スペクトル組成が、選択された数の画素または画素グループに基づいて推定され、前記画素または画素グループが、画像を記録するために用いられた画像検出器が画素または画素グループのスペクトル成分のうちのいずれのものについても飽和していないことを所与として、画素または画素グループが、高い、特に、可能な限り高い明度を有することを確実にする選択基準に従って、より低い露出の前記画像から選択される。本明細書において、「明度（ｌｉｇｈｔｎｅｓｓ）」は、画素または画素グループの、そのスペクトル成分の全てにわたる平均強度のための尺度である。本実施形態では、２つの機能を果たす「選択基準」が用いられる。まず第１に、それは、不飽和画素のみがスペクトル組成の推定のために考慮されることを確実にする。すなわち、たとえ、より低い露出が用いられる場合であっても、対応する検出器の少なくともいくつかの色チャネルが飽和し、これにより、スペクトル強度の部分を切り落とし、これにより、実際の光スペクトルを真に表現しない画素が存在し得る。これは本明細書において「鏡面ハイライトのセグメント化」とも称される。鏡面ハイライトのセグメント化はまた、過度に低い強度、例えば、暗電流に似ているのみの強度を有する画素を選別するステップを含み得、その理由は、これらの画素はどのようにしてもスペクトル組成の推定のために適格にならず、選択時に考慮するための画素または画素グループのサイズを低減するために棄却され得るためである。第２の機能は、残りの画素の中から、極めて高い明度を有する画素または画素グループを選択することであり、その理由は、このような高い明度は鏡面反射を指示するためである。例えば、一実施形態では、「有効画素」、すなわち、鏡面ハイライトのセグメント化において放棄されなかったものの中から、Ｎ_Ｐ個の最も高い明度値に関連付けられた画素が選択され得る。Ｎ_Ｐのための好適な値は経験的に決定され得、好ましい実施形態では、それは、５０から２５０、好ましくは、８０から１７０であり得る。しかし、これは単に１つの例示的な選択基準にすぎず、飽和画素を放棄すること、および高い明度を有する画素、すなわち、鏡面ハイライトを選定することを可能にする任意の選択基準が用いられ得る。

本実施形態は、以下の特定例の説明から明らかになるように、ほどほどの計算的および構造的労力をもって、非常に効率的に実施され得、同時に、照明のスペクトル組成の非常に精密な推定を可能にし、これにより、様々な、および場合によっては、変化する照明条件下で組織パラメータを確実に予測することを可能にする。

好ましい実施形態では、前記マルチスペクトル画像が、数がｋ個の色チャネルを含み、本方法は、前記ｋ個の色チャネル、またはそれらの部分セットからのスペクトル情報を準連続スペクトルに変換するステップをさらに含む。準連続スペクトルを取得することは、取得されたマルチスペクトル画像が、標準回帰器または分類器と共に使用するために − 前記関心領域を照明する光の推定されたスペクトル組成から導出された情報に基づいて − 変換される、本発明の第２の変形例のために特に有用である。この変形例のために、標準照明からの照明のスペクトル組成の逸脱に起因するマルチスペクトル画像の変化を補償することが可能である変換が必要とされる。この変換は、実際の照明光の連続的または少なくとも準連続的なスペクトルが利用可能である場合に、最善に決定され得る。好ましい実施形態では、前記準連続スペクトル内の波長は、好ましくは、１０ｎｍ以下だけ、好ましくは、５ｎｍ以下だけ、および最も好ましくは、３ｎｍ以下だけ分離されている。

好ましい実施形態では、１つまたは複数の拡張画像は、２５Ｈｚ以上の速度で、好ましくは、７５Ｈｚ以上の速度で連続的に生成された一連の拡張画像である。本実施形態によれば、拡張画像は、外科医への即時のフィードバックを可能にする、「ビデオ速度」と考えられ得るもので取得され得る。さらに、このようなビデオ速度画像化は、手術中に不可避的に生じる組織の動きに追随し、拡張画像のぶれを低減または回避することができる。

好ましい実施形態では、マルチスペクトル画像がマルチスペクトル・センサを用いて取得され、前記マルチスペクトル・センサがマルチスペクトル画素を含み、各マルチスペクトル画素が、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループを含み、これにより、単一の撮影においてマルチスペクトル画像を取得することを可能にする。このようなマルチスペクトル・センサを用いることは、例えば、フィルタ・ホイールを採用した従来技術の実施形態と比べて、より高い画像化速度を可能にし、また、スペクトルの様々な成分が同じ時点で精密に記録されること、すなわち、フィルタ・ホイールを用いるときに生じ得るような、異なる画像成分の記録の合間における組織の任意の動きを回避することも確実にする。さらに、このようなマルチスペクトル・センサを採用することは、フィルタ・ホイールを備えるデバイスよりも経済的に好ましい小型で軽量のデバイスを可能にする。好ましい実施形態では、各マルチスペクトル画素は３×３または４×４のセンサ画素のグループを含む。

好ましい実施形態では、前記回帰器または分類器は畳み込みニューラル・ネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）に基づく。発明者らは、ビデオ速度画像化を採用した実施形態のために特に重要である、ＣＮＮがほどほどのハードウェア負担で組織パラメータの非常に高速な算出を可能にすることを確認した。さらに、ＣＮＮはスペクトル画像のエンド・ツー・エンド処理を可能にし、非常に正確な結果を与えることを示した。

対応するマルチスペクトル画像の画像領域または画素に関連付けられた１つまたは複数の組織パラメータを取得するために、好ましい実施形態では、前記回帰器または分類器が、前記マルチスペクトル画像の前記画像領域または画素よりも多くを覆う近傍に適用される。本実施形態では、ＣＮＮが、空間広がりを有する領域を推定プロセスに組み込む可能性をもたらすことが利用される。本実施形態では、システムは、機能推定（または他の組織パラメータの決定）を、１つのスペクトル測定、すなわち、マルチスペクトル画像の１つの「画像領域」または「画素」だけでなく、近傍にも基づかせることができる。均質な組織の場合には、１つの（ノイズのある）スペクトル測定結果から区域へ移行することが有利であり、その理由は、これが、さらなる推論を基づかせるための複数の（ノイズのある）測定結果を提供するためである。

好ましい実施形態では、マルチスペクトル画像の前記画像領域または画素がマルチスペクトル・センサのマルチスペクトル画素によって形成され、前記センサの各マルチスペクトル画素が、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループを含み、回帰器または分類器が適用される前記近傍が、前記マルチスペクトル・センサのいくつかの近接したマルチスペクトル画素に対応する。

好ましい実施形態では、前記近傍に適用するために作成された前記回帰器または分類器が、前記近傍を集合的に覆うシミュレートされた画像領域または画素の複製から導出される、シミュレートされた近傍を用いて訓練され、前記複製が、組織不均質性に対応する個々のノイズおよび／または変更を受ける。

好ましい実施形態では、前記マルチスペクトル画像が、数がｋ個の色チャネルを含み、回帰器または分類器をマルチスペクトル画像に適用する前記ステップが、マルチスペクトル画像の色チャネルから取得されたｋ個の反射率値を回帰器または分類器に入力することを含む。本明細書では、前記反射率値は、完全な暗闇において記録された暗画像をマルチスペクトル画像から減算し、好ましくは、画像を、基準白色目標物から取得された、または取得可能な白色画像と、暗画像との差によってさらに正規化することによって、光センサ読み値から取得され得る。

好ましい実施形態では、本方法は、マルチスペクトル画像からＲＧＢ画像を導出するステップをさらに含む。ＲＧＢ画像は、外科医がディスプレイ上の関心領域を認識するために有用になることができる。特に、本実施形態では、追加のＲＧＢ画像化センサを提供する必要がない。

好ましい実施形態では、前記回帰器または分類器が順モデルに基づいて訓練され、前記順モデルが、組織モデル、前記組織モデルによってモデル化された組織のための特徴であるスペクトル反射率のシミュレーション、およびマルチスペクトル画像を記録するために用いられる画像化システムへの前記スペクトル反射率の適応を含む。本明細書では、シミュレーションは、好ましくは、最も正確な結果を与える、モンテ・カルロ・シミュレーションである。

本明細書では、前記組織モデルは、好ましくは、複数の層を含む層状組織モデルであり、各層は光学的関連組織パラメータのセットによって特徴付けられ、前記光学的関連組織パラメータは、好ましくは、血液体積分率、酸素化、腫瘍の存在、脂肪の存在もしくは濃度、メラニンの存在もしくは濃度、胆液の存在もしくは濃度、コラーゲンもしくはエラスチンの存在もしくは密度、水の存在もしくは濃度、または人工染料、特に、メチレン・ブルーの存在を含む。

光学的関連組織パラメータの前記セットは、好ましくは、散乱量を定量化するパラメータ、散乱の指数関数的波長依存性を特徴付ける、散乱能、散乱の指向性を特徴付ける異方性因子、屈折率、および層厚のうちの１つまたは複数を含む。

好ましい実施形態では、画像化システムへの前記スペクトル反射率の前記適応が、モデル化された組織のスペクトル反射率から、前記画像化システムの各色チャネルに関連付けられた強度の推定値を算出することを含む。

好ましい実施形態では、各色チャネルに関連付けられた強度の前記推定値の前記算出が、用いられるカメラまたは光センサの量子効率、照明光のスペクトル組成に関する情報、スペクトル・フィルタなどの、用いられる光学構成要素の透過率、非線形カメラ応答関数、ならびに色チャネルごとのカメラ・ノイズのうちの１つまたは複数に基づく。

好ましい実施形態では、所与のタスクのために、複数のシミュレーションの中から、シミュレーションの部分セットが、実際の組織を使った測定結果との比較によって選択され、シミュレーションの部分セットはシミュレーションのうちの残りのものよりも測定結果に良好に一致する。概して、回帰器または分類器の訓練は、シミュレートされた組織データに基づいて実施され、その理由は、それが大量に生成可能であり、機械学習回帰器／分類器の徹底的な訓練を可能にするためである。これとは対照的に、実際の組織を使った測定結果から信頼できる訓練データを取得することははるかにより複雑であり、それゆえ、実際には制約される。これを考慮して、本発明者らの一部は、本発明の枠組において特に有用である「ドメイン適応」と呼ばれる方法を最近提案した（Ｓ．Ｊ．Ｗｉｒｋｅｒｔ、Ａ．Ｓ．Ｖｅｍｕｒｉ、Ｈ．Ｇ．Ｋｅｎｎｇｏｔｔ、Ｓ．Ｍｏｃｃｉａ、Ｍ．Ｇｏｔｚ、Ｂ．Ｆ．Ｂ．Ｍａｙｅｒ、Ｋ．Ｈ．Ｍａｉｅｒ−Ｈｅｉｎ、Ｄ．Ｓ．Ｅｌｓｏｎ、およびＬ．Ｍａｉｅｒ−Ｈｅｉｎ． Ｐｈｙｓｉｏｌｏｇｉｃａｌ Ｐａｒａｍｅｔｅｒ Ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ Ｍｕｌｔｉｓｐｅｃｔｒａｌ Ｉｍａｇｅｓ Ｕｎｌｅａｓｈｅｄ． Ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ − ＭＩＣＣＡＩ ２０１７， Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，１３４〜１４１ページ． Ｓｐｒｉｎｇｅｒ， Ｃｈａｍ （２０１７）． ＩＳＢＮ ９７８−３−３１９−６６１７８−０ ９７８−３−３１９−６６１７９−７を参照）。すなわち、回帰器／分類器が所与のタスクのために意図される場合、その性能は、訓練が、このタスクのための実際の組織を使った測定結果との比較に基づいて選択されたシミュレーションの部分セット、すなわち、実際の測定結果にある所定の程度に一致するシミュレーションのみを使って実施された場合には、改善され得る。このように、訓練データが、分析されるべき実際の組織のために真に妥当であることが確実にされ得る。

好ましい実施形態では、複数の回帰器または分類器が１つまたは複数のマルチスペクトル画像に適用され、可能な組織パラメータのための複数の結果をもたらし、組織の画像の領域または画素に関連付けられた組織パラメータが、前記可能な組織パラメータを組み合わせるか、またはそれらから選択することによって取得される。

好ましい実施形態では、前記機械学習ベースの回帰器または分類器が、１つまたは複数の組織パラメータの精度の信頼の尺度を指示する信頼値を前記１つまたは複数の組織パラメータの前記予測と共に提供するために適している。

信頼値が既定の信頼基準を満たさない場合には、本方法は、以下のこと：
組織パラメータが拡張画像内で視覚化されないこと、
組織パラメータが拡張画像内で、ただし、信頼の指示と共に視覚化されること、
拡張画像化において用いられるべき組織パラメータが、
− 同じ画像内の異なる領域、
− 異なる画像化設定を用いて、特に、異なる照明スペクトルを用いて、および／またはマルチスペクトル画像化のために選択された異なる帯域を用いて取得された同じ組織の異なるマルチスペクトル画像内の同じ領域、ならびに
− 異なる回帰器または分類器が適用される同じマルチスペクトル内の同じ領域、
のうちの１つからの値の選択または組み合わせによって導出されること、
のうちの１つまたは複数を含み得る。

さらに、機能画像化において用いられるべき組織パラメータは、例えば、画像の時系列にわたる平均値、または画像もしくは画像の部分内の平均値を形成することによって組み合わせられ得る。

換言すれば、単一の回帰器／分類器の代わりに、回帰器／分類器のアンサンブルが同じマルチスペクトル画像に適用され得る。本明細書において、上述された「値の組み合わせ」は、値の不確実性ベースの集約、例えば、関心領域から得られた推論値の重みつき平均、または同様のものであり得る。

好ましい実施形態では、前記回帰器または分類器が、可能な組織パラメータの確率分布を導出することが可能である。従来の機械学習方法は、測定結果を所与として単一の「仮説」、例えば、測定されたスペクトルを所与として１つのもっともらしい組織パラメータ構成を生成することに留意されたい。しかし、好ましい実施形態では、機械学習アルゴリズムは、複数の「もっともらしい仮説」、すなわち、可能な組織パラメータの確率分布を代わりに導出することに向けられる。本明細書において、用語「分布」は広い意味を有し、異なる可能な組織パラメータの数に関するいかなる下方境界も含意しない。基礎をなす方法論に関するより詳細な説明が、Ｓｉｍｏｎ Ａ．Ａ．Ｋｏｈｌ、Ｂｅｒｎａｒｄｉｎｏ Ｒｏｍｅｒａ−Ｐａｒｅｄｅｓ、Ｃｌｅｍｅｎｓ Ｍｅｙｅｒ、Ｊｅｆｆｒｅｙ Ｄｅ Ｆａｕｗ、Ｊｏｓｅｐｈ Ｒ．Ｌｅｄｓａｍ、Ｋｌａｕｓ Ｈ．Ｍａｉｅｒ−Ｈｅｉｎ、Ｓ．Ｍ．Ａｌｉ Ｅｓｌａｍｉ、Ｄａｎｉｌｏ Ｊｉｍｅｎｅｚ Ｒｅｚｅｎｄｅ、Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ Ａ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｕ−Ｎｅｔ ｆｏｒ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ａｍｂｉｇｕｏｕｓ Ｉｍａｇｅｓ， ２０１８， ａｒＸｉｖ：１８０６．０５０３４ｖ１に記載されている。しかし、他の確率論的アプローチ、例えば、近似ベイズ計算が、順方向プロセスが十分理解されている逆問題に対処するために用いられてもよい。このような実施形態においても、（１つの単一の推定ではなく）もっともらしいパラメータ構成の分布が所与のスペクトルのために出力される。分布が単峰形である（および過度に広くない）場合には、獲得されたスペクトルの逆変換は良設定問題と見なされ得る。さもなければ、問題はあいまいであり、分布の異なるモードが、代替仮説、または換言すれば、「複数のもっともらしい解」として出力される。

可能な組織パラメータの前記確率分布が複数のモードを呈し、および／または所定の閾値よりも広い場合には、好ましい実施形態では、少なくとも１つの新たなマルチスペクトル画像が、異なる画像化設定を用いて、特に、マルチスペクトル画像化のために選択された異なる照明スペクトルおよび／または異なる帯域を用いて生成される。

マルチスペクトル画像から意味のある組織パラメータを取得するためには、多数の帯域が必要とされると一般的に考えられている。概して、「マルチスペクトル画像」は、３つを超える波長帯域、通例、３つをはるかに超える波長帯域、およびＲＧＢ画像化のために用いられる通常の３つの波長とは異なる少なくとも数個の波長帯域を有する画像であると理解される。多数の波長帯域は組織パラメータの導出を助けるが、これは、通例、画像化速度の低下（波長帯域が順次に記録される場合）、もしくは空間解像度の低下（対応して多数の波長帯域のための多数のセンサ画素が画像センサ上で互いに隣り合って配置されなければならない場合）、またはその両方の犠牲を払って成立する。しかし、発明者らは、酸素化推定の特定の適用については、驚くほど少数の波長帯域を用いたとき、これらの帯域が適切に選定された場合には、非常に正確な結果が取得され得ることを確認した。これらの最も好適な波長帯域を決定する仕方の新規の方法が以下においてより詳細に説明される。したがって、好ましい実施形態では、前記組織パラメータが酸素化または血液体積分率に関連し、前記マルチスペクトル画像が、中心波長が以下の波長間隔：４９５から５０５ｎｍ、５３５から５４５ｎｍ、５５０から５７０ｎｍ、５７５から５８５ｎｍ、および５９０から６１０ｎｍのうちの１つに含まれる、少なくとも３つ、好ましくは、少なくとも４つのスペクトル成分を含む。

５つの全ての波長帯域がマルチスペクトル画像化において採用された場合には、優れた精度を有する酸素化の結果が取得され得る。発明者らのさらなる分析は、実際には、本提案の５つの帯域のうちの４つの任意の組み合わせが、酸素化推定のために優れた結果を与えるであろうことを明らかにした。これは、例えば、各マルチスペクトル画素が、上述の５つの帯域のうちの対応する４つにおける光を検出する、２ｘ２の単色画素センサによって形成されている、マルチスペクトル・センサを設計することを可能にする。驚くべきことに、発明者らは、上述の５つの波長のうちの３つのみが選定される場合でさえも、良好な酸素化推定値が取得され得ることを確認することができた。マルチスペクトル画像センサが３つの単色画素センサのみを含む場合には、これは、なおいっそう高い解像度を可能にする。これらの波長帯域は、ＲＧＢ画像化のために用いられる帯域とは異なるため、この画像は、依然として、本開示のフレームワーク内で「マルチスペクトル」と見なされるであろう。さらに、マルチスペクトル画像センサにおいては、上述の５つの帯域のうちのそれぞれの３つの内部に位置する３種類の単色画素センサが、他の画像化目的のために提供される異なる帯域内の光を検出する画素センサと組み合わせられ得る。

好ましい実施形態では、前記拡張画像が、外科医によって装着されるべきゴーグルの視野内に投影される。

本明細書では、前記ゴーグルは、好ましくは、以下の構成要素：
関心領域の前記１つまたは複数のマルチスペクトル画像を取得するために適したマルチスペクトル・カメラ、音声コマンドを受け付けるためのマイクロホン、データをコンピューティング・デバイスまたはデータベースと交換するための無線データ・リンク、ならびに前記回帰器または分類器を前記マルチスペクトル画像に適用すること、ジェスチャ、特に、拡張画像が作成されることになる関心領域を指示するジェスチャを認識すること、および眼鏡の視野内における拡張画像の表示を、特に、拡張画像が、ゴーグルを通して見られる実際の風景と重ね合わせられる仕方で制御すること、のうちの１つまたは複数のために適したデータ処理ユニット、のうちの１つまたは複数をさらに含む。

以前の実施形態では、機械学習アルゴリズムが、画素単位のマルチスペクトル反射率測定結果を組織パラメータに変換するためにどのように用いられ得るのかが示された。しかし、これらのアルゴリズムの精度は、マルチスペクトル画像が、機械学習アルゴリズムによってその訓練中に見られたものに一致する場合にのみ、保証され得る。好ましい実施形態では、本方法は、分布外検出（ＯｏＤ）のステップをさらに含み、前記ＯｏＤ検出は、所与の訓練データセットに対するマルチスペクトル画像または前記マルチスペクトル画像の部分の近さに関する情報を決定するステップを含む。ＯｏＤ検出を用いることによって、機械学習アルゴリズムが、マルチスペクトル画像によって表される組織を使った訓練の不足によって生じる組織パラメータのための偽の結果を提示することが防止され得る。

好ましい実施形態では、前記ＯｏＤ検出が、前記マルチスペクトル画像またはその部分に関連付けられた、特に、個々の画素または画素グループに関連付けられたマルチスペクトル情報に近さの数値を付与するように構成されたＯｏＤ検出アルゴリズムを用いて実施される。本明細書において、マルチスペクトル情報は、例えば、特定の画素のために決定されたスペクトルであることができるであろうが、それは、また、前記スペクトルから導出された量であることもできるであろう。さらに、マルチスペクトル情報は、個々の画素または個々の画素グループのスペクトルの間の相互関係を考慮することなく、画像内の、単一の画素、または画素のグループに関連付けられ得る。しかし、実施形態によっては、ＯｏＤ検出は、マルチスペクトル画像全体に対して、または少なくともその領域に対して実施され得る。本明細書において、数値は、前記所与の訓練データセット内の対応するスペクトル情報に対する前記スペクトル情報の近さを指示する。

基礎をなすデータセットに対するサンプルの近さを付与するための様々な可能性が存在し、本発明のＯｏＤ検出はそれらのうちのいずれの特定のものにも限定されない。しかし、好ましい実施形態では、前記ＯｏＤ検出アルゴリズムは、ニューラル・ネットワーク、特に、可逆ニューラル・ネットワーク（ｉｎｖｅｒｔｉｂｌｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＩＮＮ）のアンサンブルを含む。アンサンブルの前記ニューラル・ネットワークの各々は、前記所与の訓練データセットを使って、訓練データ・サンプルを、変換されたデータ・サンプルに変換するように訓練されており、これにより、変換された訓練データは所定の統計的分布に一致する。さらに、前記ＯｏＤ検出アルゴリズムは、データ・サンプルのための近さの数値を、
‐ ニューラル・ネットワークの前記アンサンブルの各ニューラル・ネットワークを用いて前記データ・サンプルを変換し、変換されたデータ・サンプルのアンサンブルを取得すること、および
‐ 前記近さの数値を、変換されたデータセットの前記アンサンブルの分散を指示する尺度として決定すること、
によって決定するように構成されている。

アンサンブルのニューラル・ネットワークは、それが同じ訓練データを用いて訓練されることを除いて、それ自体は、機能パラメータを決定するために最終的に用いられることになるいずれの機械学習ベースの分類器または回帰器とも関連がないことに留意されたい。すなわち、アンサンブルのニューラル・ネットワークは、生物学的または医学的に意味のあるいかなるパラメータを予測するためにも意図されておらず、その代わりに、単に、データ・サンプルの分布を前記所定の統計的分布に対応付けるように訓練され、このＯｏＤ分析のためにのみ用いられる。このアプローチの背後にある論拠は、訓練中に考慮されたものに近いデータ・サンプルについては、前記アンサンブルのニューラル・ネットワークは、通例、データ・サンプルを、互いに類似している変換されたデータ・サンプルに変換することになり、それゆえ、より小さい分散をもたらし、その一方で、これは、ニューラル・ネットワークのアンサンブルがそれらの訓練中に見たいずれのものとも非常に異なるデータ・サンプルについては、期待され得ない。

好ましい実施形態では、前記ＯｏＤ検出アルゴリズムが、前記近さの数値を決定するために「広く使える情報量規準（ｗｉｄｅｌｙ ａｐｐｌｉｃａｂｌｅ ｉｎｆｏｒｍａｔｉｏｎ ｃｒｉｔｅｒｉｏｎ）」（ＷＡＩＣ）を用いる。文献におけるＷＡＩＣの使用のための参照が、以下のそのより詳細な説明において与えられる。本明細書において、ＷＡＩＣ、またはそれから導出された値は前記近さの数値として用いられ得る。ＷＡＩＣは、

として定義され、ここで、ｘはデータ・サンプルであり、θはニューラル・ネットワークの前記アンサンブルのニューラル・ネットワークのパラメータであり、log p(x|θ)は前記所定の統計的分布に対応し、E_θ[log p(x|θ)]は、正規化の目的のために用いられる期待値項である。

好ましい実施形態では、前記所定の分布が、

として定義される多変量標準ガウス分布であり、ここで、ｆ_θは、対応するネットワーク・パラメータθを有するニューラル・ネットワークの前記アンサンブルのネットワークを表し、ｘはデータ・サンプルであり、Ｊｆ_θは分布のヤコビアンを示す。多変量標準ガウス分布は、計算の目的のために魅力のある、単なる統計的分布の一例、しかし、他の統計的解決策も同様に用いられ得ることに留意されたい。

さらに、ＯｏＤ検出に対する他のアプローチも本発明の文脈において同様に採用され得ることに留意されたい。好ましい実施形態では、ＯｏＤ検出アルゴリズムは、Ａｎ，Ｊ．， ＆ Ｃｈｏ，Ｓ． （２０１５）． Ｖａｒｉａｔｉｏｎａｌ ａｕｔｏｅｎｃｏｄｅｒ ｂａｓｅｄ ａｎｏｍａｌｙ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｙ． Ｓｐｅｃｉａｌ Ｌｅｃｔｕｒｅ ｏｎ ＩＥ， ２（１）に記載されているとおりの、変分オートエンコーダに基づく。簡単に言うと、オートエンコーダは、教師なし学習によって訓練され、元の入力に近い再構成を学習するように訓練されるニューラル・ネットワークである。オートエンコーダは、２つの部分、エンコーダおよびデコーダで構成される。オートエンコーダ・ベースの異常検出は、半教師あり学習を用いた偏差ベースの異常検出方法である。それは再構成誤差を異常スコアとして用いる。高い再構成誤差を有するデータ点は、異常であると考えられる。正常なインスタンスを有するデータのみが、オートエンコーダを訓練するために用いられる。訓練後に、オートエンコーダは正常データを非常にうまく再構成することになり、その一方で、オートエンコーダが出会わなかった異常データについてはそうできない。簡単に言えば、単純なオートエンコーダは特徴を潜在空間に変換し、逆変換するのみであるが、変分オートエンコーダからの再構成を見ることによって、全画像を使って訓練する場合に「異常」である特定の領域を識別することが可能であり、これは、著しく有用になり得る。

所与の訓練データセットを用いて訓練された回帰器または分類器を適用する前に、またはそれと連動して、好ましい実施形態では、前記所与の訓練データセットに対する、または関連訓練データセットに対するマルチスペクトル画像または前記マルチスペクトル画像の部分の近さを決定するために、前記ＯｏＤ検出が実施され、近さが不十分であることが見出された場合には、機能組織パラメータが決定されないか、または信頼できないと標識される。このように、関連訓練の不足のゆえに信頼され得ない組織パラメータが生成されることが回避され得る。近さが不十分であることが見出された場合には、関連実施形態では、別の回帰器または分類器に関連付けられた訓練データセットとの近さがより良好であるかどうかがさらにチェックされ得、そうである場合には、前記別の回帰器または分類器が前記マルチスペクトル画像または前記マルチスペクトル画像の部分に適用され得る。換言すれば、本実施形態では、ＯｏＤ検出は、所与の回帰器または分類器が、目下のマルチスペクトル画像のための関連訓練の不足のゆえに信頼できる予測をできない可能性がある状況を認識するだけでなく、より適切な訓練を行った回帰器または分類器を識別することも可能にする。特に好ましい実施形態では、前記別の回帰器または分類器に関連付けられた訓練データセットが異なる照明条件に対応する。実際に、例えば、手術室内の所与の光源がスイッチをオンもしくはオフにされるか、または介入部位に近付けられるか、もしくはそこから遠ざけられたときに生じ得る、変化する照明条件が、異なる光源によってもたらされる異なるスペクトル組成などの、変化する照明条件が組織パラメータの予測の誤差をもたらすことを回避するために、ＯｏＤ検出が特に有益となるシナリオである。他の実施形態では、前記別の回帰器または分類器に関連付けられた訓練データセットが異なる組織の種類に対応する。このように、最も適切な回帰器または分類器が様々な組織の種類のために用いられることが確実にされ得る。このように、好適な回帰器または分類器をマルチスペクトル画像の異なる部分のために選定することも可能であることに留意されたい。これは、例えば、異なる光源からの寄与の異なる混合に対して、画像の異なる部分において異なる照明条件が存在する場合に、または同じ画像内に異なる組織の種類が存在する場合に、特に重要になり得る。

１つの実用的実装形態は、全く同じ訓練データを、一方では、ＯＯＤアルゴリズム（すなわち、ニューラル・ネットワークのアンサンブルが訓練される訓練データ）、および他方では、対応する回帰器または分類器のために用いることであろうことに留意されたい。しかし、これは、ＯＯＤアルゴリズムおよび回帰器／分類器が、以上において「関連データセット」と称された、同様の訓練データを使って訓練されている限り、必要でない。同様の訓練データは、例えば、訓練データのより大きなセットの２つの部分セット、あるいは同じ種類の組織モデルの異なるシミュレーションによってイン・シリコで生成されるか、または、同じ医学的もしくは生物学的状況、例えば、同じ酸素化値、もしくは酸素化値の同じ範囲を有するまさに同じ種類の組織を示す医用画像によって取得された訓練データであることができるであろう。これを考慮すると、前記ＯｏＤ検出は、前記（同じ）所与の訓練データセットに対するマルチスペクトル画像または前記マルチスペクトル画像の部分の近さを決定するために必ずしも実施される必要はないが、以上において規定されたとおりの、「関連訓練データ」に対するマルチスペクトル画像の近さを決定するために実施され得る。

回帰器または分類器をマルチスペクトル画像またはその部分に適用する前に、好ましい実施形態は、対応する訓練データセットに各々関連付けられた、複数の回帰器または分類器の中から、マルチスペクトル画像または前記マルチスペクトル画像の部分が訓練データに最も近い回帰器または分類器を選択するために、ＯｏＤ検出を用いるステップを含む。本方法は、前記選択された回帰器または分類器をマルチスペクトル画像またはその部分に適用することをさらに含む。本実施形態では、ＯｏＤ検出は、目下のマルチスペクトル画像のために最も適切な回帰器または分類器を自動的に決定するために用いられる。この場合も先と同様に、好ましい実施形態では、前記複数の回帰器または分類器に関連付けられた前記訓練データセットが、好ましくは、異なる照明条件に、または異なる組織の種類に対応する。

好ましい実施形態では、前記ＯｏＤ検出が経時的に繰り返し実施され、これにより、訓練データの所与のセットとのマルチスペクトル画像の近さの変化を用いて、条件、特に、照明条件の変化を検出する。このように、変化する条件が絶えず監視され、誤差が生じる前に検出され得る。ＯｏＤ検出アルゴリズムを確立することは、好ましい実施形態では、例えば、ニューラル・ネットワークのアンサンブルの訓練のゆえに計算的に非常に負担がかかり得るが、ＯｏＤ検出アルゴリズムを適用することは計算労力が無視できるほどのものであり、これにより、それは、条件の変化の厳重な監視を可能にするために、継続的に、または高頻度で実施され得ることに留意されたい。

本発明のさらなる態様は、観血的手術中の患者の組織の１つまたは複数の拡張画像を生成するためのシステムであって、各拡張画像が少なくとも１つの組織パラメータを組織の画像の領域または画素に関連付け、前記システムが、
前記組織の関心領域を照明する光のスペクトル組成を推定する装置と、
前記関心領域の１つまたは複数のマルチスペクトル画像を取得するためのマルチスペクトル・カメラと、
機械学習ベースの回帰器または分類器
を、前記１つもしくは複数のマルチスペクトル画像、または前記マルチスペクトル画像から導出された画像に適用し、これにより、対応するマルチスペクトル画像の画像領域または画素に関連付けられた１つまたは複数の組織パラメータを導出するための機械学習モジュールを含む、コンピューティング・デバイスと、
を備え、
前記回帰器または分類器が、照明の所与のスペクトル組成の下でマルチスペクトル画像から１つまたは複数の組織パラメータを予測するように訓練されており、
コンピューティング・デバイスが、
‐ 異なる訓練照明のために以前に訓練された複数の回帰器または分類器の中から、訓練照明のスペクトル組成が、前記関心領域を照明する前記光の推定されたスペクトル組成と最も類似したものになるよう、回帰器または分類器を選択すること、または
‐ 前記関心領域を照明する光の推定されたスペクトル組成から導出された情報に基づいて、取得されたマルチスペクトル画像を変換し、標準照明の下で訓練された標準回帰器または分類器を、変換されたマルチスペクトル画像に適用することであって、変換が、標準照明からの照明のスペクトル組成の逸脱に起因するマルチスペクトル画像の変化を補償することが可能であるという、適用すること、または
‐ 前記関心領域を照明する光の推定されたスペクトル組成に適応させられたシミュレーション・データを用いて、すでに訓練された回帰器または分類器を再訓練すること、
のうちの１つによって、採用される回帰器または分類器を、組織の前記関心領域を照明する光の推定されたスペクトル組成に一致させるように構成されている。

本明細書において、スペクトル組成を推定するための前記装置は、例えば、システムの前記マルチスペクトル・カメラを用いて取得されたマルチスペクトル画像に基づいて、照明光のスペクトル組成のための推定を取得するようにプログラムされた、コンピューティング・デバイスを備えることができる。コンピューティング・デバイスは、マイクロプロセッサ、ＦＰＧＡ、または同様のものであることができるであろう。さらに、装置はまた、この場合には、スペクトル組成の推定のためのモジュールをさらに備える、前記機械学習モジュールを備える同じコンピューティング・デバイスによって形成される得る。

好ましくは、前記システムは表示デバイスをさらに備え、前記システムは、前記拡張画像を表示するように構成されており、前記システムは、特に、拡張画像を、前記関心領域のＲＧＢ画像と共に、またはそれと重ね合わせられた様態で表示するように構成されている。

別の好ましい実施形態では、システムがゴーグルを備え、前記システムが、前記拡張画像を前記ゴーグルの視野内に投影するように構成されている。

好ましい実施形態では、前記ゴーグルが、以下の構成要素：
関心領域の前記１つまたは複数のマルチスペクトル画像を取得するために適したマルチスペクトル・カメラ、
音声コマンドを受け付けるためのマイクロホン、
データをコンピューティング・デバイスまたはデータベースと交換するための無線データ・リンク、ならびに前記回帰器または分類器を前記マルチスペクトル画像に適用すること、ジェスチャ、特に、拡張画像が作成されることになる関心領域を指示するジェスチャを認識すること、および眼鏡の視野内における拡張画像の表示を、特に、拡張画像が、ゴーグルを通して見られる実際の風景と重ね合わせられる仕方で制御すること、のうちの１つまたは複数のために適したデータ処理ユニット、のうちの１つまたは複数をさらに含む。

システムの好ましい実施形態では、前記少なくとも１つの組織パラメータが、以下のもの：酸素化、血液体積分率、脂質の存在もしくは濃度、メラニンの存在もしくは濃度、胆液の存在もしくは濃度、コラーゲンもしくはエラスチンの存在もしくは密度、水の存在もしくは濃度、または人工染料、特に、メチレン・ブルーの存在、またはこれらのうちの任意のものもしくは任意の組み合わせから導出されるパラメータ、
組織分類パラメータ、特に、様々な臓器を指定する、壊死組織を指定する、癌組織、特に、癌リンパ節組織、および／またはそのステージを指定する、またはポリープを指定する組織分類パラメータ、
歯科適用物における異物質および／または虫歯を指定するパラメータ、
主要ランドマーク、特に、神経または重要な脈管を指定するランドマーク指示パラメータ、
出血の存在を指示する事象パラメータ、または煙の存在を指示するパラメータ、
感覚誘発電位を表す神経学的パラメータ、または
医療事象を予測する、事象予測パラメータ、
のうちの１つまたは複数を含む。

好ましい実施形態では、照明光のスペクトル組成を推定するための前記装置が、組織の前記関心領域から、または組織の前記関心領域に近い領域から鏡面反射された光に基づいて前記推定を実施するように構成されている。

好ましくは、スペクトラルな組成を推定するための前記装置は、前記マルチスペクトル・カメラを用いて取得された、組織の前記関心領域の、または組織の前記関心領域に近い領域のマルチスペクトル画像内の鏡面反射領域を識別するように構成されている。

好ましくは、スペクトル組成を推定するための前記装置は、前記マルチスペクトル画像をより低い次元の色空間、特に、ＨＳＩ色空間に変換するようにさらに構成されている。

好ましい実施形態では、前記装置が、鏡面反射領域をサイズに従って仕分けるようにさらに構成されており、好ましくは、鏡面反射性画素の１番目からｎ番目に大きい連結領域が決定され、ｎは、連結された鏡面反射性画素の領域の総数よりも小さい整数である。

好ましい実施形態では、前記装置が、識別された鏡面反射領域に形態学的膨張を受けさせ、これにより、それらが所定の数または割合の不飽和画素を含むことを確実にするようにさらに構成されている。

好ましい実施形態では、前記装置が、マルチスペクトル画像内の識別された鏡面反射領域内において、特に、主成分分析または独立成分分析を用いて、鏡面反射からの寄与を拡散反射からの寄与から分離するようにさらに構成されている。

システムの好ましい実施形態では、照明光の前記スペクトル組成を推定するために、システムが、好ましくは、前記回帰器または分類器が適用されるマルチスペクトル画像よりも低い露出を用いて前記関心領域のマルチスペクトル画像を記録するように構成されている。

好ましい実施形態では、前記システムが、前記回帰器または分類器が適用されるマルチスペクトル画像よりも短い露出時間および／または小さい絞り開口を用いてより低い露出の前記マルチスペクトル画像を記録するように構成されており、好ましくは、露出時間および／または絞りサイズが、強度が、前記回帰器または分類器が適用されるマルチスペクトル画像を記録するために用いられる露出のために得られた強度に対して、少なくとも２０％だけ、好ましくは、少なくとも４０％だけ、および最も好ましくは、少なくとも６０％だけ減少させられるように設定される。

好ましい実施形態では、前記システムが、選択された数の画素または画素グループに基づいて前記スペクトル組成を推定するように構成されており、前記システムが、画像を記録するために用いられた画像検出器が画素または画素グループのスペクトル成分のうちのいずれのものについても飽和していないことを所与として、画素または画素グループが、高い、特に、可能な限り高い明度を有することを確実にする選択基準に従って、より低い露出の前記画像から前記画素または画素グループを選択するように構成されており、明度は、画素または画素グループの、そのスペクトル成分の全てにわたる平均強度のための尺度である。

システムの好ましい実施形態では、前記マルチスペクトル画像が、数がｋ個の色チャネルを含み、装置が、前記ｋ個の色チャネル、またはそれらの部分セットからのスペクトル情報を準連続スペクトルに変換するようにさらに構成されており、前記準連続スペクトル内の波長が、好ましくは、１０ｎｍ以下だけ、好ましくは、５ｎｍ以下だけ、および最も好ましくは、３ｎｍ以下だけ分離されている。

好ましい実施形態では、１つまたは複数の拡張画像が、２５Ｈｚ以上の速度で、好ましくは、７５Ｈｚ以上の速度で連続的に生成された一連の拡張画像である。

システムの好ましい実施形態では、マルチスペクトル・カメラがマルチスペクトル・センサを含み、前記マルチスペクトル・センサがマルチスペクトル画素を含み、各マルチスペクトル画素が、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループを含み、これにより、単一の撮影においてマルチスペクトル画像を取得することを可能にし、好ましくは、各マルチスペクトル画素が３×３または４×４のセンサ画素のグループを含む。

システムの好ましい実施形態では、前記回帰器または分類器が畳み込みニューラル・ネットワークに基づく。

対応するマルチスペクトル画像の画像領域または画素に関連付けられた１つまたは複数の組織パラメータを取得するために、前記機械学習モジュールは、好ましくは、前記回帰器または分類器を、前記マルチスペクトル画像の前記画像領域または画素よりも多くを覆う近傍に適用するように構成されている。

好ましい実施形態では、マルチスペクトル画像の前記画像領域または画素が前記マルチスペクトル・カメラのマルチスペクトル・センサのマルチスペクトル画素によって形成され、前記センサの各マルチスペクトル画素が、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループを含み、回帰器または分類器が前記機械学習モジュールによって適用される前記近傍が、前記マルチスペクトル・センサのいくつかの近接したマルチスペクトル画素に対応する。

好ましい実施形態では、前記近傍に適用するために作成された前記回帰器または分類器が、前記近傍を集合的に覆うシミュレートされた画像領域または画素の複製から導出される、シミュレートされた近傍を用いて訓練されるか、または訓練することによって取得可能であり、前記複製が、組織不均質性に対応する個々のノイズおよび／または変更を受ける。

好ましい実施形態では、前記マルチスペクトル画像が、数がｋ個の色チャネルを含み、前記機械学習モジュールが、マルチスペクトル画像の色チャネルから取得されたｋ個の反射率値を回帰器または分類器に入力することによって、回帰器または分類器をマルチスペクトル画像に適用するように構成されている。

システムの好ましい実施形態では、前記機械学習モジュールが、完全な暗闇において記録された暗画像をマルチスペクトル画像から減算し、好ましくは、画像を、基準白色目標物から取得された、または取得可能な白色画像と、暗画像との差によってさらに正規化することによって、前記カメラの前記センサの読み値から前記反射率値を取得するように構成されている。

システムの好ましい実施形態では、前記機械学習モジュールまたは別個のモジュールが、マルチスペクトル画像からＲＧＢ画像を導出するように構成されている。

システムの好ましい実施形態では、前記機械学習モジュールによって採用される前記回帰器または分類器が、組織モデル、前記組織モデルによってモデル化された組織のための特徴であるスペクトル反射率のシミュレーション、およびマルチスペクトル画像を記録するために用いられる画像化システムへの前記スペクトル反射率の適応を含む、順モデルに基づいて訓練され、スペクトル反射率の前記シミュレーションが、好ましくは、モンテ・カルロ・シミュレーションである。

本明細書では、前記組織モデルは、好ましくは、複数の層を含む層状組織モデルであり、各層は光学的関連組織パラメータのセットによって特徴付けられ、前記光学的関連組織パラメータは、好ましくは、血液体積分率、酸素化、腫瘍の存在、胆汁の存在もしくは濃度、脂肪の存在もしくは濃度、メラニンの存在もしくは濃度、胆液の存在もしくは濃度、コラーゲンもしくはエラスチンの存在もしくは密度、水の存在もしくは濃度、または人工染料、特に、メチレン・ブルーの存在のうちの１つまたは複数を含む。

加えて、光学的関連組織パラメータの前記セットは、好ましくは、散乱量を定量化するパラメータ、散乱の指数関数的波長依存性を特徴付ける、散乱能、散乱の指向性を特徴付ける異方性因子、屈折率、および層厚のうちの１つまたは複数をさらに含む。

加えて、または代替的に、画像化システムへの前記スペクトル反射率の前記適応が、好ましくは、モデル化された組織のスペクトル反射率から、前記画像化システムの各色チャネルに関連付けられた強度の推定値を算出することを含む。

本明細書において、各色チャネルに関連付けられた強度の前記推定値の前記算出は、好ましくは、用いられるカメラまたは光センサの量子効率、照明光のスペクトル組成に関する情報、用いられる光学構成要素の透過率、非線形カメラ応答関数、および色チャネルごとのカメラ・ノイズのうちの１つまたは複数に基づく。

システムの好ましい実施形態では、前記回帰器または分類器が所与のタスクのために訓練されており、訓練が、シミュレーションのより大きいセットからのシミュレーションの部分セットに基づいており、シミュレーションの前記部分セットが、実際の組織を使った測定結果との比較によって選択され、シミュレーションの部分セットが、シミュレーションのうちの残りのものよりも測定結果に良好に一致した。

システムの好ましい実施形態では、前記データ処理ユニットが、複数の回帰器または分類器を１つまたは複数のマルチスペクトル画像に適用し、可能な組織パラメータのための複数の結果をもたらすため、および前記可能な組織パラメータを組み合わせるか、またはそれらから選択することによって、組織の画像の領域または画素に関連付けられた組織パラメータを取得するために適している。

好ましい実施形態では、前記機械学習ベースの回帰器または分類器が、１つまたは複数の組織パラメータの精度の信頼の尺度を指示する信頼値を前記１つまたは複数の組織パラメータの前記予測と共に提供するために適している。

本明細書において、信頼値が既定の信頼基準を満たさない場合には、データ処理ユニットは、好ましくは、以下のこと：
組織パラメータを拡張画像内で視覚化しないこと、
組織パラメータを拡張画像内で、ただし、信頼の指示と共に視覚化すること、
拡張画像化において用いられるべき組織パラメータを、
‐ 同じ画像内の異なる領域、
‐ 異なる画像化設定を用いて、特に、異なる照明スペクトルを用いて、および／またはマルチスペクトル画像化のために選択された異なる帯域を用いて取得された同じ組織の異なるマルチスペクトル画像内の同じ領域、
‐ 異なる回帰器または分類器が適用される同じマルチスペクトル内の同じ領域、
のうちの１つからの値の選択または組み合わせによって導出すること、
のうちの１つまたは複数を実施するように構成されている。

システムの好ましい実施形態では、前記回帰器または分類器が、可能な組織パラメータの確率分布を導出することが可能である。

本明細書において、可能な組織パラメータの前記確率分布が複数のモードを呈し、および／または所定の閾値よりも広い場合には、システムは、好ましくは、異なる画像化設定を用いて、特に、マルチスペクトル画像化のために選択された異なる照明スペクトルおよび／または異なる帯域を用いて少なくとも１つの新たなマルチスペクトル画像を生成するようにさらに構成されている。

システムの好ましい実施形態では、前記組織パラメータが酸素化または血液体積分率に関連し、前記マルチスペクトル画像が、中心波長が以下の波長間隔：４９５から５０５ｎｍ、５３５から５４５ｎｍ、５５０から５７０ｎｍ、５７５から５８５ｎｍ、および５９０から６１０ｎｍのうちの１つに含まれる、少なくとも３つ、好ましくは、少なくとも４つのスペクトル成分を含む。

前記システム、前記コンピューティング・デバイス、またはシステムに関連付けられた追加のコンピューティング・デバイスの好ましい実施形態では、分布外検出（ＯｏＤ）を実施するように構成されており、前記ＯｏＤ検出が、所与の訓練データセットに対するマルチスペクトル画像または前記マルチスペクトル画像の部分の近さに関する情報を決定するステップを含む。言い換えれば、ＯｏＤ検出は、前記機械学習モジュールを含む同じコンピューティング・デバイスによって実行することができ、また、別のコンピューティング・デバイスによって実行することもできる。別のコンピューティング・デバイスは、ＯｏＤ検出を実行するようにプログラムされた１つまたは複数のマイクロプロセッサによって形成することができる。

好ましい実施形態では、前記コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、前記マルチスペクトル画像またはその部分に関連付けられた、特に、個々の画素または画素グループに関連付けられたマルチスペクトル情報に近さの数値を付与するように構成されたＯｏＤ検出アルゴリズムを用いて前記ＯｏＤ検出を実施するように構成されており、前記数値が、前記所与の訓練データセット内の対応するスペクトル情報に対する前記スペクトル情報の近さを指示する。

好ましい実施形態では、前記ＯｏＤ検出アルゴリズムが、ニューラル・ネットワーク、特に、可逆ニューラル・ネットワーク（ＩＮＮ）のアンサンブルを含み、アンサンブルの前記ニューラル・ネットワークの各々が、前記所与の訓練データセットを使って、訓練データ・サンプルを、変換されたデータ・サンプルに変換するように訓練されており、これにより、変換された訓練データが所定の統計的分布に一致し、前記ＯｏＤ検出アルゴリズムが、データ・サンプルのための近さの数値を、
‐ ニューラル・ネットワークの前記アンサンブルの各ニューラル・ネットワークを用いて前記データ・サンプルを変換し、変換されたデータ・サンプルのアンサンブルを取得すること、および
‐ 前記近さの数値を、変換されたデータセットの前記アンサンブルの分散を指示する尺度として決定すること、
によって決定するように構成されている。

好ましい実施形態では、前記ＯｏＤ検出アルゴリズムが、前記近さの数値を決定するために、「広く使える情報量規準」（ＷＡＩＣ）を用い、特に、ＷＡＩＣ、またはそれから導出された値が前記近さの数値として用いられ、前記ＷＡＩＣは、

として定義され、ここで、ｘはデータ・サンプルであり、θはニューラル・ネットワークの前記アンサンブルのニューラル・ネットワークのパラメータであり、log p(x|θ)は前記所定の統計的分布に対応し、E_θ[log p(x|θ)]は、正規化の目的のために用いられる期待値項である。

好ましい実施形態では、前記所定の分布が、
された値が前記近さの数値として用いられ、前記ＷＡＩＣは、

として定義される多変量標準ガウス分布であり、ここで、ｆ_θは、対応するネットワーク・パラメータθを有するニューラル・ネットワークの前記アンサンブルのネットワークを表し、ｘはデータ・サンプルであり、Ｊｆ_θは分布のヤコビアンを示す。

好ましい実施形態では、前記ＯｏＤ検出アルゴリズムが変分オートエンコーダに基づく。

好ましい実施形態では、所与の訓練データセットを用いて訓練された回帰器または分類器を適用する前に、またはそれと連動して、前記コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、前記所与の訓練データセットに対する、または関連訓練データセットに対するマルチスペクトル画像または前記マルチスペクトル画像の部分の近さを決定するために、前記ＯｏＤ検出を実施し、近さが不十分であることが見出された場合には、機能組織パラメータを決定しないか、または信頼できないと標識するように構成されており、
近さが不十分であることが見出された場合には、コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、別の回帰器または分類器に関連付けられた訓練データセットとの近さがより良好であるかどうかをチェックし、そうである場合には、前記別の回帰器または分類器を前記マルチスペクトル画像または前記マルチスペクトル画像の部分に適用するようにさらに構成されており、
特に、前記別の回帰器または分類器に関連付けられた前記訓練データセットが、異なる照明条件に、または異なる組織の種類に対応する。

好ましい実施形態では、回帰器または分類器をマルチスペクトル画像またはその部分に適用する前に、前記コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、対応する訓練データセットに各々関連付けられた、複数の回帰器または分類器の中から、マルチスペクトル画像または前記マルチスペクトル画像の部分が訓練データに最も近い回帰器または分類器を選択するために、ＯｏＤ検出を用い、前記選択された回帰器または分類器をマルチスペクトル画像またはその部分に適用するように構成されており、
前記複数の回帰器または分類器に関連付けられた前記訓練データセットが、好ましくは、異なる照明条件または異なる組織の種類に対応する。

コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、好ましくは、前記ＯｏＤ検出を経時的に繰り返し実施し、これにより、訓練データの所与のセットとのマルチスペクトル画像の近さの変化を用いて、条件、特に、照明条件の変化を検出するように構成されている。

本発明の一実施形態に係る拡張画像化方法にわたる概略全体図である。 ＭＳＩベースの拡張画像化のために構成された腹腔鏡システムの概略図である。 単一の画像に２回拡大したときに見えるモザイク・パターンを示す図である。 オフライン訓練ネットワークの概略図である。 新たな画像を介入の最中にリアル・タイムで処理する実況評価ネットワークの概略図である。 ２つのシミュレートされたスペクトルの概略図を示す。 モザイクに作り直された図６（ａ）の２つのスペクトルを示す図である。 一方のシミュレートされたスペクトルが他方で着色された、３×３に拡大された図６（ｂ）のモザイクを示す図である。 訓練された回帰器が適用される、４×４モザイクおよび対応する評価対象近傍を示す図である。 ４×４モザイクのためのシミュレートされたスペクトルの同じ情報、ただし異なる複製を用いて、訓練目的のための近傍がどのように生成されるのかを例示的に示す図である。 組織の不均質性（ランダムな不均質性（上）および脈管に起因する不均質性（下））のための異なるモデルを採用した訓練目的のための近傍の２つの例を示す図である。 ＣＮＮ回帰器、ランダム・フォレスト回帰器、および標準ベール・ランバートのアプローチを用いて取得された平均酸素化値を時間の関数として示す図である。 図７に示される酸素化値の対応する標準偏差を示す図である。 図７および図８と同様の酸素化値であるが、最後のクランプが開かれ、酸素化の回復をもたらした後の状況についてのものを示す図である。 ＣＮＮのための異なる訓練方法を用いて決定された平均酸素化を時間の関数として示す図である。 測定されたマルチスペクトル画像の自動校正の第１の変形例を示す概略図である。 測定されたマルチスペクトル画像の自動校正の第２の変形例を示す概略図である。 照明光源のスペクトル組成の推定を示すフロー図である。 本発明の一実施形態に係るＭＳＩベースの拡張画像化方法において用いるためのゴーグルを概略的に示す図である。 医療適用物のために特注設計されたマルチスペクトル・フィルタ帯域の性能を特徴付けるためのシミュレーション・フレームワークを概略的に示す図である。 異なる組織パラメータが、第１のハードウェア構成が用いられるときには、ほぼ同一のスペクトル、および第２のハードウェア構成が発するときには、区別可能なスペクトルをもたらすことが見出される状況を示す図である。 低露出画像に基づいて関心領域を照明するスペクトル組成を推定するプロセスを示す図である。 ５つの例示的な光源のスペクトルおよびそれらの相互の角距離を混同行列の形で示す図である。 基準イルミナント・スペクトルをそれらの推定値と共に示す図である。 本発明の一実施形態に係るイルミナント推定方法の性能を示す図である。 訓練範囲のためのグランド・トゥルース・イルミナントを用いたとき、ランダムなイルミナントを用いたとき、および本発明の一実施形態に係る照明スペクトル推定を用いたときの、酸素化推定における平均誤差を示す図である。 一定の照明の仮定と比べた、対応するスペクトル校正を用いた場合の、照明光源が交換されたときの酸素化値の発展時間を示す図である。 ドメイン外（ＯｏＤ）検出を含む不確実性の扱いのための多段プロセスを示す図である。 図２３は、スーパーセットに適用されたときの − 小訓練セットを用いて訓練された− ＷＡＩＣ方法を用いて取得された結果を示す図である。小訓練セットは完全な訓練セットの最初の２つの主成分（ＰＣＡ）上に射影され、破線の輪郭内にある。ＷＡＩＣ値に従う２％パーセンタイルの最良のスーパーセット・スペクトルは点線の輪郭内にあり、ＷＡＩＣ値に従う２％パーセンタイルの最悪のスペクトルは一点鎖線の輪郭内にある。 訓練セット、スーパーセット、および制限スーパーセットのために取得されたＷＡＩＣ値の箱ひげ図を示す。 シミュレートされた試験データ、ドメイン内臓器、およびドメイン外臓器のためのＷＡＩＣ分布を示す図である。 健康な人間のボランティアの唇のＷＡＩＣ画像を左側に示し、光源が変更される、関心領域のための対応するＷＡＩＣ時系列が示される図である。

本発明の諸原理の理解を促進する目的のために、これより、図面に示される好ましい実施形態が参照され、それらを説明するために特定の文言が用いられることになる。それにもかかわらず、本発明の範囲の限定がこれによって意図されるわけではなく、本発明が関連する当業者が、ここで、または将来において通常想到するであろうように、例示された装置におけるこのような改変およびさらなる変更、ならびにそこで示されるとおりの本発明の諸原理のこのようなさらなる適用が企図されることが理解されるであろう。

以上において指示されたように、マルチスペクトル画像化（ｍｕｌｔｉｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ、ＭＳＩ）は、血液体積分率および酸素化によって定量化され、人間の眼によって容易に見られ得ない、組織灌流における複雑な変化を監視する潜在能力を有する。この情報を解読すること、すなわち、マルチスペクトル画像に基づいて組織の分子組成を推定することは、いまだ課題である。

本発明の実施形態は、図１に概略的に指示されるように、モンテ・カルロ・ベースのアプローチの精度を最新の機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ、ＭＬ）アルゴリズムの速度と組み合わせることによって、低侵襲介入および観血的手術の最中における生理的パラメータのビデオ速度による推定が可能である。

図１の下半分に示される、オンライン適用において、訓練された機械学習ベースの回帰器＾ｆは、次に、実際のマルチスペクトル画像に適用され、画像内の各（マルチスペクトル）画素のための推定値ｙ_ｉを数ミリ秒以内に生成する。図１において指示されるように、これらの実際のマルチスペクトル画像は、異なる種類のデバイスによって採用されたカメラによって生成され得る。１つの適用物は、腹腔鏡に関連付けられたカメラであろう。本明細書において考慮される第２の適用物は、例えば、手術室照明デバイスに関連付けられた、手術室内に設置されたカメラに関連し、第３の適用物は、外科医によって装着されるべき眼鏡またはゴーグルに関連付けられたカメラに関連する。腹腔鏡においては、組織の照明は、精密に知られたスペクトル組成を有する、腹腔鏡自体の照明光源のみに由来するが、他の２つの適用物が典型的に利用される、観血的手術の適用物においては、通例、制御されず、変化する照明条件を扱わなければならないであろう。この状況に対処するための様々な仕方が図１における「自動校正」の下に要約されており、以下においてより詳細に説明されることになる。マルチスペクトル画像から、真の帯域反射率測定結果が導出され、次に、それに、オフラインで訓練された回帰器＾ｆが適用され、反射率測定結果内にエンコードされる組織の組織パラメータｙ_ｉ（図１の例では、「酸素化」）を導出する。機能パラメータｙ_ｉが、対応する画像画素ｉに関連付けられているため、それらは、酸素化の場合のために図１の右下に示されるように、好適な表示デバイス上に画像として表示され得る。腹腔鏡適用物のために、ディスプレイは、通常のＲＧＢ画像が表示される同じディスプレイであることができ、拡張画像は、ＲＧＢ画像の隣に、または重ね合わせられた様態で追加的に提示され得る。しかし、拡張画像またはそれに包含される情報はまた、チャートまたは同様のもの、例えば、所与の関心領域のための経時的な酸素化を示すチャート内にも提示され得る。すなわち、用語「拡張画像」は、関心のある組織の画像の特定の領域または画素に関連付けられた組織パラメータが存在することを含意するが、それは、必ずしも、それがユーザに画像として示されることを意味しない。

観血的手術における適用物のために、ディスプレイは、手術室内に設けられたディスプレイ、または拡張現実感もしくはいわゆる複合現実感適用物から自体公知のとおり機能情報もしくは任意の他の種類の追加情報が投影され得る、外科医によって装着されるべきゴーグルのレンズであることができるであろう。

上述のことから明らかであるように、図示の例における機械学習回帰への入力は、３つの部分から成る「順モデル」によって生成される：（１）可能な組織の組成を形式的に記述する層状組織モデル、（２）モデルから導かれた組織を用いて計算されるスペクトル反射率の極めて本物に近いシミュレーション、および（３）図１において「画像化システムへの適応」と称される、カメラ空間へのシミュレーションの変換。サンプル作成および変換のこのプロセスは図１のオフライン訓練部分内の枠によって表現されている。用語「順モデル」は、モデルが因果性の順方向に従うことを指示する。すなわち、組織のモデルから出発して、組織の反射率を取得するために、光と組織との相互作用がシミュレートされる。好ましい実施形態では、このシミュレーションはモンテ・カルロ法によって実施される。本明細書において、組織は、その反射率スペクトルに影響を及ぼすことになる、酸素化などの、関心のある特定の組織パラメータを呈する。次に、組織の反射率は、手術時に用いられる特定の光学設定の下でのマルチスペクトル・カメラの各画素における周波数帯域または色チャネルごとの反射能画像を予測するために、画像化システムに適応させられる。しかし、実際に解かれる必要があるものは逆問題である：拡張画像化のために、課題は、マルチスペクトル画像から、組織に関する関心のある関連情報、すなわち、その組織パラメータを決定することである。この逆問題は、順モデルによって取得されたデータを用いて訓練された機械学習回帰器＾ｆによって解かれる。順モデルおよび機械学習の好ましい実施形態の詳細の両方が以下のセクションにおいてより詳細に説明される。

＜層状組織モデル＞
本発明の実施形態では、手術中に検査される組織ｔは層状構造としてモデル化される。各層ｌは光学的関連組織特性のセットによって特徴付けられる：
ｌ＝｛ｖ_ｈｂ，ｓ，ａ_ｍｉｅ，ｂ，ｇ，ｎ，ｄ｝、ここで、パラメータは以下のものを記述する：
ｖ_ｈｂ 血液体積分率［％］、単位体積の組織を占有する血液量
ｓ 酸素結合ヘモグロビン対総ヘモグロビンの比［％］、酸素化とも称される
ａ_ｍｉｅ 所与の波長における、ここでは、５００ｎｍにおける、等価散乱係数による散乱量［ｃｍ^−１］を定量化するパラメータ
ｂ 散乱能、散乱の指数関数的波長依存性を特徴付ける項
ｇ 散乱の指向性を特徴付ける、異方性因子
ｎ 屈折率
ｄ 層厚［μｍ］

光学的および生理的パラメータａ_ｍｉｅ、ｂ、ｇ、ｖ_ｈｂ、およびｓは光吸収および散乱係数に影響を及ぼす。Ｄ．Ｈｉｄｏｖｉｃ−ＲｏｗｅおよびＥ．Ｃｌａｒｉｄｇｅ． Ｍｏｄｅｌｌｉｎｇ ａｎｄ ｖａｌｉｄａｔｉｏｎ ｏｆ ｓｐｅｃｔｒａｌ ｒｅｆｌｅｃｔａｎｃｅ ｆｏｒ ｔｈｅ ｃｏｌｏｎ． ＰｈｙｓＭｅｄ Ｂｉｏｌ， ５０（６）：１０７１−１０９３ （２００５）にあるように、波長λにおける吸収係数μ_ａは次式によって算出され得る。

ε_ＨｂＯ２およびε_Ｈｂは、酸素化および脱酸素化ヘモグロビンのモル吸光係数であり、ｃ_ｈｂは、人間の血液中のヘモグロビンのモル濃度である。本明細書において、ヘモグロビン、人間の血液中の酸素運搬体は、少なくとも臓器適用物については、唯一の顕著な吸収体であると仮定され得る。人間の組織における可視光の別の顕著な吸収体はメラミン（ｍｅｌａｍｉｎｅ）であるが、これは主に皮膚中に含有されている。明らかに、モデルは、上式（１）を変更することによって（必要な場合には）さらなる吸収体の容易な統合を可能にする。このモデルでは、酸素化は層にわたって一定であると仮定され、これは、層が共通の血液供給を共有する場合には、合理的な仮定である。等価散乱係数μ_ｓ’は経験的なべき法則によって算出される。

等価散乱の測定結果へのこの単純な発見的近似は、Ｓ．Ｌ．Ｊａｃｑｕｅｓ． Ｏｐｔｉｃａｌ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ｂｉｏｌｏｇｉｃａｌ ｔｉｓｓｕｅｓ： ａ ｒｅｖｉｅｗ． Ｐｈｙｓｉｃｓ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ， ５８（１１）：Ｒ３７−Ｒ６１（２０１３）において可視波長範囲のために提案された。異方性因子ｇは波長範囲にわたって一定と仮定される。ｇおよびμ_ｓ’を用いて、散乱係数μ_ｓは

によって算出され得る。組織を均質な無限のスラブとしてモデル化することによって、画素の非依存性が暗黙的に仮定されている。これは、例えば脈管としての組織の３Ｄ組成に関する仮定の低減をもたらすが、画素間のクロストークをモデル化することを妨げる。

＜スペクトル反射率の算出＞
スペクトル反射率は、波長ごとの組織との相互作用後に表面に戻る光の部分を表す。この量は組織の特性であり、それゆえ、測定システムには依存しない。層状モデルから導かれた組織からのこのような反射率スペクトルｒを生成するために、関数ｒ_ｓｉｍが波長λにおいて評価される。

ＭＣモデルが、光が生物組織を通ってどのように進むのかを算出するためのゴールド・スタンダードと広く考えられているため、本実施形態では、多層ＭＣ（ＭＣＭＬ）アプローチがｒ_ｓｉｍの評価のために選定され得る。Ｌ．ＷａｎｇおよびＳ．Ｌ．Ｊａｃｑｕｅｓ． Ｍｏｎｔｅ Ｃａｒｌｏ ｍｏｄｅｌｉｎｇ ｏｆ ｌｉｇｈｔ ｔｒａｎｓｐｏｒｔ ｉｎ ｍｕｌｔｉｌａｙｅｒｅｄ ｔｉｓｓｕｅｓ ｉｎ ｓｔａｎｄａｒｄ Ｃ． Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｘａｓ， ＭＤＡｎｄｅｒｓｏｎ Ｃａｎｃｅｒ Ｃｅｎｔｅｒ， Ｈｏｕｓｔｏｎ （１９９２）において開示されるように、ＭＣ組織光学シミュレーションは多層状組織に光子パケットを照射する。層の特性に応じて、光子は確率論的に反射、散乱、および吸収されることになる。特質の中でもとりわけ、次に、（場合によっては、複数の）散乱事象のゆえに組織表面において反射された光子がシミュレーションにおいて決定され得る。

＜画像化システムへの適応＞
前の段落において説明されたシミュレーションは特定の波長におけるスペクトル反射率をもたらす。スペクトル反射率は組織の固有の特性であり、それゆえ、測定システムおよび照光には依存しない。順モデルの生成における第３のステップとして、図１に示されるように（「画像化システムへの適応」）、カメラに依存しないスペクトル反射率は、オンライン適用における介入中に用いられることになる特定のカメラによって測定された画像強度に比例する値に変換される。図１において指示されるように、カメラは、例えば、腹腔鏡、手術室内に設置されるか、もしくは移動可能に設けられたカメラ、または外科医によって装着される眼鏡、特に、以下においてより詳細に説明されることになるように、拡張現実感適用物のために適応させられた眼鏡に関連付けられたカメラに関連付けられ得る。本発明はいかなる特定の種類のカメラにも限定されない。しかし、本発明の好ましい実施形態では、オンライン適用において用いられるべき特定のカメラは、本明細書において図１における「画像化システムへの適応」と称されるものによって、機械学習回帰器を訓練するために用いられる順モデルを確立する際に明示的に考慮される。

ここで考慮される実施形態では、カメラは、反射率をスペクトル帯域ｂ_ｊ∈ｂにわたって積分するマルチスペクトル・センサを備え、ここで、ｊは、それぞれの帯域を指示する整数であり、ｂは、個々の帯域によって形成されたベクトルである。ｊ番目の帯域のためのカメラ強度測定結果ｉ_ｊは、以下の因子に依存すると仮定される：
ｒ（λ，ｔ） 組織のためのスペクトル反射率。
ｌ_ｊ（λ，ｐ） ｂ_ｊの応答、カメラの量子効率、イルミナント（例えば、キセノンまたはハロゲン）の放射照度、および用いられる光学セットの透過率のような画像化システムにおける他の成分を包摂する線形因子。概して、それは画像ｐ内の位置に依存することになる。
τ（・） 可能な画像強度内でより高い放射照度範囲を網羅するために、多くの場合、意図的に非線形である、カメラ応答関数
ｗ_ｊ 光の粒子性に起因するショット・ノイズ、およびセンサ温度に依存し、積分時間において線形である、いわゆるダーク・ノイズによって主に形成される、帯域ｊのためのカメラ・ノイズ

大きな画像強度のために、典型的にポアソン分布状のノイズ源が乗法性ガウス分布ノイズによって近似され得る（Ｇ．Ｅ．ＨｅａｌｅｙおよびＲ．Ｋｏｎｄｅｐｕｄｙ． Ｒａｄｉｏｍｅｔｒｉｃ ＣＣＤ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ａｎｄ ｎｏｉｓｅ ｅｓｔｉｍａｔｉｏｎ． Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ， １６（３）：２６７−２７６ （１９９４）、Ｊ．Ｋａｔｒａｒｎｉｋ、Ｆ．Ｐｅｒｎｕｒ、およびＢ．Ｌｉｋａｒ． Ｒａｄｉｏｍｅｔｒｉｃ ｃａｌｉｂｒａｔｉｏｎ ａｎｄ ｎｏｉｓｅ ｅｓｔｉｍａｔｉｏｎ ｏｆ ａｃｏｕｓｔｏ−ｏｐｔｉｃ ｔｕｎａｂｌｅ ｆｉｌｔｅｒ ｈｙｐｅｒｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ ｓｙｓｔｅｍｓ． ＡｐｐｌｉｅｄＯｐｔｉｃｓ， ５２（１５）：３５２６−３５３７ （２０１３） 、ならびにＡ．Ｍａｎｓｏｕｒｉ、Ｆ．Ｓ．Ｍａｒｚａｎｉ、およびＰ．Ｇｏｕｔｏｎ． Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ａ ｐｒｏｔｏｃｏｌ ｆｏｒ ＣＣＤ ｃａｌｉｂｒａｔｉｏｎ： ａｐｐｌｉｃａｔｉｏｎ ｔｏ ａ ｍｕｌｔｉｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， ２０（２）：９４−１００ （２００５）を参照）。分析が画素レベルで実施されるため、レンズ効果によって生じる幾何歪みは関連しない。以上の成分に基づいて、画像強度が次式によってシミュレートされ得る。

τ（・）が線形であり、光源の空間的不均質性が波長ｌ_ｊ（λ，ｐ）＝α（ｐ）ｌ_ｊ（λ）と独立していると仮定すると、モデルは次式に単純化する。

因子α（ｐ）は、「全体的な明るさ」と見なされ得る、一定の乗法的強度変化を考慮する。これらの変化の理由は、Ｅ．ＣｌａｒｉｄｇｅおよびＤ．Ｈｉｄｏｖｉｃ−Ｒｏｗｅ． Ｍｏｄｅｌ ｂａｓｅｄ ｉｎｖｅｒｓｉｏｎ ｆｏｒ ｄｅｒｉｖｉｎｇ ｍａｐｓ ｏｆ ｈｉｓｔｏｌｏｇｉｃａｌ ｐａｒａｍｅｔｅｒｓ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｏｆ ｃａｎｃｅｒ ｆｒｏｍ ｅｘ−ｖｉｖｏｍｕｌｔｉｓｐｅｃｔｒａｌ ｉｍａｇｅｓ ｏｆ ｔｈｅ ｃｏｌｏｎ． ＩＥＥＥ ＴｒａｎｓＭｅｄ Ｉｍａｇｉｎｇ （２０１３）においてさらに説明されるように、組織までのカメラの距離もしくは角度の差、および電流から、カメラによって測定された値への内部スケーリングである。

＜機械学習ベースの逆変換＞
これまでに説明された方法によれば、シミュレートされた画像強度は、画像の明るさα（ｐ）、およびセンサに到達する光のスペクトル分布ｌ_ｊ（λ）に依存する。データをｌ_ｊ（λ）の変化に対してより堅牢にするために、各帯域強度はその体積

で除算され得る。結果は本明細書においては、「帯域反射率」として、

で参照される。

これは、実際の測定のために行うであろうとおりの白色目標物を用いた校正に対応する。
乗法的なα（ｐ）は、全ての帯域の合計を用いて正規化し、データを、正規化反射率とさらに称されるものに変換することによって考慮される：

このように、α（ｐ）に対する依存性が除去される。最終変換として、−ｌｏｇが正規化反射率ｓから取られ、得られた値がそれらのｌ^２ノルムで除算され、データを、正規化吸光度ｘ_ｊと呼ばれるものに変換する：

この最後の変換は、厳密に言えば、必須ではないが、回帰においてより良好な実験結果をもたらすことが見出されている。ノイズ・モデルＷおよび組織ｔが与えられると、回帰器のための訓練入力データＸ＝（ｘ（ｔ_１），．．．，Ｘ（ｔ_ｍ））^Ｔがシミュレートされ得る。

任意の機械学習回帰器が、酸素化および血液体積分率などの、特定の組織パラメータｙ∈ｔのために訓練され得る。機械学習回帰器は、パラメータΘによってパラメータ化された、関数ｆ_Θである。それは、入力特徴、この場合には、上述のｘを、ラベルｙ、この場合には、組織パラメータに対応付ける。機械学習方法は、概して、期待リスクＲを最小化するパラメータを見出すことを目指す：

それゆえ、機械学習は、訓練特徴Ｘ_{ｔｒａｉｎ}を訓練ラベルｙ_{ｔｒａｉｎ}に最も近く対応付ける関数を決定することを試みる。近さの概念は、多くの場合、訓練データへの過適合を防止するための正規化項によって修正される、実数値の損失ｌによって与えられる。しばしば仮説とも呼ばれる、関数、および最小化技法は、方法に応じて実質的に異なり得る。

一実施形態において採用され得る、ランダム回帰フォレストの例では、関数は決定木のアンサンブルによって定義される。特徴が木において横切る経路は、ノードにおいて行われる比較に依存する。関数の出力は、特徴が着地した葉から算出される。最適な木の決定はＮＰ完全であるため（ここで、ＮＰは、ｎｏｎｄｅｔｅｒｍｉｎｉｓｔｉｃ ｐｏｌｙｎｏｍｉａｌ ｔｉｍｅ（非決定性多項式時間）を表す）、木を学習することは、通例、Ｌ．Ｂｒｅｉｍａｎ． Ｒａｎｄｏｍ Ｆｏｒｅｓｔｓ． Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，４５（１）：５−３２（２００１）においてさらに説明されるように、ノードを反復的に追加する、貪欲アルゴリズムによって行われる。機械学習のより詳細な説明については、Ｍ．Ｍｏｈｒｉら、 Ｆｏｕｎｄａｔｉｏｎｓ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｔｈｅ ＭＩＴ ｐｒｅｓｓ （２０１２）． ＩＳＢＮ ９７８−０−２６２−０１８２５−８が参照される。

本実施形態では、ランダム・フォレスト回帰器が、メガピクセル・マルチスペクトル画像のほぼリアル・タイムの回帰が可能であるため、選定された。さらなる利点は、ランダム・フォレスト回帰器が本質的に多変量であり、それゆえ、酸素化および血液体積分率の結合推定を可能にすることである。しかし、以下において実証されることになるように、ニューラル・ネットワークも課題のために同様に適しており、いくつかの点で有利である。

＜イン・ビボ記録への適用＞
訓練された回帰器は、図１の概略図において指示されるように、イン・ビボで獲得されたマルチスペクトル画像の各画素に適用され得る。この画像はシミュレーションと同じ変換を受けなければならない。好ましい実施形態では、まず、画像Ｉが、ダークＤおよび白色画像Ｗによる

によって補正され、スペクトル次元における平均で除算されることによって、正規化反射率に変換される。式（８）におけるシミュレーションへの変換と同様に、実際のマルチスペクトル測定データは吸光度にさらに変換され、追加のｌ^２ノルムによって正規化される。これは、実際の記録およびシミュレーションが、照明の乗法的変化と無関係である、同じ空間内にあることを確実にする。

＜ビデオ速度分析＞
ビデオ速度における拡張画像化を可能にするために、一実施形態では、図２に概略的に示される腹腔鏡システム１０が提供された。腹腔鏡システム１０は、シャフト部分１４、および照明光源１８に連結されたライト・ガイド１６を有する腹腔鏡１２を備える。腹腔鏡１２は、それが、マルチスペクトル・スナップショット画像センサ２２および好適な画像化光学素子２４を含む小型で軽量のマルチスペクトル・スナップショット・カメラ２０を備えるという点で、従来技術の腹腔鏡とは異なる。好ましい実施形態では、マルチスペクトル・スナップショット・カメラ２０は、２５Ｈｚよりも高いビデオ・フレーム速度における実況画像化を可能にする。一実施形態では、Ｘｉｍｅａ（Ｍｕｅｎｓｔｅｒ， Ｇｅｒｍａｎｙ）ＭＱ０２２ＨＧ−ＩＭ−ＳＭ４×４−ＶＩＳマルチスペクトル・スナップショット・カメラ２０が市販の腹腔鏡と組み合わせられた。Ｘｉｍｅａカメラは、５１２ｘ２７２ｘ１６の解像度の画像立方体のための最大１７０Ｈｚのフレーム速度を有するモザイク・スナップショット・センサ２２を含み、第３の次元は１６個の利用可能な色チャネルに似ている。センサは、Ｌｅｕｖｅｎ， ＢｅｌｇｉｕｍにおけるＩｎｔｅｒｕｎｉｖｅｒｓｉｔｙ Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓ Ｃｅｎｔｒｅ（ＩＭＥＣ）によって作製され、１０のビット深度を有する。センサは、４×４の繰り返しモザイク・パターンを用いて、単一のスナップショットにおいて完全なマルチスペクトル画像を獲得する。図３は、単一の画像に２回拡大されたときのモザイク・パターンを示す。

図２のシステム１０では、青色／緑色フィルタ２６がカメラ２０の前に配置されている。組織は赤色を青色よりも明るく反射するため、青色／緑色フィルタ２６を用いることによって、赤色から、および青色からの情報が、よりバランスのとれたカメラ計数で、および同様のノイズ・レベルで記録される。好適な青色／緑色フィルタは、６００から７５０ｎｍの波長範囲内の平均透過率よりも高い、４００から６００ｎｍの波長範囲内の平均透過率を有するフィルタである。

カメラ２０はデータ・リンク２８を介して、機械学習モジュール３２を備えるコンピューティング・デバイス３０と接続されている。データ・リンク２８は有線式または無線式の接続であり得る。機械学習モジュール３２は、コンピューティング・デバイス３０上にインストールされたソフトウェア・モジュールであり得る。コンピューティング・デバイス３０はＰＣまたはワークステーションであることができ、好ましくは、機械学習ベースのプロセスの高速処理のために適したグラフィック処理装置（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）を有する。しかし、他の実施形態では、コンピューティング・デバイス３０は、腹腔鏡製造業者によって現在用いられているプラットフォームまたは同様のものなどの、市販のプラットフォームに組み込むために特に適した、ＦＰＧＡであることができるであろう。機械学習モジュール３２は、拡張画像化のために必要とされる組織パラメータを決定するべくコンピューティング・デバイス３０によって好適な処理を受けた、マルチスペクトル・スナップショット画像センサ２２からのセンサ・データを受信する。表示デバイス３４がさらなる有線または無線データ・リンク２８によってコンピューティング・デバイス３０と接続されている。表示デバイス３４は、手術室内に配置された通常のディスプレイであることができる。図２では、酸化または血液体積分率などの組織パラメータを指示する拡張画像４０が重ね合わせられた臓器のＲＧＢ画像３８を含む、画像３６がディスプレイ３４上に概略的に示されている。

以上において提案されたランダム・フォレストのアプローチによれば、２５Ｈｚの要求を満たすために必要とされる速度でこのカメラのための拡張画像を生成することが困難であることが見出された。高速な記録を同等に高速な分析に合わせるために、ランダム・フォレストは、合理的なハードウェア努力によって所望の処理速度を可能にした、例えば、Ｙ．Ｌｅｃｕｎ、Ｌ．Ｂｏｔｔｏｕ、Ｙ．Ｂｅｎｇｉｏ、およびＰ．Ｈａｆｆｎｅｒ． Ｇｒａｄｉｅｎｔ−ｂａｓｅｄ ｌｅａｒｎｉｎｇ ａｐｐｌｉｅｄ ｔｏ ｄｏｃｕｍｅｎｔ ｒｅｃｏｇｎｉｔｉｏｎ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ， ８６（１１）：２２７８−２３２４ （１９９８）から知られた、畳み込みニューラル・ネットワーク（ＣＮＮ）と置き換えられた。ＣＮＮのさらなる利点は、画像のデモザイク処理および校正がＣＮＮアーキテクチャ内の（畳み込み）演算として自然に定式化され得ること、およびＣＮＮが、画像全体および画像パッチを使って演算することができ、それゆえ、近傍情報をコンテキスト情報処理のために活用することである。

一実施形態では、２つのネットワークが作成される。図４に示されるオフライン訓練ネットワークは機能推定のための重みおよびバイアスを決定する。訓練された重みおよびバイアスは、介入中に新たな画像をリアル・タイムで処理する、図５に示される実況評価ネットワークに入れられる。ネットワークは、以下において説明される、いくつかのモジュールに分離され得る。図４および図５では、参照しやすくするために、入力に関連するブロックは破線の枠によって指示されており、畳み込みに関連するブロックは実線の枠によって指示されており、他のブロックは点線の枠によって指示されている。

＜データの準備＞
組織のスペクトル反射率は、採用される画像化システムとは無関係である組織の固有特性である。それにもかかわらず、記録された反射率は、主に、カメラのフィルタ応答、カメラの量子効率、イルミナントの相対放射照度等によって影響を受け得る。それゆえ、シミュレートされたスペクトルの、対応する画像化ハードウェアへの適応が必要とされる。

図４を参照すると、データ準備モジュール４２が訓練のためにのみ設けられており、スペクトル反射率のシミュレーションを、用いられるマルチスペクトル画像化カメラからの測定結果にできるだけ厳密に似たデータに変換する役割を果たす。しかし、シミュレーションの適応は訓練中にネットワークの外部でも行われ得る。

上述された同じ種類のスペクトル反射率シミュレーションがこの目的のために用いられ得、ブロック４４において実施される。製造業者によって提供された、カメラ量子効率およびフィルタ透過率の測定結果、ならびに分光計からの、光源相対放射照度、腹腔鏡透過率、およびガラス・フィルタ透過率測定結果を通じて、スペクトル反射率シミュレーションは正規化反射率空間に変換される。

これらの画素単位の正規化反射率シミュレーションは、上述されたとおりの機能推定の基礎として用いられる。しかし、用いられる特定の単一のスナップショット・センサ２２のモザイク・パターンはいくらかの空間広がりを有する。本実施形態は、センサによって取り込まれたとおりの局所近傍をシミュレートする。スナップショット・マルチスペクトル・センサの場合には、各スペクトルは空間広がり（例えば、以下において「モザイク」と呼ばれる、図２のスナップショット・センサ２２を用いた１６帯域測定についての４×４）をすでに有する。この場合には、スペクトルはＣＮＮにモザイクとして提示される。それゆえ、モザイク内の組織組成の変化は、これらの場所において測定されたスペクトルの急激な変化をもたらし得る。この効果を考慮するために、本実施形態では、シミュレートされた正規化反射率ｘ_ｉを拡張し、モザイク・パターンに配置し直すことによってモザイクがシミュレートされ（ブロック４６参照）、これにより、組織が変化し得る小さな近傍を考慮する。「妨害シミュレーション」とも称される、第２の、ランダムに導かれた着色サンプルｘ_ｊも同じ仕方で配置される。図６（ａ）に、元のシミュレートされたサンプルｘ_ｉおよびランダムに選定された着色サンプルまたは妨害シミュレーションｘ_ｊが示されており、図６（ｂ）に、モザイク・パターンにおける再配置が示されている。元のモザイクの画素が、特定の確率（例えば２０％）で「妨害モザイク」の画素と交換される。結果をより堅牢にするために、３×３モザイクの小さいパッチがシミュレートされており、これにより、１つの訓練サンプルは、図６（ｃ）に示されるように、同じベースのｘ_ｉおよび着色のｘ_ｊの反射率を有する、９＝３×３個のモザイクから成る。図６（ｃ）では、妨害シミュレーションｘ_ｊの画素／要素によって置換されたｘ_ｉの画素または要素が太枠線によって指示されている。

本実施形態では、ＣＮＮが、空間広がりを有する領域を推定プロセスに組み込む可能性をもたらすことが利用される。本実施形態では、システムは、機能推定（または他の種類の組織パラメータの推定）を、１つのスペクトル測定だけでなく、近傍にも基づかせることができる。均質な組織を所与とすると、単一の（ノイズのある）スペクトル測定結果から区域へ移行することが有利であり、その理由は、これが、さらなる推論を基づかせるための複数の（ノイズのある）測定結果を提供するためである。（ほぼ）点ベースの領域からより大きな区域へ移ることの不利点は、組織および照光の不均質性などの妨害である。

図６に示される実施形態では、空間的近傍が組み込まれている。すなわち、十分に訓練された回帰器は、実際のマルチスペクトル画像内の単一の「マルチスペクトル画素」または「モザイク」ではなく、図６（ｄ）に概略的に示されるように、実際の画像の近傍に適用される。図６（ｄ）は、組織パラメータが、訓練された回帰器を用いて決定されることになる、４×４「モザイク」を示す。近傍を組み込むことは、ここでは、回帰器が、この場合には、組織パラメータが決定されることになるモザイクを包囲する８つの最も近いモザイクも含む、４×４モザイクの周りの何らかの「評価対象近傍」に実際に適用されることを意味する。図６（ｄ）では、評価対象近傍がハッチングによって指示されている。訓練された回帰器がこの評価対象近傍を使って評価された後に、回帰器は１モザイクさらに移動させられ、再び評価され、これは図６（ｄ）において「次の近傍」として指示される。この手順は「回帰窓の畳み込みスライド」と見なされ得る。

回帰器を訓練する目的のために、「評価対象近傍」は、同じモザイクを、所望の空間広がりに一致させられるまで数回、すなわち、所与の例では、８回、複製することによって提供される。ノイズが、図６（ｅ）に概略的に示されるように、全ての測定結果に独立して追加される。これは、領域を処理する、すなわち、推論を複数の測定結果に基づかせることができるよう処理するという利点をもたらす。また、不利点、特に、組織の不均質性をもモデル化するために、モデルの複雑さを変更するいくつかの手段が選定され得る。

組織不均質性のための１つの単純なモデルは、これらが、シミュレートされた近傍においてランダムに生じることを仮定する。正確には、この仮定は図６（ｃ）において行われており、この場合には、「ベース組織」の各モザイク内の各画素（図６（ｆ）参照）を、特定の確率（図６（ｃ）では２０％）で、異なる組織からランダムに選定された測定結果によって置換することによって、ランダムな不均質性がシミュレートされる。

他の実施形態は、不均質性がランダムである状況（上）、および典型的な形状、本例では、脈管がモデル化された状況（下）を比較のために示す、図６（ｆ）に概略的に示されるように、異なる向き有する、組織の縁、または脈管のような典型的な形状をモデル化するなど、組織不均質性のためのより複雑なモデルを採用することができる。

センサ・ノイズをモデル化するために、ゼロ平均ガウス分布ノイズが、以上において説明されたようにシミュレーションに追加され得る。図示された実施形態では、酸素化および血液体積分率の両方が、回帰のための組織パラメータとなるように選択されたが、他の組織パラメータが同様に選定され得ることが理解される。それらは人工組織内の最初の２５０μｍ以内の平均値に設定された。シミュレートされたモザイク・パッチは、訓練（図４）および実況評価ネットワーク（図５）の部分である、正規化モジュール４８への入力の役割を果たした。

＜正規化＞
正規化モジュール４８において、モザイク画像が、スペクトルおよび空間ドメインを個々の軸に分離するためにデモザイク処理される（ブロック５０）。これは、例えば、Ｒ．ＺｈｅｎおよびＲ．Ｌ．Ｓｔｅｖｅｎｓｏｎ． Ｉｍａｇｅ Ｄｅｍｏｓａｉｃｉｎｇ． Ｉｎ Ｃｏｌｏｒ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｅｎｈａｎｃｅｍｅｎｔ，１３〜５４ページ． Ｓｐｒｉｎｇｅｒ， Ｃｈａｍ （２０１５）． ＩＳＢＮ ９７８−３−３１９−０９３６２−８ ９７８−３−３１９−０９３６３−５に記載されているとおりのバイリニア補間を用いて、またはＣＮＮフレームワーク内で補間を学習することによって（Ｍ．Ｇｈａｒｂｉ、Ｇ．Ｃｈａｕｒａｓｉａ、Ｓ．Ｐａｒｉｓ、およびＦ．Ｄｕｒａｎｄ． Ｄｅｅｐ Ｊｏｉｎｔ Ｄｅｍｏｓａｉｃｉｎｇ ａｎｄ Ｄｅｎｏｉｓｉｎｇ． ＡＣＭＴｒａｎｓ． Ｇｒａｐｈ．， ３５（６）：１９１：１‐１９１：１２ （２０１６）参照）、達成され得る。本実施形態では、デモザイク処理５０は、４×４の各モザイクを１６次元ベクトルに積み重ねることによって実施される。この演算は、画像にわたって１６個の出力チャネルおよび４のストライドを用いて４×４のカーネルをシフトすることによって実施され得る。このとき、１６個のカーネル・チャネルの各々は、抽出されたモザイク画素においては１のエントリ、他所では０を有する。デモザイク処理のこの単純な仕方は、各モザイクの空間広がりに起因する小さな空間的ずれを生ぜしめるが、これは、非常に良好な結果を得ることを依然として可能にすることに留意されたい。

本実施形態では、実際の測定結果およびシミュレーションが両方とも、照明の絶え間ない変化に対処するために正規化される。これらの変化は、腹腔鏡の姿勢、または関心のある組織からの手術室照明灯の距離などの、変化する光源強度または照明条件によって引き起こされる。本実施形態では、これは、ブロック５２において、デモザイク処理された反射率の各々をそのｌ^２ノルムで除算することによって行われる。その後、正規化反射率は機能推定モジュール５４のための入力の役割を果たす。

＜機能推定＞
機能推定モジュール５４は、入力データと組織パラメータとの間の関係が確立される、ネットワークの心臓部と見なされ得る。図示された実施形態では、それは、Ｖ．ＮａｉｒおよびＧ．Ｅ．Ｈｉｎｔｏｎ． Ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔｓ ｉｍｐｒｏｖｅ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ （ＩＣＭＬ−１０），８０７〜８１４ページ （２０１０）においてさらに説明される種類のいくつかの畳み込み／正規化線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ、ＲｅＬＵ）ブロック５６で構成されている。最も単純な実施形態では、全てのブロック５６は１ｘ１畳み込みであり、各画像画素に適用された、完全に接続された画素単位のネットワークと同じ結果を意味する。パッチ単位の３×３モザイク入力が上述されたように生成される場合には、最初の２つの層は２ｘ２畳み込みであり、その後に、１ｘ１の特徴変換が続く。完全に畳み込みによるアーキテクチャのゆえに、任意のサイズのパッチおよび画像がネットワークへの入力の役割を果たすことができる。畳み込み層およびフィルタの数は実装形態に依存し、重みおよびバイアスが、次に説明される損失に関して学習される。次に、ブロック５８において、組織パラメータ画像または画像群（酸素化および血液体積分率などの、１つを超える組織パラメータが決定される場合）のための推定値を表す、演算の結果が取得される。

訓練の間に、ブロック５８において取得された機能推定は組織の真の組織パラメータと比較される。本実施形態では、上述された種類の組織モデルを用いて組織がシミュレートされるため、「真の組織パラメータ」が知られており、効率的な訓練を実施するために十分なデータセットが生成され得る。組織の真の組織パラメータとの比較は、次のセクションにおいて説明されるとおりの損失算出を用いて実施され得る。図５に示される実況評価ネットワークでは、同じ機能推定モジュール５４が採用されているが、この場合には、基礎をなすＣＮＮは、図４の訓練ネットワークを用いて十分に訓練されている。したがって、この場合には、「拡張画像推定」５８は、カメラ画像６４によって表現された組織の組織パラメータ画像の非常に良好な表現となることが実際に期待され、ブロック５９において、機能的画像として出力される。機械学習ベースの機能推定モジュール５４を用いて機能推定を実施することは、本明細書においてマルチスペクトル画像に「機械学習ベースの回帰器を適用すること」と称されることの一例であることに留意されたい。本明細書においては、機能パラメータが具体的に言及されたが、本実施形態は、以上において言及されたとおりの他の種類の組織パラメータにも同様に適用可能であることに留意されたい。

＜損失＞
損失は、訓練の間に最小化されるべき目的関数である。図示された実施形態では、ブロック６２において、

として定義されるとおりのユークリッド損失が選定され、採用されており、ここで、Ｎは訓練バッチ内の要素であり、ブロック６３において、損失算出の結果が取得される。組織パラメータは異なる範囲で現れる。採用されたデータセットでは、酸素化は０から１００％まで変化し、その一方で、血液体積分率は０から３０％に及ぶのみであった。推定されたパラメータの異なる範囲が損失に影響を及ぼさないことを確実にするために、ブロック６０において、実際のｙ_ｔｒｕｅおよび推定されたｙ_ｐｒｅｄがスケーリングされた。このスケーリングは、訓練データを使って、訓練ラベルがパラメータごとに０から１に及ぶように決定された。訓練された重みおよびバイアスはイン・ビボ評価ネットワークに複製された。

＜校正＞
図５を参照すると、正規化および機能推定がイン・ビボ・ネットワークに適用される前に、カメラ画像６４が反射率に変換される。２つの画像：光を用いない暗画像と、標準白基準などの白反射率標準から撮影された白色画像と、が、この目的のために介入前に記録された。そして、反射率は、R = (I -D)/(W- D) として計算すことができ、「R」は反射率、「I」は画像を表す。この正規化は、加算および乗算処理としてネットワークに組み込むことができ、計算を高速化するために高度に並列化することができる。したがって、白および黒の記録は、ブロック６６および６８を参照願うが、単純に加算され（−ｄａｒｋ）、乗算される（１／（ｗｈｉｔｅ−ｄａｒｋ））ためにネットワーク内に記憶された。

＜ＲＧＢ推定＞
馴染んだ画像も介入中に参照として医師に示すために、ＲＧＢ画像が同時に推定される。

図５において指示されるように、この算出は別個の経路７０内で行われ、マルチスペクトル・システム応答Ｆ_{ｍｕｌｔｉｓｐｅｃｔｒａｌ}∈Ｒ^{｜ｂ｜ｘｍ}から線形変換Ｔ∈Ｒ^{３ｘ｜ｂ｜}を用いて理想的なＲＧＢフィルタ応答Ｆ_ＲＧＢ∈Ｒ^３ｘｍを再構成することを目指した：

ここで、ｍは、解析された波長の数であり、｜ｂ｜は、マルチスペクトル帯域の数である。フィルタ行列Ｆ_{ｍｕｌｔｉｓｐｅｃｔｒａｌ}は、推定を本質的にホワイト・バランスのとれたものにするために、光源放射照度、および採用された光学素子の透過率を組み込むことができる。線形変換Ｔは最小二乗回帰によって見出され、ネットワーク内に入れられ得る。ここでは、変換は、バイアスを有しない、Ｒ、ＧおよびＢごとに１つの、３つの１ｘ１フィルタによって表現された。

＜実用的実装形態：ビデオ速度腹腔鏡＞
１つの目標適用物は、腎臓腫瘍が外科的に除去される、腎部分切除である。これらの介入の最中には、しばしば、出血を防止するために腎動脈がクランプされなければならない。特に、腎臓の癌部においてのみ虚血が誘起される、区動脈の好ましい選択的クランピングが遂行される場合には、正確なクランピングの検証は簡単でない。従来技術に係る正確なクランピングを確実にするための１つの可能性は、インドシアニン・グリーン（ｉｎｄｏｃｙａｎｉｎｅ ｇｒｅｅｎ、ＩＣＧ）蛍光を用いて灌流をチェックすることである：ＩＣＧが血流中に注入された後に、それは血漿に結合する。結合したＩＣＧは血流を通って進み、内蔵中に、特に、腎臓および肝臓中に１分以内に蓄積する。それゆえ、蛍光信号が存在しないことは、灌流が存在しないことに対応する。約３０分の長い洗い出し期間のゆえに、この試験は、誤ったセグメントがクランプされた場合には繰り返し可能でない。

本発明のマルチスペクトル画像化（ＭＳＩ）方法は、１度だけ適用可能な蛍光方法に代わることが可能である。図７から図１１を参照すると、本アプローチの性能を実証する結果が示されている。図７は、比較のための異なる方法によって、すなわち、ＣＮＮ回帰器、ランダム・フォレスト回帰器、および標準ベール・ランバートのアプローチを用いることによって取得された平均酸素化値を示す図である。各場合において、酸素化は時間の関数として示されており、その最中に、連続的に２つのクランプが腎動脈に適用された。図８は、関心領域内における異なる方法の対応する標準偏差を示す。３つの測定結果は全て、酸素化の相当な経時的降下を見せている。しかし、１回目のクランピング後の最初の１分以内の酸素化の小さな減少は、ＣＮＮアプローチを用いてのみ測定され得た。ベール・ランバートのアプローチは、１００％よりも大きいあり得ない酸素化値を与えることに留意されたい。ＣＮＮ回帰器が最良の性能を与えることが分かる。

図９および図１０は、平均酸素化および標準偏差を図７および図８と同様の仕方で示すが、最後のクランプが開かれ、酸素化の回復をもたらした後の状況のためのものを示す。この場合も先と同様に、機械学習ベースのアプローチの両方が単純なベール・ランバートのアプローチよりも優れており、この場合も先と同様に、ＣＮＮ回帰器がランダム・フォレスト・ベースの回帰器よりも優れた性能を有することが分かる。

最後に、図１１は、ＣＮＮのための異なる訓練方法を用いて決定された平均酸素化を時間の関数として示す。４つのデータセットは、訓練が小さな近傍（「パッチ」）に基づくのか、または単一の画素（「画素」）に基づくのか、および近くの組織から到来する追加のノイズがシミュレートされたのか（「着色」）、またはシミュレートされなかったのか（「無着色」）の可能な組み合わせを示す。全ての方法は同じ一般的傾向を示す。パッチおよび着色の両方を組み合わせた好ましいアプローチは、生理学的によりもっともらしく、また、ノイズもかなり小さい、より高い非虚血性の酸素化を推定する。図７から図１１の各々において、文字「Ｒ」は関心領域の再初期化を指示する。テンプレート照合ベースの関心領域追跡器が、映像を通して関心領域を追うために開発された。かなりの動き、ひいては視点変化のゆえに、関心領域は、第１のクランプを適用した後、第２のクランプを適用した後、およびクランプを解放する前に、ほぼ同じ位置で開始された。

以上において説明されたように、順モデルにおけるシミュレーションの、画像化システムへの適応の一部として、用いられる照明光のスペクトル組成が考慮される。これは、ＭＳＩベースの拡張画像化が、照明光が、使用される機器によってのみ提供され、それゆえ、既知であり、良く制御される、低侵襲シナリオにおいて、例えば、内視鏡または腹腔鏡介入において用いられる場合には、実際上、極めて容易に行われ得る。しかし、ＭＳＩベースの機能画像化が観血的手術において実施される場合には、照明光のスペクトル組成は、それが、手術室内で用いられる様々な光源に依存することになるため、容易には制御されない。さらに、患者および／または光源が手術下で動かされることになるため、照明光の組成は絶えず変化し得る。

この状況に対処するために、オンライン適用（図１の下半分参照）の間に、図１２および図１３を参照してより詳細に説明される自動校正ステップが実施される。自動校正７４は、２つのステップ、すなわち、組織の関心領域を現在照明している光のスペクトル組成を推定するステップ７６、および機械学習ベースの回帰器７２が照明光の推定されたスペクトル組成に実際に一致することを確実にするステップを含む。図１２の実施形態では、光源のスペクトル組成は、以下においてより詳細に説明されることになる、本明細書において「スペキュラリティ（ｓｐｅｃｕｌａｒｉｔｙ）」とも称される、鏡面反射光から推定される。さらに、本実施形態では、スペクトル組成は、簡潔にするために、ＭＳＩセンサの１６個の色チャネルに直接基づいて決定され、その理由は、これらの値が容易に入手可能であるためである。

第２のステップに関しては、２つの異なる変形例が採用され得る。図１２に示される第１の変形例では、異なるモデル光源（光源１、光源２等）を使って各々訓練された、複数の回帰器７２が提供される。これらの異なるモデル光源は以上において「訓練照明」とも称される。異なるモデル光源７２は、手術室の照光条件において生じ得る最も典型的なスペクトル組成を包括する、異なるスペクトル組成を有する。自動校正は、複数の以前に訓練された回帰器７２の中から、「推定された光源」に最も類似しているモデル光源に関連付けられた回帰器が選択されるステップ７８を含む。図１２に示される例では、モデル光源２のスペクトル組成が、推定された光源のスペクトル組成に最も近く、これにより、対応する回帰器７２が、組織パラメータを決定するためにオンライン適用において用いられる。このように、関心領域の実際の照明スペクトルがあらかじめ知られていないという事実にもかかわらず、高度に信頼できる組織パラメータが決定され得る。さらに、自動校正７４は、わずか１分、３０秒、またはさらに短い、比較的短い間隔で繰り返され得、これにより、ＭＳＩベースの拡張画像化は、変化する照明条件に絶えず適応することができる。

図１３に概略的に示される、第２の変形例では、「一般的光源」に基づいて訓練された、単一の回帰器７２のみが提供される。本明細書において、「一般的光源」は、手術室内の患者部位において典型的に生じるスペクトル組成を有する光源であり、以上において「標準照明」と称される照明をもたらす。この変形例でも、スペキュラリティから実際の光源のスペクトル組成を推定するステップ７６が採用されるが、この場合には、全スペクトルが、以下においてより詳細に説明される仕方で推定される。次に、ステップ８０において、測定結果が「一般的光源に変換される」。これは、取得されたマルチスペクトル画像が、ステップ７６において推定されたスペクトル組成から導出された情報に基づいて、一般的光源を使って訓練された回帰器７２が次に適用される、変換されたマルチスペクトル画像に変換されることを意味する。ステップ８０において適用される変換は、一般的光源のものからの実際の光源のスペクトル組成の逸脱に起因するマルチスペクトル画像における変化を補償することが可能である。換言すれば、変換後において、マルチスペクトル画像は、一般的光源を用いて照明されたとした場合に同じ関心領域について取得されたであろうマルチスペクトル画像と同じに、または少なくとも同様に「見える」。

例示的な実施形態では、ステップ８０において適用される変換は、各行が１つのフィルタを表し、各列が１つの波長（例えば、２ｎｍ刻みで３００から１０００ｎｍ）における透過率を表す、ｎ×ｍ行列である、標準光学系Ｆ１を定義することによって遂行され得る。Ｆ１は、例えば、マルチスペクトル・カメラのフィルタ透過率を取得し、キセノン光源の放射照度スペクトルを乗算することによって構成され得る。サイズｌ×ｍの第２の行列Ｆ２が、現在の光学系に関する実際の知識を表現する。第２の行列Ｆ２におけるフィルタの数ｌはｎと等しくてもよいであろうが、Ｆ１は架空の理想的な系を表現するため、これは不可欠ではないことに留意されたい。Ｆ２は、フィルタ透過率、推定された光源スペクトル、およびガラス・フィルタまたは同様のものなどの、光学系に関する他の全ての知識を含む。次に、変換Ｔ［ｌ×ｎ］が、Ｆ１およびＦ２を一致させるために線形回帰によって決定され得る：Ｆ１＝Ｔ*Ｆ２。

第３の変形例では、回帰器は、光源の現在の推定に適応させられたシミュレーション・データを用いて再訓練され得る。元の回帰器のＣＮＮパラメータは、回帰器の訓練時間を大幅に低減する訓練（転移学習）のための出発点の役割を果たし得る。

次に、図１４を参照して、ステップ７６に従って鏡面反射光から光源を推定する方法の一実施形態がより詳細に説明される。

ステップ８２において、鏡面ハイライト、すなわち、鏡面反射領域がＭＳＩにおいて識別される。一実施形態では、このステップ８２は以下のサブステップを含む：
マルチスペクトル画像がＨＳＩ（色相、彩度、輝度）色空間に変換されるサブステップ８４。ＨＳＩ色空間は、それが色を輝度および彩度から分離するため、鏡面ハイライトを決定するために特に適している。対応する変換行列は、この場合も先と同様に、ＲＧＢ推定に関して上述されたのと同様の仕方で、線形回帰を用いて決定され得る。具体的には、ＨＳＩ色空間への変換は、上述されたマルチスペクトル画像のＲＧＢ推定に基づき得る。ＲＧＢからＨＳＩ色空間に変換する最終ステップのために適した公式が、例えば、Ｊ．Ｓｅｒｒａ， Ｅｓｐａｃｅｓ ｃｏｕｌｅｕｒ ｅｔ ｔｒａｉｔｅｍｅｎｔ ｄ’ｉｍａｇｅｓ， Ｃｅｎｔｒｅ ｄｅ Ｍｏｒｐｈｏｌｏｇｉｅ Ｍａｔｈｅｍａｔｉｑｕｅ， Ｅｃｏｌｅ ｄｅｓ Ｍｉｎｅｓ ｄｅ Ｐａｒｉｓ， Ｐａｒｉｓ， Ｆｒａｎｃｅ， Ｔｅｃｈ． Ｒｅｐ． Ｎ−３４／０２／ＭＭ， ２００２．において、次式として示唆されている：
Ｉｎｔ＝（Ｒ＋Ｇ＋Ｂ）／３；
（Ｂ＋Ｒ）＞＝２Ｇである場合には、Ｓａｔ＝（２Ｒ−Ｇ−Ｂ）／２；
（Ｂ＋Ｒ）＜２Ｇである場合には、Ｓａｔ＝（Ｒ＋Ｇ−２Ｂ）／２；

色情報は色相および彩度の両方に包含されている。彩度は色の「純度」を記述し − 白色光源の鏡面反射光はＲ、ＧおよびＢ成分、ならびにそれゆえ、低い彩度を有することになり、それに対して、赤色組織からの拡散反射光は、より小さいＧおよびＢの寄与を有することになり、より高い彩度に対応する。したがって、マルチスペクトル画像、またはマルチスペクトル画像から導出されたＲＧＢ画像をＨＳＩ空間に変換することによって、例えば、Ｒ、ＧおよびＢヒストグラム内の一致する高強度ゾーンを探すことと比べて、鏡面領域のより信頼性の高い検出を可能にする。実際に、これらのヒストグラムから鏡面ハイライト画素を決定することは、Ｓｔｅｐｈａｎｅ Ｔｃｈｏｕｌａｃｋら、Ａ ｖｉｄｅｏ ｓｔｒｅａｍ ｐｒｏｃｅｓｓｏｒ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｃｏｒｒｅｃｔｉｏｎ ｏｆ ｓｐｅｃｕｌａｒ ｒｅｆｌｅｃｔｉｏｎｓ ｉｎ ｅｎｄｏｓｃｏｐｉｃ ｉｍａｇｅｓ， Ｊｏｉｎｔ ６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＩＥＥＥ Ｎｏｒｔｈｅａｓｔ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ａｎｄ ＴＡＩＳＡ Ｃｏｎｆｅｒｅｎｃｅ， ２００８において説明されているように、ＨＳＩ色状態で演算するときには回避され得る、ヒストグラムの後処理／ノイズ除去を通例必要とするであろう。

ステップ８２は、例えば、統計ベースの閾値処理を用いて、ＨＳＩ画像が鏡面領域および非鏡面領域にセグメント化される、サブステップ８６をさらに含む。セグメント化の結果は、例えば、鏡面反射のための１の値、および非鏡面反射のための０の値を有する２値画像となることができる。

最後に、ステップ８２は、かように識別された鏡面領域がサイズに従って仕分けられる、サブステップ８８をさらに含む。「鏡面領域」のうちのいくつかは、外れ値になりがちであり、照明光源スペクトルを推定するために適さない、単一の画素、またはほんの少数の近接した画素の領域によって形成され得る。さらに、セグメント化された画像内の最も大きい連結領域は、多くの場合、拡散性の背景によって形成されており、したがって、同様に放棄される。したがって、鏡面反射性画素の１番目からｎ番目に大きい連結領域が決定され、ここで、ｎは、適切に選定された整数であり、鏡面反射性画素の最も大きい連結領域は、通常、セグメント化された画像内の２番目に大きい連結領域であることに留意されたい。

実際には、鏡面領域は露出過度または飽和画素値を包含し得ることが分かる。露出過度画素値は、所与の画素のための最大強度値、例えば、８ビット・カメラにおいては２５６の値を有する。これらの露出過度画素値は、対応する画素センサ要素の飽和によってスペクトルの部分が切り捨てられるため、スペクトルに関する有用な情報を与えない。このような露出過度画素に対処するために、ステップ９０において、鏡面領域は、それらが所定の数または割合の不飽和画素を含むまで、形態学的膨張を受けさせられる。数学的形態学において、「膨張」とは、入力画像内に包含される形状を拡張するための構造化要素を用いる操作である。好ましい実施形態では、３×３画素の大きさの構造化要素が形態学のために用いられ − デモザイク処理された画像内の鏡面領域を膨張させる。この膨張の背後にある論拠は、鏡面領域の近傍においては、拡散および鏡面成分が混合されており、これにより、膨張によって組み込まれた追加の画素は鏡面性情報を依然として含むであろうということである。鏡面領域の形態学的拡張は鏡面領域の全体的形状を保存することになる。

後続のステップ９２において、鏡面領域内で、拡散および鏡面反射成分が分離される。一実施形態では、これは主成分分析（ＰＣＡ）を用いて実施される。ＰＣＡは、直交変換を用いて、相関する可能性がある変数の観測結果のセットを、主成分と呼ばれる線形的に相関しない変数の値のセットに変換する統計的手順である。ｐ個の変数を有するｎ個の観測結果が存在する場合には、このとき、別個の主成分の数はｍｉｎ（ｎ−１，ｐ）である。この変換は、第１主成分が最も大きな可能な分散を有し（すなわち、データ内のばらつきのできるだけ多くを説明する）、各後続成分が、今度は、それが先行成分と直交するという制約下で可能な最も高い分散を有するという仕方で定義される。得られたベクトルは無相関直交基底セットとなる。鏡面領域内では組織特性がある程度同様であるという合理的仮定の下では、鏡面成分ｓは、測定されたスペクトルｍに加法成分を与えると仮定され得る：ｍ＝ｓ＊ｌ＋ａｄ_１＋ｂｄ_２＋…。本明細書において、ｌは、鏡面反射光中に保存された、光源のスペクトルに似ており、ｄ１およびｄ２は、（係数ａおよびｂに従って）同様に変化し得る拡散成分である。しかし、これらの変化は、鏡面反射光によって生じる変化よりも小さいと仮定される。ＰＣＡの目的は、今度は、最大分散を含む（中心となる）データの線形射影を決定することである。照明光源が、最も大きい変化、すなわち、鏡面領域における最も大きい分散を生じさせると仮定されるため、この射影は光源に対応し、ＰＣＡの第１主成分に似る。別の実施形態では、光源は、データ内の統計学的に独立した成分を見出す方法のための集約的用語である、独立成分分析（ＩＣＡ）によって決定され得る。光源照明スペクトルは組織に依存しないため、ＩＣＡはこの課題のために適している。

ステップ９４において、先行するステップ９２において鏡面領域から抽出された光の鏡面成分に基づいて、照明光源のスペクトルが推定される。最も単純な場合には、ＭＳＩセンサの個々の色チャネルの相対強度を決定することで十分である。１６チャネル・マルチスペクトル・スナップショット画像センサ２２を含む図２のＭＳＩカメラ２０を観血的手術適用物のために用いるときには、鏡面反射に帰せられる１６個の色チャネルまたは帯域のための強度が決定され得る。以前に訓練された最も好適な回帰器７２を選択しさえすればよい、図１２の実施形態のためには、これで十分になり得る。

しかし、特に、取得されたマルチスペクトル画像が、標準照明または「一般的光源」のものに一致するように変換される、図１３の実施形態の場合には、ＭＳＩセンサの限られた数の色チャネルに基づいて実際の光源の準連続スペクトルを導出することが有利である。一実施形態では、これは、ｋ次元測定（ｋは、色チャネルの数、すなわち、本実施形態では１６である）を高次元の準連続周波数空間に変換する線形変換行列を導出することによって実施される。「準連続」周波数空間は、例えば、１．５から４ｎｍ、例えば、２ｎｍの刻みで、約３００ｎｍから７００ｎｍの周波数領域にわたることができる。これは、例えば、Ｉｚｕｍｉ Ｎｉｓｈｉｄａｔｅら、Ｖｉｓｕａｌｉｚａｔｉｏｎ ｏｆ ｈｅｍｏｄｙｎａｍｉｃｓ ａｎｄ ｌｉｇｈｔ ｓｃａｔｔｅｒｉｎｇ ｉｎ ｅｘｐｏｓｅｄ ｂｒａｉｎ ｏｆ ｒａｔ ｕｓｉｎｇ ｍｕｌｔｉｓｐｅｃｔｒａｌ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｂａｓｅｄ ｏｎ Ｗｉｅｎｅｒ ｅｓｔｉｍａｔｉｏｎ ｍｅｔｈｏｄ、ＳＰＩＥ Ｐｒｏｃｅｅｄｉｎｇｓ （Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ， ２０１５）、ｐａｐｅｒ ９５３６０Ｚにおいて開示されているＷｉｅｎｅｒ推定方法を用いて行われ得る。

図１３の変形例はいわゆる「色恒常性法（ｃｏｌｏｒ ｃｏｎｓｔａｎｃｙ ｍｅｔｈｏｄ）」の適用と見なされ得ることに留意されたい。色恒常性法は、照明のスペクトルの変化にもかかわらず、表面の知覚される色を一定に保つことを追求する。換言すれば、色恒常性法は、「照明不変量」を生成することを目指す。照明表面のスペクトル反射率およびスペクトル放射照度はどちらも反射率スペクトルから直ちに導出され得ないため、これは難しい課題である。

色恒常性法のためのいくつかのアプローチが当技術分野において示唆されているが、これはここでは詳細に説明しないことにする。その代わりに、Ｖｉｖｅｋ Ａｇａｒｗａｌら、Ａｎ Ｏｖｅｒｖｉｅｗ ｏｆ Ｃｏｌｏｒ Ｃｏｎｓｔａｎｃｙ Ａｌｇｏｒｉｔｈｍｓ、Ｊｏｕｒｎａｌ ｏｆ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｒｅｓｅａｒｃｈ １、２００６において与えられている概説が参照される。従来技術のアルゴリズムはＲＧＢ画像のために開発されたが、それらのうちの一部は、マルチスペクトル画像化のために適応させられることを可能にする。

次に、図１８を参照すると、組織の関心領域を照明する光のスペクトル組成を推定するためのさらなるより単純な変形例が示されている。ここでは、一般的な考え方は、イルミナントがこの場合も先と同様に鏡面ハイライト分析を介して推定され得る、低露出画像を頻繁に取り込むことである。換言すれば、低露出マルチスペクトル画像に基づいて、（選定された低露出のゆえに）過度に露出されていない画像内の領域を表現する鏡面ハイライト・マスクが計算され得る。これらの領域は、信号がもはや飽和状態でなくなったときには、光源のスペクトル組成が取得され得る直接反射光をもたらす支配的鏡面成分を包含すると仮定される。高露出画像では、鏡面ハイライトは飽和しがちであり、その場合には、それらは光源のスペクトル組成の直接推定のためにあまり適さないことに留意されたい）。機能組織パラメータの推定は、低露出鏡面ハイライトから推定されたイルミナント・パラメータに適応させられた機械学習方法を用いて、依然として標準的高露出画像を使って遂行される。

図１８に示される手順は以下の３つの主要ステップを含む：
（１）低露出画像の獲得
原理的には、イルミナントに関するスペクトル情報を標準（すなわち高露出時間）マルチスペクトル画像の鏡面ハイライトから直接回復することが可能であるが、実際には、鏡面反射光が、通例、検出器を飽和させ、「無効」画素を生じさせる。他方で、画像の他の部分は、通例、基礎をなす組織特性によってかなり影響を受け、それゆえ、イルミナントの回復のためにあまり適さない。この問題を克服するために、本実施形態では、校正用の低露出時間マルチスペクトル画像の獲得が提案される。本実施形態では、「低露出」は比較的短い露出時間を常に指すことに留意されたい。しかし、本開示はこれに限定されず、低露出はまた、小さい絞り開口、または同様のものを用いて確立され得る。これらの低露出画像は、概して、低い信号対ノイズ比（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ−ｒａｔｉｏ、ＳＮＲ）に関連付けられるが、本実施形態における指導的仮説は、これらの画像においては、「有効な」鏡面ハイライト画素がイルミナントに関する最大スペクトル情報を包含するということである。これらの低露出画像のための最適な露出時間を決定するために、以下において詳述されるように、いくつかの実験が実施された。
（２）画像処理（鏡面ハイライトのセグメント化）
本実施形態では、低露出画像は、特定の範囲Ｉ_ｍｉｎ＜Ｉ_ｍｓ＜Ｉ_ｍａｘ内の強度Ｉ_ｍｓを有する画素を選択することによって露出過度および露出不足画素を除去することを含む鏡面ハイライトのセグメント化のアプローチを用いて処理される。本明細書において、Ｉ_ｍｉｎは、所与のマルチスペクトル・カメラのために１度決定されるだけでよい、所与の露出時間にわたる暗電流のレベルに設定される。Ｉ_ｍａｘは高強度でのカメラ応答における非線形性を考慮し、製造業者の仕様に従って設定される。これは、有効画素の集合に対応する画素の添え字の集合Ｉｄｘ_{ｖａｌｉｄ}をもたらす。この添え字の集合に基づいて、鏡面ハイライト画素は以下のように識別される。最初に、反射率を全ての帯域にわたって平均することによって、明度（Ｉ_Ｌ）_ｉ；ｊが全ての（ｉ，ｊ）∈Ｉｄｘ_{ｖａｌｉｄ}のために計算される：

ここで、ｎは帯域の数であり、（Ｉ_ｋ）_ｉ；ｊは、画素（ｉ，ｊ）における帯域ｋに対応する強度である。「明度画像」から、（Ｉ_Ｌ）_ｉ；ｊの最も高い値を有するＮ_Ｐ個の数のハイライト画素が選択される。対応する添え字はＩｄｘ_ｈｌ⊆Ｉｄｘ_{ｖａｌｉｄ}によって表される。後述される経験的分析に基づいて、我々はＮ_Ｐ＝１００を選定する。
（３）イルミナントの推定
本実施形態におけるイルミナントは、上述の仕方で選定された鏡面ハイライト画素においては、組織からの拡散反射光が無視され得るという理想的仮定に基づいて計算される。（ｉ，ｊ）∈Ｉｄｘ_ｈｌごとに、獲得されたスペクトルを正規化することによって、イルミナントの推定値が計算される。

本実施形態では、マルチスペクトル画像を可視範囲内の１６帯域においてビデオ・フレーム速度で記録するために、ＸＩＭＥＡ（Ｍｕｎｓｔｅｒ， Ｇｅｒｍａｎｙ）ＭＱ０２２ＨＧ−ＩＭ−ＳＭ４×４−ＶＩＳモザイク・カメラが用いられた。上述のアプローチを検証するために、一般的に用いられる照明条件を代表する５つの異なる光源（ｌｉｇｈｔ ｓｏｕｒｃｅ、ＬＳ）が用いられた：ＬＳ１：キセノン（Ｓｔｏｒｚ Ｄ−ｌｉｇｈｔ Ｐ ２０１３３７ ２０， Ｔｕｔｔｌｉｎｇｅｎ， Ｇｅｒｍａｎｙ）、ＬＳ２：ハロゲン（Ｏｓｒａｍ ｌｉｇｈｔ ｂｕｌｂ， Ｍｕｎｉｃｈ， Ｇｅｒｍａｎｙ）、ＬＳ３：蛍光灯（卓上ランプ）、ＬＳ４：キセノン（Ｗｏｌｆ Ａｕｔｏ ＬＰ ５１３１， Ｋｎｉｔｔｌｉｎｇｅｎ， Ｇｅｒｍａｎｙ）、およびＬＳ５：ＬＥＤ（Ｗｏｌｆ Ｅｎｄｏｌｉｇｈｔ ＬＥＤ ２．２， Ｋｎｉｔｔｌｉｎｇｅｎ， Ｇｅｒｍａｎｙ）。Ａｎｔｏｎｉｏ，Ｒ．Ｋ．、Ｃｏｎｇ，Ｐ．Ｈ．： Ｉｍａｇｉｎｇ ｓｐｅｃｔｒｏｓｃｏｐｙ ｆｏｒ ｓｃｅｎｅ ａｎａｌｙｓｉｓ． ３．２．２章、２４〜２５ページ（２０１３）において説明されているように、Ｏｃｅａｎ Ｏｐｔｉｃｓ ＨＲ２０００＋（Ｌａｒｇｏ， Ｆｌｏｒｉｄａ， ＵＳＡ）分光計を用いて白基準上で全てのＬＳの基準イルミナント・スペクトルが取得された。図１９ａに、後述されるように正規化されたＬＳ１から５の放射照度が示されている。

２つのＬＳスペクトルの間の差を定量化するために、それらのイルミナント・スペクトルはベクトルとして考慮され得、それらの間のユークリッド角が、Ｋｈａｎ，Ｈ．Ａ．ｅ．ａ．： Ｉｌｌｕｍｉｎａｎｔ ｅｓｔｉｍａｔｉｏｎ ｉｎ ｍｕｌｔｉｓｐｅｃｔｒａｌ ｉｍａｇｉｎｇ． Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ ３４（７），１０８５（２０１７）において説明される仕方で計算され得る。本研究において用いられる５つのＬＳのための角距離は、図１９ｂに示される混同行列において図示されるように、１．０°（ＬＳ１およびＬＳ４、両者ともキセノン）から２５．９°（ＬＳ１およびＬＳ３、キセノンおよび蛍光）に及ぶ。

定量的検証のためのイン・シリコ・データを生成するために、画像形成プロセスのために適切であると仮定される、上述のセクション「層状組織モデル」において説明されたとおりの光学的組織特性のベクトルｔからマルチスペクトル画像化画素が生成される。組織特性のベクトルを、シミュレートされた反射率スペクトルｒ_ｓｉｍ（λ，ｔ_ｉ）（ここで、λは波長に対応する）に変換するために、モンテ・カルロ法が適用される。次に、所与のＬＳおよびカメラのための画素の帯域ｊにおける強度が、

として計算され、ここで、ξ_ｊ（λ）は、イルミナント（例えば、キセノンまたはハロゲン）の放射照度、および光学系の透過率などの、画像化システム内の他の構成要素を表す。ｗ_ｊは帯域ｊのためのカメラ・ノイズであり、Ｂはカメラ帯域の数であり、α（ｐ）は反射率の絶え間ない乗法的変化を考慮する。層状組織モデルからサンプルｔ_ｉを抽出し、対応する測定結果を生成することによって、対応するグランド・トゥルース酸素化を有するシミュレートされたマルチスペクトル測定結果のデータセットが生成され得る。

発明者らは、鏡面ハイライト分析に基づくスペクトル推定へのこのアプローチがどれほど正確で堅牢であるかを査定するための実験を実施した。さらに、機能パラメータ推定の精度に対するＬＳのスペクトルの推定における誤差の効果が分析された。

この目的のために、図１９において説明される５つのＬＳを用いて照明されたエクス・ビボの豚の肝臓のマルチスペクトル画像が取得された。イルミナント推定への上述のアプローチの堅牢性を決定するために、（異なる角度および距離における）各ＬＳに対するカメラの合計８つの異なる姿勢に対応する画像が撮影された。画像は異なる露出時間（５から１５０ｍｓ）において記録され、それがハイパーパラメータ最適化のために用いられた。

発明者らは、２つのハイパーパラメータ、すなわち、校正画像（すなわち、低露出画像）のための露出時間Ｔ_ｅｘｐ、および画像当たりのハイライト画素の数Ｎ_Ｐのための経験的に適切な値を決定した。発明者らは、図１９において要約された５つのＬＳのうちの３つ、すなわち、ＬＳ１からＬＳ３を用いて初期実験を遂行した。これらのＬＳは本明細書において検証ＬＳと称され、その一方で、我々ＬＳ４から５は試験ＬＳと称される。７５から２００の範囲内で変化するＮ_ｐが性能に及ぼす影響は無視できるほどであることが観察され、それゆえ、Ｎ_ｐ＝１００の選定が行われた。検証セット（５ｍｓから１５０ｍｓの露出時間）内の低露出画像を分析した際に、発明者らは、イルミナント推定の角度誤差は、ＳＮＲが増大するにつれて減少することをさらに見出した。ここで、ＳＮＲは、

これらの発見に基づいて、一実施形態では、５ｍｓから１５０ｍｓの範囲内の（５ｍｓの刻みの）複数の低露出画像が獲得され、その後、Ｔ_ｅｘｐが、最大ＳＮＲを有するその（低露出）画像に設定された。発明者らは、同じＴ_ｅｘｐの複数の画像を獲得し、対応する結果を平均することも吟味したが、このアプローチによる改善は見出さなかったことに留意されたい。

イルミナント推定のための方法の本実施形態の性能を定量的に査定するために、本方法が合計４０個（ＬＳの数・掛ける・ＬＳ当たりの姿勢の数）の画像に適用された。その結果、基準スペクトルと、推定されたスペクトルとの間の角度のための記述統計量が計算された。

得られた酸素化推定誤差に対するイルミナント推定における誤差の影響を定量化するために、発明者らは、以上において提示されたシミュレーション・パイプラインを用いて、｜Ｏ_{ｔｒａｉｎ}｜＝１５０００である、グランド・トゥルース光学特性Ｏ_{ｔｒａｉｎ}のセットをシミュレートした。これらは、５つの光源ＬＳ_ｉのうちの１つ、またはそれらの推定値Ｌ＾Ｓ_ｉ（ｎ＝４０；ＬＳごとに８つの姿勢の各々に１つ）に各々に対応し、各セットが５０００タプルの組織特性および対応する測定結果を含む、４５個の訓練セットを生成するために用いられた。異なるイルミナントのための訓練セットは、全く同じグランド・トゥルース組織パラメータ（本例では、回復されるべき機能パラメータである、血液酸素化を含む）に対応することに留意されたい。訓練データセットごとに、上述されたアプローチを用いて酸素化推定のための回帰器が訓練された。回帰器の性能を試験するために、以前の段落において提示されたアプローチに従って、５つの基準ＬＳの各々のための試験セットが生成された。次に、（１）訓練のための基準イルミナントを用いて（ＬＳ_{ｔｒａｉｎ}＝ＬＳ_ｔｅｓｔ；ｎ＝５）、（２）訓練のための別のイルミナントを用いて（ＬＳ_{ｔｒａｉｎ}≠ＬＳ_ｔｅｓｔ；ｎ＝２０）、および（３）

と表されるLSを推定するために、イルミナント推定への上述のアプローチを用いて、記述統計量が酸素化推定の質のために計算された。

定性的検証のために、マルチスペクトル画像化ストリームが人間の対象の唇から獲得され、ＬＳが記録中にＬＳ１からＬＳ５に切り替えられた。回帰器を、（推定された）光源に合わせて調整されたものに連続的に更新するために、自動光源校正が実施された。ベースラインの方法として、発明者らはＬＳ１（用いられる最初のＬＳ）を使って訓練された回帰器を、全獲得プロセス全体を通して適用した。関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ、ＲＯＩ）内における酸素化の結果の視覚的検査によって、定性的分析が遂行された。

図２０ａは基準イルミナント・スペクトル（丸印）を推定（×印）と共に示す。

真のイルミナントは、両方とも異なる製造業者からのキセノンＬＳであり、わずか１°の角距離を有する、ＬＳ１およびＬＳ４を除いて、一貫して推定値に対する最近傍である。図２０ｂに、上述のイルミナント推定方法の性能が要約されている。推定値と基準との間の角度は常に３．０°未満であることが分かる。試験光源ＬＳ４およびＬＳ５のための性能は、２つのハイパーパラメータを調整するために用いられた検証光源ＬＳ１からＬＳ３のものと同様である。

図２１（ａ）に示されるように、訓練のためのグランド・トゥルース・イルミナントを用いたときの酸素化推定における平均誤差は、１０．５％（ＬＳ１）から１２．５％（ＬＳ３）に及び、（５つの全てのＬＳにわたって平均された）１１．３％の平均を有する。上述のアプローチ（ｎ＝４０）を適用したとき、平均血液酸素化誤差の平均、中央、および最大値は、１１．６％、１１．３％、および１３．１％であった。結果は、検証ＬＳ（平均：１１．３％）および試験ＬＳ（平均：１２．０％）について同様であった。（校正が遂行されていない）任意のＬＳを用いるのと比べて、本実施形態に係る方法は平均血液酸素化誤差を平均４７％だけ低減した。

図２１（ｂ）は、提示されたイン・ビボのアプローチの恩恵を示す。一定のＬＳを仮定したとき、推定された血液酸素化は、照明条件が変わった（および訓練条件にもはや一致しなくなった）ときに変化する。ここでは、照明の変化は画像９０と１００との間で起こる。照明の変化が考慮されない場合、または換言すれば、「一定の照明」が仮定される場合には、これは、画像１００から２００について見られるように、血液酸素化推定における誤差をもたらすことになる。しかし、本明細書において提示されるアプローチは、自動的なＬＳ校正によって、変化する照明スペクトルを補償し、これにより、異なる照明スペクトルの下でさえも、同じ血液酸素化値がもたらされる。

したがって、低露出マルチスペクトル画像から抽出された鏡面ハイライトが、照明スペクトルを高精度で回復するために処理され得るという指導的仮説が、提示された実験分析において確認された。さらに、推定の質の高さは、提示された例における血液酸素化などの、機能パラメータを回復するための精度の高さをもたらすことが示された。

発明者らは、研究において用いられたＬＳの部分セットを使ってハイパーパラメータＴ_ｅｘｐおよびＮ_Ｐを最適化したが、彼らは、試験ＬＳを使った精度の低下を観察しなかった。これは、推定結果がこれらのパラメータの変化に対して堅牢であったという事実に帰せられ得る。

上述の実施形態では、イルミナント・スペクトルがカメラの視野内において均質であると仮定されていることに留意されたい。手術環境内での初期実験は、これが良い近似になることを示唆するが、好ましい実施形態では、本方法は、異なる画像パッチのための異なるイルミナントが計算されるように拡張される。第２に、上述の実施形態では、異なるＬＳに各々対応する、回帰器の離散セットから、事前訓練された回帰器を選定することによって、酸素化推定のための機械学習アルゴリズムが適応させられるが、他の実施形態では、本発明の概要において説明された他の２つの変形例が同様に採用され得る。換言すれば、同様に、推定されたイルミナント・スペクトルから導出された情報に基づいて、取得されたマルチスペクトル画像を変換し、標準照明の下で訓練された標準回帰器を、変換されたマルチスペクトル画像に適用することが可能であり、ここで、変換は、この場合も先と同様に、標準除去（ｅｌｉｍｉｎａｔｉｏｎ）からの照明のスペクトル組成における逸脱に起因するマルチスペクトル画像における変化を補償し、さらに、推定されたイルミナント・スペクトルに適応させられたシミュレーション・データを用いて、すでに訓練された回帰器を再訓練することが可能である。

図２における実施形態では、ＭＳＩベースの拡張画像化システム１０は、マルチスペクトル・カメラ２０を含む腹腔鏡１２に関連付けられているが、マルチスペクトル・カメラ２０はまた、手術室内に直接設けられ得る。様々な実施形態では、カメラ２０は、手術部位を照明するために用いられる手術室の光源に関連付けられ得る。例えば、カメラ２０は頭上の手術用光源に取り付けられ得る。これは、関心領域における組織の照明光が、好適な回帰器を提供することをより容易にする、既知のスペクトル組成を有する手術用光源の光によって支配されることになるという利点を有する。

図２に示されるものと同様に、カメラ２０は、機械学習モジュール３２を含む好適なコンピューティング・デバイス３０に接続され得、コンピューティング・デバイス３０は、ＲＧＢ画像３８および拡張画像４０を、場合によっては、重ね合わせられた仕方で、表示するための表示デバイス３４に接続され得る。表示デバイス３０は、機能情報などの追加情報が必要とされるときに外科医が頼るために、手術室内に設置され得る。

図１５は、マルチスペクトル・カメラ２０がゴーグル９６に関連付けられている、なおさらなる実施形態を示す。マルチスペクトル・カメラ２０は、２５Ｈｚが上回る、通例はさらに１００Ｈｚ以上のフレーム速度でマルチスペクトル画像を記録することを可能にするモザイク・マルチスペクトル・スナップショット・センサ２２（図１５には示されず）を含む、図２を参照して説明されたものと同じ種類のものであることができる。ゴーグル９６は、図２のコンピューティング・デバイス３０の機能性を仮定するデータ処理ユニット９８を含む。換言すれば、データ処理ユニット９８は、好適な回帰器を、マルチスペクトル・カメラ２０によって記録されたマルチスペクトル画像データに適用し、これにより、拡張画像内に表示されるべき組織パラメータを導出し得る。データ処理が、比較的小さいデータ処理ユニット９８によって実施されるために複雑すぎる場合には、計算の少なくとも部分は、参照符号１００によって指示される無線リンクによってデータ処理ユニット９８と接続された追加のコンピューティング・デバイス３０において実施され得る。ゴーグル９６は、通例、変化する照明条件を有する環境内で装着されるため、図１２および図１３を参照して上述された自動校正方式はゴーグル９６との組み合わせで特に有用である。

図示された実施形態では、拡張画像は、拡張現実感（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ、ＡＲ）または「複合現実感」（ｍｉｘｅｄ ｒｅａｌｉｔｙ、ＭＲ）適用物から自体公知の仕方でゴーグル９６の視野内に表示されることになる。これは、当技術分野において「ハンド・アイ」校正として知られるものを必要とする。したがって、拡張画像は、外科医によってゴーグルを通して見られる実際の風景に重ね合わせられ得る。好ましい実施形態では、ゴーグル９６は、関心領域内の組織を照明するための光源（図示されず）をさらに含み得る。また、ゴーグル９６は、ジェスチャを認識するように構成されている。例えば、ゴーグル９６の処理ユニット９８は、ゴーグルの視野内における拡張画像の生成および表示をトリガする、外科医が関心領域を指し示すジェスチャを認識するためのプログラム・コードを含み得る。実施形態によっては、ユーザは、自分の指を使って、機能または生理的パラメータ推定のために臓器または臓器群の境界を指示することができるであろう、より複雑な関心領域を「描く」ことができる。なおさらなる実施形態では、ゴーグル９６は、視標追跡を用いて、場所を決定し、ユーザが目を向けている、対応する組織パラメータ推定を提供し得る。本明細書において使用されるとおりの用語「視標追跡」は広い意味を有し、ユーザが目を向けている場所を決定するためのあらゆる仕方を包含するものとすることに留意されたい。ゴーグル９６の場合には、これは、主として、ゴーグル９６を着用している人の頭部の動きによって決定されるであろうが、それにもかかわらず、本明細書では用語「視標追跡」が使用され、それは「頭部追跡」または同様のものも含むことが理解される。

ゴーグル９６は、音声制御を可能にするためのデータ処理ユニット９８と接続されたマイクロホン１０２をさらに含む。例えば、外科医は臓器を指し示して、「酸素化を示せ」または「血液体積分率を示せ」と言うことができ、これが、対応する拡張画像の生成および表示をトリガするであろう。

上述された様々な構成要素は、実際の考慮事項に従って異なって配置し直され得ることに留意されたい。例えば、マルチスペクトル・カメラ２０はゴーグルに設けられていなくてもよく、手術室内の別の場所に設置され、無線リンク１００を介してマルチスペクトル画像情報を処理ユニット９８へ、または回帰器をマルチスペクトル画像データに適用し、拡張画像データのみをゴーグル９６のデータ処理ユニット９８に伝送するためのさらなるコンピューティング・デバイス３０へ伝送することができるであろう。同様に、マイクロホン１０２は、オーディオ情報またはその内容が何らかの方法でゴーグル９６のデータ処理ユニット９８へ伝えられる限り、ゴーグル９６自体に取り付けられていなくてもよい。

特に好ましい実施形態では、ゴーグル９６は、ゴーグルの視野内に表示されるべき追加情報を提供するために、外部データベース、例えば、術前データが記憶されたデータベースに、またはＰＡＣＳデータベースに接続されている。また、ゴーグル９６は、医学生のための教育プログラムを実施するように構成され得る。例えば、ユーザは臓器を指し示して、「これはどの臓器ですか？」、または「肝臓はどこですか？」と尋ねることができ、回答がゴーグル９６の視覚またはオーディオ出力によって提示される。

好ましい実施形態では、本発明の方法およびシステムは、拡張画像化のためにも用いられる、同じマルチスペクトル画像、またはそれらの部分に基づいて、解剖学的構造分類と組み合わせられ得る。一実施形態では、本方法は、関心領域が属する解剖学的構造、特に、臓器を自動的に分類し、複数の利用可能な回帰器の中から、この種類の臓器のために特定的に訓練された回帰器を選択するステップを含み得る。別の適用は、臓器分類を、ゴーグル９６内でユーザに提示される追加情報において用いることである。

解剖学的構造の自動分類の様々な仕方が当技術分野において提案されており、本実施形態はそれらのうちのいずれの特定のものにも限定されない。しかし、それ自身の性能を高い信頼性をもって推定するための固有の信頼尺度を採用した、本発明の実施形態における使用のために特に適した、解剖学的構造分類および画像タグ付けへの新たなアプローチが、本発明者らのうちの一部によって最近提案された。この尺度はＲＧＢおよびマルチスペクトル画像化データの両方に適用され、どちらの場合においても画像タグ付け性能の劇的な改善をもたらした。臓器認識は、
１． スーパー画素を用いて同様の領域グループ化すること
２． スーパー画素ごとにテクスチャ（ローカル・バイナリ・パターン）およびスペクトル（平均スペクトル）特徴を算出すること。
３． スーパー画素ごとに臓器を推定するためにＳＶＭ分類器を訓練すること
４． クラス確率の分散を分析することによって分類の信頼を決定すること
によって遂行された。

「スーパー画素」は、組織パラメータが関連付けられ得る、上述された「画像領域」の一例であることに留意されたい。信頼推定の査定は、７頭の豚を用いた包括的なイン・ビボ研究を通して遂行された。画像タグ付けに適用された場合に、実験における平均精度は、信頼尺度を含むときには、６５％から９０％に（ＲＧＢの場合）、および８０％から９６％に（マルチスペクトルの場合）に増大した。それゆえ、このアプローチは、信頼メトリックの利用を導入することによって、およびＭＩデータをイン・ビボ腹腔鏡組織分類のために用いるための最初の研究になることによって、内視鏡映像の自動的ラベル付けに関して現況技術よりも大幅に改善している。さらなる詳細については、本明細書において参照により組み込まれる、Ｓ．Ｍｏｃｃｉａら、Ｕｎｃｅｒｔａｉｎｔｙ−Ａｗａｒｅ Ｏｒｇａｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｏｒ Ｓｕｒｇｉｃａｌ Ｄａｔａ Ｓｃｉｅｎｃｅ Ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ Ｌａｐａｒｏｓｃｏｐｙ， ＤＯＩ １０．１１０９／ＴＢＭＥ ２０１８．２８１３０１５が参照される。

マルチスペクトル画像化が従来技術における医療適用物において用いられていたときには、画像化時間が非常に長かったため、マルチスペクトル画像を医療適用物において、ビデオ速度で、すなわち、例えば２５Ｈｚ以上の周波数を用いて利用することは可能でなかった。通例、マルチスペクトル・カメラは、フィルタ・ホイール内にしばしば配置された、フィルタ・セットを採用しており、マルチスペクトル画像の色チャネルごとに、新たなフィルタ位置が設定されなければならず、これは、明らかにマルチスペクトル画像化を大幅に遅くする。

１００Ｈｚを超える画像化速度を可能にする、図２において参照符号２２の下で示されるマルチスペクトル・センサが用いられた、重要な改善が上述のとおり提示された。一実施形態では、これがＣＮＮベースの回帰器と組み合わせられ、これが、拡張画像を同じ高い周波数で導出することを可能にし、それゆえ、発明者らの知る限りでは、マルチスペクトル画像ベースの拡張画像をビデオ速度で獲得することを初めて可能にした。しかし、マルチスペクトル・センサ２２は、１６個の色チャネルを同時に提供する、４×４の単一画素センサで各々構成されたマルチスペクトル画素を採用したため、これは空間解像度のいくらかの減少という犠牲を払って成立する。

本発明者らによって考えられた、高い処理速度および高い空間解像度の両方を組み合わせる１つの仕方は、適切に選定されたときには、組織パラメータ、特に、生理または機能情報を高精度で導出することを依然として可能にするであろう、より少数の周波数帯域をマルチスペクトル画像化において用いる装置の考案を試みることである。しかし、システムの性能を定量化するための従来技術におけるツールの不足は、医療適用物のためのＭＳＩシステムの設計をむしろ高価にする。これらの弱点を考慮して、発明者らは、以下において提示される、マルチスペクトル・カメラおよびそれらの光学系の定量的で適用物特定的な性能査定のための一般的フレームワークを開発した。このようなフレームワークは、様々な構成要素を仮想的に構築し、微調整するために利用され得る。カメラ特徴、および対象ドメインの特性に関するいくらかのユーザ入力に基づいて、このようなフレームワークは、大量のモンテ・カルロ生成データおよびユーザ定義性能メトリックを用いて所与のカメラ構成の性能を定量化するであろう。

図１６に、医療適用物のために特注設計されたマルチスペクトル・フィルタ帯域の性能を特徴付けるためのシミュレーション・フレームワークの本提案のワークフローが示されている。フレームワークは、組織固有のスペクトル反射率を生成するために、多層状組織内における光輸送のシミュレーションを活用する。発明者らによって開発されたフレームワークは、Ｗａｎｇ Ｌ、Ｊａｃｑｕｅｓ ＳＬ． Ｍｏｎｔｅ Ｃａｒｌｏ ｍｏｄｅｌｉｎｇ ｏｆ ｌｉｇｈｔ ｔｒａｎｓｐｏｒｔ ｉｎ ｍｕｌｔｉ−ｌａｙｅｒｅｄ ｔｉｓｓｕｅｓ ｉｎ ｓｔａｎｄａｒｄ Ｃ． Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｘａｓ， ＭＤ Ａｎｄｅｒｓｏｎ Ｃａｎｃｅｒ Ｃｅｎｔｅｒ， Ｈｏｕｓｔｏｎ． １９９２：４−１１において説明されているとおりの、多層状組織内における光輸送のモンテ・カルロ・モデル化（ＭＣＭＬ）、またはＡｌｅｒｓｔａｍ Ｅ、Ｌｏ ＷＣ、Ｈａｎ ＴＤ、Ｒｏｓｅ Ｊ、Ａｎｄｅｒｓｓｏｎ−Ｅｎｇｅｌｓ Ｓ、Ｌｉｌｇｅ Ｌ． Ｎｅｘｔ−ｇｅｎｅｒａｔｉｏｎ ａｃｃｅｌｅｒａｔｉｏｎ ａｎｄ ｃｏｄｅ ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ ｌｉｇｈｔ ｔｒａｎｓｐｏｒｔ ｉｎ ｔｕｒｂｉｄ ｍｅｄｉａ ｕｓｉｎｇ ＧＰＵｓ． Ｂｉｏｍｅｄｉｃａｌ ｏｐｔｉｃｓ ｅｘｐｒｅｓｓ． ２０１０ Ｓｅｐ １；１（２）：６５８−７５において説明された、ＧＰＵによって加速されたバージョンに依拠する。次に、これらは、現実のカメラ測定結果を取得するために、上述されたユーザ入力と組み合わせられ得る。

帯域選択のために、このようなフレームワーク内では、可能な全ての帯域の組み合わせを考慮して、画像のための個別の帯域構成が力ずくで比較され得る。しかし、帯域選択のアプローチは、ドメインの知識を用いてさらに改良され得る。このような技法は、特徴空間を低減するための特徴選択方法論から発想を得た。発明者らによって試験された可能なアプローチは以下のものである：
・ ラッパ法：このような方法は回帰関数に依拠し、 − その名が示唆するように − 回帰器を最適化関数内にラップし、その一方で、「平均絶対誤差」などの基準を最小化する帯域を反復的に選択する。本文脈において、最適な帯域の探索は、Ｗｈｉｔｎｅｙ ＡＷ． Ａ ｄｉｒｅｃｔ ｍｅｔｈｏｄ ｏｆ ｎｏｎｐａｒａｍｅｔｒｉｃ ｍｅａｓｕｒｅｍｅｎｔ ｓｅｌｅｃｔｉｏｎ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｐｕｔｅｒｓ． １９７１年９月；１００（９）：１１００−３において説明されているとおりの、逐次探索選択（ｓｅｑｕｅｎｔｉａｌ ｓｅａｒｃｈ ｓｅｌｅｃｔｉｏｎ、ＳＦＳ）、またはＫｏｈａｖｉ Ｒ、Ｊｏｈｎ ＧＨ． Ｗｒａｐｐｅｒｓ ｆｏｒ ｆｅａｔｕｒｅ ｓｕｂｓｅｔ ｓｅｌｅｃｔｉｏｎ． Ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ． １９９７年１２月１日；９７（１−２）：２７３−３２において説明されているとおりの、最良優先探索（ｂｅｓｔ ｆｉｒｓｔ ｓｅａｒｃｈ、ＢＦＳ）アプローチとしてモデル化され得る。他の可能な探索方略も組み込まれ得る。
・ 入力（Ｘ）および目標データ（Ｙ）を純粋に頼りにする方法：このような方法は「フィルタ」法とも呼ばれる。それらは、採用される回帰器の種類とは無関係である。数例を挙げると、Ｆｌｅｕｒｅｔ Ｆ． Ｆａｓｔ ｂｉｎａｒｙ ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｗｉｔｈ ｃｏｎｄｉｔｉｏｎａｌ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ． Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ． ２００４；５（Ｎｏｖ）：１５３１−５５）において説明されているとおりの、条件付き相互情報量最大化（Ｃｏｎｄｉｔｉｏｎａｌ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ、ＣＭＩＭ）、Ｊａｋｕｌｉｎ Ａ． Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｏｎ ａｔｔｒｉｂｕｔｅ ｉｎｔｅｒａｃｔｉｏｎｓ（博士論文、Ｕｎｉｖｅｒｚａ ｖ Ｌｊｕｂｌｊａｎｉ）において説明されているとおりの、相互作用キャッピング（Ｉｎｔｅｒａｃｔｉｏｎ Ｃａｐｐｉｎｇ、ＩＣＡＰ）、およびＹａｎｇ Ｈ、Ｍｏｏｄｙ Ｊ． Ｆｅａｔｕｒｅ ｓｅｌｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｊｏｉｎｔ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｉｎｔｅｒｎａｔｉｏｎａｌ ＩＣＳＣ ｓｙｍｐｏｓｉｕｍ ｏｎ ａｄｖａｎｃｅｓ ｉｎ ｉｎｔｅｌｌｉｇｅｎｔ ｄａｔａ ａｎａｌｙｓｉｓ １９９９年６月（２２〜２５ページ）において説明されているとおりの結合相互情報（Ｊｏｉｎｔ Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ、ＪＭＩ）などの、異なるメトリックがこのドメインの方法のために採用され得る。フィルタ法は、通例、分類などの離散ドメイン問題において用いられる。それを、連続ドメイン問題である、連続目標変数を用いた条件付き相互情報の計算のための回帰に拡張するために、通例採用されるヒストグラム・ビニングの代わりに、Ｋｒａｓｋｏｖの最近傍相互情報推定器（Ｋｒａｓｋｏｖ Ａ、Ｓｔｏｇｂａｕｅｒ Ｈ、Ｇｒａｓｓｂｅｒｇｅｒ Ｐ． Ｅｓｔｉｍａｔｉｎｇ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ． Ｐｈｙｓｉｃａｌ ｒｅｖｉｅｗ Ｅ． ２００４年６月２３日；６９（６）：０６６１３８）が用いられる。

上述され、図１６に概略的に示されたワークフローを用いて、いくつかの帯域選択方法が、最も良く適した帯域を見出すために比較された。本文脈では、ＳＦＳが最良の方法として識別された。具体的には、酸素化推定のために、以下の表内に要約された、５つの帯域が、最も良く適したものとして識別された。

この表において、中央の列は、帯域の中心が存在するべきである、対応する波長領域を指定する。５つの全ての波長帯域がマルチスペクトル画像化において採用された場合には、優れた精度を有する酸素化の結果が取得され得る。これは、１６個の波長帯域が採用された、上述された実施形態に引けを取らない。発明者らのさらなる分析は、実際には、本提案の５つの帯域のうちの４つの任意の組み合わせが、酸素化推定のために優れた結果を与えるであろうことを明らかにした。これは、例えば、各マルチスペクトル画素が、上述の５つの帯域のうちの対応する４つにおける光を検出する、２ｘ２の単色画素センサによって形成されている、マルチスペクトル・センサを設計することを可能にする。これは、上述されたマルチスペクトル・センサ２２と比べたときの解像度を４倍増大させることを可能にし、その一方で、同様に良好な酸素化の結果を得ることを依然として可能にする。

驚くべきことに、発明者らは、上述の５つの波長のうちの３つのみが選定される場合でさえも、良好な酸素化推定値が取得され得ることを確認することができた。マルチスペクトル画像センサが３つの単色画素センサのみを含む場合には、これは、なおいっそう高い解像度を可能にする。しかし、マルチスペクトル画像センサにおいては、上述の５つの帯域のうちのそれぞれの３つの内部に位置する３種類の単色画素センサが、他の画像化目的のために提供される異なる帯域内の光を検出する画素センサと組み合わせられ得る。

臨床適用のためには、方法の堅牢性は、通例、極めて重要である。好ましい実施形態では、したがって、不確実性の定量化および補償のための方法を、本発明の実施形態に用いられる機械学習ベースのアルゴリズム内に統合することが提案される。不確実性の主な発生源は偶然的不確実性および認知的不確実性に類別され得る（Ｋｅｎｄａｌｌ Ａ、Ｇａｌ Ｙ． Ｗｈａｔ Ｕｎｃｅｒｔａｉｎｔｉｅｓ Ｄｏ Ｗｅ Ｎｅｅｄ ｉｎ Ｂａｙｅｓｉａｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ？ ａｒＸｉｖ：１７０３０４９７７ ［ｃｓ］ ［インターネット］． ２０１７年３月１５日参照）。前者は、例えば、画像化モダリティによって生じせしめられる固有ノイズを記述し得、それに対して、後者は、例えば、例として、無効な仮定、または訓練データの不足によって主に生じせしめられる、モデル不確実性を表現する。

画素のスペクトルを、推論された組織パラメータと共に所与とすると、推定の不確実性を決定するための複数の仕方が存在する：
機械学習アルゴリズムによって与えられた信頼の尺度：推論の不確実性はアルゴリズム特定的な仕方で決定され得る。例えば、サポート・ベクター・マシンのために、本発明者らのうちの一部による以前の研究、Ｍｏｃｃｉａ，Ｓ．、Ｗｉｒｋｅｒｔ，Ｓ．Ｊ．、Ｋｅｎｎｇｏｔｔ，Ｈ．、Ｖｅｍｕｒｉ，Ａ．Ｓ．、Ａｐｉｔｚ，Ｍ．、Ｍａｙｅｒ，Ｂ．、 ．．． ＆ Ｍａｉｅｒ−Ｈｅｉｎ，Ｌ． （２０１８）． Ｕｎｃｅｒｔａｉｎｔｙ−ａｗａｒｅ ｏｒｇａｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｏｒ ｓｕｒｇｉｃａｌ ｄａｔａ ｓｃｉｅｎｃｅ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｌａｐａｒｏｓｃｏｐｙ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇにおいて説明されているように、事後確率確実性指数（ｐｏｓｔｅｒｉｏｒ ｐｒｏｂａｂｉｌｉｔｙ ｃｅｒｔａｉｎｔｙ ｉｎｄｅｘ、ＰＰＣＩ）およびジニ係数（Ｇｉｎｉ ｃｏｅｆｆｉｃｉｅｎｔ、ＧＣ）が用いられ得る。ランダム・フォレストの場合には、Ｂｒｅｉｍａｎ Ｌ． Ｒａｎｄｏｍ ｆｏｒｅｓｔｓ． Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ． ２００１；４５（１）：５−３において説明されているように、個々の木の標準偏差が用いられ得る。畳み込みニューラル・ネットワーク（ＣＮＮ）では、条件付き確率密度の推定（Ｆｅｉｎｄｔ Ｍ． Ａ Ｎｅｕｒａｌ Ｂａｙｅｓｉａｎ Ｅｓｔｉｍａｔｏｒ ｆｏｒ Ｃｏｎｄｉｔｉｏｎａｌ Ｐｒｏｂａｂｉｌｉｔｙ Ｄｅｎｓｉｔｉｅｓ． ａｒＸｉｖ：ｐｈｙｓｉｃｓ／０４０２０９３［インターネット］．２００４年２月１８日）、モデル・ベースおよび画像ベースの両方の不確実性の推定（Ｋｅｎｄａｌｌ Ａ、Ｇａｌ Ｙ． Ｗｈａｔ Ｕｎｃｅｒｔａｉｎｔｉｅｓ Ｄｏ Ｗｅ Ｎｅｅｄ ｉｎ Ｂａｙｅｓｉａｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ？ ａｒＸｉｖ：１７０３０４９７７ ［ｃｓ］ ［インターネット］．２０１７年３月１５日）、およびＫｉｎｇｍａ ＤＰ、Ｓａｌｉｍａｎｓ Ｔ、Ｗｅｌｌｉｎｇ Ｍ． Ｖａｒｉａｔｉｏｎａｌ Ｄｒｏｐｏｕｔ ａｎｄ ｔｈｅ Ｌｏｃａｌ Ｒｅｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ Ｔｒｉｃｋ． Ｉｎ： Ｃｏｒｔｅｓ Ｃ、Ｌａｗｒｅｎｃｅ ＮＤ、Ｌｅｅ ＤＤ、Ｓｕｇｉｙａｍａ Ｍ、Ｇａｒｎｅｔｔ Ｒ、編集者． Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２８［インターネット］． Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ， Ｉｎｃ．；２０１５［２０１８年７月２７日に引用］． ２５７５〜２５８３ページにおいて説明されているとおりの、いわゆるドロップアウト・サンプリングを含む、いくつかの方法が提案されている。

本開示では、我々はこれらの不確実性をボクセルに基づく信頼メトリックＣ（ｖ）として表し、Ｃ（ｖ）のより低い値はより低い信頼を表し、Ｃ（ｖ）のより高い値は推定におけるより高い信頼を表す。

任意の他の医用画像化モダリティのように、マルチスペクトル画像化は、記録された画像の特有のアーチファクトおよびノイズ汚染を被る。マルチスペクトル画像に固有のノイズを偶然性信頼メトリックＣａ（ｖ）内に要約する１つの仕方は、固有のコントラスト対ノイズ比（ｃｏｎｔｒａｓｔ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ、ＣＮＲ）を用いることである。実施形態によっては、それゆえ、信頼の尺度はデータから導出され、偶然的不確実性を定量化する尺度は信号対ノイズ比および／またはコントラスト対ノイズ比を含む。

確率論的推論：従来の機械学習方法は、測定結果を所与として単一の「仮説」（例えば、測定されたスペクトルを所与として１つのもっともらしいパラメータ構成）を生成する。しかし、本開示の機械学習アルゴリズムの好ましい実施形態では、機械学習は、その代わりに、例えば、Ｓｉｍｏｎ Ａ．Ａ．Ｋｏｈｌ、Ｂｅｒｎａｒｄｉｎｏ Ｒｏｍｅｒａ−Ｐａｒｅｄｅｓ、Ｃｌｅｍｅｎｓ Ｍｅｙｅｒ、Ｊｅｆｆｒｅｙ Ｄｅ Ｆａｕｗ、Ｊｏｓｅｐｈ Ｒ．Ｌｅｄｓａｍ、Ｋｌａｕｓ Ｈ．Ｍａｉｅｒ−Ｈｅｉｎ、Ｓ．Ｍ．Ａｌｉ Ｅｓｌａｍｉ、Ｄａｎｉｌｏ Ｊｉｍｅｎｅｚ Ｒｅｚｅｎｄｅ、Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ Ａ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｕ−Ｎｅｔ ｆｏｒ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ａｍｂｉｇｕｏｕｓ Ｉｍａｇｅｓ， ２０１８， ａｒＸｉｖ：１８０６．０５０３４ｖ１において説明されている仕方で、複数のもっともらしい仮説を導出するように仕向けられる。

他の確率論的アプローチ（例えば、近似ベイズ計算）が、順方向プロセスが十分理解されている逆問題に対処するために用いられてもよい。このような実施形態では、（１つの単一の推定ではなく）もっともらしいパラメータ構成の分布が所与のスペクトルのために出力される。分布が単峰形である（および過度に広くない）場合には、獲得されたスペクトルの逆変換は良設定問題と見なされ得る。さもなければ、問題はあいまいであり、分布の異なるモードが、代替仮説、または換言すれば、「複数のもっともらしい解」として出力される。

様々な実施形態では、画素または領域に関連付けられた不確実性は複数の仕方で用いられ得る：
・ 不確実性の視覚化：不確実性は、推定を、高い確実性をもって視覚化すること、および／または信頼の定量化を各測定結果と共に提供することのみによって明示的にされ得る。
・ 信頼ベースの値集約：このような実施形態では、信頼値が、値の不確実性ベースの集約、例えば、関心領域から得られた推論値の重みつき平均、または同様のもののために用いられ得る。

モード・ベースの後処理：実質的に異なる組織パラメータ構成は − 理論的には − 同様のスペクトルをもたらす場合がある。上述された種類の確率論的方法は、特定のスペクトルを生成することができたであろう、もっともらしいパラメータ構成のセットを表す分布を回復することができることが見出された。分布が複数のモードを特徴付ける場合には、あいまいさは、異なるハードウェア機構、例えば、異なるフィルタ応答、および／または異なる照明スペクトルを用いて追加の測定結果を得ることによって潜在的に解決され得る。図１７に、これが概略的に示されているに示されている。

図１７は、第１のハードウェア構成（「構成１」）、すなわち、第１の「画像化設定」が用いられたときに、異なる組織パラメータ・ベクトル（Ｐ１およびＰ２；ここでは、組織パラメータ空間における第１の２つの主成分Ｖ１およびＶ２上に射影される）が、ほぼ同一のスペクトルをもたらすことが見出される状況を示す。しかし、あいまいさは、異なるハードウェア構成（「構成２」）を用いて追加の測定結果を得ることによって解決され得る。好ましい実施形態では、異なるハードウェア構成または「画像化設定」は、照明光の異なるスペクトル、および／またはマルチスペクトル画像内に記録された帯域の異なる選択を指し得る。

先行するセクションにおいて、機械学習アルゴリズムが、画素単位の反射率測定結果を酸素化などの組織パラメータに変換するためにどのように用いられ得るのかが示された。しかし、これらのアルゴリズムの精度は、手術中に獲得されたスペクトルが、訓練中に見られたものに一致する場合にのみ保証され得る。機械学習では、回帰器または分類器は、それが訓練されたデータセットと類似しているか、またはそれに関連した、データセットのために意味のある結果のみを与えることができる。このような関係類似性を欠くデータセットは、当技術分野において「分布外」（ＯｏＤ）データセットとも称される。この課題に対処するために、発明者らは、機械学習アルゴリズムが組織パラメータのための偽の結果を提示することを防止するために、いわゆる分布外（ＯｏＤ）スペクトルを検出するための方法を開発した。これは、医学的治療における信頼性のある機能画像化への道筋における重要な進歩である。

本明細書では、図２２に示されるとおりの不確実性の扱いのための多段プロセスが提案される。

図２２に示されるように、マルチスペクトル画像の画素または画像領域ごとに、回帰器への入力を形成することができるであろうスペクトルが定められ得る。しかし、回帰が実施される前に、ＯｏＤ検出において、スペクトルまたはスペクトル群が訓練データに「近い」かどうか、またはそれらが「分布外」であるかどうかがチェックされる。図２２における１段目の場合のように、スペクトルが「有効」である、すなわち、訓練データに十分に近いことが確認された場合には、１つまたは複数の機能パラメータを提供するために、回帰が実施され得る。図２２に示される例では、この機能パラメータは酸素化値である。好ましい実施形態では、回帰だけでなく、図２２に概略的に同様に示された全事後確率分布に基づいて、不確実性推定も実施される。図２２の１段目では、事後確率分布は、酸素化値（７７％）だけでなく、±５％の不確実性も推定することを可能にする、単一のピークおよび適度な幅を有する。

図２２の２段目は、スペクトルが、訓練中に考慮されたことがあったスペクトルから著しく逸脱しており、これにより、ＯｏＤ検出が、スペクトルが「ドメイン外」に存在すると決定する場合を示す。この場合には、回帰は意味のある結果を与えることができず、したがって、実施されない。

最後に、図２２の３段目では、スペクトルは訓練データに十分に近いことが見出されたが、回帰において確立された事後確率分布が、結果があいまいであることを指示する、２つのピークを有する。このような状況のためには、組織パラメータごとの単なる点推定値でなく、全事後確率分布が確立されることが有利である。

発明者らは、光学的画像化の技術分野ではＯｏＤ検出におけるいかなる以前の研究も承知していないが、この話題は他の目的のための機械学習コミュニティにおいて関心の高まりを得ている。図２２に概略的に示されるとおりのマルチスペクトル画像分析における不確実性処理のための本提案の多段プロセスを実施するために、発明者らは、Ｃｈｏｉ，Ｈ．、Ｊａｎｇ，Ｅ．、Ａｌｅｍｉ，Ａ．Ａ．： Ｗａｉｃ， ｂｕｔ ｗｈｙ？ ｇｅｎｅｒａｔｉｖｅ ｅｎｓｅｍｂｌｅｓ ｆｏｒ ｒｏｂｕｓｔ ａｎｏｍａｌｙ ｄｅｔｅｃｔｉｏｎ． ＣｏＲＲ （２０１８）において提示された研究を踏まえて、情報理論ベースのアプローチを選定した。この研究において、Ｃｈｏｉらは、「広く使える情報量規準」（ＷＡＩＣ）を、訓練分布に対する新たなサンプルの近さを測定するための手段として提案している。本方法の利点は、それが多くの他のアンサンブル・ベースの教師なし学習方法より性能が優れており、その一方で、依然として相当容易に計算可能であるという事実にある。内部値と外れ値との間の弁別器を訓練するために十分なラベル付けされた陰性サンプルを生成することは途方もない作業になると考えられるため、教師なしのアプローチは非常に有利である。ＷＡＩＣを適用することに付随するさらなる労力は、それがアンサンブル・ベースの方法であり、それゆえ、モデルを複数回訓練することを必要とするという事実に起因する。データ次元によっては、これは、むしろ、時間およびハードウェア要求に関してその双方を要求し得る。本実施形態では、Ａｒｄｉｚｚｏｎｅ，Ｌ．、Ｋｒｕｓｅ，Ｊ．、Ｒｏｔｈｅｒ，Ｃ．、Ｋｏｔｈｅ，Ｕ．： Ａｎａｌｙｚｉｎｇ ｉｎｖｅｒｓｅ ｐｒｏｂｌｅｍｓ ｗｉｔｈ ｉｎｖｅｒｔｉｂｌｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ． Ｉｎ： Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ（２０１９）において説明されているとおりの可逆ニューラル・ネットワーク（ＩＮＮ）が、マルチスペクトル医用画像化データを使ってＷＡＩＣを推定するために用いられる。

＜ＷＡＩＣの定義＞
Ｗａｔａｎａｂｅ，Ｓ．： Ａｌｇｅｂｒａｉｃ ｇｅｏｍｅｔｒｙ ａｎｄ ｓｔａｔｉｓｔｉｃａｌ ｌｅａｒｎｉｎｇ ｔｈｅｏｒｙ． Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ（２００９）の元の研究では、ＷＡＩＣは次式にように定義された。

ここで、ＷＡＩＣ（ｘ）は、訓練データＸ^ｔｒの分布に対するサンプルｘの近接性を定量化し、ｐ（θ｜Ｘ^ｔｒ）に従って分布する。以上において引用されたＣｈｏｉらのごく最近の公表文献では、ＷＡＩＣをニューラル・ネットワークの設定におけるＯｏＤのための手段として用いることが示唆された。Ｃｈｏｉによって、およびＷａｔａｎａｂｅによって使用されるとおりのＷＡＩＣの符号の規約は逆であり、本開示では、Ｗａｔａｎａｂｅの定義が採用されていることに留意されたい。上式における分散項は、事後分布ｐ（＊｜θ）がサンプルｘについて「どれほど確実であるか」を測り、ヒューリスティックは、それは、以前に見たものに近いサンプルについては、より確実になるはずであるということである。「期待値項」である、上式における第２項は正規化のために用いられる。この期待値項の背後にある論拠は、ｌｏｇ ｐ（ｘ｜θ）の期待値が高い場合には、このとき、分散によって測定される広がりも、モデルの内部不確実性を実際に測定することなく、より大きくなり得るということである。それゆえ、それは、この効果を考慮するために減算される。

＜可逆ニューラル・ネットワークを用いたＷＡＩＣの計算＞
ＷＡＩＣのコンセプトは、パラメータ化されたモデルに対してのみ機能する。この前提条件を満たすために、発明者らは、本実施形態では、多変量標準ガウス分布となるように選定された、解析的に扱いやすい分布に従ってスペクトルＸを潜在空間Ｚにエンコードするために、ディープ・ニューラル・ネットワークｆ_θを用いた。このニューラル・ネットワークｆ_θは、それが同じ訓練データを用いて訓練されることを除いて、それ自体は、機能パラメータを決定するために最終的に用いられることになる機械学習ベースの分類器または回帰器と関連がないことに留意されたい。すなわち、ニューラル・ネットワークｆ_θはいかなる生物学的に医学的に意味のあるパラメータを予測するためにも意図されておらず、その代わりに、単に、スペクトルＸの分布を多変量標準ガウス分布に対応付けるように訓練され、このＯｏＤ分析のためにのみ用いられる。

ｆ_θ：Ｘ⊂Ｒ^ｎ→Ｚ⊂Ｒ^ｎを、パラメータθを有するニューラル・ネットワークを表すものとする。すると、変数変換公式を用いて、スペクトルｘのための対数尤度ｌｏｇ ｐ（ｘ｜θ）を次式として計算することができる。

ここで、Ｊｆ_θはそのヤコビアンを表す。対数尤度ｌｏｇ ｐ（ｘ｜θ）のための上式は、ネットワークｆ_θの対数ヤコビ行列式が効率的に計算可能であることが必須であることを示す。これを可能にする１つの確立されたアーキテクチャは、Ａｒｄｉｚｚｏｎｅらの上述された記事において可逆ニューラル・ネットワーク（ＩＮＮ）のという名で改良された、Ｄｉｎｈ，Ｌ．、Ｓｏｈｌ−Ｄｉｃｋｓｔｅｉｎ，Ｊ．、Ｂｅｎｇｉｏ，Ｓ．： Ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｒｅａｌ ＮＶＰ． ＣｏＲＲ （２０１６）において最初に紹介された正規化フローのうちの１つである。次のセクションにおいて説明される例の各々のために、ＩＮＮのアンサンブルが、ｐ（θ｜Ｘ^ｔｒ）を推定するために訓練された。各ネットワークは、いわゆるカップリング・ブロック（Ｄｉｎｈら参照）の１０個の層、およびその各々の後に続く置換層から成った。各カップリング・ブロックは、ＲｅＬＵ活性化関数を有する３層全結合ネットワークから成った。ネットワークは、最尤訓練を用いて、すなわち、Ａｄａｍオプティマイザを用いて上式において与えられるとおりの損失Ｌ（ｘ）＝ｌｏｇ ｐ（ｘ｜θ）を最大化することによって訓練され、Ｋｉｎｇｍａ，Ｄ．Ｐ．、Ｂａ，Ｊ．： Ａｄａｍ： Ａ ｍｅｔｈｏｄ ｆｏｒ ｓｔｏｃｈａｓｔｉｃ ｏｐｔｉｍｉｚａｔｉｏｎ． ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１４１２．６９８０ （２０１４）において開示されている。

＜例＞
上記において説明されたＯｏＤ検出へのアプローチは、発明者らによって、イン・シリコおよびイン・ビボ使用の両方の場合の様々な例において検証された。

初めに、シミュレーションに基づくイン・シリコの定量的検証が説明される。用いられたシミュレーション・フレームワークでは、画像形成プロセスのために適切であると仮定される、マルチスペクトル画像化画素が、この場合も先と同様に、組織特性のベクトルｔから生成される。もっともらしい組織サンプルｔが、以上の同名の専用セクションにおいて説明されたとおりの層状組織モデルから抽出される。シミュレーション・フレームワークは、５５０，０００個の高解像度スペクトルおよび対応するグランド・トゥルース組織特性から成る、データセットＸ_ｒａｗを生成するために用いられた。それは、５００，０００個および５０，０００個のスペクトルをそれぞれ含む、訓練Ｘ_ｒａｗ ^ｔｒおよび試験セットＸ_ｒａｗ ^ｔｅに分割された。

イン・シリコの定量的検証のために、８帯域のＰｉｘｅｌｔｅｑ ＳｐｅｃｔｒｏＣａｍのフィルタ応答関数を用いて、シミュレートされたデータセットの（高解像度）スペクトルが、もっともらしいカメラ測定結果に変換された。本明細書では、下付き文字（この場合には、ＳｐｅｃｔｒｏＣａｍを表すＳＣ）が、特定のカメラに適応させられた後のデータセットＸ_ｒａｗを指すために用いられる。Ｘ_ＳＣ ^ｔｒは小訓練セットＸ_ＳＣ ^ｔｒ，ｓおよびスーパーセットＸ_ＳＣ ^ｓｕｐに分割され、これにより、図２３に示されるように、Ｘ_ＳＣ ^ｔｒ，ｓのサポートはＸ_ＳＣ ^ｓｕｐのサポート内にあり、Ｘ_ＳＣ ^ｓｕｐはＸ_ＳＣ ^ｔｒ，ｓのサポートの外部のデータ点のクラスタから成った。これは、Ｘ_ＳＣ ^ｔｒのおよそ４９％のＸ_ＳＣ ^ｔｒ，ｄおよびＸ_ＳＣ ^ｔｒのおよそ５１％のＸ_ＳＣ ^ｓｕｐの分割をもたらした。Ｘ_ＳＣ ^ｔｒ，ｓを使って５つのＩＮＮのアンサンブルが訓練され、Ｘ_ＳＣ ^ｓｕｐを使ってＷＡＩＣ値が評価された。Ｘ_ＳＣ ^{ｓｕｐ，ｒ}が、Ｘ_ＳＣ ^ｔｒ，ｓのサポート内にあるＸ_ＳＣ ^ｓｕｐの低減または「限定」データセットとして定義される。

次に、発明者らは、
（１）Ｘ_ＳＣ ^{ｓｕｐ，ｒ}のＷＡＩＣ分布がＸ_ＳＣ ^ｔｒ，ｓのものに一致するかどうか、および
（２）Ｘ_ＳＣ ^ｔｒ，ｓのサポート内にないＸ_ＳＣ ^ｓｕｐの部分が我々の方法によって外れ値として正確に分類されたかどうか
を吟味した。

図２３および図２４から分かるように、上述の仮定の両方が確認され得た。図２３は、スーパーセットＸ_ＳＣ ^ｓｕｐに適用されたときの − 小訓練セットＸ_ＳＣ ^ｔｒ，ｓを使って訓練された− ＷＡＩＣ方法を用いて取得された結果を示す。図２３では、小訓練セットＸ_ＳＣ ^ｔｒ，ｓは完全な訓練セットＸ_ＳＣ ^ｔｒの最初の２つの主成分（ＰＣＡ）上に射影され、破線の輪郭内にある。ＷＡＩＣ値に従う２％パーセンタイルの最良のスーパーセット・スペクトルがカーネル密度推定として示されており、完全に訓練セットＸ_ＳＣ ^ｔｒ，ｓ内にある、図２３に示される点線の輪郭内にある。したがって、最良のＷＡＩＣ値を示す２％パーセンタイルのスペクトルは明白に「分布内サンプル」である。ＷＡＩＣ値に従う２％パーセンタイルの最悪のスペクトルがカーネル密度推定として同様に示されており、図２３における一点鎖線の輪郭内にあり、それゆえ、明白に小訓練セットＸ_ＳＣ ^ｔｒ，ｓの外部にある。したがって、Ｘ_ＳＣ ^ｔｒ，ｓのサポート内にないＸ_ＳＣ ^ｓｕｐの部分が外れ値として正確に分類されたことが分かる。

図２４は、訓練セットＸ_ＳＣ ^ｔｒ，ｓ、スーパーセットＸ_ＳＣ ^ｓｕｐ、および制限スーパーセットＸ_ＳＣ ^{ｓｕｐ，ｒ}のＷＡＩＣ分布を示す。図２４では、スーパーセットの箱ひげ図は、それが、訓練セットおよび制限スーパーセットよりもはるかに大きいＷＡＩＣ値を含んでいたため、切り捨てられる必要があったことに留意されたい。図２４から分かるように、制限スーパーセットＸ_ＳＣ ^{ｓｕｐ，ｒ}および訓練セットＸ_ＳＣ ^ｔｒ，ｓのＷＡＩＣ分布は極めて良く一致している。実際に、スーパーセットＸ_ＳＣ ^ｓｕｐは、Ｘ_ＳＣ ^ｔｒ，ｓの外部のデータ点によるものと見なされ得る、はるかにより多くの外れ値が存在するという点で異なるのみである。

次に、イン・ビボ適用物に向けられた例が説明される。概して、スペクトルが訓練データ分布に厳密に一致しない、マルチスペクトル画像、またはマルチスペクトル画像の部分を検出したいと欲するであろう様々な理由が存在し得る。可能な適用物としては、マルチスペクトル画像内における異常組織または人工物体、例えば、手術または診断機器の検出が挙げられる。

本態様の実施および有用性を実際に説明するために、発明者らは、５つのＩＮＮのアンサンブルを訓練するために完全な訓練セットＸ_ＳＣ ^ｔｒを用いた。イン・ビボ試験データとして、発明者らは、シミュレーション・ドメインＸ^ｉＤ内にある臓器、およびシミュレーション・ドメインＸ^ｏＤ内にない臓器として分類された豚の臓器の内視鏡画像を獲得した。これらのスペクトルは、Ｓｔｏｒｔｚキセノン光源（Ｓｔｏｒｚ Ｄ−ｌｉｇｈｔ Ｐ ２０１３３７ ２０）を有する３０ Ｓｔｏｒｔｚ腹腔鏡上のＰｉｘｅｌｔｅｑ ＳｐｅｃｔｒｏＣａｍを用いて獲得された。より具体的には、発明者らは、肝臓、脾臓、腹壁、隔膜、およびボウル（ｂｏｗｌ）を、これらにおいてはヘモグロビンが主要吸収体になると仮定され得るため、ドメイン内臓器として分類した。対照的に、発明者らは、胆液は顕著な吸収体であるが、上述された層状組織モデルを用いたシミュレーション・フレームワークでは考慮されなかったため、胆嚢をドメイン外臓器として分類した。セットＸ^ｉＤおよびＸ^ｏＤは、それぞれ、５００００個のスペクトルおよび１００００個のスペクトルから成った。本実施形態の基礎をなす仮説は、Ｘ^ｉＤのＷＡＩＣ値はＸ^ｏＤのためのものよりもはるかに低いはずであるということであった。参考のため、得られたＷＡＩＣ分布が、シミュレートされた試験データＸ_ＳＣ ^ｔｅものとも比較された。

図２５に、シミュレートされた試験データＸ_ＳＣ ^ｔｅ、ドメイン内臓器Ｘ^ｉＤ、およびドメイン外臓器Ｘ^ｏＤのためのＷＡＩＣ分布が示されている。試験データの分布は群を抜いて最も先鋭であり、−４．９における最大事後確率（ｍａｘｉｍｕｍ ａ ｐｏｓｔｅｒｉｏｒ ｐｒｏｂａｂｉｌｉｔｙ、ＭＡＰ）を有する。分布は訓練データのものに厳密に一致する（ＭＡＰ＝−４．９）。Ｘ^ｉＤの分布も先鋭な最大値を持つが、はるかにより重いテールを有する。ＭＡＰ推定は９．３をもたらし、これは、シミュレーション・ドメインと臓器ドメインとの間に依然として存在するドメイン・ギャップを指示する。Ｘ^ｏＤの分布は非常にノイズが多く、Ｘ^ｉＤよりもはるかに重いテールを有する。ＭＡＰは３４にある。これは、本提案のＷＡＩＣ推定が、イン・ビボ画像に基づいてドメイン内組織とドメイン外組織とを区別するために適していることを指示する。それが完全に教師なし学習に基づき、依然として、特定の臓器が訓練済みドメインに属するのか、または未訓練ドメインに属するのかを自動的に削除決定することを可能にするため、これは注目すべき結果である。

さらなる実施形態では、ＯｏＤ検出は、シーン変化を検出するために用いられ得る。本明細書において説明されたように、術中画像モダリティは、多くの場合、デバイスの慎重な校正に依拠する。例えば、マルチスペクトル測定結果から血液酸素化を回復するときには、概して、採用される回帰器が、介入中に用いられる光源を用いて訓練されることが必要とされる。上述された実施形態では、例えば、所与の分類器または回帰器が訓練されたスペクトル組成に正確に一致しなくてもよい、組織の関心領域を照明する光のスペクトル組成を推定することによって、ならびに組織パラメータを導出するために採用された回帰器または分類器を、本明細書において説明された可能性のうちの１つに従って照明光の推定されたスペクトル組成に一致させることによって、この状況がどのように処理され得るのかが指示された。

この点において残る１つの問題は、特に、観血的手術において、例えば、追加の手術灯がスイッチを入れられるか、または関心領域に近付けられたときに、照明条件が頻繁に変化し得ることである。変化する照明条件にどのように対処することができるのかが以上において実証されたが、回帰器または分類器の適応を必要とするであろう照明条件の大きな変化を認識するという課題が残っている。

無論、以上において説明されたように、照明の変化が、それが生じたときに認識され得るよう、関心領域を照明する光のスペクトル組成の上述の推定が所定の時間間隔で繰り返されてもよい。残念ながら、これは計算リソースを占有する余分の労力を生み、組織パラメータの決定中のアイドル時間を生じさせ得る。しかし、本明細書において説明されるＯｏＤ検出に基づいて、照明が、訓練において考慮された照明から未訓練の照明に変化した場合には、照明スペクトルの変化は、それが生じたときに自動的に検出され得る。認識されない照明の変化は、それらのせいで組織パラメータの推定結果が無効になり得るため、有害になり得るため、これは実用上重要である。「訓練において考慮された照明」および「未訓練の照明」は、無論、絶対基準ではないが、それぞれの適用に依存することになることに留意されたい。例えば、２つの回帰器、第１の照明源に関連付けられた第１の訓練データを用いて訓練された第１の回帰器、および第１の照明源とは異なるスペクトル組成を有する、第２の照明源に関連付けられた第２の訓練データを用いて訓練された第２の回帰器が存在する単純な場合を考える。このとき、第１の回帰器を用いるときには、ＯｏＤ検出は、この第１の訓練データを用いて訓練されたＩＮＮのアンサンブルに基づいて決定されたＷＡＩＣに基づくことになる。次に、照明が第２の照明に変更されたときには、ＩＮＮのこのアンサンブルは、この第２の照明に関連付けられた訓練データによって訓練されておらず、したがって、このデータは、無論、第２の回帰器に関するＯｏＤを検出するために用いられることになる、ＩＮＮの別のアンサンブルのための訓練において用いられたのであるが、出会ったスペクトルは「その観点から見れば」未訓練であるため、これはＯｏＤとして検出されることになる。

特定の実施形態では、Ｘ_ｒａｗが、Ｗｏｌｆ ＬＥＤ光源（Ｗｏｌｆ Ｅｎｄｏｌｉｇｈｔ ＬＥＤ ２．２）を仮定して、１６個の帯域から成るｘｉＱ ＸＩＭＥＡ（Ｍｕｅｎｓｔｅｒ， Ｇｅｒｍａｎｙ）ＳＮ ｍ４ ４モザイク・カメラに適応させられた。５つのＩＮＮのアンサンブルがＸ_Ｘｉｍ ^ｔｒを使って訓練された。さらに、図２６において右側に示されるように、ｘｉＱ ＸＩＭＥＡカメラおよび３０ Ｓｔｏｒｔｚ腹腔鏡を用いて、健康な人間のボランティアの唇の２００枚の５１２ｘ２７２画素の画像が記録された。画像８０の前後において、内視鏡がＳｔｏｒｔｚキセノン光源（Ｓｔｏｒｚ Ｄ−ｌｉｇｈｔ Ｐ ２０１３３７ ２０）からＷｏｌｆ ＬＥＤ光源（Ｗｏｌｆ Ｅｎｄｏｌｉｇｈｔ ＬＥＤ ２．２）に切り替えられた。図２６の左側に、関心領域のための対応するＷＡＩＣ時系列が示されている。変化する光源はＷＡＩＣの急激な変化をもたらすことが見られる。照光の変化より前の不確実性は、光源の切り替えに由来する短い暗闇によって説明され得る可能性が最も高い。画像１００におけるジャンプは、ボランティアの不随意運動が画像のピンぼけを引き起こしたことによるものであった。概ね高いＷＡＩＣ値の１つの理由は、メラニン（皮膚中の発色団）が訓練データにおいてシミュレートされなかったという事実である。

図２６から、ＷＡＩＣを観測することによって、照明の変化が自動的に決定され得ることが実証され、これは、例えば、新たな照明の異なるスペクトル組成へのシステムの再校正をトリガすることができるであろう。明らかに、このＯｏＤ検出は、様々な他のシーン変化を自動的に検出するためにも採用され得る。

本実装形態では、５つのＩＮＮがアンサンブル内に用いられた。発明者らの現時点での理解によれば、この数で十分である。発明者らは、最大２０個のアンサンブル要素のために、臓器検出の例のために用いられたデータセットを使ってＷＡＩＣを計算した。シミュレートされた試験データおよびドメイン内臓器のどちらについても、値はｎ＝１０未満で安定化した。

上述の例は、医学的ＯｏＤ検出の状況におけるＷＡＩＣの力を明確に示す。実用的実装形態のためには、ＷＡＩＣは「任意の単位」に基づき、したがって、通例は個々の適用ごとに決定される必要があろう、外れ値検出のための普遍的な閾値を定義することが容易に可能ではないことが考慮されなければならない。これに対処するための１つのアプローチは、好適な正規化を考案することである。別の可能性は、単に、特定のＲＯＩ内で最悪のｎ個の画素をマスクすることであり得る。ＷＡＩＣの推定はニューラル・ネットワークのアンサンブルを必要とするため、計算量は、より大きな入力次元に対しては費用のかかるものになる。これを考慮して、ネットワーク圧縮のための方法を、計算量を低減するよう適応させることが示唆される。

図面および上述の明細書では、好ましい例示的な実施形態が詳細に示され、特定されているが、これらは純粋に例示的なものと見なされるべきであり、本発明を限定するものと見なされるべきではない。この点については、好ましい例示的な実施形態のみが示され、特定されており、請求項において定義されるとおりの本発明の保護の範囲に現在または将来において含まれる全ての変形および変更が保護されるべきであることに留意されたい。

Claims (91)

1. 観血的治療、特には観血的手術中の患者の組織の１つまたは複数の拡張画像を生成する方法であって、各拡張画像が少なくとも１つの組織パラメータを前記組織の前記画像の領域または画素に関連付け、前記方法が、
   前記組織の関心領域を証明する光のスペクトル組成を推定するステップと、
   前記関心領域の１つまたは複数のマルチスペクトル画像を取得するステップと、
   機械学習ベースの回帰器または分類器を、前記１つもしくは複数のマルチスペクトル画像、または前記マルチスペクトル画像から導出された画像、に適用するステップであって、これにより、対応するマルチスペクトル画像の画像領域または画素に関連付けられた１つまたは複数の組織パラメータを導出するという、適用するステップと、
   を含み、
   前記回帰器または分類器が、照明の所与のスペクトル組成の下で、マルチスペクトル画像から前記１つまたは複数の組織パラメータを予測するように訓練されており、
   採用される前記回帰器または分類器が、
   ‐ 異なる訓練照明のために以前に訓練された複数の回帰器または分類器の中から、前記訓練照明の前記スペクトル組成が、前記関心領域を照明する前記光の前記推定されたスペクトル組成と最も類似したものになるよう、前記回帰器または分類器を選択することと、
   ‐ 前記関心領域を照明する前記光の前記推定されたスペクトル組成から導出された情報に基づいて、前記取得されたマルチスペクトル画像を変換し、標準照明の下で訓練された標準回帰器または分類器を、前記変換されたマルチスペクトル画像に適用することであって、前記変換が、前記標準照明からの前記照明の前記スペクトル組成の逸脱に起因する前記マルチスペクトル画像の変化を補償することが可能であるという、適用することと、
   ‐ 前記関心領域を照明する光の前記推定されたスペクトル組成に適応させられたシミュレーション・データを用いて、すでに訓練された回帰器または分類器を再訓練することと、
   のうちの１つによって、前記組織の前記関心領域を照明する光の前記推定されたスペクトル組成に一致させられる、
   方法。
2. 前記少なくとも１つの組織パラメータが、以下のもの：
   酸素化、血液体積分率、脂質の存在もしくは濃度、メラニンの存在もしくは濃度、胆液の存在もしくは濃度、コラーゲンもしくはエラスチンの存在もしくは密度、水の存在もしくは濃度、人工染料、特に、メチレン・ブルー、インドシアニン・グリーン（ＩＣＧ）の存在、またはこれらのうちの任意のものもしくは任意の組み合わせから導出されたパラメータ、
   組織分類パラメータ、特に、様々な臓器を指定する、壊死組織を指定する、癌組織、特に、癌リンパ節組織、および／もしくはそのステージを指定する、またはポリープを指定する組織分類パラメータ、
   歯科適用物における異物質および／または虫歯を指定するパラメータ、
   主要ランドマーク、特に、神経または重要な脈管を指定するランドマーク指示パラメータ、
   出血の存在、組織炎症、または、煙の存在を指示する事象パラメータ、
   感覚誘発電位を表す神経学的パラメータ、または
   医療事象を予測する、事象予測パラメータ、
   のうちの１つまたは複数を含む、
   請求項１に記載の方法。
3. 照明光のスペクトル組成を推定する前記ステップが、前記組織の前記関心領域から、または前記組織の前記関心領域に近い領域から鏡面反射された光に基づく、
   請求項１または２に記載の方法。
4. 前記方法が、前記組織の前記関心領域、または前記組織の前記関心領域に近い領域のマルチスペクトル画像内の鏡面反射領域を識別するステップをさらに含む、
   請求項３に記載の方法。
5. 前記方法が、前記マルチスペクトル画像をより低い次元の色空間、特に、ＨＳＩ色空間に変換するステップをさらに含む、
   請求項３または４に記載の方法。
6. 鏡面反射領域をサイズに従って仕分けるステップをさらに含み、好ましくは、鏡面反射性画素の２番目からｎ番目に大きい連結領域が決定され、ｎは、連結された鏡面反射性画素の領域の総数よりも小さい整数である、
   請求項４または５に記載の方法。
7. 識別された鏡面反射領域に形態学的膨張を受けさせ、これにより、それらが所定の数または割合の不飽和画素を含むことを確実にするステップをさらに含む、
   請求項４から６のいずれか一項に記載の方法。
8. 前記マルチスペクトル画像内の識別された鏡面反射領域内において、特に、主成分分析または独立成分分析を用いて、鏡面反射からの寄与を拡散反射からの寄与から分離するステップをさらに含む、
   請求項４から７のいずれか一項に記載の方法。
9. 前記照明光の前記スペクトル組成を推定するために、前記関心領域のマルチスペクトル画像が、前記回帰器または分類器が適用される前記マルチスペクトル画像よりも低い露出を用いて記録される、
   請求項３から５のいずれか一項に記載の方法。
10. より低い露出の前記マルチスペクトル画像が、前記回帰器または分類器が適用される前記マルチスペクトル画像よりも短い露出時間および／または小さい絞り開口を用いて記録され、好ましくは、前記露出時間および／または絞りサイズが、強度が、前記回帰器または分類器が適用される前記マルチスペクトル画像を記録するために用いられる前記露出のために得られた強度に対して、少なくとも２０％だけ、好ましくは、少なくとも４０％だけ、および最も好ましくは、少なくとも６０％だけ減少させられるように選定される、
    請求項９に記載の方法。
11. 前記スペクトル組成が、選択された数の画素または画素グループに基づいて推定され、前記画素または画素グループが、前記画像を記録するために用いられた画像検出器が前記画素または画素グループのスペクトル成分のうちのいずれのものについても飽和していないことを所与として、前記画素または画素グループが、高い、特に、可能な限り高い明度を有することを確実にする選択基準に従って、より低い露出の前記画像から選択され、前記明度は、前記画素または画素グループの、そのスペクトル成分の全てにわたる平均強度のための尺度である、
    請求項９または１０に記載の方法。
12. 前記マルチスペクトル画像が、数がｋ個の色チャネルを含み、前記方法が、前記ｋ個の色チャネル、またはそれらの部分セットからのスペクトル情報を準連続スペクトルに変換するステップをさらに含み、前記準連続スペクトル内の波長が、好ましくは、１０ｎｍ以下だけ、好ましくは、５ｎｍ以下だけ、および最も好ましくは、３ｎｍ以下だけ分離されている、
    請求項３から１１のいずれか一項に記載の方法。
13. 前記１つまたは複数の拡張画像が、２５Ｈｚ以上の速度で、好ましくは、７５Ｈｚ以上の速度で連続的に生成された一連の拡張画像である、
    請求項１から１２のいずれか一項に記載の方法。
14. 前記マルチスペクトル画像がマルチスペクトル・センサを用いて取得され、前記マルチスペクトル・センサがマルチスペクトル画素を含み、各マルチスペクトル画素が、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループを含み、好ましくは、各マルチスペクトル画素が３×３または４×４のセンサ画素のグループを含む、
    請求項１から１３のいずれか一項に記載の方法。
15. 前記回帰器または分類器が畳み込みニューラル・ネットワークに基づく、
    請求項１から１４のいずれか一項に記載の方法。
16. 前記対応するマルチスペクトル画像の画像領域または画素に関連付けられた１つまたは複数の組織パラメータを取得するために、前記回帰器または分類器が、前記マルチスペクトル画像の前記画像領域または画素よりも多くを覆う近傍に適用される、
    請求項１５に記載の方法。
17. 前記マルチスペクトル画像の前記画像領域または画素がマルチスペクトル・センサのマルチスペクトル画素によって形成され、前記センサの各マルチスペクトル画素が、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループを含み、前記回帰器または分類器が適用される前記近傍が、前記マルチスペクトル・センサのいくつかの近接したマルチスペクトル画素に対応する、
    請求項１４および１６に記載の方法。
18. 前記近傍に適用するために作成された前記回帰器または分類器が、前記近傍を集合的に覆うシミュレートされた画像領域または画素の複製から導出される、シミュレートされた近傍を用いて訓練され、前記複製が、組織不均質性に対応する個々のノイズおよび／または変更を受ける、
    請求項１６または１７に記載の方法。
19. 前記マルチスペクトル画像が、数がｋ個の色チャネルを含み、前記回帰器または分類器を前記マルチスペクトル画像に適用する前記ステップが、前記マルチスペクトル画像の前記色チャネルから取得されたｋ個の反射率値を前記回帰器または分類器に入力することを含む、
    請求項１から１８のいずれか一項に記載の方法。
20. 前記反射率値が、完全な暗闇において記録された暗画像を前記マルチスペクトル画像から減算し、好ましくは、前記画像を、基準白色目標物から取得された、または取得可能な白色画像と、前記暗画像との差によってさらに正規化することによって、光センサ読み値から取得される、
    請求項１９に記載の方法。
21. 前記マルチスペクトル画像からＲＧＢ画像を導出するステップをさらに含む、
    請求項１から２０のいずれか一項に記載の方法。
22. 前記回帰器または分類器が順モデルに基づいて訓練され、前記順モデルが、組織モデル、前記組織モデルによってモデル化された組織のための特徴であるスペクトル反射率のシミュレーション、および前記マルチスペクトル画像を記録するために用いられる画像化システムへの前記スペクトル反射率の適応を含み、前記スペクトル反射率の前記シミュレーションが、好ましくは、モンテ・カルロ・シミュレーションである、
    請求項１から２１のいずれか一項に記載の方法。
23. 前記組織モデルが、複数の層を含む層状組織モデルであり、各層が光学的関連組織パラメータのセットによって特徴付けられ、前記光学的関連組織パラメータが、好ましくは、血液体積分率、酸素化、脂肪の存在もしくは濃度の存在、またはメラニンの存在もしくは濃度、胆液の存在もしくは濃度、コラーゲンもしくはエラスチンの存在もしくは密度、水の存在もしくは濃度、または人工染料、特に、メチレン・ブルーもしくはインドシアニン・グリーン（ＩＣＧ）の存在のうちの１つまたは複数を含む、
    請求項２２に記載の方法。
24. 光学的関連組織パラメータの前記セットが、散乱量を定量化するパラメータ、散乱の指数関数的波長依存性を特徴付ける、散乱能、散乱の指向性を特徴付ける異方性因子、屈折率、および層厚のうちの１つまたは複数をさらに含む、
    請求項２３に記載の方法。
25. 前記画像化システムへの前記スペクトル反射率の前記適応が、前記モデル化された組織の前記スペクトル反射率から、前記画像化システムの各色チャネルに関連付けられた強度の推定値を算出することを含む、
    請求項２２から２４のいずれか一項に記載の方法。
26. 各色チャネルに関連付けられた強度の前記推定値の前記算出が、用いられるカメラもしくは光センサの量子効率、照明光のスペクトル組成に関する情報、用いられる光学構成要素の透過率、非線形カメラ応答関数、および色チャネルごとのカメラ・ノイズのうちの１つまたは複数に基づく、
    請求項２５に記載の方法。
27. 所与のタスクのために、複数のシミュレーションの中から、シミュレーションの部分セットが、実際の組織を使った測定結果との比較によって選択され、シミュレーションの前記部分セットは前記シミュレーションのうちの残りのものよりも前記測定結果に良好に一致する、
    請求項２２から２６のいずれか一項に記載の方法。
28. 複数の回帰器または分類器が前記１つまたは複数のマルチスペクトル画像に適用され、可能な組織パラメータのための複数の結果をもたらし、前記組織の前記画像の前記領域または画素に関連付けられた前記組織パラメータが、前記可能な組織パラメータを組み合わせるか、またはそれらから選択することによって取得される、
    請求項１から２７のいずれか一項に記載の方法。
29. 前記機械学習ベースの回帰器または分類器が、前記１つまたは複数の組織パラメータの精度の信頼の尺度を指示する信頼値を前記１つまたは複数の組織パラメータの前記予測と共に提供するために適している、
    請求項１から２８のいずれか一項に記載の方法。
30. 前記信頼値が既定の信頼基準を満たさない場合には、前記方法が、以下のこと：
    前記組織パラメータが前記拡張画像内で視覚化されないこと、
    前記組織パラメータが前記拡張画像内で、ただし、前記信頼の指示と共に視覚化されること、
    機能画像化において用いられるべき組織パラメータが、
    ‐ 同じ画像内の異なる領域、
    ‐ 異なる画像化設定を用いて、特に、異なる照明スペクトルを用いて、および／またはマルチスペクトル画像化のために選択された異なる帯域を用いて取得された同じ組織の異なるマルチスペクトル画像内の同じ領域、
    ‐ 異なる回帰器または分類器が適用される同じマルチスペクトル内の同じ領域、
    のうちの１つからの値の選択または組み合わせによって導出されること、
    のうちの１つまたは複数を含む、
    請求項２９に記載の方法。
31. 前記回帰器または分類器が、可能な組織パラメータの確率分布を導出することが可能である、
    請求項１から３０のいずれか一項に記載の方法。
32. 可能な組織パラメータの前記確率分布が複数のモードを呈し、および／または所定の閾値よりも広い場合には、少なくとも１つの新たなマルチスペクトル画像が、異なる画像化設定を用いて、特に、マルチスペクトル画像化のために選択された異なる照明スペクトルおよび／または異なる帯域を用いて生成される、
    請求項３１に記載の方法。
33. 前記組織パラメータが酸素化または血液体積分率に関連し、前記マルチスペクトル画像が、中心波長が以下の波長間隔：４９５から５０５ｎｍ、５３５から５４５ｎｍ、５５０から５７０ｎｍ、５７５から５８５ｎｍ、および５９０から６１０ｎｍのうちの１つに含まれる、少なくとも３つ、好ましくは、少なくとも４つのスペクトル成分を含む、
    請求項１から３２のいずれか一項に記載の方法。
34. 前記回帰器または分類器が、前記マルチスペクトル画像から導出された画像に適用され、前記マルチスペクトル画像から導出された前記画像が、前記マルチスペクトル画像の複数のマルチスペクトル画素で構成されたスーパー画素を含む、
    請求項１から３３のいずれか一項に記載の方法。
35. 前記スーパー画素が、スペクトル反射率情報、および組織のテクスチャに関連する情報を含む、
    請求項３４に記載の方法。
36. 前記拡張画像が、外科医によって装着されるべきゴーグル（９６）の視野内に投影される、
    請求項１から３５のいずれか一項に記載の方法。
37. 前記ゴーグル（９６）が、以下の構成要素：
    ‐ 前記関心領域の前記１つまたは複数のマルチスペクトル画像を取得するために適したマルチスペクトル・カメラ（２０）
    ‐ 音声コマンドを受け付けるためのマイクロホン（１０２）、
    ‐ データをコンピューティング・デバイス（３０）またはデータベースと交換するための無線データ・リンク（１００）、ならびに
    ‐ 前記回帰器または分類器を前記マルチスペクトル画像に適用すること、ジェスチャ、特に、拡張画像が作成されることになる関心領域を指示するジェスチャを認識すること、および眼鏡の前記視野内における拡張画像の表示を、特に、前記拡張画像が、前記ゴーグルを通して見られる実際の風景と重ね合わせられる仕方で制御すること、のうちの１つまたは複数のために適したデータ処理ユニット（９８）、
    のうちの１つまたは複数をさらに含む、
    請求項３６に記載の方法。
38. 分布外検出（ＯｏＤ）のステップをさらに含み、前記ＯｏＤ検出が、所与の訓練データセットに対する前記マルチスペクトル画像または前記マルチスペクトル画像の部分の近さに関する情報を決定するステップを含む、
    請求項１から３７のいずれか一項に記載の方法。
39. 前記ＯｏＤ検出が、前記マルチスペクトル画像またはその部分に関連付けられた、特に、個々の画素または画素グループに関連付けられたマルチスペクトル情報に近さの数値を付与するように構成されたＯｏＤ検出アルゴリズムを用いて実施され、前記数値が、前記所与の訓練データセット内の前記対応するスペクトル情報に対する前記スペクトル情報の近さを指示する、
    請求項３８に記載の方法。
40. 前記ＯｏＤ検出アルゴリズムが、ニューラル・ネットワーク、特に、可逆ニューラル・ネットワーク（ＩＮＮ）のアンサンブルを含み、前記アンサンブルの前記ニューラル・ネットワークの各々が、前記所与の訓練データセットを使って、訓練データ・サンプルを、変換されたデータ・サンプルに変換するように訓練されており、これにより、前記変換された訓練データが所定の統計的分布に一致し、前記ＯｏＤ検出アルゴリズムが、データ・サンプルのための近さの数値を、
    ‐ ニューラル・ネットワークの前記アンサンブルの各ニューラル・ネットワークを用いて前記データ・サンプルを変換し、変換されたデータ・サンプルのアンサンブルを取得すること、および
    ‐ 前記近さの数値を、変換されたデータセットの前記アンサンブルの分散を指示する尺度として決定すること、
    によって決定するように構成されている、
    請求項３９に記載の方法。
41. 前記ＯｏＤ検出アルゴリズムが、前記近さの数値を決定するために、「広く使える情報量規準」（ＷＡＩＣ）を用い、特に、前記ＷＡＩＣ、またはそれから導出された値が前記近さの数値として用いられ、前記ＷＡＩＣは、
    ＷＡＩＣ（ｘ）＝Ｖａｒ_θ［ｌｏｇ ｐ（ｘ｜θ）］−Ｅ_θ［ｌｏｇ ｐ（ｘ｜θ）］
    として定義され、ここで、ｘはデータ・サンプルであり、θはニューラル・ネットワークの前記アンサンブルのニューラル・ネットワークのパラメータであり、ｌｏｇ ｐ（ｘ｜θ）は前記所定の統計的分布に対応し、Ｅ_θ［ｌｏｇ ｐ（ｘ｜θ）］は、正規化の目的のために用いられる期待値項である、
    請求項４０に記載の方法。
42. 前記所定の分布が、
    ｌｏｇ ｐ（ｘ｜θ）＝−１／２｜｜ｆ_θ（ｘ）｜｜^２−ｎ／２ ｌｏｇ（２π）＋ｌｏｇ｜ｄｅｔ Ｊｆ_θ（ｘ）｜
    として定義される多変量標準ガウス分布であり、ここで、ｆ_θは、対応するネットワーク・パラメータθを有するニューラル・ネットワークの前記アンサンブルのネットワークを表し、ｘはデータ・サンプルであり、Ｊｆ_θは前記分布のヤコビアンを示す、
    請求項４１に記載の方法。
43. 前記ＯｏＤ検出アルゴリズムが変分オートエンコーダに基づく、
    請求項３９から４２のいずれか一項に記載の方法。
44. 所与の訓練データセットを用いて訓練された回帰器または分類器を適用する前に、またはそれと連動して、前記所与の訓練データセットに対する、または関連訓練データセットに対する前記マルチスペクトル画像または前記マルチスペクトル画像の部分の前記近さを決定するために、前記ＯｏＤ検出が実施され、前記近さが不十分であることが見出された場合には、機能組織パラメータが決定されないか、または信頼できないと標識され、
    前記方法が、好ましくは、前記近さが不十分であることが見出された場合には、別の回帰器または分類器に関連付けられた訓練データセットとの近さがより良好であるかどうかをチェックし、そうである場合には、前記別の回帰器または分類器を前記マルチスペクトル画像または前記マルチスペクトル画像の部分に適用することをさらに含み、
    特に、前記別の回帰器または分類器に関連付けられた前記訓練データセットが、異なる照明条件に、または異なる組織の種類に対応する、
    請求項３８から４３のいずれか一項に記載の方法。
45. 回帰器または分類器をマルチスペクトル画像またはその部分に適用する前に、対応する訓練データセットに各々関連付けられた、複数の回帰器または分類器の中から、前記マルチスペクトル画像または前記マルチスペクトル画像の部分が訓練データに最も近い前記回帰器または分類器を選択するために、前記ＯｏＤ検出を用い、前記選択された回帰器または分類器を前記マルチスペクトル画像またはその部分に適用するステップをさらに含み、
    前記複数の回帰器または分類器に関連付けられた前記訓練データセットが、好ましくは、異なる照明条件または異なる組織の種類に対応する、
    請求項４４に記載の方法。
46. 前記ＯｏＤ検出が経時的に繰り返し実施され、これにより、訓練データの所与のセットとの前記マルチスペクトル画像の近さの変化を用いて、条件、特に、照明条件の変化を検出する、
    請求項３８から４５のいずれか一項に記載の方法。
47. 観血的治療、特には観血的手術中の患者の組織の１つまたは複数の拡張画像を生成するためのシステムであって、各拡張画像が少なくとも１つの組織パラメータを前記組織の前記画像の領域または画素に関連付け、前記システムが、
    前記組織の関心領域を照明する光のスペクトル組成を推定する装置と、
    前記関心領域の１つまたは複数のマルチスペクトル画像を取得するためのマルチスペクトルカメラ（２０）と、
    コンピューティング・デバイス（３０）であって、
    機械学習ベースの回帰器または分類器
    を、前記１つもしくは複数のマルチスペクトル画像、または前記マルチスペクトル画像から導出された画像に適用し、これにより、対応するマルチスペクトル画像の画像領域または画素に関連付けられた１つまたは複数の組織パラメータを導出するための機械学習モジュール（３２）、を含むコンピューティング・デバイス（３０）と、
    を備え
    前記回帰器または分類器が、照明の所与のスペクトル組成の下でマルチスペクトル画像から前記１つまたは複数の組織パラメータを予測するように訓練されており、
    前記コンピューティング・デバイスが、
    ‐ 異なる訓練照明のために以前に訓練された複数の回帰器または分類器の中から、前記訓練照明の前記スペクトル組成が、前記関心領域を照明する前記光の前記推定されたスペクトル組成と最も類似したものになるよう、前記回帰器または分類器を選択すること、または
    ‐ 前記関心領域を照明する前記光の前記推定されたスペクトル組成から導出された情報に基づいて、前記取得されたマルチスペクトル画像を変換し、標準照明の下で訓練された標準回帰器または分類器を、前記変換されたマルチスペクトル画像に適用することであって、前記変換が、前記標準照明からの前記照明の前記スペクトル組成の逸脱に起因する前記マルチスペクトル画像の変化を補償することが可能であるという、適用すること、または
    ‐ 前記関心領域を照明する光の前記推定されたスペクトル組成に適応させられたシミュレーション・データを用いて、すでに訓練された回帰器または分類器を再訓練すること、
    のうちの１つによって、採用される前記回帰器または分類器を、前記組織の前記関心領域を照明する光の前記推定されたスペクトル組成に一致させるように構成されている、
    システム。
48. 表示デバイス（３４）をさらに備え、前記システムが、前記拡張画像を表示するように構成されており、前記システムが、特に、前記拡張画像を、前記関心領域のＲＧＢ画像と共に、またはそれと重ね合わせられた様態で表示するように構成されている、
    請求項４７に記載のシステム。
49. ゴーグル（９６）をさらに備え、前記システムが、前記拡張画像を前記ゴーグル（９６）の視野内に投影するように構成されている、
    請求項４８に記載のシステム。
50. 前記ゴーグル（９６）が、以下の構成要素：
    ‐ 前記関心領域の前記１つまたは複数のマルチスペクトル画像を取得するために適したマルチスペクトル・カメラ（２０）、
    ‐ 音声コマンドを受け付けるためのマイクロホン１０２、
    ‐ データをコンピューティング・デバイス（３０）またはデータベースと交換するための無線データ・リンク（１００）、ならびに
    前記回帰器または分類器を前記マルチスペクトル画像に適用すること、ジェスチャ、特に、拡張画像が作成されることになる関心領域を指示するジェスチャを認識すること、および眼鏡の前記視野内における拡張画像の表示を、特に、前記拡張画像が、前記ゴーグルを通して見られる実際の風景と重ね合わせられる仕方で制御すること、のうちの１つまたは複数のために適したデータ処理ユニット（９８）、
    のうちの１つまたは複数をさらに含む、
    請求項４９に記載のシステム。
51. 前記少なくとも１つの組織パラメータが、以下のもの：
    酸素化、血液体積分率、脂質の存在もしくは濃度、メラニンの存在もしくは濃度、またはこれらのうちの任意のものもしくは任意の組み合わせから導出されたパラメータ、
    組織分類パラメータ、特に、様々な器官を指定する、壊死組織を指定する、癌組織、特に、リンパ節組織、および／またはそのステージを指定する、またはポリープを指定する組織分類パラメータ、
    歯科適用物における異物質および／または虫歯を指定するパラメータ、
    主要ランドマーク、特に、神経または重要な脈管を指定するランドマーク指示パラメータ、
    出血の存在を指示する事象パラメータ、または煙の存在を指示するパラメータ、
    感覚誘発電位を表す神経学的パラメータ、または
    医療事象を予測する、事象予測パラメータ、
    のうちの１つまたは複数を含む、
    請求項４７から５０のいずれか一項に記載のシステム。
52. 照明光のスペクトル組成を推定するための前記装置が、前記組織の前記関心領域から、または前記組織の前記関心領域に近い領域から鏡面反射された光に基づいて前記推定を実施するように構成されている、
    請求項４７から５１のいずれか一項に記載のシステム。
53. スペクトル組成を推定するための前記装置が、前記マルチスペクトル・カメラを用いて取得された、前記組織の前記関心領域の、または前記組織の前記関心領域に近い領域のマルチスペクトル画像内の鏡面反射領域を識別するように構成されている、
    請求項５２に記載のシステム。
54. スペクトル組成を推定するための前記装置が、前記マルチスペクトル画像をより低い次元の色空間、特に、ＨＳＩ色空間に変換するようにさらに構成されている、
    請求項５２または５３に記載のシステム。
55. 前記装置が、鏡面反射領域をサイズに従って仕分けるようにさらに構成されており、好ましくは、鏡面反射性画素の１番目からｎ番目に大きい連結領域が決定され、ｎは、連結された鏡面反射性画素の領域の総数よりも小さい整数である、
    請求項５３または５４に記載のシステム。
56. 前記装置が、識別された鏡面反射領域に形態学的膨張を受けさせ、これにより、それらが所定の数または割合の不飽和画素を含むことを確実にするようにさらに構成されている、
    請求項５３から５５いずれか一項に記載のシステム。
57. 前記装置が、前記マルチスペクトル画像内の識別された鏡面反射領域内において、特に、主成分分析または独立成分分析を用いて、鏡面反射からの寄与を拡散反射からの寄与から分離するようにさらに構成されている、
    請求項５３から５６のいずれか一項に記載のシステム。
58. 前記照明光の前記スペクトル組成を推定するために、前記システムが、前記回帰器または分類器が適用される前記マルチスペクトル画像よりも低い露出を用いて前記関心領域のマルチスペクトル画像を記録するように構成されている、
    請求項５２から５４のいずれか一項に記載のシステム。
59. 前記システムが、前記回帰器または分類器が適用される前記マルチスペクトル画像よりも短い露出時間および／または小さい絞り開口を用いてより低い露出の前記マルチスペクトル画像を記録するように構成されており、好ましくは、前記露出時間および／または絞りサイズが、強度が、前記回帰器または分類器が適用される前記マルチスペクトル画像を記録するために用いられる前記露出のために得られた強度に対して、少なくとも２０％だけ、好ましくは、少なくとも４０％だけ、および最も好ましくは、少なくとも６０％だけ減少させられるように設定される、
    請求項５８に記載のシステム。
60. 前記システムが、選択された数の画素または画素グループに基づいて前記スペクトル組成を推定するように構成されており、前記システムが、前記画像を記録するために用いられた画像検出器が前記画素または画素グループのスペクトル成分のうちのいずれのものについても飽和していないことを所与として、前記画素または画素グループが、高い、特に、可能な限り高い明度を有することを確実にする選択基準に従って、より低い露出の前記画像から前記画素または画素グループを選択するように構成されており、前記明度は、前記画素または画素グループの、そのスペクトル成分の全てにわたる平均強度のための尺度である、
    請求項５８または５９に記載のシステム。
61. 前記マルチスペクトル画像が、数がｋ個の色チャネルを含み、前記装置が、前記ｋ個の色チャネル、またはそれらの部分セットからのスペクトル情報を準連続スペクトルに変換するようにさらに構成されており、前記準連続スペクトル内の波長が、好ましくは、１０ｎｍ以下だけ、好ましくは、５ｎｍ以下だけ、および最も好ましくは、３ｎｍ以下だけ分離されている、
    請求項４７から６０のいずれか一項に記載のシステム。
62. 前記１つまたは複数の拡張画像が、２５Ｈｚ以上の速度で、好ましくは、７５Ｈｚ以上の速度で連続的に生成された一連の拡張画像である、
    請求項５７から６１のいずれか一項に記載のシステム。
63. マルチスペクトル・カメラ（２０）がマルチスペクトル・センサ（２２）を含み、前記マルチスペクトル・センサ（２２）がマルチスペクトル画素を含み、各マルチスペクトル画素が、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループを含み、これにより、単一の撮影においてマルチスペクトル画像を取得することを可能にし、好ましくは、各マルチスペクトル画素が３×３または４×４のセンサ画素のグループを含む、
    請求項４７から６２のいずれか一項に記載のシステム。
64. 前記回帰器または分類器が畳み込みニューラル・ネットワークに基づく、
    請求項４７から６３のいずれか一項に記載のシステム。
65. 前記対応するマルチスペクトル画像の画像領域または画素に関連付けられた１つまたは複数の組織パラメータを取得するために、前記機械学習モジュール（３２）が、前記回帰器または分類器を、前記マルチスペクトル画像の前記画像領域または画素よりも多くを覆う近傍に適用するように構成されている、
    請求項６４に記載のシステム。
66. 前記マルチスペクトル画像の前記画像領域または画素が前記マルチスペクトル・カメラ（２０）のマルチスペクトル・センサ（２２）のマルチスペクトル画素によって形成され、前記センサ（２２）の各マルチスペクトル画素が、対応するスペクトル範囲内の受光された光の強度を測定するように構成されたセンサ画素のグループを含み、前記回帰器または分類器が前記機械学習モジュール（３２）によって適用される前記近傍が、前記マルチスペクトル・センサ（３２）のいくつかの近接したマルチスペクトル画素に対応する、
    請求項６４および６５に記載のシステム。
67. 前記近傍に適用するために作成された前記回帰器または分類器が、前記近傍を集合的に覆うシミュレートされた画像領域または画素の複製から導出される、シミュレートされた近傍を用いて訓練されるか、または訓練することによって取得可能であり、前記複製が、組織不均質性に対応する個々のノイズおよび／または変更を受ける、
    請求項６５または６６に記載のシステム。
68. 前記マルチスペクトル画像が、数がｋ個の色チャネルを含み、前記機械学習モジュール（３２）が、前記マルチスペクトル画像の前記色チャネルから取得されたｋ個の反射率値を前記回帰器または分類器に入力することによって、前記回帰器または分類器を前記マルチスペクトル画像に適用する前記ステップを実施するように構成されている、
    請求項４７から６７のいずれか一項に記載のシステム。
69. 前記機械学習モジュール（３２）が、完全な暗闇において記録された暗画像をマルチスペクトル画像から減算し、好ましくは、前記画像を、基準白色目標物から取得された、または取得可能な白色画像と、前記暗画像との差によってさらに正規化することによって、前記カメラ（２０）の前記センサ（２２）の読み値から前記反射率値を取得するように構成されている、
    請求項６８に記載のシステム。
70. 前記機械学習モジュール（３２）が、前記マルチスペクトル画像からＲＧＢ画像を導出するように構成されている、
    請求項４７から６９のいずれか一項に記載のシステム。
71. 前記機械学習モジュール（３２）によって採用される前記回帰器または分類器が順モデルに基づいて訓練され、前記順モデルが、組織モデル、前記組織モデルによってモデル化された組織のための特徴であるスペクトル反射率のシミュレーション、および前記マルチスペクトル画像を記録するために用いられる画像化システムへの前記スペクトル反射率の適応を含み、前記スペクトル反射率の前記シミュレーションが、好ましくは、モンテ・カルロ・シミュレーションである、
    請求項４７から７０のいずれか一項に記載のシステム。
72. 前記組織モデルが、複数の層を含む層状組織モデルであり、各層が光学的関連組織パラメータのセットによって特徴付けられ、前記光学的関連組織パラメータが、好ましくは、血液体積分率、酸素化、腫瘍の存在、胆汁の存在もしくは濃度、脂肪の存在もしくは濃度、メラニンの存在もしくは濃度、胆液の存在もしくは濃度、コラーゲンもしくはエラスチンの存在もしくは密度、水の存在もしくは濃度、または人工染料、特に、メチレン・ブルー、の存在のうちの１つまたは複数を含む、
    請求項７１に記載のシステム。
73. 光学的関連組織パラメータの前記セットが、散乱量を定量化するパラメータ、散乱の指数関数的波長依存性を特徴付ける、散乱能、散乱の指向性を特徴付ける異方性因子、屈折率、および層厚のうちの１つまたは複数をさらに含む、
    請求項７２に記載のシステム。
74. 前記画像化システムへの前記スペクトル反射率の前記適応が、前記モデル化された組織の前記スペクトル反射率から、前記画像化システムの各色チャネルに関連付けられた強度の推定値を算出することを含む、
    請求項７１から７３のいずれか一項に記載のシステム。
75. 各色チャネルに関連付けられた強度の前記推定値の前記算出が、用いられるカメラまたは光センサの量子効率、照明光のスペクトル組成に関する情報、用いられる光学構成要素の透過率、非線形カメラ応答関数、および色チャネルごとのカメラ・ノイズのうちの１つまたは複数に基づく、
    請求項７４に記載のシステム。
76. 前記回帰器または分類器が所与のタスクのために訓練されており、前記訓練内が、シミュレーションのより大きいセットからのシミュレーションの部分セットに基づいており、シミュレーションの前記部分セットが、実際の組織を使った測定結果との比較によって選択され、シミュレーションの前記部分セットが、前記シミュレーションのうちの残りのものよりも前記測定結果に良好に一致した、
    請求項４７から７５のいずれか一項に記載のシステム。
77. 前記データ処理ユニット（９８）が、複数の回帰器または分類器を前記１つまたは複数のマルチスペクトル画像に適用し、可能な組織パラメータのための複数の結果をもたらすため、および前記可能な組織パラメータを組み合わせるか、またはそれらから選択することによって、前記組織の前記画像の前記領域または画素に関連付けられた前記組織パラメータを取得するために適している、
    請求項４７から７６のいずれか一項に記載のシステム。
78. 前記機械学習ベースの回帰器または分類器が、前記１つまたは複数の組織パラメータの精度の信頼の尺度を指示する信頼値を前記１つまたは複数の組織パラメータの前記予測と共に提供するために適している、
    請求項４７から７７のいずれか一項に記載のシステム。
79. 前記信頼値が既定の信頼基準を満たさない場合には、前記データ処理ユニット（９８）が、以下のこと：
    前記組織パラメータを前記拡張画像内で視覚化しないこと、
    前記組織パラメータを前記拡張画像内で、ただし、前記信頼の指示と共に視覚化すること、
    前記機能画像化において用いられるべき組織パラメータを、
    ‐ 同じ画像内の異なる領域、
    ‐ 異なる画像化設定を用いて、特に、異なる照明スペクトルを用いて、および／またはマルチスペクトル画像化のために選択された異なる帯域を用いて取得された同じ組織の異なるマルチスペクトル画像内の同じ領域、
    ‐ 異なる回帰器または分類器が適用される同じマルチスペクトル内の同じ領域、
    のうちの１つからの値の選択または組み合わせによって導出すること、
    のうちの１つまたは複数を実施するように構成されている、
    請求項７８に記載のシステム。
80. 前記回帰器または分類器が、可能な組織パラメータの確率分布を導出することが可能である、
    請求項４７から７９のいずれか一項に記載のシステム。
81. 可能な組織パラメータの前記確率分布が複数のモードを呈し、および／または所定の閾値よりも広い場合には、前記システムが、異なる画像化設定を用いて、特に、前記マルチスペクトル画像化のために選択された異なる照明スペクトルおよび／または異なる帯域を用いて少なくとも１つの新たなマルチスペクトル画像を生成するように構成されている、
    請求項８０に記載のシステム。
82. 前記組織パラメータが酸素化または血液体積分率に関連し、前記マルチスペクトル画像が、中心波長が以下の波長間隔：４９５から５０５ｎｍ、５３５から５４５ｎｍ、５５０から５７０ｎｍ、５７５から５８５ｎｍ、および５９０から６１０ｎｍのうちの１つに含まれる、少なくとも３つ、好ましくは、少なくとも４つのスペクトル成分を含む、
    請求項４７から８１のいずれか一項に記載のシステム。
83. 前記コンピューティング・デバイス、または前記システムに関連付けられた追加のコンピューティング・デバイスが、分布外検出（ＯｏＤ）を実施するように構成されており、前記ＯｏＤ検出が、所与の訓練データセットに対する前記マルチスペクトル画像または前記マルチスペクトル画像の部分の近さに関する情報を決定するステップを含む、
    請求項４７から８２のいずれか一項に記載のシステム。
84. 前記コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、前記マルチスペクトル画像またはその部分に関連付けられた、特に、個々の画素または画素グループに関連付けられたマルチスペクトル情報に近さの数値を付与するように構成されたＯｏＤ検出アルゴリズムを用いて前記ＯｏＤ検出を実施するように構成されており、前記数値が、前記所与の訓練データセット内の前記対応するスペクトル情報に対する前記スペクトル情報の近さを指示する、
    請求項８３のいずれか一項に記載のシステム。
85. 前記ＯｏＤ検出アルゴリズムが、ニューラル・ネットワーク、特に、可逆ニューラル・ネットワーク（ＩＮＮ）のアンサンブルを含み、前記アンサンブルの前記ニューラル・ネットワークの各々が、前記所与の訓練データセットを使って、訓練データ・サンプルを、変換されたデータ・サンプルに変換するように訓練されており、これにより、前記変換された訓練データが所定の統計的分布に一致し、前記ＯｏＤ検出アルゴリズムが、データ・サンプルのための近さの数値を、
    ‐ ニューラル・ネットワークの前記アンサンブルの各ニューラル・ネットワークを用いて前記データ・サンプルを変換し、変換されたデータ・サンプルのアンサンブルを取得すること、および
    ‐ 前記近さの数値を、変換されたデータセットの前記アンサンブルの分散を指示する尺度として決定すること、
    によって決定するように構成されている、
    請求項８４に記載のシステム。
86. 前記ＯｏＤ検出アルゴリズムが、前記近さの数値を決定するために、「広く使える情報量規準」（ＷＡＩＣ）を用い、特に、前記ＷＡＩＣ、またはそれから導出された値が前記近さの数値として用いられ、前記ＷＡＩＣは、
    ＷＡＩＣ（ｘ）＝Ｖａｒ_θ［ｌｏｇ ｐ（ｘ｜θ）］−Ｅ_θ［ｌｏｇ ｐ（ｘ｜θ）］
    として定義され、ここで、ｘはデータ・サンプルであり、θはニューラル・ネットワークの前記アンサンブルの前記ニューラル・ネットワークのパラメータであり、ｌｏｇ ｐ（ｘ｜θ）は前記所定の統計的分布に対応し、Ｅ_θ［ｌｏｇ ｐ（ｘ｜θ）］は、正規化の目的のために用いられる期待値項である、
    請求項８５に記載のシステム。
87. 前記所定の分布が、
    ｌｏｇ ｐ（ｘ｜θ）＝−１／２｜｜ｆ_θ（ｘ）｜｜^２−ｎ／２ ｌｏｇ（２π）＋ｌｏｇ｜ｄｅｔ Ｊｆ_θ（ｘ）｜
    として定義される多変量標準ガウス分布であり、ここで、ｆ_θは、対応するネットワーク・パラメータθを有するニューラル・ネットワークの前記アンサンブルのネットワークを表し、ｘはデータ・サンプルであり、Ｊｆ_θは前記分布のヤコビアンを示す、
    請求項８６に記載のシステム。
88. 前記ＯｏＤ検出アルゴリズムが変分オートエンコーダに基づく、
    請求項８４か８７のいずれか一項に記載のシステム。
89. 所与の訓練データセットを用いて訓練された回帰器または分類器を適用する前に、またはそれと連動して、前記コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、前記所与の訓練データセットに対する、または関連訓練データセットに対する前記マルチスペクトル画像または前記マルチスペクトル画像の部分の前記近さを決定するために、前記ＯｏＤ検出を実施し、前記近さが不十分であることが見出された場合には、機能組織パラメータを決定しないか、または信頼できないと標識するように構成されており、
    前記近さが不十分であることが見出された場合には、前記コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、別の回帰器または分類器に関連付けられた訓練データセットとの近さがより良好であるかどうかをチェックし、そうである場合には、前記別の回帰器または分類器を前記マルチスペクトル画像または前記マルチスペクトル画像の部分に適用するようにさらに構成されており、
    特に、前記別の回帰器または分類器に関連付けられた前記訓練データセットが、異なる照明条件に、または異なる組織の種類に対応する、
    請求項８３から８８のいずれか一項に記載のシステム。
90. 回帰器または分類器をマルチスペクトル画像またはその部分に適用する前に、前記コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、対応する訓練データセットに各々関連付けられた、複数の回帰器または分類器の中から、前記マルチスペクトル画像または前記マルチスペクトル画像の部分が訓練データに最も近い前記回帰器または分類器を選択するために、前記ＯｏＤ検出を用い、前記選択された回帰器または分類器を前記マルチスペクトル画像またはその部分に適用するように構成されており、
    前記複数の回帰器または分類器に関連付けられた前記訓練データセットが、好ましくは、異なる照明条件または異なる組織の種類に対応する、
    請求項８９に記載のシステム。
91. コンピューティング・デバイスまたは追加のコンピューティング・デバイスが、前記ＯｏＤ検出を経時的に繰り返し実施し、これにより、訓練データの所与のセットとの前記マルチスペクトル画像の近さの変化を用いて、条件、特に、照明条件の変化を検出するように構成されている、
    請求項８３から９０のいずれか一項に記載のシステム。

Images