JP2022508337A - 医用画像のための異常被検体構成の自動検出 - Google Patents

Abstract

本発明は、被検体108から医用撮像データ432を取得する医用撮像システム102、402と、医用撮像データの取得中に被検体を支持する被検体支持部110と、被検体支持部上の被検体の光学撮像データ134を取得する光学撮像システム114、114'とを有する医用器具100、400を提供する。機械実行可能命令の実行により、医用器具を制御するプロセッサ122は光学撮像システムを制御して光学撮像データを取得し、光学撮像データを使用して初期ベクトル136を生成し、初期ベクトルをジェネレータニューラルネットワークに入力することによって合成画像を生成し、合成画像と光学撮像データとの間の差140を計算し、差が所定の閾値だけ異なる場合に警告信号142を提供する。ジェネレータニューラルネットワークは、初期ベクトルの入力に応答して、被検体支持部上の被検体の合成画像138を生成するように訓練される。

Description

本発明は、医用画像に関する。

磁気共鳴画像(MRI)、コンピュータトモグラフィ(CT)、陽電子放出断層撮影(PET)などの様々な医用画像モダリティにおいて、被検体は医用撮像システム内に位置付けられ、被検体の内部解剖学的構造を記述するデータが取得される。多くの場合、被検体の適切な位置決め及び構成は複雑になり得る。

例えば、MRIプロトコルのために被検体を構成することは、複雑になることがあり、装置及び被検体の両方が適切な位置にあるべきである。多くのMRIプロトコルでは、表面コイル又はアンテナが被検体上に正確に配置される。被検体には、問題をオペレータに警告するために使用することができるスクイーズボールを与えることができる。被検体は、適切な位置にあるように注意しなければならない。機器が適切に配置されていないか、又は省略されている場合、被検体は危険な状況にある可能性があり、及び／又は撮像プロトコルが失敗する可能性がある。

米国特許出願公開第2013／0342851号は、医用撮像装置の患者位置決め装置上に位置決めされる少なくとも1つのオブジェクトに関する情報を収集する方法を開示している。該方法は、3D画像データ記録ユニットの手段によって、患者位置決め装置上に位置決めされる物体に関する3D画像データの光学手段によって収集するステップと、収集される3D画像データを、3D画像データ記録ユニットから評価ユニットに転送するステップと、評価ユニットの手段によって、3D画像データに基づいて、患者位置決め装置上に位置決めされる物体に関する情報を決定するステップと、患者位置決め装置上に位置決めされる物体に関する決定される情報に基づいて、出力情報を生成するステップと、患者位置決め装置上に位置決めされる物体に関する出力情報を出力するステップとを含む。

本発明は、独立請求項における医用器具、方法、及びコンピュータプログラムプロダクトを提供する。

実施形態は従属請求項に記載されている。上述したように、医用撮像プロトコルの命令実行前の被検体の適切な構成は複雑になり得る。実施形態は、被検体の構成を自動的にチェックする手段を提供することができる。これは、被検体支持部上に被検体の合成画像を生成するためにジェネレータニューラルネットワークを訓練することによって実行されてもよい。ジェネレータニューラルネットワークは、被検体が医用撮像のために正しく構成され、及び／又は位置決めされる画像を使用して訓練される。光学撮像システムは、被検体支持部上の被検体の光学撮像データを取得する。それから、ジェネレータニューラルネットワークを使用して、被検体支持体上の被検体の実画像にできるだけ近い被検体支持部上の被検体の擬似画像を生成する。被検体が正しく位置決めされていない場合、及び／又は被検体の周囲の機器が正しく構成されていない場合、発生器ニューラルネットワークは、所定の閾値だけ光学撮像データとは異なる合成画像を生成する。これにより、被検体の構成が正しくない場合に、自動的な検出が可能になる。

一態様では、本発明が被検体から医用撮像データを取得するように構成される医用撮像システムを有する医用器具を提供する。医用器具は、医用撮像データの取得中に被検体を支持するように構成される被検体支持部をさらに有する。医用器具は、被検体支持部上の被検体の光学撮像データを取得するように構成される光学撮像システムをさらに有する。代替的に、光学撮像システムは、被検体が被検体支持部上にある間、被検体の光学画像を結像又は作製するためのシステムとして記載されてもよい。

医用器具は、機械実行可能命令を記憶するメモリ及びジェネレータニューラルネットワークとをさらに有する。ジェネレータニューラルネットワークは、初期ベクトルの入力に応答して、被検体支持部上の被検体の人工画像を生成するように訓練される。

医用器具は、プロセッサをさらに有する。機械実行可能命令の実行により、プロセッサは、光学撮像システムを制御して、光学撮像データを取得する。機械実行可能命令の実行により、プロセッサは、光学撮像データを使用して初期ベクトルを生成する。機械実行可能命令の実行はさらに、プロセッサに、初期ベクトルをジェネレータニューラルネットワークに入力することによって、人工画像を生成させる。機械実行可能命令の実行はさらに、プロセッサに、人工画像と光学撮像データとの間の差を計算させる。差は例えば、統計的差異であってもよく、又は、画像の様々な画素又は表現に関連する実際の差異であってもよい

一例では、用語「差異」が類似性尺度の適用など、人工画像と光学撮像データとの間の統計的比較とすることができる。

別の例では、差という用語が光学撮像データと人工画像との間で計算される差分画像に関連する量又は特性とすることができる。例えば、差分画像を閾値化して、所定の値より上又は下のピクセルを探すことができる。また、差は、選択される画素数が所定の値を上回る又は下回る存在であってもよい。別の例では差は所定の値より上又は下である選択されるサイズを有する画素の存在又は領域であり得る。

機械実行可能命令の実行はさらに、差が所定の閾値だけ異なる場合に、プロセッサに警告信号を提供させる。警告信号は、異なる例では異なる形式をとることができる。場合によっては、グラフィカルユーザインタフェース上に表示される光学式、可聴式、又はディスプレイとすることができる。他の例では、警告信号が様々なソフトウェアコンポーネント又はアルゴリズムに供給される信号であってもよい。

上述のように、いくつかの例では、差は統計量であってもよい。例えば、差は、人工画像と光学撮像データとの間の相関又は類似性の尺度であってもよい。

他の実施形態では、人工画像と光学撮像データとの差分の計算が人工画像と光学撮像データとの一方を他方から差分して構成される差分画像の計算である。

別の実施形態では、機械実行可能命令の実行が差が所定の閾値内にあるか、又は所定の閾値によって許容される場合、プロセッサに、医用撮像システムを制御させて、医用撮像データを取得させる。例えば、所定の閾値未満であってもよい。

別の実施形態では、機械実行可能命令の実行が医用撮像データが取得される場合、プロセッサに、医用撮像データから医用画像を再構成させる。

別の実施形態では、差は相関である。

別の実施形態では、差分が人工画像を光学撮像データから減算することによって計算される差分画像又はその周囲の他の方法である。警告信号は、差分画像の少なくとも一部が所定の閾値だけ異なることに応答して提供される。

別の実施形態では、警告信号がディスプレイ上の差分画像のレンダリングである。

別の実施形態では、警告信号は可聴信号である。

別の実施形態では、警告信号が警告ライトの活性化である。

別の実施形態では、警告信号が強調される部分を有する光学撮像データのレンダリングである。強調表示される部分は、所定の閾値だけ異なる差分画像の部分と同一である。

別の実施形態では、機械実行可能命令の実行がプロセッサに、生成敵対ネットワークを使用してジェネレータニューラル ネットワークを訓練させる。ジェネレータニューラルネットワークは、更なる医用撮像データの取得中に取得される更なる光学撮像データを使用して訓練される。

別の実施形態では、機械実行可能命令の実行がプロセッサにランダムベクトルを生成させる。機械実行可能命令の実行はさらに、プロセッサに、ランダムベクトルをジェネレータニューラルネットワークに供給することによって中間画像を生成させる。機械実行可能命令を実行することにより、プロセッサは、中間画像及び光学撮像データを使用して初期ベクトルをさらに計算する。この実施形態は、初期ベクトルを提供する自動的な手段を提供し得るため、好都合であり得る。ランダムベクトルを用い、それから中間画像を生成することによって初期ベクトルが計算されるプロセスは反復プロセスであるように、複数回反復されてもよい。

別の実施形態では、初期ベクトルがランダムベクトルの要素を繰り返し修正するために探索アルゴリズムを使用して計算される。この実施形態は、使用される初期ベクトルの増分変化を行うことによって、可能な限り最良の初期ベクトルを探索するために使用することができる。

別の実施形態では、初期ベクトルが逆伝播に基づく傾斜を使用して計算され、ランダムベクトルの要素を修正する。例えば、確率傾斜降下のような最適化アルゴリズムを用いて、ランダムベクトルの要素を修正することができる。例えば、深層学習で使用される技術はニューラルネットワークを修正する代わりに、入力ベクトルを逆伝播し修正するために使用されてもよい。これは、初期ベクトルを計算する迅速な手段を提供することができる。そのようなプロセスは繰り返し行われてもよく、第1のランダムベクトルを使用して、より良好なベクトルを生成し、それから、このベクトルは、答が解に収束するまで、繰り返し逆伝播される。

別の実施形態では、メモリが訓練されるエンコーダニューラルネットワークをさらに記憶する。初期ベクトルは、光学撮像データを訓練されるエンコーダニューラルネットワークに入力することによって生成される。訓練されるエンコーダニューラルネットワークは、ジェネレータニューラルネットワークに入力されるベクトルを生成するように訓練される畳み込みニューラルネットワークであってもよい。訓練されるエンコーダニューラルネットワークは例えば、生成敵対ネットワークの一部であってもよい。これは、GANの弁別器の生成器と同様に訓練することができる。例えば、トレーニングされるエンコーダニューラルネットワークは、バックプロパゲーション及び確率的傾斜降下を使用してトレーニングされ得る。

エンコーダニューラルネットワーク及びジェネレータニューラルネットワークは、2つの別個のニューラルネットワークであってもよい。それらは、画像処理又は画像修正のために典型的に使用される自動エンコーダ畳み込みニューラルネットワークに類似する単一のニューラルネットワークに組み込まれ得る。注目すべき点は、正しい画像のみを符号化するように訓練されるオートエンコーダ又は訓練されるエンコーダニューラルネットワークが誤差を含む画像を生成することができないことである。例えば、磁気共鳴撮像システム又は医用撮像システムに入れることが許されていない物体が、その物体を示す画像がない場合、自動エンコーダ畳み込みニューラルネットワーク又は訓練されるエンコーダニューラルネットワークはノイズ様ベクトルを生成する可能性があり、これがジェネレータに供給される。それから、生成器は、このオブジェクトを再現できない画像を生成する。これは、人工画像と光学撮像データとの間に大きな差異をもたらす。

別の実施形態では、医用撮像システムがX線システム又はデジタルX線システムを含む。

別の実施形態では、医用撮像システムがコンピュータ断層撮影システムを含む。

別の実施形態では、医用撮像システムが陽電子放出断層撮影システムを含む。

別の実施形態では、医用撮像システムが単一光子放出断層撮影システムを含む。

別の実施形態では、医用撮像システムが磁気共鳴撮像システムである。

別の実施形態では、磁気共鳴撮像システムが被検体を受け入れるように構成される主磁石を含む。光学撮像システムは被検体が主磁石内にある場合に、光学撮像データの少なくとも一部を取得するように構成される。例えば、主磁石は、磁気共鳴CTを実行するのに十分なほど均一な磁場を有する領域を生成することができる。これは、撮像ゾーンと呼ぶことができる。光学撮像システムは被検体が主磁石の撮像ゾーン内にある場合に、光学撮像データの少なくとも一部が取得されるように構成されてもよい。これは、被検体が安全でない位置に入るか、何かを落とすか、さもなければ、磁気共鳴CTを実行するのに適していないか、又は安全でない構成にある場合に、警告信号を提供することができるので、有利であり得る。

別の実施形態では、医用撮像システムが医用撮像ゾーンから医用撮像データを取得するように構成される。被検体支持部は、被検体を医用撮像ゾーンに搬送するように構成される。医用器具は、被検体を医療撮像ゾーンに搬送する前に警告信号を提供するように構成される。医用撮像ゾーンは、医用撮像システムが医用撮像データを取得することができる空間内の領域であると考えることができる。磁気共鳴撮像システムの場合、医用撮像ゾーンは、前の実施形態で説明したような撮像ゾーンである。

別の実施形態では、光学撮像システムが少なくとも1つのカメラを有する。

別の実施形態では、光学撮像システムが少なくとも1つの三次元カメラを含む。

別の態様では、本発明が医用器具を制御するプロセッサによる実行のための機械実行可能命令を含むコンピュータプログラムプロダクトを提供する。コンピュータプログラムプロダクトは、ジェネレータニューラルネットワークのインプリメンテーションをさらに含む。ジェネレータニューラルネットワークは、初期ベクトルに応答して被検体支持部上の被検体の人工画像を生成するように訓練される。医用器具は、被検体から医用撮像データを取得するように構成される医用撮像システムを有する。

医用器具は、医用撮像データの取得中に被検体を支持するように構成される被検体支持部をさらに有する。医用器具は、被検体支持部上の被検体の光学撮像データを取得するように構成される光学撮像システムをさらに有する。機械実行可能命令の実行により、プロセッサは、光学撮像システムを制御して、光学撮像データを取得する。機械実行可能命令の実行により、プロセッサは、光学撮像データを使用して初期ベクトルを生成する。

機械実行可能命令の実行はさらに、プロセッサに、初期ベクトルをジェネレータニューラルネットワークに入力することによって、人工画像を生成させる。機械実行可能命令の実行はさらに、プロセッサに、人工画像と光学撮像データとの間の差を計算させる。機械実行可能命令の実行はさらに、差が所定の閾値を超える場合に、プロセッサに警告信号応答を提供させる。

別の態様では、本発明が医用器具を操作する方法を提供する。医用器具は、撮像ゾーン内の被検体から医用撮像データを取得するように構成される医用撮像システムを有する。医用器具は、医用撮像データの取得中に被検体を支持するように構成される被検体支持部をさらに有する。医用器具は、被検体支持部上の被検体の光学撮像データを取得するように構成される光学撮像システムをさらに有する。

本方法は光学撮像データを取得するために、光学撮像システムを制御することを含む。本方法は、光学撮像データを使用して初期ベクトルを生成するステップをさらに含む。この方法は、初期ベクトルをジェネレータニューラルネットワークに入力することによって人工画像を生成するステップをさらに含む。ジェネレータニューラルネットワークは、初期ベクトルの入力に応答して、被検体支持部上の被検体の人工画像を生成するように訓練される。本方法は、人工画像と光学撮像データとの間の差を計算することをさらに含む。この方法は、差が所定の閾値を超える場合に警告信号を提供するステップをさらに含む。

別の実施形態では、本方法が生成敵対ネットワークを使用して、更なる医用撮像データの取得が成功した間に取得される更なる光学撮像データを生成器ネットワークに訓練するステップをさらに含む。

本発明の前述の実施形態のうちの1つ以上は組み合わされる実施形態が相互に排他的でない限り、組み合わされてもよいことが理解される。

当業者には理解されるように、本発明の態様は、装置、方法、又はコンピュータプログラムプロダクトとして実施することができる。さらに、本発明の態様は、コンピュータ実行可能コードがその上に具現化される1つ又は複数のコンピュータ可読媒体に具現化されるコンピュータプログラムプロダクトの形成をとることができる。本発明の態様が完全にハードウェアの実施形成、完全にソフトウェアの実施形成(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、又は本明細書ではすべて一般に「回路」、「モジュール」、又は「システム」と呼ぶことができるソフトウェア及びハードウェアの態様を組み合わせた実施形成の形成をとることができる。

1つ又は複数のコンピュータ可読媒体の任意の組合せを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。本明細書で使用される「コンピュータ可読記憶媒体」は、コンピューティングデバイスのプロセッサによって実行可能な命令を記憶することができる任意の有形の記憶媒体を包含する。コンピュータ読み取り可能な記憶媒体は、コンピュータ読み取り可能な一時的でない記憶媒体と呼ばれる場合がある。コンピュータ可読記憶媒体は、実体のあるコンピュータ可読媒体と呼ばれることもある。ある実施形態では、コンピュータ読み取り可能な記憶媒体がコンピュータ装置のプロセッサによってアクセス可能なデータを記憶することも可能である。コンピュータ読み取り可能な記憶媒体の例としてはフロッピーディスク、磁気ハードディスクドライブ、ソリッドステートハードディスク、フラッシュメモリ、USBサムドライブ、ランダムアクセスメモリ、読み取り専用メモリ(ROM)、光ディスク、光磁気ディスク、及びプロセッサのレジスタファイルが挙げられるが、これらに限定されない。光ディスクの例としては、CDROM、CDRW、CDR、DVDROM、DVDRW、又はDVDRディスクなどのコンパクトディスク(CD)及びデジタル多用途ディスク(DVD)がある。コンピュータ可読記憶媒体という用語は、ネットワーク又は通信リンクを介してコンピュータ装置によってアクセスされることが可能な様々なタイプの記録媒体を指す。例えば、データは、モデムを介して、インターネットを介して、又はローカルエリアネットワークを介して検索することができる。コンピュータ可読媒体上に具現化されるコンピュータ実行可能コードは無線、有線、光ファイバケーブル、RFなど、又は前述のもの任意の適切な組合せを含むがこれらに限定されない、任意の適切な媒体を使用して送信され得る。

コンピュータ可読信号媒体は例えば、ベースバンドで、又は搬送波の一部として、コンピュータ実行可能コードがその中に具現化される伝播データ信号を含むことができる。そのような伝播信号は磁気、光学、又はそれらの任意の適切な組み合わせを含むが、それらに限定されない、任意の様々な形態をとることができる。コンピュータ読み取り可能な信号媒体はコンピュータ可読記憶媒体ではなく、命令実行システム、装置、又は装置によって、又はそれに関連して使用するために、プログラムを通信、伝播、又は移送することができる、任意のコンピュータ可読媒体であってもよい。

「コンピュータメモリ」又は「メモリ」は、コンピュータ読み取り可能な記憶媒体の一例である。コンピュータメモリは、プロセッサに直接アクセス可能な任意のメモリである。「コンピュータ記憶装置」又は「記憶装置」は、コンピュータ読み取り可能な記憶媒体のさらなる一例である。コンピュータ記憶装置は、任意の不揮発性コンピュータ可読記憶媒体である。ある実施形態では、コンピュータ記憶装置は、コンピュータメモリであってもよく、又はその逆であってもよい。

本明細書で使用される「プロセッサ」は、プログラム又は機械実行可能命令又はコンピュータ実行可能コードを実行することができる電子コンポーネントを包含する。「プロセッサ」を含むコンピューティング装置への言及は、おそらく複数のプロセッサ又は処理コアを含むものとして解釈されるべきである。プロセッサは例えば、マルチコアプロセッサであってもよい。プロセッサは、単一のコンピュータシステム内の、又は複数のコンピュータシステム間で分散されるプロセッサの集合を指す場合もある。コンピューティング装置という用語は、プロセッサ又はプロセッサを構成するそれぞれのコンピューティング装置の集合又はネットワークを指す可能性があると解釈されるべきである。

コンピュータ実行可能コードは同一のコンピューティング装置内にあってもよいし、複数のコンピューティング装置に分散されていてもよい複数のプロセッサによって実行されてもよい。コンピュータ実行可能コードは、機械実行可能命令又はプロセッサに本発明の態様を実行させるプログラムを含むことができる。本発明の態様のための動作を実行するためのコンピュータ実行可能コードはJava、Smalltalk、C＋＋などのオブジェクト指向プログラミング言語及び「C」プログラミング言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語を含み、機械実行可能命令にコンパイルされる、1つ以上のプログラミング言語の任意の組み合わせで書くことができる。場合によっては、コンピュータ実行可能コードが高水準言語の形成であってもよいし、事前にコンパイルされる形成であってもよく、その場で機械実行可能命令を生成するインタプリタと共に使用されてもよい。

コンピュータ実行可能コードは、ユーザのコンピュータ上で、部分的にはユーザのコンピュータ上で、スタンドアロンのソフトウェアパッケージとして、部分的にはユーザのコンピュータ上で、部分的にはリモートのコンピュータ上で、又は全体的にはリモートのコンピュータ又はサーバ上で、実行することができる。後者のシナリオでは、遠隔コンピュータがローカルエリアネットワーク(LAN)又は広域ネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、又は(例えば、インターネットサービスプロバイダを使用してインターネットを介して)外部コンピュータに接続されてもよい。

本発明の態様は、本発明の実施形態による方法、装置(システム)、及びコンピュータプログラムプロダクトのフローチャート図及び／又はブロック図を参照して説明される。フローチャート、図、及び／又はブロック図の各ブロック又はブロックの部分は、適用可能な場合にはコンピュータ実行可能コードの形態のコンピュータプログラム命令によって実施することができることを理解される。さらに、互いに排他的ではない場合、異なるフローチャート、図、及び／又はブロック図におけるブロックの組み合わせを組み合わせることができることが立証される。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供されて、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令がフローチャート及び／又はブロック図の1つ又は複数のブロックで指定される機能／動作を実施するための手段を作成するように、マシンを生成することができる。

これらのコンピュータプログラム命令はコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに特定の方法で機能するように指示することができるコンピュータ可読媒体に格納することもでき、その結果、コンピュータ可読媒体に格納される命令は、フローチャート及び／又はブロック図の1つ又は複数のブロックで指定される機能／動作を実装する命令を含む製造品を生成する。

コンピュータプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにロードされて、一連の動作ステップがコンピュータ、他のプログラマブル装置、又は他のデバイス上で実行されて、コンピュータ又は他のプログラマブル装置上で実行される命令がフローチャート及び／又はブロック図の1つ又は複数のブロックで指定される機能／動作を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成することも可能である。使用される「ユーザインターフェース」は、ユーザ又はオペレータがコンピュータ又はコンピュータシステムと対話することを可能にするインターフェースである。

「ユーザインターフェース」は、「ヒューマンインターフェース装置」とも呼ばれ、ユーザインターフェースは情報又はデータをオペレータに提供し、及び／又はオペレータから情報又はデータを受信することができる。ユーザインターフェースはオペレータからの入力をコンピュータによって受け取ることを可能にし、コンピュータからユーザに出力を提供することができる。換言すれば、ユーザインターフェースはオペレータがコンピュータを制御又は操作することを可能にし、インターフェースは、コンピュータがオペレータの制御又は操作の効果を示すことを可能にしてもよい。ディスプレイ又はグラフィカルユーザインタフェース上のデータ又は情報の表示は、オペレータに情報を提供する一例である。キーボード、マウス、トラックボール、タッチパッド、ポインティングスティック、グラフィックスタブレット、ジョイスティック、ゲームパッド、ウェブカメラ、ヘッドセット、ペダル、有線グローブ、リモートコントロール、及び加速度計を介したデータの受信は、すべて、オペレータからの情報又はデータの受信を可能にするユーザインターフェース構成要素の例である。

本明細書で使用される「ハードウェアインターフェース」は、コンピュータシステムのプロセッサが外部コンピューティングデバイス及び／又は装置と対話及び／又は制御することを可能にするインターフェースを含む。ハードウェアインターフェースは、プロセッサが制御信号又は命令を外部コンピューティングデバイス及び／又は装置に送信することを可能にし得る。ハードウェアインターフェースは、プロセッサが外部コンピューティングデバイス及び／又は装置とデータを交換することを可能にしてもよい。ハードウェアインターフェースの例としてはユニバーサルシリアルバス、IEEE 1394ポート、パラレルポート、IEEE 1284ポート、シリアルポート、RS232ポート、IEEE488ポート、Bluetooth接続、ワイヤレスローカルエリアネットワーク接続、TCP／IP接続、イーサネット接続、制御電圧インターフェース、MIDIインターフェース、アナログ入力インターフェース、及びデジタル入力インターフェースが挙げられるが、これらに限定されない。

本明細書で使用される「ディスプレイ」又は「ディスプレイデバイス」は、画像又はデータを表示するように適合される出力デバイス又はユーザインターフェースを包含する。ディスプレイは、視覚的データ、オーディオデータ、及び／又は触覚データを出力することができる。

ディスプレイの例としてはコンピュータモニタ、テレビ画面、タッチスクリーン、触覚電子ディスプレイ、点字スクリーン、ブライユ管(CRT)、蓄積管、双安定ディスプレイ、電子ペーパー、ベクトルディスプレイ、フラットパネルディスプレイ、真空蛍光ディスプレイ(VF)、発光ダイオード(LED)ディスプレイ、エレクトロルミネッセンスディスプレイ(ELD)、プラズマディスプレイパネル(PDP)、液晶ディスプレイ(LCD)、有機発光ダイオードディスプレイ(OLED)、プロジェクタ、及びヘッドマウントディスプレイが挙げられるが、カソードに限定されない。

医用撮像データは、本明細書では医用撮像システム又はスキャナを使用して取得される2次元又は3次元データとして定義される。医用撮像システムは本明細書では患者の物理的構造に関する情報を取得し、2次元又は3次元の医用撮像データのセットを構築するように適合される装置として定義される。医用撮像データを使用して、医師による診断に有用な視覚化を構築することができる。この視覚化は、コンピュータを使用して実行できる。

磁気共鳴(MR)データ又は磁気共鳴画像データは、本明細書では磁気共鳴画像スキャン中に磁気共鳴装置のアンテナを用いて原子スピンによって放射される高周波信号の記録される測定値であると定義される。MRF磁気共鳴データは、磁気共鳴データである。磁気共鳴データは、医用撮像データの一例である。磁気共鳴撮像(MRI)画像又はMR画像は、本明細書では磁気共鳴撮像データ内に含まれる解剖学的データの再構成される2次元又は3次元視覚化であると定義される。この視覚化は、コンピュータを使用して実行できる。

以下、本発明の好ましい実施形態を、単なる例として、図面を参照して説明する。

医用器具の一例を示す。 図1の医用器具を操作する例を示すフローチャートである。 図1の医用器具を操作するさらなる例を示すフローチャートを示す。 医用器具のさらなる例を示す。 図4の医用器具のさらなる図を示す。 ジェネレータニューラルネットワークを訓練する方法を示す。

これらの図における同様の番号が付される要素は、同等の要素であるか、又は同じ機能を実行するかの何れかである。前述した要素は、機能が同等である場合には必ずしも後の図で説明されない。

図1は、医用器具100の一例を示す。医用器具100は、医用撮像システム102を含むものとして示されている。医用撮像システム102は、様々なタイプの医用撮像システムのうちの1つを表すことが意図されている。例えば、磁気共鳴撮像システム、コンピュータ断層撮影システム、X線システム、デジタルX線システム、X線透視装置、単一光子放出断層撮影システム、陽電子放出断層撮影システム、又は他の同様の医用撮像システムであってもよい。この例では、医用撮像システム102が円筒構造を有し、被検体108を配置することができるボア104を有する。医用撮像システム102は、医用撮像システム102が医用撮像データを取得することができる空間領域である医用撮像ゾーン106を有する。被検体108は、被検体支持部110上に置かれた状態で示されている。被検体支持部110は、医用撮像ゾーン106内に被検体108の少なくとも一部を配置するために被検体支持部110を動かすために機能する任意のアクチュエータ112を有する。被検体108の上方に描かれているのは、光学撮像システム114である。光学撮像システム114は被検体が被検体支持部110上にある場合に、被検体108の少なくとも一部を撮像することができる。

医用器具100は、コンピュータ120を有するものとしてさらに示されている。コンピュータ120は、ハードウェアインターフェース124、オプションのユーザインターフェース126、及びメモリ128と通信するプロセッサ122を有する。ハードウェアインターフェース124は、プロセッサ122が医用器具100の他の構成要素とコマンド及び／又はデータを送受信することを可能にするネットワーク又は他の接続であってもよい。メモリ128は、プロセッサ122にアクセス可能な任意の組み合わせのメモリであってもよい。

光学撮像システム112、医用撮像システム102、及び被検体支持部110はすべて、ハードウェアインターフェース124に接続されているものとして示されている。ユーザインターフェースは、被検体が医用器具100からデータ又は情報を制御及び／又は受信することを可能にする任意の種類のユーザインターフェースであってもよい。例えば、ユーザインターフェース126は、警告信号を表示又は提供するために使用されてもよい。メモリ128は、機械実行可能命令130を含むものとして示されている。機械実行可能命令130は、プロセッサ122が医用器具100の動作及び機能を制御することを可能にするコマンドを含む。

メモリ128はさらに、ジェネレータニューラルネットワーク132を含むものとして示されている。ジェネレータニューラルネットワーク132は、初期ベクトル136の入力に応答して、被検体支持部110上の被検体の人工画像を生成するように訓練される。メモリ128はさらに、光学撮像データ134を含むものとして示されている。メモリ128はさらに、光学撮像データ134を使用して作成又は生成される最適化ベクトル136を含むものとして示されている。

メモリ128はさらに、初期ベクトル136をジェネレータニューラルネットワーク132に入力することによって発生される人工画像138を含むものとして示されている。それから、機械実行可能命令130は、プロセッサ122が人工画像138と光学撮像データ134との間の差140を計算することを可能にするコマンドを含む。これは相関などの統計値であってもよく、又は例えば、任意の差分画像であってもよい。メモリ128は更に、差140が所定の閾値144だけ異なるときに生成され又は提供される警告信号142を含むものとして示されている。警告信号142及び所定の閾値144もメモリ128に記憶されているように示されている。

メモリ128はさらに、任意選択のランダムベクトル150及び任意選択の中間画像152を含むものとして示されている。初期ベクトル136の生成において、ランダムベクトル150が最初に生成されるプロセスが存在し得る。次に、ランダムベクトル150はジェネレータニューラルネットワーク132に入力されて、中間画像152を生成する。それから、中間画像を使用して、初期ベクトル136を生成又は作成することができる。これは、様々な方法で達成することができる。例えば、ブルートフォース探索アルゴリズムを使用して、ランダムベクトル150の要素を繰り返し修正して、初期ベクトル136の解決策に近づけることができる。別の例では、深層学習を使用してニューラルネットワークを訓練するために通常使用されるバックプロパゲーション計画がニューラルネットワークの要素を凍結し、それからバックプロパゲーションを使用してランダムベクトル150を初期ベクトル136に修正することによって使用することができる。両方のプロセスは、繰り返し行われてもよい。

別の例では、メモリ128が任意選択の訓練されるエンコーダニューラルネットワーク154を含むことができる。この例では、訓練されるエンコーダニューラルネットワーク154が入力として光学撮像データ134を受信し、それから、初期ベクトル136を直接出力するように訓練される。

警告信号142が生成される場合、それは種々の異なる形態をとることができる。医用器具100のオペレータに提供される光学的、可聴的、又はグラフィックディスプレイがあってもよい。他の例では、警告信号142が別のマシン又はアクションをトリガするソフトウェアコンポーネントに転送されるソフトウェア又は他の信号とすることができる。

図2は、図1の医用器具100の操作方法を示すフローチャートを示す。まず、ステップ200において、プロセッサは、光学撮像システム114を制御して、光学撮像データ134を取得する。次に、ステップ202において、プロセッサは、光学撮像データ134を用いて初期ベクトル136を生成する。これは、ニューラルネットワークを使用してこれを行うこと、又はジェネレータニューラルネットワークに入力される試行ベクトルを使用する反復プロセスを使用することなど、様々な方法で達成することができる。次に、この方法はステップ204に進む。ステップ204において、初期ベクトル136をジェネレータニューラルネットワーク132に入力することにより、人工画像138が生成される。次に、ステップ206で、人工画像138と光学撮像データ134との間の差分140が計算される。最後に、ステップ208では、差分140が所定の閾値144を超えて異なる場合に、警告信号142が提供される。

図3は、図1の医用器具100を操作するさらなる方法を示す。この方法では、この方法はステップ300から始まる。ステップ300において、プロセッサは、生成敵対ネットワークを用いてジェネレータニューラルネットワーク132を訓練する。ジェネレータニューラルネットワークは、更なる医用撮像データの取得中に取得される更なる光学撮像データを使用して訓練される。このトレーニングデータ及び生成敵対ネットワークは、メモリ128に記憶されてもよく、又は医用器具100の使用前又は使用後に実行されてもよい。訓練は、異なる又は別個のコンピュータシステム上で実行することもできる。

図4は、医用器具400のさらなる例を示す。この例では、医用撮像システムは磁気共鳴撮像システム402である。磁気共鳴撮像システム402は、磁石404を含む。磁石404は、それを貫通するボア406を有する超伝導円筒形磁石である。異なる種類の磁石の使用も可能である例えば、分割円筒形磁石といわゆるオープン磁石の両方を使用することも可能である。分割円筒形磁石はクライオスタットが磁石の等平面へのアクセスを可能にするために2つのセクションに分割されていることを除いて、規格円筒形磁石と同様であり、このような磁石は例えば、荷電粒子ビーム治療と併せて使用されてもよい。オープン磁石は被検体を受け入れるのに十分な大きさの間隔を有する2つの磁石部分を有し、その間にはヘルムホルツコイルと類似した2つの部分の配置がある。オープン磁石は、被検体が限定されていないため、好まれる。円筒形磁石のクライオスタットの内部には、超電導コイルの集合体がある。円筒状磁石404のボア406内には、磁気共鳴CT形成を実行するのに十分な強さ及び均一性を有する撮像ゾーン408が存在する。関心領域409が撮像ゾーン408内に示されている。取得される磁気共鳴データは、典型的には関心領域について取得される。被検体108は被検体108の少なくとも一部が撮像ゾーン408及び関心領域409内にあるように、被検体支持部110によって支持されているように示されている。

磁石のボア406内には磁場傾斜コイル410のセットも存在し、これは磁石404の撮像ゾーン408内の磁気スピンを空間的に符号化するための予備的な磁気共鳴データの取得のために使用される。磁場傾斜コイル410は磁場傾斜コイル電源412に接続される。磁場傾斜コイル410は、代表的なものであることが意図されている。典型的には、磁場傾斜コイル410が3つの直交する空間方向において空間的に符号化するための3つの別々のセットのコイルを含む。磁場傾斜電源は、磁場傾斜コイルに電流を供給する。磁場傾斜コイル510に供給される電流は、時間の関数として制御され、ランプ状にされてもパルス状にされてもよい。

撮像ゾーン408の隣には、撮像ゾーン408内の磁気スピンの方向を操作するため、及び撮像ゾーン408内のスピンからの無線送信を受信するための、無線周波数コイル414がある。無線周波数アンテナは、複数のコイル要素を含んでもよい。無線周波数アンテナは、チャネル又はアンテナと呼ばれることもある。無線周波数コイル414は、無線周波数トランシーバ416に接続される。無線周波数コイル414及び無線周波数トランシーバ416は、別個の送信コイル及び受信コイル、ならびに別個の送信機及び受信機と置き換えてもよい。無線周波数コイル414及び無線周波数トランシーバ416は、代表的であることが理解される。無線周波数コイル414は、専用の送信アンテナ及び専用の受信アンテナを表すことも意図されている。同様に、トランシーバ416も、別個の送信機及び受信機を表すことができる。また、無線周波数コイル414は複数の受信／送信素子を有してもよく、無線周波数トランシーバ416は複数の受信／送信チャネルを有する可能性がある。例えば、検知などの並列撮像技術が実行される場合、無線周波数414は、複数のコイル要素を有することができる。

この例では、被検体108が被検体の頭部領域が関心領域409内にあるように配置される。他の例では、被検体108の身体の他の部分が関心領域409内に配置されてもよい。

トランシーバ416、光学撮像システム114及び114'、ならびに傾斜コントローラ412は、コンピュータシステム120のハードウェアインターフェース124に接続されているものとして示されている。光学撮像システム114は、磁石404の外側のカメラ、及び任意選択的には磁石内のカメラ114'を有する。ボア104内のカメラ114'は医用撮像ゾーン106を撮像できるように、隣接して取り付けられる。また、光学撮像システム114'は、撮像ゾーン106内に配置され得る。

メモリはさらに、パルスシーケンスコマンド430を含むものとして示されている。パルスシーケンスコマンド430は、プロセッサ122が磁気共鳴撮像システム402を制御して磁気共鳴撮像データ432を取得することを可能にする。メモリ128は、パルスシーケンスコマンド430を用いて磁気共鳴撮像システム402を制御することによって取得されるパルスシーケンスコマンド430を含むものとして示されている。メモリ128はさらに、磁気共鳴画像データ432から再構成される磁気共鳴画像434を含むものとして示されている。

光学撮像システム114は、磁石404の外部にある。被検体108が磁石404のボア104に配置される前に、被検体支持部110上に安息する被検体108を撮像することができる。差分140は、被検体108と、警告装置又はコイル又は枕又は他のオブジェクトのような付随する装置とが適切に構成されているか否かを判断するために使用することができる。警告信号142が存在しない場合、被検体108は支持体110によって撮像ゾーン106内に移動することができ、磁気共鳴撮像データ432を取得することができる。図4に示すこの構成では、被検体が磁石404内に配置される前に、被検体の位置及び構成が確認される。

図5は、図4に示されるものと同じ医用器具400を示す。しかしながら、この場合、被検体108は、被検体108の一部が撮像ゾーン106内にあるように配置されている。磁気共鳴撮像データ432は、関心領域500を表すように取得することができる。

この例では、ボア104内の光学撮像システム114'を使用して、磁気共鳴画像データ432の取得前、取得中、及び取得後に、被検体108を撮像することができる。これは、例えば、被検体108が磁気共鳴撮像データ432を取得することができる構成にまだあるかどうかを判定するために使用することができる。例えば、表面コイル又は他の取付け具が間違った位置にあるか、又は被検体が緊急時に操作者に信号を送るための信号装置を落とした可能性がある。

例は、MRI準備中の異常事象の完全自動検出のための方法を提供することができる。これは、患者のベッドエリアを監視するためのカメラと、生成敵対ネットワークに基づく検出ソフトウェアとを使用することができる。訓練中、このニューラルネットワークの生成部分は、「正常である」画像の全ての可能なバリエーションを合成するように訓練される。アプリケーション中に、クエリ画像に最も類似したネットワーク作成画像を見つけることによって、クエリ画像が分析される。異常事象の場合、ネットワーク生成画像とクエリ画像との間の実質的な差異を見つけることができ、これを使用して異常を局所化することができる。

臨床現場では、MR検査の準備が時間がかかり、誤差を起こしやすい作業である。オペレータの主な仕事はMRベッド上の患者を助け、必要なコイル及び追加デバイス(耳保護、看護ベル、生理学的センサ)を配置し、光バイザを正しい解剖学的位置に配置することである。加えて、操作者は、ヘッドホンの欠如、看護師の呼び出しの欠如、コイルの不適切な配置、テーブル内のソケットへのコイルの不正確な接続、ケーブルループ、身体ループなどを含む、セットアップ中の任意の異常事象又は構成を検出しなければならない。

これらのイベントの何れかが検出されないと、通常、ワークフローにかなりの遅延が生じ、場合によっては患者の安全上の危険が生じることがある。

例としては、患者のセットアップ中に患者のベッド領域を監視できるように配置されるカメラを使用することができる。それから、カメラによって生成される画像は任意の異常事象又は構成を検出するために、生成敵対ネットワーク(GAN)を使用して分析される。

いくつかの実施形態は、以下の特徴のうちの1つ以上を含み得る。

第1に、「正常である」画像(又は画像シリーズ)の大きなデータセット、すなわちセットアップ中に異常事象／構成のない画像が生成される。理想的には、このデータセットが典型的な検査、患者の身体形状、ポーズなどの全範囲をカバーするべきである。日常的な臨床検査において典型的に利用可能であるような、性別、年齢、撮像されるべき身体領域等のような、検査の臨床状況を示すメタデータが、データセットに含まれる。このデータセットの作成は、「通常の」検査の注釈を含む、臨床ワークフローからの画像の大きなセットを分析することによって実現することができる。また、第1のセットの画像から患者シルエットを抽出し、その後、並進、回転、又は変形などの変換を行うことによって、人工的に増強することもできる。これらの変換の後、変更される患者シルエットは変換されるトレーニング画像を作成するために、患者なしの(すなわち、空の患者ベッドを有する)画像に挿入され得る。この手順を使用して、実質的に大きな訓練データセットを作成することができる。

「通常の」画像及びメタデータの大きなデータセットが利用可能になると、GANのジェネレータネットワークは現実的な外観を有し、対応するメタデータと一致する画像を生成するように訓練され、一方、弁別器ネットワークは、これらのジェネレータ生成合成画像を現実の訓練画像から区別するように訓練される。これらのネットワークの訓練は例えば、生成器と識別器の最適化のための交互計画、及び規格確率的傾斜降下を用いて実現することができる。この訓練は、弁別器がジェネレータ生成画像を実画像から区別することができなくなると成功する。このトレーニングステップの目的は、「通常の」画像のすべての可能なバリエーションを合成できる生成器をトレーニングすることである。

アプリケーション中、入力クエリ画像は、この事前訓練される生成器ネットワークを使用して分析され、異常なイベント又は構成を検出することができる。この目的のために、ジェネレータの潜在空間が探索され、対応するメタデータが与えられると、クエリ画像に最も類似するジェネレータ生成画像が見つけられる。これは、平均二乗誤差及び逆伝播のような類似性損失関数を使用して、又は専用のエンコーダネットワークを使用して実現することができる。クエリ画像が異常事象又は構成を含まない場合、生成器はクエリ画像を再生することができなければならない。この場合、クエリと生成器生成画像との間の差は無視できるはずである。しかしながら、異常の場合には、生成器はクエリ画像を再現することができず、生成器生成画像とクエリ画像との間に実質的な差が生じる。差分画像は、異常の位置を特定し、この情報をフィードバックとしてオペレータに提供するために使用されてもよい。

例は、カメラビデオストリームのフレームの全て又はサブセットに適用されてもよく、それによって、患者セットアップ中のリアルタイム異常検出を可能にする。このようにして、オペレータは、検出される異常事象が除去されるかどうかを検証することができる。好ましい実施形態では、いくつかの異なるネットワークが異なる臨床状況(例えば、呼吸ベルトを用いた腹部スキャン)のために訓練される。次に、そのメタデータを用いて、与えられた試験に適したネットワークを選択する。したがって、訓練されるネットワークをより具体的にすることができ、それによって、障害警報を引き起こすリスクを低減することができる。

一例では、カメラ自体又は更なるアルゴリズムが深度情報を提供することができる。

図6は、ジェネレータニューラルネットワーク132のための訓練フェーズ600及びアプリケーションフェーズ602を示す。訓練600の間、生成器ネットワークはリアルな深度画像603を生成するように訓練され、一方、識別器604はこれらの生成器で生成される合成画像603を実際のもの601と区別するように訓練される。アプリケーション中、生成器は、入力クエリ画像に最も類似した画像を生成するために使用される。次に、差分画像を使用して、クエリ画像内の異常を検出し、位置特定する。

トレーニングフェーズ600では、いくつかの更なるベクトルがジェネレータニューラルネットワーク132に入力され、いくつかの人工又は合成画像603が生成される。弁別器604とラベル付けされる別のニューラルネットワークはこれらの合成画像603の各々をトレーニング光学画像601と比較し、合成画像603を合成画像又は実画像としてラベル付けする。ラベル606の結果は、生成器132と弁別器604の両方をさらに訓練するために使用される。このシステムは、生成敵対ネットワーク608を形成する。

適用段階602は、ジェネレータニューラルネットワーク132の使用を示す。ジェネレータニューラルネットワーク132は、人工画像138を出力するか、又は光学撮像データ134に最も一致する。2つの画像134及び138を比較して差140を生成することができる。この例では、それは差分画像である。

本発明は図面及び前述の説明において詳細に図示及び説明されてきたが、そのような図示及び説明は例示的又は例示的であり、限定的ではないと考えられるべきであり、本発明は開示される実施形態に限定されない。

開示される実施形態に対する他の変形は図面、開示、及び添付の特許請求の範囲の検討から、特許請求される発明を実施する際に当業者によって理解され、実施されることができる。特許請求の範囲において、単語「有する」は他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は複数を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムは他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶／配布することができるが、インターネット又は他の有線もしくは無線電気通信システムなどを介して、他の形態で配布することもできる。特許請求の範囲におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

100 医用器具
102 医用撮像システム
104 ボア
106 医用撮像ゾーン
108 被検体
110 被検体の支持部
112 被検体支援用アクチュエータ
114 光学撮像システム
114' 光学撮像システム
120 コンピューター
122 プロセッサー
124 ハードウェア インターフェイス
126 ユーザー インターフェイス
128 メモリー
130 機械実行可能命令
132 ジェネレーターニューラルネットワーク
134 光学撮像データ
136 初期ベクトル
138 合成画像
140 合成画像と光学撮像データの差
142 警報信号
144 所定の閾値
150 ランダム ベクトル
152 中間画像
154 トレーニング済みエンコーダ ニューラル ネットワーク
200 光学撮像 システムを制御して、光学撮像 データを取得
202 光学撮像データを使用して初期ベクトルを生成
204 ジェネレータニューラル ネットワークに初期ベクトルを入力することにより、合成画像を生成
206 合成画像と光学撮像データとの差を計算
208 差が所定の閾値によって異なる場合、警告信号を提供
300 生成敵対ネットワークを使用してジェネレーター ニューラル ネットワークをトレーニング
400 医用器具
402 磁気共鳴撮像システム
404 主磁石
410 磁場傾斜コイル
412 磁場傾斜コイル電源
414 鳥かごコイル
416 トランシーバー
430 パルス シーケンス コマンド
432 磁気共鳴画像データ
434 磁気共鳴画像
500 関心領域
600 トレーニング フェーズ
602 アプリケーションフェーズ
601 追加又はトレーニングの光学画像データ又は画像
603 合成画像
604 識別機
606 実物又は合成としてラベリング
608 生成敵対ネットワーク

Claims (13)

1. 医用器具であって、
   被検体から医用撮像データを取得するように構成される医用撮像システムと、
   前記医用撮像データの取得中に前記被検体を支持するように構成される被検体支持部と、
   前記被検体支持部上の前記被検体の光学撮像データを取得するように構成される光学撮像システムと、
   機械実行可能命令を記憶するメモリ及びジェネレータニューラルネットワークであって、前記ジェネレータニューラルネットワークは、初期ベクトルにおける入力に応答して、前記被検体支持部上の前記被検体の合成画像を生成するように訓練される、機械実行可能命令を記憶するメモリ及びジェネレータニューラルネットワークと、
   プロセッサであって、前記機械実行可能命令の実行は、前記プロセッサに、
   前記光学撮像データを取得するように前記光学撮像システムを制御させ、
   前記光学撮像データを使用して前記初期ベクトルを生成させ、
   前記初期ベクトルを前記ジェネレータニューラルネットワークに入力することによって前記合成画像を生成させ、
   前記合成画像と前記光学撮像データとの間の差を計算させ、
   前記差が所定の閾値だけ異なる場合、警告信号を提供させ、
   前記初期ベクトルは、
   ランダムベクトルを生成すること、前記ランダムベクトルを前記ジェネレータニューラルネットワークに供給することによって中間画像を生成すること、及び前記中間画像及び前記光学撮像データを使用して前記初期ベクトルを計算すること
   の何れか1つによって生成され、
   前記メモリは、訓練されるエンコーダニューラルネットワークをさらに記憶し、前記初期ベクトルは、前記光学撮像データを、前記訓練されるエンコーダニューラルネットワークに入力することによって生成される、
   医用器具。
2. 前記差は、
   相関関係と、
   前記光学撮像データから人工画像を減算することによって計算される差分画像と
   の何れか一つであり、前記所定の閾値だけ異なる前記差分画像の少なくとも一部に応答して前記警告信号が提供される、請求項1に記載の医用器具。
3. 前記警告信号は、
   ディスプレイ上の前記差分画像のレンダリングと、
   可聴信号と、
   警告ライトの活性化と、
   強調される部分による前記光学撮像データのレンダリングであって、前記強調される部分は、前記所定の閾値だけ異なる前記差分画像の前記部分と同じである、レンダリングと、
   これらの組み合わせと
   の何れか一つである、請求項1又は2に記載の医用器具。
4. 前記機械実行可能命令の実行は、前記プロセッサに、生成敵対ネットワークを使用して前記ジェネレータニューラルネットワークを訓練させ、前記ジェネレータニューラルネットワークは、更なる医用撮像データの取得中に取得される更なる光学撮像データを使用して訓練される、請求項1、2、又は3に記載の医用器具。
5. 前記初期ベクトルは、
   前記ランダムベクトルの要素を繰り返し修正するために探索アルゴリズムを使用することと、
   逆伝播を使用して前記ランダムベクトルの前記要素を繰り返し修正することと
   の何れか1つを使用して計算される、請求項1乃至４の何れか一項に記載の医用器具。
6. 前記医用撮像システムは、x線システム、コンピュータ断層撮影システム、陽電子放出断層撮影システム、単一光子放出断層撮影システム、及びそれらの組み合わせの何れか1つを有する、請求項１乃至５の何れか一項に記載の医用器具。
7. 前記医用撮像システムは磁気共鳴撮像システムである、請求項1乃至６の何れか一項に記載の医用器具。
8. 前記磁気共鳴撮像システムは、前記被検体を受けるように構成される主磁石を有し、前記光学撮像システムは、前記被検体が前記主磁石内に存在する場合に、前記光学撮像データの少なくとも一部を取得するように構成される、請求項7に記載の医用器具。
9. 前記医用撮像システムは、撮像ゾーンから前記医用撮像データを取得するように構成され、前記被検体支持部は、前記被検体を前記医療撮像ゾーンに搬送するように構成され、前記医用器具は、前記被検体を前記撮像ゾーンに搬送する前に前記警告信号を提供するように構成される、請求項１乃至８の何れか一項に記載の医用器具。
10. 前記光学撮像システムは、少なくとも1つのカメラ、少なくとも1つの3Dカメラ、及びそれらの組み合わせの何れか1つを有する、請求項１乃至９の何れか一項に記載の医用器具。
11. 医用器具を制御するプロセッサによる実行のための機械実行可能命令を有するコンピュータプログラムプロダクトであって、前記コンピュータプログラムプロダクトは、ジェネレータニューラルネットワークの実装をさらに有し、前記ジェネレータニューラルネットワークは、初期ベクトルの入力に応答して、前記被検体支持部上の前記被検体の合成画像を生成するように訓練され、前記医用器具は、被検体から医療撮像データを取得するように構成される医用撮像システムを有し、前記医用器具は、前記医療撮像データの取得中に前記被検体を支持するように構成される被検体支持部をさらに有し、前記医用器具は、前記被検体支持部上の前記被検体の光学撮像データを取得するように構成される光学撮像システムをさらに有し、前記機械実行可能命令の実行は、前記プロセッサに、
    前記光学撮像データを取得するように前記光学撮像システムを制御させ、
    前記光学撮像データを用いて前記初期ベクトルを生成させ、
    前記ジェネレータニューラルネットワークに前記初期ベクトルを入力することによって前記合成画像を生成させ、
    前記合成画像と前記光学撮像データとの間の差を計算させ、
    前記差が所定の閾値を超える場合に応答して警告信号を提供させ、
    前記初期ベクトルは、
    前記ランダムベクトルを生成すること、前記ランダムベクトルを前記ジェネレータニューラルネットワークに供給することによって中間画像を生成すること、及び前記中間画像と前記光学撮像データとを使用して前記初期ベクトルを計算すること
    の何れか1つによって生成され、
    前記メモリは、訓練されるエンコーダニューラルネットワークをさらに記憶し、前記初期ベクトルは、前記光学撮像データを前記訓練されるエンコーダニューラルネットワークに入力することによって生成される、
    コンピュータプログラムプロダクト。
12. 医用器具を操作する方法であって、前記医用器具は、撮像ゾーン内の被検体から医用撮像データを取得するように構成される医用撮像システムと、前記医用撮像データの取得中に前記被検体を支持するように構成される被検体支持部と、前記被検体支持部上の前記被検体の光学撮像データを取得するように構成される光学撮像システムと有し、前記方法は、
    前記光学撮像データを取得するように前記光学撮像システムを制御するステップと、
    前記光学撮像データを用いて前記初期ベクトルを生成するステップと、
    前記初期ベクトルをジェネレータニューラルネットワークに入力することによって合成画像を生成するステップであって、前記ジェネレータニューラルネットワークは、前記初期ベクトルを入力するステップに応答して前記被検体支持部上の前記被検体の前記合成画像を生成するように訓練される、ステップと、
    前記人工画像と前記光学撮像データとの間の差を計算するステップと、
    前記差が所定の閾値を超える場合に警告信号を提供するステップと
    を有し、前記初期ベクトルは、
    ランダムベクトルを生成するステップと、前記ランダムベクトルを前記ジェネレータニューラルネットワークに供給することによって中間画像を生成するステップと、前記中間画像及び前記光学撮像データを使用して前記初期ベクトルを計算するステップと
    の何れか1つによって生成され、
    前記メモリは、訓練されるエンコーダニューラルネットワークをさらに記憶し、前記初期ベクトルは、前記光学撮像データを前記訓練されるエンコーダニューラルネットワークに入力することによって生成される、
    方法。
13. 前記方法は、更なる医用撮像データの連続する取得の間に取得される更なる光学撮像データを備える生成敵対ネットワークを使用して前記ジェネレータニューラルネットワークを訓練するステップをさらに有する、請求項12に記載の方法。

Images