JP2021522931A - 機械学習を使用する手術中の自動腫瘍識別 - Google Patents

Abstract

超音波システムは、ＵＳスキャナとＵＳスキャナに動作可能に接続されたＵＳプローブとを含む。少なくとも１つの電子プロセッサは、患者の関心領域内の腫瘍及び周囲血管の一連の術前画像を取得するためにＵＳスキャナ及びＵＳプローブを制御し、取得された術前画像がＲＯＩ内の腫瘍及び周囲血管の輪郭でラベル付けされるグラフィカルユーザインタフェースを提供し、患者調整トレーニングニューラルネットワークを生成するようにラベル付けされた術前画像を用いて患者に対してトレーニングされたニューラルネットワークを調整し、患者のＲＯＩ内の腫瘍及び周囲血管のライブ画像を取得するようにＵＳスキャナ及びＵＳプローブを制御することによりライブ撮像を実行し、腫瘍及び周囲血管のライブ輪郭を出力するために患者調整トレーニングＮＮにライブ画像を入力し、ライブ輪郭を重ね合わせたライブ画像を表示するように表示装置を制御するようにプログラムされる。

Description

以下は、広くは、画像ガイド介入処置、画像ガイド神経外科、画像ガイド脳外科、超音波撮像技術、超音波プローブ追跡技術、超音波画像表示、及び関連技術に関する。

脳神経外科手術における術前磁気共鳴撮像（ＭＲＩ）は、腫瘍の外科的切除に先立って病理を識別し、手術を計画するために使用される通常の標準である。１つ又は複数の腫瘍及び周囲血管系は、術前ＭＲ画像上でセグメント化され、術前計画に使用される。神経ナビゲーションは、脳神経外科手術の際に使用され、外科医が開頭術により病理に至る通り道をナビゲートことを可能にする。光学的追跡のような高精度追跡技術は、神経ナビゲーションのための手術ツールを追跡するために使用される。追跡情報は、外科医が頭蓋骨内をナビゲートし、術前撮像に基づいて計画通りに手術を実行することができるように、患者及び術前画像に対して位置合わせされる。しかしながら、いくつかの因子が、手術中に脳を変形させ、神経ナビゲーションのための術前撮像の有用性を減少させる。この現象は、脳神経外科行為でよく知られており、通常、脳シフトは開頭術で始まり、その後の硬膜（脳組織を適所に保持する太い線維膜）の除去後に顕著になる。脳シフトを引き起こすことができる他の因子は、腫脹、重力、腫瘍切除、及び脳脊髄液ドレナージを含む。一般的に言えば、脳シフトは、処置を通して常に悪化する。

術中又は「ライブ」撮像は、脳シフトを明らかにし、手術計画を修正し、更新するように外科医をガイドすることができる。利用可能なモダリティの中で、ＭＲＩは、優れた画質及び解像度を提供する。しかしながら、これは、外科手術フローに悪影響を及ぼし（鉄系金属は、室内で見つけられることができず、他の金属は、撮像領域の近くに配置されることができず、したがって、広範囲の患者の準備が、各術中ＭＲＩ画像取得に対して必要である）、時間がかかり（ＭＲシーケンスは４５分を要する）、ハイエンド手術室を除いて利用不可能である。他方で、術中超音波（ＵＳ）は、ＭＲＩほど問題を起こさず（金属に関する制限はなく、広範囲の患者準備もない）、リアルタイム画像視覚化で分単位で実行されることができ、幅広く利用可能である。しかしながら、ＵＳの画質及び解像度は、ＭＲＩと比較して貧弱であり、ＭＲＩに対するＵＳの位置合わせは、単純なタスクではなく、全ての腫瘍がＵＳ撮像において可視であるわけではない。

術中超音波を使用する際のこれらの困難に対応するために、初期（術前）超音波画像が、開頭術後であるが硬膜を除去する前に取得される。硬膜が依然として定位置の状態で、脳シフトは、最小限であり、術前ＵＳ画像は、術前ＭＲＩと良好に位置合わせされる。このような画像位置合わせは、外科医に、腫瘍の重ねられたセグメンテーションと一緒に見られる場合に腫瘍が超音波下でどのように見えるかの視覚的理解を提供する。硬膜を除去した後に、術前ＭＲ画像に対する超音波の剛体位置合わせは、通常、術中ナビゲーションに対して十分に正確ではない。この点で、セグメンテーションは、術中（すなわち、ライブ）画像の解釈を助けるために、術中超音波画像の上に重ねて提示されることができるが、ライブ画像に対するセグメンテーションの位置合わせは、準最適位置合わせのためにあまり正確ではないかもしれない。

脳シフト後、術前のＭＲＩ腫瘍セグメンテーション及びＵＳ画像上の重ね合わせは、ＵＳ画像は変形後の組織を表示するが、セグメンテーションは変形していない組織に対するものであるため、無効になる。この点で、ＵＳ及びＭＲＩの画像解釈、並びに特定の腫瘍が解剖学的構造内でどのように位置し、どのように変形するかの理解における、外科医の経験は、区別因子であり、変形された脳組織の術中ＵＳ画像に基づいて、何が残存腫瘍であり、何がそうではないかを外科医が決定するのを助ける。

様々な非剛体位置合わせ技術が、脳シフトの存在下での脳外科手術のための術中ＵＳの使用可能性の問題に取り組むために、研究者により使用されているが、成功は限られている。第１の例示的な技法では、術前ＭＲ画像が、術中超音波画像に基づいて変形されるが、このアプローチは、ほとんどの場合、平面に対応する２次元（２Ｄ）超音波画像が使用され、平面外方向の変形を捕捉しないため、かなりの不正確さをもたらす可能性がある。第２の例示的な技法では、変形した脳組織の光学表面スキャンは、有限要素モデリングによって脳の体積変形を計算するように実行される。このアプローチは、脳の表面に近い病変の視覚化に限られており、より深い病変に関する正確な情報を提供するものではない。

以下は、これらの問題を克服するための新規で改良されたシステム及び方法を開示する。

開示された一態様では、ＵＳシステムが、ＵＳスキャナと、前記ＵＳスキャナに動作可能に接続されたＵＳプローブとを含む。少なくとも１つの電子プロセッサは、患者の関心領域（ＲＯＩ）における腫瘍及び周囲血管の一連の術前画像を取得するために前記ＵＳスキャナ及びＵＳプローブを制御し、前記取得された術前画像が前記ＲＯＩ内の腫瘍及び周囲血管の輪郭でラベル付けされるグラフユーザインタフェース（ＧＵＩ）を提供し、患者調整されたトレーニングされたニューラルネットワークを生成するように、前記ラベル付けされた術前画像を使用して前記患者に対してトレーニングされたニューラルネットワークを調整し、前記患者のＲＯＩ内の腫瘍及び周囲血管のライブ画像を取得するために前記ＵＳスキャナ及びＵＳプローブを制御することによりライブ撮像を実行し、前記腫瘍及び周囲血管のライブ輪郭を出力するために前記患者調整されたトレーニングされたＮＮに前記ライブ画像を入力し、前記ライブ輪郭を重ね合わせた前記ライブ画像を表示するために表示装置を制御するようにプログラムされる。

他の開示された態様では、非一時的記憶媒体が、ライブ脳撮像方法を実行するために、ＵＳシステム及び表示装置と動作可能に通信するプロセッサによって読取可能かつ実行可能な命令を記憶する。この方法は、２次元（２Ｄ）ライブ脳画像を取得するように前記ＵＳシステムを制御するステップと、前記２Ｄライブ脳画像内に撮像された腫瘍及び周囲血管のライブ輪郭を生成するように、前記２Ｄライブ脳画像にニューラルネットワークを適用するステップと、前記ライブ輪郭を重ね合わされた前記２Ｄライブ脳画像を提示するように前記表示装置を制御するステップとを含む。

他の開示された態様では、ＵＳシステムが、ＵＳスキャナと、前記ＵＳスキャナに動作可能に接続されたＵＳプローブとを含む。少なくとも１つの電子プロセッサは、ＲＯＩの２Ｄライブ画像を取得するように前記ＵＳスキャナ及び前記ＵＳプローブを制御し、前記２Ｄライブ画像において撮像された腫瘍及び周囲血管のライブ輪郭を生成するようにニューラルネットワークを前記２Ｄライブ脳画像に適用し、前記ライブ輪郭を重ね合わされた前記２Ｄライブ画像を提示するように表示装置を制御するようにプログラムされる。

１つの利点は、脳シフト中に腫瘍位置を決定することにある。

他の利点は、術前腫瘍輪郭と、脳シフト中の術中腫瘍輪郭との間の相関を学習するようにニューラルネットワークをトレーニングするのに機械学習を利用することにある。

他の利点は、外科的処置中の脳シフトによる腫瘍の新しい位置を予測することにある。

他の利点は、脳シフトにより変化した腫瘍輪郭を有するＭＲ画像及びＵＳ画像のオーバーレイを提供することにある。

他の利点は、最初の術前ＭＲ画像の取得後にＭＲ撮像を必要とせず、かつ神経外科手術中に腫瘍又は血管の輪郭描出を更新することを必要としない、超音波撮像のみを使用する上述の利点の１つ以上を提供することにある。

他の利点は、利用可能であれば、術中ＭＲ画像の形の追加情報が、術中ＵＳ画像における輪郭推定を改善するために使用されることができる、前述の利点のうちの１つ以上を提供することにある。

他の利点は、利用可能であれば、術中ＭＲ画像の手動輪郭形成の形の追加情報が、後の術中ＵＳ画像における輪郭推定を改善するのに使用されることができる、前述の利点のうちの１つ又は複数を提供することにある。

所与の実施形態は、本開示を読んで理解すると当業者に明らかになるように、前述の利点のいずれも提供しない、１つ、２つ、より多く、又はすべてを提供してもよく、かつ／又は他の利点を提供してもよい。

本開示は、様々な構成要素及び構成要素の取り合わせ、ならびに様々なステップ及びステップの取り合わせの形態をとることができる。図面は、好ましい実施形態を例示する目的のためだけのものであり、本開示を限定するものとして解釈されるべきではない。

一態様による、神経外科に使用するための例示的な超音波（ＵＳ）画像ガイダンス装置を概略的に示す。 図１の装置の例示的なフローチャート動作を示す。 図１の装置のニューラルネットワークの概略的な例を示す。 図１の装置によって生成された輪郭を有する画像を示す。

画像ガイド脳外科手術では、超音波（ＵＳ）が、外科的処置中に術中撮像を提供するために一般的に使用される。典型的なワークフローでは、術前ＭＲＩ画像が取得され、腫瘍及び重要な血管がセグメント化され、手術が計画される。手術の日に、患者が、準備され、頭蓋骨の一部が、脳を包む最も外側の硬膜に対するアクセスを提供するように除去される（すなわち開頭術）。この点で、術前ＵＳ画像が取得され、表示される。前記ＵＳ撮像は、カメラ又は他の位置決めセンサを使用して追跡され、前記術前ＭＲＩ画像に手動で描かれた腫瘍／血管輪郭は、おそらく前記術前ＭＲＩ画像及びＵＳ画像の剛体空間的位置合わせの後に、前記術前ＵＳ画像の標示上に重ね合わされる。代わりに、ＵＳ撮像プローブが、体積の三次元（３Ｄ）画像を作成する２Ｄマトリクスアレイプローブであることができる。この場合、ＭＲＩベースのセグメンテーションは、３Ｄ体積画像の２Ｄスライス上の輪郭として、又は３Ｄ ＵＳ体積自体の上の体積（おそらく異なる色符号化及び透明度を有する）として重ね合わせられることができる。前記２Ｄマトリックスアレイプローブは、空間平均化により滑らかな画像を取得するように追跡されることができる。腫瘍の視覚的外観は、ＵＳモダリティ及びＭＲＩでは全く異なるかもしれず、外科医は、切除に対する標的腫瘍を識別するために前記術前ＵＳ画像を調査する。次いで、硬膜の一部が、脳に対するアクセスを提供するために除去され、外科的腫瘍除去が、開始する。処置を通して断続的に取得されたライブＵＳ画像（すなわち術中）は、前記ライブＵＳ画像に重ね合わせられる前記ＭＲＩ画像から腫瘍／血管輪郭とともに基準として視覚化される。

しかしながら、例えば、硬膜が切除されると、及び腫瘍組織が切除され、手術の間に腫瘍の大きさを縮小させると、脳が手術中に変形することができるという、脳シフトに関連する問題が生じる。脳シフトは、前記ＭＲＩからの重ね合わされた輪郭が、もはや前記ライブＵＳ撮像に示される対応する解剖学的構造の位置を正確に反映しないことをもたらす可能性がある。従来、これは、ライブＵＳ画像におけるシフトを視覚的に（かつ他のフィードバック、例えば触覚フィードバックに基づいて）検出し、シフトを心の中で考慮する外科医によって対処される。術中ＭＲＩスキャナが、手術室内で使用可能である場合、更新されたＭＲＩ画像が、時折取得され、分割されて、更新されたＭＲＩ輪郭を生成してもよい。しかしながら、ＭＲＩは、一般に、リアルタイムのライブ撮像を提供することができない。脳腫瘍の外科的除去は、数時間を要する可能性があり、数ミクロンのオーダーの精度が時々必要とされることに留意されたい。脳シフトは、手術の間に徐々に生じる可能性があり、例えば、より多くの腫瘍組織が切除されると、これは、周囲の脳組織の圧力を変化させ、漸進的によりおおきな脳シフトを生じ、これにより、時折の術中ＭＲＩは、処置を通したガイダンスに対して十分ではない。

本明細書に開示されるアプローチでは、前記術中ＵＳ画像から直接的に腫瘍及び主要血管の最新の輪郭を生成するためのトレーニングされたニューラルネットワークが、記載される。これは、脳シフトが外科的処置にわたって徐々に変化しうるので、脳シフトの追跡を可能になる。いくつかの実施形態では、前記ＭＲＩからの輪郭は、重ね合わされ続け、前記ニューラルネットワークからのこれらの新たに生成された最新の輪郭も、例えば、異なる色符号化を使用して重ね合わされ、外科医に対して最大限の情報を提供する。

前記ニューラルネットワークのトレーニングは、非常に正確でなければならず、更に、患者特有のばらつきに対応しなければならない。この目的のために、開示されたアプローチは、過去の患者データを使用する前記ニューラルネットワークの初期トレーニング、及び前記術前ＭＲＩからの輪郭、又は前記術前ＵＳ画像において脳神経外科医によって調整された若しくは新たに描出された対応する輪郭でラベル付けされた最初の術前ＵＳ画像を使用する前記ニューラルネットワークの更新トレーニングを含む患者特有の微調整を採用する。

手術中、前記ニューラルネットワークへの入力データは、２Ｄ超音波画像（すなわち、手術中に外科医に視覚的ガイダンスを提供するために使用される術中又は「ライブ」ＵＳ画像）のシーケンス、又はスライスされることができ、前記ニューラルネットワークにより処理する１つの３Ｄ超音波画像又は３Ｄ超音波画像のシーケンスであり、代替的には、ネットワークが、入力として３Ｄ ＵＳ体積画像と共に動作するようにトレーニングされることができる。前記ニューラルネットワークの出力は、１つ以上の腫瘍及び／又は血管輪郭である。

前記初期トレーニングのために、適切なトレーニングデータは、グラウンドトゥルース輪郭として機能する対応するＭＲＩ由来の腫瘍及び血管輪郭でラベル付けされた術前ＵＳ画像を使用して、過去の類似した脳手術からを収集されることができる。前記術前ＵＳ画像は、開頭術後であるが、硬膜に切り込む前、かつ任意の腫瘍組織の除去前に取得されるので、脳シフトは、前記トレーニングデータにおいて無視できるはずである。従来の逆伝搬トレーニングは、前記術前ＭＲＩ画像内に手動で描かれたグラウンドトゥルース輪郭に最適にマッチする輪郭を出力するように前記ニューラルネットワークをトレーニングするのに使用されてもよい。

前記微調整は、トレーニングデータとして、再びグラウンドトゥルースとして機能する、前記ＭＲＩ輪郭でラベル付けされた現在の患者の術前画像を使用する。（より正確には、このトレーニングデータは、前記ＭＲＩ輪郭及び／又は神経外科医によって前記術前ＵＳ画像において調整される又は新たに描かれる輪郭でラベル付けされた、３Ｄ術前ＵＳ画像を提供するために組み合わされ得る１組の術前２Ｄ ＵＳ画像スライス、又は３Ｄ撮像のための２Ｄマトリックスアレイプローブを使用して得られた３Ｄ ＵＳ体積画像からなる。）前記ニューラルネットワークの初期トレーニングにいおて使用されたのと同じ逆伝搬ベースのトレーニングは、前記微調整を提供するために更新トレーニングにおいて使用されてもよく、結果として得られる微調整されたニューラルネットワークは、現在の患者に特有である。

ＭＲＩスキャナが、外科手術室内で利用可能である場合、外科的処置中の様々な時点で追加の微調整ステップを実行することが企図される。例えば、数時間後及び脳腫瘍のかなりの部分の除去後、前記微調整されたニューラルネットワークは、期限切れ（すなわち、手術に必要とされる予測精度を欠いている）であり得、新しいＭＲＩ画像が、取得され、対応する現在のＵＳ画像と共に、手動で輪郭を描かれてもよい。次いで、これは、前記ニューラルネットワークの更なる微調整（すなわち、更新トレーニング）のための更新トレーニングデータとして機能する。

いくつかの実施形態では、前記ニューラルネットワークは、現在のＵＳ画像に対して出力された輪郭が前記シーケンス内の以前のＵＳ画像に対して出力された以前の輪郭に依存する再帰型ニューラルネットワーク（ＲＮＮ）であってもよい。これは、（１）腫瘍が、腫瘍組織摘出により手術の過程でサイズにおいて減少し、（２）この収縮が、緩やかであるという期待を反映している。しかしながら、前記ＲＮＮをトレーニングするためには、手術の過程にわたるラベル付けされたシーケンストレーニングデータを持つことが必要であり、これは、時折更新されたＭＲＩ(すなわち、グラウンドトゥルース）輪郭ラベルを提供するために、手術室内にＭＲＩスキャナが存在する場合に提供されることができる。

更に他の変形形態では、強化学習（ＲＩ）を使用することが企図され、この強化学習では、時折、ライブシーケンスのＵＳ画像が、手動で輪郭描写され、トレーニングされ微調整されたニューラルネットワークによって出力された輪郭に対するこの手動ＵＳ輪郭の忠実度が、前記ニューラルネットワークの更新トレーニング（すなわち、ＲＩ）のための更なるフィードバックとして使用される。いくつかの例では、前記ＲＩが、手動輪郭ではなくＭＲＩ主導輪郭を使用して実行されることができる。予測中に前記ニューラルネットワークによって作成されたいかなるエラーも、前記ＲＩによって考慮されることができ、したがって、前記ニューラルネットワークは、その特定のタイプのエラーに対してより保守的であることができる。

一般に、前記ニューラルネットワークは、２Ｄ ＵＳ画像（３Ｄ画像を集合的に構成してもよいし、構成しなくてもよい）のシーケンスを入力として受信し、ＵＳ画像平面の空間基準における１つ又は複数の輪郭を出力するように構成される。任意のニューラルネットワークアーキテクチャが、本明細書に開示される実施形態において使用されうる。

例示的な実施形態では、開示されたアプローチが、術前ＭＲＩ撮像及び術中ＵＳ撮像を使用する脳外科手術処置において使用される。神経外科手術ガイダンスのための脳撮像は、器官シフト又は変形が精神的修正又は弾性位置合わせ技術によって十分に調整されることができる多くの他の介入処置と比較して、高い精度を要求する。しかしながら、より一般的には、開示されたアプローチが、器官変形が生じ得、外科的処置の過程にわたって有益に追跡される前立腺、乳房、又は肝臓生検処置のような他のタイプの介入処置において応用を見出してもよい。

図１を参照すると、先行する記載を実施するのに適した例示的な介入撮像装置が、示されている。超音波（ＵＳ）撮像装置１０は、例えば、オランダ、アムステルダムのコーニンクレッカ・フィリップス・エヌ・ヴェから入手可能なＥＰＩＱ（登録商標）超音波撮像システム、オランダ、アムステルダムのコーニンクレッカ・フィリップス・エヌ・ヴェから入手可能なＵＳ／ＭＲＩ融合ガイド前立腺生検のためのＵｒｏＮａｖ（登録商標）システム、従来の３Ｄ撮像（ＣＴ、ＭＲ、コーンビームＣＴなど）とのＵＳの一般的な融合のためのＰｅｒｃｕＮａｖ（登録商標）システム（アムステルダムのコーニンクレッカ・フィリップス・エヌ・ヴェから入手可能）であってもよく、又は他の市販の又は特注の超音波撮像システムであってもよい。超音波撮像装置１０は、超音波撮像を実行するためにＵＳスキャナ１４に動作可能に接続されたＵＳプローブ１２を含む。例示的な超音波プローブ１２は、無線接続により、ケーブル配線１５を介して超音波撮像システム１０と接続される。ＵＳプローブ１２は、超音波平面内の二次元（２Ｄ）画像フレームを取得するセンサアレイ１６を含む。外科医又は他のオペレータは、超音波プローブ１２のフリーハンドの又は支持された移動によって、前記画像フレームの位置及び向き（すなわち、「姿勢」）を調整することができる。このようなフリーハンドの動きは、ＵＳプローブ１２（したがって、超音波平面の）並進スイープを伴ってもよく、及び／又はＵＳプローブ１２を軸の周りで回転させることを含んでもよい。ＵＳスキャナ１４及びＵＳプローブ１２は、患者の一部の２次元又は３次元（２Ｄ／３Ｄ）画像フレームの「ライブ」連続物を取得するように構成され、各２Ｄ画像フレームは、超音波平面の現在の姿勢に対応するか、又は３Ｄ撮像の場合には、複数の平面が、考慮されることができる。

ＵＳスキャナ１４は、また、少なくとも１つの電子プロセッサ２０（例えば、マイクロプロセッサ、マイクロコントローラなど）、少なくとも１つのユーザ入力装置（例えば、マウス、キーボード、及び／又はトラックボールなど）２２、及び超音波画像及び／又はＵＳスキャナ設定、及び／又は画像パラメータなどを表示するための表示装置２４を含み、かつ／又はこれらと動作可能に接続される。表示装置２４は、ユーザ入力装置２２からユーザ入力を受け取るための１つ以上のフィールドを含むグラフィカルユーザインタフェース（ＧＵＩ）２６を表示するように構成されている。

少なくとも１つの電子プロセッサ２０は、例えば、ＵＳスキャナ１４を動作して術前ＵＳ画像を取得し、ライブＵＳ撮像を実行し、撮像方法又はプロセス１００を実行して神経外科手術ガイダンスのために患者の画像を取得することを含む開示された動作を実行するために、少なくとも１つの電子プロセッサ２０によって読み取り可能かつ実行可能である命令を記憶する非一時的記憶媒体２８と動作可能に接続される。前記非一時的記憶媒体は、例えば、ハードディスクドライブ又は他の磁気記憶媒体、ソリッドステートドライブ（ＳＳＤ）、フラッシュドライブ、電子的に消去可能な読取専用メモリ（ＥＥＲＯＭ）又は他の電子メモリ、光ディスク又は他の光記憶装置、又はこれらの様々な組合せなどを含んでもよい。いくつかの実施形態では、前記命令を記憶する前記非一時的記憶媒体が、例えば、内部ハードドライブ、ＳＳＤ、フラッシュメモリ、及び／又は同様のもの形態で、ＵＳスキャナ１４内に配置される。

いくつかの実施形態では、少なくとも１つの電子プロセッサ２０が、腫瘍輪郭を決定するためにトレーニングされたニューラルネットワーク（ＮＮ）３０を適用するようにプログラムされる。例えば、前記電子プロセッサは、腫瘍輪郭の予測中にリアルタイムで実行するためのグラフィカル処理ユニット（ＧＰＵ）であることができる。前記少なくとも１つの電子プロセッサは、過去の神経外科患者のＵＳ画像及びグラウンドトゥルースとして機能する手動で描かれた輪郭を使用して、ＮＮ３０の初期トレーニングを実行するようにプログラムされてもよい。代わりに、前記初期トレーニングが、オフラインで、例えば、ＵＳスキャナ１４のベンダによって、又はＵＳスキャナ１４のための神経外科画像ガイダンスパッケージ又はアドオンのベンダによって実行されてもよく、トレーニングされたＮＮ３０は、前記ベンダから供給され、非一時的記憶媒体２８に記憶される。いずれの場合も、トレーニングされたＮＮ３０の患者固有の調整は、この調整が各患者に対して実行され、事前トレーニングされたコンポーネントとして供給されることができないので、好ましくは、少なくとも１つの電子プロセッサ２０によって実行される。ＮＮ３０のトレーニング及び患者固有の調整が、計算集約的であるので、少なくとも１つの電子プロセッサ２０が、有線又は無線接続（例えば、病院ネットワークとの有線又は無線接続）によって、ＵＳスキャナ１４と動作可能に接続される遠隔サーバコンピュータ、又はクラウド計算リソース等を有することが企図されている。少なくとも１つの電子プロセッサ２０が、遠隔サーバコンピュータを有する場合、ベンダは、ＮＮ３０のトレーニング及び微調整を改善するために、異なるサイトにおける微調整データに対するアクセスを持ってもよい。ＮＮ３０は、例えば、ソフトウェア更新として頻繁に更新されてもよい。この構成では、ＵＳスキャナ１４の電子プロセッサが、患者のＵＳ画像を取得し、ユーザが患者の選択ＵＳ画像を輪郭描写するＧＵＩを提供するように前記スキャナを動作させ、次いで、この患者固有のトレーニングデータは、供給された患者固有のトレーニングデータを使用してＮＮ３０を更新トレーニングすることによって患者固有の調整を実行する遠隔サーバにアップロードされる。いくつかの例示的な例では、ＮＮ３０が、再帰型ＮＮ(ＲＮＮ)であることができる。いくつかの実施形態では、ＭＲ装置３２が、更新ＭＲ画像内に描かれた輪郭の形態で追加の更新トレーニングデータを提供するようにＵＳプローブ１２及びＵＳスキャナ１４を有する医療環境内に配置されることができる。例えば、ＮＮ３０は、ＭＲＩ画像を用いた処置中に前記ＮＮを数回再トレーニングすることによって微調整されることができる。ユーザは、処置中にＮＮ３０の微調整を遠隔で実行することができる。

図２を参照すると、撮像方法１００の例示的な実施形態が、フローチャートとして概略的に示されている。このプロセスを開始するために、ＵＳプローブ１２は、スキャンされるべき患者の一部（例えば、脳、又はより詳細には、切除されるべき１つ又は複数の腫瘍を含む脳の領域）の上又は近くに配置される。１０２において、少なくとも１つの電子プロセッサ２０は、神経外科手術を受けようとしている患者の関心領域（ＲＯＩ）内の腫瘍及び周囲血管の一連の術前画像（例えば、２Ｄ、３Ｄ、又は４Ｄ画像）を取得するために、ＵＳスキャナ１４及びＵＳプローブ１２を制御するようにプログラムされる。いくつかの例では、前記ＲＯＩは、前記患者の脳であることができる。典型的には、動作１０２が、前記術前ＵＳ画像における脳シフトの量を最小化するように、開頭術後であるが、硬膜を切断する前に実行される。変形実施形態では、術前ＵＳ撮像動作１０２が、開頭術の前に実行されることができる。

１０４において、少なくとも１つの電子プロセッサ２０は、前記取得された術前画像が前記ＲＯＩ内の腫瘍及び周囲血管の輪郭でラベル付けされるＧＵＩ２６を提供するようにプログラムされる。いくつかの例では、外科医が、、ＧＵＩ２６上の腫瘍の輪郭をラベル付けするのにユーザ入力装置２２を使用することができる。ＧＵＩ２６は、表示装置２４上に表示されることができる。前記ユーザは、例えば、マウス又はタッチスクリーンを使用して輪郭を描写し、前記輪郭の周りの点をマークし、次いで、これらの点をスプライン曲線などによって接続するか、又は前記輪郭全体又はその一部を１つ以上の連続線として描いてもよい。他の例では、術前ＭＲ画像は、ＭＲ装置３２で取得され、腫瘍の輪郭は、医療専門家によってユーザ入力装置２２を用いて手動でラベル付けされる。処置の開始時に、プローブ１２は、術前ＭＲ輪郭に位置合わせされ、前記輪郭は、表示装置２４上の前記取得されたＵＳ画像に移される。

１０６において、少なくとも１つの電子プロセッサ２０は、トレーニングされたニューラルネットワークを生成するために、異なる患者の類似のＲＯＩのＭＲベースの腫瘍輪郭とともにＵＳ撮像データを用いてＮＮ３０をトレーニングするようにプログラムされる。例えば、前記撮像データは、非一時的なコンピュータ可読媒体２８から取り出され、前記ＮＮをトレーニングするためにＮＮ３０に適用されることができる。動作１０６は、動作１０２及び／又は１０４の前、同時、又は後に実行されることができることが理解されよう。例えばベンダがトレーニングされたＮＮ３０を供給する、オフライン構成では、動作１０６が、動作１０２、１０４の前に実行される。

１０８において、少なくとも１つの電子プロセッサ２０は、患者調整トレーニングニューラルネットワークを生成するように、動作１０２、１０４において生成されたラベル付けされた２Ｄ術前画像を使用して、患者に対してトレーニングされたＮＮ３０を調整するようにプログラムされる。いくつかの実施形態では、少なくとも１つの電子プロセッサ２０は、（１０４からの）ラベル付けされた２ＤライブＵＳ画像を用いて患者調整トレーニングニューラルネットワーク３０を更新するようにプログラムされる。加えて、脳神経外科の後半段階で、脳神経外科医が、ライブ撮像上に重ね合わされた輪郭が徐々の脳シフトによりずれた位置になったと疑う場合、追加の患者固有のトレーニングデータは、室内ＭＲＩ３２（利用可能な場合）によって取得された術中画像及び／又はＭＲ画像の手動輪郭描出及びＮＮ３０の患者固有の調整を更新するようにこの追加の患者固有のデータに対して繰り返される動作１０８によって、生成されることができる。

１１０において、少なくとも１つの電子プロセッサ２０は、患者のＲＯＩ（例えば、脳）内の腫瘍及び周囲血管のライブ（すなわち、術中）画像（例えば、２Ｄ画像）を取得するようにＵＳスキャナ１４及びＵＳプローブ１２を制御することによって、ライブ撮像を実行するようにプログラムされる。これらの画像は、外科的処置の間に取得される。前記ライブ撮像は、必ずしも画像の連続ストリームである必要がないことに留意されたい。むしろ、いくつかの実施態様では、前記神経外科医は、前記神経外科医が新しいライブ画像を取得するように腫瘍の視覚化を行うことを望むときはいつでも、ＵＳプローブ１２を（再）配置してもよい。

１１２において、少なくとも１つの電子プロセッサ２０は、腫瘍及び周囲血管のライブ輪郭を出力するために、患者調整トレーニングＮＮに前記ライブ画像を入力するようにプログラムされる。他の言い方をすれば、少なくとも１つの電子プロセッサ２０は、前記ライブ脳画像において撮像された腫瘍及び周囲血管のライブ輪郭を生成するように前記ライブ脳画像にＮＮ３０を適用するようにプログラムされる。このように、外科的処置の間に、腫瘍及び周囲血管の輪郭が、自動的に生成される。これは、ＵＳセンサアレイ１６が、３Ｄ体積に超音波照射することができる場合には直接的に行われてもよく、又はＵＳプローブ１２のフリーハンド又はモーター駆動スイープと併せて行われてもよい。好ましくは、前記画像は、動作１１２によって出力された輪郭を重ね合わされた状態で表示装置２４上に表示され（動作１１４）、腫瘍及び周囲血管の標示（すなわち、「ライブ」輪郭）とともに介入処置のライブＵＳ撮像を提供する。

一実施形態では、少なくとも１つの電子プロセッサ２０は、（１０４からの）ラベル付けされた術前画像を使用してＮＮ３０を調整するようにプログラムされる。他の実施形態では、患者調整トレーニングニューラルネットワーク３０は、術中ＭＲ画像内に描かれた輪郭で少なくとも部分的に更新される。そうするために、少なくとも１つの電子プロセッサ２０は、外科手術中にＲＯＩのＭＲ画像を取得するようにＭＲ撮像装置３２を制御するようにプログラムされる。ＧＵＩ２６が提供され、これにより、取得されたＭＲ画像は、腫瘍及び周囲血管の輪郭でラベル付けされる（１０４に類似）。ＵＳスキャナ１４及びプローブ１２は、ＵＳ画像の更新シリーズを取得するように少なくとも１つの電子プロセッサ２０によって制御される。ＧＵＩ２６は、腫瘍及び周囲血管の輪郭でラベル付けされる前記取得されたＵＳ画像の更新シリーズによって提供又は更新される。前記ＵＳ画像の更新シリーズは、患者調整トレーニングＮＮ３０を更新調整するために使用される。

他の実施形態では、前記ライブ脳画像の取得は、中断され、少なくとも１つの電子プロセッサ２０は、選択されたライブ脳画像が腫瘍及び周囲血管の輪郭でラベル付けされるＧＵＩ２６を提供するようにプログラムされる。ＮＮ３０は、前記選択及びラベル付けされたライブ脳画像を使用して前記ライブ輪郭を生成するように更新調整される。

１１４において、少なくとも１つの電子プロセッサ２０は、前記ライブ輪郭を重ね合わされた前記ライブＵＳ画像を表示するように表示装置２４を制御するようにプログラムされる。いくつかの例では、表示装置２４上の表示が、空間的に位置合わせされた術前磁気共鳴画像からの基準輪郭を重ね合わされた前記ライブ輪郭を含む。前記ＭＲＩ画像は、前記ＵＳライブ画像と空間的に位置合わせされることができ、いくつかの例では、前記術前ＭＲＩ画像は、外科医が見ることができるように、手術中に別個のウィンドウに表示されることができる。

例

この開示は、ＭＲＩ対ＵＳで異なる腫瘍がどのように見えるか、何が類似する特徴又は異なる特徴であるかを理解するために、セグメント化された（すなわち輪郭描出された）術前ＭＲＩ、術前ＵＳ、セグメント化された術中ＭＲＩ及び術中ＵＳに対してトレーニングするために、畳み込み（convolutional）ニューラルネットワーク（ＣＮＮ）を用いるディープラーニングを使用する機械学習フレームワークを含む。トレーニングの間、ＭＲＩは、追跡された取得により、前記トレーニングデータとして機能する前記ＵＳ画像上に重ね合わされる、手動で実行されるセグメンテーションによって、グラウンドトゥルース（ground truth）を提供する。

一度前記ネットワークがトレーニングされると、手術中に外科医によって使用されるワークステーション上にソフトウェアとして展開され、代わりに、前記術前ＭＲＩ及びＵＳ画像に基づいて術中ＵＳ検査中に追加の情報を提供するために、超音波スキャナ上にロードされることができる。

脳神経外科手術中の自動腫瘍識別のためのディープニューラルネットワークをトレーニングするために必要なデータは、位置合わせされた超音波（ＵＳ）及び磁気共鳴（ＭＲ）画像対から成る。前記ＭＲ画像は、ほとんどの脳病変がＭＲ画像において可視であり、ＭＲ画像からセグメント化されるので、グラウンドトゥルースとして機能する。ここで、全てのセグメンテーションは、当分野の専門家によって実行されると仮定され、したがって、グランドトゥルースである。前記セグメンテーションは、腫瘍体積の内側が１の値を持ち、外側が０の値を持つバイナリ体積マトリクスとして表される。対応するＵＳ画像データは、常に、ＵＳ画像とＭＲ画像との間の高精度の位置合わせが実行されることができるように追跡されながら取得される。追跡された術前及び手術ＵＳ画像（術中ＵＳは、対になるマッチする術中のセグメント化されたＭＲ画像が存在する場合にのみ使用されることができる）は、トレーニングサンプルと呼ばれる堆積を作成するために使用される。各トレーニングサンプルについて、前記トレーニングは、対応する位置合わせされたセグメンテーション体積を用いて実行される。最後に、セグメンテーション情報は、前記超音波画像内の腫瘍を識別するために、前記超音波画像上に伝えられる。

図３は、例示的な畳み込みニューラルネットワークの概略図を示す。入力は、追跡され位置合わせされた超音波画像から生成された体積である。目標値は、ＭＲ画像から手動で得られた同じ幾何学形状のバイナリセグメンテーションマップである。

前記畳み込みニューラルネットワークの目的は、超音波画像から残りの腫瘍セグメンテーションを決定することであり、したがって、前記入力としてのＵＳ画像を持つネットワークアーキテクチャが、提案される。このネットワークをトレーニングするために、前記入力された超音波画像上に重ね合わされた前記ＭＲ画像を処理することによって得られた目標（トレーニング中に使用されるグラウンドトゥルース出力）セグメンテーション結果が、使用される。このようなアーキテクチャは、プーリング層と結合された最初の層内の幾つかの畳み込み層を使用する。典型的には、畳み込み層の後には、１つ以上の完全に接続された層が続き、最後には前記バイナリセグメンテーションマップの画素値に対して確率値を返す出力層が続く。

前記ネットワークは、十分に大きなトレーニングデータのための逆伝搬のような標準的なニューラルネットワークトレーニング技術を用いてトレーニングされる。腫瘍外観において大きな患者間のばらつきが存在する可能性があり、最初の集団ベースのトレーニング後のモデルの出力が、各症例に対して十分に正確ではないかもしれない。これに対処するために、前記ネットワークは、手術の日に、開頭術後に取得された前記術前ＭＲ及びＵＳ画像を使用して微調整される。この患者固有の微調整ステップは、前記ワークフローの本質的な部分であり、モデルが手術中に使用される特定のケースに適合するのを助ける。神経外科医は、手術中の任意の時点で前記ワークフローを中断することなく、超音波スイープを実行することができる。結果として得られた追跡及び位置合わせされたＵＳ体積は、前記スイープされた体積内の残存腫瘍の予測を行うために前記ニューラルネットワークに送られる。腫瘍領域を示す予測されたセグメンテーションマップは、前記バイナリセグメンテーションマップの境界の輪郭として、又は前記画像の上に重ねられ、腫瘍領域の確率を示す疑似カラーでのいずれかで表示されることができる。

これらの２つの表示フォーマットは、図４に示され、図４は、前記画像の「左」側に腫瘍部位を予測する輪郭を示し、「右」側は、腫瘍の確率を表示するヒートマップを示し、腫瘍位置の尤度が増加することにつれて、色の陰影が暗くなる。

代わりに、追跡された術中ＵＳスイープが、実行されることができ、全ての出力画像は、残りの腫瘍位置が前記ニューラルネットワーク予測を使用してマークされる、新しい更新された位置合わせされた体積を構築するのに使用される。次いで、この最近取得された体積及びその予測されたセグメンテーションは、追跡された切除又は他の介入ツールに対して残りの腫瘍を表示するのに使用される。

代替実施形態では、術中ＭＲが手術中に存在する場合、強化学習フレームワークを使用して前記トレーニングされたネットワークを更に微調整することが可能である。前記トレーニングされたネットワークは、前記術中超音波体積から予測を行うために依然として使用されることができ、次いで、これらは、前記術中ＭＲからのセグメンテーションと比較される。このモデルは、非腫瘍組織を腫瘍として誤って推定すること、又はその逆に対してペナルティを科されることができる。これは、前記モデルが現在のケースに適応し、現在のケースのより正確な将来予測を行うのに役立つ。

前記トレーニングされたニューラルネットワークは、手術中に予測を行うためにソフトウェアに埋め込まれる。このソフトウェアは、前記超音波スキャナ上で実行されて、画像が取得されているときにリアルタイムで残留腫瘍セグメンテーションを推定することができる。

本開示は、好ましい実施形態を参照して説明されてきた。前述の詳細な説明を読み、理解すると、修正及び変更が、他者に思い浮かぶ可能性がある。本開示は、添付の特許請求の範囲又はその均等物の範囲内に入る限り、そのような全ての修正及び変更を含むものと解釈されることが意図される。

Claims (20)

1. 超音波スキャナ及び前記超音波スキャナに動作可能に接続された超音波プローブと、
   少なくとも１つの電子プロセッサと、
   を有する超音波装置において、
   前記少なくとも１つの電子プロセッサが、
   患者の関心領域内の腫瘍及び周囲血管の一連の術前画像を取得するように前記超音波スキャナ及び超音波プローブを制御し、
   前記取得された術前画像が前記関心領域内の腫瘍及び周囲血管の輪郭でラベル付けされるグラフィカルユーザインタフェースを提供し、
   患者調整トレーニングニューラルネットワークを生成するように前記ラベル付けされた術前画像を使用して前記患者に対してトレーニングされたニューラルネットワークを調整し、
   前記患者の関心領域内の腫瘍及び周囲血管のライブ画像を取得するように前記超音波スキャナ及び超音波プローブを制御することによりライブ撮像を実行し、
   前記腫瘍及び周囲血管のライブ輪郭を出力するように前記患者調整トレーニングニューラルネットワークに前記ライブ画像を入力し、
   前記ライブ輪郭を重ね合わせた前記ライブ画像を表示するように表示装置を制御する、
   ようにプログラムされる、
   超音波装置。
2. 前記少なくとも１つの電子プロセッサが、
   前記ライブ輪郭を重ね合わされ、空間的に位置合わせされた術前磁気共鳴画像からの輪郭を重ね合わされた前記２次元ライブ画像を表示する、
   ように構成される、請求項１に記載の装置。
3. 前記少なくとも１つの電子プロセッサが、
   前記調整の前に、前記トレーニングされたニューラルネットワークを生成するように異なる患者の同様の関心領域の撮像データを用いてニューラルネットワークをトレーニングする、
   請求項１及び２のいずれか一項に記載の装置。
4. 前記少なくとも１つの電子プロセッサが、
   前記２次元ライブ超音波画像のうちの選択された１つ又は複数が前記関心領域内の腫瘍及び周囲血管の輪郭でラベル付けされる前記グラフィカルユーザインタフェースを提供し、
   前記ラベル付けされた２次元ライブ超音波画像を用いて前記患者調整トレーニングニューラルネットワークを更新調整する、
   ように更にプログラムされる、請求項３に記載の装置。
5. 前記少なくとも１つの電子プロセッサが、
   外科的処置の間、前記関心領域の磁気共鳴画像を取得するように磁気共鳴撮像装置を制御し、
   前記取得された磁気共鳴画像が腫瘍及び周辺血管の輪郭でラベル付けされる前記グラフィカルユーザインタフェースを提供し、
   超音波画像の更新シリーズを取得するように前記超音波スキャナ及び超音波プローブを制御し、
   前記取得された超音波画像の更新シリーズが、前記腫瘍及び周囲血管の輪郭でラベル付けされる、前記グラフィカルユーザインタフェースを提供し、
   前記掉尾画像の更新シリーズを用いて前記患者調整トレーニングニューラルネットワークを更新調整する、
   ように更にプログラムされる、請求項３に記載の装置。
6. 前記ニューラルネットワークが、再帰型ニューラルネットワークである、請求項１乃至５のいずれか一項に記載の装置。
7. 前記関心領域が、脳である、請求項１乃至６のいずれか一項に記載の装置。
8. ライブ脳撮像方法を実行するように超音波システム及び表示装置と動作可能に通信するプロセッサによって読取可能かつ実行可能な命令を記憶する非一時的記憶媒体において、前記方法が、
   ２次元ライブ脳画像を取得するように前記超音波システムを制御するステップと、
   前記２次元ライブ脳画像内に撮像された腫瘍及び周囲血管のライブ輪郭を生成するように前記２次元ライブ脳画像にニューラルネットワークを適用するステップと、
   前記ライブ輪郭を重ね合わされた前記２次元ライブ脳画像を提示するように前記表示装置を制御するステップと、
   有する、非一時的記憶媒体。
9. 前記ライブ脳撮像方法が、
   前記ライブ脳画像を取得する前に、一連の２次元術前脳画像を取得するように前記超音波システムを制御するステップと、
   前記２次元術前脳画像が、前記腫瘍及び周囲血管の輪郭でラベル付けされるグラフィカルユーザインタフェースを提供するステップと、
   前記ラベル付けされた２次元術前画像を使用して、前記ライブ輪郭を生成するのに使用される前記ニューラルネットワークを調整するステップと、
   を更に有する、請求項８に記載の非一時的記憶媒体。
10. 前記ライブ脳撮像方法が、
    生きた脳画像の取得を中断し、選択されたライブ脳画像が前記腫瘍及び周囲血管の輪郭でラベル付けされる前記グラフィカルユーザインタフェースを提供するステップと、
    前記選択されラベル付けされたライブ脳画像を使用して、前記ライブ輪郭を生成するのに使用される前記ニューラルネットワークを更新調整するステップと、
    を更に有する、請求項９に記載の非一時的記憶媒体。
11. 前記ライブ脳撮像方法が、
    前記２次元ライブ脳画像を取得するように前記超音波システムを制御する前に、前記腫瘍及び周辺血管の輪郭でラベル付けされた以前の患者のラベル付けされた超音波脳画像を使用して、前記ライブ輪郭を生成するのに使用される前記ニューラルネットワークをトレーニングするステップ、
    を更に有する、請求項８乃至１０のいずれか一項に記載の非一時的記憶媒体。
12. 前記表示装置を制御するステップが、
    前記ライブ輪郭を重ね合わされ、かつ前記２次元ライブ脳画像と空間的に位置合わせされた術前磁気共鳴画像から取得された基準輪郭を重ね合わされた前記２Ｄライブ脳画像を提示するように前記表示装置を制御するステップ、
    を有する、請求項８乃至１１のいずれか一項に記載の非一時的記憶媒体。
13. 超音波スキャナ及び前記超音波スキャナに動作可能に接続された超音波プローブと、
    少なくとも１つの電子プロセッサと、
    を有する超音波装置において、前記少なくとも１つの電子プロセッサが、
    関心領域の２次元ライブ画像を取得するように前記超音波スキャナ及び前記超音波プローブを制御し、
    前記２次元ライブ画像において撮像された腫瘍及び周囲血管のライブ輪郭を生成するように前記２次元ライブ脳画像にニューラルネットワークを適用し、
    前記ライブ輪郭を重ね合わせて前記２次元ライブ画像を提示するように表示装置を制御する、
    ようにプログラムされる、超音波装置。
14. 前記少なくとも１つの電子プロセッサが、
    前記ライブ画像を取得する前に、一連の２次元術前画像を取得するように前記超音波スキャナ及び前記超音波プローブを制御し、
    前記２次元術前脳画像が前記腫瘍及び周囲血管の輪郭でラベル付けされるグラフィカルユーザインタフェースを提供し、
    前記ラベル付けされた２次元術前画像を使用して、前記ライブ輪郭を生成するのに使用される前記ニューラルネットワークを調整する、
    ように更にプログラムされる、請求項１３に記載の装置。
15. 前記少なくとも１つの電子プロセッサが、
    前記ライブ画像の取得を中断し、選択されたライブ画像が前記腫瘍及び周囲血管の輪郭でラベル付けされるグラフィカルユーザインタフェースを提供し、
    前記選択されラベル付けされたライブ画像を使用して、前記ライブ輪郭を生成するのに使用される前記ニューラルネットワークを更新調整する、
    ように更にプログラムされる、請求項１３及び１４のいずれか一項に記載の装置。
16. 前記少なくとも１つの電子プロセッサが、
    前記２次元ライブ画像を取得するように前記超音波スキャナ及び前記超音波プローブを制御する前に、前記腫瘍及び周囲血管の輪郭でラベル付けされた以前の患者のラベル付けされた超音波画像を使用して、前記ライブ輪郭を生成するのに使用される前記ニューラルネットワークをトレーニングする、
    ように更にプログラムされる、請求項１３乃至１５のいずれか一項に記載の装置。
17. 前記少なくとも１つの電子プロセッサが、
    前記ライブ輪郭を重ね合わされ、前記２次元ライブ画像と空間的に位置合わせされた術前磁気共鳴画像から取得された基準輪郭を重ね合わされた前記２次元ライブ画像を提示するように前記表示装置を制御する、
    ように更にプログラムされる、請求項１３乃至１７のいずれか一項に記載の装置。
18. 前記少なくとも１つの電子プロセッサが、
    外科的処置の間、前記関心領域の磁気共鳴画像を取得するように磁気共鳴撮像装置を制御し、
    前記取得された磁気共鳴画像が前記腫瘍及び周辺血管の輪郭でラベル付けされる前記グラフィカルユーザインタフェースを提供し、
    前記２次元超音波画像の更新シリーズを取得するように前記超音波スキャナ及び前記超音波プローブを制御し、
    前記取得された超音波画像の更新シリーズが前記腫瘍及び周囲血管の輪郭でラベル付けされる前記グラフィカルユーザインタフェースを提供し、
    前記２次元超音波画像の更新シリーズを用いて、前記患者調整トレーニングニューラルネットワークを更新調整する、
    ように更にプログラムされる、請求項１６及び１７のいずれか一項に記載の装置。
19. 前記ニューラルネットワークが、再帰型ニューラルネットワークである、請求項１３乃至１８のいずれか一項に記載の装置。
20. 前記関心領域が、脳である、請求項１３乃至１９のいずれか一項に記載の装置。

Images