JP2020512096A - ３次元超音波体積内の関心オブジェクトを視覚化する少なくとも１つの最終２次元画像の決定 - Google Patents

Abstract

本発明は、３次元超音波体積の中の関心オブジェクトを視覚化する少なくとも１つの最終２次元画像又はスライスを決定する装置（２）及び方法（１００）に関する。少なくとも１つの最終２次元画像を決定する方法（１００）であって、前記方法は、ａ）患者身体の身体領域の３次元画像を提供するステップ（１０１）であって、少なくとも１つの放射線源を固定するよう構成されるアプリケータが前記身体領域に挿入される、ステップと、ｂ）初期方向を提供するステップ（１０２）であって、特に前記３次元画像内の初期方向をランダムに決定する、ステップと、ｃ）ステップｓ１）からｓ４）の以下のシーケンス：ｓ１）処理ユニットにより、前記３次元画像内のセット方向を、最初のシーケンスの前記初期方向に基づき又は前のシーケンスの間に決定された確率マップに基づき、決定するステップ（１０４）、ｓ２）前記処理ユニットにより、２次元画像の画像セットを前記３次元画像から抽出し、その結果、前記画像セットの前記２次元画像が前記セット方向と同軸に且つ続いて配置されるようにする、ステップ（１０５）、ｓ３）前記処理ユニットにより、アプリケータ・プレトレーニング分類方法を前記画像セットの前記２次元画像の各々に適用するステップ（１０６）であって、前記画像セットの前記２次元画像の各々について、前記画像セットのそれぞれの２次元画像の中で断面図で前記アプリケータの描写される、特に完全に描画される確率を示す確率スコアを生成する、ステップ、ｓ４）前記処理ユニットにより、前記画像セットの前記２次元画像の前記確率スコアを前記セット方向に関して表す確率マップを決定するステップ（１０７）、を繰り返すステップ（１０３）と、ｄ）前記処理ユニットにより、最後のシーケンスを終了した後に、最高確率スコアに関連付けられた２次元画像を、特に前記最後のシーケンスの間に決定された画像セットから、前記最終２次元画像として決定するステップ（１０８）と、を含む。本発明は、３次元超音波体積内に関心オブジェクト、例えばアプリケータ（６）を有する必須スキャン平面を提供することにより、超音波体積が所要の臨床情報を有することを保証するために、効率的な方法を提供する。

Description

本発明は、３次元超音波体積の中の関心オブジェクトを視覚化する少なくとも１つの最終２次元画像又はスライスを決定する装置及び方法に関する。

小線源療法では、１つ以上の放射線源が、腫瘍を含む治療領域において患者身体内に置かれる。各放射線源は、電離放射線を放出して、組織内に含まれる癌細胞を破壊するという主な目標をもって、周囲組織を治療する。一般に一時的小線源療法と呼ばれる、ある種の小線源療法では、放射線源は、所定の放射線量を特に癌細胞に適用するために、所定の短時間間隔の間、治療領域内に置かれる。この種の小線源療法は、子宮頸癌、及び前立腺癌／頸癌のような他の種類の癌の効率的治療を求める。

放射線源を治療領域内に置くために、所謂、アプリケータが使用される。放射線治療を準備するために、アプリケータは、放射線源を含まずに治療領域に挿入される。アプリケータが正しく位置決めされると、放射線量計算ユニットが、適用されるべき線量分布を、特にアプリケータと腫瘍との相対位置に基づき及び治療領域の解剖学的配置に基づき、決定する。この線量分布に基づき、次に、アプリケータ内の１つ以上の放射線源の位置及び治療時間を指定する照射計画が決定される。その結果、癌細胞は十分に治療され、癌細胞の周囲の傷つき易い組織（リスク器官とも呼ばれる）が可能な最低放射線量を受けるようにする。その後、放射線源は、照射計画に従いアプリケータ内へ届けられる。

アプリケータの配置を誘導するのを助けるために、適切な画像モダリティを用いて取得される治療領域の画像が使用される。さらに、線量分布及び照射計画は、アプリケータが正しく位置決めされたとき取得される画像に基づき決定される。これに関して、照射計画は、時には、異なる（直交）方向から取得されてよい幾つかの２次元超音波画像に基づき決定される。発展途上国では、超音波は関心のある重要なモダリティであることが判明している。これは、コンピュータ断層撮像法又は磁気共鳴断層撮像法のような他の代替モダリティが高コスト負担のために限られるからである。

変化する次元のデータが、例えば超音波診断画像システム及び心臓の標準的観測面の自動取得をリアルタイムに可能にする方法に関連するＷＯ２０１５／０６８０９９Ａ１におけるような様々な臨床活動を実行するために、関心オブジェクトのより良好な視覚化のためにキャプチャされる。このような状況で、３次元超音波は、２０年より長い間、研究されている。計算技術及びスキャナ技術の近年の進歩により、自動３次元プローブによる体積の取得は、少ない複雑性を有するようになってきており、３次元超音波により取得される画像の品質が向上されており、従来の超音波Ｂモード画像も匹敵するようになっている。より広い視野の取得は、体積データの利点の１つである。しかしながら、同時に、スキャン平面は、超音波測定のために臨床的に受け入れ可能でなければならない。以上からの逸脱は、所望の情報を得るために、医師に複数の超音波画像セットを取得することを要求することがあり、したがって彼らの臨床業務に影響を与える。

３次元超音波体積内に関心オブジェクト、例えばアプリケータを有する必須スキャン平面を提供することにより、超音波体積が所要の臨床情報を有することを保証するために、効率的な方法を提供する必要がある。

本発明の目的は、独立請求項の主題により解決される。ここで、更なる実施形態は、従属請求項に組み込まれる。

留意すべきことに、以下に記載される本発明の態様は、機器、システム、方法、コンピュータプログラムエレメント、及びコンピュータ可読媒体にも適用する。

少なくとも１つの最終２次元画像を決定する装置が提供され、前記装置は、入力インタフェースと、処理ユニットと、を含み、前記入力インタフェースは、患者身体の身体領域の３次元画像を受信するよう構成され、少なくとも１つの放射線源を固定するよう構成されるアプリケータが前記身体領域に挿入され、前記処理ユニットは、前記３次元画像内の初期方向をランダムに決定し、前記初期方向を表す信号を前記入力インタフェースを介して受信する又は所定方向を前記初期方向としてアクセスするよう構成され、前記処理ユニットは、ステップｓ１）からｓ４）の以下のシーケンス：ｓ１）前記３次元画像内のセット方向（set direction）を、最初のシーケンスの前記初期方向に基づき又は前のシーケンスの間に決定された確率マップに基づき、決定し、ｓ２）２次元画像の画像セットを前記３次元画像から抽出し、その結果、前記画像セットの前記２次元画像が前記セット方向と同軸に且つ続いて配置されるようにし、ｓ３）アプリケータ・プレトレーニング分類方法を前記画像セットの前記２次元画像の各々に適用して、前記画像セットの前記２次元画像の各々について、前記画像セットのそれぞれの２次元画像の中で断面図で前記アプリケータの描写される、特に完全に描画される確率を示す確率スコアを生成し、ｓ４）前記画像セットの前記２次元画像の前記確率スコアを前記セット方向に関して表す確率マップを決定する、を繰り返すよう構成され、前記処理ユニットは、最後のシーケンスを終了した後に、最高確率スコアに関連付けられた２次元画像を、特に前記最後のシーケンスの間に決定された画像セットから、前記最終２次元画像として決定するよう構成される。

３次元画像は、３次元体積又は３次元スライスとも呼ばれてよい。

本発明の基本的思想は、超音波測定により取得された知られている体積３次元身体領域を取り入れ、関心オブジェクト、つまりアプリケータの十分な説明を含むスライスを自動的に探すことである。第１ステップで、身体領域の３次元ニッチ（niche）は、スライスされたランダムに決定された方向である。スライスは、３次元身体領域の仮想スライスである。さらに、スライスは、互いに一定距離を有してよく、それらは同軸である。

スライスのうちの少なくとも１つはアプリケータ画像の一部を含む。複数のスライスの確率マップを決定するとき、アプリケータの部分を含むスライスは、高い確率スコアを得る。確率スコアは、画像セットの２次元画像の確率マップ内に表される。

確率マップに基づき、新しいスライスセットが新しい方向に生成される。該方向は、確率マップ分析に基づき決定される。新しい方向について、新しい確率マップが決定される。確率マップを決定するシーケンスは、確率マップが、対応する画像セットがアプリケータの十分に良好な表現を有するスライスを含むことを示すまで、繰り返される。

医師が最適画像を見付けるために直交する平面を通じて閲覧するのに費やす時間は、本発明により削減される。さらに、アプリケータの長手軸の「平面内」ビューを有する２次元ビューを生成することが可能であり得る。

一例によると、最終２次元画像は、最高確率スコアに関連付けられた２次元画像により、特に最後のシーケンスの間に決定された画像セットから、形成される。

さらに、別の例では、処理ユニットは、ステップｓ２）を実行し、その結果、画像セットの２次元画像が身体領域の仮想スライスを表すようにする。効果として、画像と仮想スライスとの間の対応が提供される。

特定の例では、処理ユニットは、確率マップを決定するために、ガウシアンフィッティングを画像セットの２次元画像の確率スコアに適用するよう構成される。効果として、確率は、セット方向又は２次元画像の数にそれぞれ関する確率スコアを表すガウス曲線を近似してよい。

別の例によると、ステップｓ４）は、サブステップ：ｓ４．１）現在画像セットの２次元画像の確率スコアのうちの最高確率スコアが、所定値より高い場合、又は、現在画像セットの２次元画像のうちの１つの２次元画像が、アプリケータを断面図で完全に描画する場合、シーケンスの繰り返しを終了するステップを含む。

更なる例では、ステップｓ４）は、サブステップ：ｓ４．２）標準偏差σを、現在シーケンスの間に決定された確率マップに基づき決定するステップ、及び、ｓ４．３）少なくとも１つの前のシーケンスの間に決定された標準偏差σが全ての決定された標準偏差σに関する最小標準偏差σを表す場合、シーケンスの繰り返しを終了するステップを含む。効果として、標準偏差の値は、シーケンスの繰り返しの停止基準の基礎を提供してよい。

更なる例によると、処理ユニットは、セット方向が確率マップに基づき決定される場合、ステップｓ１）を以下のサブステップ：ｓ１．１）標準偏差σを確率マップに基づき決定し、ｓ１．２）セット方向を標準偏差σに基づき決定する、と共に実行するよう構成される。効果として、セット方向を決定するステップは、反復最適化アルゴリズムに関連する（初期選択を除く）。

更なる例示的実施形態によると、装置は、ステップｓ１）セット方向が確率マップに基づき決定される場合、ステップｓ１）を以下のサブステップ：ｓ１．１）勾配バップを確率マップに基づき決定するステップ、及び、ｓ１．２）セット方向を勾配マップに基づき決定するステップ、と共に実行するよう構成される処理ユニットを含む。

別の例では、アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング深層学習分類方法である。

特定の例によると、アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング畳み込みニューラルネットワーク分類方法である。

本発明の第２の態様によると、患者身体の身体領域の少なくとも１つの最終２次元画像を決定する画像システムが提供され、少なくとも１つの放射線源を固定するよう構成されるアプリケータが前記身体領域に挿入され、前記システムは、超音波トランスデューサと、請求項１乃至１０のいずれか一項に記載の装置と、を含み、前記超音波トランスデューサは、前記身体領域の複数の２次元超音波画像を取得するよう構成され、前記システムは、前記身体領域の３次元画像を、前記複数の２次元超音波画像に基づき決定するよう構成される。

特定の例では、処理ユニットは、ステップｓ２）を実行し、その結果、交代される２次元超音波画像がそれぞれの画像セットに適合する場合、２次元画像が前記複数の２次元超音波画像のうちの１つ交代されるようにする。効果として、内挿アーチファクトが防止され又は低減され得る。

本発明の第３の態様によると、少なくとも１つの最終２次元画像を決定する方法が提供され、前記方法は、ａ）患者身体の身体領域の３次元画像を提供するステップであって、少なくとも１つの放射線源を固定するよう構成されるアプリケータが前記身体領域に挿入される、ステップと、ｂ）初期方向を提供するステップであって、特に前記３次元画像内の初期方向をランダムに決定する、ステップと、ｃ）ステップｓ１）からｓ４）の以下のシーケンス：ｓ１）処理ユニットにより、前記３次元画像内のセット方向を、最初のシーケンスの前記初期方向に基づき又は前のシーケンスの間に決定された確率マップに基づき、決定するステップ、ｓ２）前記処理ユニットにより、２次元画像の画像セットを前記３次元画像から抽出し、その結果、前記画像セットの前記２次元画像が前記セット方向と同軸に且つ続いて配置されるようにする、ステップ、ｓ３）前記処理ユニットにより、アプリケータ・プレトレーニング分類方法を前記画像セットの前記２次元画像の各々に適用するステップであって、前記画像セットの前記２次元画像の各々について、前記画像セットのそれぞれの２次元画像の中で断面図で前記アプリケータの描写される、特に完全に描画される確率を示す確率スコアを生成する、ステップ、ｓ４）前記処理ユニットにより、前記画像セットの前記２次元画像の前記確率スコアを前記セット方向に関して表す確率マップを決定するステップ、を繰り返すステップと、ｄ）前記処理ユニットにより、最後のシーケンスを終了した後に、最高確率スコアに関連付けられた２次元画像を、特に前記最後のシーケンスの間に決定された画像セットから、前記最終２次元画像として決定するステップと、を含む。

方法は、ｄ）処理ユニットにより、最後のシーケンスを終了した後に、最高確率スコアに関連付けられた２次元画像を、特に最後のシーケンスの間に決定された画像セットから、最終２次元画像として決定するステップ、を更に含む。

ステップの順序に関し、ステップａ）はステップｄ）の前に実行されることに留意する。ステップｂ）は、事前に計算され又は準備されてよい。ステップｃ）について、ステップａ）及びｂ）が実行されていなければならない。ステップｄ）はステップｃ）の後に実行される。

本発明の第４の態様によると、処理ユニットにより実行されると、前述の方法を実行するよう適応されるコンピュータプログラムエレメントが提供される。

本発明の第５の態様によると、処理ユニットにより実行されると、前述の方法を実行するよう適応されるコンピュータプログラムエレメントを格納したコンピュータ可読媒体が提供される。

本発明の上述の及び他の態様は、本願明細書に記載される実施形態から明らかであり、それらの実施形態を参照して教示される。

本発明の例示的な実施形態は、以下の図面を参照して以下に記載される。
少なくとも１つの最終２次元画像を決定する装置を含む画像システムの実施形態の概略図を示す。 身体領域のスライスに関する方法のステップ及び結果として生じる確率マップの実施形態の概略図を示す。 方法の実施形態の概略図を示す。 方法の別の実施形態の概略図を示す。 ステップｓ１）の実施形態を示す。 ステップｓ１）の実施形態を示す。 コンピュータ可読媒体の実施形態の概略図を示す。

少なくとも１つの最終２次元画像を決定する画像システム及び装置を更に記載する前に、少なくとも１つの最終２次元画像を決定する方法の例が図３を参照して更に詳細に記載される。

図３は、少なくとも１つの最終２次元画像を決定する方法１００を示す。方法１００は幾つかのステップを含む。

第１ステップ１０１で、患者身体の身体領域の３次元画像が提供される。アプリケータは、少なくとも１つの放射線源を身体領域内に固定するために、患者身体に導入される。一例では、患者身体の身体領域の３次元画像は、超音波測定により取得される。さらに、患者身体の身体領域の３次元画像は、超音波測定により取得される２次元画像により決定されてよい。

第２ステップ１０２で、及び３次元画像内の初期方向が提供される。一例では、初期方向はランダムに提供されてよい。これは、方法が、患者の身体領域の３次元画像内の任意の方向を提供できることを意味する。

一例では、初期方向は、３次元画像の所定のデカルト方位のうちの１つとして決定される。

更なる例では、初期方向は、初期方向を表す信号により提供されてよい。

一例では、初期方向は、サーバ又はメモリ装置にアクセスすることにより提供されてよい。

第３ステップ１０３では、ステップのシーケンスが開始され繰り返される。以下では、シーケンスのステップが記載される。

第４ステップ１０４では、第１シーケンスの初期方向に基づく３次元画像内のセット方向（set-direction）が処理ユニットにより決定される。シーケンスの前のシーケンスが実行された場合、３次元画像内のセット方向は、前のシーケンスの少なくとも１つの確率マップに基づき決定される。これは、ステップ１０３に従いシーケンスを開始するとき、最初に第１シーケンスが開始されることを意味する。第１シーケンスでは、ステップ１０２で取得される初期方向は、以下のステップのセット方向を表す。第２シーケンスで開始し、つまり、シーケンスの第１の繰り返しでは、前のシーケンスのうちの少なくとも１つの確率マップが、シーケンスの第１の繰り返しのセット方向を決定するために使用される。

一例では、第４ステップ１０４は、３次元画像のセット方向を、アプリケータのコンパクト表現をフェッチする確率マップに対する統計分析を通じて識別するサブステップを含んでよい。

第５ステップ１０５で、２次元画像の画像セットは、３次元画像から処理ユニットにより抽出される。抽出が実行され、その結果、画像セットの２次元画像は、セット方向に同軸に及びその後に配置される。これは、患者の身体領域の３次元画像が、セット方向に沿ってセット方向に直交して平行平面セットにスライスされることを意味する。各平面は、それにより２次元画像を表す。複数の平面は、３次元画像からの２次元画像のセットを表す。

一例では、画像セットの２次元画像は、身体領域の仮想スライスを表す。これは、３次元画像が仮想的にスライスされ、２次元画像を取得することを意味する。効果として、画像と仮想スライスとの間の対応が提供される。

一例では、２次元画像は全部で３次元画像を表す。

効果として、３次元画像は、各シーケンスの第５ステップ１０５の間に、２次元画像に分割される。したがって、それぞれの確率スコアの評価毎に、常に３次元画像全体が２次元画像を介して間接的に考えられる。

第６ステップ１０６で、アプリケータ・プレトレーニング分類方法は、処理ユニットにより設定された画像の２次元画像の各々に、適用される。アプリケータ・プレトレーニング分類方法は、画像セットの２次元画像の各々の確率スコアを決定する。２次元画像について決定される確率スコアは、アプリケータが該２次元画像内に描写されている確率を示す。身体領域の３次元画像はアプリケータの画像を含むので、２次元画像はアプリケータの断面図の少なくとも一部を含み得る。最高確率スコアは、アプリケータの断面図がアプリケータの長手軸に沿うアプリケータの断面を示す場合に与えられる。ここで、長手軸はアプリケータ内部の最長の軸である。これは、２次元画像がアプリケータの長手軸を含む場合、アプリケータの完全断面が該２次元画像内に完全に示されることを意味する。

最低確率スコアは、アプリケータ・プレトレーニング分類方法が対応する２次元画像内にアプリケータの画像のいかなる部分も発見しない場合に指定されてよい。

一例では、アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング深層学習分類方法である。

別の例では、アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング畳み込みニュ―ラルネットワーク位置特定方法である。

更なる例では、アプリケータ・プレトレーニング分類方法は、グーグルネット（google net）アーキテクチャにより又はハイパーパラメータ微調整によりプレトレーニングされる。

第７ステップ１０７で、処理ユニットは、セット方向に関し画像セットの２次元画像の確率スコアを表す確率マップを決定する。これは、確率スコアが、確率マップにマッピングされることを意味する。ここで、マップのｘ軸は、該確率スコアの２次元画像の位置を表し、ｙ軸は、２次元画像についてアプリケータ・プレトレーニング分類方法により決定される確率スコアを表す。

一例では、ガウシアンフィッティングが、確率マップを決定するために、画像セットの２次元画像の確率スコアに対して実行される。効果として、確率は、セット方向又は２次元画像の数にそれぞれ関する確率スコアを表すガウス曲線を近似してよい。

例示的な実施形態では、第７ステップ１０７はサブステップ１０９を含む。

サブステップ１０９で、現在画像セットの２次元画像の確率スコアの高い確率スコアが所定値より高い場合、シーケンスの繰り返しは終了される。代替として、現在画像の２次元画像のうちの１つの２次元画像が断面図でアプリケータを完全に描写する場合、シーケンスの繰り返しは終了される。これは、３次元画像のスライスがアプリケータの長手軸を含む、又はアプリケータの長手軸に少なくとも平行でありアプリケータの断面図を含む場合、シーケンスが終了されることを意味する。代替として、長手軸と３次元画像のスライスとの間の角度が特定閾より低く、その結果、スライスのうちの１つの確率スコアが所定閾値を超える場合も、シーケンスは終了される。

一例では、それぞれの最高値に対応する２次元画像が断面図でアプリケータを少なくとも殆ど完全に描写すると想定できるように、所定値が選択され又は予め定められる。

図４に示される更なる例示的な実施形態では、第７ステップ１０７はサブステップ１１０及び１１１を更に含む。

ステップ１１０で、確率マップに基づく標準偏差σが現在シーケンスを用いて決定される。これは、現在シーケンスの確率マップの確率スコアの最大値が決定されることを意味する。次に、該最大値からの複数の率スコアの標準偏差σが決定される。

第８ステップ１１１で、決定した標準偏差σが全ての決定した標準偏差σに関して最小標準偏差σを表す場合、シーケンスの繰り返しが終了される。したがって、現在シーケンスの決定した標準偏差σは、前のシーケンスの決定した標準偏差σと比較される。前のシーケンスのうちの１つが全てのシーケンスに関して最小標準偏差σを含む場合、つまり、現在シーケンスの標準偏差σが前のシーケンスのうちの１つより高い場合、シーケンスの繰り返しが停止される。

効果として、標準偏差の値は、シーケンスの繰り返しの停止基準の基礎を提供してよい。

ステップ１０４〜１０７は、第３ステップ１０３の繰り返しシーケンスの部分である。一例では、シーケンスは、複数回繰り返されてよい。各シーケンスにおいて、改良されたセット方向が決定されてよい。該方向に沿って、２次元画像のセットが（同じ）３次元画像から抽出される。各画像に関連付けられた確率は、それぞれの２次元画像内のアプリケータの指示のコンパクト性に関する情報を提供してよい。確率は、２次元画像の確率に基づき決定されてよい。次のシーケンスにおいて、この確率マップが、新しいセット方向を決定するために考慮されてよい。したがって、セット方向の最適化が達成され得る。効果として、最適又は最も良いセット方向に沿って取得された画像は、それぞれ、アプリケータの（非常に）コンパクトな表現を示す少なくとも１つの２次元画像を含み得る。したがって、少なくとも１つの画像は、完全なアプリケータの断面図を示し得る。

ステップ１０８で、処理ユニットは、最後のシーケンスを終了した後に、最高確率スコアに関連付けられた２次元画像から、最終２次元画像を決定する。

一例では、最高確率スコアは、最後のシーケンスの画像セットから決定される。これは、処理ユニットが、最後のシーケンスからの最高確率スコアを有する２次元画像を最終２次元画像として指定することを意味する。これは、最終２次元画像が、当該方法により発見されるアプリケータの最良断面図を含むことを意味する。最終２次元画像は、患者の身体領域内のアプリケータの位置を示すために職員に提示されてよい。

一例では、確率は、ガウシアン確率マップを表してよい。ここで、標準偏差はシーケンスからシーケンスへと減少する。したがって、最後のシーケンスの間に決定された確率マップは、最高確率スコアの決定される２次元画像を含み得る。

一例では、確率に基づきセット方向を決定するステップは、反復最適化アルゴリズム、特に勾配降下アルゴリズムの適用に関連してよい。

さらに、一例では、最終２次元画像は、画像セットの最高確率スコアに関連付けられた２次元画像により形成されてよい。

図５Ａは、第４ステップ１０４の例示的な実施形態を示す。この実施形態では、ステップ１０４は、サブステップ１１２及び１１３を含む。ステップ１１２及び１１３は、セット方向が少なくとも１つの前のシーケンスの確率マップに基づき決定される場合にのみ、実行される。

ステップ１１２で、確率マップに基づく標準偏差σが決定される。

ステップ１１３で、セット方向は、標準偏差σに基づき決定される。

標準偏差σが高い場合、現在シーケンスのセット方向は、前のシーケンスのセット方向から高い量だけ逸脱する。つまり、現在シーケンスのセット方向と前のシーケンスのセット方向との間の角度が大きい。標準偏差σが低い場合、現在シーケンスのセット方向は、前のシーケンスのセット方向からあまり逸脱しない。つまり、現在シーケンスのセット方向と前のシーケンスのセット方向との間の角度が小さい。

図５Ｂは、ステップ１０４の別の実施形態を示す。この実施形態では、ステップ１０４は、サブステップ１１４及び１１５を含む。ステップ１１４及び１１５は、セット方向が確率マップに基づき決定される場合にのみ、実行される。

ステップ１１４で、確率マップに基づく勾配マップが決定される。これは、３次元画像の隣接する２次元画像の確率スコアの間の勾配値が決定されることを意味する。勾配マップは、複数の決定された勾配値を含み、それらを３次元画像内の対応する２次元画像の位置にマッピングする。

ステップ１１５で、セット方向は、勾配マップに基づき決定される。これは、隣接する２次元画像の確率スコアの間の大きな変化を示す高い勾配値がセット方向に沿って大きな領域に分布している場合、現在シーケンスのセット方向が、前のシーケンスのセット方向から大きな量だけ逸脱することを意味する。つまり、２つの段階の方向間の角度が大きい。隣接する２次元画像の確率スコアの間の大きな勾配値がセット方向に沿って小さな領域に分布している場合、現在シーケンスの方向が、前のシーケンスのセット方向からあまり逸脱しないことを意味する。つまり、２つの段階の方向間の角度が小さい。

図１は、画像システム１を示す。画像システム１は、超音波トランスデューサ４、及び少なくとも１つの最終２次元画像を決定する装置２を含む。

超音波トランスデューサ４は、超音波により患者の身体領域を画像化するよう構成される。超音波トランスデューサ４は、身体領域の２次元超音波画像のセットを提供する。超音波トランスデューサ４により提供される画像は、システム１により該身体領域の３次元画像５に変換される。患者身体の身体領域のこの３次元画像５には、アプリケータ６の画像が示され得る。

装置２は、入力インタフェース２１、及び処理ユニット２２を含む。

出力インタフェース２１は、患者身体の身体領域の３次元画像５を受信するよう構成される。３次元画像５は、アプリケータ６の画像を含み得る。３次元画像は、３次元体積又は３次元スライスとも呼ばれてよい。

処理ユニット２２は、コンピュータプログラムエレメント３を実行するよう構成される。コンピュータプログラムエレメント３は、上述の方法１００のステップ１０４〜１０７を実行するよう構成されてよい。

図２を参照すると、一例では、処理ユニット２２は、３次元画像５内の初期方向１１をランダムに決定するよう構成される。

別の例では、処理ユニット２２は、入力インタフェース２１を介して初期方向１１を表す信号を受信する。したがって、ユーザは、所望の初期方向１１を入力インタフェース２１を介して入力してよい。

更なる例では、処理ユニット２２は、初期方向１１として所定方向にアクセスしてよい。所定方向は、例えば、処理ユニット２２又は別の場所に格納されてよい。

特定の例では、処理ユニット２２は、３次元画像の所定のデカルト方位のうちの１つを初期方向１１として決定するよう構成される。

さらに、処理ユニット２２は、３次元画像５内のセット方向１２を、最初のシーケンスの初期方向１１に基づき又は前のシーケンスの間に決定された確率マップ８に基づき、決定するよう構成される。

一例では、上述のステップ１０４は、３次元画像のセット方向を、アプリケータのコンパクト表現をフェッチする確率マップに対する統計分析を通じて識別するサブステップを含んでよい。

処理ユニット２２の例示的な実施形態では、処理ユニット２２は、セット方向１２が少なくとも１つの前のシーケンスの確率マップ８に基づき決定される場合にのみ実行される、セット方向１２を決定するサブステップを含む。

先ず、処理ユニット２２は、確率マップ８に基づき標準偏差σを決定する。

処理ユニット２２は、セット方向１２を標準偏差σに基づき決定する。標準偏差σが高い場合、現在シーケンスのセット方向１２は、前のシーケンスのセット方向１２から高い量だけ逸脱する。つまり、現在シーケンスのセット方向１２と前のシーケンスのセット方向１２との間の角度が大きい。標準偏差σが低い場合、現在シーケンスのセット方向１２は、前のシーケンスのセット方向１２からあまり逸脱しない。つまり、現在シーケンスのセット方向１２と前のシーケンスのセット方向１２との間の角度が小さい。

効果として、セット方向１２を決定するステップは、反復最適化アルゴリズムに関連する（初期選択を除く）。

処理ユニット２２の別の例示的な実施形態では、処理ユニット２２は、セット方向１２が前のシーケンスの確率マップ８に基づき決定される場合にのみ実行される、代替サブステップを含む。

先ず、処理ユニット２２は、確率マップ８に基づき勾配マップ１３を決定する。これは、３次元画像５の隣接する２次元画像７の確率スコア９の間の勾配値１４が決定されることを意味する。勾配マップ１３は、複数の決定された勾配値１４を含み、それらを３次元画像５内の対応する２次元画像７の位置にマッピングする。

次のステップで、処理ユニット２２は、セット方向１２を勾配マップ１３に基づき決定する。これは、高い勾配値１４の分布が多数の２次元画像７をカバーする、つまりセット方向１２に沿って延びる領域をカバーする場合、現在シーケンスのセット方向１２が、前のシーケンスのセット方向１２から逸脱する、つまり、現在及び前のシーケンスの２つのセット方向１２の間の角度が大きいことを意味する。２次元画像７の間の勾配値１４の分布が小さい、又はセット方向１２に沿って狭い領域に分布する場合、現在シーケンスのセット方向１２が、前のシーケンスのセット方向１２からあまり逸脱しないことを意味する。つまり、２つのセット方向１２の間の角度が小さい。

さらに、処理ユニット２２は、２次元画像７の画像セットを３次元画像５から抽出し画像化する。その結果、画像セットの２次元画像７は、セット方向１２に同軸に続けて配置される。一例では、処理ユニット２２による抽出は、２次元画像７が身体領域の仮想スライスを表すように実行される。

効果として、画像と仮想スライスとの間の対応が提供される。

一例では、処理ユニット２２は、２次元画像７の画像セットを抽出するよう構成される。その結果、２次元画像７が全体で３次元画像５を表す。

効果として、３次元画像５は、各シーケンスの２次元画像７の抽出の間に、２次元画像７に分割される。したがって、それぞれの確率スコア９の評価毎に、常に３次元画像５全体が２次元画像７を介して間接的に考えられる。

次に、処理ユニット２２は、アプリケータ・プレトレーニング分類方法を、アプリケータ６が画像セットのそれぞれの２次元画像７内に断面図で描写されている確率を示す画像セットの２次元画像７の各々に適用する。

一例では、アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング深層学習分類方法である。

更なる例では、アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング畳み込みニューラルネットワーク分類方法である。

特定の例では、アプリケータ・プレトレーニング分類方法は、グーグルネット（google net）アーキテクチャにより又はハイパーパラメータ微調整によりプレトレーニングされる。

さらに、処理ユニット２２は、セット方向１２に関し画像セットの２次元画像７の確率スコア９を表す確率マップ８を決定する。一例では、処理ユニット２２は、確率マップ８を決定するために、ガウシアンフィッティングを画像セットの２次元画像７の確率スコア９に適用する。

効果として、確率は、セット方向１２又は２次元画像７の数にそれぞれ関する確率スコア９を表すガウス曲線を近似する。

一例では、処理ユニットは、上述のシーケンスを複数回繰り返してよい。各シーケンスにおいて、改良されたセット方向１２が決定されてよい。該方向に沿って、２次元画像７のセットが（同じ）３次元画像５から抽出される。各画像に関連付けられた確率は、それぞれの２次元画像７内のアプリケータ６の指示のコンパクト性に関する情報を提供してよい。確率は、２次元画像７の確率に基づき決定されてよい。次のシーケンスにおいて、この確率マップ８が、新しいセット方向１２を決定するために考慮されてよい。したがって、セット方向１２の最適化が達成され得る。効果として、最適又は最も良いセット方向１２に沿って取得された画像は、それぞれ、アプリケータ６の（非常に）コンパクトな表現を示す少なくとも１つの２次元画像７を含み得る。したがって、少なくとも１つの画像は、完全なアプリケータ６の断面図を示し得る。

例示的な実施形態では、処理ユニット２２は、現在画像セットの２次元画像７の確率スコア８の高い確率スコア９が所定値より高い場合、シーケンスの繰り返し、つまりシーケンスの繰り返しを終了するよう構成される。代替として、処理ユニット２２は、現在画像セットの２次元画像７のうちの１つの２次元画像７が断面図でアプリケータ６を完全に描写する場合、シーケンスの繰り返しを終了する。これは、３次元画像５のスライスがアプリケータ６の長手軸１５を含む、又はアプリケータ６の長手軸１５に少なくとも平行でありアプリケータ６の断面図を含む場合、シーケンスが終了されることを意味する。代替として、長手軸１５と３次元画像５のスライスとの間の角度が特定閾より低く、その結果、スライスのうちの１つの確率スコア９が所定閾値を超える場合も、シーケンスは終了される。

一例では、それぞれの最高値に対応する２次元画像７が断面図でアプリケータ６を少なくとも殆ど完全に描写すると想定できるように、所定値が選択され又は予め定められる。

処理ユニット２２の更なる実施形態では、処理ユニット２２は、現在シーケンスの確率マップ８に基づき標準偏差σを決定する。これは、現在シーケンスの確率マップ８の確率スコア９の最大値が決定されることを意味する。次に、該最大値からの複数の率スコア９の標準偏差σが決定される。

次に、処理ユニット２２は、決定した標準偏差σが全ての決定した標準偏差σに関して最小標準偏差σを表す場合、シーケンスの繰り返しを停止する。したがって、現在シーケンスの決定した標準偏差σは、前のシーケンスの決定した標準偏差σと比較される。前のシーケンスのうちの１つが全てのシーケンスに関して最小標準偏差σを含む場合、つまり、現在シーケンスの標準偏差σが前のシーケンスのうちの１つより高い場合、シーケンスの繰り返しが停止される。

効果として、標準偏差σの値は、シーケンスの繰り返しの停止基準の基礎を提供してよい。

最後のシーケンスを終了した後に、処理ユニット２２は、最高確率スコア９に関連付けられた２次元画像７を最終２次元画像として決定する。最終２次元画像は、最高確率スコア９に関連付けられた２次元画像７により形成されてよい。

一例によると、最終２次元画像は、最高確率スコア９に関連付けられた２次元画像７により、最後のシーケンスの間に決定された画像セットから、形成される。

一例では、確率は、ガウシアン確率マップを表してよい。ここで、標準偏差σはシーケンスからシーケンスへと減少する。したがって、最後のシーケンスの間に決定された確率マップ８は、最高確率スコア９の決定される２次元画像７を含み得る。

一例では、確率に基づきセット方向１２を決定するステップは、反復最適化アルゴリズム、特に勾配降下アルゴリズムの適用に関連してよい。

図２は、開始及び繰り返しシーケンスのシーケンスａ）、ｂ）、及びｃ）を更に例示的に示す。シーケンスａ）は開始シーケンスである。処理ユニット２２により決定される初期方向１１は、セット方向１２を決定するために使用される。

次に、患者の身体領域の３次元画像５は、仮想的にスライスされ、ここで３次元画像５はアプリケータ６の画像を含む。スライシングは、セット方向１２に沿って実行され、２次元画像７のセットを生じる。スライシング面は平行であり、等距離にあってよい。

シーケンスａ）で、全ての決定された２次元画像７は、アプリケータ６の画像の小さな断面を含む。したがって、アプリケータ・プレトレーニング分類方法は、２次元画像７の各々に確率スコア９を提供する。これは、シーケンスａ）の確率マップ９に示される。

シーケンスｂ）で、セット方向１２は、シーケンスａ）及びＢのセット方向１２の間の角度が大きくなるように選択される。シーケンスｂ）のセット方向１２は、図２の紙面の内部へ向かう。

シーケンスｂ）で取得された２次元画像７は、アプリケータ６の断面の画像を全て含まない。アプリケータ・プレトレーニング分類方法は、したがって、低確率スコア９を、アプリケータ６のなんらかの断面図を含まないこれらの２次元画像７に指定する。アプリケータ６の断面図の一部を含むシーケンスｂ）のこれらの２次元画像７は、シーケンスａ）の２次元画像７より高い確率スコア９を得る。

シーケンスｂ）の結果として生じる確率マップ８は、シーケンスａ）の確率マップ８より、確率スコア９のより詰まった分布を示す。

シーケンスｃ）は、後のシーケンスを示す。つまり、シーケンスｂ）とシーケンスｃ）との間に、複数の繰り返しシーケンスが実行されてよい。シーケンスｃ）のセット方向１２は、処理ステップにより決定されている。シーケンスｃ）で、単一の２次元画像７’のみが、アプリケータ６の断面図を含む。残りの２次元画像７は、アプリケータ６の画像のいかなる部分も含まない。

したがって、シーケンスｃ）の確率マップ８は、単一の２次元画像７’の位置で、確率スコア９のピークを示す。ピークにおける確率スコア９は非常に高い。残りの確率スコアは、対応する２次元画像７がアプリケータ６の画像のいかなる部分も含まないので、低い。

単一の２次元画像７’は、ユーザに提示される最終２次元画像を形成するために選択されてよい。

一例では、システム１１は、交代される２次元超音波画像がそれぞれの画像セットに適合する場合、２次元画像７が複数の２次元超音波画像のうちの１つと交代されるように、構成される。

効果として、内挿アーチファクトが防止され又は低減される。さらに、以上の説明で用語「装置」が使用されたが、用語「装置」が言及されるときは常に、これが実際には完全な装置を表す場合があるが、装置の単なる一部も表し得ることが理解される。

本発明の方法を参照して提供された全ての例及び説明をここで繰り返さないが、本発明の機器及びシステムは、上述の方法のステップを実行するよう構成されることが意図されることが理解される。したがって、全ての上述の例及び説明は、方法を参照して提供されたが、機器及び／又はシステムにより実施されることも意図される。これは、例えば、適切なハードウェア及び／又はソフトウェアにより達成できる。

装置を参照して提供された全ての説明、例、特徴、及び／又は利点をここで繰り返さないが、本発明の方法は、装置が方法のステップを実行するよう構成されることが意図される。したがって、全ての上述の例、説明、特徴、及び／又は利点は、装置を参照して提供されたが、方法と同様に提供されることが意図される。

本発明の更なる例によると、処理ユニットにより実行されると、上述の方法１００を実行するよう適応されるコンピュータプログラムエレメント３が提供される。

本発明の更なる例によると、図６に示されるコンピュータ可読媒体１０であって、処理ユニットにより実行されると、上述の方法１００を実行するよう適応されるコンピュータプログラムエレメント３を格納したコンピュータ可読媒体が提供される。

コンピュータプログラムエレメント３は、本発明の一実施形態の部分でもあり得るコンピュータユニットに格納されてよい。このコンピューティングユニットは、上述の方法のステップを実行する又は実行を誘起するよう適応されてよい。

さらに、上述の機器のコンポーネントを作動するために適応されてよい。

コンピューティングユニットは、自動的に作動するよう及び／又はユーザの命令を実行するよう適応できる。コンピュータプログラムは、データプロセッサのワーキングメモリにロードされてよい。データプロセッサは、したがって、本発明の方法を実行するよう実装されてよい。

留意すべきことに、本発明の実施形態は、異なる主題を参照して記載された。特に、幾つかの実施形態は挿入部分を参照して記載され、他の実施形態は機器を参照して記載された。しかしながら、当業者は、以上から、特に断らない限り、ある主題に属する特徴のいかなる組合せに加えて、異なる主題に関連する特徴の間のいかなる組合せも本願により開示されるものと見なされることを理解する。しかしながら、全ての特徴は結合でき、特徴の単純な和より大きな相乗効果を提供する。

本発明は図面及び上述の説明で詳細に説明されたが、このような図面及び説明は説明及び例であり、本発明を限定するものではない。本発明は開示された実施形態に限定されない。開示された実施形態の他の変形は、図面、詳細な説明、及び従属請求項を読むことにより、当業者に理解され請求項に記載された発明を実施する際に実施されうる。

留意すべき点は、用語「有する（comprising）」は他の要素又は段階を排除しないこと、及び単数を表す語（a、an）は複数を排除しないことである。単一のプロセッサ又は他のユニットが、請求の範囲に記載された幾つかのアイテムの機能を満たしてよい。特定の量が相互に異なる従属請求項に記載されるという事実は、これらの量の組合せが有利に用いることが出来ないことを示すものではない。請求項中のいかなる参照符号も請求の範囲又は本発明の範囲を制限するものと考えられるべきではない。

Claims (15)

1. 少なくとも１つの最終２次元画像を決定する装置であって、前記装置は、
   入力インタフェースと、
   処理ユニットと、
   を含み、前記入力インタフェースは、患者身体の身体領域の３次元画像を受信するよう構成され、少なくとも１つの放射線源を固定するよう構成されるアプリケータが前記身体領域に挿入され、
   前記処理ユニットは、前記３次元画像内の初期方向をランダムに決定し、前記初期方向を表す信号を前記入力インタフェースを介して受信する又は所定方向を前記初期方向としてアクセスするよう構成され、
   前記処理ユニットは、ステップｓ１）からｓ４）の以下のシーケンス：
   ｓ１）前記３次元画像内のセット方向を、最初のシーケンスの前記初期方向に基づき又は前のシーケンスの間に決定された確率マップに基づき、決定し、
   ｓ２）２次元画像の画像セットを前記３次元画像から抽出し、その結果、前記画像セットの前記２次元画像が前記セット方向と同軸に且つ続いて配置されるようにし、
   ｓ３）アプリケータ・プレトレーニング分類方法を前記画像セットの前記２次元画像の各々に適用して、前記画像セットの前記２次元画像の各々について、前記画像セットのそれぞれの２次元画像の中で断面図で前記アプリケータの描写される、特に完全に描画される確率を示す確率スコアを生成し、
   ｓ４）前記画像セットの前記２次元画像の前記確率スコアを前記セット方向に関して表す確率マップを決定する、
   を繰り返すよう構成され、
   前記処理ユニットは、最後のシーケンスを終了した後に、最高確率スコアに関連付けられた２次元画像を、特に前記最後のシーケンスの間に決定された画像セットから、前記最終２次元画像として決定するよう構成される、装置。
2. 前記最終２次元画像は、最高確率スコアに関連付けられた２次元画像により、特に最後のシーケンスの間に決定された画像セットから、形成される、請求項１に記載の装置。
3. 前記処理ユニットは、ステップｓ２）を実行し、その結果、前記画像セットの前記２次元画像が前記身体領域の仮想スライスを表すようにする、請求項１乃至２のいずれか一項に記載の装置。
4. 前記処理ユニットは、前記確率マップを決定するために、ガウシアンフィッティングを前記画像セットの前記２次元画像の前記確率スコアに適用するよう構成される、請求項１乃至３のいずれか一項に記載の装置。
5. 前記処理ユニットは、ステップｓ４）をサブステップ：
   ｓ４．１）現在画像セットの前記２次元画像の前記確率スコアのうちの最高確率スコアが、所定値より高い場合、又は、
   現在画像セットの前記２次元画像のうちの１つの２次元画像が、前記アプリケータを断面図で完全に描画する場合、
   前記シーケンスの繰り返しを終了する、と共に実行するよう構成される、請求項１乃至４のいずれか一項に記載の装置。
6. 前記処理ユニットは、ステップｓ４）をサブステップ：
   ｓ４．２）標準偏差σを、現在シーケンスの間に決定された前記確率マップに基づき決定する、及び、
   ｓ４．３）少なくとも１つの前のシーケンスの間に決定された標準偏差σが全ての決定された標準偏差σに関する最小標準偏差σを表す場合、前記シーケンスの前記繰り返しを終了する、
   と共に実行するよう構成される、請求項１乃至５のいずれか一項に記載の装置。
7. 前記処理ユニットは、前記セット方向が前記確率マップに基づき決定される場合、ステップｓ１）を以下のサブステップ：
   ｓ１．１）標準偏差σを前記確率マップに基づき決定し、
   ｓ１．２）前記セット方向を前記標準偏差σに基づき決定する、
   と共に実行するよう構成される、請求項１乃至６のいずれか一項に記載の装置。
8. 前記処理ユニットは、前記セット方向が前記確率マップに基づき決定される場合、ステップｓ１）を以下のサブステップ：
   ｓ１．１）勾配マップを前記確率マップに基づき決定し、
   ｓ１．２）前記セット方向を前記勾配マップに基づき決定する、
   と共に実行するよう構成される、請求項１乃至６のいずれか一項に記載の装置。
9. 前記処理ユニットは、アプリケータ・プレトレーニング分類方法をアプリケータ・プレトレーニング深層学習分類方法として提供するよう構成される、請求項１乃至８のいずれか一項に記載の装置。
10. 前記アプリケータ・プレトレーニング分類方法は、アプリケータ・プレトレーニング畳み込みニューラルネットワーク分類方法である、請求項１乃至９のいずれか一項に記載の装置。
11. 患者身体の身体領域の少なくとも１つの最終２次元画像を決定する画像システムであって、少なくとも１つの放射線源を固定するよう構成されるアプリケータが前記身体領域に挿入され、前記システムは、
    超音波トランスデューサと、
    請求項１乃至１０のいずれか一項に記載の装置と、
    を含み、
    前記超音波トランスデューサは、前記身体領域の複数の２次元超音波画像を取得するよう構成され、
    前記システムは、前記身体領域の３次元画像を、前記複数の２次元超音波画像に基づき決定するよう構成される、画像システム。
12. 前記処理ユニットは、ステップｓ２）を実行し、その結果、交代される２次元超音波画像がそれぞれの画像セットに適合する場合、２次元画像が前記複数の２次元超音波画像のうちの１つと交代されるようにする、請求項１１に記載の画像システム。
13. 少なくとも１つの最終２次元画像を決定する方法であって、前記方法は、
    ａ）患者身体の身体領域の３次元画像を提供するステップであって、少なくとも１つの放射線源を固定するよう構成されるアプリケータが前記身体領域に挿入される、ステップと、
    ｂ）初期方向を提供するステップであって、特に前記３次元画像内の初期方向をランダムに決定する、ステップと、
    ｃ）ステップｓ１）からｓ４）の以下のシーケンス：
    ｓ１）処理ユニットにより、前記３次元画像内のセット方向を、最初のシーケンスの前記初期方向に基づき又は前のシーケンスの間に決定された確率マップに基づき、決定するステップ、
    ｓ２）前記処理ユニットにより、２次元画像の画像セットを前記３次元画像から抽出し、その結果、前記画像セットの前記２次元画像が前記セット方向と同軸に且つ続いて配置されるようにする、ステップ、
    ｓ３）前記処理ユニットにより、アプリケータ・プレトレーニング分類方法を前記画像セットの前記２次元画像の各々に適用するステップであって、前記画像セットの前記２次元画像の各々について、前記画像セットのそれぞれの２次元画像の中で断面図で前記アプリケータの描写される、特に完全に描画される確率を示す確率スコアを生成する、ステップ、
    ｓ４）前記処理ユニットにより、前記画像セットの前記２次元画像の前記確率スコアを前記セット方向に関して表す確率マップを決定するステップ、
    を繰り返すステップと、
    ｄ）前記処理ユニットにより、最後のシーケンスを終了した後に、最高確率スコアに関連付けられた２次元画像を、特に前記最後のシーケンスの間に決定された画像セットから、前記最終２次元画像として決定するステップと、
    を含む方法。
14. 請求項１乃至１２のいずれか一項に記載の装置を制御するコンピュータプログラムエレメントであって、処理ユニットにより実行されると、請求項１３に記載の方法のステップを実行するよう適応される、コンピュータプログラムエレメント。
15. 請求項１４に記載のプログラムエレメントを格納したコンピュータ可読媒体。

Images