JP2022509852A

JP2022509852A - ３ｄ仮想内視鏡レンダリング

Info

Publication number: JP2022509852A
Application number: JP2021530792A
Authority: JP
Inventors: ラファエルウィームカー; ムクタジョシ; ヨルグサブチンスキー; トビアスクリンダー
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2018-12-06
Filing date: 2019-11-22
Publication date: 2022-01-24
Anticipated expiration: 2039-11-22
Also published as: JP7489387B2; US20220101617A1; EP3891709A1; WO2020114806A1; CN113287155A

Abstract

管状構造の管腔の3次元仮想内視鏡レンダリングは、非スペクトル及びスペクトルボリュメトリック画像データの両方に基づく。3次元仮想内視鏡レンダリングは、管腔を通過する仮想内視鏡の仮想カメラの視点から管状構造の管腔の2D画像を含む。一例では、3次元仮想内視鏡レンダリングが実際の管状構造に挿入され、その位置に配置される物理的内視鏡ビデオカメラによって提供されるビューと同様である。非スペクトルボリュメトリック画像データは、3次元仮想内視鏡レンダリングの不透明度及び陰影を決定するために使用される。スペクトルボリュメトリック画像データは管状構造の内壁及び壁上の関心構造を視覚的に識別するために、3次元仮想内視鏡レンダリングを視覚的にエンコーディングするために使用される。

Description

以下は一般に、撮像に関し、より詳細には、3D仮想内視鏡レンダリングに関し、コンピュータトモグラフィへの特定の応用と共に説明される。

結腸にできたポリープは、おそらく結腸がんに発展する可能性がある。文献は、このようなポリープが早期に除去される場合、癌が非常に効果的に予防され得ることを示す。大腸内視鏡検査はポリープの可能性を発見し評価するために、一定の年齢以上の無症状の被験者が利用できるプロシージャである。結腸内視鏡検査では、結腸の壁をより容易に検査することができるように、結腸を膨張させるために結腸内にガスが吹き込まれる。内視鏡は可撓性チューブ上にビデオカメラを含み、肛門を通って結腸内に挿入され、結腸の管腔を通過する。ビデオカメラは結腸が管腔を通過する際に、結腸の内壁の画像を記録する。画像は、壁の目視検査に使用することができる。処置中、疑わしいポリープを生検及び／又は除去することができる。内視鏡的大腸内視鏡検査は侵襲的手技である。

コンピュータトモグラフィ(CT)バーチャル結腸鏡検査(VC)は、非侵襲的、撮像プロシージャである。CT VCを用いて、結腸のボリュメトリック画像データが取得され、処理されて、深度情報を提供するために、視聴方向及び等位面の局所形状から導出される陰影を有する管腔を通過する仮想内視鏡の仮想カメラの視点から、結腸の管腔の2‐D画像を通して結腸の管腔の3次元仮想内視鏡(3-D VE)レンダリングが生成される。一般に、2D画像は、実際の内視鏡のビューと同様の3D印象を提供する。しかしながら、結腸壁と比べて目立たないために、形状によって3-D VEにおいて視覚的に検出することが困難である傾向があるポリープのクラス(例えば、平坦な及び／又は鋸歯状のポリープ)が存在する。

したがって、改善される3-D VEに対する未解決の必要性が存在する。

本明細書で説明される態様は、上記で参照される問題及び他の問題に対処する。

管状構造の管腔の3-D VEレンダリングは、非スペクトルボリュメトリック撮像データ及びスペクトルボリュメトリック撮像データの両方に基づく。非スペクトルボリュメトリック画像データは、3-D VEレンダリングの不透明度及び陰影を決定するために使用される。スペクトルボリュメトリック画像データは管状構造の内壁を壁上の関心構造から視覚的に識別するために、3-D VEレンダリングを視覚的にエンコーディングするために使用される。

一態様では、システムがプロセッサと、3次元仮想内視鏡モジュールとレンダリングモジュールとで構成されるメモリ記憶装置とを含む。プロセッサは、3次元仮想内視鏡モジュールを用いた管状構造のスキャンからの非スペクトルボリュメトリック画像データを処理して、3次元印象を提供する不透明度及び陰影を有する管状構造の管腔の3次元内視鏡レンダリングを生成するように構成される。プロセッサはさらに、3次元仮想内視鏡モジュールを用いた同じスキャンからのスペクトルボリュメトリック画像データを処理して、スペクトル特性に基づいて管状構造の壁を壁上の関心構造から視覚的に識別する、3次元内視鏡レンダリング上の視覚的エンコーディングを生成するように構成される。プロセッサはさらに、レンダリングモジュールを実行して、ディスプレイモニタを介して、視覚的エンコーディングを伴う３次元内視鏡レンダリングを表示するように構成される。

別の態様では、方法が管状構造のスキャンからの非スペクトルボリュメトリック画像データに基づいて3次元印象を提供する不透明度及び陰影を有する管状構造の管腔の3次元内視鏡レンダリングを生成することを含む。この方法は、スキャンからのスペクトルボリュメトリック画像データから決定されるスペクトル特性に基づいて、管状構造の壁を壁上の関心構造から視覚的に識別する、3次元内視鏡レンダリングのための視覚的エンコーディングを生成することをさらに含む。この方法は、視覚エンコーディングを用いて3次元内視鏡レンダリングを表示することをさらに含む。

別の態様では、コンピュータ可読記憶媒体がコンピュータによって実行されると、コンピュータシステムを使用して3次元内視鏡レンダリングを生成する方法をコンピュータに実行させる命令を記憶する。この方法は、管状構造のスキャンからの非スペクトルボリュメトリック画像データに基づいて3次元印象を提供する不透明度及び陰影を有する管状構造の管腔の3次元内視鏡レンダリングを生成することを含む。この方法は、スキャンからのスペクトルボリュメトリック画像データから決定されるスペクトル特性に基づいて、管状構造の壁を壁上の関心構造から視覚的に識別する、3次元内視鏡レンダリングのための視覚的エンコーディングを生成することをさらに含む。この方法は、視覚的エンコーディングを用いて3次元内視鏡レンダリングを表示することをさらに含む。

当業者は、添付の説明を読んで理解すると、本出願のさらに他の態様を認識するのであろう。

本発明は、様々な構成要素及び構成要素の配置、ならびに様々なステップ及びステップの配置の形成をとることができる。

図面は実施形態を例示する目的のためだけのものであり、本発明を限定するものとして解釈されるべきではない。

本明細書の実施形態による3-D VEモジュールを含むシステムを概略的に示す。本明細書の実施形態による、図1の3‐D VEモジュールによって生成される例示的な3‐D VEレンダリングを示す。 3次元VEレンダリング及び他の画像を表示する複数のウィンドウを有するディスプレイを示す。本明細書の一実施形態によるデュアルエネルギスキャンの散布図の一例を示す。本明細書の実施形態による例示的な方法を示す。

以下に、非スペクトル及びスペクトルボリュメトリック画像データの両方に基づいて管腔の3D VEレンダリングを生成するためのアプローチを説明する。スペクトルボリュメトリック画像データは、少なくとも、壁及び構造／材料のスペクトル特性に基づいて、管状構造及びその上の構造／材料の内壁を視覚的にエンコーディングするために使用される。3-D VEは、実際の内視鏡のビューに類似した3‐D印象を提供する2‐D画像である。管状構造／VEプロシージャの例には、結腸／VC、気管支／仮想気管支鏡検査(VB)などが含まれる。3-D VCの場合、一例では、結腸と比べて目立たないために形状によって視覚的に検出することが困難である傾向がある平坦及び／又は鋸歯状ポリープなどの構造がそれらのスペクトル特性に基づいて、かつ結腸壁とは異なるように、表示される2-D画像に視覚的にエンコーディングされ、これにより、ポリープを壁組織、便などからスペクトル特性を介して視覚的に識別することが可能になり得る。

図1は、本明細書の一実施形態によるシステム100を概略的に示す。システム100は、コンピュータトモグラフィ(CT)スキャナ102を含む。CTスキャナ102は、非スペクトル画像及びデュアルエネルギー画像等のスペクトル(マルチエネルギー)画像のために構成される。CTスキャナ102は固定のガントリ104と回転ガントリ106とを含み、固定のガントリ104によって回転可能に支持され、縦軸又はz軸を中心として検査領域108(及びその中の物体又は被検体の一部)の周囲を回転する。寝台のような対象物支持体110は、検査領域108内の対象物又は被験者を支持する。被検体支持体110は被検体又は対象物を装填、スキャン、及び／又は取り出すために、検査領域108に対して被検体又は対象物を案内するように、撮像手順を実行することと協調して移動可能である。VCスキャンの場合、被験者はスキャンの前に、ヨウ素、バリウム等に基づく放射線造影剤のような放射線造影剤を摂取する。

X線管のような放射線源112は、検査領域108の周囲の回転ガントリ106によって支持され、回転する。放射線源112は、例えば線源コリメータ(可視ではない)によってコリメートされて、検査領域108を横断する一般に扇形、ウェッジ、円錐形、又は他の形状のX線放射ビームを形成するX線放射を放出する。一例では、放射線源112が関心のある単一の選択されるピーク発光電圧(kVp)に対して広帯域(多色)放射線を放射するように構成される単一のX線管である。別の例では、放射線源112がスキャン中に少なくとも2つの異なる放出電圧(例えば、70 keV、100 keV、120 keV、140 keV等)間でスイッチングするように構成される。さらに別の例では、放射線源112は、各々が異なる平均エネルギースペクトルを有する放射線を放射するように構成される、回転ガントリ104上に角度オフセットされる2つ以上のX線管を含む。さらに別の例では、CTスキャナ102が上記のうちの2つ以上の組み合わせを含む。kVpスイッチング及び／又は複数のX線管の例は2009年6月1日に出願される「Spectral CT」という名称の米国特許第8，442，184 B2号に記載されており、その全体が参照により本明細書に組み込まれる。

放射線感受性検出器アレイ114は、検査領域108を横切る放射線源112に対向する角度アークをサブエンドする。検出器アレイ114は、z軸方向に沿って互いに対して配置され、検査領域108を横切る放射線を検出する検出器の1つ又は複数の行を含む。一例では、検出器アレイ114が多層シンチレータ／光センサ検出器などのエネルギー分解検出器を含む。例示的なシステムは2006年4月10日に出願された「Double decker detector for spectral CT」という名称の米国特許第7，968，853 B2号に記載されており、これは、その全体が参照により本明細書に組み込まれる。別の例では検出器アレイ114が光子計数(直接変換)検出器を含む。例示的なシステムが2006年4月25日に出願された「Energy－resolved photon counting for CT」という名称の米国特許第7，668，289 B2号に記載されている。これらの例では、放射線源112が広帯域、kVpスイッチング、及び／又は複数のX線管放射線源を含む。検出器アレイ114が非エネルギー分解検出器を含む場合、放射線源112は、kVpスイッチング及び／又は複数のX線管放射線源を含む。放射線感受性検出器アレイ114は、検査領域108を示す少なくともスペクトル投影データ(線積分)を生成する。1つの構成において、放射線感受性検出器アレイ114は、非スペクトル投影データを生成する。

再構成器116は同じスキャンからの投影データを処理し、スペクトルボリュメトリック画像データ及び非スペクトルボリュメトリック画像データを生成する。再構成器116は、異なるエネルギーバンドに対するスペクトル投影データを再構成することによって、スペクトルボリュメトリック画像データを生成する。スペクトルボリュメトリック画像データの一例は、デュアルエネルギスキャンのための低エネルギボリュメトリック画像データ及び高エネルギボリュメトリック画像データを含む。他のスペクトルボリュメトリック画像データは、投影領域における物質分解、それに続く再構成、又は画像領域において導出することができる。例としては、コンプトン散乱(Sc)及び光電効果(Pe)塩基、有効原子番号(Z値)、造影剤(例えば、ヨウ素、バリウムなど)濃度、及び／又は他の塩基が挙げられる。CTスキャナ102が非スペクトル投影データを生成する場合、再構成器116は、非スペクトル投影データを用いて非スペクトルボリュメトリック画像データを生成する。さもなければ、再構成器116はスペクトル投影データを組み合わせて非スペクトル投影データを生成し、非スペクトル投影データを再構成することによって、及び／又はスペクトル容量画像データを組み合わせて非スペクトル容量画像データを生成して非スペクトル容量画像データを生成することによって、非スペクトル容量画像データを生成する。再構成器116は、中央処理装置、マイクロプロセッサ等のプロセッサを用いて実現することができる。

オペレータコンソール118は、ディスプレイ監視、ファイラ等のような人間可読出力装置120と、キーボード、マウス等のような入力装置122とを含む。コンソール118はさらに、プロセッサ124(例えば、CPU、マイクロプロセッサなど)と、メモリ記憶装置などの物理メモリなどのコンピュータ可読記憶媒体126(一時的媒体を除く)とを含む。図示の実施形態ではコンピュータ可読記憶媒体126が3D仮想内視鏡(VE)モジュール128、レンダリングモジュール130及び人工知能(AI)モジュール132を含み、プロセッサ124は以下に説明する機能を実行させる3D VEモジュール128、レンダリングモジュール130及び／又はAIモジュール132のコンピュータ可読命令を実行するように構成される。

バリエーションでは3D VEモジュール128、レンダリングモジュール130及び／又はAIモジュール132はCTスキャナ102から遠隔に配置される専用ワークステーション、「クラウド」ベースのリソースなど、異なる計算システム内のプロセッサによって実行される。異なるコンピューティングシステムはCTスキャナ102、別のスキャナ、データリポジトリ(例えば、放射線情報システム(RIS)、画像保管及び通信システム(PACS)、病院情報システム(HIS)など)などからボリュメトリック画像データを受信することができる。異なる計算システムは、CTスキャナ102、別のスキャナ、データリポジトリなどから投影データを追加的又は代替的に受信することができる。この場合、異なるコンピューティングシステムは投影データを処理し、スペクトル及び非スペクトルボリュメトリック画像データを生成することができるという点で、再構成器116と同様に構成される再構成器を含むことができる。
3D VEモジュール128は非スペクトルボリュメトリック画像データ及びスペクトルボリュメトリック画像データの両方に基づいて、管腔を通過する仮想内視鏡の仮想カメラの視点から管状構造の管腔の3D VEレンダリング(すなわち3D印象を有する2D画像)を生成する。一例では、3D VEレンダリングが実際の管状構造に挿入され、その位置に配置される物理的な内視鏡ビデオカメラによって提供されるビューと同様である。この場合、例えば、3-D VEレンダリングは、内側の表面上の表面及び構造／材料を含む管状構造の内側を示す。

一例では、3-D VEモジュール128が非スペクトルボリュメトリック画像データを用いて局所的な不透明度及び勾配陰影を決定する。3D VEモジュール128は、ボリュームレンダリング、表面レンダリング、及び／又は他のアプローチを使用することができる。ボリュームレンダリングでは、仮想ビュー線が非スペクトルボリューム画像データを介して投影され、管状構造の壁の周りの領域が線に沿った空気／壁界面での急峻な勾配を介して検出され、領域内のデータ点の不透明度が低くなり始め、勾配が急激に増加する。陰影は、視野角と局所勾配との間の角度に基づいて決定され、強度を通じて実装される。サーフェスレンダリングではメッシュ(例えば、三角形又はその他)が例えば最も強い勾配で壁にフィットされる。これは線に沿った空気／壁界面にある。3D VEレンダリングを生成するための例示的なアプローチは2005年6月2日に出願される「Virtual endoscopy」という名称の米国特許第7，839，402 B2号に記載されており、その全体が参照により本明細書に組み込まれる。
3D VEモジュール128は、管状構造及び／又はその上の構造／材料の内壁の表面を表す3Dレンダリングの画素についてのスペクトルボリュメトリック画像データのスペクトル特性に基づいて、視覚的エンコーディングを生成する。以下でより詳細に説明するように、一例では、視覚的エンコーディングが色相エンコーディングを含み、スペクトル角、有効原子番号、造影剤濃度、他のスペクトル特性、及び／又はそれらの組み合わせに対応する。視覚的エンコーディングは、構造／材料の存在及び／又はタイプについての視覚的合図を観察者に伝えることができる。これらのスペクトル特性は非スペクトルボリュメトリック画像データからのみ決定することはできず、従って、視覚的エンコーディングは既存の3-D VE技術の一部ではない。したがって、スペクトル特性に基づいて3D VEレンダリングを視覚的にエンコーディングするためにスペクトルボリュメトリック画像データをさらに利用する、本明細書で説明するアプローチは、既存の3D VE技術に対する改善を表す。さらに、視覚的エンコーディングは、効率的な視覚的評価を可能にする。

レンダリングモジュール130は、出力装置120のディスプレイモニタを介して3D VEレンダリングを表示する。図2は、ポリープ208及び210に対する視覚的エンコーディング204及び206を有する結腸の内壁202の例示的な3-D VEレンダリング200を示す。説明のために、視覚的エンコーディング204及び206は、ポリープ208及び210の暗い周辺線として示されている。他の視覚的エンコーディングは、色相、明るさ、クロスハッチング、注釈、及び／又は他の視覚的エンコーディングを含むことができる。一例では、視覚的エンコーディングがデフォルトの静的不透明度レベル、ユーザ定義の不透明度レベル、特定のタイプのスキャンに対して定義される不透明度レベルなどの所定の不透明度レベルに基づいて表示される。所定の不透明度レベルは、完全に又は半不透明であることができる。別の例では、不透明度レベルが完全な(又は他のレベルの)透明度と、1つ又は複数の中間の部分的に透明／不透明なレベルを通して完全な(又は他のレベルの)不透明度との間で調整可能である。このインスタンスにより、コンソール118は、キーボードボタンのような物理的な制御、又はグラフィカルユーザインタフェースメニューオプションのようなソフトコントロール、グラフィカルスライダ、ダイヤルなどの制御を含む。一例では、調整可能な制御が包括的かつ効率的な視覚的評価を可能にする。

レンダリングモジュール130は、非スペクトル及び／又はスペクトルボリュメトリック画像データからの1つ又は複数のスライス(軸方向、冠状方向、矢状方向、斜め方向など)画像、管状構造の外側の材料が見えないようにレンダリングされる管状構造のみのレンダリングなど、3D VEレンダリングを単独で、又は1つ又は複数の他の画像と組み合わせて表示する。一例では同じ視覚エンコーディング(例えば、色相)が1つ以上の他の表示される画像に同時に表示され、その視覚化は表示される3D VEレンダリングにおける視覚エンコーディングの制御とは独立して、又はそれに依存して制御される。さらに又は代替的に、3D VEレンダリングは表示される3D VEレンダリングの上にマウスポインタのような表示画面ポインタを置くと、表示される3D VEレンダリングにおけるポインタの位置を示す1つ以上の他の表示画像における位置インジケータの表示になるように、他の表示画像の1つ以上に対話的にリンク(空間的に結合)される。

図3は、複数のウィンドウ302、304、306、及び310を有する例示的な表示を示す。ウィンドウ302は、図2の3-D VEレンダリング200を示す。ウィンドウ304及び306は、光電効果及びコンプトン散乱スペクトルボリュメトリック画像データセットから導出される極性(角度)表現を表示する。ウィンドウ304は、大きさを表す第1の軸方向スライス画像を示す。ウィンドウ306は、角度を表す第2の軸方向スライス画像を示す。ウィンドウ304及び306はそれぞれ、図2のポリープ208及び210に対応する視覚的エンコーディングと共に、ウィンドウ302に示される結腸の一部を示す印310及び312を含む。説明のために、ポリープ208及び210はグレースケールでウィンドウ304及び306内にカラーエンコーディングされ、ポリープ208及び210はウィンドウ302内にアウトラインエンコーディングされる。しかし、ウィンドウ302とウィンドウ304及び306の両方で同じ視覚的エンコーディングを使用できることが理解される。ウィンドウ306は、ウィンドウ302内の3Dレンダリングに対応する結腸内の位置を示す印を有する結腸の画像のみを示す。

図1に戻ると、AIモジュール132は少なくとも3D VEレンダリングを処理し、コンピューティングシステム及び／又は臨床医が、関心構造／材料の視覚的エンコーディングを、同様の形状、テクスチャ、及び／又はスペクトル特性を有する他の構造／材料から識別することを支援する情報を、出力装置120を介して生成及び表示する。例えば、CT VCでは、情報がコントラスト強調平坦及び／又は鋸歯状ポリープの視覚的エンコーディングを、結腸の表面壁上のコントラスト強調便の同様の視覚的エンコーディングと識別することを容易にすることができる。一例では、AIモジュール132が他の構造／材料(例えば、平坦及び／又は鋸歯状ポリープ及び便なし)を伴う及び伴わない3-D VEレンダリングのトレーニングセットと、他の構造／材料を伴う及び対象の構造／材料を伴わない(例えば、便ならびに平坦及び／又は鋸歯状ポリープなし)3-D VEレンダリングのトレーニングセットとを含む3-D VEレンダリングでトレーニングされる。情報は診断又は治療を提供しないが、臨床医が3D VEレンダリングを評価する際に役立つことがある。

一例では、AIモジュール132がフィードフォワード人工ニューラルネットワーク(例えば、畳み込みニューラルネットワーク)及び／又は他のニューラルネットワークなどの深層学習アルゴリズムを含み、異なる材料及び／又は構造などのスペクトル特性のパターンを学習して、関心構造／材料を他の構造／材料から識別する。そのようなアルゴリズムの例は、Goukらの「Fast Sliding Window Classification with Convolutional Neural Networks」（IVNVZ '14 Proceedings of 29th International Conference on Image and Vision Computing New Zealand、2014年11月19乃至21日、114乃至118頁、「Fully convolutional networks for semantic segmentation」（Proceedings of IEEE Conference on Computer Vision and Pattern Recognition、2015年）、及びRonnebergerらの「U-Net Convolution Networks for Biomedical Image Segmentation」（Medical Image Computing and Computer－Assisted Intervention (MICCAI), Springer, LNCS, Vol. 9351: 234乃至241, 2015）に記載される。変形例では、AIモジュール132は省略される。

スキャンによっては、補助装置がCTスキャナ102と共に使用される。例えば、VCスキャンの場合、スキャンのために結腸を膨張させるために注入器122を使用することができる。一例では、インサフレータ122が表示される3D VEレンダリングを介して結腸の壁をより容易に検査することができるように、結腸を膨張させるために結腸内にガスをインサフレートするために使用される。

簡単に上述したように、VEモジュール128は、スペクトルボリュメトリック画像データから決定されるスペクトル特性に基づいて、3Dレンダリングのための視覚的エンコーディングを生成する。以下では、視覚的エンコーディングが色相を含む非限定的な実施例を説明する。一例では、これはスペクトル角に基づいて画素の色相を決定することを含む。別の例では、これは有効原子番号に基づいて画素の色相を決定することを含む。さらに別の例では、これは造影剤濃度に基づいて画素の色相を決定することを含む。別の例では、これは1つ又は複数の他のスペクトル特性に基づいて画素の色相を決定することを含む。さらに別の例では、これは上記の2つ以上の組み合わせに基づいて画素の色相を決定することを含む。

スペクトル角を決定するためのアプローチは、プロットの異なる軸上の異なるスペクトルボリュメトリック画像データセットを有するスペクトルボリュメトリック画像データセットから散乱プロットを決定することを含む。図4は、コンプトン散乱(Sc)及び光電効果(Pe)ベースを有するデュアルエネルギスキャンのための一例の散乱プロット400を示す。第1の軸402はScボリュメトリック画像データのボクセル値(例えば、HU(Hounsfield Unit)/CT数スケール)を表し、第2の軸404はPeボリュメトリック画像データのボクセル値(すなわち、同じスケール)を表す。この例では、第1の軸402には第1の色相が割り当てられ、第2の軸404には第2の異なる色相が割り当てられる。例えば、第1の軸402には赤が割り当てられ、第2の軸404には青が割り当てられる。別の例では、第1の軸402には赤が割り当てられ、第2の軸404には白色が割り当てられる。起点406は関心のある材料(例えば、空気(－1000)、水(0)、コントラスト、軟組織(100乃至300)など)のHU値を表す。

図4において、第1の点408は、スペクトルボリュメトリック画像データセット内の同じ第1のボクセル位置(x，y，z)に対する異なるスペクトルボリュメトリック画像データセットからのボクセル値に対応する。第2の点410はスペクトルボリュメトリック画像データセット内の同じ第2のボクセル位置に対する異なるスペクトルボリュメトリック画像データセットからのボクセル値に対応し、第1及び第2のボクセル位置は異なる。この例では、第1の点408及び第2の点410のボクセルが異なるスペクトル特性を有する異なる材料を表す。点410のボクセルは、点408のボクセルと比較して、より大きなPe寄与及びより低いSc寄与を有する。点408に対応する材料を表す他のボクセルは点408の周りの近傍に位置し、点410に対応する材料を表す他のボクセルは、点410の周りの近傍に位置する。

この例では、第1の軸402と、第1の点408から原点406に延びる線412との間の角度として、第1の点408に対してスペクトル角θが決定される。一例ではθはPeボクセル値とScボクセル値の比率の接線の逆数を計算することによって決定される(すなわちθ = arctan(HU_Pe ／HU_Sc))。スペクトル角φは、第1の軸402と、第2の点410から原点406に延びる線414との間の角度として、第1の点410に対して決定される。一例では、Peボクセル値とScボクセル値との比率の接線の逆接線(すなわち、φ＝arctan(HU_Pe ／HU_Sc))を計算することによって、φが決定される。この例では、点208に対応する画素に対するスペクトル角θが点410に対応する画素に対するスペクトル角φよりも小さい。図4は説明の目的のために2つの点のみを示しているが、プロット400は3D VEレンダリングにおける画素の全て又は所定のセットに対する色相を決定するために使用され得ることが理解されるべきである。

一例では、画素の色相が第1及び第2の軸402及び404の第1及び第2の色相間の線形混合としてスペクトル角から決定される。点408に対応する画素の色相は角度θに基づく線形混合であり、図示される角度θは90度未満であるため、第2の色に対する第1の色のより大きな寄与を含む。点410に対応する画素の色相は角度φに基づく線形混合であり、図示される角度φが90度よりも大きいので、第1の色に対する第2の色のより大きな寄与を含む。バリエーションでは、スペクトル角がレインボースケール、温度スケール、及び／又は他の色相スケールのような擬似カラースケールに非線形に並進される。

別の実施形態では、ボリュームレンダリングアルゴリズムが使用される場合、スペクトル角は光線不透明度が1に飽和し、壁の前のボクセル及び壁の後のボクセルを含む、管状構造の壁に関するスペクトルボリュメトリック画像データ内の所定の領域から計算される。一例では、色相がローカル不透明度によって重み付けされる所定の領域内の各位置からの線形重畳から決定される。変形例では、色相が代わりに、所定の領域内の最大値として決定される。さらに別の変形例では、色相が代わりに、所定の領域内の平均値又は中央値として決定される。さらに別の例では、色相が他の方法で、又は前述の組み合わせに基づいて決定される。

別の実施形態では、色相も、プロット上の点とスペクトル角との間の半径方向距離に基づいて決定される。例えば、図4のこの実施形態では、点408に対応する画素の色相が角度θだけでなく、点408と原点406との間の距離にも基づく。同様に、点410に対応する画素に対する色相は、角度φに基づくだけでなく、点410と原点406との間の距離にも基づく。そのように、同じスペクトル角を有するボクセルは、プロット400内のそれらの点と起点406との間の距離に応じて、必ずしも同じ色相を有するとは限らない。代わりに、色相がプロット上の点とスペクトル角との間の半径方向距離に基づいて決定されない。

別の実施形態では、図4の散布図400のグリッド内の各座標に色相が割り当てられる。この実施態様によれば、画素は、スペクトルボリュメトリック画像データセットの画素値が交差する座標に割り当てられた色相に対応する色相で視覚的にエンコーディングされる。例えば、点408のための画素はグリッド内の点408において座標に割り当てられた色相で視覚的にエンコーディングされ、点410のための画素はグリッド内の点410において座標に割り当てられた色相で視覚的にエンコーディングされる。この実施形態は、スペクトル角を使用しなくてもよい。

別の例では、色相が上述のアプローチの2つ以上の組み合わせに基づいて決定される。

図5は、本明細書の実施形態による例示的な方法を示す。

本方法における動作の順序付けは、限定的なものではないことは理解される。そのようなものとして、他の順序付けが本明細書で企図される。さらに、1つ又は複数の動作が省略されてもよく、及び／又は1つ又は複数の追加の動作が含まれてもよい。

502において、管状構造の同じスキャンからの非スペクトル及びスペクトルボリュメトリック画像データが本明細書に記載されるように、及び／又は他の方法で取得される。

504において、不透明度及び陰影を含む3D VEレンダリングが本明細書に記載されるように、及び／又は他の方法で、非スペクトルボリュメトリック画像データに基づいて生成される。

506において、本明細書で説明されるように、及び／又は他の方法で、スペクトルボリュメトリック画像データに基づいて、3-D VEレンダリングの画素の視覚的エンコーディングが決定される。

508において、3D VEレンダリングが本明細書で説明されるように、及び／又は他の方法で、視覚的エンコーディングとともに表示される。

上記はコンピュータ可読記憶媒体上にエンコーディング又は埋め込まれた、コンピュータ可読命令によって実施することができ、コンピュータ可読命令はコンピュータプロセッサによって実行されると、プロセッサに、説明される動作を実行させる。加えて、又は代替として、コンピュータ可読命令のうちの少なくとも1つは、コンピュータ可読記憶媒体ではない信号、搬送波、又は他の一時的媒体によって実行される。

本発明は図面及び前述の説明において詳細に図示及び説明されてきたが、そのような図示及び説明は例示的又は例示的であり、限定的ではないと考えられるべきであり、本発明は開示される実施形態に限定されない。開示される実施形態に対する他の変形は図面、開示、及び添付の特許請求の範囲の検討から、特許請求される発明を実施する際に当業者によって理解され、実施されることができる。

単語「有する」は他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は複数を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。

コンピュータプログラムは他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶／配布することができるが、インターネット又は他の有線もしくは無線電気通信システムなどを介して、他の形態で配布することもできる。特許請求の範囲におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

Claims

プロセッサと、
３次元仮想内視鏡モジュール及びレンダリングモジュールで構成されるメモリ記憶装置と
を有するシステムであって、
前記プロセッサは、前記３次元仮想内視鏡モジュールによる管状構造のスキャンからの非スペクトルボリュメトリック画像データを処理して、３次元印象を提供する不透明度及び陰影を有する前記管状構造の管腔の３次元内視鏡レンダリングを生成するように構成され、
前記プロセッサは、前記3次元仮想内視鏡モジュールによる同じスキャンからのスペクトルボリュメトリック画像データを処理して、スペクトル特性に基づいて管状構造の壁を前記壁上の関心構造から視覚的に識別する前記3次元内視鏡レンダリング上の視覚的エンコーディングを生成するようにさらに構成され、
前記プロセッサは、前記レンダリングモジュールを実行して、表示モニタを介して前記視覚的エンコーディングを用いて前記3次元内視鏡レンダリングを表示するようにさらに構成される、
システム。
前記視覚的エンコーディングは、前記管状構造の前記壁及び前記関心構造のための異なる色相を含む、請求項1に記載のシステム。
前記プロセッサは、前記スペクトルボリュメトリック画像データから決定されるスペクトル角に基づいて前記視覚的エンコーディングを決定するように構成される、請求項1又は2に記載のシステム。
前記スペクトルボリュメトリック画像データは、第1のエネルギーに対応するスペクトルボリュメトリック画像の第1のセットと、第2の異なるエネルギーに対応するスペクトルボリュメトリック画像の第2のセットとを含み、前記プロセッサは、スペクトルボリュメトリック画像データの前記第1のセットからのボクセル座標の第1のボクセル値と、スペクトルボリュメトリック画像データの前記第2のセットからの前記ボクセル座標の第2のボクセル値との比率のアークタンジェントに基づいて、前記スペクトル角を決定するように構成される、請求項3に記載のシステム。
前記プロセッサは、最小スペクトル角を表す第1の色と最大スペクトル角を表す第2の色との線形混合に基づいて、画素の色相を決定するように構成される、請求項3又は4に記載のシステム。
前記プロセッサは、カラースケールへの前記スペクトル角の非線形変換に基づいて、画素の色相を決定するように構成される、請求項3又は4に記載のシステム。
前記プロセッサは、各位置のローカル不透明度によって重み付けられる前記壁の周りの所定の領域内の異なる位置からのボクセル値の線形重畳に基づいて、画素の色相を決定するように構成される、請求項3に記載のシステム。
前記プロセッサは、前記壁の周りの所定のボクセル内の最大ボクセル値、平均ボクセル値、又は中間ボクセル値に基づいて、画素の色相を決定するように構成される、請求項3に記載のシステム。
前記プロセッサは、所定のカラーグリッドから画素の色相を決定するように構成される、請求項2に記載のシステム。
前記プロセッサは、前記スペクトルボリュメトリック画像データから有効原子番号を決定し、前記有効原子番号に基づいてボクセル座標に対応する画素の色相を決定するようにさらに構成される、請求項2に記載のシステム。
前記プロセッサは、前記スペクトルボリュメトリック画像データに基づいてヨウ素濃度を決定し、前記ヨウ素濃度に基づいてボクセル座標に対応する画素の色相を決定するようにさらに構成される、請求項2に記載のシステム。
前記プロセッサは、前記3次元内視鏡レンダリングにおいて選択される画素に対応するスライス画像内の領域が視覚的に識別されるように対話的に空間的に結合される前記スライス画像及び前記3次元内視鏡レンダリングを同時に表示するようにさらに構成される、請求項1乃至11の何れか一項に記載のシステム。
前記プロセッサは、前記3次元内視鏡レンダリングと、前記3次元内視鏡レンダリング及び前記スライス画像の両方において利用される同じ視覚的エンコーディングと対話的に空間的に結合されるスライス画像とを同時に表示するようにさらに構成される、請求項1乃至11の何れか一項に記載のシステム。
前記メモリ記憶装置は、前記3次元内視鏡レンダリング訓練セットに基づいて、前記管状構造の前記壁と前記壁上の関心構造とを識別するように訓練される人工知能モジュールでさらに構成され、前記プロセッサは、前記3次元内視鏡レンダリングにおける前記関心構造の視覚的エンコーディングから前記壁の視覚的エンコーディングを識別する情報を提示するために前記人工知能モジュールを使用するようにさらに構成される、請求項1乃至13の何れか一項に記載のシステム。
管状構造のスキャンからの非スペクトルボリュメトリック画像データに基づいて３次元印象を提供する不透明度及び陰影を有する前記管状構造の管腔の３次元内視鏡レンダリングを生成するステップと、
前記スキャンからのスペクトルボリュメトリック画像データから決定されるスペクトル特性に基づいて壁上の関心構造から前記管状構造の前記壁を視覚的に識別する前記3次元内視鏡レンダリングのための視覚的エンコーディングを生成するステップと、
前記視覚的エンコーディングを用いて3次元内視鏡レンダリングを表示するステップと
を有する、方法。
前記視覚的エンコーディングを色相として表示するステップ
をさらに有する、請求項15に記載の方法。
スペクトル角、有効原子番号又はヨウ素濃度から構成されるグループから前記スペクトル特性を決定するステップ
を更に有する、請求項16に記載の方法。
コンピュータによって実行されるとき、コンピュータシステムを使用して3次元内視鏡レンダリングを生成するための方法を前記コンピュータに実行させる命令を記憶するコンピュータ可読記憶媒体であって、前記方法は、
管状構造のスキャンからの非スペクトルボリュメトリック画像データに基づいて３次元印象を提供する不透明度及び陰影を有する前記管状構造の管腔の３次元内視鏡レンダリングを生成するステップと、
前記スキャンからのスペクトルボリュメトリック画像データから決定されるスペクトル特性に基づいて壁上の関心構造から前記管状構造の前記壁を視覚的に識別する前記3次元内視鏡レンダリングのための視覚的エンコーディングを生成するステップと、
前記視覚的エンコーディングを用いて3次元内視鏡レンダリングを表示するステップと
を有する、コンピュータ可読記憶媒体。
前記方法は、
視覚的エンコーディングを色相として表示するステップ
を有する、請求項18に記載のコンピュータ可読記憶媒体。
前記方法は、
スペクトル角、有効原子番号又はヨウ素濃度から構成されるグループから前記スペクトル特性を決定するステップ
を有する、請求項１９に記載のコンピュータ可読記憶媒体。