JP2013150804A - 医用画像処理装置及び医用画像処理プログラム - Google Patents

医用画像処理装置及び医用画像処理プログラム Download PDF

Info

Publication number
JP2013150804A
JP2013150804A JP2013009190A JP2013009190A JP2013150804A JP 2013150804 A JP2013150804 A JP 2013150804A JP 2013009190 A JP2013009190 A JP 2013009190A JP 2013009190 A JP2013009190 A JP 2013009190A JP 2013150804 A JP2013150804 A JP 2013150804A
Authority
JP
Japan
Prior art keywords
view
dimensional image
display
condition
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013009190A
Other languages
English (en)
Other versions
JP6139143B2 (ja
Inventor
Pavlos Papageorgiou
パブロス・パパジョージオ
Richard Moffett
リチャード・モフェット
Judith Underwood
ジュディス・アンダーウッド
Andy Smout
アンディ・スマウト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Publication of JP2013150804A publication Critical patent/JP2013150804A/ja
Application granted granted Critical
Publication of JP6139143B2 publication Critical patent/JP6139143B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】ユーザーが指定した観察対象を必ずビュー内に収める等の表示制約条件を設定可能な医用画像処理装置を提供する。
【解決手段】表示された3次元画像の拡大縮小率、移動量、クリッピング条件を含む第1の表示条件と、表示された少なくとも一つの2次元画像に関する拡大率、平行移動量、クリッピング条件のを含む第2の表示条件と、のうちの一方を変更し、変更ユニットによる変更に連動して、所定の制約条件に基づいて、変更された第1の表示条件及び第2の表示条件の他方を調整し、変更された第1の表示条件及び第2の表示条件の一方と、調整された第1の表示条件及び第2の表示条件の他方と、ボリュームデータと、を用いて、観察対象に関する3次元画像及び前記観察対象に関する少なくとも一つの2次元画像を生成し、し、生成された3次元画像及び少なくとも一つの2次元画像を互いに関連付けて個別のウィンドウで表示する。
【選択図】図3

Description

本明細書で説明される実施形態は、概して、ボリューム画像データを表す2次元画像と3次元画像とを表示するための医用画像処理装置及び医用画像処理プログラムに関し、例えば、2次元医用画像と3次元医用画像とを表示するための医用画像処理装置及び医用画像処理プログラムに関する。
いくつかの医用撮像モダリティでは、3次元データが取り込まれる。このような断層撮像モダリティの例としては、CT、MR、3次元の再構成を有するX線血管造影検査法、PET、SPECT、および他の核医学の撮像モダリティ、ならびに、超音波によるデータ収集に関する新しい形態が挙げられる。このようなモダリティを用いて得られた画像データは、通常、一連の2次元画像として提示することができる。しかし、次第に、コンピュータに3次元データを記録し、断面または投影などの様々な情報を取り出すために、ユーザーの制御によってインタラクティブに2次元画像を生成することが有益であると、思われるようになってきている。
公知の技術を用いて、ボリューム画像データから、多断面再構成(MPR)画像と、最大値投影法(MIP)画像と、ボリュームレンダリング(VR)画像とを含む、様々な異なる種類の画像を得ることができる。
MPR画像は、サンプルされた3次元のフィールドからコンピュータの計算によって取り出された2次元の断面画像である。この2次元の断面は、限りなく薄い面に対する近似値とすることができる。また、この断面は、面と距離とによって定義される有限の範囲とすることができ、データは、最大、最小、または平均の演算子を用いて面に垂直に蓄積(accumulate)される。特定の厚さより大きい断面を用いて得られるMPR画像は、しばしばMPRスラブと呼ばれる。MPRスラブは、任意の適切なレンダリング技術(例えば、強度投影法、ボリュームレンダリング、カラーマップを有する強度投影法)を用いて表示することができる。
MIP画像は、3次元フィールド全体、または、3次元フィールドの大部分をベクトルに沿って蓄積することによって作り出される投影画像である。一般に、蓄積のために平行なベクトルが用いられ、データは、最大、最小、または平均の演算子を用いて蓄積される。
VR画像は、3次元フィールド全体、または、3次元フィールドの一部を蓄積することによって得られる投影画像である。平行なベクトルか、または発散状のベクトル(divergent vector)のいずれかが、蓄積のために用いられる。演算子は、有色光と固体表面との相互作用に関するおおまかな近似モデル(grossly approximate model)として選ばれる。
また、多くの他の種類の2次元画像または3次元画像を得ることもでき、MPR画像、MIP画像、およびVR画像は、単に例として挙げられている。
公知の医用撮像システムでは、生成された一組の2次元画像を同時に提示することが知られており、それぞれの2次元画像は、同じ3次元データおよび/または同じ測定装置から得られる。例えば、互いに直交している面で得られた3つのMPR画像、VR画像、および/または、MIP画像を提示することは一般的である。ユーザーは、面の角度または面の位置などの画像の幾何学的パラメータと、ピクセル値を表示するための高ダイナミックレンジのスカラーデータによるマッピングなどのフォトメトリックパラメータ(photometric parameter)とを変更することができる。新しいパラメータによって新しい画像が次に生成され、表示が更新される。
MPR画像のグループにおける同期動作に関する従来技術がある。例えば、互いに直交している3つのMPR画像の表示および同期操作が知られており、構成、動き、または、MPRビューにおける互いとのリンクに関する様々な態様が、公知の診断撮像機器において実施されている。
公知技術の1つは、互いに直交している3つのMPRビューが交差する3次元の点が、2つのビューにわたって画面上に横にそろえられ、また他の2つのビューにわたって画面上に縦にそろえられるように、それらのMPRビューを提示することである。
また、MPRビューの横にVRビューまたはMIPビューを提示することも知られている。しかし、公知のシステムにおけるVRビューまたはMIPビューは、MPRビューと十分に同期していない。従来技術で知られている一般的な構成の1つでは、VRビューまたはMIPビューは、MPRビューとは別に調節される。VRビューの視野を調節する公知の方法は、VRビューまたはMIPビューに重ね合わせられた3次元のワイヤーフレームの立方体を提示し、ユーザーがそのワイヤーフレームのエッジをマウスでドラッグして、VRまたはMIPの視野を変更できるようにすることである。
従来技術で知られている一般的な別の構成は、MPRビューに、VRビューまたはMIPビューの視野に関する上位セット(superset)を示させ、VRビューまたはMIPビューの視野について表現されたものをユーザーがMPRビュー上で調節できるようにするためのものである。これを行う公知の方法は、MPRビューのそれぞれに対して、VRまたはMIPの視野の垂直な投影を示す2次元のワイヤーフレームをMPRビューの中に提示し、ユーザーがMPR上のワイヤーフレームのエッジをドラッグして、VRビューまたはMIPビューの視野を変更できるようにすることである。
ToshibaのVoxar 3D(RTM)などの、知られているいくつかの製品で用いられているさらなる技術は、MPRビューの交差ポイントを、VRまたはMIPの視野の中心とリンクすることである。この構成では、VRまたはMIPの視野が立方体であることに制約される場合がある。ユーザーは、MPRビュー上のクロスヘア(cross hair)をドラッグすることによって、スクロールすることによって、または他の手段によって、MPRビューの交差ポイントを動かすことができる。VRまたはMIPの視野は、MPRの交差ポイントに常にその中心が置かれるように制約されているため、交差ポイントの動きに追従する。
同じボリュームデータセットから得られた3次元画像と2次元画像とを同時に表示するための公知の技術には、様々な欠点がある。
例えば、ユーザーが、MPRビューとは別々にVRビューまたはMIPビューを操作する必要があるシステムの場合、MPRビューと、VRビューまたはMIPビューとにおいて同じ組織部位、または、同じ特徴部分を見るためにユーザーに必要となる手動操作は、単調で煩わしく、また時間を浪費する可能性がある。ユーザーが同じ組織部位、または、同じ特徴部分を続けて見ることを希望する場合、ユーザーが画像を自由に見る際に、ユーザーには、MPRビューと、VRビューまたはMIPビューとを連続して操作することが必要となり、ユーザーは、異なる画像の視野が十分にオーバーラップすることを手動によって確実なものとする必要がある。
VRビューまたはMIPビューの3次元の視野が、MPRビュー上の2次元のワイヤーフレームによって調節されるシステムでは、ユーザーがMPRビューにおいて被検体の組織を評価すること、または、画面スペースを有効利用することが困難であるが、これは、VRおよびMIPの視野について表示されたものがMPRビューの中で自由に位置決めされ得るように、MPRビューが広い視野を有している必要があるためである。さらに、(MPRの視野を調節する方法が提供される場合には)このようなシステムにおいてVRビューおよびMIPビューの視野を調節する方法は、MPR画像の視野を調節する方法とは異なっており、それによって、ユーザーによる操作が複雑になり、また時間を浪費する可能性がある。
VRビューおよびMIPビューの視野の中心が、MPRの交差ポイントにリンクされる公知のシステムによって、ユーザーが、同じ組織を少なくとも狭い範囲にわたって、MPRと、VRまたはMIPとにおいて連続的に見ることが可能となり、また、MPRビュー、VRビュー、またはMIPビューのうちの任意のものの視野における、ユーザーによる調節が可能となる。しかし、このようなシステムは、画面スペースの有効利用ができず、また、標準的な方法によって画像を提示できないことがある。例えば、このようなシステムの場合、利用可能なビューより小さく、中心から離れて位置決めされる、MPRと、VRまたはMIPの視野を表示することが一般的であり、そのため、ビューの大部分はブランクとなり非生産的である。
目的は、例えばユーザーが指定した観察対象を必ずビュー内に収める等の種々の表示制約条件を設定可能な医用画像処理装置及び医用画像処理プログラムを提供することを目的とする。
本実施形態に係る医用画像処理装置は、所定の観察対象に関するボリュームデータから3次元画像と少なくとも一つの2次元画像とを関連付けて表示する医用画像処理装置において、前記ボリュームデータを記憶する記憶ユニットと、表示された3次元画像の拡大縮小率、移動量、クリッピング条件のうちの少なくとも一つを含む第1の表示条件と、表示された少なくとも一つの2次元画像に関する拡大率、平行移動量、クリッピング条件のうちの少なくとも一つを含む第2の表示条件と、のうちの一方を変更する変更ユニットと、
前記変更ユニットによる変更に連動して、所定の制約条件に基づいて、前記変更された第1の表示条件及び第2の表示条件の他方を調整する調整ユニットと、前記変更された第1の表示条件及び第2の表示条件の一方と、前記調整された第1の表示条件及び第2の表示条件の他方と、前記ボリュームデータと、を用いて、前記観察対象に関する3次元画像及び前記観察対象に関する少なくとも一つの2次元画像を生成する画像生成ユニットと、前記生成された3次元画像及び少なくとも一つの2次元画像を、互いに関連付けて個別のウィンドウにおいて表示する表示ユニットと、を具備する。
本実施形態に係る医用画像処理プログラムは、コンピュータに、所定の観察対象に関するボリュームデータから3次元画像と少なくとも一つの2次元画像とを関連付けて表示させる医用画像処理プログラムであって、表示された3次元画像の拡大縮小率、移動量、クリッピング条件のうちの少なくとも一つを含む第1の表示条件と、表示された少なくとも一つの2次元画像に関する拡大率、平行移動量、クリッピング条件のうちの少なくとも一つを含む第2の表示条件と、のうちの一方を変更させる変更機能と、前記変更ユニットによる変更に連動して、所定の制約条件に基づいて、前記変更された第1の表示条件及び第2の表示条件の他方を調整させる調整機能と、前記変更された第1の表示条件及び第2の表示条件の一方と、前記調整された第1の表示条件及び第2の表示条件の他方と、前記ボリュームデータと、を用いて、前記観察対象に関する3次元画像及び前記観察対象に関する少なくとも一つの2次元画像を生成させる画像生成機能と、前記生成された3次元画像及び少なくとも一つの2次元画像を、互いに関連付けて個別のウィンドウにおいて表示させる表示機能と、を実現させるものである。
一実施形態による画像処理システムの概略図。 公知の技術によって表示された2次元画像および3次元画像のスクリーンショット。 一実施形態による、図1のシステムによって行われる方法を示すフローチャート。 2次元および3次元の視野と、それらの、一動作モードにおけるビューポイントおよび交差ポイントに対する関係とを示す概略図。 2次元画像を拡大した際の表示制限の一例を示す図。 図3の方法によって表示された2次元画像および3次元画像のスクリーンショット。 2次元の視野の位置に関する概略図、ならびに、さらなる動作モードにおける2次元画像および3次元画像のスクリーンショット。 異なるモダリティを用いて得られた、融合した3次元画像と、対応する2次元画像とを示すスクリーンショット。
次に、以下の図面に示されている実施形態を非限定の例として説明する。
本実施形態に係る医用画像処理装置では、例えば、3次元画像及び少なくとも一つの2次元画像の少なくとも一方に対して、表示条件(例えば、視点、視野、拡大縮小率、移動量(平行移動、回転移動)、クリッピング条件等)の変更指示が入力された場合には、ビューポイントが視野内に必ず収まる(ビューポイントの視野からのはみ出しを低減する)ように、3次元画像及び少なくとも一つの2次元画像の表示条件を、所定の制約条件に従って調整する。制約条件は、以下に述べる様に、種々の条件を採用することができる。
一実施形態による医用画像処理装置が、図1に概略的に示されており、前の段落で説明された方法を実施するように構成されている。この医用画像処理装置は、この場合には表示デバイス4に接続されているパーソナルコンピュータ(PC)またはワークステーションである、処理装置2と、データ記憶部6と、この場合にはコンピュータのキーボードおよびマウスである、1つまたは複数のユーザー入力デバイス8とを備える。本医用画像処理装置に係る各機能は、ハードウェアによって実現してもよいし、専用プログラムによって実現するようにしてもよい。また、本医用画像処理装置は、X線コンピュータ断層撮像装置、磁気共鳴イメージング装置、超音波診断装置等に代表される医用画像診断装置に内蔵されていてもよい。
処理装置2は、様々なソフトウェアモジュール、または他のソフトウェア部品をロードして実行するように動作可能な中央処理装置(CPU)10を備える。図1の実施形態では、ソフトウェアモジュールは、2次元描画モジュール12と、3次元描画モジュール14と、ユーザーインタラクションモジュール16と、画像視野調整モジュール18とを含む。
処理装置2は、RAMと、ROMと、データバスと、様々なデバイスドライバを含むオペレーティングシステムと、様々な周辺デバイスとのインターフェースとなるハードウェアデバイス(例えば、グラフィクスカード)とを含む、PCの他の標準部品を含む。理解しやすいように、このような標準部品は図1に示されていない。
動作時には、処理装置2は、例えば、CT、MR、X線血管造影検査法、または超音波の画像データである、医用ボリューム画像データをデータ記憶部6からダウンロードして、その画像データを2次元画像または3次元画像として描画し、表示し、また、ユーザーがそれらの画像に対して様々な操作を行えるように動作可能である。
この処理装置は、所望の画像操作を行うように構成することができ、例えば、希望に応じて医用画像データを表示するための公知の方法を実行するように構成することができる。実施形態による方法を説明する前に、このような公知の方法の1つに関する簡潔な説明をいくつか行う。
図2は、公知の技術によって表示されたボリューム画像データのうちの選択された部分を示す。この場合には、表示デバイス4の画面上に4つの表示ウィンドウ20、22、24、26が表示されている。
表示ウィンドウの1つ20は、冠状断面における、患者または他の被検体の組織のうちの選択された部分の2次元MPRビューを示し、別の表示ウィンドウ22は、矢状断面における、組織の選択された部分の2次元MPRビューを示し、また第3の表示ウィンドウ24は、横断面または水平断面における、組織の選択された部分の2次元MPRビューを示している。したがって、表示ウィンドウ20、22、24は、ボリュームデータセットによって表されるボリュームの至る所における、互いに直交している3つのスライスにおける組織部分のビューを示す。互いに直交している3つのスライスが交わるポイントは、交差ポイントと呼ばれる。
図2の公知例では、交差ポイントの位置は、表示ウィンドウ20、22、24に示されているクロスヘア30a、30b、30c、30d、30e、30fによって示されている。それぞれの表示ウィンドウについて、交差ポイントの位置は、クロスヘアのペア間に引かれた線が交差することになる位置と一致している。そのため、例えば表示ウィンドウ24では、交差ポイントは、30aと30bとの間に引かれた直線が、30cと30dとの間に引かれた直線と交差することになる位置にある。
4番目のウィンドウ26は、患者の組織における、3次元のボリュームレンダリングされたビューを提供する。この4番目のウィンドウ26の中に3次元状に表示されるボリュームデータは、ワイヤーフレームボックス32によって画定されるボリュームの中に入るデータとして選択される。
動作時には、ユーザーは、マウスで行われる選択操作とドラッグ操作とを用いて、表示ウィンドウ20、22、24の横または上部に沿ってクロスヘア30a、30b、30c、30dの1つをスライドさせることによって、交差ポイントの位置を変更することができる。交差ポイントは、表示ウィンドウ20、22、24の中心に位置決めされることに限定されない。
また、ユーザーは、表示ウィンドウ20、22、24に表示される2次元画像の任意の1つに対して、スクロール操作またはパン操作を行うこともできる。一般に、パン操作は、表示ウィンドウ20、22、24のどこかにマウスポインタを位置決めし、次にマウスで選択操作とドラッグ操作を実行することによって行われる。
また、ユーザーは、マウスを用いてボックス32のワイヤーフレーム線をドラッグして、3次元画像の視野を変更することもできる。このような3次元画像の変更は、2次元画像のいかなる変更とも独立して行われる。
パン操作または他の画像操作にかかわらず、2次元ビューと3次元ビューを調節して同じ組織部分を示し、次に、その2次元ビューと3次元ビューが同じ組織部分を続けて示すようにそれらをある関係で維持することは、ユーザーにとっては時間を浪費することになる。2次元ビューと3次元ビューの視野を操作するためのツールは異なっており、ビューの同期を維持するためには、いくらかのスキルをもって、2次元ビューと3次元ビューを交互に使用する必要がある。
次に、一実施形態による動作方法を図3のフローチャートを参照して説明する。
プロセス40の第1段階では、処理装置2は、データ記憶部6からボリューム画像データセット7を受信する。この場合には、ボリューム画像データセットは、患者の組織を表す3次元CT画像データを備えるが、任意の適切なボリューム画像データを用いることができる。
画像視野調整モジュール18は、ボリューム画像データにおける所望の2次元ビューおよび3次元ビューに対する初期視野を設定する。この場合には、処理装置は、互いに直交している3つの2次元MPRビューと、VRビューまたはMIPビューとを表示するように構成されているが、代替実施形態では、2次元ビューまたは3次元ビューの任意の組み合わせを用いることができる。
実施形態における動作モードの1つでは、初期ビューは、データセットのボリューム画像データを全て表示するように設定される。実施形態の変形では、初期ビューは、様々な制約条件に従って設定される。
例えば、MPR断面の最初の向きは、組織の横断ビューと、冠状ビューと、矢状ビューとを表示するように設定することができる。VRビューまたはMIPビューの最初の向きは、上方にまっすぐに設定され、また、前方からまっすぐに表示される。一変形形態では、初期MPRビューは、横断ビューが表示ウィンドウにちょうど収まるように設定される。
CTデータの場合、交差ポイントは、最初に得られたスライス、または最後に得られたスライスの中心となるように初めのうちは設定されてもよい。一般に、それは、交差ポイントが患者の中央の軸上にあることを意味する。あるスキャンの場合には、交差ポイントは一番上側のスライスの中心となり、他のスキャンの場合には、交差ポイントは一番下側で得られたスライスの中心となる。
ビューポイント(例えば、関心のある基準位置或いは基準領域)は、スキャンの中心点に最も近い位置に設定されてもよく、それによって、2次元MPR画像の中に交差ポイントが表示され、また、3次元のVR画像またはMIP画像の視野の中に交差ポイントが維持されることになる。
3次元画像の視野と、2次元画像の視野とがリンクされ、それによって、視野の1つにおける位置の変化(例えば、ディスプレイの面における動き)が、画像のうちの少なくとも1つの他の画像における視野の対応する変化を自動的に引き起こし、その逆の場合も同様となり、またその変化が任意の制約条件を受ける点が、説明される実施形態の特徴である。図1の実施形態では、このリンクは、ビューポイントの動きに従って視野も動くように、画像ごとのビューポイントと、ビューポイントを基準として設定されている視野(例えば、ビューポイントは、視野の中心であるとして定義されている)とをリンクすることによって実施される。代替実施形態では、視野をリンクする任意の他の適切な方法を用いることができる。
ビューポイントの位置は、図4を参照して理解することができ、図4には、ビューポイント(VP:View Point)と、2次元の冠状MPR断面50、矢状MPR断面52、および横断MPR断面54を基準とする交差ポイント(IP:Intersection Point)との位置が概略的に示されており、また、3次元のVRビューまたはMIPビュー56の視野が概略的に示されている。
ビューポイントおよび交差ポイントは、患者の組織58を含む3次元空間において定義される可変のポイントである。
交差ポイントは、互いに直交している3つのMPR断面50、52、54の全てに共通のポイントである。いくつかのMPRビューが有限範囲(スラブ)の投影である場合、この範囲の中央にある面がこの定義に用いられる。ユーザーは、交差ポイントの位置を調節することができる。
ビューポイントは、ユーザーによって設定され得る別のポイントである。例えば、ビューポイントは、ユーザーによって選択されるポイントでもよく、また、ユーザーが被検体の組織を見ることに興味をもっている場所の位置或いは領域、又はその周囲の位置或いは領域でもよい。
説明する動作モードでは、3次元画像に対するビューポイントと、2次元画像に対するそれぞれのビューポイントとは同じである。代替実施形態、または代替の動作モードでは、3次元画像に対するビューポイントと、1つまたは複数の2次元画像に対するビューポイントとは、リンクすることができるが、それらは異なっている。一般には、全ての画像によって同じ組織部分が自動的に見られるため、3次元画像と2次元画像に対して同じとなるビューポイントを設定することが有用であると考えられているが、ビューポイントは、ユーザーによる希望に応じて変更されてもよい。
2次元MPRビューのそれぞれにおける視野によって、MPRビューで見られる部分の範囲が定められる。同様に、ボリューム視野によって、3次元のMIPビューまたはVRビューで見られるボリュームの範囲が定められる。
画像視野調整モジュール18は、3次元のVR画像またはMIP画像に対する視野56を選択する。動作モードの1つでは、幅がXであり、高さがYである、VRビューまたはMIPビューが表示されることになるビューウィンドウの大きさ(X,Y)は、切り取り用立方体56の大きさ(aX,aX,aY)をなすように広げられており、このうち、aXは、患者の左手−右手方向における長さであり、同様にaXは、患者の正面−背面方向における長さであり、またaYは、患者の上下方向における長さである。倍率であるaは、表示画面のピクセル値に対する、実際のスペースの寸法に関係する。
いくつかの実施形態では、ビューウィンドウの端と、2次元画像または3次元画像の端との一方または両方の間にマージンが含まれる。同様に、3次元のVRビューまたはMIPビューは、例えば、(例えば、表示画面の面の平行な)第3の直交方向におけるボリューム視野の深さがaX−cまたはaY−cとなり、このうちcが切り取り距離となるように、その第3の直交方向において、正面の切り取り面、および/または、背面の切り取り面のところを切り取ることができる。マージンおよび切り取り面の使用によって、ウィンドウ内における画像のいかなる回転にもかかわらず、3次元ビューウィンドウの中で3次元画像全体が見えたままとなることが確実になされ得る。
初期条件が一度設定されると、2次元描画モジュール12および3次元描画モジュール14は、初期条件に従って、2次元画像および3次元画像のそれぞれを、それぞれの表示ウィンドウに表示する。
これにより、例えば2次元画像に表示された腎臓Kを拡大表示する場合、関心領域である腎臓領域の境界が所定の位置に届くまでは、図5(a)から図5(b)に示すように、拡大中心O1の位置が変化しない拡大処理(通常の拡大処理)が実行される。一方、腎臓領域の境界が所定の位置に届いた場合には、腎臓領域が必ず視野内に収まる(視野からのはみ出しを低減する)ようにするために、図5(c)に示す様に拡大中心O1を平行移動させながらの拡大処理(腎臓領域の境界が所定の位置に届いた方向とは反対方向に拡大中心O1を平行移動させながらの拡大処理)を実行する。なお、この拡大中心O1を平行移動させながらの拡大処理についても、腎臓領域が必ず視野内に収まるように実行されることが好ましい。また、上記拡大処理後の2次元画像を縮小表示する場合には、図5(c)から図5(a)の流れに沿って、元の表示位置で表示されることが好ましい。
なお、関心領域の境界は、既存の技術により自動抽出することが可能である。例えば、診断対象毎に選択されるアプリケーションの前処理として、関心領域の境界を自動抽出することが好ましい。また、上記拡大処理に加えて、ユーザによって設定された解剖学的基準位置或いは基準領域が画面の中心に位置するように、表示制限を加えるようにしてもよい。
図6は、実施形態において説明した動作モードによる、直交している3つの2次元MPRビューの、表示ウィンドウ60、62、64における表示と、表示ウィンドウ66における3次元VR画像の表示とを示す。
交差ポイントの位置は、表示ウィンドウ60、62、64に表示されているクロスヘア70a、70b、70c、70d、70e、70fのペアによって示される。
プロセスの次の段階48では、ユーザーインタラクションモジュール16が、ユーザー入力デバイス8からユーザー入力を受信し、そのユーザー入力に応じて画像操作を行う。ユーザー入力は、表示された画像に対して実行される任意の種類のマウス操作、キーボード操作、または、任意の他の適切な種類のユーザー入力を備えることができる。
2次元画像におけるビューポイントの変化を引き起こす、任意の2次元画像に対するユーザー操作が、ウィンドウ66に表示される3次元画像における視界の変化を自動的に引き起こし、またその変化が制約条件を受ける点が、説明される実施形態の特徴である。同様に、3次元画像のビューポイントの変化、したがって3次元画像の視野の変化は、1つまたは複数の2次元画像のビューポイントの変化、したがって1つまたは複数の2次元画像の視野の変化を自動的に引き起こし、その変化は任意の制約条件を受ける。
ユーザーは、マウスによってパンツールアイコン(pan tool icon)を選択し、ビューの任意の1つの上をドラッグすることによって、MPRビューとVRビューの両方の視野を同時に変更することができる。この入力は全てのウィンドウに同様に解釈され、ビューは常に同じ視野を維持する。
パン操作の例をより詳細に考えると、ユーザーは、パンツールアイコンを選択し、次にマウスポインタを2次元の画像表示ウィンドウ60の中に置き、マウスボタンを押してドラッグ操作を実行し、ウィンドウに表示されている画像を下の方にドラッグする。したがって、ウィンドウ60に表示されている画像は、胴の上側の部位における被検体の組織を示すように変化する。画像のドラッグは、ウィンドウ66に表示されている3次元画像の視野における対応する変化を自動的に引き起こす。このように、例えばユーザーのマウスの動きによって、ウィンドウ60における2次元画像が下の方に(または上の方に、または横に)パンされると、ウィンドウ66に表示されている3次元画像の対応するパン動作が自動的に実行され、それによって、2次元画像と3次元画像は、同じ組織部位を自動的に示す。
また、ユーザーは、マウスの操作によって、ウィンドウ66に表示されている3次元画像に対して同様のパン操作を実行することもできる。この場合、ユーザーは、マウスを3次元画像の表示ウィンドウ66の中に置き、マウスボタンを押し、次にドラッグ操作を実行して、ウィンドウに表示されている画像を下の方にドラッグする。したがって、ウィンドウ66に表示されている画像は、胴の上側の部位における被検体の組織を示すように変化する。定義によって、画像のドラッグは、ウィンドウ66に表示されている3次元画像の視野の変化を引き起こす。そして今度は、それが、1つまたは複数の2次元画像における対応するパン動作を引き起こす。したがって、例えばユーザーのマウスの動きによって、ウィンドウ66に表示されている3次元画像が下の方に(または上の方に、または横に)ドラッグされると、ウィンドウ60、62、64における1つまたは複数の2次元画像の対応するパン動作が自動的に実行される。結果的に、画像をパンしても、被検体組織以外の黒い領域で視野が埋まるような表示となることを避ける制限が付加れることとなる。
別の操作では、ユーザーは、例えばキーボードによって、位置座標の入力を通じてビューポイントの位置を設定することができる。そして、2次元ビューおよび3次元ビューは、選択された位置に基づいて自動的に設定される。
説明される実施形態では、ユーザーが3次元画像(または2次元画像)に対して実行することができ、2次元画像(または3次元画像)に対しては対応する変化を必ずしも引き起こさない、いくつかの画像操作がある。
例えば、ユーザーは、2次元画像における対応する変化を引き起こさずに、3次元画像に対する回転操作を実行することができる。それによって、ユーザーが、2次元ビューを固定したまま3次元ビューを操作することが可能となり、2次元画像がわからなくなるということのない、または、後で2次元画像を再配置する必要のない、ユーザー側における画像の簡単で直感的な操作が提供され得る。
図1の実施形態では、VRビューまたはMIPビューの回転は、2自由度に基づくものである。マウスの左右の動きに割り当てられる1自由度によって、患者の上下軸のまわりの連続的な360度の回転が可能となる。マウスの上下の動きに割り当てられる2自由度によって、患者の頭部を見ることから、水平断面を見ることを経て、患者の足部を見ることまでの、収集対象の中心のまわりにおける仮想カメラの360度または180度の回転が可能となる。患者の上下軸の投影が、画面上で縦になるように制約される。
さらに、頭部をスキャンしたものと、足部をスキャンしたものを見ることを改善するため、回転軸について代替の選択を行うことができる。これらのスキャンについては、1自由度は、患者の左右軸のまわりの360度までの回転であり、他の自由度は、患者の正面−背面軸のまわりの360度までの回転である。画像を回転させる任意の他の適切な方法を提供することができる。
説明される実施形態では、マウスとキーボードとを用いて、2次元画像および3次元画像の操作が、調整された方法において実現される。この実施形態により、MPR画像と、VR画像またはMIP画像とにおいて同じ組織の特徴部分を見ることが可能となり、また、一方の画像がある特徴部分を示すために調整されると、他方の画像も同じ特徴部分を示すために調整されるように、画像間の関係を維持することが可能となる。
したがって、ユーザーは、組織の至る所におけるMPRビューと、VRビューまたはMIPビューとを自由に見る際に、同じ組織部分を全てのビューで続けて見ることができる。そのことは、異なるビューが組織の異なる側面をユーザーに伝えるため、望ましい。
ユーザーは、任意のビューを対象とするマウス入力、または他の入力を用いて、MPRビュー、VRビュー、および/またはMIPビューを組み合わせたものを自由に見ることができる。ユーザーは、ある場合には、入力をMPRビューに送ることができ、他の場合には、(場合によっては異なる)入力をVRビューまたはMIPビューに送ることができ、どちらの場合でも、組み合わせにおけるビューは一致したまま動く。
本実施形態によって提供される、組織の至る所におけるMPRビュー、VRビュー、またはMIPビューの視野を動かすためのユーザーインタラクションは、自然なものであり、どのビューが操作されようと、概して一様なものである。例えば、患者の頭部に向かう視野の動きは、断面画像または投影画像が縦方向の強い要素を有するどのビューにおいても、上部から底部へのマウスのドラッグによって実現される。概して、説明される実施形態における画像操作では、任意の他のビューにおける画像操作の種類に比べて、ビューの1つにおける、ボックスのドラッグなどの、様々な種類の操作技術は必要とならない。したがって、自然で直感的なユーザーインターフェースを提供することができる。
ユーザーによる画像の操作が、見ることと、ユーザーに対するインタラクションの体験とを向上させ得るいくつかの制約条件を受けることが、説明される実施形態の特徴である。
これらの制約条件は、説明される実施形態におけるプライオリティシステム(priority system)において定義され、また順序づけられる。制約条件のプライオリティシステムは、ビューポイントを計算するためのアルゴリズムと、それぞれのビューの他のパラメータとによって表すことができる。制約条件のいくつかでは、公知の画像解析またはフィルタ技術を用いてモジュール18によって自動的に実行され得る、それぞれの画像のブランク位置または背景部分の決定が必要となる。説明される実施形態に対する、最も低いプライオリティから最も高いプライオリティまでの制約条件は、以下の通りである。
・ビューポイントは、ユーザー入力に対応する。
・ビューポイントは、ボリュームデータセットによって表される3次元ボリュームの外に移動することはできない。
・それぞれのMPRビューは、ビューが表示されているウィンドウの中心に、MPR断面へのビューポイントの投影が行われるように提示される。
・MPRビューが、そのビューの一方の側にブランクスペースがあるように配置され、また、データがそのビューの他方の側までいっぱいに広がっている場合、ブランクスペースは小さいマージンに制限される。
・MPRビューが、利用可能なウィンドウの幅または高さより短い横の長さまたは縦の長さを有する場合、そのウィンドウの左マージンおよび右マージン、ならびに、そのウィンドウの上部マージンおよび底部マージンに対して、いかなるブランクスペースも実質的に等しく割り当てられるように、MPRビューはセンタリングされる。
・ビューの一方の端、または一方の側にブランクスペースを有するVRビューまたはMIPビューが提示され、そのビューの他方の端、または他方の側を越えて視野が延びている場合、ブランクスペースは小さいマージンに制限される。
・VRビューまたはMIPビューが、利用可能なウィンドウの幅または高さより短い横の長さまたは縦の長さを有する場合、そのウィンドウの左マージンおよび右マージン、ならびに、そのウィンドウの上部マージンおよび底部マージンに対して、いかなるブランクスペースも実質的に等しく割り当てられるように、VRビューまたはMIPビューはセンタリングされる。
・VRビューおよびMIPビューは、視野が交差ポイントを含むように提示される。ユーザー指示による交差ポイントの動きによって、その交差ポイントがVRまたはMIPの視野の外に出ることになる場合、(他の制約条件が与えられると)交差ポイントがVRまたはMIPの視野の中に残るように、ビューポイントは自動的に動く。ユーザー指示によるビューポイントの動きによって、交差ポイントがVRまたはMIPの視野の外に出ることになる場合、交差ポイントは、VRまたはMIPの視野の中に残るように自動的に動く。交差ポイントまたはビューポイントの自動的な動きは、システム構成に応じて、制約条件を満たす最小の量だけでよく、所定のステップサイズだけでよく、または、所定位置のアレイの1つまででよい。同じ制約条件をMPRビューに適用することもできる。
・VRまたはMIPの視野が、任意の方向において、設定されたボリュームデータによって表されるボリュームの外に及ぶことになる場合、可能であれば、そのVRまたはMIPの視野がボリュームの外に及ばないことを確実にするのに十分な量だけ、VRまたはMIPの視野は、ボリュームの中心に向かって動く。
・MPRビューは、交差ポイントが常に見えるように提示される。ユーザー指示による交差ポイントの動きによって、ビューの1つにおける可視範囲の外に交差ポイントが出ることになる場合、ビューポイントは、(他の制約条件が与えられると)交差ポイントが見えたままとなるように動く。ユーザー指示によるビューポイントの動きによって、ビューの可視範囲の外に交差ポイントが出ることになる場合、交差ポイントは、見えたままとなるように動く。
・交差ポイントは、ユーザー入力に対応する。
・交差ポイントは、ボリュームデータセットによって表されるボリュームの外に移動することはできない、かつ/または、交差ポイントは、MPR画像がブランクとなるようなポイントに移動することはできない。
・交差ポイントおよびビューポイントは、関与する全てのビューの間で共有される。
画像視野調整モジュール18は、プライオリティの順序を表す、挙げられた順に制約条件を適用する。制約条件の1つが別の制約条件と競合する場合、モジュール18は、最も高いプライオリティを有する制約条件を適用し、他の制約条件は無視するか、または、競合している別の高いプライオリティの制約条件と整合する分だけ、他の制約条件を適用する。
制約条件に従ってMPRビューと、VRビューまたはMIPビューとを提示することによって、組織を上方にまっすぐに維持すること、あたかも患者に向き合うように見ること、また、利用可能な画面スペースを最も有効に利用することなどの方法に画像が従うことが確実なものとされ得る。制約条件は、効率的な利用が、しばしばシステムの最も高価な部分となり得る、専門家であるユーザーにおける所要時間でなされることを確実にするのに役立ち得る。患者の、逆さまである頭部−足部軸を有する画像、または、ビューの中に大きいブランクスペースを残している中心から外れた画像などの、冗長な自由度を有する画像は、ユーザーを混乱させるか、または、より良い提示に調整するためのマウス動作を必要とする。制約条件は、ユーザーから要求される入力を最小にしつつ、最も有用なビューがユーザーに提供されることを確実にするのに役立つ。
代替実施形態、または代替の動作モードでは、1つまたは複数の任意の制約条件が含まれていても省略されていてもよく、制約条件の順序は、希望に応じて異なっていてもよい。他の異なる制約条件が適用されてもよい。
例えば、代替実施形態では、MIPと、VRまたはMPRとの視野が、取得したボリュームを越えて広がらないことを確実にする制約条件は、それぞれの画像に対して、データセットによって表されるボリュームの境界が、ビューウィンドウの中の所定の位置を越えて、例えばウィンドウの中心点を越えて、動かされることがないことを規定する別の制約条件に置き替えられる。その制約条件によれば、ビューウィンドウの中にブランクスペースが現れる場合があるが、画像がビューウィンドウの外に完全に動かされることはない。制限の少ないその制約条件は、オペレータが、興味対象である特定の組織の特徴部分を表す画像の一部を、そのオペレータの目の高さに配置することを可能にする点で有用となり得る。いくつかの状況では、特に、オペレータが大きいディスプレイを使用している場合には、その制約条件は、ウィンドウ上にブランクスペースがないことを確実にするよりも有益となり得る。
図6の場合には、表示ウィンドウ60、62、64、66、および、MPRビューの視野は、全て同じサイズである。代替実施形態、または代替の動作モードでは、表示ウィンドウおよび視野は、異なるサイズでもよい。図1の実施形態では、ユーザーは、表示ウィンドウと視野のサイズを、希望に応じて異なるように設定することができる。
同時に表示される異なるMPRビューの視野が同じでない場合、例えば、冠状ビューと矢状ビューが異なる高さのウィンドウに提示される場合には、別の実施形態、または別の動作モードによって、ビューポイントと交差ポイントのリンクされた動きについて別の構成を提供することができる。同様に、異なるウィンドウサイズによって、VRビューまたはMIPビューの視野がMPRビューと一致していない場合には、別の実施形態、または別の動作モードによって、ビューポイントと交差ポイントのリンクされた動きについて別の構成を提供することができる。
次に、図7を参照して、一実施形態による異なるサイズのMPRウィンドウの表示例を説明する。この場合には、冠状ビュー50の境界、矢状ビュー52の境界、および横断ビュー54の境界の位置およびサイズに関する概略図と共に、2次元ビューの表示ウィンドウ60、62、64が図示されている。理解しやすいように、3次元ビューの表示ウィンドウ66は図示されていないが、3次元ビューの表示ウィンドウ66は、表示ウィンドウ60、62、64の横に表示され得ることが理解されるであろう。この場合、冠状MPRビューと横断MPRビューとを表示する表示ウィンドウ60、64は、512ピクセル×512ピクセルの大きさを有する。矢状MPRを表示する表示ウィンドウは、(例えばユーザーの命令によって)サイズ変更されており、512ピクセル×1024ピクセルの大きさを有している。この場合には、簡潔のため、ボリュームデータセットは、スライスのデータを表す512ピクセル×512ピクセル×1024ピクセルのアレイであり、倍率は1.0であり、また、ウィンドウ60、62、64の中のビューのまわりに設けられる所望のマージンは、ゼロであることが想定されている。
ビューポイントおよび交差ポイントの位置は、この例では明確であるが、これらのポイントの初期値と、ビューポイントおよび交差ポイントが、異なる動作をもたらす入力に応じて動く方法とについては、自由な選択がいくつかある。異なる実施形態、または異なる動作モードにおいて、異なる選択が実施され得る。
例えば、最初の交差ポイントが、スライス0と番号を付けられた最も上側のスライスの中心に置かれるとする。ビューポイントは、スライス255の中心に置くことができ、それによって、冠状ビューは、スキャンの最も上側の半分を表示することになる。または、最初のビューポイントをスライス511の中心に置くことができ、それによって、冠状ビューは、スキャンの中央部分を表示することになる。
ユーザーが、次に冠状ビューに対するパン操作を実行することによってビューポイントの移動を試みる場合、ビューポイントは、境界スライス255と767の間だけを動くように制限され得る。ボリュームデータセットによって表されるボリュームに視野が制限される制約条件によって、この場合には、ビューポイントはこれらの境界を越えて動くことはできない。これらの動きにより、冠状ビューは、一度に512スライスの、スキャンしたものの全てを表示することが可能となる。この動きは矢視ビューを全く変化させないが、これは、矢状ビューが、スキャンしたもの全てを常に表示するように、センタリングによって制約されているためである。
ユーザーが、矢状ビューに対してパン操作を実行することによってビューポイントの移動を試みる場合、この動作については、いくつかの解釈が可能である。
・ビューポイントは動くべきではなく、したがって、ビューは変化しない。なぜなら、その変化は、矢状ビューでは見えないためである。
・または、どのビューに対して入力が行われたかに関わらず、ビューポイントは、同じ量だけ動くべきである。このことは、ビューポイントをボリューム内に維持することとは別に、制約条件の構築を困難にする。それは、ビューポイントが動いても、全てのビューがセンタリングによって制約されているため、ユーザーがパン操作の実行を試みてもビューが変化しないという、直感的ではない操作をまねく恐れがある。
・または、制約条件によって、ビューポイントの動きが、入力を受信するビューを変化させないことになる場合、ビューポイントは、その入力を受信したビューの、センタリングの制約条件の中にちょうど入るようにまず変化し、次に移動する。この例では、それは、スライス511の中心にビューポイントをジャンプさせることになる。
図1の実施形態では、第1の選択は初期条件に対して行われるため、ビューポイントはスライス255の中心に配置され、最初はスキャンの最も上側の半分を冠状ビューに表示させる。図1の実施形態では、第3の選択はビューポイントの動きに対して行われるため、ユーザーが、矢状ビューに対してパン操作を実行することによってビューポイントの移動を試みる場合、ビューポイントの動きが、制約条件によって矢状ビューの変化をもたらさないことになる場合には、ビューポイントは、矢状ビューのセンタリングの制約条件の中にちょうど入るようにまず変化し、次に移動する。代替実施形態、または代替の動作モードでは、それらの制約条件に関して異なる選択を行うこともできる。
さらなる動作モードでは、図1のシステムは、2つの異なるボリュームデータセットから同時に得られた画像を見るために用いられる。通常、同じ被検体を表すさらなるボリュームデータセットが得られる。このさらなるボリュームデータセットは、オリジナルのボリュームデータセットに対して異なる時間に得られてもよく、かつ/または、異なる撮像モダリティを用いて得られてもよい。
ボリュームデータセットと、さらなるボリュームデータセットは、処理リソース10を用いて登録処理にかけられる。任意の適切な登録処理を用いることができる。この登録処理によって、ボリュームデータセットと、さらなるボリュームデータセットは、同じ調整システムに割り当てられる。
このシステムは、ボリュームデータセットと、さらなるボリュームデータセットとの両方から得られた、例えば横に並べられる画像を同時に表示するように構成されている。任意の所望の組合せの画像を表示することができる。例えば、両方のボリュームデータセットからの3次元画像を、両方のボリュームデータセットからの2次元画像と一緒に、同時に表示することができる。
ビューポイントは、両方のボリュームデータセットからの画像のそれぞれに対して定義され、それぞれの画像のビューポイントは、既に説明されたようにリンクされる。したがって、異なるボリュームデータセットから得られたビューの自動的な同期が得られる。例えば、画像の1つに対して行われるパン操作は、他の画像がボリュームデータセットから得られたものか、または、さらなるボリュームデータセットから得られたものかにかかわらず、少なくとも1つの他の画像に対して実行される対応するパン操作を自動的に引き起こすことになる。
いくつかの場合では、ボリュームデータセットによって表されるボリュームと、さらなるボリュームデータセットによって表されるさらなるボリュームとは、同一ではない。例えば、ボリュームと、さらなるボリュームとは、部分的に重なることができるが、異なる境界を有する場合がある。このような場合、制約条件の体系は、ユーザーが望むように変更されてもよい。
例えば、使用時にVR(またはMIP)の視野がボリュームデータセットによって表されるボリュームの外に広がることができないという制約条件は、VR(またはMIP)画像のどちらかに対するVR(またはMIP)の視野が、ボリュームデータセットによって表されるボリュームと、さらなるボリュームデータセットによって表されるボリュームとのどちらかの外に広がることができるが、ボリュームデータセットによって表されるボリュームと、さらなるボリュームデータセットによって表されるボリュームとの幾何学的結合部分の中にはとどまるよう、VR(またはMIP)画像のどちらかに対するVR(またはMIP)の視野が制約されるように、拡張されてもよい。あるいは、その制約条件は、VR(またはMIP)の視野のそれぞれに別々に適用されてもよい。その場合、ボリュームデータセットによって表されるボリュームの端に近いボリュームを見る際に、2つのVR(またはMIP)画像のビューポイントが異なることになる場合がある。制約条件は、最も自然に、また直感的に見るための構成を確実なものとするために、例えばユーザーの好みに基づいて設定されてもよい。
本明細書で説明した実施形態は、ボリューム視野と、少なくとも1つの2次元画像の視野とをリンクする特徴を含んでいるため、一方の画像の動きは、少なくとも1つの他方の画像における対応する動きを自動的に引き起こす。代替実施形態では、リンクされた複数のビューポイントを定義することができ、また、さらなる制約条件を適用することができる。例えば、いくつかの実施形態では、複数のビューポイントのそれぞれが各画像の視野の中になければならず、かつ/または、複数のビューポイントに対してそれぞれの視野を画定することができるという制約条件があり得る。
本明細書で述べた実施形態は、MPR画像と、VR画像またはMIP画像とを見ることに関して説明された。しかし、実施形態は、このような画像を見ることに限定されない。むしろ、代替実施形態においては、任意の適切な2次元画像と3次元画像とを見ることができる。説明する代替実施形態では、上記の説明におけるMPR画像への言及は、任意の他の適切な種類の2次元画像への言及に置き換えられてもよく、また、VR画像またはMIP画像への言及は、任意の他の適切な種類の3次元画像への言及と置き換えられてもよい。
実施形態では、任意の適切なデータセットを用いることができる。例えば、一組の断面画像が作られる前の、スキャナ検出器からの生データより再構築されたボリュームデータを用いることができ、スキャナからアーカイブまたはワークステーションに送られた断面画像の組から再構築されたボリュームデータを用いることができ、または、例えばパラメトリックマップデータ(例えば、3Dの対ピーク時間(3D time to peak)、3Dの平均移行時間(3D mean transit time))と、差し引かれたボリュームデータ(subtracted volume data)と、仮想の非コントラストボリュームデータ(virtual non-contrast volume data)とである、さらなる処理からもたらされるボリュームデータを用いることができる。2次元画像は、ボリュームデータの適切な処理から得ることができ、または、例えばスキャナから直接得られる2次元データセットである、2次元データセットから得ることができる。
本発明は、単一の3次元画像の表示に限定されない。いくつかの実施形態では、2つ以上の3次元画像が表示され、また、3次元画像うちの1つの視野の変化が他の3次元画像(複数可)の視野(複数可)の変化を自動的に引き起こし、その逆も同様となるように3次元画像のそれぞれの視野がリンクされる。
同じ被検体に対して異なる時間に得られたデータセット、または異なるモダリティを用いて得られたデータセットなどの異なるデータセットから、異なる3次元画像を得ることができる。代替的または付加的に、異なる3次元画像は、例えば、異なる種類の描画装置、異なる描画設定を用いて、追加の、もしくは異なる切り取り、または区分けを用いて得られる、異なって表示されたものを備え得る。
例えば、医用撮像の一実施形態では、同じボリューム視野を有する、3次元のボリュームレンダリング(VR)されたビューと、3次元のMIPビューとを並べて表示することができる。一般に、MIPビューは、コントラストが強調された血管をVRビューより正確に示すが、MIPビューで評価するには深さが厳しい場合があるため、このような実施形態が特に有用なことがある。別の実施形態では、同じボリューム視野と、同じ表示設定を有するが、異なる方向からのビューである異なる3次元ビューに、同じボリュームを表示することができる。
別の実施形態では、3次元ビュー(複数可)および/または2次元ビュー(複数可)は、同じ時間または異なる時間に異なるモダリティを用いて得られた画像データを融合したもの(fusion)を表示することができる。図8に示されている実施形態では、表示には、患者から得られたPETボリュームデータとCTボリュームデータとの、3次元のボリュームレンダリングされた融合表示を表示するウィンドウ70と、それに並び、2次元の横断MPRのCT画像、ならびに、横にある、CTデータおよびPETデータからなる横断MPRを表す融合した2次元画像を表示するウィンドウ72とが含まれる。さらに、CT画像である2次元の矢状MPRと、横にある、CTデータおよびPETデータからなる矢状MPRを表す融合した2次元画像とを表示するウィンドウ74が表示される。ウィンドウ74は、ウィンドウ76の横に表示されており、ウィンドウ76は、CT画像である2次元の冠状MPRと、横にある、CTデータおよびPETデータからなる冠状MPRを表す融合した2次元画像とを表示している。図8における3次元画像および2次元画像のそれぞれの視野は、他の実施形態に関して既に説明されたようにリンクされている。
本明細書において特定のモジュールが説明されたが、代替実施形態では、これらのモジュールのうちの1つまたは複数の機能が、単一のモジュールもしくは他のコンポーネントによって提供されてもよく、また、単一モジュールによって提供される機能が、2つ以上のモジュール、または、他のコンポーネントの組合せによって提供されてもよい。
また、実施形態では特定の機能がソフトウェアによって実施されているが、その機能がハードウェアだけで(例えば、1つまたは複数のASIC(特定用途向け集積回路)によって)、または、ハードウェアとソフトウェアの組合せによって実施され得ることは、当業者によって十分に理解されるであろう。したがって、実施形態は、ソフトウェアによって実施されることだけに限定されない。
いくつかの実施形態が説明されたが、これらの実施形態は、例としてのみ与えられており、本発明の範囲を限定するようには考えられていない。実際には、本明細書で説明された新規性のある方法およびシステムは、様々な他の形態で実施することができ、さらに、本明細書で説明された方法およびシステムの形態における様々な省略、代用、および変更は、本発明の主旨から逸脱することなく行われ得る。添付の特許請求の範囲、およびそれらの等価物は、本発明の範囲に入ることになる形態と変更形態とを含むように考えられている。

Claims (13)

  1. 所定の観察対象に関するボリュームデータから3次元画像と少なくとも一つの2次元画像とを関連付けて表示する医用画像処理装置において、
    前記ボリュームデータを記憶する記憶ユニットと、
    表示された3次元画像の拡大縮小率、移動量、クリッピング条件のうちの少なくとも一つを含む第1の表示条件と、表示された少なくとも一つの2次元画像に関する拡大率、平行移動量、クリッピング条件のうちの少なくとも一つを含む第2の表示条件と、のうちの一方を変更する変更ユニットと、
    前記変更ユニットによる変更に連動して、所定の制約条件に基づいて、前記変更された第1の表示条件及び第2の表示条件の他方を調整する調整ユニットと、
    前記変更された第1の表示条件及び第2の表示条件の一方と、前記調整された第1の表示条件及び第2の表示条件の他方と、前記ボリュームデータと、を用いて、前記観察対象に関する3次元画像及び前記観察対象に関する少なくとも一つの2次元画像を生成する画像生成ユニットと、
    前記生成された3次元画像及び少なくとも一つの2次元画像を、互いに関連付けて個別のウィンドウにおいて表示する表示ユニットと、
    を具備することを特徴とする医用画像処理装置。
  2. 前記所定の制約条件は、前記所定の観察対象に設定された基準位置又は基準領域が前記3次元画像に関する視野及び前記2次元画像に関する視野に含まれるように、拡大縮小率、移動量、クリッピング条件を設定するものであることを特徴とする請求項1記載の医用画像処理装置。
  3. 前記所定の制約条件は、前記3次元画像と前記少なくとも一つの2次元画像のそれぞれを、前記所定の観察対象に設定された基準位置又は基準領域を各ウィンドウにおいて所定の位置に表示するものであることを特徴とする請求項1又は2記載の医用画像処理装置。
  4. 前記所定の制約条件は、前記所定の観察対象に基づいて設定された領域の境界が所定の基準位置又は基準境界を超えないように、前記3次元画像と前記少なくとも一つの2次元画像のそれぞれを、各ウィンドウにおいて表示するものであることを特徴とする請求項1又は2記載の医用画像処理装置。
  5. 前記所定の制約条件は、前記ボリュームデータに設定された所定の領域を超えないように、前記少なくとも一つの2次元画像のそれぞれを、各ウィンドウにおいて表示するものであることを特徴とする請求項1乃至4のうちいずれか一項記載の医用画像処理装置。
  6. 前記所定の制約条件は、前記ボリュームデータに設定された所定の領域を超えないように、前記3次元画像をウィンドウにおいて表示するものであることを特徴とする請求項1乃至5のうちいずれか一項記載の医用画像処理装置。
  7. 前記所定の制約条件は、前記2次元画像が複数ある場合において、前記各2次元画像に関する断面が交差する領域に関する基準位置又は基準領域が、所定の基準位置又は基準境界を超えないように、前記少なくとも一つの2次元画像のそれぞれを、各ウィンドウにおいて表示するものであることを特徴とする請求項1乃至6のうちいずれか一項記載の医用画像処理装置。
  8. 前記所定の制約条件は、前記2次元画像が複数ある場合において、前記各2次元画像に関する断面が交差する領域に関する基準位置又は基準領域が、前記ボリュームデータに設定された所定の領域内に存在するように、前記少なくとも一つの2次元画像のそれぞれを、各ウィンドウにおいて表示するものであることを特徴とする請求項1乃至7のうちいずれか一項記載の医用画像処理装置。
  9. 前記所定の制約条件が複数存在する場合には、前記調整ユニットは、予め設定された優先度に基づいて前記複数の所定の制約条件を選択し、前記選択した所定の制約条件に基づいて、前記変更された第1の表示条件及び第2の表示条件の少なくとも一方を調整することを特徴とする請求項1乃至8のうちいずれか一項記載の医用画像処理装置。
  10. 前記所定の制約条件は、前記3次元画像を表示するウィンドウの大きさに基づいて、前記3次元画像に関する視野を調整するものであることを特徴とする請求項1乃至9のうちいずれか一項記載の医用画像処理装置。
  11. 前記所定の制約条件は、前記少なくとも一つの2次元画像を用いて設定される所定境界を超えないように、前記3次元画像に関する視野を調整するものであることを特徴とする請求項1乃至10のうちいずれか一項記載の医用画像処理装置。
  12. 前記所定の制約条件は、前記第1の表示条件及び第2の表示条件の一方にされた変更を他方に反映させないものであることを特徴とする請求項1乃至11のうちいずれか一項記載の医用画像処理装置。
  13. コンピュータに、所定の観察対象に関するボリュームデータから3次元画像と少なくとも一つの2次元画像とを関連付けて表示させる医用画像処理プログラムであって、
    表示された3次元画像の拡大縮小率、移動量、クリッピング条件のうちの少なくとも一つを含む第1の表示条件と、表示された少なくとも一つの2次元画像に関する拡大率、平行移動量、クリッピング条件のうちの少なくとも一つを含む第2の表示条件と、のうちの一方を変更させる変更機能と、
    前記変更ユニットによる変更に連動して、所定の制約条件に基づいて、前記変更された第1の表示条件及び第2の表示条件の他方を調整させる調整機能と、
    前記変更された第1の表示条件及び第2の表示条件の一方と、前記調整された第1の表示条件及び第2の表示条件の他方と、前記ボリュームデータと、を用いて、前記観察対象に関する3次元画像及び前記観察対象に関する少なくとも一つの2次元画像を生成させる画像生成機能と、
    前記生成された3次元画像及び少なくとも一つの2次元画像を、互いに関連付けて個別のウィンドウにおいて表示させる表示機能と、
    を実現させることを特徴とする医用画像処理プログラム。
JP2013009190A 2012-01-24 2013-01-22 医用画像処理装置及び医用画像処理プログラム Active JP6139143B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/357,039 2012-01-24
US13/357,039 US9196091B2 (en) 2012-01-24 2012-01-24 Image processing method and system

Publications (2)

Publication Number Publication Date
JP2013150804A true JP2013150804A (ja) 2013-08-08
JP6139143B2 JP6139143B2 (ja) 2017-05-31

Family

ID=48796841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013009190A Active JP6139143B2 (ja) 2012-01-24 2013-01-22 医用画像処理装置及び医用画像処理プログラム

Country Status (3)

Country Link
US (1) US9196091B2 (ja)
JP (1) JP6139143B2 (ja)
CN (1) CN103295256B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022530154A (ja) * 2019-11-29 2022-06-27 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド 画像上の位置決めの操作表示方法及び装置、電子機器及び記憶媒体

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140253544A1 (en) * 2012-01-27 2014-09-11 Kabushiki Kaisha Toshiba Medical image processing apparatus
SG11201503711YA (en) * 2012-11-23 2015-06-29 Cadens Medical Imaging Inc Method and system for displaying to a user a transition between a first rendered projection and a second rendered projection
EP2992513B1 (en) 2013-05-02 2022-08-10 Smith & Nephew, Inc. Surface and image integration for model evaluation and landmark determination
DE102013216858A1 (de) * 2013-08-23 2015-02-26 Siemens Aktiengesellschaft Verfahren zur Darstellung eines in einem Volumendatensatz abgebildeten Objektes auf einem Bildschirm
JP6026982B2 (ja) 2013-09-30 2016-11-16 富士フイルム株式会社 画像表示制御装置およびその作動方法並びに画像表示制御プログラム
CN103530902A (zh) * 2013-10-24 2014-01-22 江苏美伦影像系统有限公司 医学影像二维处理及三维重建系统
KR101604812B1 (ko) 2014-01-15 2016-03-18 삼성전자주식회사 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
US20170105802A1 (en) * 2014-03-27 2017-04-20 Bresmedical Pty Limited Computer aided surgical navigation and planning in implantology
US9606584B1 (en) * 2014-07-01 2017-03-28 D.R. Systems, Inc. Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures
CN105321202A (zh) * 2014-07-16 2016-02-10 南京普爱射线影像设备有限公司 医学二维图像和3d图像显示软件系统
GB2542114B (en) * 2015-09-03 2018-06-27 Heartfelt Tech Limited Method and apparatus for determining volumetric data of a predetermined anatomical feature
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
CN105956395A (zh) * 2016-04-29 2016-09-21 青岛海信医疗设备股份有限公司 医学影像处理方法、装置及系统
WO2017200527A1 (en) * 2016-05-16 2017-11-23 Hewlett-Packard Development Company, L.P. Generating a shape profile for a 3d object
CN109952070B (zh) 2016-10-05 2022-02-01 纽文思公司 手术导航系统及相关方法
CN107049348B (zh) * 2017-01-04 2020-04-10 东软医疗系统股份有限公司 定位框调整方法及装置
CN109360233A (zh) * 2018-09-12 2019-02-19 沈阳东软医疗系统有限公司 图像融合方法、装置、设备及存储介质
CN109830289B (zh) * 2019-01-18 2021-04-06 上海皓桦科技股份有限公司 肋骨图像显示装置
JP7216610B2 (ja) * 2019-05-14 2023-02-01 古野電気株式会社 データ処理装置、データ処理方法、およびプログラム
CN110505465B (zh) * 2019-08-30 2022-08-23 京东方科技集团股份有限公司 数据传输方法、三维图像显示方法、装置及电子设备
US11604577B1 (en) * 2022-06-16 2023-03-14 Intuit Inc. Modifying scrolling behavior with competing constraint priorities in landscape and portrait modes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006142021A (ja) * 2004-11-23 2006-06-08 General Electric Co <Ge> ボリューム・レンダリング表示プロトコルのための方法及び装置
JP2006305204A (ja) * 2005-04-28 2006-11-09 Morita Mfg Co Ltd Ct画像表示方法及び装置
US20070127791A1 (en) * 2005-11-15 2007-06-07 Sectra Ab Automated synchronization of 3-D medical images, related methods and computer products

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6369812B1 (en) * 1997-11-26 2002-04-09 Philips Medical Systems, (Cleveland), Inc. Inter-active viewing system for generating virtual endoscopy studies of medical diagnostic data with a continuous sequence of spherical panoramic views and viewing the studies over networks
DE10254908B4 (de) * 2002-11-25 2006-11-30 Siemens Ag Verfahren zum Herstellen eines Bildes
GB2395880B (en) * 2002-11-27 2005-02-02 Voxar Ltd Curved multi-planar reformatting of three-dimensional volume data sets
US20050065424A1 (en) * 2003-06-06 2005-03-24 Ge Medical Systems Information Technologies, Inc. Method and system for volumemetric navigation supporting radiological reading in medical imaging systems
GB2415876B (en) * 2004-06-30 2007-12-05 Voxar Ltd Imaging volume data
US8373652B2 (en) * 2005-04-06 2013-02-12 Kabushiki Kaisha Toshiba Image display apparatus and image display method
DE102005035929A1 (de) 2005-07-28 2007-02-01 Siemens Ag Verfahren zur Darstellung mehrerer Bilder sowie ein Bildsystem zur Durchführung des Verfahrens
DE602006014865D1 (de) * 2005-12-14 2010-07-22 Koninkl Philips Electronics Nv Verfahren und einrichtung zum miteinander in beziehung setzen von medizinischen 3d-datenbild-ansichtsebenen
US20080074427A1 (en) * 2006-09-26 2008-03-27 Karl Barth Method for display of medical 3d image data on a monitor
US20100177177A1 (en) * 2007-06-07 2010-07-15 Koninklijke Philips Electronics N.V. Inspection of tubular-shaped structures
US8494250B2 (en) * 2008-06-06 2013-07-23 Siemens Medical Solutions Usa, Inc. Animation for conveying spatial relationships in three-dimensional medical imaging
JP5395538B2 (ja) * 2009-06-30 2014-01-22 株式会社東芝 超音波診断装置及び画像データ表示用制御プログラム
US9020235B2 (en) * 2010-05-21 2015-04-28 Siemens Medical Solutions Usa, Inc. Systems and methods for viewing and analyzing anatomical structures
JP5926728B2 (ja) * 2010-07-26 2016-05-25 ケイジャヤ、エルエルシー 内科医が直接用いるのに適応したビジュアライゼーション
US10105115B2 (en) * 2011-11-25 2018-10-23 Mirada Medical Limited Method and system for processing medical image datasets

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006142021A (ja) * 2004-11-23 2006-06-08 General Electric Co <Ge> ボリューム・レンダリング表示プロトコルのための方法及び装置
JP2006305204A (ja) * 2005-04-28 2006-11-09 Morita Mfg Co Ltd Ct画像表示方法及び装置
US20070127791A1 (en) * 2005-11-15 2007-06-07 Sectra Ab Automated synchronization of 3-D medical images, related methods and computer products

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022530154A (ja) * 2019-11-29 2022-06-27 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド 画像上の位置決めの操作表示方法及び装置、電子機器及び記憶媒体

Also Published As

Publication number Publication date
US20130187903A1 (en) 2013-07-25
CN103295256B (zh) 2018-05-08
CN103295256A (zh) 2013-09-11
US9196091B2 (en) 2015-11-24
JP6139143B2 (ja) 2017-05-31

Similar Documents

Publication Publication Date Title
JP6139143B2 (ja) 医用画像処理装置及び医用画像処理プログラム
US11361479B2 (en) Enhancements for displaying and viewing tomosynthesis images
RU2686953C2 (ru) Способ и устройство для отображения медицинских изображений
JP6118325B2 (ja) 最適なトモグラフィスライスの自動選択を備えた対話式ライブセグメンテーション
JP5224451B2 (ja) 投影画像作成装置、方法およびプログラム
US8860714B2 (en) Apparatus and method for generating stereoscopic viewing image based on three-dimensional medical image, and a computer readable recording medium on which is recorded a program for the same
US7916915B2 (en) Image handling and display in x-ray mammography and tomosynthesis
EP2974663A1 (en) Image handling and display in digital mammography
JP5818531B2 (ja) 画像処理システム、装置及び方法
JP4632851B2 (ja) Ct画像表示方法及び装置
JP2006512133A (ja) 3dモデルを表示および比較するためのシステムおよび方法
JP3954596B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2013192940A (ja) 医用画像処理装置及び医用画像処理方法
JP2006305203A (ja) Ct画像表示方法および装置
JP6114266B2 (ja) 画像をズームするシステム及び方法
JP2008067915A (ja) 医用画像表示装置
US11688126B2 (en) Image rendering apparatus and method
JPH0254381A (ja) 画像処理及び装置
Williams A method for viewing and interacting with medical volumes in virtual reality

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151116

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170427

R150 Certificate of patent or registration of utility model

Ref document number: 6139143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350