以下、添付図面を参照して、画像処理システム、端末装置及び方法の実施形態を詳細に説明する。ここで、以下の実施形態で用いる用語について説明すると、「視差画像群」とは、ボリュームデータに対して、所定の視差角ずつ視点位置を移動させてボリュームレンダリング処理を行うことで生成された画像群のことである。すなわち、「視差画像群」は、「視点位置」が異なる複数の「視差画像」から構成される。また、「視差角」とは、「視差画像群」を生成するために設定された各視点位置のうち隣接する視点位置とボリュームデータによって表される空間内の所定位置(例えば、空間の中心)とにより定まる角度のことである。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、以下で記載する「9視差画像」とは、9つの「視差画像」から構成される「視差画像群」のことである。また、以下で記載する「2視差画像」とは、2つの「視差画像」から構成される「視差画像群」のことである。
(第1の実施形態)
まず、第1の実施形態に係る画像処理システムの構成例について説明する。図1は、第1の実施形態に係る画像処理システムの構成例を説明するための図である。
図1に示すように、第1の実施形態に係る画像処理システム1は、医用画像診断装置110と、画像保管装置120と、ワークステーション130と、端末装置140とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)2により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像処理システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。
かかる画像処理システム1は、医用画像診断装置110により生成された3次元の医用画像データであるボリュームデータから視差画像群を生成し、この視差画像群を立体視可能なモニタに表示することで、病院内に勤務する医師や検査技師等の観察者に対して、かかる観察者が立体的に視認可能な画像である立体画像を提供する。具体的には、第1の実施形態において、ワークステーション130は、ボリュームデータに対して種々の画像処理を行い、視差画像群を生成する。また、ワークステーション130及び端末装置140は、立体視可能なモニタを有し、ワークステーション130にて生成された視差画像群をモニタに表示することで立体画像を利用者に表示する。また、画像保管装置120は、医用画像診断装置110にて生成されたボリュームデータや、ワークステーション130にて生成された視差画像群を保管する。例えば、ワークステーション130や端末装置140は、画像保管装置120からボリュームデータや視差画像群を取得し、取得したボリュームデータや視差画像群に対して任意の画像処理を実行したり、視差画像群をモニタに表示したりする。以下、各装置を順に説明する。
医用画像診断装置110は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等である。また、第1の実施形態に係る医用画像診断装置110は、3次元の医用画像データ(ボリュームデータ)を生成可能である。
具体的には、第1の実施形態に係る医用画像診断装置110は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置110は、被検体を撮影することにより投影データやMR信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数のアキシャル面の医用画像データを再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置110は、500枚のアキシャル面の医用画像データを再構成する場合、この500枚のアキシャル面の医用画像データ群が、ボリュームデータとなる。なお、医用画像診断装置110により撮影された被検体の投影データやMR信号等自体をボリュームデータとしても良い。
また、第1の実施形態に係る医用画像診断装置110は、生成したボリュームデータを画像保管装置120に送信する。なお、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する際に、付帯情報として、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置110を識別する装置ID、医用画像診断装置110による1回の撮影を識別するシリーズID等を送信する。
画像保管装置120は、医用画像を保管するデータベースである。具体的には、第1の実施形態に係る画像保管装置120は、医用画像診断装置110からボリュームデータを受信し、受信したボリュームデータを所定の記憶部に保管する。また、第1の実施形態においては、ワークステーション130が、ボリュームデータから視差画像群を生成し、生成した視差画像群を画像保管装置120に送信する。このため、画像保管装置120は、ワークステーション130から送信された視差画像群を所定の記憶部に保管する。なお、本実施形態は、大容量の画像を保管可能なワークステーション130を用いることで、図1に例示するワークステーション130と画像保管装置120とが統合される場合であってもよい。すなわち、本実施形態は、ワークステーション130そのものにボリュームデータもしくは視差画像群を記憶させる場合であってもよい。
なお、第1の実施形態において、画像保管装置120に保管されたボリュームデータや視差画像群は、患者ID、検査ID、装置ID、シリーズID等と対応付けて保管される。このため、ワークステーション130や端末装置140は、患者ID、検査ID、装置ID、シリーズID等を用いた検索を行うことで、必要なボリュームデータや視差画像群を画像保管装置120から取得する。
ワークステーション130は、医用画像に対して画像処理を行う画像処理装置である。具体的には、第1の実施形態に係るワークステーション130は、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行うことで、視差画像群を生成する。
また、第1の実施形態に係るワークステーション130は、表示部として、立体画像を表示可能なモニタ(立体表示モニタ、立体画像表示装置とも称する)を有する。ワークステーション130は、視差画像群を生成し、生成した視差画像群を立体表示モニタに表示する。この結果、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な立体画像を確認しながら、視差画像群を生成するための操作を行うことができる。
また、ワークステーション130は、生成した視差画像群を画像保管装置120や端末装置140に送信する。なお、ワークステーション130は、画像保管装置120や端末装置140に視差画像群を送信する際に、付帯情報として、例えば、患者ID、検査ID、装置ID、シリーズID等を送信する。視差画像群を画像保管装置120に送信する際に送信される付帯情報としては、視差画像群に関する付帯情報も挙げられる。視差画像群に関する付帯情報としては、視差画像の枚数(例えば、「9」)や、視差画像の解像度(例えば、「466×350画素」)等がある。
端末装置140は、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置である。例えば、端末装置140は、病院内に勤務する医師や検査技師により操作されるPC(Personal Computer)やタブレット式PC、PDA(Personal Digital Assistant)、携帯電話等である。具体的には、第1の実施形態に係る端末装置140は、表示部として立体表示モニタを有する。また、端末装置140は、画像保管装置120やワークステーション130から視差画像群を取得し、取得した視差画像群を立体表示モニタに表示する。この結果、観察者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。なお、端末装置140は、外部装置としての立体表示モニタと接続された任意の情報処理端末であってもよい。
ここで、ワークステーション130や端末装置140が有する立体表示モニタについて説明する。現在最も普及している一般的な汎用モニタは、2次元画像を2次元で表示するものであり、2次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な2視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハンが取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。
一方、立体表示モニタとしては、立体視用メガネ等の専用機器を用いることで、2視差画像(両眼視差画像とも称する)を立体視可能とするものがある。
図2は、2視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図2に示す一例は、シャッター方式により立体表示を行う立体表示モニタであり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示モニタは、モニタにて2視差画像を交互に出射する。例えば、図2の(A)に示すモニタは、左目用の画像と右目用の画像を、120Hzにて交互に出射する。ここで、モニタには、図2の(A)に示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
また、赤外線出射部から出射された赤外線は、図2の(A)に示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。
各シャッターは、図2の(B)に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図2の(B)に示すように、互いに直交している。ここで、図2の(B)に示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
一方、図2の(B)に示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図2の(A)に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、図2に示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。なお、2視差画像を立体視可能な立体表示モニタとしては、上記のシャッター方式以外にも、偏光メガネ方式を採用したモニタも知られている。
更に、近年実用化された立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差画像等の多視差画像を観察者が裸眼にて立体視可能とするものがある。かかる立体表示モニタは、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする。
図3は、9視差画像により立体表示を行う立体表示モニタの一例を説明するための図である。図3に示す立体表示モニタには、液晶パネル等の平面状の表示面200の前面に、光線制御子が配置される。例えば、図3に示す立体表示モニタには、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート201が表示面200の前面に貼り付けられている。なお、図3に示す一例では、垂直レンチキュラーシート201の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート201の凸部が表示面200に対向するように貼り付けられる場合であってもよい。
表示面200には、図3に示すように、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス状に配置される。図3に示す立体表示モニタは、9つの画像により構成される9視差画像を、所定フォーマット(例えば格子状)に配置した中間画像に変換したうえで、表示面200に出力する。すなわち、図3に示す立体表示モニタは、9視差画像にて同一位置にある9つの画素それぞれを、9列の画素202に割り振って出力させる。9列の画素202は、視点位置の異なる9つの画像を同時に表示する単位画素群203となる。
表示面200において単位画素群203として同時に出力された9視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置(視点の位置)に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、図3に示す9つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、図3に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図3に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図3に示す立体表示モニタは、あくまでも一例である。9視差画像を表示する立体表示モニタは、図3に示すように、「RRR・・・、GGG・・・、BBB・・・」の横ストライプ液晶である場合であってもよいし、「RGBRGB・・・」の縦ストライプ液晶である場合であってもよい。また、図3に示す立体表示モニタは、図3に示すように、レンチキュラーシートが垂直となる縦レンズ方式である場合であってもよいし、レンチキュラーシートが斜めとなる斜めレンズ方式である場合であってもよい。
ここまで、第1の実施形態に係る画像処理システム1の構成例について簡単に説明した。なお、上述した画像処理システム1は、PACSが導入されている場合にその適用が限られるものではない。例えば、画像処理システム1は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用される。この場合、画像保管装置120は、電子カルテを保管するデータベースである。また、例えば、画像処理システム1は、HIS(Hospital Information System)、RIS(Radiology Information System)が導入されている場合にも、同様に適用される。また、画像処理システム1は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更されてよい。
次に、第1の実施形態に係るワークステーションの構成例について図4を用いて説明する。図4は、第1の実施形態に係るワークステーションの構成例を説明するための図である。なお、以下において、「視差画像群」とは、ボリュームデータに対してボリュームレンダリング処理を行うことで生成された立体視用の画像群のことである。また、「視差画像」とは、「視差画像群」を構成する個々の画像のことである。すなわち、「視差画像群」は、視点位置が異なる複数の「視差画像」から構成される。
第1の実施形態に係るワークステーション130は、画像処理等に適した高性能なコンピュータであり、図4に示すように、入力部131と、表示部132と、通信部133と、記憶部134と、制御部135と、レンダリング処理部136とを有する。なお、以下では、ワークステーション130が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であってよい。例えば、任意のパーソナルコンピュータであってもよい。
入力部131は、マウス、キーボード、トラックボール等であり、ワークステーション130に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る入力部131は、レンダリング処理の対象となるボリュームデータを画像保管装置120から取得するための情報の入力を受け付ける。例えば、入力部131は、患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。また、第1の実施形態に係る入力部131は、レンダリング処理に関する条件(以下、レンダリング条件)の入力を受け付ける。
表示部132は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態に係る表示部132は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、視差画像群等を表示する。通信部133は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。
記憶部134は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、第1の実施形態に係る記憶部134は、通信部133を介して画像保管装置120から取得したボリュームデータを記憶する。また、第1の実施形態に係る記憶部134は、レンダリング処理中のボリュームデータや、レンダリング処理により生成された視差画像群等を記憶する。
制御部135は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)やGPU(Graphics Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、ワークステーション130の全体制御を行う。
例えば、第1の実施形態に係る制御部135は、表示部132に対するGUIの表示や視差画像群の表示を制御する。また、例えば、制御部135は、画像保管装置120との間で通信部133を介して行われるボリュームデータや視差画像群の送受信を制御する。また、例えば、制御部135は、レンダリング処理部136によるレンダリング処理を制御する。また、例えば、制御部135は、ボリュームデータの記憶部134からの読み込みや、視差画像群の記憶部134への格納を制御する。
レンダリング処理部136は、制御部135による制御の下、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行い、視差画像群を生成する。具体的には、第1の実施形態に係るレンダリング処理部136は、記憶部134からボリュームデータを読み込み、このボリュームデータに対して、まず前処理を行う。次に、レンダリング処理部136は、前処理後のボリュームデータに対してボリュームレンダリング処理を行い、視差画像群を生成する。続いて、レンダリング処理部136は、各種情報(目盛り、患者名、検査項目等)が描出された2次元画像を生成し、これを視差画像群それぞれに対して重畳することで、出力用の2次元画像を生成する。そして、レンダリング処理部136は、生成した視差画像群や出力用の2次元画像を記憶部134に格納する。なお、第1の実施形態において、レンダリング処理とは、ボリュームデータに対して行う画像処理全体のことであり、ボリュームレンダリング処理とは、レンダリング処理の内、3次元の情報を反映した2次元画像を生成する処理のことである。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
図5は、図4に示すレンダリング処理部の構成例を説明するための図である。図5に示すように、レンダリング処理部136は、前処理部1361と、3次元画像処理部1362と、2次元画像処理部1363とを有する。前処理部1361が、ボリュームデータに対する前処理を行い、3次元画像処理部1362が、前処理後のボリュームデータから視差画像群を生成し、2次元画像処理部1363が、視差画像群に各種情報が重畳された出力用の2次元画像を生成する。以下、各部を順に説明する。
前処理部1361は、ボリュームデータに対してレンダリング処理を行う際に、種々の前処理を行う処理部であり、画像補正処理部1361aと、3次元物体フュージョン部1361eと、3次元物体表示領域設定部1361fとを有する。
画像補正処理部1361aは、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行う処理部であり、図5に示すように、歪み補正処理部1361b、体動補正処理部1361c及び画像間位置合わせ処理部1361dを有する。例えば、画像補正処理部1361aは、PET−CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行う。或いは、画像補正処理部1361aは、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行う。
また、歪み補正処理部1361bは、個々のボリュームデータにおいて、医用画像診断装置110によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1361cは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1361dは、歪み補正処理部1361b及び体動補正処理部1361cによる補正処理が行われた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行う。
3次元物体フュージョン部1361eは、画像間位置合わせ処理部1361dにより位置合わせが行われた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1361a及び3次元物体フュージョン部1361eの処理は、単一のボリュームデータに対してレンダリング処理を行う場合、省略される。
3次元物体表示領域設定部1361fは、操作者により指定された表示対象臓器に対応する表示領域を設定する処理部であり、セグメンテーション処理部1361gを有する。セグメンテーション処理部1361gは、操作者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル値)に基づく領域拡張法により抽出する処理部である。
なお、セグメンテーション処理部1361gは、操作者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行わない。また、セグメンテーション処理部1361gは、操作者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1361gの処理は、レンダリング画像を参照した操作者の微調整要求により再度実行される場合もある。
3次元画像処理部1362は、前処理部1361が処理を行った前処理後のボリュームデータに対してボリュームレンダリング処理を行う。ボリュームレンダリング処理を行う処理部として、3次元画像処理部1362は、投影方法設定部1362aと、3次元幾何変換処理部1362bと、3次元物体アピアランス処理部1362fと、3次元仮想空間レンダリング部1362kとを有する。
投影方法設定部1362aは、視差画像群を生成するための投影方法を決定する。例えば、投影方法設定部1362aは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
3次元幾何変換処理部1362bは、ボリュームレンダリング処理が実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する処理部であり、平行移動処理部1362c、回転処理部1362d及び拡大縮小処理部1362eを有する。平行移動処理部1362cは、ボリュームレンダリング処理を行う際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する処理部であり、回転処理部1362dは、ボリュームレンダリング処理を行う際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する処理部である。また、拡大縮小処理部1362eは、視差画像群の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する処理部である。
3次元物体アピアランス処理部1362fは、3次元物体色彩処理部1362g、3次元物体不透明度処理部1362h、3次元物体材質処理部1362i及び3次元仮想空間光源処理部1362jを有する。3次元物体アピアランス処理部1362fは、これらの処理部により、例えば、操作者の要求に応じて、表示される視差画像群の表示状態を決定する処理を行う。
3次元物体色彩処理部1362gは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する処理部である。3次元物体不透明度処理部1362hは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度(Opacity)を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、視差画像群において描出されないこととなる。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、視差画像群において描出されないこととなる。
3次元物体材質処理部1362iは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する処理部である。3次元仮想空間光源処理部1362jは、ボリュームデータに対してボリュームレンダリング処理を行う際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する処理部である。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等が挙げられる。
3次元仮想空間レンダリング部1362kは、ボリュームデータに対してボリュームレンダリング処理を行い、視差画像群を生成する。また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリング処理を行う際、必要に応じて、投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fにより決定された各種情報を用いる。
ここで、3次元仮想空間レンダリング部1362kによるボリュームレンダリング処理は、レンダリング条件に従って行われることになる。例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置、視差角及び視差数」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「視差画像群の拡大」、「視差画像群の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。このようなレンダリング条件は、入力部131を介して操作者から受け付ける場合や、初期設定される場合が考えられる。いずれの場合も、3次元仮想空間レンダリング部1362kは、制御部135からレンダリング条件を受け付け、このレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行う。また、このとき、上述した投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fが、このレンダリング条件に従って必要な各種情報を決定するので、3次元仮想空間レンダリング部1362kは、決定されたこれらの各種情報を用いて視差画像群を生成する。
図6は、第1の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。例えば、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(1)」に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角(視線方向間の角度)が1度ずつ異なる9つの視差画像を生成する。なお、平行投影法を行う場合、3次元仮想空間レンダリング部1362kは、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。
或いは、3次元仮想空間レンダリング部1362kが、図6の「9視差画像生成方式(2)」に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、ボリュームデータの中心(重心)を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの視差画像を生成する。なお、透視投影法を行う場合、3次元仮想空間レンダリング部1362kは、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。また、透視投影法を行う場合、レンダリング条件によっては、視点(1)〜(9)は、平行移動される場合であってもよい。
なお、3次元仮想空間レンダリング部1362kは、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行ってもよい。
このようにして生成された9つの視差画像が、視差画像群である。第1の実施形態において、9つの視差画像は、例えば制御部135により所定フォーマット(例えば格子状)に配置した中間画像に変換され、立体表示モニタとしての表示部132に出力される。すると、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行うことができる。
なお、図6の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、3次元仮想空間レンダリング部1362kは、それぞれのレンダリング条件を反映しつつ、視差画像群を生成する。
また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリングだけでなく、断面再構成法(MPR:Multi Planer Reconstruction)を行ってボリュームデータからMPR画像を再構成する機能も有する。なお、3次元仮想空間レンダリング部1362kは、「Curved MPR」を行う機能や、「Intensity Projection」を行う機能も有する。
続いて、3次元画像処理部1362がボリュームデータから生成した視差画像群は、アンダーレイ(Underlay)とされる。そして、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ(Overlay)がアンダーレイに対して重畳されることで、出力用の2次元画像とされる。2次元画像処理部1363は、オーバーレイ及びアンダーレイに対して画像処理を行うことで、出力用の2次元画像を生成する処理部であり、図5に示すように、2次元物体描画部1363a、2次元幾何変換処理部1363b及び輝度調整部1363cを有する。例えば、2次元画像処理部1363は、出力用の2次元画像の生成処理に要する負荷を軽減するために、9枚の視差画像(アンダーレイ)のそれぞれに対して1枚のオーバーレイを重畳することで、出力用の2次元画像を9枚、生成する。なお、以下では、オーバーレイが重畳されたアンダーレイを単に「視差画像」と表記する場合もある。
2次元物体描画部1363aは、オーバーレイに描出される各種情報を描画する処理部であり、2次元幾何変換処理部1363bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする処理部である。
また、輝度調整部1363cは、輝度変換処理を行う処理部であり、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する処理部である。
制御部135は、例えば、このようにして生成された出力用の2次元画像を、一旦記憶部134に格納し、その後、通信部133を介して画像保管装置120に送信する。そして、端末装置140は、例えば、画像保管装置120からこの出力用の2次元画像を取得し、所定フォーマット(例えば格子状)に配置した中間画像に変換した上で立体表示モニタに表示する。また、例えば、制御部135は、出力用の2次元画像を、一旦記憶部134に格納し、その後、通信部133を介して画像保管装置120に送信するとともに、端末装置140に送信する。そして、端末装置140は、ワークステーション130から受信した出力用の2次元画像を所定フォーマット(例えば格子状)に配置した中間画像に変換した上で立体表示モニタに表示する。これにより、端末装置140を利用する医師や検査技師は、各種情報(目盛り、患者名、検査項目等)が描出された状態で、立体視可能な医用画像を閲覧することができる。
ところで、第1の実施形態における端末装置140は、タブレット式PC、PDA又は携帯電話等の持ち運び可能な端末であり、被検体にかざされた場合に、かざされた位置に対応する部位(臓器等)の視差画像群を表示することで、かかる臓器等の立体画像を利用者に提供する。この点について、図7を用いて簡単に説明する。図7は、第1の実施形態における端末装置140によって表示される立体画像の一例を示す図である。
図7では、端末装置140は、利用者によって被検体Pの胸部にかざされた例を示している。かかる場合に、端末装置140は、被検体Pの胸部に位置する臓器として心臓の立体画像を立体表示モニタに表示する。これにより、利用者は、端末装置140を被検体Pにかざさすだけで、かざした位置に対応する部位の立体画像を観察することができる。以下に、このような第1の実施形態における端末装置140について詳細に説明する。
図8は、第1の実施形態における端末装置140の構成例を説明するための図である。図8に示した端末装置140は、タブレット式PC等の持ち運び可能な端末であり、利用者によって所定の操作が行われた場合に、かかる操作に応じた立体画像を表示する。図8に例示するように、第1の実施形態における端末装置140は、入力部141と、立体表示モニタ142と、通信部143と、記憶部144と、位置センサ145と、制御部146とを有する。
入力部141は、端末装置140に設けられた所定のキー等であり、端末装置140に対する各種操作の入力を操作者から受け付ける。例えば、入力部141は、立体視要求として、操作者が立体視を要望するボリュームデータを指定するための患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。
立体表示モニタ142は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態に係る立体表示モニタ142は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、視差画像群等を表示する。例えば、立体表示モニタ142は、図2を用いて説明した立体表示モニタ(以下、2視差モニタと記載する)や、図6を用いて説明した立体表示モニタ(以下、9視差モニタと記載する)である。以下では、立体表示モニタ142が9視差モニタである場合について説明する。
なお、第1の実施形態における端末装置140は、タブレット式PC等の持ち運び可能な端末であるので、入力部141と立体表示モニタ142とが一体化されたタッチパネル式の表示部を有してもよい。
通信部143は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。具体的には、第1の実施形態に係る通信部143は、入力部141が受け付けた立体視要求をワークステーション130に送信する。また、第1の実施形態に係る通信部143は、立体視要求に応じてワークステーション130が送信した視差画像群を受信する。
記憶部144は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、記憶部144は、通信部143を介してワークステーション130から取得した視差画像群を記憶する。また、記憶部144は、通信部143を介してワークステーション130から取得した視差画像群の付帯情報(視差数、解像度等)も記憶する。
また、第1の実施形態における記憶部144は、医用画像診断装置110によって撮影された被検体PのX線CT画像やレントゲン画像等を記憶する。かかるX線CT画像やレントゲン画像は、被検体Pが広範囲に撮影されることで生成された2次元画像であり、例えば、後述する図9中の画像A10に該当する。以下では、このようなX線CT画像やレントゲン画像を「スキャノ像」と表記する場合がある。
位置センサ145は、被検体Pに対する端末装置140の位置を検出する。なお、第1の実施形態では、被検体Pにも位置センサの発信部が取り付けられ、端末装置140が有する位置センサ145は、位置センサの受信部であるものとする。すなわち、位置センサ145は、被検体Pに取り付けられた位置センサから信号を受信することで、かかる被検体Pに対する端末装置140の位置を検出する。これらの位置センサについては、後述する。
制御部146は、CPU、MPUやGPU等の電子回路、ASICやFPGA等の集積回路であり、端末装置140の全体制御を行う。例えば、制御部146は、ワークステーション130との間で通信部143を介して行われる立体視要求や視差画像群の送受信を制御する。また、例えば、制御部146は、視差画像群の記憶部144への格納や、視差画像群の記憶部144からの読み込みを制御する。
このような制御部146は、図8に例示するように、初期設定部1461と、取得部1462と、表示制御部1463とを有し、これらの処理部による処理によって、端末装置140が被検体Pにかざされた場合に、かざされた位置に対応する部位(臓器等)の視差画像群を表示することで、かかる臓器等の立体画像を利用者に提供することを可能にする。
初期設定部1461は、被検体Pに対する端末装置140の基準位置を設定する。取得部1462は、被検体Pに対する端末装置140の位置を取得する。第1の実施形態における取得部1462は、初期設定部1461によって設定された基準位置に対する端末装置140の位置変動を取得する。具体的には、取得部1462は、位置センサ145によって検出される位置に基づいて被検体Pに対する端末装置140の相対的な位置変動を取得する。表示制御部1463は、視差画像群を立体表示モニタ142に表示させる。具体的には、第1の実施形態における表示制御部1463は、取得部1462によって取得された位置変動に応じた表示方式により所定の視差画像群を立体表示モニタ142に表示させる。
ここで、図9及び図10を用いて、第1の実施形態における初期設定部1461、取得部1462及び表示制御部1463による処理の一例について説明する。図9及び図10は、第1の実施形態における端末装置140による処理の一例を説明するための図である。なお、以下では、横方向(x方向)が地表に水平な方向であって端末装置140の横方向に対応し、縦方向(y方向)が地表に垂直な方向であって端末装置140の縦方向に対応し、奥行き方向(z方向)がxy平面に垂直な方向であって端末装置140の表示面に垂直な方向に対応するものとする。
図9及び図10に示した例の前提として、ワークステーション130は、医用画像診断装置110によって被検体Pが撮影されることで生成されたボリュームデータVD10を保持するものとする。または、ワークステーション130は、かかるボリュームデータVD10を画像保管装置120から取得可能な状態であるものとする。また、図9に例示したスキャノ像A10は、医用画像診断装置110によって被検体Pの胸部周辺が広範囲に撮影されることで生成されたものとする。かかるスキャノ像A10は、端末装置140の記憶部144に記憶されるとともに、ワークステーション130の記憶部134にも記憶される。また、ワークステーション130は、ボリュームデータVD10とスキャノ像A10との位置関係に関する情報を保持するものとする。つまり、ワークステーション130は、スキャノ像A10の所定の位置がボリュームデータVD10のどの位置に対応するかを示す情報を保持する。
このような前提の下、図9に示した例では、被検体Pの首(頸部)近傍に位置センサ151が取り付けられ、端末装置140の上側面に位置センサ145a及び145bが設けられる。なお、位置センサ145a及び145bは、図8に示した位置センサ145に対応する。以下、位置センサ145aと位置センサ145bとを区別する必要がない場合には、双方を総称して「位置センサ145」と表記する場合がある。このような位置センサ145は、位置センサ151から信号を受信することで、被検体Pに対する端末装置140の位置を検出する。
ここで、第1の実施形態における端末装置140の初期設定部1461は、利用者から入力部141を介して、スキャノ像A10の一部分を表示させる操作を受け付ける。図9に示した例では、初期設定部1461は、スキャノ像A10のうち心臓近傍の画像A11を表示させる操作を受け付けたものとする。かかる場合に、表示制御部1463は、図9(A)に示すように、画像A11を立体表示モニタ142に表示する。なお、かかる画像A11は、2次元画像である。
続いて、画像A11を表示している端末装置140は、図9(A)に示すように、利用者によって、画像A11が示す被検体Pの位置にかざされる。図9(A)に示した例では、立体表示モニタ142には心臓近傍の画像A11が表示されているので、端末装置140は、被検体Pの胸部近傍にかざされる。なお、このとき、端末装置140の初期設定部1461は、画像A11が示す位置に端末装置140をかざす旨の案内メッセージを立体表示モニタ142に表示してもよい。
そして、端末装置140の初期設定部1461は、被検体Pにかざされた状態で、利用者から入力部141を介して基準位置を設定する旨の操作を受け付ける。かかる場合に、初期設定部1461は、画像A11が示す部位に対応する位置に端末装置140が対向していると判定する。このとき、初期設定部1461は、画像A11内の所定の位置を基準位置にすることを決定する。図9(A)に示した例では、初期設定部1461は、画像A11の重心を基準位置ST10とする。
そして、初期設定部1461は、このようにして決定した基準位置ST10をワークステーション130に送信する。例えば、初期設定部1461は、2次元画像であるスキャノ画像A10が2次元座標系で表される場合に、スキャノ画像A10における基準位置ST10の座標をワークステーション130に送信する。なお、スキャノ画像A10が表される2次元座標系は、端末装置140及びワークステーション130において共有されているものとする。
基準値ST10を受信したワークステーション130は、かかる基準値ST10に対応するボリュームデータVD10の位置を特定する。この点について図10を用いて説明する。図10に示したボリュームデータVD10は、医用画像診断装置110によって被検体Pが撮影されることで生成されたものであって、横方向(x方向)、縦方向(y方向)及び奥行き方向(z方向)の3次元座標系によって表される3次元仮想空間(以下、「ボリュームデータ空間」と表記する場合がある)に配置された状態である。また、図10に示したスキャノ像A10は、横方向(x方向)及び縦方向(y方向)に垂直な方向(xy平面に垂直な方向)からボリュームデータVD10を見た像に対応するものとする。
ここで、ワークステーション130は、上記の通り、スキャノ像A10とボリュームデータVD10との位置関係を対応付ける情報を保持する。例えば、ワークステーション130は、スキャノ像A10の2次元座標系(xy座標系)が(x1、y1)であり、ボリュームデータ空間(xyz座標系)が(x2、y2、z2)である場合に、「x2=F1(x1)」、「y2=F2(x2)」により表される関数「F1」や「F2」を保持する。なお、関数「F1」や「F2」は、スキャノ画像A10やボリュームデータVD10のサイズ、スキャノ画像A10の撮影方向等によって決定されるものである。したがって、関数「F1」や「F2」は、システムで予め設定されていてもよいが、制御部135によって動的に算出されてもよい。
ワークステーション130の制御部135は、端末装置140から基準位置ST10を受信した場合に、このような関数「F1」や「F2」を用いて、基準位置ST10に対応するボリュームデータVD10の基準位置ST11を特定する。
続いて、端末装置140の初期設定部1461は、画像A11が示す部位に対応する視差画像群をワークステーション130から取得する。具体的には、初期設定部1461は、スキャノ画像A10における画像A11の位置情報を含む取得要求をワークステーション130に送信することで、画像A11に対応する視差画像群をワークステーション130から取得する。例えば、初期設定部1461は、画像A11の位置情報として、スキャノ画像A10における画像A11の四隅の座標をワークステーション130に送信する。
端末装置140から取得要求を受信したワークステーション130の制御部135は、画像A11の位置情報に対応するボリュームデータを抽出するようにレンダリング処理部136を制御する。さらに、制御部135は、抽出したボリュームデータに対してレンダリング処理を行うようにレンダリング処理部136を制御する。これにより、レンダリング処理部136は、ボリュームデータを抽出し、抽出したボリュームデータから視差画像群を生成する。
図10に示した例を用いて説明すると、制御部135は、ボリュームデータVD10のうち、画像A11の位置情報に対応するボリュームデータVD11に対してレンダリング処理を行うようにレンダリング処理部136を制御する。例えば、制御部135は、上記の関数「F1」や「F2」を用いて、スキャノ画像A10における画像A11のxy座標からボリュームデータ空間におけるxy座標を算出し、算出したxy座標を含むボリュームデータ空間における領域(zは任意)を、ボリュームデータVD11の位置として特定する。そして、制御部135は、ボリュームデータVD11に対してレンダリング処理を行うようにレンダリング処理部136を制御する。
これにより、第1の実施形態におけるレンダリング処理部136(例えば、セグメンテーション処理部1361gや3次元幾何変換処理部1362b)は、レンダリング対象がボリュームデータVD11となるように視点位置及び視線方向を決定する。そして、レンダリング処理部136は、ボリュームデータVD11に対してボリュームレンダリング処理を行うことにより視差画像群を生成する。ワークステーション130は、このようにしてレンダリング処理部136によって生成された視差画像群を端末装置140に送信する。
端末装置140の表示制御部1463は、ワークステーション130から受信した視差画像群を立体表示モニタ142に表示することで、図9(B)に例示するように、画像A11が示す部位に対応する立体画像を利用者に提供する。このように、第1の実施形態において、利用者は、画像A11を表示させた状態で端末装置140を被検体Pにかざした後に、基準位置を設定する旨の操作を行った場合に、かざした位置に対応する被検体Pの臓器等を立体画像として観察することができる。ここまでが、初期設定部1461による初期設定処理となる。
この後に、端末装置140は、図9(C)に示した例のように、図9(B)に示した状態から移動させられて被検体Pの異なる位置にかざされた場合には、移動後の位置に対応する被検体Pの部位(臓器等)の視差画像群を表示する。
具体的には、端末装置140が図9(B)に示した状態から図9(C)に示した状態に移動させられた場合には、端末装置140の位置センサ145によって検出される被検体Pに対する端末装置140の位置情報も変動する。そこで、端末装置140の取得部1462は、このような位置センサ145によって検出される位置情報に基づいて、被検体Pに対する端末装置140の相対的な位置変動を取得する。具体的には、取得部1462は、基準位置における被検体Pに対する端末装置140の位置と、移動後における被検体Pに対する端末装置140の位置との差異を算出することにより、端末装置140の移動ベクトルを取得する。
例えば、取得部1462は、図9(A)に示した例のように、基準位置を設定する旨の操作が行われた際に、このときの被検体Pに対する端末装置140の位置情報を記憶部144等に格納する。そして、取得部1462は、図9(C)に示した例のように、位置センサ145によって検出される位置情報が変動した場合に、変動した位置情報と記憶部144等に格納した位置情報とに基づいて、被検体Pに対する端末装置140の相対的な位置変動として、端末装置140の移動量及び移動方向を示す移動ベクトルM10を取得する。そして、取得部1462は、端末装置140の移動ベクトルM10をワークステーション130に送信することで、移動後の位置に対応する視差画像群をワークステーション130から取得する。なお、図9(C)に示した例では、端末装置140の移動ベクトルM10の方向は、y方向と平行な方向であるものとする。すなわち、図9(C)に示した例では、端末装置140は、利用者によって真下に移動されたものとする。
端末装置140の移動ベクトルM10を受信したワークステーション130の制御部135は、端末装置140が実在する実空間における移動ベクトルM10をボリュームデータ空間における移動ベクトル(「移動ベクトルM11」とする)に変換する。なお、実空間とボリュームデータ空間とは縮尺が異なるだけであるので、制御部135は、端末装置140から受信した移動ベクトルM10の大きさに所定の値を乗算することで、実空間における移動ベクトルM10をボリュームデータ空間に対応する移動ベクトルM11に変換することができる。
そして、制御部135は、移動ベクトルM11に基づいて、移動後の端末装置140に対向する被検体Pの部位に対応するボリュームデータを特定する。具体的には、制御部135は、図10に示すように、前述において特定した基準位置ST11から移動ベクトルM11だけ移動させた位置を中心とする所定の領域を、移動後の端末装置140がかざしている被検体Pの位置に対応するボリュームデータVD12として特定する。なお、ボリュームデータVD12の横方向(x方向)及び縦方向(y方向)の大きさは、画像A11の大きさにより決定され、前述したボリュームデータVD11の大きさと同様である。そして、制御部135は、かかるボリュームデータVD12に対してレンダリング処理を行うようにレンダリング処理部136を制御する。ワークステーション130は、レンダリング処理部136によって生成された視差画像群を端末装置140に送信する。
端末装置140の表示制御部1463は、ワークステーション130から受信した視差画像群を立体表示モニタ142に表示することで、図9(C)に例示するように、移動後の端末装置140がかざす被検体Pの位置に対応する立体画像を利用者に提供する。このように、第1の実施形態において、利用者は、被検体Pにかざしている端末装置140の位置を移動させた場合に、移動後の位置に対応する被検体Pの臓器等を立体画像として観察することができる。
ところで、図9(B)及び(C)では、説明を簡単にするために、端末装置140が垂直方向のみ(y方向)に移動させられる場合を例に挙げて説明した。しかし、第1の実施形態における端末装置140は、被検体Pの側面や背面に移動させられた場合であっても、かざされた位置に対応する立体画像を表示することができる。
この点について、図11及び図12を用いて具体的に説明する。図11及び図12は、第1の実施形態における端末装置140による処理の一例を説明するための図である。図11は、被検体Pを上方(y方向)から見た図であり、図12は、ボリュームデータVD10をボリュームデータ空間の上(y方向)から見た図である。また、図11(A)は、基準位置が設定された際の端末装置140の位置を示す。また、図12(A)は、端末装置140が図11(A)に示した状態である場合にレンダリング処理部136によって行われるレンダリング処理時の視線方向L1等を示し、図12(B)は、端末装置140が図11(B)に示した状態である場合にレンダリング処理部136によって行われるレンダリング処理時の視線方向L1等を示す。なお、ここで、透視投影法によりレンダリング処理を行うものとする。
図11に示すように、端末装置140が、被検体Pを中心とする円弧状に回転移動させられたものとする。具体的には、端末装置140は、図11(A)に示す状態から、図11(B)に示す状態に移動させられたものとする。このとき、端末装置140の取得部1462は、基準位置における位置センサ145aの位置を始点とする位置センサ145aの移動ベクトルと、基準位置における位置センサ145bの位置を始点とする位置センサ145bの移動ベクトルとに基づいて、端末装置140の移動ベクトルと、基準位置における端末装置140に対する移動後の端末装置140の傾きθ11を取得する。
具体的には、取得部1462は、位置センサ145a及び位置センサ145bの配置位置に基づいて、端末装置140の移動ベクトルを取得する。例えば、図11に示した例のように、位置センサ145a及び位置センサ145bが端末装置140の重心に対して左右対称に配置されている場合には、取得部1462は、双方の移動ベクトルに基づいて、端末装置140の移動ベクトルを取得することができる。また、取得部1462は、基準位置における位置センサ145a及び位置センサ145bの双方の位置を結ぶ直線と、移動後における双方の位置を結ぶ直線とのなす角度を算出することで、上記の傾きθ11を取得することができる。
取得部1462は、このようにして取得した移動ベクトル及び端末装置140の傾きθ11をワークステーション130に送信する。このように、端末装置140は、横方向の異なる位置に2個の位置センサを有することで、端末装置140の横方向(x方向)に対する傾きθ11を取得することができる。
端末装置140の移動ベクトル等を受信したワークステーション130の制御部135は、図10に示した例と同様に、移動ベクトルに基づいて、移動後の端末装置140がかざしている被検体Pの位置に対応するボリュームデータを特定する。さらに、制御部135は、図12に示すように、端末装置140の傾きθ11に基づいて、レンダリング処理時におけるボリュームデータVD10に対する視線方向を変更する。具体的には、制御部135は、図12(B)に示すように、レンダリング処理時の視点位置を移動後の端末装置140の位置とし、かかる視点位置からの視線方向L1等を傾きθ11だけ傾ける。制御部135は、このようなレンダリング条件によりレンダリング処理を行うようにレンダリング処理部136を制御する。そして、ワークステーション130は、レンダリング処理部136が生成した視差画像群を端末装置140に送信する。これにより、端末装置140は、ワークステーション130から受信した視差画像群を立体表示モニタ142に表示することで、被検体Pの側面や背面に移動させられた場合であっても、かざされた位置に対応する立体画像を表示することができる。
次に、図13及び図14を用いて、第1の実施形態におけるワークステーション130及び端末装置140による処理の流れの一例を示す。図13及び図14は、第1の実施形態における画像処理システムによる処理の流れの一例を示すシーケンス図である。なお、図13では、初期設定処理の流れについて説明し、図14では、端末装置140の移動時における表示処理の流れについて説明する。
図13に示すように、端末装置140の初期設定部1461は、スキャノ像A10の一部分を表示させる操作を受け付けたか否かを判定する(ステップS101)。ここで、かかる操作を受け付けない場合には(ステップS101否定)、端末装置140は、待機する。一方、初期設定部1461によってかかる操作を受け付けた場合に(ステップS101肯定)、表示制御部1463は、スキャノ画像A10内の一部の画像を立体表示モニタ142に表示する(ステップS102)。
続いて、初期設定部1461は、基準位置を設定する旨の操作を受け付けたか否かを判定する(ステップS103)。ここで、基準位置を設定する操作を受け付けない場合には(ステップS103否定)、端末装置140は、待機する。一方、初期設定部1461は、基準位置を設定する操作を受け付けた場合に(ステップS103肯定)、表示画像内の所定の位置を基準位置にすることを決定し、決定した基準位置をワークステーション130に送信する(ステップS104)。ワークステーション130の制御部135は、端末装置140から受信した基準位置に基づいて、ボリュームデータの基準位置を特定する(ステップS105)。
続いて、端末装置140の初期設定部1461は、スキャノ画像A10における表示画像の位置情報をワークステーション130に送信する(ステップS106)。ワークステーション130の制御部135は、表示画像の位置情報に対応するボリュームデータを特定し、特定したボリュームデータに対してレンダリング処理を行うようにレンダリング処理部136を制御する。これにより、レンダリング処理部136は、制御部135によって特定されたボリュームデータから視差画像群を生成する(ステップS107)。ワークステーション130は、生成した視差画像群を端末装置140に送信する(ステップS108)。
そして、端末装置140の表示制御部1463は、ワークステーション130から受信した視差画像群を立体表示モニタ142に表示する(ステップS109)。これにより、端末装置140は、表示画像(スキャノ画像A10の一部分の画像)に対応する立体画像を利用者に提供することができる。
次に、図14を用いて、端末装置140が移動された場合について説明する。図14に示すように、端末装置140の取得部1462は、位置センサ145によって検出される位置情報に基づいて、端末装置140が移動されたか否かを判定する(ステップS201)。ここで、端末装置140が移動されない場合には(ステップS201否定)、端末装置140は、待機する。
一方、端末装置140が移動された場合に(ステップS201肯定)、取得部1462は、位置センサ145によって検出される位置情報に基づいて、端末装置140の移動ベクトル及び傾きを取得する(ステップS202)。そして、取得部1462は、取得した移動ベクトル及び傾きをワークステーション130に送信する(ステップS203)。
ワークステーション130の制御部135は、端末装置140から取得した実空間における移動ベクトルをボリュームデータ空間における移動ベクトルに変換し、変換後の移動ベクトルに基づいて、移動後の端末装置140に対向する被検体Pの部位に対応するボリュームデータを特定する(ステップS204)。また、制御部135は、端末装置140の傾きに基づいて、レンダリング処理時の視線方向を決定する(ステップS205)。
そして、制御部135は、ステップS204において特定したボリュームデータに対して、ステップS205において決定した視線方向によりレンダリング処理を行うようにレンダリング処理部136を制御する。これにより、レンダリング処理部136は、視差画像群を生成する(ステップS206)。ワークステーション130は、生成した視差画像群を端末装置140に送信する(ステップS207)。
そして、端末装置140の表示制御部1463は、ワークステーション130から受信した視差画像群を立体表示モニタ142に表示する(ステップS208)。これにより、端末装置140は、端末装置140が対向する被検体Pの位置に対応する部位(臓器等)の立体画像を利用者に提供することができる。
上述してきたように、第1の実施形態によれば、端末装置140が対向する被検体の部位を示す立体画像を表示することができるので、利用者が所望する立体画像を表示することができる。
なお、第1の実施形態は、上記の実施形態に限られず、以下に示すいくつかの変形例を含む態様の実施形態であってもよい。以下に、図15〜図18を用いて、第1の実施形態の変形例について説明する。
[端末装置の傾き検出]
まず、上記第1の実施形態では、端末装置140が2個の位置センサ145を有することで、端末装置140の傾きを検出する例を示した。具体的には、図11及び図12に例示したように、上記例では、横方向(x方向)に対する端末装置140の傾きを検出した。しかし、第1の実施形態における端末装置140は、縦方向(y方向)と水平な状態を保って被検体Pにかざされるとは限らず、すなわち、縦方向(y方向)に対して傾けた状態で被検体Pにかざされる場合もある。第1の実施形態における端末装置140は、縦方向(y方向)に対して傾けた状態で被検体Pにかざされる場合であっても、かざしている位置に対応する被検体Pの立体画像を表示することができる。
この点について、図15を用いて具体的に説明する。図15に示した例において、端末装置140は、図9等に示した例と同様に、上側面に位置センサ145a及び145bを有する。さらに、本変形例に係る端末装置140は、下側面に位置センサ145cを有する。図15に示した例において、端末装置140の取得部1462は、位置センサ145a、145b及び145cによって検出される位置情報に基づいて、被検体Pに対する端末装置140の相対的な位置変動を取得するとともに、横方向(x方向)に対する端末装置140の傾きθ11(図11及び図12参照)と、縦方向(y方向)に対する端末装置140の傾きθ12(図15参照)とを取得する。そして、取得部1462は、取得した移動ベクトル及び端末装置140の傾きθ11及びθ12をワークステーション130に送信する。なお、図15に示した例では、傾きθ11が「0」であるものとする。
これらの各種情報を受信したワークステーション130の制御部135は、図15に示すように、ボリュームデータVD10からレンダリング対象とするボリュームデータVD13を特定する。具体的には、制御部135は、ボリュームデータ空間におけるxz平面に対して角度θ12だけ傾けたボリュームデータVD13を特定する。そして、制御部135は、特定したボリュームデータVD13に対してレンダリング処理を行うようにレンダリング処理部136を制御する。これにより、レンダリング処理部136(例えば、セグメンテーション処理部1361gや3次元幾何変換処理部1362b)は、レンダリング対象がボリュームデータVD13となるように視点位置及び視線方向を決定する。そして、レンダリング処理部136は、ボリュームデータVD13に対してボリュームレンダリング処理を行うことにより視差画像群を生成する。端末装置140は、レンダリング処理部136によって生成された視差画像群を立体表示モニタ142に表示することで、縦方向(y方向)に対して傾けられた場合であっても、かざされた位置に対応する被検体Pの立体画像を表示することができる。
なお、端末装置140に設けられる位置センサ145の数は、何個であってもよい。例えば、端末装置140が縦方向(y方向)に対して水平、かつ、被検体Pを中心とする円弧状のみで移動されることが予め決められている場合には、端末装置140は、1個の位置センサ145を有するだけでもよい。これは、端末装置140の移動態様が予め決められている場合には、ワークステーション130は、かかる移動態様に基づいて、1個の位置センサ145によって検出される端末装置140の位置に基づいて、端末装置140の向きを取得することができるからである。
また、例えば、端末装置140は、4個以上の位置センサ145を有してもよい。端末装置140に設けられる位置センサ145の数が多いほど、ワークステーション130は、かかる複数の位置センサ145によって検出される位置情報に基づいて、端末装置140の位置や向きを詳細に取得することが可能になる。
[立体画像の縮小/拡大]
また、上記第1の実施形態における端末装置140は、被検体Pとの距離に応じて、立体表示モニタ142に表示する立体画像の表示形式を変更してもよい。例えば、端末装置140は、被検体Pとの距離に応じて、立体画像の縮尺を変化させてもよい。
この点について、図16を用いて具体的に説明する。図16(A1)は、端末装置140の基準位置が設定された状態であるものとする。また、図16(A2)は、基準位置に位置する端末装置140の立体表示モニタ142に表示される立体画像を示す。このような場合に、図16(B1)に示すように、端末装置140が被検体Pから遠ざかる方向に移動されたものとする。かかる場合に、端末装置140は、図16(B2)に示すように、基準位置において表示する立体画像(図16(A2)参照)よりも縮小した立体画像を表示する。また、ここでは、図示することを省略するが、端末装置140は、被検体Pに近づける方向に移動された場合には、基準位置において表示する立体画像(図16(A2)参照)よりも拡大した立体画像を表示する。
このような縮小/拡大表示を実現するために、ワークステーション130の制御部135は、端末装置140と被検体Pとの距離に応じて、縮小又は拡大された視差画像群を生成させる。例えば、制御部135は、端末装置140と被検体Pとの距離が離れているほど、レンダリング対象のボリュームデータを縮小し、縮小後のボリュームデータに対してレンダリング処理を行うようにレンダリング処理部136を制御する。また、例えば、制御部135は、端末装置140と被検体Pとの距離が近いほど、レンダリング対象のボリュームデータを拡大し、拡大後のボリュームデータに対してレンダリング処理を行うようにレンダリング処理部136を制御する。
また、上記第1の実施形態における端末装置140は、被検体Pとの距離に応じて、視差画像群の視差角を変化させることで、立体画像の立体感を変化させてもよい。具体的には、立体表示モニタ142によって表示される立体画像は、視差画像群を構成する視差画像間の視差角が大きいほど、奥行き方向(z方向)成分が大きくなり立体感が大きくなる。一方で、立体画像は、視差画像間の視差角が小さいほど、奥行き方向(z方向)成分が小さくなり立体感が小さくなる。
そこで、ワークステーション130の制御部135は、端末装置140と被検体Pとの距離に応じて、視差画像群の視差角を変化させる。例えば、制御部135は、端末装置140と被検体Pとの距離が離れているほど、小さい視差角によりレンダリング処理を行うようにレンダリング処理部136を制御する。一方で、制御部135は、端末装置140と被検体Pとの距離が近いほど、大きい視差角によりレンダリング処理を行うようにレンダリング処理部136を制御する。この例の場合には、端末装置140は、被検体Pに遠ざける方向に移動されるほど立体感の小さい立体画像を表示し、被検体Pに近づける方向に移動されるほど立体感の大きい立体画像を表示することができる。
また、上記第1の実施形態における端末装置140は、被検体Pとの距離に応じて、立体画像のフォーカス位置を変化させてもよい。具体的には、ワークステーション130のレンダリング処理部136は、図6を用いて説明したように、複数の視点位置からレンダリング処理を行うが、かかる複数の視点位置からの視線方向は、ボリュームデータの所定の位置で交わる。このような各視線方向の交点は、かかる各視線方向からボリュームレンダリングが行われることで生成された視差画像群のフォーカスとなる。言い換えれば、視線方向を変更することで、視差画像群のフォーカス位置を変化させることができる。
そこで、ワークステーション130の制御部135は、端末装置140と被検体Pとの距離に応じて、フォーカス(各視線方向の交点)を変化させる。例えば、制御部135は、端末装置140と被検体Pとの距離が離れているほど、利用者(観察者)から遠ざかる方向にフォーカスを移動させてレンダリング処理を行うようにレンダリング処理部136を制御する。一方で、制御部135は、端末装置140と被検体Pとの距離が近いほど、利用者(観察者)に近づく方向にフォーカスを移動させてレンダリング処理を行うようにレンダリング処理部136を制御する。この例の場合には、端末装置140は、被検体Pに遠ざける方向に移動されるほど、利用者(観察者)から遠ざかる方向にフォーカスが位置する立体画像を表示し、被検体Pに近づける方向に移動されるほど、利用者(観察者)から近づく方向にフォーカスが位置する立体画像を表示することができる。
[立体画像の回転]
また、上記第1の実施形態における端末装置140は、立体表示モニタ142に立体画像を表示している状態において、端末装置140自体が揺動された場合に、立体画像を回転表示してもよい。この点について、図17を用いて具体的に説明する。端末装置140は、図17の上図に示すように揺動された場合に、図17の下図に示すように立体表示モニタ142に表示している立体画像を回転させてもよい。
このような回転表示を実現するために、画像保管装置120は、ボリュームデータVD10を中心とする円弧状に所定の角度(例えば、1度)ずつ配置された複数の視点位置からレンダリングされた全周囲の視差画像群を有する。そして、端末装置140は、揺動操作に応じて、表示対象の視差画像群を画像保管装置120から取得し、立体表示モニタ142に表示する。または、端末装置140は、全周囲の視差画像群を有し、揺動操作に応じて全周囲の視差画像群から表示対象の視差画像を選択し、選択した視差画像群を立体表示モニタ142に表示してもよい。
なお、上記例において、端末装置140は、加速度センサを有してもよい。そして、端末装置140は、かかる加速度センサによって揺動方向及び揺動速度を検出し、検出した揺動方向に応じて立体画像の回転方向を決定し、揺動速度に応じて立体画像の回転量を決定してもよい。
[表示変動の抑止]
また、上記第1の実施形態における端末装置140は、移動されずに回転のみされた場合には、立体表示モニタ142に表示する立体画像を変化させなくてもよい。この点について、図18を用いて具体的に説明する。図18(A1)は、端末装置140の基準位置が設定された状態であるものとする。また、図18(A2)は、基準位置に位置する端末装置140の立体表示モニタ142に表示される立体画像を示す。
このような場合に、端末装置140は、図18(B1)に示すように移動された場合には、図11及び図12を用いて説明したように、かざされた位置に対応する被検体Pの立体画像を表示する(図18(B2)参照)。ここで、端末装置140は、図18(C1)に示すように、端末装置140の重心位置が変動せず、かかる重心を中心に回転動作のみされた場合には、図18(C2)に示すように、立体表示モニタ142に表示する立体画像を変化させずに、図18(B2)に示した立体画像を表示したままとしてもよい。これにより、利用者は、利用者自身が移動することなく、被検体Pの側面の立体画像を観察することができる。
[パターンマッチング]
また、上記第1の実施形態において、端末装置140は、基準位置を設定する旨の操作を受け付け、位置センサ145によって検出される位置情報に基づいて端末装置140の移動ベクトルを取得した。そして、ワークステーション130は、ボリュームデータVD10に基準位置を設定し、端末装置140の移動ベクトルに基づいて、端末装置140がかざしている位置に対応する被検体Pの視差画像群を生成した。しかし、端末装置140と被検体Pとの位置関係を取得する処理は、この例に限られない。例えば、第1の実施形態における端末装置140は、基準位置を設定する旨の操作を受け付けず、また、位置センサ145を有しなくてもよい。
具体的には、端末装置140は、被検体Pを撮影可能なカメラを有し、被検体Pにかざされた状態で所定の操作が行われた場合に、カメラに被検体Pを撮影させる。そして、端末装置140の取得部1462は、領域拡張(region growing)法や形状テンプレートを用いたパターンマッチング法などを用いて、スキャノ画像A10のうちカメラによって撮影された画像が示す位置を特定する。すなわち、端末装置140は、パターンマッチング法などを用いて、スキャノ画像A10と撮影画像との輪郭をマッチングさせることにより、端末装置140がかざされている被検体Pの位置を特定する。そして、端末装置140は、特定した被検体Pの位置をワークステーション130に送信することにより、かかる位置に対応する被検体Pの視差画像群をワークステーション130から取得する。これにより、端末装置140は、かざされている位置に対応する被検体Pの立体画像を立体表示モニタ142に表示することができる。なお、パターンマッチング法を用いて端末装置140がかざされている被検体Pの位置を特定する場合には、端末装置140は、上記の初期設定部1461を有しなくてもよい。
[2次元画像]
また、上記第1の実施形態における端末装置140は、被検体Pにかざされた場合に、かざされた位置に対応する部位(臓器等)の視差画像群を表示することで、かかる臓器等の立体画像を利用者に提供した。しかし、端末装置140は、視差画像群を表示せずに、2次元画像(例えば、CT画像やMPR画像等)を表示してもよい。すなわち、上記第1の実施形態における端末装置140は、ワークステーション130によってボリュームデータから生成された視差画像群を表示したが、ワークステーション130によってボリュームデータから生成される2次元画像を表示してもよい。かかる場合には、ワークステーション130は、端末装置140の移動ベクトルを受信した場合に、ボリュームデータから生成される2次元画像を生成し、生成した2次元画像を端末装置140に送信する。
このように、端末装置140は、かざされた位置に対応する被検体Pの2次元画像を表示する場合であっても、被検体Pとの距離に応じて立体表示モニタ142に表示する立体画像の表示形式を変更してもよい。例えば、端末装置140は、図16に示した例と同様に、被検体Pとの距離に応じて2次元画像の縮尺を変化させてもよい。
また、例えば、端末装置140は、2次元画像を表示する場合には、被検体Pとの距離に応じて表示対象の2次元の断面画像を変化させてもよい。具体的には、端末装置140は、端末装置140の移動ベクトルをワークステーション130に送信する。ワークステーション130の制御部135は、端末装置140の移動ベクトルに基づいて、端末装置140と被検体Pとの距離が遠いほど、被検体P内部のうち端末装置140に近い部位の断面画像を生成し、端末装置140と被検体Pとの距離が近いほど、被検体P内部のうち端末装置140から離れている部位の断面画像を生成する。そして、ワークステーション130は、生成した断面画像を端末装置140に送信する。
これにより、端末装置140は、被検体Pとの距離に応じた2次元の断面画像を表示することができる。具体的には、端末装置140は、被検体Pから遠ざかる方向に移動された場合に、被検体P内部のうち端末装置140に近い部位の断面画像を表示し、被検体Pに近づける方向に移動された場合に、被検体P内部のうち端末装置140から遠い部位の断面画像を表示することができる。この点について、図16に示した例を用いて説明する。例えば、端末装置140は、図16(A1)に示した状態である場合に、被検体Pの心臓の断面画像を表示するものとする。このとき、端末装置140は、図16(B1)に示すように被検体Pから遠ざかる方向に移動された場合に、被検体P内部のうち、図16(A1)に示した状態において表示した心臓よりも端末装置140に近づく方向の部位(例えば、胸骨等)の断面画像を表示する。また、端末装置140は、被検体Pに近づける方向に移動された場合に、被検体P内部のうち、図16(A1)に示した状態において表示した心臓よりも端末装置140から離れる方向の部位(例えば、背骨等)の断面画像を表示する。
また、上記第1の実施形態においては、端末装置140がタブレット式PC等の持ち運び可能な端末であるものとして説明した。しかし、端末装置140の実施形態はこれに限られない。例えば、第1の実施形態における端末装置140は、端末装置140を上下左右に移動可能な可動式アーム等によって固定されてもよい。
(第2の実施形態)
上記第1の実施形態では、端末装置140と被検体Pとの位置関係に応じて、端末装置140の立体表示モニタ142に表示する立体画像の表示形式を変化させる例を示した。第2の実施形態では、端末装置と利用者(観察者)との位置関係に応じて、立体表示モニタ142に表示する立体画像の表示形式を変化させる例について説明する。
まず、第2の実施形態における画像処理システムを説明する前に、図19を用いて、立体表示モニタによって表示される立体画像について説明する。図19は、立体画像と観察位置との関係を説明するための図である。図19に示した例において、立体表示モニタは、観察者によって立体視可能な立体画像を表示する。ここで、観察者にとって立体画像を立体的に視認しやすい観察位置は、所定の領域に決定される。一般的には、観察位置が立体表示モニタの正面や斜め45°である場合には、観察者は立体画像を立体的に視認しやすいことが多い。例えば、図19に示した例において、観察者は、領域R11、R12及びR13から立体表示モニタを観察する場合には、立体画像を立体的に視認しやすいが、領域R21及びR22から観察する場合には、立体画像を立体的に視認しにくいことがある。この例の場合、観察者は、領域R21から立体画像の右側面を立体的に視認することが困難になる。
そこで、第2の実施形態における端末装置では、観察者の観察位置に応じて、立体表示モニタの向きを変化させるとともに、立体画像を回転表示する。以下に、このような第2の実施形態における端末装置240について詳細に説明する。
まず、図20を用いて、第2の実施形態における端末装置240の外観について説明する。図20は、第2の実施形態における端末装置240の外観を示す図である。図20に例示するように、端末装置240は、立体表示モニタ142とともに回転可能な回転部22と、利用者(観察者)の位置を取得可能な位置センサ245とを有する。
次に、図20に示した第2の実施形態における端末装置240の構成例について説明する。図21は、第2の実施形態における端末装置240の構成例を説明するための図である。図21に示した端末装置240は、図1に示した端末装置140に対応する。なお、以下では、既に示した構成部位と同様の機能を有する部位には同一符号を付すこととして、その詳細な説明を省略する。図20に例示するように、第2の実施形態における端末装置240は、位置センサ245と、制御部246とを有する。
位置センサ245は、図20に例示したように、立体表示モニタ142に設けられる。かかる位置センサ245は、立体表示モニタ142を観察している観察者の端末装置240に対する相対的の位置である観察位置を取得する。
制御部246は、CPU、MPUやGPU等の電子回路、ASICやFPGA等の集積回路であり、端末装置240の全体制御を行う。かかる制御部246は、取得部2461と、回転制御部2462と、表示制御部2463とを有する。
取得部2461は、位置センサ245によって取得された観察位置に基づいて、所定の基準方向と、観察者の立体表示モニタ142への視線方向(端末装置240と観察位置とを結ぶ直線)とのなす角度を取得する。なお、第2の実施形態においては、所定の基準方向が、立体表示モニタ142の表示面に垂直な方向(奥行き方向、z方向)であるものとする。また、以下では、基準方向と視線方向とのなす角度を「観察角度」と表記する場合がある。
また、取得部2461は、位置センサ245によって取得された観察位置から立体表示モニタ142への視線方向に対応する視差画像群をワークステーション130から取得する。具体的には、取得部2461は、観察角度をワークステーション130に送信することで、視線方向に対応する視差画像群を取得する。この点については後述する。
回転制御部2462は、取得部2461によって取得された観察角度に基づいて、立体表示モニタ142の表示面が観察位置に向くように、回転部22を回転させる。具体的には、回転制御部2462は、観察位置から立体表示モニタ142への視線方向と、立体表示モニタ142の表示面とが垂直関係(対向関係)になるように、回転部22を回転させる。
表示制御部2463は、ワークステーション130から受信した視差画像群を立体表示モニタ142に表示する。また、第2の実施形態における表示制御部2463は、取得部2461によってワークステーション130から視差画像群が取得された場合に、かかる視差画像群を立体表示モニタ142に表示する。
ここで、図22を用いて、第2の実施形態における取得部2461、回転制御部2462及び表示制御部2463による処理の一例について説明する。図22は、第2の実施形態における端末装置240による処理の一例を説明するための図である。
図22に示した例において、観察者Uは、立体表示モニタ142によって表示されている立体画像I11を観察する。かかる場合に、端末装置240の位置センサ245は、端末装置240に対する観察者Uの位置を観察位置として取得する。図22(A1)に示した例では、観察者Uが立体表示モニタ142の正面に位置するので、このような場合には、端末装置240の回転制御部2462は処理を行わない。なお、ここでは、立体表示モニタ142は、図22(A2)に例示した視線方向L1、・・・、L5、・・・、L9によりレンダリング処理が行われることで生成された視差画像群を表示しているものとする。
続いて、図22(B1)に示した例のように、観察者Uが立体表示モニタ142の左斜め前方に移動したものとする。すなわち、観察者Uは、立体画像I11の左側面を立体的に視認することを望んでいると考えられる。
かかる場合には、取得部2461は、位置センサ245によって取得された観察者Uの観察位置に基づいて、基準方向と視線方向とのなす観察角度θ21を取得する。そして、取得部2461は、観察位置及び観察角度θ21をワークステーション130に送信する。観察位置及び観察角度θ21を受け付けたワークステーション130の制御部135は、図22(B2)に示すように、レンダリング処理時の視点位置を端末装置240から受信した観察位置とし、かかる視点位置からの視線方向L1等を観察角度θ21だけ傾ける。制御部135は、このようなレンダリング条件によりレンダリング処理を行うようにレンダリング処理部136を制御する。そして、ワークステーション130は、レンダリング処理部136が生成した視差画像群を端末装置240に送信する。
そして、端末装置240の回転制御部2462は、図22(B1)に示すように、取得部2461によって取得された観察角度θ21に基づいて、立体表示モニタ142の表示面が観察者Uと正対するように、回転部22を観察角度θ21だけ回転させる。
また、端末装置240の表示制御部2463は、図22(B1)に示すように、ワークステーション130から受信した視差画像群を立体表示モニタ142に表示することで、立体画像I12を観察者Uに提供する。すなわち、立体表示モニタ142は、正面から観察された場合に、立体画像I11の左側面に対応する立体画像I12を表示する。図22(B1)に示すように、観察者Uは、立体表示モニタ142を正面から観察しているので、立体画像I12を立体的に視認することができ、さらに、自身が移動した方向から立体画像I11を視認しているように感じることができる。
なお、上記図22では、回転制御部2462が回転部22を観察角度θ21だけ回転させることにより、立体表示モニタ142と観察者とを対向させる例を示した。しかし、回転制御部2462は、回転部22を観察角度θ21だけ回転させなくてもよい。具体的には、図19を用いて説明したように、立体表示モニタ142と観察者とを対向しない場合であっても、観察者にとって立体画像を立体的に視認しやすい領域が存在する。このため、回転制御部2462は、かかる領域(例えば、図19に例示した領域R11)に観察者が位置するように回転部22を回転させればよい。
次に、図23を用いて、第2の実施形態におけるワークステーション130及び端末装置240による処理の流れの一例を示す。図23は、第2の実施形態における画像処理システムによる処理の流れの一例を示すシーケンス図である。
図23に示すように、端末装置240の取得部2461は、位置センサ245によって検出される位置情報に基づいて、観察者が移動したか否かを判定する(ステップS301)。ここで、観察者の移動を検出しない場合には(ステップS301否定)、端末装置240は、待機する。
一方、観察者の移動を検出した場合に(ステップS201肯定)、取得部2461は、位置センサ245によって取得された観察者の観察位置に基づいて、観察角度を取得する(ステップS302)。続いて、端末装置240の回転制御部2462は、立体表示モニタ142の表示面が観察者と正対するように、回転部22を観察角度θ21だけ回転させる(ステップS303)。そして、取得部2461は、観察位置及び観察角度をワークステーション130に送信する(ステップS304)。
ワークステーション130の制御部135は、端末装置240から受信した観察位置及び観察角度に基づいて、レンダリング処理時の視線方向を決定する(ステップS305)。そして、制御部135は、ステップS304において決定した視線方向によりレンダリング処理を行うようにレンダリング処理部136を制御する。これにより、レンダリング処理部136は、視差画像群を生成する(ステップS306)。ワークステーション130は、生成した視差画像群を端末装置240に送信する(ステップS307)。
そして、端末装置240の表示制御部2463は、ワークステーション130から受信した視差画像群を立体表示モニタ142に表示する(ステップS308)。
上述してきたように、第2の実施形態によれば、観察者の観察位置に応じた立体画像を表示することができるので、利用者が所望する立体画像を表示することができる。
なお、第2の実施形態は、上記の実施形態に限られず、以下に示すいくつかの変形例を含む態様の実施形態であってもよい。以下に、第2の実施形態の変形例について説明する。
[手動回転]
なお、上記第2の実施形態において、端末装置240は、観察者等によって手動で回転移動されてもよい。かかる場合に、端末装置240は、自装置の回転量に応じて、表示対象の視差画像群を変更する。この点について、図24を用いて具体的に説明する。図24は、第2の実施形態の変形例を説明するための図である。
図24に示した例において、端末装置240は、立体表示モニタ142と本体部とが回転可能な回転部22によって連結された携帯電話等であるものとする。このような携帯電話等の場合には、観察者は、利用形態によって立体表示モニタ142を回転させることがあるものの、回転後の立体表示モニタ142を正面から観察することが多い。
ここで、図24(A)及び(B)に示すように、立体画像I11を表示している端末装置240の立体表示モニタ142が90度回転されたものとする。かかる場合に、端末装置240は、立体表示モニタ142の回転量「90度」をワークステーション130に送信する。このとき、ワークステーション130の制御部135は、図24(A)において表示されている視差画像群が生成された際の視点位置を90度回転移動させ、かかる視点位置からレンダリング処理を行うようにレンダリング処理部136を制御する。
端末装置240は、図24(B)に示すように、このようにしてレンダリング処理部136によって生成された視差画像群を立体表示モニタ142に表示する。これにより、端末装置240は、立体画像I11の左側面に対応する立体画像I13を観察者Uに提供することができる。この結果、観察者Uは、立体表示モニタ142を正面から観察しているので、立体画像I13を立体的に視認することができ、さらに、立体表示モニタ142の回転量に応じて回転された立体画像I11を視認しているように感じることができる。
[ヘッドトラッキング]
また、上記第2の実施形態では、端末装置240が観察者の観察位置を取得する位置センサ245を有する例を示した。しかし、端末装置240は、観察者を撮影するカメラを有し、カメラによる撮影画像をヘッドトラッキング等の技術により解析することで、観察者の観察位置を取得してもよい。
(第3の実施形態)
さて、上述した実施形態は、他の実施形態に変形することもできる。そこで、第3の実施形態では、上述した実施形態の変形例を説明する。
[処理主体]
上記実施形態においては、端末装置140又は240が、自装置の移動や観察位置の移動に対応する視差画像群をワークステーション130から取得する例について説明した。しかし、端末装置140又は240は、ワークステーション130の制御部135やレンダリング処理部136等と同様の機能を有してもよい。かかる場合には、端末装置140又は240は、画像保管装置120からボリュームデータを取得し、上記の制御部135と同様の処理を行う。
また、上記実施形態において、ワークステーション130がボリュームデータから視差画像群を生成するのではなく、医用画像診断装置110が、レンダリング処理部136と同等の機能を有し、ボリュームデータから視差画像群を生成してもよい。かかる場合には、端末装置140又は240は、医用画像診断装置110から視差画像群を取得する。
[視差画像数]
また、上記実施形態においては、主に9つの視差画像である視差画像群に対して、図形画像を重畳させて表示する例について説明したが、実施形態はこれに限られるものではない。例えば、ワークステーション130は、2つの視差画像である視差画像群を生成してもよい。
[システム構成]
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、ワークステーション130の制御部135をワークステーション130の外部装置としてネットワーク経由で接続するようにしてもよい。
[プログラム]
また、上記実施形態における端末装置140又は240が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。例えば、かかるプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD、ブルーレイ等に記録される。また、かかるプログラムは、インターネットなどのネットワークを介して配布することもできる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。