以下、添付図面を参照して、画像処理システム及び画像処理装置の実施形態を詳細に説明する。なお、以下では、画像処理装置としての機能を有するワークステーションを含む画像処理システムを実施形態として説明する。ここで、以下の実施形態で用いる用語について説明すると、「視差画像群」とは、ボリュームデータに対して、所定の視差角ずつ視点位置を移動させてボリュームレンダリング処理を行なうことで生成された画像群のことである。すなわち、「視差画像群」は、「視点位置」が異なる複数の「視差画像」から構成される。また、「視差角」とは、「視差画像群」を生成するために設定された各視点位置のうち隣接する視点位置と、ボリュームデータによって表される空間内の所定位置(例えば、空間の中心)とにより定まる角度のことである。また、「視差数」とは、立体表示モニタにて立体視されるために必要となる「視差画像」の数のことである。また、以下で記載する「9視差画像」とは、9つの「視差画像」から構成される「視差画像群」のことである。また、以下で記載する「2視差画像」とは、2つの「視差画像」から構成される「視差画像群」のことである。
(第1の実施形態)
まず、第1の実施形態に係る画像処理システムの構成例について説明する。図1は、第1の実施形態に係る画像処理システムの構成例を説明するための図である。
図1に示すように、第1の実施形態に係る画像処理システム1は、医用画像診断装置110と、画像保管装置120と、ワークステーション130と、端末装置140とを有する。図1に例示する各装置は、例えば、病院内に設置された院内LAN(Local Area Network)2により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像処理システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。
かかる画像処理システム1は、医用画像診断装置110により生成された3次元の医用画像データであるボリュームデータから視差画像群を生成し、この視差画像群を立体視可能なモニタに表示することで、病院内に勤務する医師や検査技師に立体視可能な医用画像を提供する。具体的には、第1の実施形態においては、ワークステーション130が、ボリュームデータに対して種々の画像処理を行ない、視差画像群を生成する。また、ワークステーション130及び端末装置140が、立体視可能なモニタを有し、ワークステーション130にて生成された視差画像群をこのモニタに表示する。また、画像保管装置120は、医用画像診断装置110にて生成されたボリュームデータや、ワークステーション130にて生成された視差画像群を保管する。すなわち、ワークステーション130や端末装置140は、この画像保管装置120からボリュームデータや視差画像群を取得し、これを処理したり、モニタに表示したりする。以下、各装置を順に説明する。
医用画像診断装置110は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等である。また、第1の実施形態に係る医用画像診断装置110は、3次元の医用画像データ(ボリュームデータ)を生成可能である。
具体的には、第1の実施形態に係る医用画像診断装置110は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置110は、被検体を撮影することにより投影データやMR信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数のアキシャル面の医用画像データを再構成することで、ボリュームデータを生成する。例えば、医用画像診断装置110は、500枚のアキシャル面の医用画像データを再構成する。この500枚のアキシャル面の医用画像データ群が、ボリュームデータである。
また、第1の実施形態に係る医用画像診断装置110は、生成したボリュームデータを画像保管装置120に送信する。なお、医用画像診断装置110は、ボリュームデータを画像保管装置120に送信する際に、付帯情報として、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置110を識別する装置ID、医用画像診断装置110による1回の撮影を識別するシリーズID等を送信する。
画像保管装置120は、医用画像を保管するデータベースである。具体的には、第1の実施形態に係る画像保管装置120は、医用画像診断装置110から送信されたボリュームデータを記憶部に格納し、これを保管する。また、第1の実施形態に係る画像保管装置120は、ワークステーション130がボリュームデータから生成した視差画像群を記憶部に格納し、これを保管することも可能である。かかる場合、ワークステーション130は、生成した視差画像群を画像保管装置120に送信し、画像保管装置120は、ワークステーション130から送信された視差画像群を記憶部に格納し、これを保管する。なお、本実施形態は、大容量の画像を保管可能なワークステーション130を用いることで、図1に例示するワークステーション130と画像保管装置120とが統合される場合であっても良い。すなわち、本実施形態は、ワークステーション130そのものにボリュームデータもしくは視差画像群を記憶させる場合であっても良い。
なお、第1の実施形態において、画像保管装置120に保管されたボリュームデータや視差画像群は、患者ID、検査ID、装置ID、シリーズID等と対応付けて保管される。このため、ワークステーション130や端末装置140は、患者ID、検査ID、装置ID、シリーズID等を用いた検索を行なうことで、必要なボリュームデータや視差画像群を画像保管装置120から取得する。
ワークステーション130は、医用画像に対して画像処理を行なう画像処理装置である。具体的には、第1の実施形態に係るワークステーション130は、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。視差画像群とは、複数の視点から撮影された複数の視差画像のことであり、例えば、9視差画像を裸眼にて立体視可能なモニタにて表示される視差画像群とは、視点位置が異なる9つの視差画像のことである。
また、第1の実施形態に係るワークステーション130は、表示部として、立体視可能なモニタ(以下、立体表示モニタ)を有する。ワークステーション130は、視差画像群を生成し、生成した視差画像群を立体表示モニタに表示する。この結果、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行なうことができる。
また、ワークステーション130は、生成した視差画像群を画像保管装置120に送信する。なお、ワークステーション130は、視差画像群を画像保管装置120に送信する際に、付帯情報として、例えば、患者ID、検査ID、装置ID、シリーズID等を送信する。また、視差画像群を画像保管装置120に送信する際に送信される付帯情報としては、視差画像群に関する付帯情報も挙げられる。視差画像群に関する付帯情報としては、視差画像の枚数(例えば、「9」)や、視差画像の解像度(例えば、「466画素×350画素」)等がある。また、ワークステーション130は、端末装置140からの立体視要求に応じて、生成した視差画像群を端末装置140に送信することもできる。
ここで、第1の実施形態に係るワークステーション130は、操作者の要求に応じてリアルタイムで視差画像群を生成する。例えば、第1の実施形態に係るワークステーション130は、自装置の操作者の要求に応じて視差画像群を生成する。或いは、第1の実施形態に係るワークステーション130は、以下に説明する端末装置140の操作者の要求に応じて視差画像群を生成し、生成した視差画像群を端末装置140に送信する。
端末装置140は、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置である。例えば、端末装置140は、病院内に勤務する医師や検査技師により操作されるPC(Personal Computer)やタブレット式PC、PDA(Personal Digital Assistant)、携帯電話等である。具体的には、第1の実施形態に係る端末装置140は、表示部として立体表示モニタを有する。また、端末装置140は、ワークステーション130又は画像保管装置120から視差画像群を取得し、取得した視差画像群を立体表示モニタに表示する。この結果、観察者である医師や検査技師は、立体視可能な医用画像を閲覧することができる。
ここで、ワークステーション130や端末装置140が有する立体表示モニタについて説明する。現在最も普及している一般的な汎用モニタは、2次元画像を2次元で表示するものであり、2次元画像を立体表示することができない。仮に、観察者が汎用モニタにて立体視を要望する場合、汎用モニタに対して画像を出力する装置は、平行法や交差法により観察者が立体視可能な2視差画像を並列表示させる必要がある。又は、汎用モニタに対して画像を出力する装置は、例えば、左目用の部分に赤色のセロハンが取り付けられ、右目用の部分に青色のセロハンが取り付けられたメガネを用いて余色法により観察者が立体視可能な画像を表示する必要がある。
一方、立体表示モニタとしては、立体視用メガネ等の専用機器を用いることで、2視差画像(両眼視差画像とも称する)を立体視可能とするものがある。
図2は、2視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図2に示す一例は、シャッター方式により立体表示を行なう立体表示モニタであり、モニタを観察する観察者が装着する立体視用メガネとしてシャッターメガネが用いられる。かかる立体表示モニタは、モニタにて2視差画像を交互に出射する。例えば、図2の(A)に示すモニタは、左目用の画像と右目用の画像を、120Hzにて交互に出射する。ここで、モニタには、図2の(A)に示すように、赤外線出射部が設置され、赤外線出射部は、画像が切り替わるタイミングに合わせて赤外線の出射を制御する。
また、赤外線出射部から出射された赤外線は、図2の(A)に示すシャッターメガネの赤外線受光部により受光される。シャッターメガネの左右それぞれの枠には、シャッターが取り付けられており、シャッターメガネは、赤外線受光部が赤外線を受光したタイミングに合わせて左右のシャッターそれぞれの透過状態及び遮光状態を交互に切り替える。以下、シャッターにおける透過状態及び遮光状態の切り替え処理について説明する。
各シャッターは、図2の(B)に示すように、入射側の偏光板と出射側の偏光板とを有し、更に、入射側の偏光板と出射側の偏光板との間に液晶層を有する。また、入射側の偏光板と出射側の偏光板とは、図2の(B)に示すように、互いに直交している。ここで、図2の(B)に示すように、電圧が印加されていない「OFF」の状態では、入射側の偏光板を通った光は、液晶層の作用により90度回転し、出射側の偏光板を透過する。すなわち、電圧が印加されていないシャッターは、透過状態となる。
一方、図2の(B)に示すように、電圧が印加された「ON」の状態では、液晶層の液晶分子による偏光回転作用が消失するため、入射側の偏光板を通った光は、出射側の偏光板で遮られてしまう。すなわち、電圧が印加されたシャッターは、遮光状態となる。
そこで、例えば、赤外線出射部は、モニタ上に左目用の画像が表示されている期間、赤外線を出射する。そして、赤外線受光部は、赤外線を受光している期間、左目のシャッターに電圧を印加せず、右目のシャッターに電圧を印加させる。これにより、図2の(A)に示すように、右目のシャッターが遮光状態となり、左目のシャッターが透過状態となるため、観察者の左目に左目用の画像が入射する。一方、赤外線出射部は、モニタ上に右目用の画像が表示されている期間、赤外線の出射を停止する。そして、赤外線受光部は、赤外線が受光されない期間、右目のシャッターに電圧を印加せず、左目のシャッターに電圧を印加させる。これにより、左目のシャッターが遮光状態となり、右目のシャッターが透過状態であるため、観察者の右目に右目用の画像が入射する。このように、図2に示す立体表示モニタは、モニタに表示される画像とシャッターの状態を連動させて切り替えることで、観察者が立体視可能な画像を表示させる。なお、2視差画像を立体視可能な立体表示モニタとしては、上記のシャッター方式以外にも、偏光メガネ方式を採用したモニタも知られている。
更に、近年実用化された立体表示モニタとしては、レンチキュラーレンズ等の光線制御子を用いることで、例えば、9視差画像等の多視差画像を観察者が裸眼にて立体視可能とするものがある。かかる立体表示モニタは、両眼視差による立体視を可能とし、更に、観察者の視点移動に合わせて観察される映像も変化する運動視差による立体視も可能とする。
図3は、9視差画像により立体表示を行なう立体表示モニタの一例を説明するための図である。図3に示す立体表示モニタには、液晶パネル等の平面状の表示面200の前面に、光線制御子が配置される。例えば、図3に示す立体表示モニタには、光線制御子として、光学開口が垂直方向に延びる垂直レンチキュラーシート201が表示面200の前面に貼り付けられている。なお、図3に示す一例では、垂直レンチキュラーシート201の凸部が前面となるように貼り付けられているが、垂直レンチキュラーシート201の凸部が表示面200に対向するように貼り付けられる場合であっても良い。
表示面200には、図3に示すように、縦横比が3:1であり、縦方向にサブ画素である赤(R)、緑(G)、青(B)の3つが配置された画素202がマトリクス状に配置される。図3に示す立体表示モニタは、9つの画像により構成される9視差画像を、所定フォーマット(例えば格子状)に配置した中間画像に変換したうえで、表示面200に出力する。例えば、9視差画像は、9つの画像が「3行3列」に配置された格子状のフォーマットの中間画像に変換されて、表示面200に出力される。すなわち、図3に示す立体表示モニタは、9視差画像にて同一位置にある9つの画素それぞれを、9列の画素202に割り振って出力させる。9列の画素202は、視点位置の異なる9つの画像を同時に表示する単位画素群203となる。
表示面200において単位画素群203として同時に出力された9視差画像は、例えば、LED(Light Emitting Diode)バックライトにより平行光として放射され、更に、垂直レンチキュラーシート201により、多方向に放射される。9視差画像の各画素の光が多方向に放射されることにより、観察者の右目及び左目に入射する光は、観察者の位置(視点の位置)に連動して変化する。すなわち、観察者の見る角度により、右目に入射する視差画像と左目に入射する視差画像とは、視差角が異なる。これにより、観察者は、例えば、図3に示す9つの位置それぞれにおいて、撮影対象を立体的に視認できる。また、観察者は、例えば、図3に示す「5」の位置において、撮影対象に対して正対した状態で立体的に視認できるとともに、図3に示す「5」以外それぞれの位置において、撮影対象の向きを変化させた状態で立体的に視認できる。なお、図3に示す立体表示モニタは、あくまでも一例である。9視差画像を表示する立体表示モニタは、図3に示すように、「RRR・・・、GGG・・・、BBB・・・」の横ストライプ液晶である場合であっても良いし、「RGBRGB・・・」の縦ストライプ液晶である場合であっても良い。また、図3に示す立体表示モニタは、図3に示すように、レンチキュラーシートが垂直となる縦レンズ方式である場合であっても良いし、レンチキュラーシートが斜めとなる斜めレンズ方式である場合であっても良い。また、中間画像のフォーマットは、「3行3列」の格子状に限定されるものではない。例えば、中間画像のフォーマットは、「1行9列」や「9行1列」等、モニタの仕様に応じた任意のフォーマットである場合であっても良い。
以下、図2を用いて説明した立体表示モニタを2視差モニタと記載する。また、以下、図3を用いて説明した立体表示モニタを9視差モニタと記載する。すなわち、2視差モニタは、両眼視差による立体視を可能とする立体表示装置である。また、9視差モニタは、両眼視差による立体視を可能とし、更に、9つの画像(9視差画像)を同時に表示することで「観察者の視点移動(運動視差)」に応じて観察者が観察する画像を変更可能な立体表示装置である。
ここまで、第1の実施形態に係る画像処理システム1の構成例について簡単に説明した。なお、上述した画像処理システム1は、PACSが導入されている場合にその適用が限られるものではない。例えば、画像処理システム1は、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用される。この場合、画像保管装置120は、電子カルテを保管するデータベースである。また、例えば、画像処理システム1は、HIS(Hospital Information System)、RIS(Radiology Information System)が導入されている場合にも、同様に適用される。また、画像処理システム1は、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更されてよい。
次に、第1の実施形態に係るワークステーションの構成例について図4を用いて説明する。図4は、第1の実施形態に係るワークステーションの構成例を説明するための図である。なお、以下において、「視差画像群」とは、ボリュームデータに対してボリュームレンダリング処理を行なうことで生成された立体視用の画像群(ボリュームレンダリング画像群)のことである。また、「視差画像」とは、「視差画像群」を構成する個々の画像のことである。すなわち、「視差画像群」は、視点位置が異なる複数の「視差画像」から構成される。
第1の実施形態に係るワークステーション130は、画像処理等に適した高性能なコンピュータであり、図4に示すように、入力部131と、表示部132と、通信部133と、記憶部134と、制御部135と、レンダリング処理部136とを有する。なお、以下では、ワークステーション130が画像処理等に適した高性能なコンピュータである場合を用いて説明するが、これに限定されるものではなく、任意の情報処理装置であって良い。例えば、任意のパーソナルコンピュータであっても良い。
入力部131は、マウス、キーボード、トラックボール等であり、ワークステーション130に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る入力部131は、レンダリング処理の対象となるボリュームデータを画像保管装置120から取得するための情報の入力を受け付ける。例えば、入力部131は、患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。また、第1の実施形態に係る入力部131は、レンダリング処理に関する条件(レンダリング条件)の入力を受け付ける。
表示部132は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態に係る表示部132は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、視差画像群等を表示する。例えば、表示部132は、2視差モニタや、9視差モニタである。以下では、表示部132が9視差モニタである場合について説明する。通信部133は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。
記憶部134は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、第1の実施形態に係る記憶部134は、通信部133を介して画像保管装置120から取得したボリュームデータを記憶する。また、第1の実施形態に係る記憶部134は、レンダリング処理中のボリュームデータや、レンダリング処理により生成された視差画像群等を記憶する。
制御部135は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、ワークステーション130の全体制御を行なう。
例えば、第1の実施形態に係る制御部135は、表示部132に対するGUIの表示や視差画像群の表示を制御する。また、例えば、制御部135は、画像保管装置120との間で通信部133を介して行なわれるボリュームデータや視差画像群の送受信を制御する。また、例えば、制御部135は、レンダリング処理部136によるレンダリング処理を制御する。また、例えば、制御部135は、ボリュームデータの記憶部134からの読み込みや、視差画像群の記憶部134への格納を制御する。
レンダリング処理部136は、制御部135による制御の下、画像保管装置120から取得したボリュームデータに対して種々のレンダリング処理を行ない、視差画像群を生成する。具体的には、第1の実施形態に係るレンダリング処理部136は、記憶部134からボリュームデータを読み込み、このボリュームデータに対して、まず前処理を行なう。次に、レンダリング処理部136は、前処理後のボリュームデータに対してボリュームレンダリング処理を行ない、視差画像群を生成する。続いて、レンダリング処理部136は、各種情報(目盛り、患者名、検査項目等)が描出された2次元画像を生成し、これを視差画像群それぞれに対して重畳することで、出力用の2次元画像を生成する。そして、レンダリング処理部136は、生成した視差画像群や出力用の2次元画像を記憶部134に格納する。なお、第1の実施形態において、レンダリング処理とは、ボリュームデータに対して行なう画像処理全体のことであり、ボリュームレンダリング処理とは、レンダリング処理の内、3次元の情報を反映した2次元画像を生成する処理のことである。レンダリング処理により生成される医用画像とは、例えば、視差画像が該当する。
図5は、図4に示すレンダリング処理部の構成例を説明するための図である。図5に示すように、レンダリング処理部136は、前処理部1361と、3次元画像処理部1362と、2次元画像処理部1363とを有する。前処理部1361が、ボリュームデータに対する前処理を行い、3次元画像処理部1362が、前処理後のボリュームデータから視差画像群を生成し、2次元画像処理部1363が、視差画像群に各種情報が重畳された出力用の2次元画像を生成する。以下、各部を順に説明する。
前処理部1361は、ボリュームデータに対してレンダリング処理を行なう際に、種々の前処理を行なう処理部であり、画像補正処理部1361aと、3次元物体フュージョン部1361eと、3次元物体表示領域設定部1361fとを有する。
画像補正処理部1361aは、2種類のボリュームデータを1つのボリュームデータとして処理する際に画像補正処理を行なう処理部であり、図5に示すように、歪み補正処理部1361b、体動補正処理部1361c及び画像間位置合わせ処理部1361dを有する。例えば、画像補正処理部1361aは、PET−CT装置により生成されたPET画像のボリュームデータとX線CT画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。或いは、画像補正処理部1361aは、MRI装置により生成されたT1強調画像のボリュームデータとT2強調画像のボリュームデータとを1つのボリュームデータとして処理する際に画像補正処理を行なう。
また、歪み補正処理部1361bは、個々のボリュームデータにおいて、医用画像診断装置110によるデータ収集時の収集条件に起因するデータの歪みを補正する。また、体動補正処理部1361cは、個々のボリュームデータを生成するために用いられたデータの収集時期における被検体の体動に起因する移動を補正する。また、画像間位置合わせ処理部1361dは、歪み補正処理部1361b及び体動補正処理部1361cによる補正処理が行なわれた2つのボリュームデータ間で、例えば、相互相関法等を用いた位置合わせ(Registration)を行なう。
3次元物体フュージョン部1363eは、画像間位置合わせ処理部1361dにより位置合わせが行なわれた複数のボリュームデータをフュージョンさせる。なお、画像補正処理部1361a及び3次元物体フュージョン部1361eの処理は、単一のボリュームデータに対してレンダリング処理を行なう場合、省略される。
3次元物体表示領域設定部1361fは、操作者により指定された表示対象臓器に対応する表示領域を設定する処理部であり、セグメンテーション処理部1361gを有する。セグメンテーション処理部1361gは、操作者により指定された心臓、肺、血管等の臓器を、例えば、ボリュームデータの画素値(ボクセル値)に基づく領域拡張法により抽出する処理部である。
なお、セグメンテーション処理部1361gは、操作者により表示対象臓器が指定されなかった場合、セグメンテーション処理を行なわない。また、セグメンテーション処理部1361gは、操作者により表示対象臓器が複数指定された場合、該当する複数の臓器を抽出する。また、セグメンテーション処理部1361gの処理は、レンダリング画像を参照した操作者の微調整要求により再度実行される場合もある。
3次元画像処理部1362は、前処理部1361が処理を行なった前処理後のボリュームデータに対してボリュームレンダリング処理を行なう。ボリュームレンダリング処理を行なう処理部として、3次元画像処理部1362は、投影方法設定部1362aと、3次元幾何変換処理部1362bと、3次元物体アピアランス処理部1362fと、3次元仮想空間レンダリング部1362kとを有する。
投影方法設定部1362aは、視差画像群を生成するための投影方法を決定する。例えば、投影方法設定部1362aは、ボリュームレンダリング処理を平行投影法により実行するか、透視投影法により実行するかを決定する。
3次元幾何変換処理部1362bは、ボリュームレンダリング処理が実行されるボリュームデータを3次元幾何学的に変換するための情報を決定する処理部であり、平行移動処理部1362c、回転処理部1362d及び拡大縮小処理部1362eを有する。平行移動処理部1362cは、ボリュームレンダリング処理を行なう際の視点位置が平行移動された場合に、ボリュームデータを平行移動させる移動量を決定する処理部であり、回転処理部1362dは、ボリュームレンダリング処理を行なう際の視点位置が回転移動された場合に、ボリュームデータを回転移動させる移動量を決定する処理部である。また、拡大縮小処理部1362eは、視差画像群の拡大や縮小が要求された場合に、ボリュームデータの拡大率や縮小率を決定する処理部である。
3次元物体アピアランス処理部1362fは、3次元物体色彩処理部1362g、3次元物体不透明度処理部1362h、3次元物体材質処理部1362i及び3次元仮想空間光源処理部1362jを有する。3次元物体アピアランス処理部1362fは、これらの処理部により、例えば、操作者の要求に応じて、表示される視差画像群の表示状態を決定する処理を行なう。
3次元物体色彩処理部1362gは、ボリュームデータにてセグメンテーションされた各領域に対して着色される色彩を決定する処理部である。3次元物体不透明度処理部1362hは、ボリュームデータにてセグメンテーションされた各領域を構成する各ボクセルの不透過度(Opacity)を決定する処理部である。なお、ボリュームデータにおいて不透過度が「100%」とされた領域の後方の領域は、視差画像群において描出されないこととなる。また、ボリュームデータにおいて不透過度が「0%」とされた領域は、視差画像群において描出されないこととなる。
3次元物体材質処理部1362iは、ボリュームデータにてセグメンテーションされた各領域の材質を決定することで、この領域が描出される際の質感を調整する処理部である。3次元仮想空間光源処理部1362jは、ボリュームデータに対してボリュームレンダリング処理を行なう際に、3次元仮想空間に設置する仮想光源の位置や、仮想光源の種類を決定する処理部である。仮想光源の種類としては、無限遠から平行な光線を照射する光源や、視点から放射状の光線を照射する光源等が挙げられる。
3次元仮想空間レンダリング部1362kは、ボリュームデータに対してボリュームレンダリング処理を行ない、視差画像群を生成する。また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリング処理を行なう際、必要に応じて、投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fにより決定された各種情報を用いる。
ここで、3次元仮想空間レンダリング部1362kによるボリュームレンダリング処理は、レンダリング条件に従って行なわれることになる。例えば、レンダリング条件は、「平行投影法」又は「透視投影法」である。また、例えば、レンダリング条件は、「基準の視点位置及び視差角」である。また、例えば、レンダリング条件は、「視点位置の平行移動」、「視点位置の回転移動」、「視差画像群の拡大」、「視差画像群の縮小」である。また、例えば、レンダリング条件は、「着色される色彩」、「透過度」、「質感」、「仮想光源の位置」、「仮想光源の種類」である。このようなレンダリング条件は、入力部131を介して操作者から受け付ける場合や、初期設定される場合が考えられる。いずれの場合も、3次元仮想空間レンダリング部1362kは、制御部135からレンダリング条件を受け付け、このレンダリング条件に従って、ボリュームデータに対するボリュームレンダリング処理を行なう。また、このとき、上述した投影方法設定部1362a、3次元幾何変換処理部1362b、3次元物体アピアランス処理部1362fが、このレンダリング条件に従って必要な各種情報を決定するので、3次元仮想空間レンダリング部1362kは、決定されたこれらの各種情報を用いて視差画像群を生成する。
図6は、第1の実施形態に係るボリュームレンダリング処理の一例を説明するための図である。例えば、3次元仮想空間レンダリング部1362kが、図6の(A)に示すように、レンダリング条件として、平行投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、図6の(A)に示すように、視線方向に沿って無限遠から平行な光線を照射する光源を設定する。そして、3次元仮想空間レンダリング部1362kは、視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に平行移動して、平行投影法により視差角(視線方向間の角度)が1度ずつ異なる9つの視差画像を生成する。
或いは、3次元仮想空間レンダリング部1362kが、図6の(B)に示すように、レンダリング条件として、透視投影法を受け付け、更に、基準の視点位置(5)と視差角「1度」とを受け付けたとする。かかる場合、3次元仮想空間レンダリング部1362kは、図6の(B)に示すように、視線方向を中心に光を3次元的に放射状に照射する点光源や面光源を各視点にて設定する。そして、3次元仮想空間レンダリング部1362kは、例えば、ボリュームデータの切断面の中心(重心)を中心に視差角が「1度」おきとなるように、視点の位置を(1)〜(9)に回転移動して、透視投影法により視差角が1度ずつ異なる9つの視差画像を生成する。なお、透視投影法を行なう場合、レンダリング条件によっては、視点(1)〜(9)は、平行移動される場合であってもよい。なお、視線方向は、図6の(A)及び(B)に示すように、視点からボリュームデータの切断面の中心(重心)に向かう方向となる。
或いは、3次元仮想空間レンダリング部1362kは、図6の(C)に示すように、表示されるボリュームレンダリング画像の縦方向に対しては、視線方向を中心に光を2次元的に放射状に照射し、表示されるボリュームレンダリング画像の横方向に対しては、視線方向に沿って無限遠から平行な光線を照射する光源を設定することで、平行投影法と透視投影法とを併用したボリュームレンダリング処理を行なってもよい。
このようにして生成された9つの視差画像が、視差画像群である。第1の実施形態において、9つの視差画像は、例えば制御部135により所定フォーマット(例えば格子状)に配置した中間画像に変換され、立体表示モニタとしての表示部132に出力される。すると、ワークステーション130の操作者は、立体表示モニタに表示された立体視可能な医用画像を確認しながら、視差画像群生成のための操作を行なうことができる。
なお、図6の例では、レンダリング条件として、投影方法、基準の視点位置及び視差角を受け付けた場合を説明したが、レンダリング条件として、他の条件を受け付けた場合も同様に、3次元仮想空間レンダリング部1362kは、それぞれのレンダリング条件を反映しつつ、視差画像群を生成する。
また、3次元仮想空間レンダリング部1362kは、ボリュームレンダリングだけでなく、断面再構成法(MPR:Multi Planer Reconstruction)を行なってボリュームデータからMPR画像を再構成する機能も有する。なお、3次元仮想空間レンダリング部1362kは、「Curved MPR」を行なう機能や、「Intensity Projection」を行なう機能も有する。
続いて、3次元画像処理部1362がボリュームデータから生成した視差画像群は、アンダーレイ(Underlay)とされる。そして、各種情報(目盛り、患者名、検査項目等)が描出されたオーバーレイ(Overlay)がアンダーレイに対して重畳されることで、出力用の2次元画像とされる。2次元画像処理部1363は、オーバーレイ及びアンダーレイに対して画像処理を行なうことで、出力用の2次元画像を生成する処理部であり、図5に示すように、2次元物体描画部1363a、2次元幾何変換処理部1363b及び輝度調整部1363cを有する。例えば、2次元画像処理部1363は、出力用の2次元画像の生成処理に要する負荷を軽減するために、9枚の視差画像(アンダーレイ)のそれぞれに対して1枚のオーバーレイを重畳することで、出力用の2次元画像を9枚、生成する。
2次元物体描画部1363aは、オーバーレイに描出される各種情報を描画する処理部であり、2次元幾何変換処理部1363bは、オーバーレイに描出される各種情報の位置を平行移動処理又は回転移動処理したり、オーバーレイに描出される各種情報の拡大処理又は縮小処理したりする処理部である。
また、輝度調整部1363cは、輝度変換処理を行なう処理部であり、例えば、出力先の立体表示モニタの諧調や、ウィンドウ幅(WW:Window Width)、ウィンドウレベル(WL:Window Level)等の画像処理用のパラメータに応じて、オーバーレイ及びアンダーレイの輝度を調整する処理部である。
このようにして生成された出力用の2次元画像は、例えば制御部135により一旦記憶部134に格納され、その後、通信部133を介して画像保管装置120に送信される。例えば、端末装置140が、画像保管装置120からこの出力用の2次元画像を取得し、所定フォーマット(例えば格子状)に配置した中間画像に変換した上で立体表示モニタに表示すると、観察者である医師や検査技師は、各種情報(目盛り、患者名、検査項目等)が描出された状態で、立体視可能な医用画像を閲覧することができる。或いは、出力用の2次元画像は、例えば制御部135により通信部133を介して、直接、端末装置140に送信される。
そして、第1の実施形態に係る端末装置140は、上述したように、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置であり、画像保管装置120又はワークステーション130からレンダリング処理部136が生成した視差画像群(出力用の2次元画像)を取得する。図7は、第1の実施形態に係る端末装置の構成例を説明するための図である。
第1の実施形態に係る端末装置140は、図7に示すように、入力部141と、表示部142と、通信部143と、記憶部144と、制御部145と、2次元画像処理部146とを有する。
入力部141は、マウス、キーボード、トラックボール等であり、端末装置140に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る入力部141は、操作者から立体視要求を受け付ける。例えば、入力部141は、立体視要求として、操作者が読影用の表示を要望するボリュームデータを指定するための患者ID、検査ID、装置ID、シリーズID等の入力を受け付ける。
表示部142は、立体表示モニタとしての液晶パネル等であり、各種情報を表示する。具体的には、第1の実施形態に係る表示部142は、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、立体視画像等を表示する。例えば、表示部142は、2視差モニタや、9視差モニタである。以下では、表示部142が9視差モニタである場合について説明する。
通信部143は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。例えば、第1の実施形態に係る通信部143は、入力部141が受け付けた立体視要求に関する情報を画像保管装置120に送信する。また、第1の実施形態に係る通信部143は、立体視要求に応じて、画像保管装置120又はワークステーション130が送信した視差画像群等を受信する。
記憶部144は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、第1の実施形態に係る記憶部144は、通信部143を介して画像保管装置120又はワークステーション130から取得した視差画像群等を記憶する。また、記憶部144は、通信部143を介して画像保管装置120又はワークステーション130から取得した視差画像群の付帯情報(視差数や解像度等)も記憶する。
制御部145は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路であり、端末装置140の全体制御を行なう。
例えば、制御部145は、画像保管装置120との間で通信部143を介して行なわれる立体視要求に関する情報の送受信や、画像保管装置120又はワークステーション130との間で通信部143を介して行なわれる視差画像群等の送受信を制御する。また、例えば、制御部145は、視差画像群等の記憶部144への格納や、視差画像群等の記憶部144からの読み込みを制御する。
また、第1の実施形態に係る制御部145は、表示部142に対するGUIの表示や視差画像群の表示を制御する。第1の実施形態に係る制御部145は、視差画像群を所定フォーマット(例えば格子状)に配置した中間画像に変換した上で9視差モニタである表示部142に表示する。
また、第1の実施形態に係る制御部145は、2次元画像処理部146による画像処理を制御する。
2次元画像処理部146は、図5を用いて説明した2次元画像処理部1363と同様の機能を有する。すなわち、2次元画像処理部146は、3次元画像処理部1362により生成されたアンダーレイとしての視差画像群に対して、オーバーレイを生成して重畳することで、表示部142に対する出力用の2次元画像を生成することができる。
さて、上述したように、レンダリング処理部136は、制御部135による制御の下、ボリュームデータから視差画像群を生成する。また、端末装置140は、視差画像群を取得して表示部142に表示する。これにより、端末装置140の操作者である医師や検査技師は、各種情報(目盛り、患者名、検査項目等)が描出された状態で、立体視可能な医用画像を閲覧することができる。
しかし、端末装置140の操作者(表示部142の観察者)による入力部141を介した要求(ボリュームデータの回転や拡大縮小、パノラマ表示やクリッピング等)に応じて、ボリュームデータから9視差画像を生成する処理をリアルタイムに実行すると、ボリュームレンダリング処理の演算量の多さから、観察者に対してインタラクティブな処理結果を表示することは困難であった。
すなわち、レンダリング条件の変更に応じてリアルタイムで9視差画像を生成するためには、ワークステーション130に高い画像処理能力が要求される。このため、ワークステーション130の画像処理能力によっては、観察者の要求入力時から9視差画像の表示まで時間差が生じてしまう。なお、上記の課題は、観察者が表示部132の観察者(ワークステーション130の操作者)である場合でも同様に生じる。
例えば、端末装置140の操作者は、ボリュームデータを生成した医用画像診断装置110の座標系にて基準視点を設定し、基準視点及び基準視点から視差角が1度間隔となる8つの視点を用いて平行投影法により9視差画像を生成することを要求する。かかる要求に応じてワークステーション130が生成した9視差画像は、表示部142に表示され、端末装置140の操作者により参照される。図8は、レンダリング条件の変更要求の一例を説明するための図である。
更に、端末装置140の操作者は、異なる角度からボリュームデータを参照したい場合、例えば、図8の(A)に示すように、入力部141を介して、ボリュームレンダリングを行なう際の視点の位置の変更要求を行なう。図8の(A)に示す一例では、端末装置140の操作者が、自身が参照したい視点位置の探索を、XY平面における視点の回転移動や、XZ平面における視点の回転移動により行なっている。
かかる要求は、制御部145の制御により通信部143から通信部133へ送信され、更に、通信部133から制御部135に転送される。制御部135は、転送された要求に合致した処理を行なって視差画像群(9視差画像)を生成するようにレンダリング処理部136を制御する。例えば、図8の(B)に示すように、視点の回転移動に応じて、レンダリング処理部136は、「基準視点(図中の斜線付きの丸を参照)及び8つの視点図中の白抜き丸を参照)」を新規に順次設定し、平行投影法によるボリュームレンダリング処理を行なって9視差画像を順次生成する。かかる9視差画像(画像(1)〜(9))は、図8の(C)に示すように、順次、端末装置140において中間画像に変換され、表示部142に出力される。
しかし、例えば、回転移動の要求が短時間で行なわれた場合、図8の(B)に示す異なる視点位置の9視差画像の生成には、演算量の多さから処理に時間がかかり、観察者の要求に対して遅れが生じてしまう。なお、図8は、あくまでも一例であり、レンダリング条件の変更要求としては、視点位置の平行移動要求や、投影方法の変更要求、視差角の変更要求や、視差数の変更要求、視差画像群の拡大縮小要求がある。かかる変更要求の単位時間当たりの変化量の大きさによっても、視差画像群の生成には、観察者の要求に対して遅れが生じてしまう。
そこで、第1の実施形態に係るワークステーション130は、観察者の要求に応じた立体視用の画像を、観察者にストレスを与えない時間で生成するように、制御部135のレンダリング処理制御が行なわれる。
すなわち、第1の実施形態に係る制御部135は、立体表示モニタにて表示される所定視差数の視差画像である視差画像群を3次元の医用画像データであるボリュームデータからレンダリング処理により生成するレンダリング処理部136に対して、以下の制御を行なう。具体的には、第1の実施形態に係る制御部135は、立体表示モニタを参照する操作者によるレンダリング条件の変更操作に関する変化量の大きさに応じて、視差画像群のデータ量に関わる画像生成パラメータを変更するようにレンダリング処理部136を制御する。
より具体的には、第1の実施形態に係る制御部135は、変化量の大きさに応じて、視差画像群の解像度を画像生成パラメータとして変更させる。更に具体的には、第1の実施形態に係る制御部135は、変化量の大きさに応じて、視差画像群を生成する際に設定される投影光(Ray)の密度を変更させる。図9及び図10は、第1の実施形態に係る制御部のレンダリング制御処理の一例を説明するための図である。
例えば、制御部135は、図9に示すように、解像度のレベルとして、低解像度(Low Resolution)、中解像度(Middle Resolution)及び高解像度(High Resolution)を設定する。「レベル:低解像度」は、図9の(A)に示すように、視点から投影面に照射させる投影光を低密度に設定することでボリュームデータから生成される視差画像群を低解像度とするものである。また、「レベル:中解像度」は、図9の(B)に示すように、視点から投影面に照射させる投影光を中密度に設定することでボリュームデータから生成される視差画像群を中解像度とするものである。
また、「レベル:高解像度」は、図9の(C)に示すように、視点から投影面にさせる投影光を高密度に設定することでボリュームデータから生成される視差画像群を高解像度とするものである。例えば、制御部135は、通常、表示部142にて最適に表示される画像の解像度に合致する視差画像群を生成するための投影光密度を「レベル:高解像度」の投影光密度として設定する。なお、図9では、投影光が平行投影法に用いられる平行光である場合を説明した。しかし、投影光密度の変更にともなう解像度の変更は、投影光が透視投影法に用いられる放射状の光線である場合にも適用可能である。
そして、制御部135は、初期条件により生成された9視差画像を端末装置140に送信した後、例えば、通信部143及び通信部133を介して、入力部141を用いた操作者のレンダリング条件の変更操作の単位時間当たりの変化量を取得する。具体的には、制御部135は、表示部142にGUIとして表示されている回転移動用のスクロールバーや、平行移動用のスクロールバー、拡大縮小用のスクロールバー等を、操作者が入力部141のマウスを用いて操作することで入力したレンダリング条件の変更操作の移動量を時間情報とともに取得する。或いは、制御部135は、例えば、表示部142にGUIとして表示されている視差数変更用のスクロールバーや、視差角変更用のスクロールバー、投影方法の切り替えスイッチ等を、操作者が入力部141のマウスを用いて操作することで入力したレンダリング条件の変更操作の移動量を時間情報とともに取得する。これにより、制御部135は、単位時間当たりの移動量の変化量を取得する。そして、制御部135は、変化量が所定閾値を越えた場合、視差画像群のデータ量(解像度)を低減させ、データ量の低減制御を行なった後に変化量が所定閾値以下となった場合、視差画像群のデータ量(解像度)を低減前のデータ量(解像度)に戻すように画像生成パラメータである解像度を変更する。
一例を挙げると、制御部135は、単位時間当たりの視点位置の移動量(回転移動量等)である変化量が大きい間は、単位時間当たりの視点位置の移動(回転移動等)における変化量が大きい間は、粗い解像度でボリュームレンダリング処理を実行させる。その後、例えば、ユーザ操作の完了にともない、変化量が小さくなった場合には、高解像度でボリュームレンダリング処理を実行させる。
ここで、第1の実施形態では、制御部135は、所定閾値として複数の閾値を用いる。すなわち、第1の実施形態に係る制御部135は、解像度のレベルが3段階であることから、変化量に対する閾値として、第1閾値及び第2閾値を設定する。
例えば、制御部135は、図10に示すように、「0≦変化量<第1閾値」である場合、解像度レベルが「高解像度(High)」である視差画像群を生成させる。また、制御部135は、図10に示すように、「第1閾値≦変化量<第2閾値」である場合、解像度レベルが「中解像度(Middle)」である視差画像群を生成させる。また、制御部135は、図10に示すように、「第2閾値≦変化量」である場合、解像度レベルが「低解像度(Low)」である視差画像群を生成させる。
すなわち、レンダリング処理部136は、観察者が要求するレンダリング条件の変更頻度が高い場合は、制御部135の制御の下、処理負荷が低減されるように解像度を低減させた視差画像群を生成する。また、レンダリング処理部136は、観察者が要求するレンダリング条件の変更頻度が低くなった場合は、制御部135の制御の下、観察者の要求に対応できる処理負荷であることから、解像度を通常の解像度に戻した視差画像群を生成する。
次に、図11を用いて第1の実施形態に係る画像処理システム1の処理について説明する。図11は、第1の実施形態に係るワークステーションのレンダリング制御処理を説明するためのフローチャートである。
図11に示すように、第1の実施形態に係る画像処理システム1のワークステーション130は、端末装置140の操作者から立体視用の表示要求を受け付けたか否かを判定する(ステップS101)。ここで、表示要求を受け付けない場合(ステップS101否定)、ワークステーション130は、表示要求を受け付けるまで待機する。
一方、表示要求を受け付けた場合(ステップS101肯定)、制御部135は、高解像度の9視差画像を生成するように制御する(ステップS102)。そして、制御部135は、通信部133を介して転送される端末装置140の操作者によるレンダリング条件の変更操作に関する変化量の取得を開始する(ステップS103)。例えば、制御部135は、レンダリング条件の変更操作の移動量を「0.2秒」ごとに取得することで、単位時間(1秒)当たりの変化量を算出する。
そして、制御部135は、変化量が第1閾値未満であるか否かを判定する(ステップS104)。ここで、変化量が第1閾値未満である場合(ステップS104肯定)、制御部135は、高解像度の9視差画像を生成するように制御する(ステップS105)。
一方、変化量が第1閾値以上である場合(ステップS104否定)、制御部135は、変化量が第2閾値未満であるか否かを判定する(ステップS106)。ここで、変化量が第2閾値未満である場合(ステップS106肯定)、制御部135は、中解像度の9視差画像を生成するように制御する(ステップS107)。
一方、変化量が第2閾値以上である場合(ステップS106否定)、制御部135は、低解像度の9視差画像を生成するように制御する(ステップS106)。
ステップS105、又は、ステップS107、又は、ステップS108の処理の後、制御部135は、表示終了要求を受け付けたか否かを判定する(ステップS109)。ここで、表示終了要求を受け付けない場合(ステップS109否定)、制御部135は、ステップS104に戻って、次に取得した変化量と第1閾値との比較処理を行なう。
一方、表示終了要求を受け付けた場合(ステップS109肯定)、制御部135は、レンダリング制御処理を終了する。
上述してきたように、第1の実施形態では、観察者のレンダリング条件の変更操作の変化量に応じて、視差画像群の解像度を変更する。すなわち、第1の実施形態では、観察者が頻繁にレンダリング条件を変更している期間は、解像度が粗いものの、読影したい立体視用の画像が表示されるか否かを観察者が判定できる程度の画像を円滑に生成して表示させることができる。また、読影したい立体視用の画像が表示されたと観察者が判定した時点状態では、解像度を戻した画像を円滑に生成して表示させることができる。従って、第1の実施形態では、観察者の要求に応じた立体視用の画像を、観察者にストレスを与えない時間で生成することができる。
また、第1の実施形態では、解像度のレベルを多段階とすることにともない、レベル変更に用いる閾値を複数設定するので、データ量制御の粒度を向上させることができる。
(第2の実施形態)
第2の実施形態では、第1の実施形態とは異なる方法でデータ量に関わる画像生成パラメータの変更制御を行なう場合について説明する。
第2の実施形態に係る制御部135は、変化量の大きさに応じて、視差画像群を構成する画像数(視差数)を画像生成パラメータとして変更させる。図12、図13、図14−1及び図14−2は、第2の実施形態に係る制御部のレンダリング制御処理の一例を説明するための図である。
例えば、制御部135は、図12に示すように、視差数のレベルとして、3視差、5視差及び9視差を設定する。「レベル:3視差」は、図12の(A)に示すように、視差画像間の視差角が指定された視差角となる3つの視点によりボリュームデータから視差画像群(3視差画像)を生成させるものである。また、「レベル:5視差」は、図12の(B)に示すように、視差画像間の視差角が指定された視差角となる5つの視点によりボリュームデータから視差画像群(5視差画像)を生成させるものである。
また、「レベル:9視差」は、図12の(C)に示すように、視差画像間の視差角が指定された視差角となる9つの視点によりボリュームデータから視差画像群(9視差画像)を生成させるものである。すなわち、「レベル:9視差」は、表示部142にて同時に表示可能な画像の上限数を生成させるものである。
そして、制御部135は、一例を挙げると、単位時間当たりの視点位置の移動量(回転移動等)である変化量が大きい間は、ボリュームレンダリング処理により生成される画像数を減少させる。その後、例えば、ユーザ操作の完了にともない、変化量が小さくなった場合には、ボリュームレンダリング処理により生成される画像数を通常の画像数に戻す。なお、変化量は、上記の通り、視点位置の平行移動要求や、投影方法の変更要求、視差角の変更要求や、視差数の変更要求、視差画像群の拡大縮小要求の単位時間当たりの変化量であっても良い。
すなわち、制御部135は、変化量が所定閾値を越えた場合、視差画像群の画像数を低減させ、データ量の低減制御を行なった後に変化量が所定閾値以下となった場合、視差画像群の画像数を低減前の画像数に戻すように画像生成パラメータである画像数(視差数)を変更する。
ここで、第2の実施形態でも、制御部135は、所定閾値として複数の閾値を用いる。すなわち、第2の実施形態に係る制御部135は、画像数のレベルが3段階であることから、変化量に対する閾値として、第1閾値及び第2閾値を設定する。
例えば、制御部135は、図13に示すように、「0≦変化量<第1閾値」である場合、9視差画像を生成させる。また、制御部135は、図13に示すように、「第1閾値≦変化量<第2閾値」である場合、5視差画像を生成させる。また、制御部135は、図10に示すように、「第2閾値≦変化量」である場合、3視差画像を生成させる。
すなわち、レンダリング処理部136は、観察者が要求するレンダリング条件の変更頻度が高い場合は、制御部135の制御の下、処理負荷が低減されるように視差数を低減させた視差画像群を生成する。また、レンダリング処理部136は、観察者が要求するレンダリング条件の変更頻度が低くなった場合は、制御部135の制御の下、観察者の要求に対応できる処理負荷であることから、視差数を通常の視差数に戻した視差画像群を生成する。
なお、上記の3視差画像は、図8の(C)に示す画像(1)〜(9)の中で、画像(4)〜(6)に相当する。制御部135は、3視差画像を生成させた場合、図14−1の(A)に示すように、画像(1)〜(3)及び画像(7)〜(9)に代わる画像として、例えば、全画素の色彩が黒となる画像Bをレンダリング処理部136に生成させる。そして、制御部135は、かかる画像群を9視差画像として端末装置140に送信させる。端末装置140の制御部145は、図14−1の(A)に示すように、受信した9視差画像を、「画像B、画像B、画像B」、「画像(4)、画像(5)、画像(6)」及び「画像B、画像B、画像B」の3行3列に配置した中間画像に変換して、表示部142に出力する。
また、上記の5視差画像は、図8の(C)に示す画像(1)〜(9)の中で、画像(3)〜(7)に相当する。制御部135は、5視差画像を生成させた場合、図14−1の(B)に示すように、画像(1)、(2)、(8)及び(9)に代わる画像として、画像Bをレンダリング処理部136に生成させる。そして、制御部135は、かかる画像群を9視差画像として端末装置140に送信させる。端末装置140の制御部145は、図14−1の(B)に示すように、受信した9視差画像を、「画像B、画像B、画像(3)」、「画像(4)、画像(5)、画像(6)」及び「画像(7)、画像B、画像B」の3行3列に配置した中間画像に変換して、表示部142に出力する。
ここで、図14−1に示す一例では、制御部135は、端末装置140の操作者により移動された視点を基準視点とし、当該基準視点を中心に視差角が指定された視差角となる2つの視点、又は、4つの視点を設定することで、3視差画像(画像(4)〜(6))、又は、5視差画像(画像(3)〜(7))を生成させている。かかる3視差画像や5視差画像は、操作者が表示部142を正対した位置で観察する場合に適した立体視用の画像群である。すなわち、かかる3視差画像や5視差画像は、操作者の視線方向が表示部142に対して垂直方向である場合に立体視できる画像である。換言すると、図14−1に示す「視差数が減少した視差画像群」は、表示部142に対して垂直方向以外の方向を視線方向とする操作者にとっては、立体視できない画像群となる場合がある。
そこで、第2の実施形態に係る制御部135は、以下に説明する制御をレンダリング処理部136に対して行なっても良い。すなわち、制御部135は、画像生成パラメータとして画像数(視差数)を変更する場合、立体視モニタ(表示部142)に対する操作者(観察者)の視線方向に応じて、視差画像群を生成するための視点位置を変更するようにレンダリング処理部136を制御する。例えば、制御部135は、表示部142に対する操作者の視線方向を、表示部142に取り付けられた顔認識機能を有するカメラを用いて取得する。例えば、カメラは、実空間における操作者の顔を顔認識機能により追跡(トラッキング)し、更に、認識した顔の方向から操作者の表示部142に対する視線方向を決定する。カメラが取得した視線方向は、通信部143及び通信部133を介して制御部135に転送される。
ここで、制御部135は、例えば、視線方向が表示部142に対して正対する方向であり、かつ、「第2閾値≦変化量」である場合、基準視点を中心に視差角が指定された視差角となる2つの視点を設定することで、図14−2の(A)に示すように、3視差画像(画像(4)〜(6))を生成させる。更に、制御部135は、画像(1)〜(3)及び画像(7)〜(9)に代わる画像として、画像Bを生成させる。
或いは、制御部135は、視線方向が表示部142に対して正対する方向であり、かつ、「第1閾値≦変化量<第2閾値」である場合、基準視点を中心に視差角が指定された視差角となる4つの視点を設定することで、図14−2の(A)に示すように、5視差画像(画像(3)〜(7))を生成させる。更に、制御部135は、画像(1)、(2)、(8)及び(9)に代わる画像として、画像Bを生成させる。
一方、制御部135は、図14−2の(B)に示すように、取得した視線方向が表示部142に対して正対する方向でない場合、当該視線方向に応じてボリュームレンダリングを行なう視点位置を変更させる。具体的には、制御部142は、取得した視線方向を中心とする位置において、本来、9視差画像を参照する操作者が観察するはずであった視差画像群が生成されるようにレンダリング処理部136を制御する。
制御部135は、「第2閾値≦変化量」である場合、取得した視線方向と表示部142に対して正対する方向との角度に応じて、例えば、図14−2の(B)に示すように、3視差画像「画像(2)、画像(3)及び画像(4)」を生成させる。更に、制御部135は、画像(1)及び画像(5)〜(9)に代わる画像として、画像Bを生成させる。
或いは、制御部135は、「第1閾値≦変化量<第2閾値」である場合、取得した視線方向と表示部142に対して正対する方向との角度に応じて、例えば、図14−2の(B)に示すように、5視差画像「画像(1)、画像(2)、画像(3)、画像(4)及び画像(5)」を生成させる。更に、制御部135は、画像(6)〜(9)に代わる画像として、画像Bを生成させる。
このように、視差数の変更制御を行なう場合、表示部142に対する視線方向に応じて、レンダリング時の視点位置の変更制御を更に行なうことで、操作者は、レンダリング条件の変更要求に応じた視差画像群を表示部142において確実に参照することができる。なお、視線方向の取得処理は、顔認識機能により行なわれる以外にも、例えば、磁気センサ等の位置センサを操作者及び表示部142に取り付けることで行なわれる場合であっても良い。
次に、図15を用いて第2の実施形態に係る画像処理システム1の処理について説明する。図15は、第2の実施形態に係るワークステーションのレンダリング制御処理を説明するためのフローチャートである。
図15に示すように、第2の実施形態に係る画像処理システム1のワークステーション130は、端末装置140の操作者から立体視用の表示要求を受け付けたか否かを判定する(ステップS201)。ここで、表示要求を受け付けない場合(ステップS201否定)、ワークステーション130は、表示要求を受け付けるまで待機する。
一方、表示要求を受け付けた場合(ステップS201肯定)、制御部135は、9視差画像を生成するように制御する(ステップS202)。そして、制御部135は、通信部133を介して転送される端末装置140の操作者によるレンダリング条件の変更操作に関する変化量の取得を開始する(ステップS203)。
そして、制御部135は、変化量が第1閾値未満であるか否かを判定する(ステップS204)。ここで、変化量が第1閾値未満である場合(ステップS204肯定)、制御部135は、9視差画像を生成するように制御する(ステップS205)。
一方、変化量が第1閾値以上である場合(ステップS204否定)、制御部135は、変化量が第2閾値未満であるか否かを判定する(ステップS206)。ここで、変化量が第2閾値未満である場合(ステップS206肯定)、制御部135は、5視差画像を生成するように制御する(ステップS207)。
一方、変化量が第2閾値以上である場合(ステップS206否定)、制御部135は、3視差画像を生成するように制御する(ステップS206)。
ステップS205、又は、ステップS207、又は、ステップS208の処理の後、制御部135は、表示終了要求を受け付けたか否かを判定する(ステップS209)。ここで、表示終了要求を受け付けない場合(ステップS209否定)、制御部135は、ステップS204に戻って、次に取得した変化量と第1閾値との比較処理を行なう。
一方、表示終了要求を受け付けた場合(ステップS209肯定)、制御部135は、レンダリング制御処理を終了する。
上述してきたように、第2の実施形態では、観察者のレンダリング条件の変更操作の変化量に応じて、視差画像群の画像数を変更する。すなわち、第2の実施形態では、観察者が頻繁にレンダリング条件を変更している期間は、運動視差により立体視可能な画像対が少なくなるものの、読影したい立体視用の画像が表示されるか否かを観察者が判定できる程度の画像を円滑に生成して表示させることができる。また、読影したい立体視用の画像が表示されたと観察者が判定した時点状態では、立体視モニタにて運動視差にともなって変更可能な画像対全てを円滑に生成して表示させることができる。従って、第2の実施形態では、第1の実施形態と同様に、観察者の要求に応じた立体視用の画像を、観察者にストレスを与えない時間で生成することができる。
また、第2の実施形態では、画像数のレベルを多段階とすることにともない、レベル変更に用いる閾値を複数設定するので、データ量制御の粒度を向上させることができる。
なお、上記の第1及び第2の実施形態は、図16に例示する変形例を実行する場合であっても良い。図16は、第1の実施形態及び第2の実施形態の変形例を説明するための図である。
第1の実施形態及び第2の実施形態では、データ量の変更レベルが3段階であり、2つの閾値が用いられる場合について説明した。しかし、例えば、第1の実施形態は、図16の(A)に示すように、「高解像度(High)」と「低解像度(Low)」との2つのレベルを設定し、閾値として第1閾値を用いることで実行される場合であっても良い。かかる場合、制御部135は、図16の(A)に示すように、「0≦変化量<第1閾値」である場合、解像度レベルが「高解像度(High)」である視差画像群を生成させる。また、制御部135は、図16の(A)に示すように、「第1閾値≦変化量」である場合、解像度レベルが「低解像度(Low)」である視差画像群を生成させる。
また、例えば、第2の実施形態は、図16の(B)に示すように、「9視差」と「3視差」との2つのレベルを設定し、閾値として第1閾値を用いることで実行される場合であっても良い。かかる場合、制御部135は、図16の(B)に示すように、「0≦変化量<第1閾値」である場合、9視差画像を生成させる。また、制御部135は、図16の(B)に示すように、「第1閾値≦変化量」である場合、3視差画像を生成させる。
更に、第1の実施形態及び第2の実施形態それぞれは、データ量の変更レベルが4段階以上であり、3つ以上の閾値が用いられる場合であっても良い。
また、データ量の変更制御は、解像度と視差数とを併用して実行される場合であっても良い。例えば、制御部135は、図16の(C)に示すように、「0≦変化量<第1閾値」である場合、解像度レベルが「高解像度(High)」である9視差画像を生成させる。また、制御部135は、図16の(C)に示すように、「第1閾値≦変化量<第2閾値」である場合、解像度レベルが「高解像度(Middle)」である5視差画像を生成させる。また、制御部135は、図16の(C)に示すように、「第1閾値≦変化量」である場合、解像度レベルが「低解像度(Low)」である3視差画像を生成させる。
更に、データ量の変更制御は、解像度と視差数とを併用することで、データ量の変更レベルを更に多段階として実行される場合であっても良い。例えば、制御部135は、図16の(D)に示すように、第1閾値〜第4閾値の4つの閾値を設定する。そして、制御部135は、図16の(D)に示すように、「0≦変化量<第1閾値」である場合、解像度レベルが「高解像度(High)」である9視差画像を生成させる。また、制御部135は、図16の(D)に示すように、「第1閾値≦変化量<第2閾値」である場合、解像度レベルが「高解像度(High)」であるである5視差画像を生成させる。
また、制御部135は、図16の(D)に示すように、「第2閾値≦変化量<第3閾値」である場合、解像度レベルが「高解像度(Middle)」である5視差画像を生成させる。また、制御部135は、図16の(D)に示すように、「第3閾値≦変化量<第4閾値」である場合、解像度レベルが「低解像度(Low)」である5視差画像を生成させる。また、制御部135は、図16の(D)に示すように、「第4閾値≦変化量」である場合、解像度レベルが「低解像度(Low)」である3視差画像を生成させる。
図16に示す変形例によっても、観察者の要求に応じた立体視用の画像を、観察者にストレスを与えない時間で生成することができる。
なお、上記実施形態においては、ワークステーション130の制御部135が変化量の取得処理及びデータ量変更制御の双方を行なう場合について説明した。しかしながら、上記実施形態はこれに限られるものではない。例えば、端末装置140の制御部145が変化量の取得処理を行ない、ワークステーション130の制御部135がデータ量変更制御を行なう場合であっても良い。或いは、端末装置140の制御部145が変化量の取得処理及びデータ量変更制御の双方を行なう場合であっても良い。
また、上記実施形態は、レンダリング処理を行なう装置を医用画像診断装置110とする場合であっても良い。すなわち、上記実施形態は、医用画像診断装置110が変化量の取得処理及びデータ量変更制御を行ない、変化量の取得対象となる観察者がワークステーション130や端末装置140の操作者である場合であっても良い。また、レンダリング処理を行なう装置を医用画像診断装置110とし、変化量の取得対象となる観察者をワークステーション130の操作者とする場合、制御部135が変化量の取得処理を行ない、医用画像診断装置110がデータ量変更制御を行なう場合や、制御部135が変化量の取得処理及びデータ量変更制御の双方を行なう場合であっても良い。同様に、レンダリング処理を行なう装置を医用画像診断装置110とし、変化量の取得対象となる観察者を端末装置140の操作者とする場合、制御部145が変化量の取得処理を行ない、医用画像診断装置110がデータ量変更制御を行なう場合や、制御部145が変化量の取得処理及びデータ量変更制御の双方を行なう場合であっても良い。
また、上記実施形態で説明した「変化量の取得、データ量変更制御及び視差画像群の表示」は、医用画像診断装置110のみで行なわれる場合や、ワークステーション130のみで行なわれる場合、端末装置140のみで行なわれる場合であっても良い。
すなわち、上記の実施形態で説明した処理は、画像処理システム1に含まれる各装置の各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
なお、上記の実施形態で説明した画像処理方法は、あらかじめ用意された画像処理プログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD、Blu-ray Disc(登録商標)等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上、説明したとおり、第1の実施形態、第2の実施形態及び変形例によれば、観察者の要求に応じた立体視用の画像を、観察者にストレスを与えない時間で生成することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。