以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。なお、以下の実施形態において示す構成は飽くまでも一例に過ぎず、本発明を限定するものではない。
先ず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係る医用画像表示装置10の構成を示す図である。図1において、CPU200は、バス203を介して接続される各デバイスを統括的に制御する。CPU200は、読み出し専用メモリ(ROM)202、又は、ストレージI/F206を介して接続されるストレージ103から、オペレーションシステム(OS)や本実施形態の特徴的な処理に係るプログラムやデータを、ランダムアクセスメモリ(RAM)201に一時的に読み出して実行する。
RAM201は、高速アクセス可能なCPU200の主メモリやワークエリア等として用いられる。ディスプレイI/F204は、画像処理装置100内部で生成される画像データをディスプレイ101において処理可能な信号に変換する。入力I/F205は、キーボードやマウス等の入力機器に対するユーザの操作に応じた入力を受け付ける。ストレージI/F206は、画像処理装置100内部で利用可能なデータ形式とストレージ103に記憶するためのデータ形式との間の変換処理を行う。
ストレージ103は、画像処理装置100内部に搭載されるハードディスクドライブ装置である。多くの医療現場では、医用画像表示装置10によって取得された医用画像データをPACS(Picture Archiving and Communication System)によって保持している場合が多い。本実施形態においても、医用画像表示装置10をPACSサーバ11と接続させている。医用画像データは、PACSサーバ11内の外部ストレージに保存され、医用画像表示装置10によって閲覧されるものとする。但し、医用画像データは、ストレージ103に保存されていてもよく、ストレージI/F206、各種ネットワークI/F又は外部メモリI/F等により画像処理装置100で読み取り可能であればよい。
図2は、ディスプレイ101における画像データの表示例を示す図である。本実施形態では、医療カンファレンスの資料作成の準備段階において、医療カンファレンスにて議論される被検体(患者)の医用画像データの中から必要な医用画像データを指定するユースケースを想定している。
ディスプレイ101の表示部の上部には、患者の基本情報が表示される患者情報エリア300が設けられている。患者情報エリア300には、患者名、患者の写真、性別、年齢、血液型及び主治医等が表示される。ディスプレイ101の表示部の左側には、患者の診療情報が表示される診療情報エリア301が設けられている。診療情報エリア301には、現在までの病歴、診断情報及び手術の術式等が表示される。診療情報エリア301の右側には、指定画像エリア302が設けられている。指定画像エリア302には、医療カンファレンスにおいて術式決定に至った根拠を説明する場合に使用される医用画像データや当該医用画像データと比較するための比較画像データ等、多くの医用画像データの中から指定された医用画像データが表示される。指定画像エリア302の右側には、検査画像エリア303が設けられている。検査画像エリア303には、縮小された医用画像データ500が表示される。即ち、検査画像エリア303には、ストレージI/F206等を介してPACSサーバ11から読み込まれ、縮小された医用画像データ500が表示される。なお、検査画像エリア303に表示される医用画像データ500のうち、所望の医用画像データが指定されると、指定された医用画像データは指定画像エリア302に格納される。
図3は、第1の実施形態における検査画像エリア303の画面例を示す図である。以下、図3を参照しながら、身体モデルと医用画像データとの表示方法について説明する。
図3(a)は、検査画像エリア303の初期画面例を示している。検査画像エリア303には、身体モデル400が表示される。医用画像データ500には、当該医用画像データ500の撮影部位が付与されており、医用画像データ500は、その撮影部位に該当する身体モデル400上の位置に重畳表示される。図3の例では、初期画面で身体モデル400の全部を表示させているが、全ての医用画像データ500を表示させることができれば、身体モデル400の一部を表示させてもよい。本実施形態では、医用画像データ500上の任意の位置を撮影部位として設定することができる。例えば、医用画像データ500内に腫瘍等の重要な注目部位があれば、その注目部位を当該医用画像データ500の撮影部位として設定することができる。
本実施形態においては、身体モデル400の表示方向と医用画像データ500の撮影方向とを比較することにより、各医用画像データ500の優先順位を決定する。例えば、図2の検査画像エリア303においては、身体モデル400が正面方向から表示されているため、身体モデル400上に表示される医用画像データ500のうち、正面から撮影された医用画像データに対して高い優先順位が決定される。なお、医用画像データの撮影方向のほか、医用画像データの撮影日時、医用画像データの更新日時、及び、医用画像データを撮影した医用画像撮影装置の種類等を考慮して、各医用画像データ500の優先順位を決定してもよい。また、優先順位を決定する際には、医師の診断を支援する計算機支援診断(Computer-Aided Diagnosis、CAD)の結果を考慮してもよい。本実施形態においては、高い優先順位の医用画像データである程、前面に表示させるようにしているが、高い優先順位の医用画像データである程、大きく表示したり、優先順位に従って医用画像データの外形線の色を変更したりしてもよい。
図3(b)〜図3(d)は、図3(a)に示す検査画像エリア303の初期画面から身体モデル400の移動操作が行われた場合の検査画像エリア303の画面例を示している。ここでは、移動操作の方法として、代表的な入力機器であるマウス及びキーボード(不図示)を使用した場合の例を挙げて説明するが、これに限定されるものではなく、例えばタッチパネル等の他の入力機器を用いて身体モデル400を操作してもよい。
図3(b)は、図3(a)に示す検査画像エリア303の初期画面から身体モデル400が左に移動された場合の検査画像エリア303の画面表示例を示している。ユーザは、医用画像データ500上を除く検査画像エリア303の領域内にポインタが表示されている状態において、マウスの左のボタンをクリックし、キーボード上のctrlキーを押しながらマウスを左にドラッグする。これにより、身体モデル400を左に移動させることができる。
図3(c)は、図3(a)に示す検査画像エリア303の初期画面から身体モデル400が拡大された場合の検査画像エリア303の画面表示例を示している。ユーザは、医用画像データ500上を除く検査画像エリア303の領域内にポインタが表示されている状態において、マウスの右のボタンをクリックし、キーボード上のctrlキーを押しながらマウスを上にドラッグする。これにより、身体モデル400を拡大させることができる。
図3(d)は、図3(c)の検査画像エリア303の初期画面から身体モデル400の体幹を軸に身体の前方が右に向くように身体モデル400を回転させた場合の検査画像エリア303の画面表示例を示している。ユーザは、医用画像データ500上を除く検査画像エリア303の領域内にポインタが表示されている状態において、マウスの左右のボタンを同時にクリックし、キーボード上のctrlキーを押しながらマウスを右にドラッグする。これにより、身体モデル400を拡大させることができる。
身体モデル400を回転させると、身体モデル400の表示方向が変るため、各医用画像データの優先順位が変更される。図3(c)及び図3(d)における医用画像データ501は、正面から記録された医用画像データ(正面図)であり、正面から撮影された情報(具体的には、撮影部位を正面から指したベクトル情報)が付与されている。また、図3(c)及び図3(d)における医用画像データ502は、側面から記録された医用画像データ(側面図)502であり、側面から撮影された情報(具体的には、撮影部位を右側面から指したベクトル情報)が付与されている。
図3(c)では、身体モデル400が正面方向から表示されているため、医用画像データ(側面図)502より前面に医用画像データ(正面図)501が表示される。図3(d)では、身体モデル400が側面方向から表示されているため、医用画像データ(正面図)501より前面に医用画像データ(側面図)502が表示される。
ここでは、体幹を軸とした回転の例を示したが、これに限るものでなく、体幹と垂直な方向を含めた立体的な回転も含まれる。このようにすると、例えば頭頂部の方向から、又は、肩周辺を斜め後方から、身体モデル400を表示させる等、身体モデル400を全方位的に表示させることができる。これにより、CTやMRI等、一連のスライス画像データから合成された3次元画像データをある角度からキャプチャした画像データや、例えば皮膚科や美容整形等で用いられるような皮膚表面をデジタルカメラ等で撮影した画像データ等、自由なアングルから撮影できる装置の医用画像データにも適用することができる。
図4は、本発明の第1の実施形態に係る医用画像表示装置10の処理を示すフローチャートである。即ち、図4(a)は、身体モデルの移動操作が行われた場合に実行される処理を示しており、図4(b)は、検査画像エリア303において指定された医用画像データが指定画像エリア302に格納される処理を示している。なお、図4に示す処理は、CPU200がROM202等の記録媒体から必要なデータやプログラムをRAM201に読み出し、実行することで実現する処理である。
ステップS101において、CPU200は、各医用画像データの優先順位の決定機能を設定する。即ち、CPU200は、優先順位を決定する際、医用画像データの撮影方向、医用画像データの撮影日時、医用画像データの更新日時、医用画像データを撮影した医用画像表示装置10の種類、及び、計算機支援診断(CAD)の結果のうち、どれを重視して優先順位を決定するかを設定する。なお、この設定は、ユーザの操作に応じて行われる。また、優先順位の決定機能が変更されていない場合、前回設定された優先順位の決定機能がそのまま流用されることになる。
ステップS102において、CPU200は、ステップS101で設定した優先順位の決定機能を用いて、各医用画像データの優先順位を決定する。ステップS103において、CPU200は、決定した優先順位に従って、身体モデル上に医用画像データを表示させる。ステップS104において、CPU200は、身体モデルが移動したか否かを判定する。身体モデルが移動した場合、処理はステップS105に移行する。一方、身体モデルが移動していない場合、処理はステップS106に移行する。
ステップS105において、CPU200は、移動後の身体モデル上に医用画像データを再表示する。ステップS106において、CPU200は、身体モデルが拡大又は縮小したか否かを判定する。身体モデルが拡大又は縮小した場合、処理はステップS107に移行する。一方、身体モデルが拡大又は縮小していない場合、処理はステップS108に移行する。
ステップS107において、CPU200は、拡大又は縮小後の身体モデル上に医用画像データを再表示する。ステップS108において、CPU200は、身体モデル上に表示されている医用画像データ500の表示サイズが変更されたか否かを判定する。医用画像データの表示サイズが変更された場合、処理はステップS109に移行する。一方、医用画像データの表示サイズが変更されていない場合、処理はステップS110に移行する。
ステップS109において、CPU200は、表示サイズ変更後の医用画像データを身体モデル上に再表示する。ステップS110において、CPU200は、身体モデルが回転したか否かを判定する。身体モデルが回転した場合、処理はステップS111に移行する。一方、身体モデルが回転していない場合、処理はステップS112に移行する。
ステップS111において、CPU200は、回転後の身体モデル上に医用画像データを再表示させる。身体モデルの回転は、身体モデルの表示方向の変化により検知すればよい。身体モデルの表示方向が変更されると、それに伴って、各医用画像データの優先順位も変更される。従って、回転後の身体モデル上では、変更後の優先順位に従った位置に各医用画像データが再表示されることになる。
ステップS112において、CPU200は、ユーザの操作に応じて、医用画像データが選択されたか否かを判定する。医用画像データが選択された場合、処理はステップS114に移行する。一方、医用画像データが選択されていない場合、処理はステップS113に移行する。ステップS113において、CPU200は、医用画像データの選択終了がユーザにより入力されたか否かを判定する。医用画像データの選択終了が入力された場合、処理は終了する。一方、医用画像データの選択終了が入力されていない場合、処理はステップS103に移行する。
ステップS114において、CPU200は、ステップS112にて選択された医用画像データの優先順位を最上位に設定する。これにより、選択された医用画像データが他の医用画像データの背面に隠れていても、選択された医用画像データを最前面に表示させることができるため、当該医用画像データの全領域を確認することが可能となる。なお、ステップS112における医用画像データの選択方法は、例えば、対象となる医用画像データ上でマウスの左ボタンを1クリックすることにより行われる。その他、検査画像エリア303でマウスを右クリックすることにより医用画像データのリストを表示し、そのリストから対象となる医用画像データを選択することにより行ってもよい。
ステップS115において、CPU200は、ユーザの操作に応じて、ステップS112にて選択された医用画像データが決定されたか否かを判定する。医用画像データが決定された場合、処理はステップS116に移行する。一方、医用画像データが決定されていない場合、処理はステップS121に移行する。ステップS116において、CPU200は、ステップS115にて決定された医用画像データを拡大表示させる。なお、身体モデル400上に表示されている医用画像データは、縮小された医用画像データであるため、その詳細を確認できるように医用画像データを拡大表示させている。なお、ステップS115における医用画像データの決定方法は、例えば、対象となる医用画像データ上でマウスの左ボタンを連続クリックすることにより行われる。その他、検査画像エリア303でマウスを右クリックすることにより医用画像データのリストを表示し、そのリストから対象となる医用画像データを選択することにより行ってもよい。勿論、ステップS116における医用画像データの拡大率は任意に変更することが可能であり、もし、医用画像データの全部を表示することができなければ、当該医用画像データを移動できるようにしてもよい。
ステップS117において、CPU200は、ユーザの操作に応じて、拡大表示された医用画像データが指定されたか否かを判定する。拡大表示された医用画像データが指定された場合、処理はステップS118に移行する。一方、拡大表示された医用画像データが指定されなかった場合、処理はステップS119に移行する。ステップS118において、CPU200は、指定された医用画像データを指定画像エリア302に格納する。ステップS118における医用画像データの指定方法は、例えば、拡大表示された医用画像データを指定画像エリア302にドラッグアンドドロップすることにより行われる。その他、検査画像エリア303でマウスを右クリックすることにより医用画像データのリストを表示し、そのリストから対象となる医用画像データを選択することにより行ってもよい。
以上により、本実施形態によれば、検査画像エリア303に表示される複数の医用画像データ500のうち、指定すべき医用画像データ500を指定画像エリア302に格納させることが可能となる。
ステップS119において、CPU200は、医用画像データ上を除く検査画像エリア303の領域がユーザにより指定されたか否かを判定する。医用画像データ上を除く検査画像エリア303の領域が指定された場合、処理はステップS120に移行する。一方、医用画像データ上を除く検査画像エリア303の領域が指定されていない場合、処理はステップS116に戻る。ステップS120において、CPU200は、拡大表示されている医用画像データが指定されなかったとみなし、当該医用画像データの拡大表示を終了する。なお、医用画像データ上を除く検査画像エリア303の領域の指定方法は、例えば、医用画像データ上を除く検査画像エリア303の領域上でマウスの右ボタンを1クリックすることにより行われる。
ステップS121において、CPU200は、身体モデルに重畳表示される全ての医用画像データをサムネイル表示し、そのうちから指定画像エリア302に格納される医用画像データが指定されたか否かを判定する。医用画像データが指定された場合、処理はステップS118に移行する。一方、医用画像データが指定されていない場合、処理は終了する。即ち、本実施形態では、拡大表示された医用画像データを指定して指定画像エリア302に格納させる方法と、指定画像エリア302に格納させる医用画像データをサムネイル表示された医用画像データから指定する方法とがある。
本実施形態においては、身体モデル上において医用画像データが重畳される位置から当該医用画像データの撮影部位を直感的に確認することができる。また、医用画像データの数が膨大であっても、身体モデルを操作して目的の医用画像データを効率的に指定することが可能となる。
次に、本発明の第2の実施形態について説明する。第2の実施形態に係る医用画像表示装置の構成は、図1に示した構成と同様であるため、その説明を省略する。また、以下の説明においても、第1の実施形態の説明で用いた符号を流用するものとする。
図5は、第2の実施形態における検査画像エリア303の画面例を示す図である。図5(a)は、検査画像エリア303の初期画面例を示している。図5(a)の例では、身体モデル400の胸部左側に画像グループ600が表示されている。画像グループ600は、複数の医用画像データ500により構成される。ここでは、所定の表示基準を満たしていない医用画像データ500が複数存在する場合、当該複数の医用画像データ500によって画像グループ600が構成される。例えば、優先順位に従って医用画像データ500を身体モデル400に重畳表示した場合、或る医用画像データが他の医用画像データの背後に隠れることにより、背後に隠れた医用画像データが所定の割合以上が表示されないことがある。このような医用画像データが複数存在する場合、当該複数の医用画像データにより画像グループ600が構成される。その他、設定される撮影部位が表示されていない医用画像データが複数存在する場合、当該複数の医用画像データにより画像グループ600を構成してもよい。どのような表示基準に基づいて画像グループ600を構成するかは、ユーザの操作に応じて任意に設定することができる。
画像グループ600は、医用画像データ500とは区別できるように表示され、ここでは、画像グループ600を構成する複数の医用画像データのうち、代表的な医用画像データの背面に影を表示させることにより、画像グループ600であることを示している。勿論、画像グループ600の表示態様は、これに限るものでなく、上記代表的な医用画像データの外形線の線種を変えたり、色を変えたりして画像グループ600であることを示してもよい。代表的な医用画像データとしては、画像グループ600に含まれる医用画像データのうちの任意の医用画像データを選択してもよいが、例えば、画像グループ600に含まれる医用画像データのうち、最上位の優先順位が付与された医用画像データを代表的な医用画像データとして決定してもよい。
また、本実施形態では、画像グループ600を構成する複数の医用画像データの一覧表示を行うことができる。図5(b)の601は、画像グループ600内の医用画像データを優先順位に従って配置した状態を示している。このように表示することにより、画像グループ600内の医用画像データを、身体モデル400の表示方向やその他の優先順位の決定項目を反映させて表示させることができる。
図5(c)の602は、画像グループ600内の医用画像データを、医用画像データの撮影日時に応じて医用画像データを横方向に配置し、医用画像データを撮影した医用画像撮影装置の種類に応じて医用画像データを縦方向に配置した状態を示している。これにより、横方向で医用画像データを比較すると、撮影部位の経時変化を見ることができる。また、縦方向で医用画像データを比較すると、同じ日時に撮影された医用画像データのうち、任意の医用画像撮影装置で撮影された医用画像データを選択することが可能となる。
図6は、本発明の第2の実施形態に係る医用画像表示装置10の処理を示すフローチャートである。即ち、図6(a)は、身体モデルの移動操作が行われた場合に実行される処理を示しており、図6(b)は、検査画像エリア303において指定された医用画像データが指定画像エリア302に格納される処理を示している。なお、図6において図4と同一処理には同一符号を付しており、以下では、第1の実施形態と相違する処理に主眼をおいて説明を行うものとする。また、図4に示す処理は、CPU200がROM202等の記録媒体から必要なデータやプログラムをRAM201に読み出し、実行することで実現する処理である。
ステップ201において、CPU200は、所定の表示基準を満たしていない医用画像データが所定の範囲内において複数存在するか否かを判定する。なお、上記所定の範囲とは、ユーザによって撮影部位が近傍に位置すると判断される範囲であり、ユーザの操作に応じて任意に設定可能な範囲である。所定の表示基準を満たしていない医用画像データが複数存在しない場合、処理はステップS104に移行する。一方、所定の表示基準を満たしていない医用画像データが複数存在する場合、処理はステップS202に移行する。ステップS202において、CPU200は、所定の表示基準を満たしていない複数の医用画像データにより画像グループを生成する。
なお、ステップS107で身体モデルが拡大又は縮小されたり、ステップS109で医用画像データの表示サイズが変更されると、ステップS203において、CPU200は、画像グループを削除する。身体モデルが拡大又は縮小されたり、医用画像データの表示サイズが変更されると、身体モデルと医用画像データとのサイズの関係が相対的に変更する。そのため、上記所定の表示基準に沿って画像グループに含まれる医用画像データが判定され、画像グループが再構成される。同様に、ステップS111で身体モデルが回転されると、ステップS204において、CPU200は、画像グループを削除する。そして、ステップS102において、CPU200は、回転後の身体モデルの表示方向に基づいて各医用画像データの優先順位を再決定する。
ステップS112において、ユーザにより医用画像データが選択された場合、第1の実施形態と同様に処理はステップS115に移行する。一方、ステップS112において、ユーザにより医用画像データが選択されてない場合、処理はステップS205に移行する。ステップS205において、CPU200は、ユーザの操作に応じて、画像グループが選択されたか否かを判定する。画像グループが選択された場合、処理はステップS206に移行する。一方、画像グループが選択されていない場合、処理はステップS113に移行する。なお、ステップS205における画像グループの選択方法は、ステップS112における医用画像データの選択方法と同様であり、選択対象が医用画像データから画像グループに代わったことだけが相違する。
ステップS206において、CPU200は、ステップS205で選択された画像グループの優先順位を最上位に設定する。これにより、当該画像グループの代表的な医用画像データの全領域を表示させることができる。ステップS207において、CPU200は、ユーザの操作に応じて、ステップS205にて選択された画像グループが決定されたか否かを判定する。画像グループが決定された場合、処理はステップS208に移行する。一方、画像グループが決定されていない場合、処理はステップS115に移行する。なお、ステップS207における画像グループの決定方法は、ステップS115における医用画像データの決定方法と同様であり、決定対象が医用画像データから画像グループに代わったことだけが相違する。ステップS208において、CPU200は、ステップS207にて決定された画像グループ内の医用画像データを一覧表示する。
ステップS208からステップS115に処理が移行した場合、ステップS115では、CPU200は、一覧表示された画像グループ内の医用画像データから所望の医用画像データが決定されたか否かを判定する。ステップS112からステップS115に処理が移行した場合、ステップS115の処理は、第1の実施形態におけるステップS115と同様の処理となる。
ステップS115において医用画像データが決定された場合、処理はステップS116に移行し、その後、第1の実施形態と同様の処理が実行される。一方、ステップS115において医用画像データが決定されていない場合、処理はステップS121に移行する。ステップS121では、第1の実施形態と同様に、身体モデルに重畳表示される全ての医用画像データがサムネイル表示され、そのうちから指定画像エリア302に格納される医用画像データが指定されたか否かが判定される。そして、医用画像データが指定された場合、処理はステップS118に移行する。一方、医用画像データが指定されていない場合、処理はステップS209に移行する。
ステップS209において、CPU200は、画像グループ上を除く検査画像エリア303の領域がユーザにより指定されたか否かを判定する。画像グループ上を除く検査画像エリア303の領域が指定された場合、処理はステップS210に移行する。一方、画像グループ上を除く検査画像エリア303の領域が指定されていない場合、処理はステップS208に戻る。なお、ステップS118において、指定された医用画像データが指定画像エリア302に格納された後も、処理はステップS210に移行する。ステップS210において、CPU200は、画像グループ内の医用画像データの一覧表示を終了する。
第2の実施形態においては、第1の実施形態と同様に、身体モデル上において医用画像データが重畳される位置から当該医用画像データの撮影部位を直感的に確認することができる。また、医用画像データの数が膨大であっても、身体モデルを操作して目的の医用画像データを効率的に指定することが可能となる。
ところで、優先順位に従って医用画像データを重畳表示すれば、優先順位が最上位の医用画像データを確認することはできるが、それ以外の医用画像データを確認することは困難になる。これに対し、第2の実施形態においては、撮影部位が近い医用画像データを画像グループとしてまとめ、画像グループ内の医用画像データを一覧表示させることができる。従って、第2の実施形態によれば、撮影部位の近い医用画像データ同士を比較し、目的の医用画像データを容易に選択することが可能となる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。