JP2006014928A

JP2006014928A - 画像表示方法および装置並びにプログラム

Info

Publication number: JP2006014928A
Application number: JP2004195475A
Authority: JP
Inventors: Yoshiji Nakamura; 佳児中村
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2004-07-01
Filing date: 2004-07-01
Publication date: 2006-01-19
Also published as: US20050238218A1

Abstract

【課題】画像表示装置において、複数の医用画像の各々における互いに対応する局所的な領域についての比較観察を効率よく行えるようにする。
【解決手段】表示装置の画面１１Ｄに表示された基準画像Ｐ０上で関心領域Ｒ０が指定されると、画像データベースから取得した各比較画像上で関心領域Ｒ０の対応領域Ｒｉを抽出し、基準画像Ｐ０が表示されている画面上で、対応領域の画像や当該画像に基づいて生成される画像である参照画像Ｐｒｊを関心領域の近傍に並べてあるいは切り替えて表示する。
【選択図】図３

Description

本発明は画像表示方法および装置並びにそのためのプログラムに関し、詳しくは、複数の医用画像における互いに対応する局所領域の比較観察に適した画像表示方法および装置並びにそのためのプログラムに関するものである。

従来、医療分野において、患者の所定の部位を表すＸ線画像やＣＴ断層画像等の医用画像を読影して診断する際に、当該医用画像における局所領域と、同一患者の同部位を過去に撮影して得られた時系列画像や、他の患者の同種の部位を表す同じモダリティーの画像等における上記局所領域の対応領域とを比較観察し、病変の蓋然性を確認したり治癒の経過を観察したりすることが行われている。

そこで、このような医用画像における局所領域についての比較観察を容易にして診断効率を向上させるために、画像表示に関する種々の装置が提案されている。

例えば、比較対象となる複数の画像を同一画面に同時に表示し、表示されている画像のうちのある基準画像上で所望の基準領域を設定すると、表示されている画像のうちの他の参照画像上でその基準領域に対応する参照領域が設定され、さらに、必要に応じてこれらの領域の画像を拡大表示可能にする画像表示装置が提案されている（特許文献１）。

また、現在の被写体を撮影して得られた現在画像上で指定された現在画像の一部分である診断領域の局所画像と、当該診断領域と対応する現在画像又は同被写体を過去に撮影して得られた過去画像の一部分である対応領域の局所画像との、差分処理を行った局所差分画像を作成し、当該局所差分画像を診断領域上に重畳表示したり、あるいは別画面に表示したりする医用画像処理装置が提案されている（特許文献２）。
特開平８−７６７４１号公報特開２００４−９６４１７公報

しかしながら、上記特許文献１の画像表示装置では、観察できる領域は画面に表示されている画像上の領域に限定されるため、１つもしくは複数の医用画像を画面に表示して観察するような場合において、表示されているいずれかの医用画像における局所領域と表示されていない他の画像における当該局所領域の対応領域とを比較観察したいと考える場合でも、画面に表示されていない画像を参照することができず、また、参照したい画像はすべて画面に表示しておかなければならないので、参照したい画像が多数ある場合にこのように表示すると、各画像のサイズが小さくなり観察がし難くなるという問題がある。

また、上記特許文献２の医用画像処理装置では、表示される参照画像が差分画像に限定されるだけでなく、診断領域上に重畳表示する場合には診断領域の画像と参照画像とを同時に観察することができず、また、別画面に表示する場合には診断領域の画像と参照画像とを観察する際に比較的大きな視線移動を必要とするため比較し難いという問題がある。

本発明は、上記問題に鑑みてなされたものであり、所定の基準画像における局所領域の画像と他の比較対象の画像における上記局所領域の対応領域の画像とを比較観察するにあたり、非表示の比較対象の画像における上記対応領域の画像を観察すること、上記局所領域の画像と上記対応領域の画像とを同時に観察すること、および、比較的大きな視線移動を必要とせずに上記局所領域の画像と上記対応領域の画像とを比較観察すること、を可能とし、複数の医用画像の各々における互いに対応する局所的な領域についての比較観察をより効率よく行うことができる画像表示方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の画像表示方法は、入力された被写体の医用画像である基準画像を表示装置の画面に表示し、多数の医用画像が記憶されている記憶装置から前記被写体と同種の被写体の医用画像である１つ以上の比較画像を取得し、表示された前記基準画像上で指定された局所領域を関心領域として設定し、前記比較画像における、前記関心領域の対応領域を抽出し、各前記対応領域の画像および／または少なくとも前記対応領域の画像に基づいて生成される前記関心領域に対応する画像である参照画像を、前記画面上の前記関心領域の近傍に表示することを特徴とする方法である。

本発明の画像表示装置は、入力された被写体の医用画像である基準画像を表示装置の画面に表示する画像表示手段と、多数の医用画像が記憶されている記憶装置から前記被写体と同種の被写体の医用画像である１つ以上の比較画像を取得する比較画像取得手段と、表示された前記基準画像上で指定された局所領域を関心領域として設定する関心領域設定手段と、前記比較画像における、前記関心領域の対応領域を抽出する対応領域抽出手段と、各前記対応領域の画像および／または少なくとも前記対応領域の画像に基づいて生成される前記関心領域に対応する画像である参照画像を、前記画面上の前記関心領域の近傍に表示する参照画像表示手段とを備えたことを特徴とするものである。

本発明のプログラムは、コンピュータを、入力された被写体の医用画像である基準画像を表示装置の画面に表示する画像表示手段と、多数の医用画像が記憶されている記憶装置から前記被写体と同種の被写体の医用画像である１つ以上の比較画像を取得する比較画像取得手段と、表示された前記基準画像上で指定された局所領域を関心領域として設定する関心領域設定手段と、前記比較画像における、前記関心領域の対応領域を抽出する対応領域抽出手段と、各前記対応領域の画像および／または少なくとも前記対応領域の画像に基づいて生成される前記関心領域に対応する画像である参照画像を、前記画面上の前記関心領域の近傍に表示する参照画像表示手段として機能させるためのプログラムである。

ここで、「被写体」としては、例えば、人体の胸部や乳房等を考えることができる。

「医用画像」としては、例えば、放射線画像、ＣＴ断層画像、ＭＲＩ画像等を考えることができる。

「表示装置」としては、例えば、ＣＲＴモニタ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）等を考えることができる。

また、「記憶装置」としては、例えば、画像データベース、ハードディスク（ＨＤＤ）、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体から画像データを読み出して記憶する装置等を考えることができる。

「前記被写体と同種の被写体」とは、基準画像の比較対象となり得る同じ種類の被写体という意味であり、例えば、同一人物の同一の部位や、互いに異なる人物の同一の部位等を考えることができる。

また、「関心領域の近傍に表示する」ことは、関心領域上に重畳して表示することを含まない。

本発明において、「参照画像表示手段」は、各前記参照画像を、前記関心領域の近傍に並べて表示するものであってもよいし、前記関心領域の近傍で切り替えて表示するものであってもよい。

また、「参照画像表示手段」は、前記関心領域の画像および各前記参照画像のうち少なくとも１つを拡大または縮小して表示するものであってもよい。

本発明において、「１つ以上の比較画像」は、前記被写体と同一の被写体の、時系列画像、サブトラクション画像、エネルギーサブトラクション画像、および、前記被写体に対応する人工画像のうち少なくとも１つを含むものであってもよい。

「時系列画像」とは、被写体の撮影時期が異なる画像のことをいう。

「サブトラクション画像」とは、２つの画像における互いに対応する各画素間で画素値の減算を行う処理、いわゆるサブトラクション処理により得られた上記２つの画像の差分を表す画像のことをいう。

「エネルギーサブトラクション画像」とは、被写体を透過したエネルギー分布の互いに異なる２種のＸ線をそれぞれ記録して得られる２画像間でサブトラクション処理を行うことにより生成される画像であり、例えば、被写体を人体における所定の部位としたときに、その部位を構成する軟部と骨部とでＸ線の吸収スペクトルが異なることを利用して、軟部に対して吸収されやすいエネルギー成分と骨部に対して吸収されやすいエネルギー成分の成分比率が異なる２種のＸ線をそれぞれ用いて被写体を撮影し、軟部と骨部のコントラストが異なる２画像を得、当該２画像間でサブトラクション処理を施して生成される、軟部あるいは骨部が除去あるいは強調された画像を考えることができる。

「被写体に対応する人工画像」とは、その被写体と形状・テクスチャが略一致する人工画像のことであり、例えば、特開２００４−４１６９４公報により開示されているような人工画像を生成する方法、すなわち、同種の被写体の多数の異なる各画像を教師データとして、この教師データからその被写体の種類における形状とテクスチャについてそれぞれ平均ベクトルと固有ベクトルを抽出し、これらのベクトルを形状・テクスチャ別にある係数で重み付け加算（線形和）するとともに、加算して得られたテクスチャを加算して得られた形状にワーピングすることにより、その被写体の種類の略任意の画像を表すことができる変形モデルにおいて、上記重み付けを調整することによりある特定の被写体と形状・テクスチャが略一致する人工画像を生成する方法、を用いて生成された人工画像を考えることができる。

なお、上記の人工画像を生成する方法において、教師データを被写体の正常な構造物のみからなる画像とすれば、ある被写体の正常な構造物を表す人工画像を生成することができるが、本発明において、このような正常な構造物を表す人工画像を「被写体に対応する人工画像」として用いれば、被写体が異なる場合の個々の解剖学的特徴の違いによる差異や、被写体の姿勢や放射線撮影における線量等の撮影条件の違いによる差異を排除した、自己の正常な構造物を正確に表した場合の画像を比較参照用の画像とすることができ、病変と疑わしい領域のその蓋然性を確認するための効率的な比較観察が期待できる。

本発明の画像表示方法および装置並びにそのためのプログラムによれば、入力された被写体の医用画像である基準画像を表示装置の画面に表示し、多数の医用画像が記憶されている記憶装置から前記被写体と同種の被写体の医用画像である１つ以上の比較画像を取得し、表示された前記基準画像上で指定された局所領域を関心領域として設定し、前記比較画像における、前記関心領域の対応領域を抽出し、各前記対応領域の画像および／または少なくとも前記対応領域の画像に基づいて生成される前記関心領域に対応する画像である参照画像を、前記画面上の前記関心領域の近傍に表示するようにしているので、比較観察するための比較画像が画面に表示されているか否かに関係なく、関心領域の画像と比較観察したい局所的な領域の画像を、画面の関心領域近傍に、当該関心領域上に重畳しない形態で集約して表示することができ、所定の基準画像における局所領域の画像と他の比較対象の画像における上記局所領域の対応領域の画像とを比較観察するにあたり、非表示の比較対象の画像における上記対応領域の画像を観察すること、上記局所領域の画像と上記対応領域の画像とを同時に観察すること、および、比較的大きな視線移動を必要とせずに上記局所領域の画像と上記対応領域の画像とを比較観察すること、を可能とし、複数の医用画像の各々における互いに対応する局所的な領域についての比較観察をより効率よく行うことができる。

以下、本発明の実施の形態について説明する。

図１は、本発明の画像表示装置の一実施形態である画像表示装置１００の構成を示すブロック図である。

図１に示す画像表示装置１００は、入力されたある患者１の胸部１ａを表す胸部Ｘ線画像である基準画像Ｐ０をＣＲＴ等の表示装置１１の画面１１Ｄに表示する画像表示手段１０と、多数の異なる胸部医用画像が記憶されている画像データベース（記憶装置）２１から基準画像Ｐ０とは異なる他の１つ以上の胸部医用画像である比較画像Ｐｉ（ｉ＝１，２，３，・・・）を取得する比較画像取得手段２０と、表示された基準画像Ｐ０上で指定された局所領域を関心領域Ｒ０として設定する関心領域設定手段３０と、比較画像Ｐｉにおける関心領域Ｒ０の対応領域Ｒｉを抽出する対応領域抽出手段４０と、各対応領域Ｒｉの画像および少なくとも対応領域Ｒｉの画像に基づいて生成される関心領域Ｒ０に対応する画像である参照画像Ｐｒｊ（ｊ＝１，２，３，・・・）を、画面１１Ｄ上の関心領域Ｒ０の近傍に表示する参照画像表示手段５０と、各種入力を行うための、キーボードやマウス等を含む入力手段６０とを備えている。なお、ここで、画像の入力、取得および記憶とは、それぞれ、その画像を表す画像データの入力、取得および記憶を意味し、以下同様とする。

次に、画像表示装置１００の作用について説明する。

図２は、画像表示装置１００における処理フローの概略を示した図である。

本画像表示装置１００に、ＣＲシステム（Computed Radiography System）等により取得された、ある患者１の胸部１ａを表す胸部Ｘ線画像である基準画像Ｐ０が入力されると、画像表示手段１０が、入力された基準画像Ｐ０を表示装置１１の画面１１Ｄに表示する（ステップＳ１）。

ここで操作者が、画面１１Ｄに表示された基準画像Ｐ０上で他の画像と比較したい所望の局所領域、例えば、病変と疑わしい局所領域を、入力手段６０を介して枠で囲む等により指定すると、関心領域設定手段３０は、上記のように指定された局所領域を関心領域Ｒ０として設定し、その位置を表す関心領域位置情報Ｔ０を取得する（ステップＳ２）。このとき、関心領域位置情報Ｔ０は、基準画像Ｐ０の各画素に単純に対応した座標系で表現された座標情報でもよいが、ここでは、比較しようとする他の比較画像上の対応領域Ｒｉが、比較に適した領域、すなわち、この関心領域Ｒ０と解剖学的に対応する構造上の領域となるように、座標系を解剖学的特徴に基づいて正規化し、その正規化された座標系で表現された座標情報を関心領域位置情報Ｔ０として取得する。

具体的には、例えば、基準画像Ｐ０における胸部の肺野を公知の認識技術により認識し、肺野の最上部から最下部までの間（上下幅）と最内部から最外部までの間（左右幅）で規定される範囲をその肺野の基準範囲とし、基準点をこの基準範囲の角のいずれか所定の点とし、この基準範囲の水平方向の長さと垂直方向の長さをそれぞれ１とする座標系の正規化を行い、その正規化された座標系における、関心領域Ｒ０を示す枠を特定し得る所定の位置、例えば、枠の対角線の両端の座標等を関心領域位置情報Ｔ０として取得する。

一方、比較画像取得手段２０は、画像データベース２１から同一患者１の胸部１ａを表す１つ以上の胸部医用画像、例えば、過去に撮影された時系列画像、サブトラクション画像、エネルギーサブトラクション画像、あるいは、同一患者１の胸部の正常構造を表す人工画像等を検索して読み出し、これらの画像を比較画像Ｐｉとして取得する（ステップＳ３）。このときの検索は、例えば、入力された基準画像Ｐ０に付帯している、あるいは、操作者により入力手段６０を介して入力された、患者ＩＤや撮影部位、画像の種類等を表す情報をもとに、比較画像として適した画像を全部あるいは選択的に検索するようにする。

対応領域抽出手段４０は、比較画像取得手段２０により取得された比較画像Ｐｉの各々に対して、上述と同様の解剖学的情報に基づく座標系の正規化を行った後、その座標系における、関心領域位置情報Ｔ０が表す位置に対応する位置の領域を対応領域Ｒｉとして抽出する（ステップＳ４）。

参照画像表示手段５０は、通常、対応領域抽出手段４０により抽出された各対応領域Ｒｉの画像を参照画像として画面１１Ｄ上の関心領域Ｒ０の近傍に表示するが、このとき、少なくとも対応領域Ｒｉの画像のいずれかの画像に基づいて生成される関心領域Ｒ０に対応する画像を生成し、上記の対応領域Ｒｉの画像に加えて、あるいは、それらの画像に代えて、当該生成された画像を参照画像として同様に表示するようにしてもよい。

例えば、基準画像Ｐ０がある時期に撮影された通常画像、すなわち、サブトラクション画像やエネルギーサブトラクション画像等でない画像であることをその付帯情報に基づいて確認し、通常画像である場合には、比較画像取得手段２０により取得された各比較画像Ｐｉの付帯情報等に基づいて、当該比較画像Ｐｉの中から同一患者１の胸部１ａの過去の画像である時系列画像を検出する処理を行い、時系列画像が検出された場合には、基準画像Ｐ０における関心領域Ｒ０の画像Ｐｒ０と当該検出された時系列画像において対応領域抽出手段４０により抽出された対応領域の画像との間でサブトラクション処理（減算処理）を行い、関心領域Ｒ０に対応する局所領域の経時サブトラクション画像Ｐｒｓを生成し、上記各対応領域の画像Ｐｒｊと同様に、画面１１Ｄ上の関心領域Ｒ０の近傍に表示する（ステップＳ５）。

参照画像の表示の形態は主に２種類が考えられ、図３に示すように、関心領域Ｒ０に隣接して並べて表示するか（並列表示モード）、あるいは、図４に示すように、関心領域Ｒ０に隣接して切替え表示する（切替表示モード）。これらの表示モードは、例えば、プリセット、あるいは、入力手段６０を介して入力される、表示モード選択情報に基づいて選択される。さらに、関心領域Ｒ０の画像Ｐｒ０および参照画像Ｐｒｊは、全体的にあるいは選択的に、拡大または縮小して表示することができる。図３、図４では、比較画像Ｐ１〜Ｐ３における各対応領域の画像Ｐｒ１，Ｐｒ２，Ｐｒ３が並列表示または切替え表示される場合の画面を示している。なお、切替表示モードでは、画像の切替えを一定の時間間隔で自動的に切り替えるようにしてもよいし、切替えを指示する何らかの入力信号により個々切り替えるようにしてもよい。

このように、本発明の画像表示装置によれば、入力された被写体の医用画像である基準画像を表示装置の画面に表示し、多数の医用画像が記憶されている記憶装置から上記被写体と同種の被写体の医用画像である１つ以上の比較画像を取得し、表示された基準画像上で指定された局所領域を関心領域として設定し、比較画像における、関心領域の対応領域を抽出し、各対応領域の画像や少なくとも前記対応領域の画像に基づいて生成される前記関心領域に対応する画像である参照画像を、前記画面上の前記関心領域の近傍に表示するようにしているので、比較観察するための比較画像が画面に表示されているか否かに関係なく、関心領域の画像と比較観察したい局所的な領域の画像を、画面の関心領域近傍に、当該関心領域上に重畳しない形態で集約して表示することができ、所定の基準画像における局所領域の画像と他の比較対象の画像における上記局所領域の対応領域の画像とを比較観察するにあたり、非表示の比較対象の画像における上記対応領域の画像を観察すること、上記局所領域の画像と上記対応領域の画像とを同時に観察すること、および、比較的大きな視線移動を必要とせずに上記局所領域の画像と上記対応領域の画像とを比較観察すること、を可能とし、複数の医用画像の各々における互いに対応する局所的な領域についての比較観察をより効率よく行うことができる。

また、特許文献１にて提案されている画像表示装置のような、被写体の全体観察と部分的な領域の比較観察を切り替えるための煩雑な操作を必要としないというメリットもある。

なお、本実施形態においては、関心領域Ｒ０の指定に関し、操作者による入力に基づいて関心領域Ｒ０を指定しているが、その他の方法として、例えば、特開平８―２９４４７９号公報、特開平８―２８７２３０号公報等に開示されているような、医用画像上の異常陰影候補を自動で検出する異常陰影候補検出手段により基準画像Ｐ０上の異常陰影候補を検出し、当該候補を含むように設定される所定の領域を関心領域Ｒ０として指定するようにしてもよい。

また、本実施形態においては、対応領域Ｒｉの抽出に関し、解剖学的特徴に基づいて各画像毎に正規化された座標系を用いて、関心領域Ｒ０の座標位置に対応する座標位置の領域を対応領域Ｒｉとして抽出しているが、その他の方法として、例えば、特願２００４−１５６９７０にて提案されている方法を適用し、基準画像および比較画像毎に肋骨等の解剖学的構造物を認識し、関心領域Ｒ０の位置を、基準画像上で認識された解剖学的構造物の位置を基準としたときの相対的な位置として求め、比較画像上で認識された同解剖学的構造物の位置を基準としたときの相対的な位置にある領域を対応領域として抽出したり、さらに、上記抽出された領域近傍で、関心領域の画像Ｐｒ０に類似する画像を、その類似性を表す相関値を用いて探索し、当該類似する画像の領域を対応領域Ｒｉとして抽出したりしてもよい。

本発明の一実施形態による画像表示装置の構成を示した図本発明の一実施形態による画像表示装置における処理フローを示した図表示装置の画面において参照画像を関心領域の近傍に並べて表示する態様を示した図表示装置の画面において参照画像を関心領域の近傍で切り替えて表示する態様を示した図

符号の説明

１ａ患者の胸部（被写体）
１０画像表示手段
１１表示装置
２０比較画像取得手段
２１画像データベース（記憶装置）
３０関心領域設定手段
４０対応領域抽出手段
５０参照画像表示装置
６０入力手段

Claims

入力された被写体の医用画像である基準画像を表示装置の画面に表示し、
多数の医用画像が記憶されている記憶装置から前記被写体と同種の被写体の医用画像である１つ以上の比較画像を取得し、
表示された前記基準画像上で指定された局所領域を関心領域として設定し、
前記比較画像における前記関心領域の対応領域を抽出し、
各前記対応領域の画像および／または少なくとも前記対応領域の画像に基づいて生成される前記関心領域に対応する画像である参照画像を、前記画面上の前記関心領域の近傍に表示することを特徴とする画像表示方法。
入力された被写体の医用画像である基準画像を表示装置の画面に表示する画像表示手段と、
多数の医用画像が記憶されている記憶装置から前記被写体と同種の被写体の医用画像である１つ以上の比較画像を取得する比較画像取得手段と、
表示された前記基準画像上で指定された局所領域を関心領域として設定する関心領域設定手段と、
前記比較画像における、前記関心領域の対応領域を抽出する対応領域抽出手段と、
各前記対応領域の画像および／または少なくとも前記対応領域の画像に基づいて生成される前記関心領域に対応する画像である参照画像を、前記画面上の前記関心領域の近傍に表示する参照画像表示手段とを備えたことを特徴とする画像表示装置。
前記参照画像表示手段が、各前記参照画像を前記関心領域の近傍に並べて表示するものであることを特徴とする請求項２記載の画像表示装置。
前記参照画像表示手段が、各前記参照画像を前記関心領域の近傍で切り替えて表示するものであることを特徴とする請求項２記載の画像表示装置。
前記参照画像表示手段が、前記関心領域の画像および各前記参照画像のうち少なくとも１つを拡大または縮小して表示するものであることを特徴とする請求項２、３または４記載の画像表示装置。
前記１つ以上の比較画像が、前記被写体と同一の被写体の、時系列画像、サブトラクション画像、エネルギーサブトラクション画像、および、前記被写体に対応する人工画像のうち少なくとも１つを含むものであることを特徴とする請求項２から５いずれか記載の画像表示装置。
コンピュータを、
入力された被写体の医用画像である基準画像を表示装置の画面に表示する画像表示手段と、
多数の医用画像が記憶されている記憶装置から前記被写体と同種の被写体の医用画像である１つ以上の比較画像を取得する比較画像取得手段と、
表示された前記基準画像上で指定された局所領域を関心領域として設定する関心領域設定手段と、
前記比較画像における、前記関心領域の対応領域を抽出する対応領域抽出手段と、
各前記対応領域の画像および／または少なくとも前記対応領域の画像に基づいて生成される前記関心領域に対応する画像である参照画像を、前記画面上の前記関心領域の近傍に表示する参照画像表示手段として機能させるためのプログラム。