JP2006239254A

JP2006239254A - 立体画像再構成装置

Info

Publication number: JP2006239254A
Application number: JP2005061601A
Authority: JP
Inventors: Takuya Sakaguchi; 卓弥坂口
Original assignee: Toshiba Corp; Toshiba Medical Systems Corp
Current assignee: Toshiba Corp; Canon Medical Systems Corp
Priority date: 2005-03-04
Filing date: 2005-03-04
Publication date: 2006-09-14
Anticipated expiration: 2025-03-04
Also published as: JP4738022B2

Abstract

【課題】本発明の目的は、２方向の投影画像から立体画像を再構成するに際して必要とされる各画像上への部位を共通とする対応点の指定作業の負担を軽減するとともに、その対応点の誤指定の回避を支援することにある。
【解決手段】立体画像再構成装置は、同一対象に関する撮影方向の異なる少なくとも２枚の投影画像データを記憶する記憶部１１７と、２枚の投影画像データを表示する表示部１２７と、表示された２枚の投影画像上に同一部位に関する対応点をそれぞれ指定操作するための操作部１２３と、一方の投影画像上に対応点を指定するに際して、対応点に対応する他方の投影画像上で既に指定済みの対応点を特定するための情報を出力することにより対応点の指定操作を支援する操作支援部１２９とを具備する。
【選択図】図１

Description

本発明は、２方向から撮影した投影画像から立体画像を再構成するための立体画像再構成装置に関する

図１１、図１４に示すように、２方向から撮影した投影画像から典型的には血管の走行を立体的に見せるために立体画像を再構成する技術がある。そのためには画像間で特徴点の対応関係を指定する必要がある。例えば、図１３に示すように、側面画像(Lateral)の点Ａに投影される部位は、３次元空間内では線Ｂ上のいずれかの位置に存在することはわかるが、そのままでは一点に特定することはできない。線Ｂは、他の方向として例えば正面画像(Frontal)の上では線Ｃに投影される。点Ａに投影される部位は、正面画像上では線Ｃ上のいずれかの位置に対応する。

そこで、側面画像上で点（特徴点）Ａを解剖学的に特徴的な部位に指定し、特徴点Ａと部位を共通とする点（対応点）を正面画像の線Ｃ上に操作者が指定することにより、当該部位の線Ｂ上での位置が特定され得る。つまり、３次元位置を特定するには、２方向の画像各々の上で同じ部位に関する対応点を指定することが必要となる。

そこで操作者には２方向の画像各々に対して対応点をマウス等のポインタで指定する作業が要求される。対応点の数を増加させることで、立体画像の精度が向上する。複雑に分岐しているような血管を対象とするときには、多くの対応点の指定が必要とされる。

指定方法としては、例えば図１５（ａ）に示すように、２方向の画像に対して交互に対応点を指定していく方法と、図１５（ｂ）に示すように、一方の画像に対して全ての対応点を指定し、続いて他方の画像に対して全ての対応点を指定していく方法とが一般的である。

しかし実際的には数十、場合によっては、数百という対応点を指定していく作業は非常に煩雑であり、上記２種の指定方法のいずれであっても、対応点の対応付けを間違えることが多い。

本発明の目的は、２方向の投影画像から立体画像を再構成するに際して必要とされる各画像上への部位を共通とする対応点の指定作業の負担を軽減するとともに、その対応点の誤指定の回避を支援することにある。

本発明のある局面による立体画像再構成装置は、同一対象に関する撮影方向の異なる少なくとも２枚の投影画像データを記憶する記憶部と、前記２枚の投影画像データを表示する表示部と、前記表示された２枚の投影画像上に同一部位に関する対応点をそれぞれ指定操作するための操作部と、前記一方の投影画像上に対応点を指定するに際して、前記対応点に対応する前記他方の投影画像上で既に指定済みの対応点を特定するための情報を出力することにより前記対応点の指定操作を支援する操作支援部とを具備することを特徴とする。

本発によれば、２方向の投影画像から立体画像を再構成するに際して必要とされる各画像上への部位を共通とする対応点の指定作業の負担を軽減するとともに、その対応点の誤指定の回避を支援することができる。

以下、図面を参照して本発明の実施形態による立体画像再構成装置を説明する。なお、ここでは、立体画像再構成装置はバイプレーンＸ線撮影装置に組み込まれるものとして説明するが、もちろん単独で構成可能である。また、立体画像再構成処理をコンピュータに実現させるためのプログラムとして構成可能であり、またそれを記憶したコンピュータで読み取り可能な記憶媒体として提供され得る。

また、本実施形態の立体画像再構成装置は、２方向から撮影した投影画像から立体画像を再構成する機能を有する装置であり、投影画像の種類等については特に限定するものではない。シングルプレーンＸ線撮影装置による２方向からの投影画像を用いてもバイプレーンＸ線撮影装置による２方向からの投影画像を用いてもよい。ここでは一般的なバイプレーンＸ線撮影による例で説明する。

図１は本実施形態に係る立体画像再構成装置を装備したバイプレーンＸ線撮影装置を示している。まず、簡単にバイプレーンＸ線撮影装置について説明する。バイプレーンＸ線撮影装置は、図１６に示すように、正面系（フロンタル；Ｆ）のＸ線撮影系統と、側面系（ラテラル；Ｌ）のＸ線撮影系統とを備える。正面系のＸ線撮影系統は、Ｘ線管１１２−１と、Ｘ線管１１２−１に被検体Ｐを挟んで正対するＸ線検出器１１４−１とを有している。側面系のＸ線撮影系統は、Ｘ線管１１２−２と、Ｘ線管１１２−２に被検体Ｐを挟んで正対するＸ線検出器１１４−２とを有している。Ｘ線検出器１１４−１，１１４−２は、典型的には、入射Ｘ線を直接的又は間接的に電荷に変換する複数の検出素子（画素）が２次元状に配列されてなる固体平面検出器である。正面系のＸ線管１１２−１は例えば床置型のＣアーム１３の一端に取り付けられ、Ｘ線検出器１１４−１はＣアーム１３の他端に取り付けられる。側面系のＸ線管１１２−２は例えば天井吊り下げ型のΩアーム２３の一端に取り付けられ、Ｘ線検出器１１４−２はΩアーム２３の他端に取り付けられる。Ｘ線管１１２−１の焦点からＸ線検出器１１４−１の受像面中心を結ぶ撮影中心軸ＣＡ１と、Ｘ線管１１２−２の焦点からＸ線検出器１１４−２の受像面中心を結ぶ撮影中心軸ＣＡ２とは、アイソセンタＩＣと呼ばれる不動点で交差するように、Ｃアーム１３の支持機構とΩアーム２３の支持機構とが設計されている。

本実施形態に係る立体画像再構成装置を装備したバイプレーンＸ線撮影装置は、架台制御部１１１を有する。架台制御部１１１は、インタフェース１２１を介して接続された操作卓１２３からの操作者指示にしたがってＣアーム１３及びΩアーム２３の位置及び方向を任意に制御するとともに、各撮影系統の撮影位置及び撮影方向に関するデータを図示しないセンサから取得する。各撮影系統の撮影位置及び撮影方向に関するデータは、Ｘ線制御部１１３からの管電圧印加によりＸ線管１１２−１，１１２−２から発生されるＸ線に同期してＸ線検出器１１４−１，１１４−２から検出器制御部１１５を介して発生される投影画像データとともに、画像記憶部１１７に記憶される。表示部１２７は、ＣＲＴ等の表示装置であり、画像表示制御部１２５を介して接続される。血管抽出部１１９は投影画像データから、例えば閾値処理により造影された血管の像を抽出する。立体画像再構成操作支援部１２９は、立体画像の再構成のために必要な操作者による操作を支援ために設けられており、典型的には一方の投影画像上に対応点を指定するに際して、その対応点に対応する他方の投影画像上で既に指定済みの対応点を特定するための情報を支援情報として出力する。立体画像再構成操作支援部１２９による操作支援についての詳細は後述する。立体画像再構成部１３１は、立体画像再構成操作支援部１２９による操作支援のもとで操作者により指定された複数の対応点の位置関係に基づいて、各投影画像から血管抽出部１１９により抽出された血管像の立体画像データ（ボリュームデータともいう）を再構成する。２次元画像生成部１３３は、立体画像再構成部１３１で再構成された立体画像データから、投影処理等により生成した擬似的な３次元画像（以下、立体画像との混同を避けるために２次元画像という）を生成する。生成された２次元画像は標示部１２７に表示される。

次に、立体画像再構成操作支援部１２９による操作支援について説明する。図２に示すように、立体画像再構成操作支援部１２９の制御のもと、例えばバイプレーンＸ線撮影装置により同一部位を異なる撮影方向からほぼ同時に撮影した画像Ａ，Ｂが表示部１２７の画面に並べて同時表示される。または、画像Ａ，Ｂが表示部１２７の画面に交互に表示される。例えば、画像Ａ上に全ての特徴点の指定が完了した後に、画像Ａに替わって表示部１２７の画面に画像Ｂが表示される。

図２（ａ）に示すように、操作者による操作卓１２３のマウス等の操作により、表示部１２７の画像Ａ上に、血管像上であって解剖学的に分岐点等の特徴的な複数の部位に複数の特徴点１Ａ，２Ａ，３Ａ，４Ａが指定される。なお、説明の便宜上、一方の画像Ａに最初に指定される対応点を特に特徴点といい、それに続いて他方の画像Ｂに画像Ａの特徴点に各々対応して指定される点（対応点）と区別するものとする。全ての特徴点１Ａ，２Ａ，３Ａ，４Ａの指定が完了すると、画像Ｂの領域が、対応点指定可能な状態になる。操作者による操作卓１２３のマウス操作により、表示部１２７の画像Ｂ上に、特徴点１Ａ，２Ａ，．．．に対応する対応点１Ｂ，２Ｂ，．．．が、特徴点の指定順序に従って順番に指定される。その際、図２（ｂ）に示すように、例えば３番目の特徴点３Ａに対応する対応点３Ｂを操作者が画像Ｂ上に指定するに際して、画像Ａ上の特徴点３Ａを示すマークが、他の特徴点１Ａ，２Ａ，４Ａとは異なる態様で表示される。例えば、画像Ａ上の特徴点３Ａを示すマークが赤く表示される。他の特徴点１Ａ，２Ａ，４Ａのマークは、赤以外の例えば青で表示される。または画像Ａ上の特徴点３Ａを示すマークが点滅表示される。他の特徴点１Ａ，２Ａ，４Ａのマークは、常に表示される。

操作者がマウスを移動すると、追従して画像Ｂ上を矢印形のポインタが、対応点３Ｂを表す「３」の記号とともに移動する。特徴点３Ａと同じ部位まで操作者がマウスを移動したとき、操作者はマウスをクリックする。それにより図２（ｃ）に示すように対応点３Ｂはその位置で指定され、対応点３Ｂを表す「３Ｂ」と表記されたマークが指定状態を表す例えば青く表示される。指定されたとき、立体画像再構成操作支援部１２９は、指定した対応点３Ｂが、エピポーララインから所定距離以上離れているか否かを判定する。エピポーララインは、画像Ｂ上に指定されるここでは対応点３Ｂが、画像Ａ上で既に指定済みの特徴点３Ａに対応する対応線をいい、図１３に示したように、３次元座標系において、Ｘ線管１１２−１の焦点から画像Ａ（検出器１１４−１の検出面に相当）の特徴点３Ａを結ぶ線を、Ｘ線管１１２−１の焦点から画像Ｂ（検出器１１４−２の検出面に相当）に対して投影した投影線として幾何学的に決まる線である。

図２（ｄ）に示すように画像Ａの特徴点１Ａ，２Ａ，３Ａ，４Ａと同じ順番で画像Ｂ上に対応点１Ｂ，２Ｂ，３Ｂ，４Ｂが指定される。操作卓１２３に対する特定の確定操作に伴って、指定された対応点１Ｂ，２Ｂ，３Ｂ，４Ｂは確定する。確定を契機として、画像Ａ，Ｂ各々から血管像が抽出され、抽出された血管像から、特徴点１Ａ，２Ａ，３Ａ，４Ａと対応点１Ｂ，２Ｂ，３Ｂ，４Ｂとの位置関係に基づいて立体画像再構成部１３１により立体画像データが再構成される（図２（ｅ））。

なお誤って対応点を指定してしまったとき、図１０に示すように、当該誤指定した対応点のマーク上にポインタを移動し、例えばマウスの右ボタンクリックにより展開するメニューから「リセット」コマンドを選択することにより、または図８に例示した対応表上で当該誤指定した対応点の座標表記欄上にポインタを移動し、同様にマウスの右ボタンクリックにより展開するメニューから「リセット」コマンドを選択することにより、当該後指定した対応点の指定を解除して、再指定可能な状態に戻すことができる。

図３に示すように、操作支援はエピポーララインの表示を用いてもよい。図３（ａ）に示すように、操作者による操作卓１２３のマウス等の操作により、表示部１２７の画像Ａ上に特徴点１Ａ，２Ａ，３Ａ，４Ａが指定され、そして画像Ｂ上に、特徴点１Ａ，２Ａ，．．．に対応する対応点１Ｂ，２Ｂ，．．．が、特徴点の指定順序に従って順番に指定される。その際、図３（ｂ）に示すように、次に指定する例えば３番目の特徴点３Ａに対応する対応点３Ｂを操作者が画像Ｂ上に指定するに際して、画像Ａ上の特徴点３Ａを示すマークが、他の特徴点１Ａ，２Ａ，４Ａとは異なる態様、例えば赤で表示され、さらに、画像Ａ上の特徴点３Ａに対応するエピポーララインが画像Ｂ上で明るく且つ太く表示される。既に対応点１Ｂ，２Ｂを指定完了した画像Ａ上の特徴点１Ａ，２Ａに対応するエピポーララインは表示されない。また、未指定の画像Ａ上の特徴点４Ａに対応するエピポーララインは画像Ｂ上で薄く細く表示される。

ここで、操作者が対応点３Ｂの前に、対応点４Ｂを先に指定することを所望するとき、操作支援部１２９はそれに対処することができる。図３（ｃ）、図９に示すように、操作者がマウスを移動してポインタを、表示された画像Ａ上の例えば特徴点４Ａのマーク上に配置し、その位置でマウスをクリックしたとき、操作支援部１２９は、対応点３Ｂから、特徴点４Ａに対応する対応点４Ｂの指定を受け付ける状態に変化する。それに伴って、図３（ｄ）に示すように、画像Ａ上の特徴点４Ａに対応するエピポーララインは画像Ｂ上で明るく且つ太い表示に変化し、逆に、画像Ａ上の特徴点３Ａに対応するエピポーララインは画像Ｂ上で薄く細い表示に変化する。このように画像Ａの特徴点１Ａ，２Ａ，３Ａ，４Ａと同じ順番で画像Ｂ上に対応点１Ｂ，２Ｂ，３Ｂ，４Ｂが指定され、操作卓１２３に対する特定の確定操作がなされたとき、指定された対応点１Ｂ，２Ｂ，３Ｂ，４Ｂは確定し、それを契機として、画像Ａ，Ｂ各々から血管像が抽出され、抽出された血管像から、特徴点１Ａ，２Ａ，３Ａ，４Ａと対応点１Ｂ，２Ｂ，３Ｂ，４Ｂとの位置関係に基づいて立体画像再構成部１３１により立体画像データが再構成される（図３（ｅ））。

上述では、次に指定する例えば対応点３Ｂの特徴点３Ａを示すマークが画像Ａ上で他の特徴点１Ａ，２Ａ，４Ａとは相違して赤く又は点滅して表示されるが、それとともに、又はその表示に代わって、図４に示すように、操作支援部１２９は図示しない音声発生器から、次に指定する特徴点の番号を音声で出力するようにしてもよい。さらに、操作支援部１２９は、次に指定する特徴点の番号をテキストメッセージで表示部１２７の画面上に画像Ａ，Ｂとともに表示するようにしてもよい。また、図５に示すように、次に指定する特徴点のマークと対応点のマークとのペアのポインタやガイド線の色が変わり、対応する点のペアが強調して表示されるようにしてもよい。また、図６に示すように、次に指定する対応点に対応する特徴点のマークが画像Ａ上で他の特徴点のマークと比べて大きなサイズで表示されるようにしてもよいし、次に指定する対応点に対応する特徴点のマークが画像Ａ上で他の特徴点のマークと異なり丸印で囲まれるようにしてもよいし、次に指定する対応点に対応する特徴点のマークだけが点滅するようにしてもよいし、次に指定する対応点に対応する特徴点のマークだけがハイライトで明るく、濃く表示されるようにしてもよいし、次に指定する対応点に対応する特徴点以外の特徴点のマークが薄く表示されたり又は非表示されるようにしてもよいし、さらに一つ前に指定済みの対応点に対応する特徴点のマークは少し薄く、そして二つ前に指定済みの対応点に対応する特徴点のマークはさらに薄く表示するようにしてもよい。

また、図３に示したエピポーララインの表示を次のように応用してもよい。図７に示すように、全ての特徴点に対応するエピポーララインが画像Ｂ上に表示され、その上で、次に指定する対応点の特徴点に対応するエピポーララインの表示色を他の特徴点に対応するエピポーララインの表示色と相違させるようにしてもよい。また、全ての特徴点に対応するエピポーララインが画像Ｂ上に表示され、その上で、次に指定する対応点の特徴点に対応するエピポーララインの太さを、他の特徴点に対応するエピポーララインより太く表示させるようにしてもよい。また、全ての特徴点に対応するエピポーララインが画像Ｂ上に表示され、その上で、次に指定する対応点の特徴点に対応するエピポーララインを、他の特徴点に対応するエピポーララインより明るくしかも濃い色で表示させるようにしてもよい。また、全ての特徴点に対応するエピポーララインを画像Ｂ上に表示するのではなく、次に指定する対応点の特徴点に対応するエピポーララインだけを表示し、他の特徴点に対応するエピポーララインは非表示にするようにしてもよい。また、初期的には全ての特徴点に対応するエピポーララインを表示しておき、対応点の指定に応じて、それに対応する特徴点のエピポーララインを消していくようにしてもよい。

また、対応点の指定順序は、初期的には特徴点の指定順序に対応しているものであるが、その順番は図３（ｃ）、図３（ｄ）に示したように、次に指定したい特徴点のマークをクリックすることで入れ替えることが可能である。このような入れ替えは当該操作には限定されない。例えば、操作支援部１２９では、図８に示すように、特徴点と対応点とを画像上のＸＹ座標とともに対応付けた対応表が生成され、画像Ａ、Ｂとともに表示部１２７に表示されることができる。その対応表上で次に指定する対応点が「next」の表記で表示されるが、他の対応点を先に指定したいときには、当該対応表上の先に指定したい対応点の座標表記欄をクリックすることにより、この例では対応点３を先に指定し、受け付けられる状態に変化することができる。

以上のように、本実施形態によれば、２方向の投影画像から立体画像を再構成するに際して必要とされる各画像上への部位を共通とする対応点の指定作業の負担を軽減することができる。また、その対応点の誤指定の回避を支援することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の実施形態に係る立体画像再構成装置の構成をそれを含むＸ線診断装置の構成とともに示す図。図１の操作支援部の表示による操作支援例を示す図。図１の操作支援部のエピポーララインによる操作支援例を示す図。図１の操作支援部の音声やメッセージによる操作支援例を示す図。図１の操作支援部の他の表示による操作支援例を示す図。図１の操作支援部の他の表示による操作支援例を示す図。図１の操作支援部のエピポーララインの他の表示例を示す図。図１の操作支援部による対応点指定順序の変更例を示す図。図１の操作支援部による対応点指定順序の他の変更例を示す図。図１の操作支援部による対応点指定取り消し例を示す図。立体画像再構成の概要を示す図。立体画像再構成の手順を示す図。図１２の特徴点の対応関係の補足図。立体画像再構成の概要を示す図。図１２の特徴点の指定手順を示す図。本実施形態に係る立体画像再構成装置を装備したバイプレーンＸ線撮影装置の外観を示す図。

符号の説明

１１１…架台制御部、１１２…Ｘ線管、１１３…Ｘ線制御部、１１４…Ｘ線検出器、１１５…検出器制御部、１１７…画像記憶部、１１９…血管抽出部、１２１…操作卓インタフェース、１２３…操作卓、１２５…画像表示制御部、１２７…表示部、１２９…立体画像再構成操作支援部、１３１…立体画像再構成部、１３３…２次元画像生成部。

Claims

同一対象に関する撮影方向の異なる少なくとも２枚の投影画像データを記憶する記憶部と、
前記２枚の投影画像データを表示する表示部と、
前記表示された２枚の投影画像上に同一部位に関する対応点をそれぞれ指定操作するための操作部と、
前記一方の投影画像上に対応点を指定するに際して、前記対応点に対応する前記他方の投影画像上で既に指定済みの対応点を特定するための情報を出力することにより前記対応点の指定操作を支援する操作支援部とを具備することを特徴とする立体画像再構成装置。
前記指定された複数の対応点に基づいて前記２枚の投影画像データから立体画像データを再構成する再構成部と、前記立体画像データから２次元画像データを生成する２次元画像生成部と、前記２次元画像データを表示する表示部とをさらに備えることを特徴とする請求項１記載の立体画像再構成装置。
前記２枚の投影画像データは同一画面に並べて表示されることを特徴とする請求項１記載の立体画像再構成装置。
前記２枚の投影画像データは交互に表示されることを特徴とする請求項１記載の立体画像再構成装置。
前記他方の投影画像上で既に指定済みの対応点が特異な態様で表示されることを特徴とする請求項１記載の立体画像再構成装置。
前記他方の投影画像上で既に指定済みの対応点が音声で特定されることを特徴とする請求項１記載の立体画像再構成装置。
前記操作支援部は、前記他方の投影画像上で既に指定済みの対応点に対応する対応線であって、前記一方の投影画像上に指定される対応点を通る対応線を、前記表示部の前記一方の投影画像上に表示させることを特徴とする請求項１記載の立体画像再構成装置。
前記操作支援部は、前記一方の投影画像上に指定される対応点が、前記他方の投影画像上で既に指定済みの対応点に対応する対応線から所定距離以上離れているとき警告を出力することを特徴とする請求項１記載の立体画像再構成装置。