JP2006204330A - 画像表示装置 - Google Patents

Abstract

【課題】被検体の透視画像と可視光画像を同時に適宜重ね合わせて表示することによって、被検体の状態等を容易に把握できるようにする。
【解決手段】内部構造取得手段は、Ｘ線源からＸ線を照射し、Ｘ線源に対向して配置された検出器によって被検体を撮影するＸ線撮影手段や核磁気共鳴を利用したＭＲＩや超音波装置などで構成される。外部表面情報取得手段は、被検体から反射する可視光を撮影する可視光撮影手段（カメラなど）で構成される。表示手段は、可視光撮影手段の撮影結果から可視光３次元画像を再構成し、これと内部構造取得手段によって取得された内部構造とを重ね合わせて表示する。
【選択図】 図２

Description

本発明は、Ｘ線ＣＴ装置、ＭＲＩ装置、超音波装置などで撮影された物体の内部構造を示す画像及び物体の表面構造を示す可視光画像を表示することのできる画像表示装置に関する。

図１は、従来のＸ線断層撮影装置の一例を示す図である。図１に示されるように従来のＸ線断層撮影装置は、２次元Ｘ線像（投影像）を撮影する計測装置と、投影像を保存し断層像を再構成する画像処理装置と、画像を表示する画像表示装置と、文字等の情報を入力する外部入力装置とから構成されている。

スキャナ１は、図に示すようにＸ線管１１及び２次元検出器１２が被検体７を挟んでお互いに対向するように配置されている。Ｘ線管１１は、Ｘ線焦点から円錐状のＸ線を被検者７に向け照射する。２次元検出器１２は、被検者７を透過したＸ線の強度を検出する。この２次元検出器１２で検出されたＸ線強度が投影像データとして信号処理される。Ｘ線管１１及び２次元検出器１２は、ほぼ被検者７の体軸を回転の中心としてその周りを回転するように構成されている。Ｘ線管１１及び２次元検出器１２が微小角度回転する毎に、Ｘ線管１１から円錐状のＸ線が照射され、被検者７を透過したＸ線の強度が２次元検出器１２によって検出される。この動作が全周分繰り返されて、結果的に投影像データとして百から数百の透過Ｘ線強度データが収集される。

２次元検出器１２で計測された透過Ｘ線強度データは、ディジタル信号に変換された後、画像処理部４に送られる。計測部から送られてきた透過Ｘ線強度データ（以下投影像と記す）は、インターフェース（Ｉ／Ｆ）４１を介して、メモリ４２に一旦格納され、その後ハードディスク４３に保存される。このようにして投影像が保存される。

投影像を表示する場合は、ハードディスク４３に保存された投影像を一旦メモリ４２に読み出し、読み出されたデータが表示装置５に表示されるようにする。投影像を補正する場合は、ハードディスク４３に保存された投影像を一旦メモリ４２に読み出し、ＣＰＵ４４によって検出器の感度ムラに起因する投影像の乱れ等を補正する。補正された投影像は再構成される。

フィルタリング処理では、ＣＰＵ４４内で周知のＳｈｅｐｐ−Ｌｏｇａｎ ｆｉｌｔｅｒ等の補正フィルタ等を使用して投影像全体に対して補正処理を行う。
３次元再構成演算では、以上に示した処理を行って得られた投影像から被検者７を表示する領域中の３次元的なＸ線吸収係数分布をＣＰＵ４４内で再構成演算し、３次元再構成画像を作成する。再構成演算の方法としては、周知のＦｅｌｄｋａｍｐ法によるコーンビーム再構成演算などが知られている。

３次元再構成画像は、ハードディスク４３等に保存可能である。３次元再構成画像を表示する際は、ハードディスク４３等に保存された３次元再構成画像をメモリ４２に読み出し、メモリ４２に読み出されたデータを表示装置５に表示する。再投影演算では、図１に示すハードディスク４３に保存されている３次元再構成画像をメモリ４２に読み出し、ＣＰＵ４４によって、例えば、特許文献１に開示される再投影演算を行い、３次元再投影画像を作成する。作成された３次元再投影画像は、ハードディスク４４に保存される。ハードディスク４４に保存された３次元再投影画像を表示するには、ハードディスク４４からメモリ４２に読み出して表示装置５に表示する。

従来の技術では、再構成を行う前に、投影像等を用いて撮影範囲を計画する、いわゆるスキャン計画が一般に行われていた。スキャン計画には例えばＸ線管及び検出器を回転せずに任意の位置に固定し、ベッドを移動しながらＸ線を被検者に向け照射して投影像を得るスキャノグラムがある。この方法ではＸ線投影像が得られるため、被検者の体内にあって体外から確認が困難な部位についてもスキャン計画を行うことができるというメリットがある反面、Ｘ線による被曝を伴うという点でリスクを伴っていた。

また、従来技術のＸ線スキャン計画では、以下のような手順で撮影を行っている。つまり、まず被検者を椅子やベッド上に位置させ、検査者は多くの場合リモートで経験や勘に頼って粗い位置決めを行い透視する。透視した画像を確認しながら検査者は繰り返し微調整を行う。微調整は多くの場合、アームの回転角０°，９０°，０°と３回セットで透視して上下前後左右の位置上、撮影範囲に所望の領域が含まれるか調整する。微調整で位置を正確に出すためには、検査者には経験や勘が必要な上、被検者に被曝を強いていた。

また、特許文献２には、ＣＴスキャナにおいて、ビデオカメラの２次元撮影結果を用いて寝台移動の制御を行うことが記載されている。しかし、これはＣＴスキャナの寝台送りの制御への利用に過ぎない。
特開平９−２５３０７９号公報 特開平８−１２６６３８号公報

上述のように、従来は、Ｘ線投影像と可視光画像を表示可能な装置において、それぞれの画像を別々の制御に利用することは行われていた。すなわち、Ｘ線投影像を用いてスキャン計画を立てたり、ビデオカメラで撮影した可視光画像を用いて寝台移動の制御を行っていたに過ぎない。従って、両方の画像を同時に表示し両画像の関係に基づいてスキャン計画を立てたり、寝台移動の制御を行ったりということを行うことができなかったのが現状である。
本発明の目的は、上述の点に鑑みなされたものであり、被検体の投影像と可視光画像を同時に適宜重ね合わせて表示することによって、被検体の状態等を容易に把握することのできる画像表示装置を提供することにある。

本発明の第１の特徴は、被検体の内部構造の情報を取得する内部構造情報取得手段と、前記被検体の外部表面の情報を取得する外部表面情報取得手段と、前記内部構造情報取得手段で取得された前記内部構造情報及び前記外部表面情報取得手段で取得された前記外部表面情報に基づいて前記被検体の内部構造に関する画像及び外部表面に関する画像を重ね合わせて同時に表示する表示手段とを備えたことにある。
内部構造取得手段は、Ｘ線源からＸ線を照射し、Ｘ線源に対向して配置された検出器によって被検体を撮影するＸ線撮影手段や核磁気共鳴を利用したＭＲＩや超音波装置などで構成される。外部表面情報取得手段は、被検体から反射する可視光を撮影する可視光撮影手段（カメラなど）で構成される。外部表面情報取得手段による情報取得は、外部表面情報取得手段による内部情報取得時と同時又は別個に行われる。表示手段は、可視光撮影手段の撮影結果から可視光３次元画像を再構成し、これと内部構造取得手段によって取得された内部構造とを重ね合わせて表示する。これによって、投影像と可視光画像が同時に表示されるので、被検体の状態等を容易に把握することができる。

本発明によれば、被検体の投影像と可視光画像を同時に適宜重ね合わせて表示することによって、被検体の状態等を容易に把握することができるという効果がある。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図２は、本発明の画像表示装置の一実施の形態であるＸ線断層撮影装置のハードウェア構成の一例を示す。この例では、頭頚部の撮影のための座位型Ｘ線診断装置を示しているが、Ｘ線断層撮影装置はＣアーム型装置、ＣＴ装置、被検者回転型装置などでもよい。

スキャナ１は、図に示すようにＸ線管１１及び２次元検出器１２が被検者７を挟んでお互いに対向するように配置されている。Ｘ線管１１は、Ｘ線を照射する。検出器１２は、Ｘ線管１１から照射されたＸ線を検出する。スキャナ支持器１７は、スキャナ１を支持する支柱である。スキャナ回転軸１８は、スキャナ１の回転中心であり、被検者７の体軸とほぼ一致するように設けられている。スキャナ駆動手段１９は、スキャナ１をスキャナ回転軸１８を中心として回転駆動するものである。コリメータ２は、Ｘ線管１１から照射するＸ線の範囲を限定するものである。コリメータ駆動手段２９は、コリメータ２を駆動してＸ線の限定範囲を制御するものである。椅子３は、被検者７が座り、位置を固定するためのものであり。椅子支持器３１によって支持され、椅子駆動手段３９によって椅子３の位置が駆動されるようになっている。

画像処理部４は、検出器１２で検出されたＸ線の強度信号を種々処理して映像を作成するものであり、インターフェース（Ｉ／Ｆ）４１、メモリ４２、ハードディスク４３、ＣＰＵ４４などから構成される。インターフェース（Ｉ／Ｆ）４１は、Ｘ線投影像及び可視光撮影像の入出力及びスキャナ駆動手段１９と椅子駆動手段３９とコリメータ駆動手段２９との間で通信を行うものである。メモリ４２は、画像データを格納したり、各種処理で発生するデータを一時的に格納するものである。ハードディスク４３は、演算処理に必要な画像データなどを保存するものである。ＣＰＵ４４は演算処理を行うものである。表示装置５は、Ｘ線投影像及び可視光撮影像などを表示するものである。外部入力装置６は、操作者によって操作されるキーボードなどである。カメラ８は、可視光を撮影するものであり、被検者７に対して被爆を生じさせない。照明９は、被検者７に光を照射するものである。

図３は、図２に示した計測装置の内、スキャナ１に対するカメラ８及び照明９の配置について示す図である。カメラ８は、Ｘ線管１１の焦点からほぼ被検者７の体軸と一致するスキャナ回転軸１８を中心に角度ｔだけずらした位置に配置する。図３（Ｂ）に示すようにスキャナ１が角度ｔだけ図３において時計方向に回転すると、このカメラ８によりＸ線管１１の焦点位置から見た画像と同一の回転角度からの可視光画像を得られることになる。また、照明９をカメラ８側から照らすことにより、被検者７に対して陰影の少ない画像を常に得ることができる。図では、照明９をカメラ８とは別体に設けてあるが、照明による陰影を少なくするためにカメラ８のレンズ周囲に装着するリング状の照明を用いることが望ましい。さらに陰影を少なくするためには、光源を複数使用してさまざまな方向から被検体７を照らすようにしてもよい。また、リングライトと複数の光源を使用すれば一層陰影を少なくすることが可能である。カメラ８は、スキャナ１の回転角度に同期して撮影を行う。これによって、カメラ８は、被検者７の周囲３６０°について回転撮影を行い、複数枚の角度同期回転撮影画像を得ることができる。

図４は、カメラ８により得た回転撮影画像を基に３次元再構成画像を生成する処理の過程を示す図である。図５は、カメラ８により得た回転撮影画像を基に３次元再構成画像を生成する処理の流れを示すフローチャート図である。

まず、最初のステップＳ５０では、被検者７が椅子に座っていない状態でカメラ８により回転撮影を行い複数枚のマスク画像を得るための可視光マスク画像回転撮影処理を行う。このマスク画像を撮影する際には、椅子３は所定の位置に移動しておく。この所定位置は、例えば子供と大人の体格の差や、頭部、歯顎部、頚部などの部位に応じて複数設定することができる。

また、カメラ８による撮影範囲はＸ線投影像に比べて広角であり、Ｘ線投影像を含む広い視野範囲を撮影する。なお、この視野範囲すなわちカメラ８による撮影範囲は、状況に応じて拡大縮小することもできる。

さらに、上述のマスク画像は被検者７を撮影する前に毎回撮影する必要は無く、予め定められた位置において撮影した回転画像を画像処理装置内のハードディスク４３に保存しておき、椅子３の所定位置などに応じて必要なものをメモリ４２に展開し、それを画像処理に用いるようにしてもよい。

ステップＳ５１では、被検者７を椅子に座らせ、被検者７の体格と部位に応じて、椅子３の位置を椅子駆動手段３９により移動するための被検者設定処理を行う。
ステップＳ５２では、被検者７が椅子３に座った状態でカメラ８にてスキャナ支持器１４を回転させながら撮影を行い、複数枚のライブ画像を得るための可視光ライブ画像回転撮影処理を行う。

ステップＳ５３では、ステップＳ５２で取得されたライブ画像から被検者７を抽出するための被検者抽出画像生成処理を行う。この処理は、先ず複数枚のマスク画像とライブ画像とを各角度毎に差分して画像を作成することによって行う。

ここで使用するマスク画像は、ライブ画像の椅子３の位置と同じ位置で撮影したものである。カメラ８により得た画像がカラーである場合には、差分を行う前にグレイスケールでマッピングし、モノクローム表示に変換する。また、画像マトリクスは１２８×１２８ピクセル以下で十分であるため、大きな画像マトリクスが得られるカメラである場合には、画素を規則的に間引いて使用する。

マスク画像とライブ画像間では、被検者７以外の椅子３や検出器１２などの背景が同一であるため、これらの差分画像では被検者以外の背景の画素値はほぼ０となる。このため、例えば画素値が±２０以外の領域を被検者抽出領域として抽出する。この被検者抽出領域の画素値を１、被検者抽出領域以外の背景の画素値を０とする被検者抽出画像を生成する。

なお、ここで椅子３は、被検者７の撮影部位の後方からの画像を十分に得るためには極力小さなことが好ましい。例えば、歯顎部を撮影する場合には、ヘッドレストとそれを支える部分はできるだけ幅を狭くして被検者抽出画像を十分に生成できるようにすることが望ましい。さらに望ましくは、ヘッドレストとそれを支える部分を透明な材質で構成すればより完全な被検者抽出画像が得られる。

ステップＳ５４では、回転撮影により得た複数枚の被検者抽出画像を基に、周知のＦｅｌｄｋａｍｐ法によるコーンビーム再構成演算をＣＰＵ４４内で実行し、可視光３次元再構成画像を作成する。作成された可視光３次元再構成画像は、図１に示すハードディスク４３に保存する。３次元再構成画像表示では、３次元再構成画像保存によってハードディスク４３に保存された可視光３次元再構成画像を図１に示すメモリ４２に読み出し、メモリ４２に読み出されたデータを表示装置５に表示する。

ステップＳ５５では、ハードディスク４３に保存されている可視光３次元再構成画像をメモリ４２に読み出し、ＣＰＵ４４内で、例えば、特許文献１に開示されている再投影演算手段により再投影演算を行い、可視光３次元再投影画像を作成する可視光３次元再投影画像生成処理を行う。以下、基本的に再構成画像は被検者の断層像を意味し、再投影像は再構成画像を構築して３次元の像にしたものを示すものとする。

また、ライブ画像と被検者抽出画像を基にして、ライブ画像の被検者の背景をブルースクリーンなどに置き換えた被検者抽出ライブ画像を生成する。この複数枚の被検者抽出ライブ画像を３次元再投影画像の被検者表面にテクスチャーマッピングし、被検者のカラー３次元投影画像を得ることもできる。

図６は、Ｘ線検出器１２により得たＸ線透視画像と可視光３次元再投影画像とを重ね合わせて位置決めに用いる画像を生成する処理の過程を示す図である。図７は、Ｘ線検出器１２により得たＸ線透視画像と可視光３次元再投影画像とを重ね合わせて位置決めに用いる画像を生成する処理の流れを示すフローチャート図である。

まず、ステップＳ７０では、可視光撮影と同じ位置に被検者７を椅子に座らせ、被検者７が椅子に座った状態で、被検者７の体格と部位に応じて、椅子３の位置を椅子駆動手段３９により移動するための被検者設定処理を行う。

次のステップＳ７１では、スキャナ支持器１４をＬＡＴ方向からの撮影に設定して、Ｘ線管１１及び検出器１２にて撮影を行うＬＡＴ位置決め画像撮影処理を行う。これによって、ＬＡＴ位置決め画像が取得される。

ステップＳ７２では、スキャナ支持器１４を回転し、スキャナ支持器１４をＡ−Ｐ方向からの撮影に設定して、Ｘ線管１１及び検出器１２にて撮影を行うＡ−Ｐ位置決め画像撮影処理を行う。これによって、Ａ−Ｐ位置決め画像が取得される。なお、検出器１２による撮影範囲はユーザーの設定により選択可能である。状況に応じてコリメータ２により撮影範囲を縮小することもできる。

ステップＳ７３では、図５の処理にてに作成された可視光３次元再投影画像と、ステップＳ７１で取得されたＬＡＴ位置決め画像と、ステップＳ７２で取得されたＡ−Ｐ位置決め画像とをそれぞれ重ねあわせた画像を生成する処理を行う。
ステップＳ７４では、上述のようにして得られたＸ線透視画像と可視光３次元再投影画像の重ね合わせられた３次元画像を用いて位置決めを実施する。

図８は、前述の処理によって取得された可視光３次元投影画像の一例を示す図である。図９は、図８の可視光３次元投影画像に、Ｘ線による透視画像を重ねて表示した場合の一例を示す図である。図９では、ＬＡＴ方向の透視画像とＡＰ方向の透視画像の両方を重ねて表示した場合が示されている。

図８の可視光３次元再構成画像は、カメラ画像上でのスキャナの回転中心軸の位置、カメラと回転中心軸との幾何学的距離及び画素サイズなどを基にして生成したものであるため、可視光３次元再投影画像上でスキャナの回転中心軸や回転面、回転中心などスキャナ１とカメラ８による幾何学的位置を再現することができる。

また、これらの幾何学的位置は、同一のスキャナ上に配置されているＸ線管１１及び検出器１２によって得られるＸ線によるＸ線３次元再構成画像並びに透視３次元再投影画像の有する幾何学的位置と照合できる。Ｘ線管１１及び検出器１２の設置位置に対して、カメラ８の設置位置を機械的に調整したり若しくはソフトで補正することにより可視光３次元投影画像上でスキャナ１の回転中心軸、回転面、回転中心などの幾何学的位置を合わせることも可能である。

Ｘ線による透視画像領域は、検出器１２の形状により異なる。検出器１２がイメージインテンシファイアのように円形の場合には、透視画像領域は円形となる。また、検出器１２がフラットパネルのように長方形の場合には、透視画像領域は長方形となる。

このようにして得た、カメラ画像を基に生成した被検者の可視光３次元再投影画像と、Ｘ線による透視画像（ＬＡＴ方向透視画像，ＡＰ方向透視画像）を、図９のように重ね合わせて表示することにより、現在座っている被検者体７のどの領域を、Ｘ線により透視３次元再投影できるのかを、画像化して表現できる。操作者は、図１の表示装置を用いて、これらの重ね合わせ画像を確認することができる。

図１０は、カメラ系座標系とＸ線計測系座標系の相対的な移動の関係を示す図である。Ｘ線による透視画像内に被検者７の計測したい部位が含まれない場合には、図１の外部入力装置を操作して、椅子駆動手段３９に反映して、Ｘ線による透視画像領域と、カメラ画像を基に生成した被検者の可視光３次元再投影画像とを相対的に移動して調整する。図１０ではカメラ計測計座標に対して、Ｘ線計測系座標系を被検者正面方向に移動することにより、被検者の歯顎部全体をＸ線による３次元再投影画像領域に含まれるように設定したことを示している。

図１１は、検出器の視野サイズもしくはコリメータによる視野サイズの変更の関係を示す図である。Ｘ線による透視３次元再投影画像領域を変更する場合には、図１の外部入力装置を操作して、検出器の撮影領域の範囲やコリメータを駆動して、Ｘ線による透視画像領域を変更してより適切なＸ線による透視画像領域を指定する。図１１では図１０に比べて小さい領域モデルを選択した結果を示している。広い領域モデルを選択することにより、より広範囲の３次元再投影画像を得ることができる。また、小さい領域モデルを選択することにより、注目する部のみの画像を詳細に得ると共に、被検者の被曝を抑えることもできる。

図１２は、Ｘ線による透視画像のうち、ＬＡＴ方向の透視画像のみを被検者の可視光３次元再投影画像に重ねて表示することを示す図である。図１３は、Ｘ線による透視画像のうち、ＡＰ方向の透視画像のみを被検者の可視光３次元再投影画像に重ねて表示することを示す図である。このように透視画像は任意の方向の画像のみを選択的に用いて表示することもできる。また、図１０と図１１に示したように、異なる透視画像領域の透視画像を組み合わせて表示することもできる。たとえば、複数枚のＬＡＴ画像を重ねて表示したり、大きさの異なるＬＡＴ画像とＡＰ画像とを重ねて表示したりすることもできる。

図１４は、Ｘ線による透視画像上に、Ｘ線管焦点から検出器までのＸ線経路の境界を重ねて表示することを示す図である。透視画像は、焦点から検出器に向かってコーンビーム状に広がるＸ線ビームによって、その経路上の構造物の差異によるＸ線の吸収の差により画像化されるものである。ビームの進行方向が並行ビームではないことが、位置決めを困難にしている。そこで、このＸ線経路のモデルを被検者の可視光３次元再投影画像とＸ線による透視画像とに重ねて表示するようにした。これにより透視画像が得られた範囲、Ｘ線経路の傾きが明示されので、これを参考にして位置決めを容易に実施することができる。

図１５は、Ｘ線による透視画像を、検出器の位置に表示することを示す図である。透視画像は、Ｘ線経路上の全ての構造物のＸ線吸収の結果を検出器によって検出することによって得られるものである。そこで、ここでは、そのイメージを表示するようにした。

図１６は、Ｘ線による透視画像を、Ｘ線経路上の任意の位置に表示することを示す図である。透視画像は、Ｘ線経路上の任意の位置に配置することが論理的に可能であり、自由な位置に配置することができる。このような操作は、重ね合わせ表示を行うことが可能な全てのＸ線による透視画像に対して独立に行うことができる。

図１７は、Ｘ線による透視画像において、被検者の輪郭内の画像を生成し、これを被検者の可視光３次元再投影画像に重ね合わせて表示することを示す図である。透視画像において必要な情報は被検者の輪郭内部に集中しており、これのみを抽出して表示することにより、有益な情報のみを表現することも可能である。

図１８は、カメラ８により得た回転撮影画像を基に可視光３次元再構成画像を生成する処理の過程とＸ線による透視画像を基にＸ線３次元再構成画像を生成する処理の過程とによってそれぞれ生成された３次元画像を重ね合わせる場合の一例を示す図である。図１９は、図１８の処理の流れを示すフローチャート図である。

まず、ステップＳ１９０では、被検者７が椅子に座っていない状態でカメラ８により回転撮影を行い複数枚のマスク画像を得る可視光被検者無し画像撮影処理を行う。このマスク画像撮影の際には、椅子３は所定位置まで移動しておく。この所定位置は、例えば子供と大人の体格の差や、頭部、歯顎部、頚部などの部位に応じて複数設定できる。また、カメラ８による撮影範囲はＸ線投影像に比べて広角であり、Ｘ線投影像を含む広い視野範囲を撮影する。或いは状況に応じてカメラ８による撮影範囲を拡大縮小することもできる。

また、マスク画像は被検者７を撮影する前に毎回撮影する必要は無く、予め定められた位置に於いて撮影した回転画像を画像処理装置内のハードディスク４３に保存しておき、必要に応じてメモリ４２に展開し、画像処理に用いることができる。

次にステップＳ１９１では、被検者７を椅子に座らせ、被検者７の体格と部位に応じて、椅子３の位置を椅子駆動手段３９により移動する。そして被検者７が椅子３に座った状態でカメラ８にてスキャナ支持器１４を回転させながら撮影を行い、複数枚のライブ画像を得る可視光被検者画像撮影処理を行う。

次に、ライブ画像から被検者７だけを抽出するために、ステップＳ１９２では、先ず複数枚のマスク画像とライブ画像とを各角度毎に差分して画像を作成する差分画像生成処理を行う。なお、ここで椅子３は被検者７の撮影部位の後方からの画像を十分に得るためには極力小さなことが好ましい。例えば歯顎部を撮影する場合には、ヘッドレストとそれを支える部分はできるだけ幅を狭くして上記被検者抽出画像を十分に生成できるようにすることが望ましい。さらに望ましくは、ヘッドレストとそれを支える部分を透明な材質で構成すればより完全な被検者抽出画像が得られる。

次に、ライブ画像から被検者７だけを抽出するために、ステップＳ１９２では、先ず複数枚のマスク画像とライブ画像とを各角度毎に差分して画像を作成する差分画像生成処理を行う。ここで使用するマスク画像は、ライブ画像の椅子３の位置と同じ位置で撮影したものである。カメラ８により得た画像がカラーである場合には、差分を行う前にグレイスケールでマッピングし、モノクローム表示に変換する。また画像マトリクスは１２８×１２８ピクセル以下で十分であるため、大きな画像マトリクスが得られるカメラである場合には、画素を規則的に間引いて使用する。

ステップＳ１９３では、マスク画像とライブ画像間では、被検者７以外の椅子３や検出器１２などの背景が同一であるため、これらの差分画像では被検者以外の背景の画素値はほぼ０となる。このため、例えば画素値が±２０以外の領域を被検者抽出領域として抽出する外輪郭画像生成処理を行う。
ステップＳ１９４では、外輪郭画像を基に、回転撮影により得た可視光被検者画像の被検者のみを抽出した、可視光被検者抽出画像を生成する。

ステップＳ１９５では、ステップＳ１９３により得た外輪郭画像を基に、周知のＦｅｌｄｋａｍｐ法によるコーンビーム再構成演算をＣＰＵ４４内で実行し、可視光３次元再構成画像を作成する。可視光３次元再構成画像は図２に示すハードディスク４３に保存する。

ステップＳ１９６では、ハードディスク４３に保存されている可視光３次元再構成画像をメモリ４２に読み出し、ＣＰＵ４４内で、例えば［特許文献１］に開示の再投影演算手段により再投影演算を行い、複数枚の被検者抽出ライブ画像を３次元再投影画像の被検者表面にテクスチャーマッピングし、被検者のカラー３次元投影画像（可視光３次元投影画像）を作成する。以下、基本的に再構成画像は被検者の断層像を意味し、再投影像は再構成画像を構築して３次元の像にしたものを示すものとする。このときに、コントラストや透明度の調整を行う。なお、ライブ画像と被検者抽出画像を基にして、ライブ画像の被検者の背景をブルースクリーンなどに置き換えた被検者抽出ライブ画像を生成してもよい。

一方、ステップＳ１９７では、ステップＳ１９１のカメラ撮影と同時にまたは別個に、被検者７を椅子に座らせ、被検者７のＸ線画像を撮影するＸ線被検者画像撮影処理を行う。ステップＳ１９８では、撮影したＸ線投影像を基にＸ線コーンビーム再構成断面画像生成処理を行う。ステップＳ１９９では、Ｘ線３次元投影画像生成処理を行う。このときに、コントラスト，透明度、カラーなどの調整を行う。ステップＳ１９ａでは、ステップＳ１９６で生成された可視光３次元投影画像とステップＳ１９９で生成されたＸ線３次元投影画像との両者を重ね合わせた画像を生成して表示装置５に表示する。

図２０は、カメラ８により得た回転撮影画像を基に可視光３次元再構成画像を生成する処理の過程とＸ線による透視画像を基にＸ線３次元再構成画像を生成する処理の過程とによってそれぞれ生成された３次元画像を重ね合わせる場合の別の一例を示す図である。図２１は、図２０の処理の流れを示すフローチャート図である。図２０及び図２１に示したものは、図１８及び図１９に示したものとほとんど同じであり、異なる点は、図１９のステップＳ１９５を省略し、ステップＳ２１６で、可視光被検者画像をステップＳ２１８で生成されたＸ線３次元表明投影画像にテクスチャーマッピングするようにした点である。これによって、演算処理を省略したにも関わらず、図１８及び図１９の場合とほとんど同じ３次元画像を生成することができる。

図２２〜図２４は、可視光３次元投影画像とＸ線による透視再構成画像とを重ね合わせた画像の一例をそれぞれ示す図である。図２２は、可視光３次元投影画像にＸ線による透視画像を重ねて表示した場合の一例を示す図である。可視光３次元再構成画像は、カメラ画像上でのスキャナの回転中心軸の位置及びカメラと回転中心軸との幾何学的距離、画素サイズなどを基にして生成したものであるため、可視光３次元再投影画像上でスキャナの回転中心軸や回転面、回転中心などスキャナ１とカメラ８による幾何学的位置を再現できる。

また、これらの幾何学的位置は、同一のスキャナ上に配置されているＸ線管１１及び検出器１２によって得られるＸ線によるＸ線３次元再構成画像並びに透視３次元再投影画像の有する幾何学的位置と照合できる。Ｘ線管１１及び検出器１２の設置位置に対して、カメラ８の設置位置を機械的に調整したり若しくはソフトで補正することにより可視光３次元投影画像上でスキャナ１の回転中心軸、回転面、回転中心などの幾何学的位置を合わせることも可能である。

Ｘ線による透視３次元再投影画像領域は、検出器１２の形状により異なる。検出器１２がイメージインテンシファイアのように円形の場合には、透視３次元再投影画像領域は図２２（Ａ）のように球形となる。また、検出器１２がフラットパネルのように長方形の場合には、透視３次元再投影画像領域は図２２（Ｂ）のように円柱形となる。透視３次元投影画像領域はスキャナ上の幾何学的条件と再構成条件によって決まるものであるため、毎回撮影をしなくても、検出器の形状や大きさなどに応じた再構成領域情報をモデルとして保持している。

このようにして得た、カメラ画像を基に生成した被検者の可視光３次元再投影画像と、Ｘ線による透視３次元再投影画像領域モデルを、図２２のように重ね合わせて表示することにより、現在座っている被検者体７のどの領域を、Ｘ線により透視３次元再投影できるのかを、画像化して表現できる。操作者は図２の表示装置を用いて、これらの重ね合わせ画像を確認することができる。

図２３（Ａ）は、カメラ系座標系とＸ線計測系座標系の相対的な移動を示す図である。Ｘ線による透視３次元再投影画像領域モデル内に被検者７の計測したい部位が含まれない場合には、図２の外部入力装置を操作して、Ｘ線による透視３次元再投影画像領域モデルと、カメラ画像を基に生成した被検者の可視光３次元再投影画像とを相対的に移動して調整する。図２３（Ａ）ではカメラ計測計座標に対して、Ｘ線計測系座標系を被検者正面方向に移動することにより、被検者の歯顎部全体をＸ線による３次元再投影画像領域に含まれるように設定したことを示している。このカメラ計測系座標系に対するＸ線計測系座標系の移動量は、図２に示す椅子駆動手段３９に反映して位置決めを行う。

図２３（Ｂ）は、検出器の視野サイズの変更を示す図である。Ｘ線による透視３次元再投影画像領域を変更する場合には、図２の外部入力装置を操作して、Ｘ線による透視３次元再投影画像領域モデルを変更してより適切な３次元再投影画像領域を指定する。図２３（Ｂ）では図２３（Ａ）に比べて大きい領域モデルを選択した結果を示している。広い領域モデルを選択することにより、より広範囲の３次元再投影画像を得ることができる。また、小さい領域モデルを選択することにより、注目する部のみの画像を詳細に得ると共に、被検者の被曝を抑えることもできる。このＸ線による透視３次元再投影画像領域モデルの変更は、図２に示す検出器１２の位置やサイズ変更に反映させる。

図２４（Ａ）は、コリメータ２による視野サイズの変更を示す図である。Ｘ線による透視３次元再投影画像領域を変更する場合には、図２の外部入力装置６を操作して、コリメータ２の羽根の位置を変更して透視３次元再投影画像領域を指定する。図２４（Ａ）ではコリメータ２により上下方向の視野を制限した結果を領域モデルに反映した結果を示している。コリメータ２により被検者７の被曝が制限される領域を確認しながら、コリメータ２の設定を行うことができる。図２４（Ａ）は、図２２（Ｂ）に比べて大きい領域モデルを選択した結果を示している。広い領域モデルを選択することにより、より広範囲の３次元再投影画像を得ることが出きる。視野サイズの変更は、コリメータ駆動手段２９を介してコリメータ２を動作させることで設定する。

図２４（Ｂ）は、可視光３次元投影画像に、骨格などの解剖学的モデルを重ねて表示することを示す図である。カメラ８による可視光３次元投影画像は、Ｘ線による透視３次元投影画像とは異なり、体内の情報を持っていない為、頭蓋骨や歯額部のモデルなどをカメラ８による３次元投影画像に対して画像融合することにより、再構成領域の調整におけるガイドとして利用することができる。図２４（Ｂ）では、被検体の歯額部のモデルを画像融合したものが示されている。このように、頭蓋骨や歯額部のモデルなどをカメラによる可視光３次元投影画像に対して画像融合するには、カメラによる可視光３次元投影画像に対して、頭部モデルをテンプレートマッチングする方法や、過去のＸ線による透視３次元投影画像をテンプレートマッチングする方法等がある。

図２５は、図２に示した計測装置の内、スキャナ１に対するカメラ８の配置について示す図である。カメラ８はＸ線管１１の焦点から垂直上方に高さｓけずらした位置に配置する。椅子を高さｓだけ上方に移動すると、このカメラ８によりＸ線管１１の焦点位置から見た画像と同一の高さからの可視光画像を得られる。また、カメラの焦点距離をＸ線撮影系に比べて広角にすることにより、椅子を移動することなく、所望の範囲の可視光３次元再投影画像を得ることもできる。カメラ８はスキャナ１の回転角度に同期して撮影を行う。被検者７の周囲３６０°回転撮影を行い、複数枚の角度同期回転撮影画像を得る。

スキャナ１に配置したカメラ８からの可視光画像とＸ線透視画像を組み合わせて撮影位置やコリメータ２の設定ができるため、スキャン計画における操作性を向上することができる。人体表面の目視可能な可視光３次元画像と、内部構造の情報を持つＸ線透視画像を組み合わせて用いているため、正確確実な位置決めを時間のロス無くに行うことができる。また、画像のサイズが小さくても広角カメラを使用し可視光３次元再投影画像を構築できるので、経験や勘に頼らず検査者の習熟度に大きく影響されずに撮影範囲を決定可能である。

図２５に示したように、カメラ８の焦点とＸ線管１１の焦点間に距離ｓだけの縦方向ずれがある場合には、可視光撮影系とＸ線撮影系とは、回転角度位置を有するし、また、同じスキャナに固定されているため、同じ回転中心軸を共有している。しかしながら、カメラ８とＸ線管１１の取り付け位置が高さ方向に異なるため、それぞれ異なる回転平面を有するし、また、視野範囲及び画像マトリクスもそれぞれ異なる。そこで、補正用ファントムを用いて、可視光撮影系とＸ線撮影系との間の座標系間の整合をとるようにした。なお、この座標系間の整合をとる手法については、先に出願した特願２００３−４１６１７９号に詳細が記載されているので、ここでは説明を省略する。

図２６は、図２に示した計測装置の構成の内、Ｘ線管１１、コリメータ２、カメラ８についての配置の変形例を示す図である。Ｘ線はＸ線管１１の焦点１１１から放射口１１２に向けて照射される。放射口１１２から照射されたＸ線はコリメータ２によって照射範囲を絞られる。この放射口１１２とコリメータ２の間にミラー１１３を配置し、カメラ８の焦点８１をミラー面に対してＸ線管１１の焦点位置１１１の鏡像対象となる位置に配置する。なお、ミラーはハーフミラーであってもよい。このようにカメラ８の光軸とＸ線管１１の焦点を合せて配置することも可能である。この場合には、カメラ８での撮像結果は、鏡像となるためＸ線での撮影結果と整合するためにＣＰＵ４などにおいて画像反転させることが必要となる。図２６の構成の場合は、カメラ８の光軸とＸ線の焦点１１１から放射口１１２に沿ったＸ線光軸の間で視差（パララックス）が生じないため、カメラにより撮影された画像をスキャン計画用に視差分補正する必要が無くなり、処理速度を向上しながらコストを下げることが可能となる。

図２７は、可視光３次元投影画像とＸ線３次元投影画像とを重ね合わせて表示する場合の表示処理の一部を抜き出して示す図である。図２８は、図２７の処理によって表示される画像の一例を示す図である。

図２７では、図１９及び図２１のステップＳ１９６及びステップＳ２１６の処理で生成された可視光３次元投影画像とステップＳ１９８及びステップＳ２１８の処理で生成されたＸ線３次元投影画像とを重ね合わせた画像を生成する処理の一部を抜き出して示してあり、これ以外の各ステップの処理は図１９及び図２１に示すものと同じである。

図２７の処理は、図１９及び図２１の処理と同じであり、Ｘ線コーンビーム再構成断面画像に基づいてＸ線３次元投影画像を生成する際に、ボリュームレンダリング（Ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ）やサーフェィスレンダリング（Ｓｕｒｆａｃｅ Ｒｅｎｄｅｒｉｎｇ）などによって３次元投影画像を生成している。なお、Ｘ線３次元投影画像のコントラスト、透明度、カラーなどの調整は可視光３次元投影画像とは別個に行われる。

図２８は、図２７の処理によって生成された画像の一例を示すものである。図２８の画像は、前述の図２２〜図２４の画像と同様のものであり、図２８（Ａ）は、可視光３次元投影画像を示し、図２８（Ｂ）は、図２８（Ａ）の可視光３次元投影画像にボリュームレンダリングによって得られたＸ線３次元投影画像が重ね合わせられた画像を示す。

図２９は、可視光３次元投影画像とＸ線３次元投影画像とを重ね合わせて表示する場合の表示処理の第１の変形例を示す図である。図３０は、図２９の処理によって表示される画像の一例を示す図である。図２９では、図２７と同様に処理の一部を抜き出して示してある。

図２９のステップＳ２９０では、ステップＳ１９８及びステップＳ２１８で生成されたＸ線コーンビーム再構成断面画像に基づいて特徴領域を抽出する特徴領域抽出処理を行う。この特徴領域抽出処理は従来から行われている方法で断面画像上の画素値を利用して行う。このようにして抽出された特徴領域をボリュームレンダリングやサーフェィスレンダリングなどによって３次元投影画像として生成する。なお、Ｘ線３次元投影画像のコントラスト、透明度、カラーなどの調整は可視光３次元投影画像とは別個に行われる。また、各特徴領域（オブジェクト）毎に表示、非表示、コントラストなどの画像情報を調整する。図３０は、図２９の処理によって生成された画像の一例を示すものである。図３０は、特徴領域として被検者の脳神経部を抽出し、それを可視光３次元投影画像に重ね合わせて表示したものである。

図３１は、可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第２の変形例を示す図である。図３２は、図３１の処理によって表示される画像の一例を示す図である。図３１では、図２７と同様に処理の一部を抜き出して示してある。

図３１のステップＳ３１０では、ステップＳ１９６及びステップＳ２１６で生成された可視光３次元投影画像、並びにステップＳ１９８及びステップＳ２１８で生成されたＸ線コーンビーム再構成断面画像の切断面を指定する切断面指定処理を行う。切断面は、３次元形状を例えば二次元断面画像に基づいて指定したり、平面、曲面、複数の平面や複数回の切断などによって指定される。ステップＳ３１１では、切断面指定処理によって指定された切断面を有する可視光切断３次元画像を生成する。ステップＳ３１２では、切断面指定処理によって指定された切断面を有する切断面画像を生成する。このときの切断面生成処理は、ＭＩＰ，ＭＰＲ，Ｃｕｒｖｅｄ ＭＰＲなどによって行われる。ステップＳ１９ａ及びステップＳ２１ａでは、このようにして生成された可視光切断３次元画像と切断面画像とを重ね合わせたものを表示する。前述と同じく、切断面画像のコントラスト、透明度、カラーなどの調整は可視光切断３次元画像とは別個に行われる。図３２は、図３１の処理によって生成された画像の一例を示すものである。図示のように可視光３次元投影画像が切断面で切断され、その切断面に切断面画像が表示される。

図３３は、可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第３の変形例を示す図である。図３４は、図３３の処理によって表示される画像の一例を示す図である。図３３では、図２７と同様に処理の一部を抜き出して示してある。

図３３のステップＳ３３０では、ステップＳ１９６及びステップＳ２１６で生成された可視光３次元投影画像、並びにステップＳ１９８及びステップＳ２１８で生成されたＸ線コーンビーム再構成断面画像の投影方向及び／又は画像処理法を指定する処理を行う。投影方向としては、アキシャル（Ａｘｉａｌ）、コロナル（Ｃｏｒｏｎａｌ）、サジタル（Ｓａｇｉｔａｌ）、オブリーク（Ｏｂｌｉｑｕｅ）、ボトムビュー（Ｂｏｔｔｏｍ Ｖｉｅｗ）、トップビュー（Ｔｏｐ Ｖｉｅｗ）、任意曲面などの方向を任意に指定可能である。画像処理としては、ＭＩＰ，ＭＰＲ，Ｃｕｒｖｅｄ ＭＰＲなどを任意に指定可能である。ステップＳ３３１では、投影方向・画像処理指定処理によって指定された投影方向・画像処理に基づいて、投影方向の可視光３次元画像を生成する。このときの可視光３次元画像のコントラスト、透明度、カラーなどの調整はＸ線３次元投影画像とは別個に行われる。ステップＳ３３２では、投影方向・画像処理指定処理によって指定された投影方向・画像処理に基づいて、切断面画像を生成する。このときの切断面生成処理は、ＭＩＰ，ＭＰＲ，Ｃｕｒｖｅｄ ＭＰＲなどによって行われる。前述と同じく、切断面画像のコントラスト、透明度、カラーなどの調整は可視光３次元画像とは別個に行われる。

ステップＳ１９ａ及びステップＳ２１ａでは、このようにして生成された可視光３次元画像と切断面画像とを重ね合わせたものを表示する。また、アプリケーションによっては、アキシャル（Ａｘｉａｌ）、コロナル（Ｃｏｒｏｎａｌ）、サジタル（Ｓａｇｉｔａｌ）、オブリーク（Ｏｂｌｉｑｕｅ）の４画面を同時に並べて表示する場合があるので、その場合には前述の処理を繰り返し実行する。図３４は、図３３の処理によって生成された画像の一例を示すものである。図３４（Ａ）は、アキシャル（Ａｘｉａｌ）、コロナル（Ｃｏｒｏｎａｌ）、サジタル（Ｓａｇｉｔａｌ）、オブリーク（Ｏｂｌｉｑｕｅ）の４画面を同時に並べて表示した場合を示す。図示のように可視光３次元投影画像とその方向の切断面画像が重ねて表示される。図３４（Ｂ）は、投影方向が曲面で指定されたパノラミック表示の画像例を示す。なお、図３４（Ｂ）では便宜上被検者の歯牙の部分のみを示しているが実際は歯顎部の骨格も表示される。

図３５は、可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第４の変形例を示す図である。図３６は、図３５の処理によって表示される画像の一例を示す図である。図３５では、図２７と同様に処理の一部を抜き出して示してある。

図３５のステップＳ３５０では、ステップＳ１９６及びステップＳ２１６で生成された可視光３次元投影画像、並びにステップＳ１９８及びステップＳ２１８で生成されたＸ線コーンビーム再構成断面画像の切断面を指定する切断面指定処理を行う。切断面は、３次元形状を例えば二次元断面画像に基づいて指定したり、平面、曲面、複数の平面や複数回の切断などによって指定される。ステップＳ３５１では、切断面指定処理によって指定された切断面を有する可視光切断３次元画像と共に切断面の模式的に示したモデル画像を生成する。ステップＳ３５２では、切断面指定処理によって指定された切断面を有する切断面画像を生成する。このときの切断面生成処理は、ＭＩＰ，ＭＰＲ，Ｃｕｒｖｅｄ ＭＰＲなどによって行われる。

ステップＳ３５３では、このようにして生成された可視光切断３次元画像と切断面モデル画像とを重ね合わせた画像、並びにその切断面画像を表示する。前述と同じく、切断面画像のコントラスト、透明度、カラーなどの調整は可視光切断３次元画像とは別個に行われる。図３６は、図３５の処理によって生成された画像の一例を示すものである。図３６（Ａ）の左側に示された画像は、可視光切断３次元画像と、図示のような平面からなる切断面モデル画像とを重ね合わせた画像であり、その右側に示された画像は、その切断面モデル画像によって切断された部位の切断面画像である。また、図３６（Ｂ）の左側に示された画像は、可視光切断３次元画像と図示のような歯顎部のパノラミック曲面からなる切断面モデル画像とを重ね合わせた画像であり、その右側に示された画像は、その切断面モデル画像によって投影された部位のパノラミック切断面画像である。なお、図３６（Ｂ）では便宜上被検者の歯牙の部分のみを示しているが実際は歯顎部の骨格も表示される。

図３７は、可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第５の変形例を示す図である。図３８は、図３６の処理によって表示される画像の一例を示す図である。図３７では、図２７と同様に処理の一部を抜き出して示してある。

図３７のステップＳ３７０では、ステップＳ１９６及びステップＳ２１６で生成された可視光３次元投影画像、並びにステップＳ１９８及びステップＳ２１８で生成されたＸ線コーンビーム再構成断面画像の表示領域を指定する表示領域指定処理を行う。表示領域は、仮想内視鏡（Ｖｉｒｔｕａｌ Ｅｎｄｏｓｃｏｐｙ）などのように二次元断面画像から視点、視野、奥行きなどに基づいて任意表示領域を指定される。ステップＳ３７１では、指定された表示領域に対応して可視光切断３次元画像と共にその表示領域のモデル画像を生成する。ステップＳ３７２では、指定された表示領域に対応する画像を生成する。このときの表示領域画像は、ＭＩＰ，ＭＰＲ，Ｃｕｒｖｅｄ ＭＰＲなどによって作成される。

ステップＳ３７３では、このようにして生成された可視光３次元画像と表示領域のモデル画像とを重ね合わせた画像、並びにその表示領域画像画像を表示する。前述と同じく、表示領域画像のコントラスト、透明度、カラーなどの調整は可視光３次元画像とは別個に行われる。図３８は、図３６の処理によって生成された画像の一例を示すものである。図３８の左側に示された画像は、可視光３次元画像と、仮想内視鏡の表示領域のモデル画像とを重ね合わせた画像であり、その右側に示された画像は、その表示領域に対応する仮想内視鏡に対応した画像である。

図３９は、可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第６の変形例を示す図である。図４０は、図３９の処理によって表示される画像の一例を示す図である。図３９では、図１９のステップＳ１９ａ及び図２１のステップＳ２１ａの処理でそれぞれ生成された可視光３次元投影画像とＸ線３次元投影画像との重ね合わせた画像の複数ｎ枚をさらに重ね合わせて別の画像を生成する場合について説明している。従って、図３９では、図１９のステップＳ１９ａ及び図２１のステップＳ２１ａの前のステップについては図示を省略してある。

図３９のステップＳ３９０１〜ステップＳ３９０ｎは、図１９のステップＳ１９ａ及び図２１のステップＳ２１ａと同じ処理であり、可視光３次元投影画像とＸ線３次元投影画像とをそれぞれ別々に重ね合わせた画像を生成する処理を行うものである。ステップＳ３９１では、ステップＳ３９０１〜ステップＳ３９０ｎのそれぞれで生成された重ね合わせ画像の２以上のものについて種々の演算を行う。この演算の種類としては、加算、減算、標準偏差などの統計的処理などの演算、またはこれらを組み合わせた演算などである。また、ここでは、必要に応じて計算の入出力におけるそれぞれの結果を個別にオブジェクト化し、独立にコントラストなどを調整して重ね合わせて表示したりする。ステップＳ３９２では、前のステップＳ３９１の演算結果を表示画面に表示する処理である。ステップＳ３９３は、前のステップＳ３９１の演算結果をハードディスク４３などの記憶媒体に保存する処理である。なお、前述と同じく、画像のコントラスト、透明度、カラーなどの調整は別個に行われるようにしてもよい。

図４０は、図３９の処理によって生成された画像の一例を示すものである。図４０（Ａ）は、壺などの文化財の修復前の可視光３次元投影画像の一例を示す図であり、図４０（Ｂ）は、その壺の修復後の可視光３次元投影画像の一例を示す図である。図４０（Ｃ）は、修復前の重ね合わせと修復後の重ね合わせ画像に基づいて作成された画像であり、どの部分が修復されたのかを認識可能にするために修復前後の画像の加算を示したものである。図４０（Ｄ）は、修復した部分の断片のみを抽出して示すために修復前後の画像の差分を示したものである。

図４１は、可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第７の変形例を示す図である。図４２は、図４１の処理によって表示される画像の一例を示す図である。図４１では、図３９の場合と同様に、図１９のステップＳ１９ａ及び図２１のステップＳ２１ａの処理でそれぞれ生成された可視光３次元投影画像とＸ線３次元投影画像との重ね合わせた画像の複数ｎ枚をさらに重ね合わせて別の画像を生成する場合について説明している。従って、図４１では、図１９のステップＳ１９ａ及び図２１のステップＳ２１ａの前のステップについては図示を省略してある。

図４１のステップＳ３９０１〜ステップＳ３９０ｎは、図３９に示したものと同じ処理であり、可視光３次元投影画像とＸ線３次元投影画像とをそれぞれ別々に重ね合わせた画像を生成する処理を行うものである。ステップＳ４１１では、ステップＳ３９０１〜ステップＳ３９０ｎのそれぞれで生成された重ね合わせ画像の２以上のものを仮想空間上に再配置する処理を行う。すなわち、ここでは、各オブジェクトの可視光３次元投影画像による色及び質感などの情報と、Ｘ線３次元投影画像による内部構造情報を基にアプリケーション上でオブジェクトを仮想空間上に再配置する。ステップＳ４１２では、再配置の結果、構造的な欠陥を補う処理を行う。ステップＳ４１３では、色及び質感的な欠陥を補う処理を行う。すなわち、任意の過程をオブジェクトとして保存し、必要に応じてオブジェクト間演算を行い、それを表示したりする。ステップＳ４１４では、前のステップＳ４１１，Ｓ４１２，Ｓ４１３の演算結果を表示画面に表示する処理である。ステップＳ４１５は、前のステップＳ４１１，Ｓ４１２，Ｓ４１３の演算結果をハードディスク４３などの記憶媒体に保存する処理である。なお、前述と同じく、画像のコントラスト、透明度、カラーなどの調整は別個に行われるようにしてもよい。

図４２は、図４１の処理によって生成された画像の一例を示すものである。図４２（Ａ）は、皿などの破片や断片を示す図である。このような破片／断片を個々に撮影し、その可視光３次元投影画像及びＸ線３次元投影画像を作成する。作成された破片／断片をソフト上で再配置した場合を示す図である。図から明らかなように破片／断片の中で構造的な欠陥が生じている。図４２（Ｃ）は、ソフト上で修復した後の画像を示す図である。先の構造的な欠陥を補うことによってソフト上で修復を行い、修復の目安とするものである。

図４３は、可視光画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第８の変形例を示す図である。図４４は、図４３の処理によって表示される画像の一例を示す図である。図４３のステップＳ１９１及びステップＳ２１１の処理では、被検者に対応した可視光被検者画像を生成し、ステップＳ１９７及びステップＳ２１７の処理では、被検者に対応したＸ線被検者画像を生成している。

ステップＳ４３０では、ステップＳ１９１及びステップＳ２１１で生成された可視光被検者画像、並びにステップＳ１９７及びステップＳ２１７で生成されたＸ線被検者画像の投影方向を指定する処理を行う。投影方向としては、スキャナで撮影した角度方向を任意に指定可能である。ステップＳ４３１では、可視光被検者画像とＸ線被検者画像の幾何学を統一する。すなわち、拡大率や上下の位置、画像の歪等を補正する。ステップＳ４３２では、可視光被検者画像のコントラスト、透明度、カラーなどの調整を行う。ステップＳ４３３では、同じく、Ｘ線被検者画像についても同様にコントラスト、透明度、カラーなどの調整を行う。ステップＳ４３４では、このようにして生成された可視光被検者画像とＸ線被検者画像とを重ね合わせたものを表示する。

図４４は、図４３の処理によって生成された画像の一例を示すものである。図４４（Ａ）は、Ａ−Ｐ方向及びＬ−Ｒ方向から投影した可視光被検者画像の一例を示す図であるり、図４４（Ｂ）は、Ａ−Ｐ方向及びＬ−Ｒ方向から投影したＸ線被検者画像の一例を示す図であり、図４４（Ｃ）は、両画像を重ね合わせた画像である。

図４５は、可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第９の変形例を示す図である。図４６は、図４５の処理によって表示される画像の一例を示す図である。図４５のステップＳ１９６及びステップＳ２１６の処理では、可視光３次元投影を生成する。

ステップＳ４５０では、ステップＳ１９６及びステップＳ２１６で生成された可視光被検者画像の投影方向を指定する処理を行う。投影方向としては、スキャナ位置、角度の設定値に対応する任意の撮影方向が指定可能である。ステップＳ４５１では、前のステップ４５０で指定されたスキャナ設定位置、角度に基づいてＸ線投影を行い、Ｘ線被検者投影画像を作成する。ステップＳ４５２では、Ｘ線画像の撮影方向、幾何学系に応じた可視光被検者画像を生成する。このとき、可視光被検者画像とＸ線被検者画像の幾何学（拡大率や上下の位置、画像の歪等）を補正する。ステップＳ４５３では、可視光被検者画像のコントラスト、透明度、カラーなどの調整を行う。ステップＳ４５４では、同じく、Ｘ線被検者画像についても同様にコントラスト、透明度、カラーなどの調整を行う。ステップＳ４５５では、このようにして生成された可視光被検者画像とＸ線被検者画像とを重ね合わせたものを表示する。

図４６は、図４５の処理によって生成された画像の一例を示すものである。図４６（Ａ）は、スキャナ位置、角度の設定値に対応する任意の撮影方向から投影したＸ線被検者画像の一例を示す図であるり、図４６（Ｂ）は、同方向から投影した可視光被検者画像の一例を示す図であり、図４６（Ｃ）は、両画像を重ね合わせた画像である。

なお、本実施例では、主に歯顎部の撮影を行う歯科用ＣＴに関して説明してきたが、本発明は、ＣＴ装置、Ｘ線Ｃアーム装置、手術用Ｘ線Ｃアーム装置、モバイルＸ線Ｃアーム装置にも利用できることは言うまでも無い。この場合、特にＣＴ装置とＸ線Ｃアーム装置では透明なベッドや椅子を使用することで本発明を有効に実施可能となる。
上述の実施の形態では、Ｘ線管及び２次元検出器を備えたスキャナが回転して、頭頚部を撮影する座位型Ｘ線診断装置を例に説明した。この場合、可視光撮影装置とＸ線撮影装置の回転中心軸及び回転面をキャリブレーションにより統一させているので、表面三次元画像と内部三次元画像との融合が容易である。また、スキャナが回転型である為、回転に伴う被写体のブレが無いという効果を有する。
図４７は、本発明の実施の形態の変形例である被検者回転型装置の一例を示す図である。被検者回転型装置は、被検者の搭載された椅子が回転台駆動手段によって駆動されるものである。このように被写体回転型であるため、省スペースであり、。回転軸方向の制約を解除することができる。また、ＳＩＤを可変とすることにより被写体の幅、奥行きに対しても制約を解除することができる。
図４８は、被写体が水平配置で、スキャナが垂直回転で、撮像系一体で構成されたガントリ型の被写体臥位の撮影装置の一例を示す図である。この装置によれば、可視光撮影装置及び照明が透過可能な材料をスキャナカバーの必要な部位に配置することで、可視光とＸ線による同時撮影が可能である。
図４９は、被写体が水平配置で、スキャナが垂直回転で、撮像系は一体で構成された開放型の撮影装置の一例を示す図である。図５０は、被写体が水平配置で、撮像系分離で構成されたガントリ型の撮影装置の一例を示す図である。図５１は、被写体が任意配置で、スキャナが任意回転で、撮像系分離で構成された開放型の撮影装置である。

従来のＸ線断層撮影装置の一例を示す図である。 本発明のＸ線断層撮影装置のハードウェア構成の一例を示す。 図２に示した計測装置の内、スキャナに対するカメラ及び照明の配置について示す図である。 カメラにより得た回転撮影画像を基に３次元再構成画像を生成する処理の過程を示す図である。 カメラにより得た回転撮影画像を基に３次元再構成画像を生成する処理の流れを示すフローチャート図である。 Ｘ線検出器により得たＸ線透視画像と可視光３次元再投影画像とを重ね合わせて位置決めに用いる画像を生成する処理の過程を示す図である。 Ｘ線検出器により得たＸ線透視画像と可視光３次元再投影画像とを重ね合わせて位置決めに用いる画像を生成する処理の流れを示すフローチャート図である。 可視光３次元投影画像の一例を示す図である。 図８の可視光３次元投影画像に、Ｘ線による透視画像を重ねて表示した場合の一例を示す図である。 カメラ系座標系とＸ線計測系座標系の相対的な移動の関係を示す図である。 検出器の視野サイズもしくはコリメータによる視野サイズの変更の関係を示す図である。 Ｘ線による透視画像のうち、ＬＡＴ方向の透視画像のみを被検者の可視光３次元再投影画像に重ねて表示することを示す図である。 Ｘ線による透視画像のうち、ＡＰ方向の透視画像のみを被検者の可視光３次元再投影画像に重ねて表示することを示す図である。 Ｘ線による透視画像上に、Ｘ線管焦点から検出器までのＸ線経路の境界を重ねて表示することを示す図である。 Ｘ線による透視画像を、検出器の位置に表示することを示す図である。 Ｘ線による透視画像を、Ｘ線経路上の任意の位置に表示することを示す図である。 Ｘ線による透視画像において、被検者の輪郭内の画像を生成し、これを被検者の可視光３次元再投影画像に重ね合わせて表示することを示す図である。 カメラにより得た回転撮影画像を基に可視光３次元再構成画像を生成する処理の過程とＸ線による透視画像を基にＸ線３次元再構成画像を生成する処理の過程とによってそれぞれ生成された３次元画像を重ね合わせる場合の一例を示す図である。 図１８の処理の流れを示すフローチャート図である。 カメラにより得た回転撮影画像を基に可視光３次元再構成画像を生成する処理の過程とＸ線による透視画像を基にＸ線３次元再構成画像を生成する処理の過程とによってそれぞれ生成された３次元画像を重ね合わせる場合の別の一例を示す図である。 図２０の処理の流れを示すフローチャート図である。 可視光３次元投影画像とＸ線による透視再構成画像とを重ね合わせた画像の一例をそれぞれ示す図である。 可視光３次元投影画像とＸ線による透視再構成画像とを重ね合わせた画像の一例をそれぞれ示す図である。 可視光３次元投影画像とＸ線による透視再構成画像とを重ね合わせた画像の一例をそれぞれ示す図である。 図２に示した計測装置の内、スキャナに対するカメラの配置について示す図である。 図２に示した計測装置の構成の内、Ｘ線管、コリメータ、カメラについての配置の変形例を示す図である。 可視光３次元投影画像とＸ線３次元投影画像とを重ね合わせて表示する場合の表示処理の一部を抜き出して示す図である。 図２７の処理によって表示される画像の一例を示す図である。 可視光３次元投影画像とＸ線３次元投影画像とを重ね合わせて表示する場合の表示処理の第１の変形例を示す図である。 図２９の処理によって表示される画像の一例を示す図である。 可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第２の変形例を示す図である。 図３１の処理によって表示される画像の一例を示す図である。 可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第３の変形例を示す図である。 図３３の処理によって表示される画像の一例を示す図である。 可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第４の変形例を示す図である。 図３５の処理によって表示される画像の一例を示す図である。 可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第５の変形例を示す図である。 図３６の処理によって表示される画像の一例を示す図である。 可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第６の変形例を示す図である。 図３９の処理によって表示される画像の一例を示す図である。 可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第７の変形例を示す図である。 図４１の処理によって表示される画像の一例を示す図である。 可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第８の変形例を示す図である。 図４３の処理によって表示される画像の一例を示す図である。 可視光３次元投影画像とＸ線投影画像とを重ね合わせて表示する場合の表示処理の第９の変形例を示す図である。 図４５の処理によって表示される画像の一例を示す図である。 被検者回転型装置の一例を示す図である。 本発明の実施の形態の変形例である被検者回転型装置の一例を示す図である。 被写体が水平配置で、スキャナが垂直回転で、撮像系は一体で構成された開放型の撮影装置の一例を示す図である。 被写体が水平配置で、スキャナが垂直回転で、撮像系分離で構成されたガントリ型の撮影装置の一例を示す図である。 被写体が任意配置で、スキャナが任意回転で、撮像系分離で構成された開放型の撮影装置である。

符号の説明

１…スキャナ
２…コリメータ
３…椅子
４…画像処理部
５…表示装置
６…外部入力装置
７…被検者
８…可視光カメラ
９…照明
１１…Ｘ線管
１２…検出器
１７…スキャナ支持器
１８…スキャナ回転軸
１９…スキャナ駆動手段
２９…コリメータ駆動手段
３１…椅子支持器
３９…椅子駆動手段
４１…インターフェース（Ｉ／Ｆ）
４２…メモリ
４３…ハードディスク
４４…ＣＰＵ
８１…焦点
１１１…Ｘ線源中心
１１２…放射口
１１３…ミラー

Claims (1)

1. 被検体の内部構造の情報を取得する内部構造情報取得手段と、
   前記被検体の外部表面の情報を取得する外部表面情報取得手段と、
   前記内部構造情報取得手段で取得された前記内部構造情報及び前記外部表面情報取得手段で取得された前記外部表面情報に基づいて前記被検体の内部構造に関する画像及び外部表面に関する画像を重ね合わせて同時に表示する表示手段と
   を備えたことを特徴とする画像表示装置。

Images