JP2011212301A - 投影画像生成装置および方法、並びにプログラム - Google Patents

Abstract

【課題】臓器中の病変のように他の構造物によって遮蔽された構造物に対する処置具の接近経路上の様子をより容易に把握できるようにする。
【解決手段】３次元医用画像中の第１構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する投影画像生成部１７を備えた投影画像生成装置に、３次元医用画像中に処置具の想定位置を設定する処置具位置設定部１３と、３次元医用画像から第１構造物の表面を検出する表面検出部１５と、３次元医用画像に表された、第１構造物によって遮蔽される位置にある第２構造物（例えば病変）を特定する病変位置特定部１４と、処置具を想定位置から第２構造物に接近させる際の想定経路と第１構造物の表面との交点P_Aを検出する交点検出部１６とを設け、投影画像生成部１７が、視点と交点P_Aとを結ぶ視線上の画像情報が投影される位置に、交点P_Aを識別可能な態様で表すようにした。
【選択図】図２

Description

本発明は、３次元医用画像に表された構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する技術に関するものである。

近年、マルチスライスＣＴ（ＭＤＣＴ）等のモダリティの進歩により、質の高い３次元画像データが取得できるようになり、これらの画像データを用いた画像診断では、高精細な断面画像が用いられるだけでなく、被検体の仮想的・疑似的な３次元画像も用いられるようになってきる。さらに、画像認識技術を用いた３次元医用画像からの臓器構造の抽出等も行われており、より構造が識別された３次元医用画像から仮想的・疑似的な３次元画像を生成することが可能になり、生成された画像は、手術前のプランニング、シミュレーションや手術中のナビゲーションのためにも利用されている。

被検体の仮想的・疑似的な３次元画像を生成する手法としては、ボリュームレンダリングやサーフェスレンダリング等のレンダリング技術を用いた手法が知られている。また、特に、被検体内の仮想的な視点からの透視投影（中心投影）によって得られる画像は、仮想内視鏡画像と呼ばれ、あたかも被検体内を内視鏡で観察しているかのような画像が得られる。

この仮想内視鏡画像を用いて内視鏡下での手術を支援する技術が提案されている。

例えば、特許文献１には、内視鏡の位置をセンサで検出し、検出位置を視点とし、内視鏡よりも広い画角を有する仮想内視鏡画像を生成し、内視鏡撮影で得られた実内視鏡画像と仮想内視鏡画像とを重畳表示する装置が記載されている。

また、特許文献２には、内視鏡の位置をリアルタイムに検出し、内視鏡と同じ視野を有し、視野内の血管配置が視覚化された仮想内視鏡画像を生成するとともに、内視鏡下での手術に用いられる処置具の位置をリアルタイムに検出し、仮想内視鏡画像中での処置具の位置に処置具を表す画像を合成した画像を生成し、合成画像と実内視鏡画像を表示する装置が記載されている。

特開２００２−２６３０５３号公報 特開２００５−２１３５３号公報

内視鏡下の手術では、内視鏡の視線方向と処置具の操作方向は異なるため、これらの文献に記載されたような内視鏡の視点からの仮想内視鏡画像を用いて臓器内の病変を透視的に観察しても、その画像において、処置具の操作方向、すなわち、処置具が病変にアプローチする経路上の様子を把握することは困難である。例えば、図７に模式的に示したように、視線方向VLが視野の中心となる仮想内視鏡画像では、処置具が臓器内に進入する位置を把握することは難しく、また、半透明化により、臓器内に存在する血管等の手術上注意すべき他の構造物を観察することは可能であるが、その構造物が処置具の進入位置から病変までの経路上に存在するかどうかについても把握することが難しい。

本発明は上記事情に鑑みてなされたものであり、臓器中の病変のように他の構造物によって遮蔽された注目構造物に対する処置具の接近経路上の様子をより容易に把握可能な投影画像を生成する装置および方法、並びにプログラムを提供することを目的とするものである。

本発明の投影画像生成装置は、３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する投影画像生成手段を備えた投影画像生成装置に、前記３次元医用画像の座標空間内に処置具の想定位置を設定する処置具位置設定手段と、前記３次元医用画像から前記第１の構造物の表面を検出する表面検出手段と、前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定する第２の構造物特定手段と、前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出する交点検出手段とを設け、前記投影画像生成手段が、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成するようにしたものである。

本発明の投影画像生成方法は、３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する方法であって、前記３次元医用画像の座標空間において、前記視点から前記第１の構造物を見たときの該第１の構造物の正面側であって、該第１の構造物の外側に、処置具の想定位置を設定するステップと、前記３次元医用画像から前記第１の構造物の表面を検出するステップと、前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定するステップと、前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出するステップとをさらに行うようにし、前記投影画像を生成するステップにおいて、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成するようにしたものである。

本発明の投影画像生成プログラムは、コンピュータを上記投影画像生成装置として機能させるために、上記投影画像生成装置の各手段を処理ステップとしてコンピュータに実行させるものである。

ここで、「第１の構造物」は、処置具の想定位置から見たときに「第２の構造物」を遮蔽するものである。「第１の構造物」と「第２の構造物」の具体例としては、第１の構造物である臓器の内部に第２の構造物である病変が存在する場合が挙げられる。あるいは、処置具の想定位置から見て、第１の構造物の後方に第２の構造物が存在する場合であってもよい。また、「第１の構造物」の他の具体例としては、体表が挙げられる。一方、「第２の構造物」は、典型的には、処置具による処置対象、すなわち、手術対象部位である。

「投影画像」の生成の際の所与の視点から所与の投影面への投影方法は、中心投影としてもよいし、視点が無限遠方にあると考えて平行投影としてもよい。

「複数の視線上の画像情報」を投影する際、各視線上の画像情報は、視線の近傍の画素の画像情報を用いた補間演算によって求められたものであってもよい。

「所与の視点」は、ユーザの手動操作によって設定された位置としてもよいし、３次元医用画像の座標空間における、内視鏡位置検出手段によってリアルタイムに検出された被検体の体腔内に挿入された内視鏡の位置に対応する位置としてもよい。

この場合、内視鏡によるリアルタイムの撮像によって体腔内を表す実内視鏡画像を形成するようにし、さらに、実内視鏡画像と、その実内視鏡画像の形成とほぼ同じタイミングで内視鏡位置検出手段によって検出された内視鏡の位置に基づく投影画像とを重畳させた重畳画像を生成するようにしてもよい。

「処置具の想定位置」は、ユーザの手動操作によって設定された位置としてもよいし、３次元医用画像の座標空間における、処置具位置検出手段によってリアルタイムに検出された被検体の体腔内に挿入された処置具の位置に対応する位置としてもよい。

「第１の構造物の表面を検出する」方法や「第２の構造物を特定する」方法は、公知の画像認識技術を用いた自動的方法、ユーザの手動操作による方法、両者を組み合わせた方法のいずれであってもよい。

「交点を検出する」方法の具体例としては、第２の構造物を、第２の構造物から処置具の想定位置に向かう方向にある第１の構造物の表面に投影することによって、交点を検出する方法が挙げられる。この場合、第１の構造物の表面に投影された第２の構造物を、前記所与の視点から投影画像の投影面に投影することによって、投影画像中で「交点を識別可能な態様で表す」ことができる。ここで、第１の構造物の表面に投影された第２の構造物は、平行投影によって投影を行うことが好ましい。

さらに、その際、処置具の位置から見て第２の構造物の手前にある第３の構造物を、第２の構造物から処置具の想定位置に向かう方向にある第１の構造物の表面にさらに投影するようにしてもよい。ここで、「第３の構造物」の具体例としては、手術において注意を有する解剖学的構造物、すなわち、血管や、臓器、腫瘍等が挙げられる。

本発明では、処置具の想定位置から見たときに第１の構造物によって遮蔽された第２の構造物が表された３次元医用画像を入力として、所与の視点からの複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する際に、処置具をその想定位置から第２の構造物に接近させる際の想定経路と第１の構造物の表面との交点を検出し、投影画像の投影面上における、視点と交点とを結ぶ視線上の画像情報が投影される位置に、その交点を識別可能な態様で表すことができる。これにより、注目対象である第２の構造物を遮蔽する第１の構造物への処置具の進入位置を、所与の視点からの投影画像上で把握することが可能になる。この所与の視点からの投影画像を通常の診断や手術シミュレーション、手術ナビゲーションで用いる視点からの画像にすれば、観察者は、違和感を覚えたり、混乱をきたしたりすることなく、通常の画像を観察するのと同じ感覚で、臓器中の病変のように他の構造物（第１の構造物）によって遮蔽された注目構造物（第２の構造物）に対する処置具の接近経路上の様子をより容易に把握することが可能になり、手術の精度や安全性の向上に資する。

本発明の第１の実施の形態となる手術シミュレーション機能が実装された医用画像診断システムの概略構成図 本発明の第１の実施形態における手術シミュレーション機能を実現する構成および処理の流れを模式的に示したブロック図 本発明の実施形態における医用画像診断システムを用いた手術シミュレーションの流れを表したフローチャート 投影画像の視線および処置具の位置の設定を行う画面の一例を模式的に表した図 視線方向のレイキャスティングと処置具の操作方向のレイキャスティングを模式的に表した図 本発明の第１の実施形態において生成される投影画像の一例を模式的に表した図 本発明に対する比較例における視線方向のレイキャスティングを模式的に表した図 本発明に対する比較例において生成される投影画像の一例を模式的に表した図 本発明の第２の実施形態およびその比較例におけるレイキャスティングを模式的に表した図 本発明の第２の実施形態およびその比較例において生成される投影画像の一例を模式的に表した図 本発明の第３の実施形態において生成される投影画像の一例を模式的に表した図 本発明の第４の実施形態においてサーフェスレンダリングによって投影画像が生成される様子を模式的に表した図 本発明の第５の実施の形態となる手術ナビゲーション機能が実装された内視鏡観察支援システムのハードウェア構成図 本発明の第５の実施形態における内視鏡観察支援システムの機能ブロック図 本発明の第５の実施形態における内視鏡観察支援システムを用いた手術ナビゲーションの流れを表したフローチャート 本発明の第５の実施形態において生成される、実内視鏡画像と仮想内視鏡画像を重畳した表示画像の一例を模式的に表した図

図１は、本発明の第１の実施形態となる手術シミュレーション機能が実装された医用画像診断システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、モダリティ１と、画像保管サーバ２と、画像処理ワークステーション３とが、ネットワーク９を経由して通信可能な状態で接続されている。

モダリティ１には、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データを生成し、その画像データにＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、画像情報として出力する装置が含まれる。具体例としては、ＣＴ、ＭＲＩなどが挙げられる。本実施形態では、ＣＴで被検体である人体の体軸方向にスキャンすることによって人体の肝臓を含む腹部の３次元画像データを生成する場合について説明する。

画像保管サーバ２は、モダリティ１で取得された医用画像データや画像処理ワークステーション３での画像処理によって生成された医用画像の画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェア（たとえば、ＯＲＤＢ（Object Relational Database）管理ソフトウェア）を備えている。

画像処理ワークステーション３は、読影者からの要求に応じて、モダリティ１や画像保管サーバ２から取得した医用画像データに対して画像処理（画像解析を含む）を行い、生成された画像を表示するコンピュータであり、ＣＰＵ，主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置（マウス、キーボード等）、表示装置（ディスプレイモニタ）、データバス等の周知のハードウェア構成を備え、周知のオペレーティングシステム等がインストールされたものである。本発明の投影画像生成処理を用いた手術シミュレーション機能は、この画像処理ワークステーション３に実装されており、この処理は、ＣＤ−ＲＯＭ等の記録媒体からインストールされたプログラムを実行することによって実現される。また、プログラムは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。

画像データの格納形式やネットワーク９経由での各装置間の通信は、ＤＩＣＯＭ等のプロトコルに基づいている。

図２は、画像処理ワークステーション３の機能のうち、本発明の第１の実施形態となる手術シミュレーション機能に関連する部分を示すブロック図である。図に示すように、本発明の第１の実施形態となる手術シミュレーション機能は、３次元医用画像取得部１１、視線設定部１２、処置具位置設定部１３、病変位置特定部１４、表面位置検出部１５、交点検出部１６、投影画像生成部１７、表示制御部１８によって実現される。また、３次元医用画像Ｖ、投影画像Ｉ_P、投影画像Ｉ_Pにおける視線VL、処置具の想定位置（以下、処置具位置）Ｐ_T、肝臓中の病変位置Ｐ_I、肝臓の表面位置SF、処置具の操作方向と肝臓の表面位置との交点Ｐ_A、は、各々、上記各処理部によって、画像処理ワークステーション３の所定のメモリ領域に対して読み書きされるデータである。

図３は、本発明の第１の実施形態となる手術シミュレーションのためのソフトウェアの実行下でのユーザの操作や、演算処理、表示処理等の流れを示したフローチャートであり、図２も参照しつつ、本発明の第１の実施形態となる手術シミュレーションの流れについて説明する。

まず、モダリティ１による被検体の腹部の撮像により、３次元医用画像Ｖが形成される。画像処理ワークステーション３では、３次元医用画像取得部１１が、モダリティ１によって形成された３次元医用画像Ｖを取得した後(#1)、病変位置特定部１４が、３次元医用画像Ｖに表された肝臓中の病変を抽出し、その位置Ｐ_Iを特定するとともに(#2)、表面位置検出部１５が、３次元医用画像Ｖから肝臓の表面位置SFを検出する(#3)。一方、視線設定部１２および処置具位置設定部１３が、ユーザの操作に基づき、各々、後続のステップで生成される投影画像Ｉ_Pにおける視線VL、および、手術で用いられる処置具位置Ｐ_Tを設定する(#4)。

次に、投影画像生成部１７が、３次元医用画像Ｖを入力として、視線設定部１２によって設定された複数の視線VL上の画像情報を所与の投影面に投影した投影画像Ｉ_Pを生成する(#5, #6, #8, #9, #10)。その際、交点検出部１６が、処置具位置設定部１３によって設定された処置具位置Ｐ_Tから病変位置特定部１４によって特定された病変位置Ｐ_Iまで処置具を接近させる際の想定経路（操作方向）と表面位置検出部１５によって検出された肝臓の表面SFとの交点Ｐ_Aを検出し(#7)、投影画像生成部１７は、交点検出部１６によって検出された交点Ｐ_Aを通る視線VL上の画像情報が投影される位置に、交点Ｐ_Aを識別可能な態様で表した投影画像Ｉ_Pを生成する(#8)。なお、この一連の処理の詳細については後述するが、本実施形態では、交点検出部１６は、病変位置特定部１４によって抽出された病変位置Ｐ_Iを、処置具の操作方向にある肝臓の表面SFに平行投影することによって、交点Ｐ_Aを検出するように構成されており、この交点検出部１６の処理は投影画像生成部１７の視線毎の投影処理の中で逐次行われる。

そして、表示制御部１８が、生成された投影画像Ｉ_Pを画像処理ワークステーション３のディスプレイに表示させる(#11)。

次に、画像処理ワークステーション３内の各処理部で行われる処理の詳細について説明する。

３次元医用画像取得部１１は、モダリティ１から３次元医用画像Ｖを受信し、画像処理ワークステーション３の所定のメモリ領域に格納する通信インターフェース機能を有する。

視線設定部１２および処置具位置設定部１３は、各々、投影画像Ｉ_Pにおける視線VLおよび手術で用いられる処置具位置Ｐ_Tの設定のためのユーザ操作を受け付ける、図４に例示したような設定画面を含むユーザインターフェースを提示する。図に示したように、視線設定部１２および処置具位置設定部１３は、３次元医用画像Ｖに基づいてアキシャル断面画像を生成し、設定画面中に表示させる。ここで、アキシャル断面画像の断面の位置は、例えば、アキシャル断面画像の生成に先立って病変位置特定部１４で特定された病変位置Ｐ_Iの中心を通る位置とすることができ、さらに、ユーザによるキーボードやポインティングデバイス等を用いた操作に応じて断面位置を変更することができる。また、病変を表す領域（図中Ｐ_Iを付した領域）にはマーカーが重畳表示されている。ユーザが、例えば、ポインティングデバイスを用いてツールバー（図示せず）から視線設定のためのアイコンを選択した後、アキシャル断面画像中の所望の位置でクリック操作をしたままドラッグ操作をすることによって、視線方向を表す矢印（図中のVL）を描くと、視線設定部１２は、この操作を検知して３次元医用画像Ｖの座標空間における視線VLの向きを決定し、所定のメモリ領域に格納する。一方、ユーザが、例えば、ポインティングデバイスを用いてツールバー（図示せず）から処置具位置設定のためのアイコンを選択した後、アキシャル断面画像中の所望の処置具の想定位置でクリック操作すると（図中の点Ｐ_T）、処置具設定部１３は、この操作を検知して３次元医用画像Ｖの座標空間における処置具位置Ｐ_Tの位置を特定し、所定のメモリ領域に格納する。なお、処置具位置Ｐ_Tが設定されることにより、処置具が病変位置Ｐ_Iの中心に向かう向き、すなわち、処置具の操作方向（図中のTL）が決定される。

病変位置特定部１４は、３次元医用画像Ｖを入力として、公知の画像認識手法を用いて、手術対象となる肝臓中の病変領域を抽出し、病変位置Ｐ_Iを特定する。例えば、本出願人が提案する特開2008-245719号公報に記載の手法を用いた場合、病変位置特定部１４は、アキシャル断面画像に対するユーザのポインティングデバイス等の操作による病変領域内の任意の点の設定を受け付け、予め定義しておいた病変領域のありうる大きさの情報を用いて、病変領域が存在し得る３次元の存在範囲を決定し、設定された点と、決定された存在範囲の外側の点とに基づいて、グラフカット法等の領域分割方法などを用いて病変領域を抽出することができる。なお、本実施形態では、病変位置Ｐ_Iは病変位置特定部１４によって抽出された３次元の病変領域を表す点の集合を意味する。以下では、文脈に応じて病変位置Ｐ_Iを病変領域Ｐ_Iと呼ぶ。

表面位置検出部１５は、３次元医用画像Ｖを入力として、公知の画像認識手法を用いて、肝臓の表面位置SFを検出する。例えば、本出願人が提案する特開2009-211138号公報に記載の手法を用いた場合、表面位置検出部１５は、まず、肝臓が表されたアキシャル断面画像に対するユーザによるポインティングデバイス等の操作に応じて、肝臓領域内の任意の点を設定する（以下、この点をユーザ設定点と呼ぶ）。次に、AdaBoost手法等の機械学習によって取得された識別器を用いて肝臓領域の輪郭の角ばった箇所を基準点として検出する。さらに、ユーザ設定点を中心として、肝臓を含む程度の大きさの３次元領域（以下、処理対象領域と呼ぶ）内の各点（ボクセル）について、AdaBoost手法等の機械学習によって取得された識別器を用いて、肝臓の輪郭上の点かどうかを表す評価値を算出する。そして、処理対象領域の外周上の各点を肝臓領域外の背景領域内の点と予め判定するとともに、ユーザ設定点および基準点が肝臓領域内の点であると予め判定した上で、さらに処理対象領域内の各点の評価値を用いて、グラフカット法を適用することによって、３次元医用画像Ｖから肝臓領域を抽出する。抽出された肝臓領域の輪郭が表面位置SFとなる。

交点検出部１６は、公知のレイキャスティング手法を応用して、病変位置Ｐ_Iを処置具の操作方向TLに肝臓の表面位置SF上に投影することによって、処置具の操作方向TLと肝臓の表面位置SFとの交点Ｐ_A、すなわち、処置具の肝臓への進入位置を検出する。

一方、投影画像生成部１７は、３次元医用画像Ｖを入力とし、公知のレイキャスティングを用いたボリュームレンダリング手法を用いて視線VL方向への平行投影を行うことによって、投影画像Ｉ_Pを生成する。

ここで、本実施形態では、図３のフローチャートのステップ#6から#10に示したように、交点検出部１６と投影画像生成部１７とは一体的に処理を行う。以下、図５の模式図を参照しつつ、その処理内容を説明する。なお、病変位置特定部１４で検出された病変領域Ｐ_Iに属する各ボクセルには色情報（Ｒ，Ｇ，Ｂの各信号値）C_Iおよび不透明度α_I（=1）、表面位置検出部１５で検出された肝臓の表面位置SFを表す各ボクセルには色情報C_SFおよび不透明度α_SF（=1）、他の領域には色情報C_OTおよび不透明度α_OT（=0）が、各々、割り当てられるように、プログラムの起動パラメータや設定ファイル等で予め定義されている。

まず、投影画像生成部１７は、視線VL上の最初の探索点の情報を読み込み(#5)、その探索点が肝臓の表面位置SF上にあるかどうかを判定する(#6)。具体的には、その探索点自体、あるいは、その近傍の８ボクセルの少なくとも１つが表面位置SFにあるかどうかを判定する。その探索点が表面位置SF上ではない場合には(#6;No)、その探索点に割り当てられた色情報および不透明度を用いたレイキャスティング（視線方向レイキャスティング）を行う(#9)。一方、その探索点が表面位置SF上にある場合には(#6;Yes)、交点検出部１６が、その探索点から操作方向TLの被検体内部に向かう向きにレイキャスティング（操作方向レイキャスティング）を行い、計算結果となる色情報C_TL、累積不透明度α_TLを求める(#7)。そして、投影画像生成部１７は、その表面位置SF上の探索点に割り当てられた色情報C_SFと、操作方向レイキャスティングによって得られた色情報C_TLおよび累積不透明度α_TLとから、その探索点における色情報をα_TL・C_TL＋（１−α_TL）・C_SFに置換して視線方向レイキャスティングを行う(#8)。以上の処理により、視線方向における１つの探索点に対するレイキャスティング処理が終わり、この時点で、視線方向レイキャスティングの終了条件を満たした場合、すなわち、視線方向レイキャスティングにおける累積不透明度α_VLが1に達したか、探索点が３次元医用画像Ｖの範囲外に達したかのいずれかの場合(#10; Yes)、視線方向レイキャスティングを終了し、終了条件を満たしていない場合には(#10; No)、視線方向における次の探索点の情報を取得し(#5)、上記ステップ#6から#9の処理を終了条件を満たすまで(#10; Yes)、繰り返し行う。なお、図３のフローチャートには明示していないが、ステップ#5から#10までの処理は、投影画像Ｉ_Pを構成する各画素に対応する複数の視線のすべてに対して、並列にあるいは順次行われる。

図５に示した例では、視線VL₁、VL₂とも、各視線に沿った視線方向レイキャスティングにおいて、探索点が肝臓の表面位置SFに達するまでは探索点における不透明度α_OTが0であるため、色情報は蓄積されない。そして、探索点が肝臓表面位置SFに達すると、各々、操作方向TL₁、TL₂に沿った操作方向レイキャスティングが行われる。まず、肝臓の表面位置SFにある視線VL₁上の探索点では、その探索点からの操作方向レイキャスティングにおいて、探索点が病変領域Ｐ_Iに達するまでは探索点における不透明度α_OTが0であるため、色情報C_TL1および累積不透明度α_TL1は蓄積されないが、探索点が病変領域Ｐ_Iに達すると、色情報C_Iが蓄積されるとともに、この病変領域Ｐ_I内の探索点では不透明度α_Iが1であるため、操作方向レイキャスティングの終了条件（視線方向レイキャスティングの終了条件と同様）を満たし、操作方向レイキャスティングは終了する。したがって、この操作方向レイキャスティングによって色情報C_TL1（＝病変領域Ｐ_Iの色情報C_I）および累積不透明度α_TL1（＝病変領域Ｐ_Iの不透明度α_I＝１）が得られる。ここで、視線方向レイキャスティングに戻ると、肝臓の表面位置SFに割り当てられた色情報C_SFと、操作方向レイキャスティングで得られた色情報C_TL1（＝C_I）および累積不透明度α_TL1（＝１）とより、この探索点の色情報は、α_TL1・C_TL1＋（１−α_TL1）・C_SF＝C_Iとなり、肝臓の表面位置SF上の探索点に割り当てられた不透明度α_SFが1のため、ここで視線方向レイキャスティングも終了条件を満たして終了する。これにより、視線VL₁に対応する投影画像Ｉ_Pの画素の色情報はC_Iとなる。一方、肝臓の表面位置SFにある視線VL₂上の探索点では、その探索点からの操作方向レイキャスティングにおいて、その操作方向TL₂上に病変領域Ｐ_I内の探索点が存在しないので、すべての探索点で不透明度はα_OT（＝0）となり、色情報C_TL2および累積透明度α_TL2が蓄積されることなく、探索点が３次元医用画像Ｖの範囲外に達して終了条件を満たし、色情報C_TL2および累積不透明度α_TL2は0のまま操作方向レイキャスティングが終了する。ここで、視線方向レイキャスティングに戻ると、操作方向レイキャスティングで得られた色情報C_TL2（＝0）および累積不透明度α_TL2（＝0）とより、この探索点の色情報は、α_TL2・C_TL2＋（１−α_TL2）・C_SF＝C_SFとなり、肝臓の表面位置SF上の探索点では不透明度α_SFが1のため、ここで視線方向レイキャスティングも終了条件を満たして終了する。これにより、視線VL₂に対応する投影画像Ｉ_Pの画素の色情報C_SFとなる。

このように、視線方向レイキャスティングと操作方向レイキャスティングとを組み合わせて行うことにより、病変領域Ｐ_Iは操作方向に肝臓の表面SFに平行投影され、視線方向VLへの平行投影により、肝臓の表面の他の領域とは異なる色情報が投影画像Ｉ_Pの投影面に投影される。すなわち、処置具位置Ｐ_Tから病変位置Ｐ_Iまでの処置具の操作経路と肝臓の表面SFとの交点Ｐ_Aが検出され、投影画像Ｉ_Pに識別可能な態様で表されたことになる。

図６は、以上の処理によって生成された投影画像Ｉ_Pの一例を模式的に表したものである。図に示したとおり、肝臓の表面SFが投影されたボリュームレンダリング画像に、想定位置Ｐ_Tから病変領域Ｐ_Iに向かう処置具の進入位置である交点Ｐ_Aが重畳された画像となっている。

これに対して、図７および図８は、本発明の第１の実施形態に対する比較例であり、図７に模式的に表したように、病変領域Ｐ_Iを視線VLに沿って肝臓の表面位置SFに平行投影した場合、生成される投影画像は図８に示したようになり、病変領域Ｐ_Iの投影位置Ｐ_A´は、本発明の第１の実施形態における投影位置Ｐ_Aとは異なり、処置具の進入位置とは一致しなくなる。なお、投影位置Ｐ_Aは比較対照のために描いたものであり、図７に示した投影方法では描出されない。

以上のように、本発明の第１の実施形態によれば、投影画像生成部１７が、３次元医用画像Ｖを入力として、視線設定部１２によって設定された複数の視線VL上の画像情報を所与の投影面に投影した投影画像Ｉ_Pを生成する際に、交点検出部１６が、病変位置特定部１４によって特定された病変領域Ｐ_Iを、処置具位置設定部１３によって設定された処置具の想定位置Ｐ_Tから病変領域Ｐ_Iまで処置具を接近させる際の操作方向に、肝臓の表面SFに平行投影することによって、交点Ｐ_Aを検出し、投影画像生成部１７は、検出された交点Ｐ_Aを通る視線上の画像情報が投影される位置に、交点Ｐ_Aを識別可能な態様で表した投影画像Ｉ_Pを生成することができる。これにより、病変領域Ｐ_Iを包含する肝臓への処置具の進入位置を、投影画像Ｉ_P上で容易かつ的確に把握することが可能になる。また、この投影画像Ｉ_Pは、手術の際の視野と同様のものとすることができるので、この投影画像Ｉ_Pを手術シミュレーションで用いることによって、観察者は、違和感を覚えたり、混乱をきたしたりすることなく、通常の手術時に患部を観察するのと同じ感覚で、肝臓中の病変領域Ｐ_Iに対する処置具の接近経路上の様子をより容易に把握することが可能になり、手術の精度や安全性の向上に資する。

また、病変位置特定部１４によって抽出された病変位置Ｐ_Iは、処置具の操作方向に沿って肝臓の表面SFに平行投影されるので、病変位置Ｐ_Iの形状や大きさも肝臓の表面SF上にそのまま反映され、より観察に適した投影画像Ｉ_Pが得られる。

上記実施形態では、交点検出部１６と投影画像生成部１７とは、一体的に処理を行っているが、交点検出部１６が、まず、病変領域Ｐ_Iを操作方向TLに沿って肝臓の表面SFに投影し、その投影された肝臓の表面SF上の位置の色情報をα_TL・C_TL＋（１−α_TL）・C_SFに置換しておき、次に、投影画像生成部１７が視線方向VLに平行投影を行うようにしてもよい。あるいは、先に、投影画像生成部１７が視線方向VLに平行投影を行い、その後、交点検出部１６が、病変領域Ｐ_Iを操作方向TLに沿って肝臓の表面SFに投影し、投影された位置Ｐ_Aが投影される投影画像Ｉ_P中の位置を特定し、その位置の色情報をα_TL・C_TL＋（１−α_TL）・C_SFに置換するようにしてもよい。

本発明の第２の実施形態は、肝臓内部の血管等の構造物Ｐ_Xに対して、色情報C_X（≠0）、および、不透明度α_X（0＜α_X＜1）を割り当てるとともに、病変領域Ｐ_Iに対する不透明度α_Iを0＜α_I＜1の範囲内に変更した形態である。また、交点検出部１６と投影画像生成部１７とは一体的に処理を行わず、上記のように交点検出部１６、投影画像生成部１７の順か、その逆の順に処理を行うようにした形態である。

これにより、図９に模式的に示したように、交点検出部１６による処置具の操作方向TLのレイキャスティングの際、病変領域Ｐ_Iだけでなく、処置具位置Ｐ_Tと病変領域Ｐ_Iを結ぶ直線上にある、色情報C_Xおよび不透明度α_Xが割り当てられた構造物Ｐ_Xも肝臓の表面SFに投影される。図１０は、本発明の第２の実施形態において生成される投影画像Ｉ_Pを模式的に表したものである。図に示したように、投影画像Ｉ_P上において、操作方向TLと肝臓の表面SFが交わる位置に、病変領域Ｐ_Iを表す領域Ｐ_Aおよび他の構造物Ｐ_Xを表す領域Ｐ_Bが投影され、処置具の操作方向TLにおける病変領域Ｐ_Iと他の構造物Ｐ_Xとの位置関係が把握しやすくなるので、手術の際の要注意構造物（ここではＰ_X）等の発見が容易になり、手術の精度や安全性がさらに向上する。一方、本発明の第１の実施形態に対する比較例と同様に、病変領域Ｐ_Iと他の構造物Ｐ_Xとを視線方向VLに投影した場合、投影画像Ｉ_P上では、各々、Ｐ_A´、Ｐ_B´のように投影されてしまい、処置具の操作方向TLにおける病変領域Ｐ_Iと他の構造物Ｐ_Xとの位置関係が把握しづらくなってしまう。

本発明の第３の実施形態は、上記第２の実施形態において、さらに、肝臓の表面SFに割り当てられた不透明度α_SFを0＜α_SF＜1の範囲内に変更した形態である。これにより、図１１に模式的に表したように、肝臓の表面SFを半透明化し、肝臓の内部の血管等の構造物を視認可能にしたボリュームレンダリング画像に、病変領域Ｐ_Iや構造物Ｐ_Xを処置具の操作方向TLに肝臓の表面SFに投影して重畳した投影画像Ｉ_Pを生成することが可能になり、肝臓の内部構造を観察しやすくしつつ、処置具の進入位置の把握も可能になる。

本発明の第４の実施形態は、公知のサーフェスレンダリング手法を用いて投影画像Ｉ_Pを生成するようにした形態である。具体的には、図１２に模式的に示したように、病変位置特定部１４が病変領域の表面モデルＰ_Iを生成するとともに、表面位置検出部１５が肝臓の表面モデルSFを生成しておき、交点検出部１６が、病変領域の表面モデルＰ_Iを処置具の操作方向TLに投影したときの肝臓の表面モデルSFとの交差部分に病変領域の表面モデルＰ_Iを表すテクスチャを貼り付け、投影画像生成部１７が、視線方向VLから、病変領域の表面モデルＰ_Iを表すテクスチャが貼り付けられた肝臓の表面モデルSFを可視化した投影画像Ｉ_Pを生成する。これにより、レンダリング手法の違いはあるものの、第１の実施形態と同様の効果が得られる。

本発明の第５の実施の形態は、手術ナビゲーション機能が実装された内視鏡観察支援システムである。図１３は、この内視鏡観察支援システムの概要を示すハードウェア構成図である。図に示したように、このシステムは、内視鏡１０１、デジタルプロセッサ１０２、光源装置１０３、実内視鏡画像用ディスプレイ１０４、モダリティ１０５、処置具１０６、内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂ、位置センサ１０８、画像処理ワークステーション１０９、画像処理ワークステーション用ディスプレイ（以下、ＷＳディスプレイ）１１０から構成されている。

本実施形態では、内視鏡１０１は腹腔用の硬性鏡であり、被検体の腹腔内に挿入される。光源装置１０３から光ファイバーで導かれた光が内視鏡１０１の先端部から照射され、内視鏡１０１の撮像光学系により被検体の腹腔内の画像が得られる。デジタルプロセッサ１０２は、内視鏡１０１で得られた撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行った後、ＤＩＣＯＭ規格で規定された付帯情報を付加して、実内視鏡画像データ(Ｉ_RE)を出力する。出力された実内視鏡画像データ(Ｉ_RE)は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション１０９に送信される。また、デジタルプロセッサ１０２は、実内視鏡画像データ(Ｉ_RE)をアナログ信号に変換して実内視鏡画像用ディスプレイ１０４に出力し、実内視鏡画像用ディスプレイ１０４には実内視鏡画像(Ｉ_RE)が表示される。内視鏡１０１での撮像信号の取得は所定のフレームレートで行われるので、実内視鏡用ディスプレイ４では、実内視鏡画像(Ｉ_RE)が腹腔内を表す動画として表示される。さらに、内視鏡１０１では、ユーザの操作に応じて静止画撮影も可能である。

モダリティ１０５は、第１から第４の実施形態のモダリティ１と同様であり、形成された３次元医用画像データ(Ｖ)は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション１０９に送信される。

内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂ、および、位置センサ１０８は、公知の３次元位置計測装置を構成する。内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂは、各々、内視鏡１０１および処置具１０６の手元付近に設けられており、光学式の位置センサ１０８によって、所定の時間間隔で各マーカー１０７ａ、１０７ｂの３次元位置が検出される。内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂは、各々、複数のマーカー片から構成されているので、位置センサ１０８は、各マーカー片の位置関係から内視鏡１０１や処理具１０６の向きも検出可能であり、オフセット計算によって、内視鏡１０１や処置具１０６の先端部の３次元位置(PS_E、PS_T)を算出することができる。位置センサ１０８は、算出された内視鏡１０１および処置具１０６の３次元位置データ(PS_E、PS_T)を、ＵＳＢインターフェースを介して画像処理ワークステーション１０９に送信する。

画像処理ワークステーション１０９は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、入力装置（ポインティングデバイス、キーボード等）や、ＷＳディスプレイ１１０が接続されている。また、画像処理ワークステーション１０９は、デジタルプロセッサ１０２やモダリティ１０５とはＬＡＮ接続されており、位置センサ１０８とはＵＳＢ接続されている。さらに、画像処理ワークステーション１０９は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本発明の手術ナビゲーションを実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。

図１４は、本発明の第５の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。図に示したように、本発明の第５の実施形態となる内視鏡観察得支援システムは、内視鏡１０１、実内視鏡画像形成部１０２、実内視鏡画像用ディスプレイ１０４、３次元医用画像形成部１０５、処置具１０６、ＷＳディスプレイ１１０、内視鏡位置検出部１１１、処置具位置検出部１１２、実内視鏡画像取得部１２１、内視鏡位置取得部１２２、処置具位置取得部１２３、３次元医用画像取得部１２４、病変位置特定部１２５、表面位置検出部１２６、交点検出部１２７、仮想内視鏡画像生成部１２８、表示制御部１２９から構成されている。なお、図１３に示したハードウェア機器と図１４に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。すなわち、実内視鏡画像形成部１０２の機能は図１３のデジタルプロセッサによって実現され、３次元医用画像形成部１０５の機能は図１３のモダリティによって実現される。一方、内視鏡位置検出部１１１の機能は、内視鏡用マーカー１０７ａおよび位置センサ１０８によって、処置具位置検出部１１２の機能は、処置具用マーカー１０７ｂおよび位置センサ１０８によって、各々実現される。また、破線枠は画像処理ワークステーション１０９を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション１０９で所定のプログラムを実行することによって実現される。さらに、破線枠内の、実内視鏡画像Ｉ_RE、内視鏡位置Ｐ_E、処置具位置Ｐ_T、３次元医用画像Ｖ、病変位置Ｐ_I、病変を遮蔽する構造物（以下、遮蔽構造物という）の表面位置SF、仮想内視鏡画像Ｉ_VEは、各々、破線枠内の各処理部によって、画像処理ワークステーション１０９の所定のメモリ領域に対して読み書きされるデータである。

次に、図１５に示したフローチャートを用いて、本発明の第５の実施形態となる内視鏡観察支援システムで行われるユーザの操作や、上記各処理部で行われる処理の概略的な流れを説明する。

まず、内視鏡１０１を用いた被検体の腹腔内の観察に先立って、３次元医用画像形成部１０５による被検体の腹腔内の撮像により、３次元医用画像Ｖが形成される。画像処理ワークステーション１０９では、３次元医用画像取得部１２４が、３次元医用画像形成部１０５によって形成された３次元医用画像Ｖを取得した後(#101)、病変位置特定部１２５が、３次元医用画像Ｖに表された病変領域を抽出し、その位置Ｐ_I（以下、第１の実施形態と同様に病変領域Ｐ_Iともいう）を特定するとともに(#102)、表面位置検出部１２６が、３次元医用画像Ｖから、遮蔽構造物の表面位置SFを検出する(#103)。

そして、図１５のフローチャートの右側に付記したように、病変領域Ｐ_Iを対象とする内視鏡下手術中、すなわち、内視鏡１０１を用いた被検体の腹腔内の観察中は、観察が終了するまで(#113; YES)、実内視鏡画像形成部１０２は、所定のフレームレートで、体腔内に挿入された内視鏡１０１による実内視鏡画像Ｉ_REを繰り返し形成し、形成された実内視鏡画像Ｉ_REは実内視鏡画像用ディスプレイ１０４にスルー動画としてリアルタイムに表示される。また、内視鏡位置検出部１１１および処置具位置検出部１１２は、各々、所定の時間間隔で、体腔内に挿入された内視鏡１０１および処置具１０６の各々の位置PS_E、PS_Tを繰り返しリアルタイムに検出する。

画像処理ワークステーション１０９では、実内視鏡画像取得部１２１が、実内視鏡画像形成部１０２で形成された実内視鏡画像Ｉ_REを取得し(#104)、これとほぼ同じタイミングで、内視鏡位置取得部１２２が、内視鏡位置検出部１１１で検出された内視鏡位置PS_Eを取得し、取得された内視鏡位置PS_Eを３次元医用画像Ｖの座標系における位置に変換して得られた内視鏡位置Ｐ_Eを出力するとともに、処置具位置取得部１２３が、処置具位置検出部１１２で検出された処置具位置PS_Tを取得し、取得された処置具位置PS_Tを３次元医用画像Ｖの座標系における位置に変換して得られた処置具位置Ｐ_Tを出力する(#105)。

仮想内視鏡画像生成部１２８は、３次元医用画像取得部１２４によって取得された３次元医用画像Ｖを入力として、内視鏡位置取得部１２２によって取得された内視鏡位置Ｐ_Eを視点とする複数の視線上の画像情報を所与の投影面に中心投影した仮想内視鏡画像Ｉ_VEを生成する(#106, #107, #109, #110, #111)。その際、交点検出部１２７が、処置具位置取得部１２３によって取得された処置具位置Ｐ_Tから病変位置特定部１２５によって特定された病変位置Ｐ_Iまで処理具１０６を移動させる際の想定経路（操作方向）と、表面位置検出部１２６によって検出された遮蔽構造物の表面SFとの交点Ｐ_Aを検出し(#108)、仮想内視鏡画像生成部１２８は、交点検出部１２７によって検出された交点Ｐ_Aを通る視線上の画像情報が投影される位置に、交点Ｐ_Aを識別可能な態様で表した仮想内視鏡画像Ｉ_VEを生成する(#109)。

そして、表示制御部１２９は、実内視鏡画像取得部１２１によって取得された実内視鏡画像Ｉ_REと、仮想内視鏡画像生成部１２８によって生成された仮想内視鏡画像Ｉ_VEとを重畳させてＷＳディスプレイ１１０に表示させる(#112)。

画像処理ワークステーション１０９では、観察終了を指示する操作が行わない限り(#113; No)、新たな実内視鏡画像Ｉ_REの取得(#104)、その時点での内視鏡位置Ｐ_Eおよび処置具位置Ｐ_Tの取得(#105)、仮想内視鏡画像Ｉ_VEの生成(#106から#111)、実内視鏡画像Ｉ_REと仮想内視鏡画像Ｉ_VEの重畳表示の更新(#112)が繰り返し行われる。これにより、ＷＳディスプレイ１１０では、実内視鏡画像Ｉ_REと仮想内視鏡画像Ｉ_VEとが時間的に同期した連続重畳表示が実現される。一方、観察終了を指示する操作が行われた場合には(#113; Yes)、画像処理ワークステーション１０９は、上記ステップ#104から#112までの繰返し処理を終了する。

次に、画像処理ワークステーション１０９内の各処理部で行われる処理の詳細について説明する。

実内視鏡画像取得部１２１は、実内視鏡画像形成部（デジタルプロセッサ）２との通信により、実内視鏡画像Ｉ_REを受信し、画像処理ワークステーション１０９の所定のメモリ領域の格納する通信インターフェースであり、実内視鏡画像取得部１２１からの要求に基づいて実内視鏡画像形成部１０２から実内視鏡画像Ｉ_REが転送される。

内視鏡位置取得部１２２は、内視鏡位置検出部１１１との通信により内視鏡位置PS_Eを取得する通信インターフェースとしての機能と、取得した内視鏡位置PS_Eを位置センサ１０８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された内視鏡位置Ｐ_Eに変換して画像処理ワークステーション１０９の所定のメモリ領域に格納する機能とを有する。前者の通信インターフェース機能では、内視鏡位置取得部１２２からの要求ベースで内視鏡位置検出部１１１から内視鏡位置PS_Eが取得される。また、後者の座標変換機能では、位置センサの３次元座標系における各座標軸と３次元医用画像Ｖの３次元座標系における各座標軸との向きの対応関係に基づいて、座標軸の回転量を予め求めておくとともに、３次元医用画像Ｖの原点に相当する被検体中の位置の、位置センサ１０８の３次元座標系における座標値を予め計測しておき、この原点の座標値に基づいて、両座標軸の平行移動量を求めておけば、その回転量の回転とその平行移動量の平行移動を行う行列を用いて、位置センサ１０８の３次元座標系で表現された内視鏡位置PS_Eを３次元医用画像Ｖの３次元座標系の座標値で表現された内視鏡位置Ｐ_Eに変換することができる。

処置具位置取得部１２３は、内視鏡位置取得部１２２と同様に、処置具位置検出部１１２との通信により処置具位置PS_Tを取得する通信インターフェースとしての機能と、取得した処置具位置PS_Tを位置センサ１０８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された処置具位置Ｐ_Tに変換して画像処理ワークステーション１０９の所定のメモリ領域に格納する機能とを有する。

３次元医用画像取得部１２４は、３次元医用画像形成部１０５から３次元医用画像Ｖを受信し、画像処理ワークステーション１０９の所定のメモリ領域に格納する通信インターフェース機能を有する。

病変位置特定部１２５は、第１から第４の実施形態の病変位置特定部１４と同様である。

表面位置検出部１２６は、第１の実施形態と同様に公知の画像認識技術を用いた手法を用いて、または、内視鏡位置Ｐ_Eからの中心投影の際の各視線上において、画素値が所定の閾値以上に急激に変化する位置、あるいは、画素値が所定の閾値以上となる位置を検出することによって、遮蔽構造物の表面SFを検出する。

交点検出部１２７は、処置具位置Ｐ_Tが処置具位置取得部１２３から得られた実際の処置具１０６の位置である点を除いて第１から第４の実施形態の交点検出部１６と同様である。

仮想内視鏡画像生成部１２８は、視線VL方向への平行投影ではなく、内視鏡位置取得部１２２で得られた内視鏡１０１の実際の位置Ｐ_Eを視点とする中心投影である点を除いて、第１から第４の実施形態の投影画像生成部１７と同様である。すなわち、仮想内視鏡画像生成部１２８は、本発明における投影画像生成手段に相当する。

したがって、図１５のステップ#106から#111までは図３のステップ#5から#10と同様である。すなわち、仮想内視鏡画像生成部１２８による視線方向レイキャスティングと交点検出部１２７による操作方向レイキャスティングとを組み合わせて行うことにより、病変領域Ｐ_Iは処置具１０６の実際の操作方向に遮蔽構造物の表面SFに平行投影され、実際の内視鏡の位置Ｐ_Eからの中心投影により、遮蔽構造物の表面SFとは異なる色情報が仮想内視鏡画像Ｉ_VEの投影面に投影される。

表示制御部１２９は、実内視鏡画像Ｉ_REと仮想内視鏡画像Ｉ_VEとを視野の中心が一致するように重ね合わせた表示画像を生成し、ＷＳディスプレイ１１０に出力する。両画像の重ね合わせは公知のアルファブレンド処理を用いることができる。図１６はこの表示画像の一例を模式的に表したものであり、実内視鏡画像Ｉ_REと、実内視鏡画像Ｉ_REよりも視野の広い仮想内視鏡画像Ｉ_VEとが重ね合わされ、仮想内視鏡画像Ｉ_VE中において、遮蔽構造物の表面SFに操作方向に投影された病変領域Ｐ_IがＰ_Aとして識別可能な態様で表示されている。

以上のように、本発明の第５の実施形態では、交点検出部１２７が、処置具位置検出部１１２によって検出され、処置具位置取得部１２３によって座標変換された、実際の処置具１０６のリアルタイムの位置Ｐ_Tを用いて、病変位置Ｐ_Iが投影される操作方向を決定するとともに、仮想内視鏡画像生成部１２８が、内視鏡位置検出部１１１によって検出され、内視鏡位置取得部１２２によって座標変換された、実際の内視鏡１０１のリアルタイムの位置Ｐ_Eを中心投影の視点として仮想内視鏡画像Ｉ_VEを生成するので、内視鏡位置検出部１１１や処置具位置検出部１１２が内視鏡１０１や処置具１０６の位置をリアルタイムに検出した結果のフィードバックによって仮想内視鏡の視野や、処置具１０６の遮蔽構造物への進入位置Ｐ_Aがリアルタイムに変更された仮想内視鏡画像Ｉ_VEが連続的に表示される、いわゆる拡張現実感表示（Augmented Reality）が実現され、内視鏡下手術を動的にかつ的確に支援することが可能になる。

上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。

また、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。

例えば、システム構成については、図１のシステム構成において、画像処理ワークステーション３を複数台で構成し、各ワークステーションで処理を分担してもよい。また、図１３のシステム構成において、画像保管サーバをＬＡＮ上に接続し、モダリティ１０５で形成された３次元医用画像Ｖは、いったん画像保管サーバのデータベースに格納されるようにし、画像処理ワークステーション１０９からの要求に応じて、画像保管サーバから画像処理ワークステーション１０９に３次元医用画像Ｖが転送されるようにしてもよい。

また、ハードウェア構成については、図１のモダリティ１や図１３のモダリティ１０５は、上記のＣＴ装置のほか、超音波診断装置やＭＲＩ装置等を用いてもよい。また、図１３の内視鏡１０１は、硬性鏡ではなく、軟性鏡やカプセル型内視鏡を用いてもよい。さらに、内視鏡位置検出部１１１や処置具位置検出部１１２は、磁気式のものを用いてもよいし、上記特許文献２に記載されているように、ジャイロやロータリーエンコーダ等を用いてもよい。

観察部位は肝臓や腹腔内ではなく、胸腔内等、被検体の他の部位であってもよい。

さらに、画像処理ワークステーション３、１０９の処理では、３次元医用画像取得部１１、１２４は、３次元医用画像Ｖを術前に取得するようにしてもよいし、術中に取得するようにしてもよい。ここで、第５の実施形態の場合、３次元医用画像Ｖを術中に取得する場合には、内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂ、位置センサ１０８を用いずに、術中に取得された３次元医用画像Ｖから公知のパターン認識により内視鏡１０１や処置具１０６の位置を検出するようにしてもよい。また、術中に３次元医用画像を連続的に取得する場合、被検体の被ばく量低減のため、モダリティ１、１０５には超音波診断装置を用いることが好ましい。

病変位置特定部１２５は、予め３次元医用画像Ｖの付帯情報として関連づけられた病変位置Ｐ_Iの情報を取得するようにしてもよい。

交点検出部１６、１２７は、表面位置SF上ではなく、表面位置SFと等価な位置、例えば、表面位置SFから数画素程度離れた位置等に、病変位置Ｐ_Iを平行投影するようにしてもよい。

また、交点検出部１６，１２７は、病変位置Ｐ_Iを操作方向に表面位置SF上に平行投影する代わりに、病変領域Ｐ_Iの中心と処置具位置Ｐ_Tとを結んだ操作方向を表す直線と表面位置SFとの交点Ｐ_Aの位置を算出するようにし、投影画像生成部１７または仮想内視鏡画像生成部１２８は、投影画像Ｉ_Pまたは仮想内視鏡画像Ｉ_VE上における交点Ｐ_Aの位置に、矢印や丸印等のマーカー、テキストコメント等のアノテーションを付加するようにしてもよい。

第１の実施形態における投影画像生成部１７は、中心投影によって投影画像Ｉ_Pを生成するようにしてもよい。この場合、視線設定部１２の代わりに、視点位置を手動設定する処理部を設ければよい。

内視鏡位置取得部１２２や処置具位置取得部１２３で行われる座標変換を仮想内視鏡画像生成部１２８で行うようにしてもよい。

１ モダリティ
２ 画像保管サーバ
３ 画像処理ワークステーション
９ ネットワーク
１１ ３次元医用画像取得部
１２ 視線設定部
１３ 処置具位置設定部
１４ 病変位置特定部
１５ 表面位置検出部
１６ 交点検出部
１７ 投影画像生成部
１８ 表示制御部
１０１ 内視鏡
１０２ デジタルプロセッサ
１０３ 光源装置
１０４ 実内視鏡画像用ディスプレイ
１０５ モダリティ
１０６ 処置具
１０７ａ 内視鏡用マーカー
１０７ｂ 処置具用マーカー
１０８ 位置センサ
１０９ 画像処理ワークステーション
１１０ 画像処理ワークステーション用ディスプレイ
１１１ 内視鏡位置検出部
１１２ 処置具位置検出部
１２１ 実内視鏡画像取得部
１２２ 内視鏡位置取得部
１２３ 処置具位置取得部
１２４ ３次元医用画像取得部
１２５ 病変位置特定部
１２６ 表面位置検出部
１２７ 交点検出部
１２８ 仮想内視鏡画像生成部
１２９ 表示制御部

Claims (11)

1. ３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する投影画像生成手段を備えた投影画像生成装置であって、
   前記３次元医用画像の座標空間内に処置具の想定位置を設定する処置具位置設定手段と、
   前記３次元医用画像から前記第１の構造物の表面を検出する表面検出手段と、
   前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定する第２の構造物特定手段と、
   前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出する交点検出手段とをさらに備え、
   前記投影画像生成手段が、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成するものであることを特徴とする投影画像生成装置。
2. 前記交点検出手段は、前記第２の構造物を、該第２の構造物から前記処置具の想定位置に向かう方向にある前記第１の構造物の表面に投影することによって、前記交点を検出するものであり、
   前記投影画像生成手段は、前記第１の構造物の表面に投影された前記第２の構造物を、前記視点から前記投影面に投影することによって、前記交点を識別可能な態様で表すものであることを特徴とする請求項１に記載の投影画像生成装置。
3. 前記交点検出手段は、前記処置具の位置から見て前記第２の構造物の手前にある第３の構造物を、該第２の構造物から前記処置具の想定位置に向かう方向にある前記第１の構造物の表面にさらに投影するものであることを特徴とする請求項２に記載の投影画像生成装置。
4. 前記第１の構造物の表面への投影は平行投影であることを特徴とする請求項２または３に記載の投影画像生成装置。
5. 被検体の体腔内に挿入された内視鏡の位置をリアルタイムに検出する内視鏡位置検出手段をさらに備え、
   前記所与の視点の位置が、前記３次元医用画像の座標空間における、前記内視鏡位置検出手段によって検出された前記内視鏡の位置に対応する位置であることを特徴とする請求項１から４のいずれか１項に記載の投影画像生成装置。
6. 前記内視鏡によるリアルタイムの撮像によって前記体腔内を表す実内視鏡画像を形成する実内視鏡画像形成手段と、
   前記実内視鏡画像と、該実内視鏡画像の形成とほぼ同じタイミングで前記内視鏡位置検出手段によって検出された前記内視鏡の位置に基づく前記投影画像とを重畳させた重畳画像を生成する重畳画像生成手段とをさらに備えたことを特徴とする請求項５に記載の投影画像生成装置。
7. 被検体の体腔内に挿入された処置具の位置をリアルタイムに検出する処置具位置検出手段をさらに備え、
   前記処置具の想定位置が、前記３次元医用画像の座標空間における、前記処置具位置検出手段によって検出された前記処置具の位置に対応する位置であることを特徴とする請求項１から６のいずれか１項に記載の投影画像生成装置。
8. 前記第２の構造物は手術対象部位であることを特徴とする請求項１から７のいずれか１項に記載の投影画像生成装置。
9. 前記第３の構造物は手術において注意を有する解剖学的構造物であることを特徴とする請求項１から８のいずれか１項に記載の投影画像生成装置。
10. ３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成するステップを有する投影画像生成方法であって、
    前記３次元医用画像の座標空間において、前記視点から前記第１の構造物を見たときの該第１の構造物の正面側であって、該第１の構造物の外側に、処置具の想定位置を設定するステップと、
    前記３次元医用画像から前記第１の構造物の表面を検出するステップと、
    前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定するステップと、
    前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出するステップとをさらに有し、
    前記投影画像を生成するステップにおいて、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成することを特徴とする投影画像生成方法。
11. コンピュータに、３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成するステップを実行させる投影画像生成プログラムであって、該コンピュータに、
    前記３次元医用画像の座標空間内に処置具の想定位置を設定するステップと、
    前記３次元医用画像から前記第１の構造物の表面を検出するステップと、
    前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定するステップと、
    前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出するステップとをさらに実行させ、
    前記投影画像を生成するステップにおいて、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成させることを特徴とする投影画像生成プログラム。