JP2014236340A

JP2014236340A - 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置

Info

Publication number: JP2014236340A
Application number: JP2013116191A
Authority: JP
Inventors: 快行爰島; Yasuyuki Kokojima
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2013-05-31
Filing date: 2013-05-31
Publication date: 2014-12-15
Also published as: US20140354774A1

Abstract

【課題】立体画像のフォーカスを、医用画像撮影装置と同じフォーカスに自動的に合わせることが可能な画像処理装置、方法、及びプログラム、並びに、立体画像表示装置を提供する。
【解決手段】実施形態の画像処理装置は、３次元の医用画像データを示すボリュームデータから立体画像を生成する画像処理装置であって、取得部と生成部とを備える。取得部は、ボリュームデータを取得する。生成部は、ボリュームデータのうち、画像処理装置と接続される光学系を有する医用画像撮影装置の焦点位置に対応する注目領域の視差量が所定の閾値以下になるように、ボリュームデータをレンダリングして、立体画像を生成する。
【選択図】図７

Description

本発明の実施形態は、画像処理装置、方法、及びプログラム、並びに、立体画像表示装置に関する。

従来、Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置などの医用画像診断装置の分野では、３次元の医用画像（ボリュームデータ）を生成可能な装置が実用化されている。また、ボリュームデータを任意の視点からレンダリングする技術が実用化されており、ボリュームデータを複数の視点からレンダリングして視差画像を生成し、立体画像表示装置に立体的に表示する技術が知られている。

このような立体画像表示装置では、立体画像がディスプレイの手前側に飛び出す、あるいは、奥側に引っ込むほど、立体画像の精細度が低下してブレやボケが生じてしまう問題がある。したがって、効果的にボリュームデータを立体表示するためには、手前側に飛び出さず、かつ、奥側に引っ込まずに、最も高い精細度で表示される奥行き位置に、ユーザが注目すべき注目箇所を配置することが重要になる。

そのための従来技術として、バウンダリボックスと呼ばれるインタフェースが知られている。バウンダリボックスとは、コンピュータグラフィックス（ＣＧ）の仮想空間の領域の中で、立体画像表示装置に再現される立体画像の精細度が許容値以上となる領域である。バウンダリボックスの中央の断面（フォーカス面）においては、表示対象物の視差量がゼロになる。すなわち、手前側に飛び出さず、かつ、奥側にも位置せずに、最も高い精細度で対象物が表示される。ユーザがバウンダリボックスを移動して注目箇所にフォーカス面を合わせることにより、その箇所を最も高い精細度で表示することができる。

特開２００７−９６９５１号公報

近年、顕微鏡を覗き込みながら手術器具を操作する顕微鏡下手術（マイクロサージェリー）において、顕微鏡と並べて上述の立体画像表示装置を置き、手術前にＣＴ装置やＭＲＩ装置などの医用画像診断装置によって生成されたボリュームデータを立体表示することで、顕微鏡で直接見ることのできない体内の情報を術者（医師）に提示することが検討されている。

しかしながら、術者が顕微鏡から目を離して立体画像表示装置を見たときに、それまで顕微鏡でフォーカスを合わせて見ていた箇所に立体画像のフォーカスが合っていない状況が多発する。ここで、「立体画像のフォーカス」とは、立体画像のボケ具合を意味し、「立体画像のフォーカスが合う」とは、所望の箇所にバウンダリボックスのフォーカス面が配置されて、その箇所が最も高い精細度で表示されている状態を言うものとする。この結果、立体画像を見るたびに、術者自身（あるいは補助者）が、立体画像のフォーカスを顕微鏡と同じフォーカスに合わせなければならず、手術の効率が低下してしまう。

本発明が解決しようとする課題は、立体画像のフォーカスを、光学系を有する医用画像撮影装置と同じフォーカスに自動的に合わせることが可能な画像処理装置、方法、及びプログラム、並びに、立体画像表示装置を提供することである。

実施形態の画像処理装置は、３次元の医用画像データを示すボリュームデータから立体画像を生成する画像処理装置であって、取得部と生成部とを備える。取得部は、ボリュームデータを取得する。生成部は、ボリュームデータのうち、画像処理装置と接続される光学系を有する医用画像撮影装置の焦点位置に対応する注目領域の視差量が所定の閾値以下になるように、ボリュームデータをレンダリングして、立体画像を生成する。

実施形態の画像表示システムの構成例を示す図。実施形態のボリュームデータの一例を説明するための図。実施形態の立体画像表示装置の構成例を示す図。実施形態の表示部を示す模式図。実施形態の表示部を示す模式図。実施形態のボリュームデータが立体表示される場合の概念図。実施形態の画像処理部の構成例を示す図。実施形態の第１設定部による設定を説明するための模式図。実施形態の第１設定部による設定を説明するための模式図。実施形態の第２設定部による設定を説明するための模式図。実施形態の第２設定部による設定を説明するための模式図。実施形態のボリュームデータをレンダリングする場合の概念図。実施形態の立体画像表示装置の動作例を示すフローチャート。変形例の画像処理部の構成例を示す図。

以下、添付図面を参照しながら、本発明に係る画像処理装置、方法、及びプログラム、並びに、立体画像表示装置の実施形態を詳細に説明する。

図１は、本実施形態の画像表示システム１の構成例を示すブロック図である。図１に示すように、画像表示システム１は、医用画像診断装置１０と、画像保管装置２０と、立体画像表示装置３０と、医用画像撮影装置６０と、を備える。

図１の例では、医用画像診断装置１０、画像保管装置２０、および、立体画像表示装置３０は、通信網２を介して、直接的、又は間接的に通信可能な状態となっており、各装置は、医用画像等を相互に送受信することが可能である。通信網２の種類は任意であり、例えば医用画像診断装置１０、画像保管装置２０、および、立体画像表示装置３０は、病院内に設置されたＬＡＮ（Local Area Network）を介して、相互に通信可能な形態であってもよい。また、例えば医用画像診断装置１０、画像保管装置２０、および、立体画像表示装置３０は、インターネット等のネットワーク（クラウド）を介して、相互に通信可能な形態であってもよい。

また、立体画像表示装置３０は、医用画像撮影装置６０と通信可能に接続されている。立体画像表示装置３０と医用画像撮影装置６０との接続形態は任意であり、有線接続であってもよいし、無線接続であってもよい。

画像表示システム１は、医用画像診断装置１０により生成された３次元の医用画像データのボリュームデータから立体画像を生成する。そして、生成した立体画像を表示部に表示することで、病院内に勤務する医師や検査技師に立体視可能な医用画像を提供する。立体画像とは、観察者が立体視可能な画像を言う。一例として、本実施形態における立体画像は、互いに視差を有する複数の視差画像を含む画像である。以下、各装置を順に説明する。

医用画像診断装置１０は、３次元の医用画像データ（ボリュームデータ）を生成可能な装置である。医用画像診断装置１０としては、例えば、Ｘ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、又はこれらの装置群等が挙げられる。

医用画像診断装置１０は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置１０は、被検体を撮影することにより投影データやＭＲ信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数（例えば３００〜５００枚）のスライス画像（断面画像）を再構成することで、ボリュームデータを生成する。つまり、図２に示すように、被検体の体軸方向に沿って撮影された複数のスライス画像が、ボリュームデータである。以下では、被検体の体軸方向に対応する方向を、「ボリュームデータの奥行き方向」と呼ぶ場合がある。図２の例では、被検体の「脳」のボリュームデータが生成されている。なお、医用画像診断装置１０により撮影された被検体の投影データやＭＲ信号等自体をボリュームデータとしてもよい。

画像保管装置２０は、医用画像を保管するデータベースである。具体的には、画像保管装置２０は、医用画像診断装置１０から送信されたボリュームデータおよび位置情報を格納し、これを保管する。

立体画像表示装置３０は、互いに視差を有する複数の視差画像を含む立体画像を表示する装置である。立体画像表示装置３０は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用したものであってよい。立体画像表示装置３０の例としては、例えば視聴者が裸眼で立体画像を観察可能なＴＶ、ＰＣなどが挙げられる。本実施形態の立体画像表示装置３０は、画像保管装置２０から取得したボリュームデータから立体画像を生成して表示する。

立体画像表示装置３０と接続される医用画像撮影装置６０は、レンズなどの光学系を有する画像撮影装置である。本実施形態では、医用画像撮影装置６０は、顕微鏡（手術用顕微鏡）で構成される。顕微鏡は、被写界深度が極端に浅い（フォーカス範囲が極端に狭い）ため、術者（医師）は、注目箇所（例えば手術器具の先端位置など）に的確にフォーカス（焦点）を合わせて顕微鏡下手術を実施することになる。

次に、立体画像表示装置３０の具体的な構成を説明する。図３は、立体画像表示装置３０の構成例を示す図である。図３に示すように、立体画像表示装置３０は、画像処理部４０と表示部５０とを備える。例えば画像処理部４０と表示部５０とが、通信網（ネットワーク）を介して接続される形態であってもよい。画像処理部４０は、画像保管装置２０から取得したボリュームデータから立体画像を生成する。この詳細な内容については後述する。

表示部５０は、画像処理部４０によって生成された立体画像を表示する。図３に示すように、表示部５０は、表示パネル５２と、光線制御部５４と、を備える。表示パネル５２は、色成分を有する複数のサブ画素（例えば、Ｒ、Ｇ、Ｂ）を、第１方向（例えば、図３における行方向（左右））と第２方向（例えば、図３における列方向（上下））とに、マトリクス状に配列した液晶パネルである。この場合、第１方向に並ぶＲＧＢ各色のサブ画素が１画素を構成する。また、隣接する画素を視差の数だけ第１方向に並べた画素群に表示される画像を要素画像と称する。すなわち、表示部５０は、複数の要素画像をマトリクス状に配列した立体画像を表示する。表示部５０のサブ画素の配列は、他の公知の配列であっても構わない。また、サブ画素は、ＲＧＢの３色に限定されない。例えば、４色以上であってもよい。

表示パネル５２には、直視型２次元ディスプレイ、例えば、有機ＥＬ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、ＰＤＰ（ＰｌａｓｍａＤｉｓｐｌａｙＰａｎｅｌ）、投射型ディスプレイなどを用いる。また、表示パネル５２は、バックライトを備えた構成でもよい。

光線制御部５４は、表示パネル５２に対して間隔を隔てて対向して配置されている。光線制御部５４は、表示パネル５２の各画素からの光線の出射方向を制御する。光線制御部５４は、光線を出射するための光学的開口部が直線状に延伸し、当該光学的開口部が第１方向に複数配列されたものである。光線制御部５４には、例えば、シリンドリカルレンズが複数配列されたレンチキュラーシート、スリットが複数配列されたパララックスバリア等を用いる。光学的開口部は、表示パネル５２の各要素画像に対応して配置される。

なお、本実施形態では、立体画像表示装置３０は、同一の色成分のサブ画素が第２方向に配列され、かつ、第１方向に各色成分が繰り返して配列される「縦ストライプ配列」であるが、これに限られるものではない。また、本実施形態では、光線制御部５４は、その光学的開口部の延伸方向が表示パネル５２の第２方向に一致するように配置されているが、これに限らず、例えば光線制御部５４は、その光学的開口部の延伸方向が表示パネル５２の第２方向に対して傾きを有するように配置されていてもよい。

図４は、表示部５０の一部の領域を拡大して示す模式図である。なお、図４中の符号（１）〜（３）は、各々、視差画像の識別情報を示す。なお、ここでは、視差画像の識別情報として、視差画像の各々に一意に付与された視差番号を用いる。同一の視差番号の画素は、同一の視差画像を表示する画素である。図４に示す例では、視差番号１〜３の順に、各視差番号によって特定される視差画像の画素を並べて、要素画像２４としている。ここでは、視差数が３視差（視差番号１〜３）である場合を例に挙げて説明するが、これに限らず、他の視差数（例えば、視差番号１〜９の９視差）であってもよい。

図４に示すように、表示パネル５２は、要素画像２４が第１方向及び第２方向にマトリクス状に配列されている。例えば視差数が３の場合、各要素画像２４は、視差画像１の画素２４_１、視差画像２の画素２４_２、視差画像３の画素２４_３を、順に第１方向に並べた画素群である。

各要素画像２４における、各視差画像の画素（画素２４_１〜画素２４_３）から出射した光線は、光線制御部５４に到る。そして、光線制御部５４によって進行方向と散らばりが制御されて、表示部５０の全面に向けて出射する。例えば、各要素画像２４における、視差画像１の画素２４_１から出射した光は、矢印Ｚ１方向に出射する。また、各要素画像２４における視差画像２の画素２４_２から出射した光は、矢印Ｚ２方向に出射する。また、各要素画像２４における視差画像３の画素２４_３から出射した光は、矢印Ｚ３方向に出射する。このように、表示部５０では、各要素画像２４の各画素から出射する光の出射方向を、光線制御部５４によって調整する。

図５は、表示部５０をユーザ（視聴者）が観察した状態を示す模式図である。複数の要素画像２４からなる立体画像が表示パネル５２に表示された場合、ユーザは、要素画像２４に含まれる異なる視差画像の画素を、左眼１８Ａおよび右眼１８Ｂの各々で観察することになる。このように、ユーザの左眼１８Ａおよび右眼１８Ｂに対し、視差の異なる画像をそれぞれ表示することで、ユーザが立体画像を観察することができる。

図６は、図２に例示した「脳」のボリュームデータが立体表示される場合の概念図である。図６の符号１０１は、「脳」のボリュームデータの立体画像を概念的に示す。図６の符号１０２は、表示部５０のフォーカス面を示す。フォーカス面とは、立体視において手前に飛び出さず、かつ、奥側にも位置しない面を示す。表示パネル５２の画素から出射される光線の密度は、フォーカス面１０２から離れるほど疎になるので、画像の解像度も劣化する。したがって、例えば「脳」のボリュームデータ全体を高精細に表示するためには、表示部５０が許容値以上の精細度で立体画像を表示可能な奥行き方向の範囲（表示限界）を示す立体表示可能範囲１０３（後述のフォーカス範囲に相当）を考慮する必要がある。つまり、図６に示すように、立体表示されるときの「脳」のボリュームデータ１０１全体が、立体表示可能範囲１０３内に収まるように、各種のパラメータ（例えば立体画像を作成する際のカメラ間隔、角度、位置等）を設定する必要がある。なお、立体表示可能範囲１０３は、表示部５０の仕様や規格に応じて決まるパラメータであり、立体画像表示装置３０内のメモリ（不図示）に格納される構成であってもよいし、外部装置に格納される構成であってもよい。

次に、画像処理部４０の詳細な内容を説明する。図７は、画像処理部４０の構成例を示
すブロック図である。図７に示すように、画像処理部４０は、取得部４１と、特定部４２と、第１設定部４３と、第２設定部４４と、生成部４５と、表示制御部４６とを備える。また、画像処理部４０は、医用画像撮影装置６０と接続される。ここでは、画像処理部４０は、請求項の「画像処理装置」に対応している。

取得部４１は、画像保管装置２０にアクセスして、医用画像診断装置１０によって生成されたボリュームデータを取得する。ボリュームデータの中には、骨・血管・神経・腫瘍などの各臓器の位置を特定するための位置情報が含まれていてもよい。位置情報の形式は任意であり、例えば、臓器の種類を識別する識別情報と、臓器を構成するボクセル群とを対応付けて管理する形式でもよいし、ボリュームデータに含まれる各ボクセルに対して、当該ボクセルが属する臓器の種類を識別する識別情報を付加する形式でもよい。また、ボリュームデータの中には、各臓器をレンダリングする際の彩色や透過度に関する情報が含まれていてもよい。

また、取得部４１は、ボリュームデータに加えて、医用画像撮影装置６０から、ボリュームデータのうち医用画像撮影装置６０の焦点位置に対応する領域（点でもよい）を示す注目領域を特定可能なデータ（以下の説明では、「焦点データ」と称する場合がある）を取得する。焦点データとしては、例えば医用画像撮影装置６０のレンズの焦点距離、絞り、Ｆ値、被写界深度などが挙げられる。また、焦点データとしては、例えば医用画像撮影装置６０の座標系において医用画像撮影装置６０の焦点位置を示す座標値であってもよい。本実施形態では、取得部４１は、医用画像撮影装置６０の座標系において医用画像撮影装置６０の焦点位置を示す座標値を、焦点データとして取得する場合を例に挙げて説明する。なお、取得部４１が焦点データを取得するタイミングは任意であるが、本実施形態では、医用画像撮影装置６０は、術者（または補助者）の操作等により医用画像撮影装置６０の焦点位置（フォーカス）が変更されるたびに、そのときの焦点データを取得部４１へ送信する。

特定部４２は、取得部４１により取得された焦点データに基づいて、注目領域を特定する。本実施形態では、特定部４２は、取得部４１により取得された焦点データが示す座標値（医用画像撮影装置６０の座標系の座標値）を、ボリュームデータの座標系の座標値に変換する。そして、ボリュームデータのうち変換後の座標値が示す領域を、注目領域として特定する。

第１設定部４３は、ボリュームデータをレンダリングするための仮想空間において、許容値以上の精細度の立体画像が表示される領域を表すバウンダリボックスのうち精細度が最も高い面を示すフォーカス面が、注目領域を含むように、バウンダリボックスの位置を設定する。ここでは、バウンダリボックスの中央の断面において、表示対象物の視差量がゼロになる。すなわち、バウンダリボックスの中央の断面において、手前側に飛び出さず、かつ、奥側にも位置せずに、最も高い精細度で表示対象物が表示される。本明細書では、この断面を「フォーカス面」と呼ぶ。例えば仮想空間において、ボリュームデータのうち病変部などの注目箇所にフォーカス面を合わせるようにバウンダリボックスを移動（仮想空間におけるバウンダリボックスの位置を設定）することにより、その注目箇所を最も高い精細度で表示することができる。ここで、本明細書における精細度（解像度）とは光線の密度を指し、立体画像の精細度とは、表示パネル５２の画素から出射される光線の密度を指す。なお、本明細書におけるバウンダリボックスは、特開２００７−９６９５１号公報に開示されたバウンダリボックスと同じ概念である。

本実施形態では、注目領域が特定されていないデフォルトの状態では、図８に示すように、仮想空間において、フォーカス面がボリュームデータの中心（重心）位置を含むように、バウンダリボックスの位置が設定される。一方、特定部４２により注目領域が特定され、ボリュームデータの座標系で表される注目領域が、仮想空間におけるボリュームデータの領域Ｘに対応する場合は、図９に示すように、第１設定部４３は、仮想空間において、フォーカス面が領域Ｘ（注目領域）を含むようにバウンダリボックスの位置を設定する。

図７に戻って説明を続ける。第２設定部４４は、バウンダリボックスの奥行き方向（前後方向）の領域を可変に設定する。ここでは、バウンダリボックスの手前側の面は飛び出し表示限界、奥側の面は奥行き表示限界を表しており、それぞれ立体画像の精細度があらかじめ定められた許容値（例えばフォーカス面の精細度を１００％とした場合、５０％の精細度に相当する値を許容値とすることもできる）に低下する位置に相当する。本明細書ではこれらの面に挟まれた領域、つまり、バウンダリボックスの奥行き方向（前後方向）の領域を「フォーカス範囲」と呼ぶ。フォーカス範囲を変える（バウンダリボックスの厚みを広げるあるいは狭める）ことにより、フォーカス面から前後にどの程度離れた箇所まで許容値以上の精細度で立体表示するかを指定することができる。

本実施形態では、第２設定部４４は、医用画像撮影装置６０の被写界深度に応じて、バウンダリボックスの奥行き方向の範囲を可変に設定する。より具体的には、第２設定部４４は、取得部４１により取得された焦点データに含まれる被写界深度に合わせて、フォーカス範囲を設定する。つまり、第２設定部４４は、仮想空間において、ボリュームデータのうち、医用画像撮影装置６０により呈示される医用画像（この例では顕微鏡から呈示される画像）内のピントが合っているように見える範囲に対応する領域に、バウンダリボックスを合わせるように、フォーカス範囲を設定する。

さらに言えば、第２設定部４４は、バウンダリボックス内部のうち立体画像の精細度が所定値を示す領域が、医用画像撮影装置６０により呈示される医用画像のうち医用画像の精細度が上記所定値に対応する値を示す領域に対応するように、バウンダリボックスの奥行き方向の領域を設定する。以下、一例を挙げて説明する。

図１０は、医用画像撮影装置６０の焦点における医用画像の精細度を１００％として、医用画像撮影装置６０の被写体（撮影対象）の奥行き方向（前後方向）の位置と、医用画像の精細度との関係を示す模式図である。この例では、医用画像撮影装置６０は顕微鏡であるので、医用画像の精細度とは、レンズからの光の収束度合い（光線の密度）を指すと考えることができる。図１０の例では、医用画像撮影装置６０（顕微鏡）により呈示される医用画像のうち精細度が５０％を示す手前側の領域には、オブジェクトＹが映り込んでいると捉えることができる。

いま、この例では、バウンダリボックスの手前側の飛び出し表示限界を示す面の精細度は「５０％」であり、立体画像の精細度「５０％」は医用画像の精細度「５０％」に対応するものとする。したがって、第２設定部４４は、バウンダリボックス内部のうち精細度（立体画像の精細度）が「５０％」を示す領域（バウンダリボックスの手前側の飛び出し限界範囲を示す面）が、医用画像撮影装置６０により呈示される医用画像のうち精細度（医用画像の精細度）が「５０％」を示す手前側の領域に対応するように、バウンダリボックスの奥行き方向の領域を設定する。つまり、図１１に示すように、第２設定部４４は、仮想空間において、バウンダリボックスの手前側の飛び出し表示限界を示す面がオブジェクトＹを含むように、フォーカス範囲を設定する。このようにすることで、医用画像撮影装置６０により呈示される医用画像のピントが合っている範囲と、立体画像のピントが合っている範囲とを合わせ込むことができる。

なお、これに限らず、例えば第２設定部４４は、バウンダリボックスの奥行き方向の範囲（領域）を、表示部５０の仕様に従って予め定められた値（固定値）に設定することもできる。また、例えば第２設定部４４は、ユーザからの指示に従って、バウンダリボックスの奥行き方向の範囲を可変に設定することもできる。

再び図７に戻って説明を続ける。生成部４５は、注目領域の視差量が所定の閾値以下になるように、ボリュームデータをレンダリングして、立体画像を生成する。上記所定の閾値は任意に設定可能であるが、本実施形態では、一例として「０」に設定されている。より具体的には、生成部４５は、第１設定部４３により位置が設定され、かつ、第２設定部４４によりフォーカス範囲が設定されたバウンダリボックスに基づいて、複数の視点位置（作成すべき多視点画像に対応する仮想カメラが配置される位置）を算出する。そして、生成部４５は、算出した各視点から、取得部４１によって取得されたボリュームデータをレンダリングすることにより、複数の視差画像を生成する（つまり、立体画像を生成する）。ボリュームデータをレンダリングする際には、公知の様々なボリュームレンダリング技術を利用することができる。

図１２は、ボリュームデータを複数の視点からレンダリングする場合の概念図を示す。図１２（ａ）は複数の視点を直線上に等間隔に並べた例である。図１２（ｂ）は複数の視点を回転して並べた例である。ボリュームレンダリングを行う際の投影方法は平行投影と透視投影のいずれを用いても構わない。また、平行投影と透視投影を組み合わせた投影を用いても構わない。

再び図７に戻って説明を続ける。表示制御部４６は、生成部４５により生成された複数の視差画像を含む立体画像を表示部５０に表示する制御を行う。

なお、本実施形態の画像処理部４０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述した各部の機能（取得部４１、特定部４２、第１設定部４３、第２設定部４４、生成部４５、および、表示制御部４６）は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、各部の機能のうちの少なくとも一部を専用のハードウェア回路（例えば半導体集積回路等）で実現することもできる。

次に、本実施形態の立体画像表示装置３０の動作例を説明する。図１３は、立体画像表示装置３０の動作例を示すフローチャートである。最初のステップＳ１０００では、取得部４１は、画像保管装置２０にアクセスして、医用画像診断装置１０によって生成されたボリュームデータを取得する。ステップＳ１００１では、取得部４１は、医用画像撮影装置６０から前述の焦点データを取得する。ステップＳ１００２では、特定部４２は、ステップＳ１００１で取得された焦点データに基づいて、注目領域を特定する。ステップＳ１００３では、第１設定部４３は、仮想空間において、バウンダリボックスのフォーカス面が注目領域を含むように、バウンダリボックスの位置を設定する。ステップＳ１００４では、第２設定部４４は、ステップＳ１００１で取得された焦点データに含まれる被写界深度に合わせて、フォーカス範囲を設定する。ステップＳ１００５では、生成部４５は、ステップＳ１００３で位置が設定され、かつ、ステップＳ１００４でフォーカス範囲が設定されたバウンダリボックスに基づいて、複数の視点位置を算出する。ステップＳ１００６では、生成部４５は、ステップＳ１００５で算出した複数の視点位置から、ステップＳ１０００で取得されたボリュームデータをレンダリングすることにより、複数の視差画像を生成する。ステップＳ１００７では、表示制御部４６は、ステップＳ１００６で生成された複数の視差画像を含む立体画像を表示部５０に表示する制御を行う。

以上に説明したように、本実施形態では、顕微鏡下手術を実施する術者が手術用顕微鏡（医用画像撮影装置６０の一例）の焦点位置を変更するたびに、画像処理部４０は、ボリュームデータのうち、手術用顕微鏡の焦点位置（フォーカスが合っている位置）に対応する領域を示す注目領域を特定可能な焦点データを取得し、注目領域の視差量が閾値以下になるように（注目領域が最も高い精細度で表示されるように）、ボリュームデータから立体画像を生成する。したがって、顕微鏡の焦点位置を変更した術者が顕微鏡から目を離して表示部５０を観察したときに、当該術者は、それまで顕微鏡でフォーカスを合わせて見ていた箇所にフォーカスが合わせられた立体画像を観察することができる。つまり、本実施形態によれば、顕微鏡の焦点位置を調整するたびに、術者自身（あるいは補助者）が、立体画像のフォーカスを顕微鏡と同じフォーカスに合わせる作業が不要になるので、手術の効率を向上させることが可能になるという有利な効果を達成できる。

以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

（変形例）
以下、変形例を記載する。以下の変形例同士は任意に組み合わせることが可能である。また、以下の変形例と上述の実施形態は、任意に組み合わせることが可能である。

（１）変形例１
上述の実施形態では、画像処理部４０（取得部４１）は、光学系を有する医用画像撮影装置６０から前述の焦点データを取得しているが、これに限らず、例えば図１４に示すように、取得部４１は、手術器具の先端位置をリアルタイムに検出して術者に知らせる画像制御装置７０から前述の焦点データを取得することもできる。要するに、取得部４１は、医用画像撮影装置６０や画像制御装置７０などの外部装置から前述の焦点データを取得する形態であればよい。

近年の外科手術では、手術器具の先端位置をリアルタイムに検出して術者に知らせる手術ナビゲーションシステムが実用化されている。多くの場合、手術器具の先端位置は術者が顕微鏡（医用画像撮影装置６０）のフォーカスを合わせて見たい被写体の注目箇所と一致する。画像制御装置７０は、例えば手術ナビゲーションシステムのような方式により、手術器具の先端位置を検出し、その位置情報を外部の装置へ送信する機能を有する。

図１４の例では、画像制御装置７０は、手術器具の先端位置を検出するたびに、ボリュームデータの座標系において当該検出した手術器具の先端位置に対応する座標値を、前述の焦点データとして画像処理部４０（取得部４１）へ送信するとともに、顕微鏡の座標系において当該検出した手術器具の先端位置に対応する座標値を、顕微鏡の焦点位置を指定する情報（焦点位置指定情報）として医用画像撮影装置６０へ送信する。取得部４１は、画像制御装置７０から取得した焦点データが示す座標値を、そのまま注目領域として特定することができる。つまり、図１４の例では、特定部４２は不要となる。また、図１４の例では、医用画像撮影装置６０は、画像制御装置７０から取得した焦点位置指定情報に応じて、焦点位置を自動的に変更する機能を有してもよい。

なお、例えば画像制御装置７０は、手術器具の先端位置を検出するたびに、画像制御装置７０の座標系において当該検出した手術器具の先端位置に対応する座標値を、焦点データとして取得部４１へ送信する形態であってもよい。この形態では、画像処理部４０は、焦点データの座標系を変換して注目領域を特定する必要があるので、上述の実施形態と同様に、画像処理部４０は特定部４２を有する。そして、特定部４２は、取得部４１により取得された焦点データが示す座標値（画像制御装置７０の座標系の座標値）を、ボリュームデータの座標系の座標値に変換する。そして、特定部４２は、ボリュームデータのうち変換後の座標値が示す領域を、注目領域として特定する。

（２）変形例２
上述の実施形態では、医用画像撮影装置６０は、例えば術者（あるいは補助者）の操作等により焦点位置が変更されるたびに、医用画像撮影装置６０の座標系において医用画像撮影装置６０の焦点位置を示す座標値を、焦点データとして画像処理部４０（取得部４１）へ送信しているが、これに限らず、例えば医用画像撮影装置６０は、ボリュームデータの座標系において医用画像撮影装置６０の焦点位置に対応する座標値を、焦点データとして画像処理部４０（取得部４１）へ送信する形態であってもよい。この形態においては、画像処理部４０は、医用画像撮影装置６０から取得した焦点データが示す座標値を、そのまま注目領域として特定することができるので、図１４の例と同様に、上述の特定部４２は不要になる。要するに、画像処理部４０は、ボリュームデータのうち、医用画像撮影装置６０の焦点位置に対応する領域を示す注目領域を特定可能なデータ(焦点データ)を取得する機能を有するものであればよい。

（３）変形例３
上述の実施形態では、光学系を有する医用画像撮影装置６０の一例として顕微鏡（手術用顕微鏡）を挙げて説明したが、これに限らず、例えば医用画像撮影装置６０は、内視鏡であってもよい。

（４）変形例４
上述の実施形態では、画像処理部４０（生成部４５）は、算出した各視点から、取得部４１によって取得されたボリュームデータをレンダリングして、複数の視差画像を生成しているが、これに限らず、例えば画像処理部４０は、複数の視差画像を作らずに、ボリュームデータから直接的に立体画像を生成してもよい。例えば画像処理部４０は、表示パネル５２に配列された複数のサブ画素のうち、サブ画素から出射される光線の方向が同一方向であるとみなされる１以上のサブ画素のグループごとに、当該グループから出射される光線の方向を示す代表光線情報を算出し、算出した各グループの代表光線情報と、ボリュームデータとから、グループごとの輝度値を算出することで立体画像を生成することもできる。輝度値の算出方法としては、コンピュータグラフィクスの分野で広く知られているレイキャスティングやレイトレーシングなどの手法を用いることができる。レイキャスティングとは、予め定められた視点から光線を追跡し、光線と物体の交点における色情報を積算することでレンダリングを行う方法である。レイトレーシングとは、レイキャスティングにおいて反射光をさらに考慮するものである。

（プログラム）
上述の画像処理部４０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の画像処理部４０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。さらに、上述の画像処理部４０で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

１画像表示システム
１０医用画像診断装置
２０画像保管装置
３０立体画像表示装置
４０画像処理部
４１取得部
４２特定部
４３第１設定部
４４第２設定部
４５生成部
４６表示制御部
５０表示部
５２表示パネル
５４光線制御部
６０医用画像撮影装置
７０画像制御装置

Claims

３次元の医用画像データを示すボリュームデータから立体画像を生成する画像処理装置であって、
前記ボリュームデータを取得する取得部と、
前記ボリュームデータのうち、前記画像処理装置と接続される光学系を有する医用画像撮影装置の焦点位置に対応する注目領域の視差量が所定の閾値以下になるように、前記ボリュームデータをレンダリングして、前記立体画像を生成する生成部と、を備える、
画像処理装置。
前記ボリュームデータを前記レンダリングするための仮想空間において、許容値以上の精細度の前記立体画像が表示される領域を表すバウンダリボックスのうち精細度が最も高い面を示すフォーカス面が、前記注目領域を含むように、前記バウンダリボックスの位置を設定する第１設定部をさらに備え、
前記生成部は、前記バウンダリボックスに基づいて、複数の前記視点の位置を算出する、
請求項１に記載の画像処理装置。
前記医用画像撮影装置の被写界深度に応じて、前記バウンダリボックスの奥行き方向の範囲を可変に設定する第２設定部をさらに備える、
請求項２に記載の画像処理装置。
前記第２設定部は、前記バウンダリボックス内部のうち前記立体画像の精細度が所定値を示す領域が、前記医用画像撮影装置により呈示される医用画像のうち前記医用画像の精細度が前記所定値に対応する値を示す領域に対応するように、前記バウンダリボックスの奥行き方向の範囲を設定する、
請求項３に記載の画像処理装置。
前記取得部は、前記医用画像撮影装置から、前記注目領域を特定可能なデータを取得する、
請求項１に記載の画像処理装置。
前記データに基づいて、前記注目領域を特定する特定部をさらに備える、
請求項５に記載の画像処理装置。
前記取得部は、手術器具の先端位置をリアルタイムに検出して術者に知らせる画像制御装置から、前記注目領域を特定可能なデータを取得する、
請求項１に記載の画像処理装置。
前記取得部は、前記画像制御装置から、前記ボリュームデータのうち前記手術器具の先端位置に対応する領域を示す前記データを取得し、取得した前記データが示す領域を前記注目領域として特定する、
請求項７に記載の画像処理装置。
前記医用画像撮影装置は、顕微鏡または内視鏡である、
請求項１乃至８のうちの何れか１項に記載の画像処理装置。
３次元の医用画像データを示すボリュームデータから立体画像を生成する画像処理方法であって、
前記ボリュームデータを取得し、
前記ボリュームデータのうち、前記立体画像を生成する画像処理装置と接続される光学系を有する医用画像撮影装置の焦点位置に対応する注目領域の視差量が所定の閾値以下になるように、前記ボリュームデータをレンダリングして、前記立体画像を生成する、
画像処理方法。
３次元の医用画像データを示すボリュームデータから立体画像を生成する画像処理プログラムであって、
コンピュータを、
前記ボリュームデータを取得する取得手段と、
前記ボリュームデータのうち、前記立体画像を生成する画像処理装置と接続される光学系を有する医用画像撮影装置の焦点位置に対応する注目領域の視差量が所定の閾値以下になるように、前記ボリュームデータをレンダリングして、前記立体画像を生成する生成手段として機能させる、
画像処理プログラム。
３次元の医用画像データを示すボリュームデータから生成された立体画像を表示する立体画像表示装置であって、
前記ボリュームデータを取得する取得部と、
前記ボリュームデータのうち、前記立体画像を生成する画像処理装置と接続される光学系を有する医用画像撮影装置の焦点位置に対応する注目領域の視差量が所定の閾値以下になるように、前記ボリュームデータをレンダリングして、前記立体画像を生成する生成部と、
前記立体画像を表示する表示部と、を備える、
立体画像表示装置。