JP2012189689A - 撮影画像合成表示装置および画像合成提示システム - Google Patents

Abstract

【課題】被写体を、眼の疲労が少ない立体像で表示しつつ、同一の視線上に被写体の断層画像を表示することが可能な撮影画像合成表示装置を提供する。
【解決手段】撮影画像合成表示装置３は、インテグラル方式の立体画像撮影装置１で撮影された要素画像群である被写体要素画像群と断層画像記憶装置２に予め記憶されている被写体の断層画像とを入力する画像入力手段３０と、被写体要素画像群をインテグラル方式の立体像として表示する立体像表示手段３３０と、断層画像を表示する断層画像表示手段３３１と、立体像表示手段３３０が表示する映像光と断層画像表示手段３３１が表示する映像光とを光路上で合成する合成手段３３２と、を備えることを特徴とする。
【選択図】図６

Description

本発明は、実時間で撮影したインテグラル方式の３次元立体画像と、ＣＴ（Computed Tomography）等で得られる２次元断層画像とを合成して表示する撮影画像合成表示装置および画像合成提示システムに関する。

従来、医療行為である手術において、ＣＴ等によって患者の断層画像を予め撮影しておき、医者が、手術をする際に、その断層画像を参照して手術を行うことが一般的に行われている。しかし、手術の進行によって、例えば、脳神経外科手術において、脳組織や病変の偏位（ブレインシフト）によって、手術の部位は変化する。そのため、断層画像のみではリアルタイムに手術部位との対応関係を把握することが困難で、手術の途中に、手術の進行状況の確認を行うため、再度断層撮影装置で、断層画像を撮影することがしばしば行われている。

また、一方、微細な部位を手術するため、手術部位をカメラ撮影し、医者が、拡大された部位を画面で視認して手術を行うことが一般的に行われている。この場合、手術器具と手術部位との奥行き関係を把握して手術を行うため、手術部位を２眼式立体画像として撮影し、医者が、２眼式立体モニタを見ながら手術を行っている（特許文献１参照）。

特開平０９−１９４４１号公報

前記したように、２眼式立体画像と断層画像とは、独立して部位を観察する手段としての機能しか有していない。このように独立した機能では、手術者（医者）、補助者等が、それぞれの画像を別々に見る必要があるため、手術作業が煩雑になり、両画像を１つの表示装置に表示して、手術者、補助者等が同時に観察することが求められている。

また、２眼式立体モニタは、実際の立体像を見ているわけではなく、眼の輻輳機能によって立体感を感じているにすぎない。その結果、立体像を見る場合、輻輳点と眼のピントが一致せず、疲労が発生しやすく、長時間の手術では手術担当者に負担が強いられるという問題がある。

本発明は、以上のような問題点に鑑みてなされたものであり、被写体を、眼の疲労が少ない立体像で表示しつつ、同一の視線上に被写体の断層画像を表示することが可能な撮影画像合成表示装置および画像合成提示システムを提供することを課題とする。

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の撮影画像合成表示装置は、インテグラル方式の立体画像撮影装置で被写体を撮影した画像と、予め断層撮影装置で前記被写体の断層面を撮影した画像とを合成して表示する撮影画像合成表示装置であって、断層画像入力手段と、被写体画像入力手段と、画像レベル変更手段と、立体像表示手段と、断層画像表示手段と、合成手段と、を備える構成とした。

かかる構成において、撮影画像合成表示装置は、断層画像入力手段によって、断層撮影装置で撮影された被写体の複数の断層画像を予め記憶した断層画像記憶装置から、断層画像を入力する。この断層画像は、予め被写体の断層面をＣＴ等によって撮影した２次元断層画像である。
また、撮影画像合成表示装置は、被写体画像入力手段によって、立体画像撮影装置で撮影された要素画像群である被写体要素画像群を入力する。この要素画像群（被写体要素画像群）は、立体画像撮影装置の要素レンズ群（レンズアレー）で撮影された個々の要素画像が要素レンズ分配列した画像である。

さらに、撮影画像合成表示装置は、画像レベル変更手段によって、外部から、断層画像および被写体要素画像群のそれぞれの画像レベルを入力し、断層画像および被写体要素画像群のそれぞれの画像レベルを、その入力された画像レベルに変更する。この画像レベルは、映像信号の出力レベル、輝度レベル等である。この画像レベル変更手段は、後記する断層画像表示手段や立体像表示手段によって、それぞれの画像（断層画像および被写体要素画像群）を表示する際に、一方の画像レベルを最小値（例えば“０”）、他方の画像レベルを最大値（例えば“１００”）と設定されることで、後記する合成手段によって、いずれか一方のみを表示させることができる。あるいは、それぞれの画像レベルを最小値よりも大きい任意のレベルと設定されることで、それぞれの画像（断層画像および被写体要素画像群）を、それぞれの画像レベルに応じて合成した中間画像として表示させることができる。

そして、撮影画像合成表示装置は、立体像表示手段によって、画像レベル変更手段で画像レベルが変更された被写体要素画像群を、複数の要素レンズからなる要素レンズ群を介して表示する。これによって、被写体が立体像として再生されることになる。また、撮影画像合成表示装置は、断層画像表示手段によって、画像レベル変更手段で画像レベルが変更された断層画像を表示する。これによって、２次元の断層画像が表示されることになる。

そして、撮影画像合成表示装置は、合成手段によって、立体像表示手段が表示する被写体要素画像群の映像光と断層画像表示手段が表示する断層画像の映像光とを光路上で合成する。この合成には、例えば、ハーフミラーやプリズムを用いて、２つの映像光を合成する。これによって、同一の視線方向において、被写体の立体像と断層画像とが視認されることになる。

また、請求項２に記載の撮影画像合成表示装置は、インテグラル方式の立体画像撮影装置で被写体を撮影した画像と、予め断層撮影装置で前記被写体の断層面を撮影した画像とを合成して表示する撮影画像合成表示装置であって、断層画像入力手段と、被写体画像入力手段と、要素画像変換手段と、画像レベル変更手段と、合成手段と、立体像表示手段と、を備える構成とした。

かかる構成において、撮影画像合成表示装置は、断層画像入力手段によって、断層撮影装置で撮影された被写体の複数の断層画像を予め記憶した断層画像記憶装置から、断層画像を入力する。また、撮影画像合成表示装置は、被写体画像入力手段によって、立体画像撮影装置で撮影された要素画像群である被写体要素画像群を入力する。
また、撮影画像合成表示装置は、要素画像変換手段によって、断層画像入力手段で入力された断層画像を、インテグラル方式の要素画像群である断層画像要素画像群に変換する。なお、この断層画像要素画像群の要素画像の数は、被写体要素画像群の要素画像の数と同じ数とする。

さらに、撮影画像合成表示装置は、画像レベル変更手段によって、外部から、断層画像要素画像群および被写体要素画像群のそれぞれの画像レベルを入力し、断層画像要素画像群および被写体要素画像群のそれぞれの画像レベルを、その入力された画像レベルに変更する。
そして、撮影画像合成表示装置は、合成手段によって、画像レベル変更手段で画像レベルが変更された断層画像要素画像群および被写体要素画像群を合成する。これによって、それぞれの画像の要素画像ごとに合成された画像が生成される。
そして、撮影画像合成表示装置は、立体像表示手段によって、合成手段で合成された画像を、要素レンズ群を介して表示する。

さらに、請求項３に記載の撮影画像合成表示装置は、請求項２に記載の撮影画像合成表示装置において、要素画像変換手段が、前記断層画像を空中像として定位させる定位位置を外部から入力し、前記要素画像の画素と当該要素画像に対応するインテグラル方式における仮想の要素レンズのレンズ中心とを結ぶ直線と、前記定位位置に仮想的に配置した前記断層画像との交点の画素値を、前記要素画像の画素の画素値とすることで、前記要素画像を生成することを特徴とする。

かかる構成において、撮影画像合成表示装置は、要素画像変換手段によって、断層画像を空中像として定位させたい位置を入力されることで、当該位置にインテグラル方式の立体像として定位する要素画像群を生成する。

また、請求項４に記載の撮影画像合成表示装置は、インテグラル方式の立体画像撮影装置で被写体を撮影した画像と、予め断層撮影装置で前記被写体の断層面を撮影した画像とを合成して表示する撮影画像合成表示装置であって、断層画像入力手段と、被写体画像入力手段と、画像レベル変更手段と、合成手段と、立体像表示手段と、を備える構成とした。

かかる構成において、撮影画像合成表示装置は、断層画像入力手段によって、断層撮影装置で撮影された被写体の複数の断層画像を、インテグラル方式の要素画像群である断層画像要素画像群として予め記憶した断層画像記憶装置から、断層画像要素画像群を入力する。また、撮影画像合成表示装置は、被写体画像入力手段によって、立体画像撮影装置で撮影された要素画像群である被写体要素画像群を入力する。

さらに、撮影画像合成表示装置は、画像レベル変更手段によって、外部から、断層画像要素画像群および被写体要素画像群のそれぞれの画像レベルを入力し、断層画像要素画像群および被写体要素画像群のそれぞれの画像レベルを、その入力された画像レベルに変更する。
そして、撮影画像合成表示装置は、合成手段によって、画像レベル変更手段で画像レベルが変更された断層画像要素画像群および被写体要素画像群を合成する。これによって、それぞれの画像の要素画像ごとに合成された画像が生成される。
そして、撮影画像合成表示装置は、立体像表示手段によって、合成手段で合成された画像を、要素レンズ群を介して表示する。

また、請求項５に記載の撮影画像合成表示装置は、請求項１から請求項４のいずれか一項に記載の撮影画像合成表示装置において、外部からの指示により、前記断層画像入力手段に対して前記断層画像記憶装置から読み出す画像の切り替えを指示する表示切替手段をさらに備える構成とした。

かかる構成において、撮影画像合成表示装置は、表示切替手段によって、断層画像を外部からの指示により切り替え、操作者が所望する断層画像を画面上に表示させる。これによって、被写体の立体像に対応して、操作者が確認したい断層画像を選択して提示することができる。

また、請求項６に記載の画像合成提示システムは、被写体を撮影した画像と、前記被写体の断層画像とを同一視線上で提示する画像合成提示システムであって、インテグラル方式で前記被写体を撮影する立体画像撮影装置と、予め前記被写体の断層画像を記憶した断層画像記憶装置と、前記立体画像撮影装置で被写体を撮影した画像と、前記断層画像記憶装置に記憶されている画像とを合成して表示する撮影画像合成表示装置と、を備え、前記撮影画像合成表示装置は、断層画像入力手段と、被写体画像入力手段と、画像レベル変更手段と、立体像表示手段と、断層画像表示手段と、合成手段と、を備える構成とした。

かかる構成において、画像合成提示システムは、撮影画像合成表示装置の断層画像入力手段によって、断層画像記憶装置から断層画像を入力する。
また、画像合成提示システムは、撮影画像合成表示装置の被写体画像入力手段によって、立体画像撮影装置で撮影された要素画像群である被写体要素画像群を入力する。
さらに、画像合成提示システムは、撮影画像合成表示装置の画像レベル変更手段によって、外部から、断層画像および被写体要素画像群のそれぞれの画像レベルを入力し、断層画像および被写体要素画像群のそれぞれの画像レベルを、その入力された画像レベルに変更する。

そして、画像合成提示システムは、撮影画像合成表示装置の立体像表示手段によって、画像レベル変更手段で画像レベルが変更された被写体要素画像群を、複数の要素レンズからなる要素レンズ群を介して表示する。また、画像合成提示システムは、撮影画像合成表示装置の断層画像表示手段によって、画像レベル変更手段で画像レベルが変更された断層画像を表示する。
そして、画像合成提示システムは、撮影画像合成表示装置の合成手段によって、立体像表示手段が表示する被写体要素画像群の映像光と断層画像表示手段が表示する断層画像の映像光とを光路上で合成する。

また、請求項７に記載の画像合成提示システムは、被写体を撮影した画像と、前記被写体の断層画像とを同一視線上で提示する画像合成提示システムであって、インテグラル方式で前記被写体を撮影する立体画像撮影装置と、予め前記被写体の断層画像を記憶した断層画像記憶装置と、前記立体画像撮影装置で被写体を撮影した画像と、前記断層画像記憶装置に記憶されている画像とを合成して表示する撮影画像合成表示装置と、を備え、前記撮影画像合成表示装置は、断層画像入力手段と、被写体画像入力手段と、要素画像変換手段と、画像レベル変更手段と、合成手段と、立体像表示手段と、を備える構成とした。

かかる構成において、画像合成提示システムは、撮影画像合成表示装置の断層画像入力手段によって、断層画像記憶装置から断層画像を入力する。また、画像合成提示システムは、撮影画像合成表示装置の被写体画像入力手段によって、立体画像撮影装置で撮影された要素画像群である被写体要素画像群を入力する。
また、画像合成提示システムは、撮影画像合成表示装置の要素画像変換手段によって、断層画像入力手段で入力された断層画像を、インテグラル方式の要素画像群である断層画像要素画像群に変換する。

さらに、画像合成提示システムは、撮影画像合成表示装置の画像レベル変更手段によって、外部から、断層画像要素画像群および被写体要素画像群のそれぞれの画像レベルを入力し、断層画像要素画像群および被写体要素画像群のそれぞれの画像レベルを、その入力された画像レベルに変更する。
そして、画像合成提示システムは、撮影画像合成表示装置の合成手段によって、画像レベル変更手段で画像レベルが変更された断層画像要素画像群および被写体要素画像群を合成する。そして、画像合成提示システムは、撮影画像合成表示装置の立体像表示手段によって、合成手段で合成された画像を、要素レンズ群を介して表示する。

また、請求項８に記載の画像合成提示システムは、被写体を撮影した画像と、前記被写体の断層画像とを同一視線上で提示する画像合成提示システムであって、インテグラル方式で前記被写体を撮影する立体画像撮影装置と、前記被写体の複数の断層画像を、インテグラル方式の要素画像群である断層画像要素画像群として予め記憶した断層画像記憶装置と、前記立体画像撮影装置で被写体を撮影した画像と、前記断層画像記憶装置に記憶されている画像とを合成して表示する撮影画像合成表示装置と、を備え、前記撮影画像合成表示装置は、断層画像入力手段と、被写体画像入力手段と、画像レベル変更手段と、合成手段と、立体像表示手段と、を備える構成とした。

かかる構成において、画像合成提示システムは、撮影画像合成表示装置の断層画像入力手段によって、断層画像記憶装置から断層画像要素画像群を入力する。また、画像合成提示システムは、撮影画像合成表示装置の被写体画像入力手段によって、立体画像撮影装置で撮影された要素画像群である被写体要素画像群を入力する。
さらに、画像合成提示システムは、撮影画像合成表示装置の画像レベル変更手段によって、外部から、断層画像要素画像群および被写体要素画像群のそれぞれの画像レベルを入力し、断層画像要素画像群および被写体要素画像群のそれぞれの画像レベルを、その入力された画像レベルに変更する。

そして、画像合成提示システムは、撮影画像合成表示装置の合成手段によって、画像レベル変更手段で画像レベルが変更された断層画像要素画像群および被写体要素画像群を合成する。そして、画像合成提示システムは、撮影画像合成表示装置の立体像表示手段によって、合成手段で合成された画像を、要素レンズ群を介して表示する。

さらに、請求項９に記載の画像合成提示システムは、請求項６から請求項８のいずれか一項に記載の画像合成提示システムにおいて、前記立体画像撮影装置が、赤外線、または、可視光に赤外線を含んだ光を撮影する撮影装置であることを特徴とする。

かかる構成において、画像合成提示システムは、赤外感度を有する立体画像撮影装置を用いることで、撮影画像合成表示装置が表示する被写体の立体像は、赤外線で撮影された被写体の立体像となる。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，２，４，６〜８に記載の発明によれば、被写体の立体像と、被写体の断層画像とを同一光路上に提示することができ、当該画像を観察する観察者は、被写体の立体像と断層画像とを同一視線上で確認することができる。これによって、例えば、手術等で医者は、１つの画面で、手術部位の立体像と、断層画像とを対比して確認することができるため、手術作業を正確かつ効率的に進めることができる。
また、請求項１，２，４，６〜８に記載の発明によれば、立体像をインテグラル方式で表示するため、観察者の眼の疲労を抑えることができる。

請求項３に記載の発明によれば、断層画像を任意の位置に空中像として定位させることができる。これによって、被写体の立体像の対応する断面位置に断層画像の空中像を定位させることができ、立体像と断層画像との対比を行い易くすることができる。

請求項５に記載の発明によれば、観察者が所望する断層画像を適宜切り替えて表示することができる。これによって、例えば、手術等で手術部位が奥に進行していった場合でも、断層画像をその断層面に適宜切り替えることで、立体像との対比を行い易くすることができる。

請求項９に記載の発明によれば、赤外画像を立体像として表示することができる。これによって、例えば、手術等で、赤外画像で取得可能な手術部位直下の状態を立体像として確認することができ、断層画像との対比によって、手術作業を正確かつ効率的に進めることができる。

本発明の実施形態に係る手術支援システム（画像合成提示システム）の概略構成を示すシステム構成図である。 立体画像撮影装置の構成を示すブロック図である。 立体画像撮影装置の他の構成を示すブロック図である。 インテグラル方式で被写体の要素画像を取得する手法を説明するための説明図である。 インテグラル方式で要素画像から立体像を再生する手法を説明するための説明図である。 本発明の第１実施形態に係る撮影画像合成表示装置の構成を示すブロック図である。 本発明の第１実施形態に係る撮影画像合成表示装置の他の構成を示すブロック図である。 本発明の撮影画像合成表示装置における画像表示例を示す図である。 本発明の第２実施形態に係る撮影画像合成表示装置の構成を示すブロック図である。 本発明の第２実施形態に係る撮影画像合成表示装置の他の構成を示すブロック図である。 本発明の第２実施形態に係る撮影画像合成表示装置の他の構成を示すブロック図である。 断層画像から要素画像を生成する手法を説明するための説明図である。 本発明の撮影画像合成表示装置における断層画像を空中像として定位させる画像表示例を示す図である。

以下、本発明の実施形態について図面を参照して説明する。
［手術支援システム（画像合成提示システム）の概要］
まず、図１を参照して、本発明の実施形態に係る手術支援システム（画像合成提示システム）の概要について説明する。

図１に示すように、手術支援システム（画像合成提示システム）Ｓは、医者Ｄが患者Ｐを手術する際に、患者Ｐの手術部位Ｐ_Ｂを撮影した画像と、予め断層撮影装置（図示せず）で患者Ｐの手術部位Ｐ_Ｂの断層面を撮影した画像とを、同一の視線上に提示して、医者Ｄが行う手術を支援するものである。ここでは、手術支援システムＳは、立体画像撮影装置１と、断層画像再生装置２と、撮影画像合成表示装置３と、操作卓４とを備えている。

立体画像撮影装置１は、インテグラルフォトグラフィ（Integral Photography：ＩＰ）方式（以下、インテグラル方式という）で被写体（ここでは、患者Ｐの手術部位Ｐ_Ｂ）を、複数の要素画像（要素画像群）として撮影するものである。
この立体画像撮影装置１は、手術中、患者Ｐの手術部位Ｐ_Ｂを撮影し、撮影した画像（要素画像群）を、撮影画像合成表示装置３に出力する。

断層画像再生装置２は、断層撮影装置（図示せず）でコンピュータ断層撮影（Computed Tomography：ＣＴ）等によって撮影した２次元の断層画像を記憶し再生するものである。この断層画像再生装置２には、手術を行う患者Ｐの手術部位Ｐ_Ｂを撮影した複数の断層画像が、予め内部の断層画像記憶装置２０に記憶されているものとする。
この断層画像再生装置２は、撮影画像合成表示装置３からの要求によって、断層画像を再生し、撮影画像合成表示装置３に出力する。

撮影画像合成表示装置３は、立体画像撮影装置１で撮影された画像（要素画像群）を表示して、３次元の立体像として再生するとともに、その再生像に断層画像再生装置２から出力される２次元の断層画像を合成して表示するものである。これによって、同一視線上に、手術部位の立体像と断層画像とが重畳されて表示されることになる。

操作卓４は、撮影画像合成表示装置３が表示する要素画像群および断層画像の画像レベルの調整や、表示する断層画像の切り替えを撮影画像合成表示装置３に指示するものである。
この操作卓４は、例えば、つまみ、レバー等（図１中、Ａ）を医者Ｄや補助者が操作することで、要素画像群および断層画像の画像レベルを撮影画像合成表示装置３に指示する。また、別のつまみ、レバー等（図１中、Ｂ）を医者Ｄや補助者が操作することで、複数の断層画像の中から表示用の画像を指示する。これによって、例えば、手術が進行し、手術部位Ｐ_Ｂの対象が奥に進行した場合であっても、医者Ｄ等が適宜断層画像を切り替えることで、手術部位Ｐ_Ｂに対応した所望の断層画像を表示することができる。

このように、手術支援システムＳは、同一の視線上に立体像と断層画像とを表示するため、医者Ｄが立体像を見て手術を行う場合に、適宜断層画像と比較することで、手術部位の変化を容易に把握することができる。
また、手術支援システムＳは、インテグラル方式の立体像を表示するため、医者Ｄは輻輳点と眼のピントが一致し、長時間の手術であっても疲労の発生を抑えることができる。
以下、手術支援システムＳの立体画像撮影装置１について説明を行った後、撮影画像合成表示装置３について説明を行う。

〔立体画像撮影装置〕
まず、図２を参照（適宜図１参照）して、インテグラル方式の立体画像撮影装置１の構成について説明する。図２に示すように、立体画像撮影装置１は、撮影レンズアレイ１０と、奥行き制御レンズ１１と、集光レンズ１２と、カメラ１３とを備えている。

撮影レンズアレイ（要素レンズ群）１０は、被写体の要素画像を取得するための要素レンズを平面上に複数配列したレンズアレイである。この撮影レンズアレイ１０には、平面上に複数配列した凸レンズ群あるいはピンホール群を用いることができる。なお、ここでは、それぞれの要素レンズで撮影された要素画像が再生像として結像したときに、立体像の奥行きが反対するいわゆる逆視を防止するため、要素レンズとして、屈折率分布（ＧＲＩＮ：Gradient Index）レンズを用いることとする。もちろん、屈折率分布レンズを用いずに、要素画像を点対称変換する画像変換手段を設けてもよい。

奥行き制御レンズ１１は、被写体の光学像を撮影レンズアレイ１０の近傍に生成するものである。この奥行き制御レンズ１１には、例えば、凸レンズを用いることができる。この奥行き制御レンズ１１は、撮影レンズアレイ１０から見て被写体側に配置され、撮影レンズアレイ１０との距離が調整可能に調整部材（図示せず）によって支持されている。
この奥行き制御レンズ１１は、撮影レンズアレイ１０との距離を変化させることで、被写体の再生側（ここでは、撮影画像合成表示装置３）において、立体像を再生させる位置（奥行き位置）を調整することができる。

なお、奥行き制御レンズ１１を備えないと、被写体が撮影レンズアレイ１０から離れるにつれて、撮影レンズアレイ１０の個々の要素レンズに入射する被写体光の解像度が劣化する。すなわち、奥行き制御レンズ１１は、再生される被写体の立体像の解像度を劣化することを避けるための構成でもある。

集光レンズ１２は、被写体に対して、撮影レンズアレイ１０の反対側に配置され、撮影レンズアレイ１０から出射した光をカメラ１３に集光するものである。なお、集光レンズ１２は、撮影レンズアレイ１０が、カメラ１３が備える撮影レンズ１３１よりも大きい場合は必要であるが、小さい場合は、必ずしも必要ではない。

カメラ１３は、撮影レンズアレイ１０から出射される光を撮影するものである。ここでは、カメラ１３は、集光レンズ１２を介して集光された光を、撮影レンズ１３１を介して撮影する。このカメラ１３では、撮影レンズアレイ１０の要素レンズの数に応じた複数の要素画像（要素画像群）が撮影されることになる。

なお、立体画像撮影装置１は、カメラ１３内部の撮像素子と、撮影レンズアレイ１０との大きさがほぼ同じ大きさであれば、図３に示すように、撮影レンズアレイ１０をカメラ１３の撮像素子１３２の被写体側に密着、あるいは、極近傍に配置する構成（立体画像撮影装置１Ｂ）としてもよい。この場合、カメラ１３の撮影レンズ１３１が、図２で説明した奥行き制御レンズ１１の機能を有することになる。
この立体画像撮影装置１（１Ｂ）は、撮影した要素画像群の画像を、撮影画像合成表示装置３に出力する。

なお、この立体画像撮影装置１（１Ｂ）は、赤外線、または、可視光に赤外線を含んだ光を撮影するものとしてもよい。この場合、立体画像撮影装置１内部のカメラ１３の撮像素子（図示せず）や、立体画像撮影装置１Ｂの撮像素子１３２として赤外線に感光する素子を用いればよい。

この赤外感度を有する立体画像撮影装置１（１Ｂ）を用いれば、撮影された画像（要素画像群）が立体像として再生された場合、赤外画像の立体像が再生されることになる。これによって、手術部位の直下の患部状況を把握することができる。また、インドシアニングリーン（ＩＣＧ：Indocyanine green）などのバイオマーカを用いれば、当該バイオマーカは、近赤外光として発光するため、手術部位や血管を立体的に確認することができる。

ここで、図４，図５を参照して、インテグラル方式による立体像の再生手法について簡単に説明しておく。
図４に示すように、インテグラル方式で被写体Ｈ_１を撮影する場合、同一平面状に配列された複数の微小凸レンズ１０１_１，１０１_２，…，１０１_ｎからなる要素レンズ群１０１と、フィルム等の撮像板（撮像素子）１０３とを平行に配置したＩＰ撮影装置１００によって、被写体Ｈ_１を撮像する。すると、被写体Ｈ_１は、微小凸レンズ１０１_１，１０１_２，…，１０１_ｎの数だけ、撮像板１０３に要素画像群１０２（１０２_１，１０２_２，…，１０２_ｎ）として撮像される。

一方、図５に示すように、インテグラル方式で被写体Ｈ_１の立体像Ｈ_２を再生する場合、同一平面状に配列された複数の微小凸レンズ２０１_１，２０１_２，…，２０１_ｎからなる要素レンズ群２０１と、図４の撮像板１０３で撮像された要素画像群１０２を要素画像群２０２（２０２_１，２０２_２，…，２０２_ｎ）として表示する表示板（表示素子）２０３とを平行に配置したＩＰ表示装置２００によって、要素画像群２０２を表示する。

なお、要素レンズ群２０１の微小凸レンズの配列は、図４の要素レンズ群１０１と同一であり、表示板２０３に対する要素レンズ群２０１の配置位置は、図４の撮像板１０３に対する要素レンズ群１０１の配置位置と同じである。
ここで、観察者Ｏが、要素レンズ群２０１を通して、表示板２０３を観察すると、被写体Ｈ_１の立体像Ｈ_２が視認されることになる。

なお、この場合、撮影時において、要素レンズ群１０１から被写体を見て凹に見えるものが、再生時において、観察者Ｏは、被写体を裏側から見たようになるため凸に見えるいわゆる逆視となる。この逆視現象を解消するため、要素レンズ群１０１を、屈折率分布レンズを要素レンズ分配列する構成とする手法が一般的に用いられている。

〔撮影画像合成表示装置：第１実施形態〕
次に、図６を参照（適宜図１参照）して、本発明の第１実施形態に係る撮影画像合成表示装置の構成について説明する。図６に示すように、撮影画像合成表示装置３は、画像入力手段３０と、画像レベル変更手段３１と、表示切替手段３２と、合成表示手段３３とを備えている。

画像入力手段３０は、外部から画像を入力するものである。ここでは、画像入力手段３０は、被写体画像入力手段３００と、断層画像入力手段３０１とを備えている。
被写体画像入力手段３００は、立体画像撮影装置１で撮影された要素画像で構成される要素画像群（被写体要素画像群）を映像信号として入力するものである。この被写体画像入力手段３００は、立体画像撮影装置１から出力される要素画像群を１枚のフレーム画像として、順次入力する。これによって、リアルタイムで撮影された被写体の画像が動画像として入力されることになる。
このように入力された要素画像群（映像信号）は、逐次、画像レベル変更手段３１（被写体画像レベル変更手段３１０）に出力される。

断層画像入力手段３０１は、断層画像再生装置２に予め記憶されている断層画像を映像信号として入力するものである。この断層画像入力手段３０１は、表示切替手段３２からの指示により、断層画像再生装置２に対して再生する断層画像を指示し、断層画像を入力する。これによって、断層画像入力手段３０１は、操作者（医者Ｄ等）が確認したい断層画像を入力することができる。
このように入力された断層画像（映像信号）は、画像レベル変更手段３１（断層画像レベル変更手段３１１）に出力される。

画像レベル変更手段３１は、外部から、画像入力手段３０で入力された各画像（断層画像および被写体要素画像群）のそれぞれの画像レベルを入力し、それぞれの画像の画像レベルを、その入力された画像レベルに変更するものである。この画像レベルは、映像信号の出力レベル、あるいは、輝度レベル等である。例えば、画像レベル変更手段３１は、画像がカラー画像であれば、ＲＧＢ値の各成分を増減させる。また、例えば、画像がモノクロ画像であれば、輝度値を増減させることで、画像レベルを変更する。
ここでは、画像レベル変更手段３１は、被写体画像レベル変更手段３１０と、断層画像レベル変更手段３１１とを備えている。

被写体画像レベル変更手段３１０は、被写体画像入力手段３００で入力された要素画像群の画像レベルを、操作卓４から入力される画像レベルに変更するものである。ここでは、被写体画像レベル変更手段３１０は、操作卓４から入力されるレベル制御信号に基づいて、要素画像群の画像レベルを変更する。例えば、被写体画像レベル変更手段３１０は、操作卓４から、レベル制御信号として、０％以上１００％以下の間で、画像レベルを入力されることで、要素画像群の画像レベルを入力された画像レベルに変更する。
このように外部から必要に応じて画像レベルが変更された要素画像群（映像信号）は、合成表示手段３３の立体像表示手段３３０に出力される。

断層画像レベル変更手段３１１は、断層画像入力手段３０１で入力された断層画像の画像レベルを、操作卓４から入力される画像レベルに変更するものである。ここでは、断層画像レベル変更手段３１１は、操作卓４から入力されるレベル制御信号に基づいて、断層画像の画像レベルを変更する。例えば、断層画像レベル変更手段３１１は、被写体画像レベル変更手段３１０と同様に、操作卓４から、レベル制御信号として、０％以上１００％以下の間で、画像レベルを入力されることで、断層画像の画像レベルを入力された画像レベルに変更する。
このように外部から必要に応じて画像レベルが変更された断層画像（映像信号）は、合成表示手段３３の断層画像表示手段３３１に出力される。

なお、画像レベル変更手段３１は、操作卓４から、被写体画像レベル変更手段３１０および断層画像レベル変更手段３１１に対して、それぞれ個別のレベル制御信号を取得することとしてもよいし、１つのレベル制御信号で共有してもよい。
例えば、操作卓４のレバーＡでレベル制御信号を共有する場合、レベル制御信号の値（０％〜１００％）そのものは、被写体画像レベル変更手段３１０に対する値とし、当該値と１００％との差分値を、断層画像レベル変更手段３１１に対する値とする。これによって、被写体の要素画像群と断層画像との画像レベルを一度に調整することができる。また、いずれか一方の画像レベルを１００％、他方の画像レベルを０％とすることで、要素画像群と断層画像とのいずれか一方のみを切り替えて表示させることもできる。

表示切替手段３２は、外部からの指示により、断層画像再生装置２から入力する断層画像を切り替える指示を断層画像入力手段３０１に指示するものである。ここでは、表示切替手段３２は、操作卓４から入力される切替制御信号によって、断層画像の切り替えを指示する。

例えば、操作卓４のレバーＢで断層画像の切り替えを指示する場合、レバーＢを一番手前に引いた状態を一番手前の断層画像として割り当て、レバーＢを一番奥に押した状態を一番奥の断層画像として割り当てておくことで、表示切替手段３２は、レバーＢの位置を切替制御信号として入力されることで、その割合に応じた断層画像に切り替えるように、断層画像入力手段３０１に指示する。

合成表示手段３３は、要素画像群を表示して、３次元の立体像として再生するとともに、その再生像に断層画像を合成して表示するものである。ここでは、合成表示手段３３は、立体像表示手段３３０と、断層画像表示手段３３１と、合成手段３３２とを備えている。

立体像表示手段３３０は、被写体画像入力手段３００で入力され、必要に応じて（外部からの指示に応じて）画像レベルが変更された要素画像群を入力し、インテグラル方式によって要素画像群を立体像として表示するものである。ここでは、立体像表示手段３３０は、要素画像群を表示する表示板（表示素子）３３０ａと、要素画像に対応し、同一平面状に配列された複数の要素レンズ（微小凸レンズ）からなる要素レンズ群３３０ｂとを平行に配置して構成している。
なお、この立体像表示手段３３０の構成は、図５で説明したインテグラル方式のＩＰ表示装置２００と同じ構成であるため、立体像を再生する手法については説明を省略する。

断層画像表示手段３３１は、断層画像入力手段３０１で入力され、必要に応じて（外部からの指示に応じて）画像レベルが変更された断層画像を入力し、表示するものである。
この断層画像表示手段３３１は、一般的な液晶等の表示パネルを用いることができる。

合成手段３３２は、立体像表示手段３３０が表示する要素画像群の映像光と断層画像表示手段３３１が表示する断層画像の映像光とを光路上で合成するものである。この合成手段３３２は、例えば、ハーフミラーやプリズムで構成することができる。
ここでは、合成手段３３２は、立体像表示手段３３０が表示する要素画像群の映像光を透過させ、断層画像表示手段３３１が表示する断層画像の映像光を４５度反射させる。これによって、断層画像の映像光は、要素画像群の映像光の光路上で合成されることになる。

以上、本発明の第１実施形態に係る撮影画像合成表示装置３の構成について説明したが、本発明は、この第１実施形態に限定されるものではない。例えば、撮影画像合成表示装置３は、表示切替手段３２を備える構成としたが、この構成は必須ではない。例えば、図７に示すように、操作卓４から出力される切替制御信号を断層画像再生装置２に入力し、断層画像再生装置２が、指定された断層画像を内部の断層画像記憶装置２０から読み出して撮影画像合成表示装置３に出力することとしてもよい。

（撮影画像合成表示装置の動作）
次に、図６を参照して、撮影画像合成表示装置３の動作について説明する。なお、断層画像再生装置２には、患者Ｐの手術部位Ｐ_Ｂを撮影した複数の断層画像が予め記憶されているものとする。

まず、撮影画像合成表示装置３は、画像入力手段３０によって、立体画像撮影装置１で撮影された要素画像群と、断層画像再生装置２で再生される断層画像とを入力する。
すなわち、撮影画像合成表示装置３は、被写体画像入力手段３００によって、リアルタイムに撮影されている要素画像群を映像信号として逐次入力する。
また、撮影画像合成表示装置３は、断層画像入力手段３０１によって、断層画像再生装置２に記憶されている断層画像を映像信号として入力する。

この断層画像入力手段３０１は、表示切替手段３２によって、操作卓４のレバーＢの位置を切替制御信号として入力されることで、その位置に対応した断層画像を、断層画像再生装置２から入力する。例えば、初期位置として、操作卓４のレバーＢが、一番手前に引いた状態であれば、一番手前の断層画像を断層画像再生装置２から入力する。

そして、撮影画像合成表示装置３は、画像レベル変更手段３１によって、要素画像群および断層画像のそれぞれの画像レベルを変更する。
すなわち、撮影画像合成表示装置３は、被写体画像レベル変更手段３１０によって、逐次入力される要素画像群の画像レベルを、操作卓４から入力されるレベル制御信号によって変更する。また、撮影画像合成表示装置３は、断層画像レベル変更手段３１１によって、断層画像の画像レベルを、操作卓４から入力されるレベル制御信号によって変更する。

ここでは、操作卓４のレバーＡでレベル制御信号を共有することとし、レベル制御信号の値（０％〜１００％）に応じて、被写体画像レベル変更手段３１０は、要素画像群の画像レベルを変更し、断層画像レベル変更手段３１１は、レベル制御信号の値（０％〜１００％）と、１００％との差分値を断層画像の画像レベルとして変更する。

そして、撮影画像合成表示装置３は、合成表示手段３３によって、要素画像群を表示して、立体像として再生するとともに、その再生像に断層画像を合成して表示する。
すなわち、撮影画像合成表示装置３は、立体像表示手段３３０によって、要素画像群を表示する。このとき、要素画像群は表示板３３０ａに表示され、その映像光が要素レンズ群３３０ｂを通過することで、インテグラル方式による立体像が再生されることになる。

また、一方で、撮影画像合成表示装置３は、断層画像表示手段３３１によって、断層画像を２次元画像として表示する。
このとき、断層画像表示手段３３１が表示する断層画像の映像光は、合成手段３３２を介して、要素画像群は表示板３３０ａが表示する要素画像群の映像光と同一方向に反射することで、各画像の映像光が合成されることになる。

（撮影画像合成表示装置の表示例）
次に、図８を参照して、撮影画像合成表示装置３が表示する画像の例について説明する。なお、ここでは、操作卓４のレバーＡによって、画像レベルを変更する例について説明する。また、操作卓４のレバーＡを一番奥に押した状態で要素画像群（立体像）を１００％表示し、レバーＡを一番手前に引いた状態で断層画像（２次元画像）を１００％表示することとする。

図８（ａ）は、立体像を表示した例を示し、図８（ｂ）は断層画像を表示した例を示している。
図８（ａ−１）に示すように、操作卓４のレバーＡを一番奥に押した状態では、図８（ａ−２）に示すように、撮影画像合成表示装置３は、要素画像群を１００％の画像レベルで表示し、断層画像を０％の画像レベルで表示する。これによって、画面上には、立体像Ｇ_１のみが表示されることになる。

また、図８（ｂ−１）に示すように、操作卓４のレバーＡを一番手前に引いた状態では、図８（ｂ−２）に示すように、撮影画像合成表示装置３は、断層画像を１００％の画像レベルで表示し、要素画像群を０％の画像レベルで表示する。これによって、画面上には、２次元の断層画像Ｇ_２のみが表示されることになる。
なお、操作卓４のレバーＡを０％より大きく１００％より小さい中間位置の状態とした場合、それぞれの画像の画素値が加算された中間画像が表示される。

以上説明したように撮影画像合成表示装置３は、操作者（医者Ｄ等）が、被写体（患者Ｐの手術部位Ｐ_Ｂ）を３次元の立体像として視認することができるとともに、同一視線上において、被写体の立体像を断層画像とを適宜切り替えて確認することができる。

また、撮影画像合成表示装置３は、画像レベル変更手段３１によって、同一視線上で被写体の立体像と断層画像とをその画像レベルを変えて表示できるため、被写体の立体像と断層画像とを切り替える途中の中間段階において、その変化を徐々に確認することができ、例えば、手術に伴う部位の変化を容易に視認することができる。
さらに、撮影画像合成表示装置３は、表示切替手段３２によって、断層画像を切り替えて表示することができるため、例えば、手術が進行し手術対象が奥側に移行した場合であっても、対象となる断層画像を表示して、被写体の立体像と対比することができる。

〔撮影画像合成表示装置：第２実施形態〕
次に、図９を参照（適宜図１参照）して、本発明の第２実施形態に係る撮影画像合成表示装置の構成について説明する。第１実施形態に係る撮影画像合成表示装置３（図６）は、要素画像群と断層画像とを光路上で合成したが、図９に示す第２実施形態に係る撮影画像合成表示装置３Ｃは、断層画像をインテグラル方式の要素画像群（断層画像要素画像群）に変換して合成する点が異なっている。

また、撮影画像合成表示装置３Ｃは、外部から定位位置制御信号（詳細は後記する）を入力する点が撮影画像合成表示装置３とは異なっている。なお、この定位位置制御信号は、外部の操作卓４Ｂから入力されるものとする。
すなわち、図１で説明した撮影画像合成表示装置３および操作卓４を、それぞれ撮影画像合成表示装置３Ｃおよび操作卓４Ｂで置き換えることで、手術支援システム（画像合成提示システム）を構成することができる。

図９に示すように、撮影画像合成表示装置３Ｃは、画像入力手段３０と、画像レベル変更手段３１と、表示切替手段３２と、合成表示手段３３Ｂと、要素画像変換手段３４とを備えている。合成表示手段３３Ｂおよび要素画像変換手段３４以外の構成については、図６で説明した撮影画像合成表示装置３と同じ構成であるため、同一の符号を付して説明を省略する。以下、要素画像変換手段３４、合成表示手段３３Ｂの順に説明する。

要素画像変換手段３４は、断層画像入力手段３０１で入力された断層画像を、インテグラル方式の要素画像群（断層画像要素画像群）に変換するものである。この要素画像変換手段３４は、立体像表示手段３３０が有する要素レンズ群３３０ｂの各要素レンズに対応する要素画像を生成する。このとき、要素画像変換手段３４は、断層画像を空中像として表示させる定位位置を、操作卓４Ｂから定位位置制御信号として入力し、その定位位置に空中像を定位させる要素画像群を生成する。

なお、定位位置制御信号は、断層画像の空間上の定位位置（例えば、要素レンズ群３３０ｂからの距離）を特定するための制御信号であって、定位位置の最小値および最大値を、予め割り当てておく。例えば、定位位置制御信号が最小値（例えば、“０”）の場合、定位位置を要素レンズ群３３０ｂの位置とし、定位位置制御信号が最大値（例えば、“１００”）の場合、定位位置を要素レンズ群３３０ｂから予め定めた距離（例えば、３０ｃｍ等）の位置とする。もちろん、定位位置を要素レンズ群３３０ｂよりも奥側にすることとしても構わない。

ここで、図１２を参照して、要素画像変換手段３４における２次元画像の断層画像を要素画像に変換する手法について説明する。
図１２（ａ）に示すように、要素画像変換手段３４は、立体像表示手段３３０の表示板３３０ａと要素レンズ群３３０ｂとの距離をＬａ、断層画像を定位させたい定位位置Ｈと要素レンズ群３３０ｂとの距離をＬｂとして、表示板３３０ａ、要素レンズ群３３０ｂおよび断層画像を３次元空間上に仮想的に配置する。なお、距離Ｌａは立体像表示手段３３０における実際の距離である。また、距離Ｌｂは、定位位置制御信号で特定される値である。

ここで、要素画像変換手段３４は、仮想の表示面（表示板３３０ａ）において、生成する要素画像ｇの領域における画素ａの画素値を、画素ａと要素画像ｇに対応する要素レンズ３３０_１のレンズ中心Ｃ_Ｌとを結ぶ直線と、断層画像との交点の画素ｂの画素値とする。そして、要素画像変換手段３４は、この処理を要素画像のすべてにおいて行うことで、それぞれの要素画像の画素値を決定する。
これによって、要素画像変換手段３４は、図１２（ｂ）に示すように、断層画像Ｇから、任意の位置に定位可能な要素画像で構成される要素画像群（断層画像要素画像群）Ｇ
_ＩＰを生成することができる。
図９に戻って、撮影画像合成表示装置３Ｃの構成について説明を続ける。

要素画像変換手段３４で変換された要素画像群（断層画像要素画像群）は、画像レベル変更手段３１の断層画像レベル変更手段３１１に出力される。
なお、断層画像レベル変更手段３１１は、第１実施形態（図６）においては、断層画像の画像レベルを変更したが、第２実施形態（図９）においては、断層画像を要素画像群に変換した画像の画像レベルを変更する。すなわち、第１，第２実施形態において、断層画像レベル変更手段３１１は、どちらも２次元の画像の画像レベルを変更することにおいて、処理内容は同じである。

合成表示手段３３Ｂは、被写体を立体画像撮影装置１で撮影した要素画像群（被写体要素画像群）と、断層画像を要素画像に変換した要素画像群（断層画像要素画像群）とを合成して表示するものである。ここでは、合成表示手段３３Ｂは、立体像表示手段３３０と、合成手段３３２Ｂとを備えている。

立体像表示手段３３０は、図６で説明した撮影画像合成表示装置３と同一のものである。ただし、ここでは、立体像表示手段３３０は、要素画像群の入力元が合成手段３３２Ｂである点が撮影画像合成表示装置３と異なっている。

合成手段３３２Ｂは、被写体画像入力手段３００で入力され、必要に応じて（外部からの指示に応じて）画像レベルが変更された要素画像群（被写体要素画像群）と、断層画像入力手段３０１で入力され、要素画像群に変換された後、必要に応じて（外部からの指示に応じて）画像レベルが変更された断層画像要素画像群とを合成するものである。

すなわち、合成手段３３２Ｂは、被写体をリアルタイムで撮影した要素画像群と、断層画像を要素画像に変換した要素画像群との各画素値を加算することで、合成した要素画像群の画像を生成する。
このように生成された要素画像群の画像は、立体像表示手段３３０に出力される。
これによって、被写体要素画像群については、立体像として再生され、断層画像要素画像群については、指定された定位位置に平面の空中像として再生されることになる。

以上、本発明の第２実施形態に係る撮影画像合成表示装置３Ｃの構成について説明したが、本発明は、この第２実施形態に限定されるものではない。例えば、表示切替手段３２は、第１実施形態の変形例である撮影画像合成表示装置３Ｂと同様に必須ではない。例えば、図１０に示す撮影画像合成表示装置３Ｄとし、操作卓４Ｂから出力される切替制御信号を断層画像再生装置２に入力し、断層画像再生装置２が、指定された断層画像を内部の断層画像記憶装置２０から読み出して撮影画像合成表示装置３Ｄに出力することとしてもよい。

また、図９に示す撮影画像合成表示装置３Ｃでは、要素画像変換手段３４を備える構成としたが、断層画像再生装置（断層画像記憶手段）２に、断層撮影装置（図示せず）で撮影された被写体の複数の断層画像を、インテグラル方式の要素画像群である断層画像要素画像群として予め記憶しておくことで、要素画像変換手段３４を構成から省略することもできる。

すなわち、図１１に示す撮影画像合成表示装置３Ｅとして構成することも可能である。
この場合、断層画像再生装置（断層画像記憶手段）２には、断層画像ごとに、定位位置に応じて予め複数の断層画像要素画像群を記憶しておく。そして、操作卓４Ｂから、切替制御信号および定位位置制御信号を、断層画像再生装置２に出力することで、指定された断層画像要素画像群が撮影画像合成表示装置３Ｅの断層画像入力手段３０１に入力される。

（撮影画像合成表示装置の動作）
次に、図９を参照して、撮影画像合成表示装置３Ｃの動作について説明する。なお、断層画像再生装置２には、患者Ｐの手術部位Ｐ_Ｂを撮影した複数の断層画像が予め記憶されているものとする。

まず、撮影画像合成表示装置３Ｃは、画像入力手段３０によって、立体画像撮影装置１で撮影された要素画像群と、断層画像再生装置２で再生される断層画像とを入力する。
すなわち、撮影画像合成表示装置３Ｃは、被写体画像入力手段３００によって、リアルタイムに撮影されている要素画像群（被写体要素画像群）を映像信号として逐次入力する。

また、撮影画像合成表示装置３Ｃは、断層画像入力手段３０１によって、断層画像再生装置２に記憶されている断層画像を映像信号として入力する。この断層画像入力手段３０１は、表示切替手段３２によって、操作卓４ＢのレバーＢの位置を切替制御信号として入力されることで、その位置に対応した断層画像を、断層画像再生装置２から入力する。
そして、撮影画像合成表示装置３Ｃは、要素画像変換手段３４によって、断層画像をインテグラル方式の要素画像群（断層画像要素画像群）に変換する。このとき、要素画像変換手段３４は、操作卓４Ｂから入力される定位位置制御信号に基づいて、断層画像を指定された空間上の位置に定位させるように要素画像群を生成する。

そして、撮影画像合成表示装置３Ｃは、画像レベル変更手段３１によって、被写体要素画像群および断層画像要素画像群のそれぞれの画像レベルを変更する。
すなわち、撮影画像合成表示装置３Ｃは、被写体画像レベル変更手段３１０によって、逐次入力される被写体要素画像群の画像レベルを、操作卓４Ｂから入力されるレベル制御信号によって変更する。また、撮影画像合成表示装置３Ｃは、断層画像レベル変更手段３１１によって、断層画像要素画像群の画像レベルを、操作卓４Ｂから入力されるレベル制御信号によって変更する。

そして、撮影画像合成表示装置３Ｃは、合成表示手段３３Ｂの合成手段３３２Ｂによって、被写体要素画像群と断層画像要素画像群とを加算し、立体像表示手段３３０によって、加算された要素画像群を表示する。これによって、被写体要素画像群は、立体像として再生され、断層画像要素画像群は、定位置に空中像として定位して再生されることになる。

（撮影画像合成表示装置の表示例）
次に、図１３を参照して、撮影画像合成表示装置３Ｃが表示する画像の例について説明する。なお、ここでは、操作卓４ＢのレバーＣによって、断層画像の定位位置を変更する例について説明する。また、操作卓４ＢのレバーＣを一番奥に押した状態で断層画像を一番奥側に表示し、レバーＣを一番手前に引いた状態で断層画像を一番手前に表示することとする。

図１３（ａ）は、断層画像を一番奥に表示した例を示し、図１３（ｂ）は断層画像を一番手前に表示した例を示している。
図１３（ａ−１）に示すように、操作卓４ＢのレバーＣを一番奥に押した状態では、図１３（ａ−２）に示すように、撮影画像合成表示装置３Ｃは、断層画像を最も奥側（ここでは、表示画面上とする）に表示する。
また、図１３（ｂ−１）に示すように、操作卓４ＢのレバーＣを一番手前に引いた状態では、図１３（ｂ−２）に示すように、撮影画像合成表示装置３Ｃは、断層画像を表示画面よりも手前に断層画像を空中像として再生する。
なお、操作卓４ＢのレバーＣを中間位置の状態とした場合、断層画像の空中像が定位する位置が変化する。

以上説明したように撮影画像合成表示装置３Ｃは、撮影画像合成表示装置３で説明した効果に加え、断層画像を任意の位置に空中像として定位させることができるため、被写体の立体像の対応する断層面の位置に断層画像を定位させることで、より手術部位と断層画像とを正確に対比することができる。

以上、本発明の実施形態について説明したが、本発明は、医療行為における手術を支援する装置として限定するものではない。例えば、工業製品や部品の生産工程において、部品の断層画像を撮影しておき、部品の加工段階で、逐次断層画像と対比することも可能である。

Ｓ 手術支援システム（画像合成提示システム）
１ 立体画像撮影装置
２ 断層画像再生装置
２０ 断層画像記憶装置
３ 撮影画像合成表示装置
３０ 画像入力手段
３００ 被写体画像入力手段
３０１ 断層画像入力手段
３１ 画像レベル変更手段
３１０ 被写体画像レベル変更手段
３１１ 断層画像レベル変更手段
３２ 表示切替手段
３３ 合成表示手段
３３０ 立体像表示手段
３３１ 断層画像表示手段
３３２ 合成手段
３４ 要素画像変換手段

Claims (9)

1. インテグラル方式の立体画像撮影装置で被写体を撮影した画像と、予め断層撮影装置で前記被写体の断層面を撮影した画像とを合成して表示する撮影画像合成表示装置であって、
   前記断層撮影装置で撮影された前記被写体の複数の断層画像を予め記憶した断層画像記憶装置から、前記断層画像を入力する断層画像入力手段と、
   前記立体画像撮影装置で撮影された要素画像群である被写体要素画像群を入力する被写体画像入力手段と、
   外部から、前記断層画像および前記被写体要素画像群のそれぞれの画像レベルを入力し、前記断層画像および前記被写体要素画像群のそれぞれの画像レベルを、その入力された画像レベルに変更する画像レベル変更手段と、
   この画像レベル変更手段で画像レベルが変更された前記被写体要素画像群を、要素レンズ群を介して表示する立体像表示手段と、
   前記画像レベル変更手段で画像レベルが変更された前記断層画像を表示する断層画像表示手段と、
   前記立体像表示手段が表示する前記被写体要素画像群の映像光と前記断層画像表示手段が表示する前記断層画像の映像光とを光路上で合成する合成手段と、
   を備えることを特徴とする撮影画像合成表示装置。
2. インテグラル方式の立体画像撮影装置で被写体を撮影した画像と、予め断層撮影装置で前記被写体の断層面を撮影した画像とを合成して表示する撮影画像合成表示装置であって、
   前記断層撮影装置で撮影された前記被写体の複数の断層画像を予め記憶した断層画像記憶装置から、前記断層画像を入力する断層画像入力手段と、
   前記立体画像撮影装置で撮影された要素画像群である被写体要素画像群を入力する被写体画像入力手段と、
   前記断層画像入力手段で入力された断層画像を、インテグラル方式の要素画像群である断層画像要素画像群に変換する要素画像変換手段と、
   外部から、前記断層画像要素画像群および前記被写体要素画像群のそれぞれの画像レベルを入力し、前記断層画像要素画像群および前記被写体要素画像群のそれぞれの画像レベルを、その入力された画像レベルに変更する画像レベル変更手段と、
   この画像レベル変更手段で画像レベルが変更された前記断層画像要素画像群および前記被写体要素画像群を合成する合成手段と、
   この合成手段で合成された画像を、要素レンズ群を介して表示する立体像表示手段と、
   を備えることを特徴とする撮影画像合成表示装置。
3. 前記要素画像変換手段は、前記断層画像を空中像として定位させる定位位置を外部から入力し、前記要素画像の画素と当該要素画像に対応するインテグラル方式における仮想の要素レンズのレンズ中心とを結ぶ直線と、前記定位位置に仮想的に配置した前記断層画像との交点の画素値を、前記要素画像の画素の画素値とすることで、前記要素画像を生成することを特徴とする請求項２に記載の撮影画像合成表示装置。
4. インテグラル方式の立体画像撮影装置で被写体を撮影した画像と、予め断層撮影装置で前記被写体の断層面を撮影した画像とを合成して表示する撮影画像合成表示装置であって、
   前記断層撮影装置で撮影された前記被写体の複数の断層画像を、インテグラル方式の要素画像群である断層画像要素画像群として予め記憶した断層画像記憶装置から、前記断層画像要素画像群を入力する断層画像入力手段と、
   前記立体画像撮影装置で撮影された要素画像群である被写体要素画像群を入力する被写体画像入力手段と、
   外部から、前記断層画像要素画像群および前記被写体要素画像群のそれぞれの画像レベルを入力し、前記断層画像要素画像群および前記被写体要素画像群のそれぞれの画像レベルを、その入力された画像レベルに変更する画像レベル変更手段と、
   この画像レベル変更手段で画像レベルが変更された前記断層画像要素画像群および前記被写体要素画像群を合成する合成手段と、
   この合成手段で合成された画像を、要素レンズ群を介して表示する立体像表示手段と、
   を備えることを特徴とする撮影画像合成表示装置。
5. 外部からの指示により、前記断層画像入力手段に対して前記断層画像記憶装置から読み出す画像の切り替えを指示する表示切替手段をさらに備えることを特徴とする請求項１から請求項４のいずれか一項に記載の撮影画像合成表示装置。
6. 被写体を撮影した画像と、前記被写体の断層画像とを同一視線上で提示する画像合成提示システムであって、
   インテグラル方式で前記被写体を撮影する立体画像撮影装置と、
   予め前記被写体の断層画像を記憶した断層画像記憶装置と、
   前記立体画像撮影装置で被写体を撮影した画像と、前記断層画像記憶装置に記憶されている画像とを合成して表示する撮影画像合成表示装置と、を備え、
   前記撮影画像合成表示装置は、
   前記断層画像記憶装置から、前記断層画像を入力する断層画像入力手段と、
   前記立体画像撮影装置で撮影された要素画像群である被写体要素画像群を入力する被写体画像入力手段と、
   外部から、前記断層画像および前記被写体要素画像群のそれぞれの画像レベルを入力し、前記断層画像および前記被写体要素画像群のそれぞれの画像レベルを、その入力された画像レベルに変更する画像レベル変更手段と、
   この画像レベル変更手段で画像レベルが変更された前記被写体要素画像群を、要素レンズ群を介して表示する立体像表示手段と、
   前記画像レベル変更手段で画像レベルが変更された前記断層画像を表示する断層画像表示手段と、
   前記立体像表示手段が表示する前記被写体要素画像群の映像光と前記断層画像表示手段が表示する前記断層画像の映像光とを光路上で合成する合成手段と、
   を備えることを特徴とする画像合成提示システム。
7. 被写体を撮影した画像と、前記被写体の断層画像とを同一視線上で提示する画像合成提示システムであって、
   インテグラル方式で前記被写体を撮影する立体画像撮影装置と、
   予め前記被写体の断層画像を記憶した断層画像記憶装置と、
   前記立体画像撮影装置で被写体を撮影した画像と、前記断層画像記憶装置に記憶されている画像とを合成して表示する撮影画像合成表示装置と、を備え、
   前記撮影画像合成表示装置は、
   前記断層画像記憶装置から、前記断層画像を入力する断層画像入力手段と、
   前記立体画像撮影装置で撮影された要素画像群である被写体要素画像群を入力する被写体画像入力手段と、
   前記断層画像入力手段で入力された断層画像を、インテグラル方式の要素画像群である断層画像要素画像群に変換する要素画像変換手段と、
   外部から、前記断層画像要素画像群および前記被写体要素画像群のそれぞれの画像レベルを入力し、前記断層画像要素画像群および前記被写体要素画像群のそれぞれの画像レベルを、その入力された画像レベルに変更する画像レベル変更手段と、
   この画像レベル変更手段で画像レベルが変更された前記断層画像要素画像群および前記被写体要素画像群を合成する合成手段と、
   この合成手段で合成された画像を、要素レンズ群を介して表示する立体像表示手段と、
   を備えることを特徴とする画像合成提示システム。
8. 被写体を撮影した画像と、前記被写体の断層画像とを同一視線上で提示する画像合成提示システムであって、
   インテグラル方式で前記被写体を撮影する立体画像撮影装置と、
   前記被写体の複数の断層画像を、インテグラル方式の要素画像群である断層画像要素画像群として予め記憶した断層画像記憶装置と、
   前記立体画像撮影装置で被写体を撮影した画像と、前記断層画像記憶装置に記憶されている画像とを合成して表示する撮影画像合成表示装置と、を備え、
   前記撮影画像合成表示装置は、
   前記断層画像記憶装置から、前記断層画像要素画像群を入力する断層画像入力手段と、
   前記立体画像撮影装置で撮影された要素画像群である被写体要素画像群を入力する被写体画像入力手段と、
   外部から、前記断層画像要素画像群および前記被写体要素画像群のそれぞれの画像レベルを入力し、前記断層画像要素画像群および前記被写体要素画像群のそれぞれの画像レベルを、その入力された画像レベルに変更する画像レベル変更手段と、
   この画像レベル変更手段で画像レベルが変更された前記断層画像要素画像群および前記被写体要素画像群を合成する合成手段と、
   この合成手段で合成された画像を、要素レンズ群を介して表示する立体像表示手段と、
   を備えることを特徴とする画像合成提示システム。
9. 前記立体画像撮影装置は、赤外線、または、可視光に赤外線を含んだ光を撮影する撮影装置であることを特徴とする請求項６から請求項８のいずれか一項に記載の画像合成提示システム。

Images