以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
図1は、本発明が適用される立体内視鏡システムの外観の概略を示した全体構成図である。同図に示す立体内視鏡システム10は、立体視用の立体画像(3D画像)を撮影して表示することが可能なシステムである。撮影に関する構成及び処理以外については、3D画像ではなく通常の2D画像(平面視用の画像)を撮影し、表示する周知の内視鏡システムと大きく相違しない。以下では、主として撮影に関連する構成、処理について説明し、その他の構成、処理については周知の任意の内視鏡システムと同様に構成することが可能であるものとする。
同図に示すように本実施の形態の立体内視鏡システム10は、立体内視鏡装置12(以下、内視鏡12という。)、内視鏡12が接続されたプロセッサ装置14及び光源装置16と、プロセッサ装置14に接続された3D表示装置18などから構成される。
患者の体腔内には内視鏡12が挿入され、所望の被観察部位の3D画像を表示するための左右一対の視差画像(右画像及び左画像)が内視鏡12により撮影されるようになっている。被観察部位には、光源装置16から内視鏡12に供給される照明光が照射される。また、それらの視差画像は3D画像だけでなく広角の2D画像(広角2D画像)を表示するための画像としても使用される。
内視鏡12により撮影された視差画像は、プロセッサ装置14に取り込まれ、所要の処理が施されて、3D画像や2D画像を表示するための表示画像に成形される。そして、その表示画像が3D表示装置18に出力され、3D表示装置18に3D画像や広角2D画像が内視鏡画像として表示されるようになっている。施術者は3D表示装置18に表示された内視鏡画像を観察することによって、体腔内の被観察部位を立体的又は平面的に観察することができる。
上記の内視鏡12は、患者(被検体)の体腔内に挿入可能な挿入部20と、施術者が把持して各種操作を行う操作部22と、内視鏡12をプロセッサ装置14及び光源装置16に接続するユニバーサルコード24とを備えている。
挿入部20は、長手方向の長手軸20aを中心軸として長尺状に形成され、長手軸20aに直交する断面において略円形となる外周面を有している。挿入部20は、先端部30、湾曲部32、及び軟性部34により構成されている。
先端部30は、挿入部20の先端に設けられており、長手軸20aに略直交する先端面30aを有している。この先端部30には、詳細を後述するように先端面30aに対して正面側に位置する体腔内の被観察部位を撮影する撮影部の構成部材や、撮影部で撮影する被観察部位に光源装置16からの照明光を出射する照明部の構成部材等が硬質部材に収容されて保持されている。
湾曲部32は、先端部30の基端側に連設され、操作部22のアングルノブ40の回動操作によって上下左右方向に能動的に湾曲させることができるようになっている。この湾曲部32に対する湾曲操作によって体腔内での先端部30の向きを変更して先端部30の撮影部で撮影等を行う被観察部位の方向を調整することができる。
軟性部34は、湾曲部32の基端側に連設されると共に操作部22の先端に連設され、湾曲部32の基端から操作部22の先端までの間を連結している。軟性部34は軟性で可撓性を有しており、この軟性部34が体腔内への挿入経路の形状等に応じて受動的に湾曲することによって、先端部30を体腔内の所期の位置に挿入配置することができるようになっている。軟性部34及び湾曲部32の内部には、先端部30の撮影部や照明部に接続されるケーブル、ライトガイド等が挿通配置されている。
操作部22は、挿入部20の基端側に連設されており、操作部22には、上記のアングルノブ40や、送気・送水ボタン42等の内視鏡12の操作部材が設けられている。施術者は操作部22を把持して操作部22に設けられた操作部材を操作することによって内視鏡12の各種操作を行うことができるようになっている。
また、操作部22の先端側には、処置具挿入口44が設けられている。この処置具挿入口44は、挿入部20の内部を挿通する処置具チャンネル(管路)を通じて先端部30(後述の処置具導出口54)に連通している。したがって、処置具挿入口44から所望の処置具を挿入することによって、その処置具を先端部30の処置具導出口54から導出し、処置具の種類に対応した処置を体腔内の被観察部位等に施すことができるようになっている。
ユニバーサルコード24は、操作部22から延出されており、端部には複合タイプのコネクタ26が設けられている。ユニバーサルコード24は、そのコネクタ26によりプロセッサ装置14及び光源装置16に接続されるようになっている。
このユニバーサルコード24の内部には、先端部30の撮影部や照明部から挿入部20及び操作部22の内部を挿通したケーブルやライトガイド等が挿通配置されており、撮影部に接続されたケーブル(信号線)はコネクタ26を介してプロセッサ装置14に接続され、照明部に接続されたライトガイドはコネクタ26を介して光源装置16に接続されるようになっている。
これによって、先端部30の撮影部で撮影された視差画像の撮像信号がケーブルを伝送してプロセッサ装置14に取り込まれ、光源装置16から出射された照明光がライトガイドを伝送して先端部30の照明部から出射されるようになっている。
図2は、内視鏡12の先端部30を先端面30a側から示した正面図である。同図に示すように、先端部30には、先端面30aの正面側の被観察部位を撮影する撮影部50と、被観察部位を照明する照明光を出射する照明部52とが配設されている。
撮影部50は、左右に並設された一対の撮影部50R、50L(右撮影部50R、左撮影部50L)を有し、これらの撮影部50R、50Lによって、体腔内の同一の被観察部位を異なる位置から撮影した左右一対の視差画像が撮影されるようになっている。
先端面30aには、撮影部50R、50Lの各々に被観察部位からの光を取り込む観察窓62R、62Lが配設され、照明部52から被観察部位に照明光を出射する照明窓94が配設されている。また、先端面30aには、挿入部20の処置具挿入口44から挿入されて処置具チャンネルを挿通した処置具を先端面30aから導出する処置具導出口54や、操作部22の送気・送水ボタン42の操作によって洗浄水や空気を観察窓62R、62Lに向けて噴射する送気・送水ノズル56が設けられている。
図3は、上記立体内視鏡システム10において、内視鏡画像として3D画像や広角2D画像を表示する処理部に関連する構成を示したブロック図である。
同図に示すよう内視鏡12(先端部30)には、撮影部50として左右一対の右撮影部50R(第1撮影部)と左撮影部50L(第2撮影部)が配置されており、右撮影部50Rと左撮影部50Lとは所定の中心面50aに対して対称に配置されている。撮影部50R、50Lの各々は、撮影光学系60R、60L(第1撮影光学系及び第2撮影光学系)、CCD又はMOS型(CMOS)のイメージセンサ(撮像素子)70R、70L(第1撮像素子及び第2撮像素子)、アナログ信号処理部(AFE)80R、80L、送信部82R、82L等を備えている。
右撮影部50Rと左撮影部50Lの各々の撮影光学系60R、60Lは、同一特性を有しており、詳細な構成を省略しているが複数のレンズにより構成されている。図2に示した照明部52からの照明光により照明された先端面30aに対向する被観察部位からの光は、これらの撮影光学系60R、60Lに入射し、撮影光学系60R、60Lの結像作用により、被観察部位の像をイメージセンサ70R、70Lの受光面上に形成する。
イメージセンサ70R、70Lの受光面上に形成された像は、イメージセンサ70R、70Lにより左右一対の視差画像として撮像(光電変換)されて、撮像信号としてイメージセンサ70R、70Lの各々から出力される。なお、右撮影部50Rのイメージセンサ70Rにより撮像されて得られる視差画像を右画像(第1画像)といい、左撮影部50Lのイメージセンサ70Lにより撮像されて得られる視差画像を左画像(第2画像)というものとする。
図4は、撮影部50R、50Lの撮影光学系60R、60L及びイメージセンサ70R、70Lと、それらの視野範囲に関して示した図である。
同図において、右撮影部50Rの撮影光学系60R及びイメージセンサ70Rと、左撮影部50Lの撮影光学系60L及びイメージセンサ70Lは、紙面に垂直な中心面50aに対して左右対称となるように配置されている。
右撮影部50Rの撮影光学系60R及びイメージセンサ70Rは、視野範囲VFR(第1視野範囲)の被写体を右画像として撮影し、左撮影部50Lの撮影光学系60L及びイメージセンサ70Lは、視野範囲VFLの被写体を左画像として撮影するようになっており、これらの視野範囲VFRと視野範囲VFLは上記中心面50aに対して左右対称となっており、中央部分において重なるようになっている。
同図の基準面RPは、上記中心面50aに対して直交する平面であり、例えば挿入部20の長手軸20aに対して直交している。そして、先端部30の先端面30aから所定距離Lの位置であって、撮影光学系60R、60Lによりピントが合う距離に想定されている。
この基準面RPは、撮影部50R、50Lにより撮像された左右一対の視差画像により3D表示装置18の画面に3D画像を表示した場合において、画面上の位置に存在すると認識される物点の位置を示している。即ち、基準面RP上の物点は、3D画像において画面上に存在するように表示される。基準面RPの先端面30aからの距離Lは、一般的な内視鏡においてピント位置となる8cm〜10cmであることが望ましい。また、その基準面RPの前後1cm程度は被写界深度の範囲としてピントが合うことが望ましい。
その基準面RPにおいて、視野範囲VFRと視野範囲VFLとが重なる領域は、視野範囲VFRの左端からの視野範囲3DRと、視野範囲VFLの右端からの視野範囲3DLで示されている。また、基準面RPにおいて、視野範囲VFRと視野範囲VFLとが重ならない領域のうち、視野範囲VFRのみの領域は視野範囲VFRの右端からの視野範囲2DRで示され、視野範囲VFLのみの領域は視野範囲VFLの左端からの視野範囲2DLで示されている。
なお、以下において、視野範囲VFR、VFL、3DR、3DLを個別に言う場合には、視野範囲VFRを右全視野範囲VFR、視野範囲VFLを左全視野範囲VFL、視野範囲3DRを右3D視野範囲3DR、視野範囲3DLを左3D視野範囲3DLというものとし、基準面RPにおいて右全視野範囲VFRと左全視野範囲VFLが重なる視野範囲(即ち、右3D視野範囲3DRと左3D視野範囲3DLとを合せた視野範囲)を3D視野範囲3DR&3DLというものとする。また、視野範囲2DR、2DLを個別にいう場合には、視野範囲2DRを右2D視野範囲2DR、視野範囲2DLを左2D視野範囲2DLというものとする。
同図に示す被写体O1、O2、O3は、基準面RP上に存在する物体を例示しており、被写体O1は、3D視野範囲3DR&3DLに存在し、被写体O2は、右2D視野範囲2DRに存在し、被写体O3は、左2D視野範囲2DLに存在している。被写体O4、O5は、3D視野範囲3DR&3DLに存在するが、基準面RP上に存在しない被写体を示しており、被写体O4は、基準面RPよりも先端面30aに近い位置に存在し、被写体O5は、基準面RPよりも先端面30aから遠い位置に存在する被写体を示している。
これらの被写体O1〜O5が存在する場合に、右撮影部50Rと左撮影部50Lの各々により、図4の上部及び図5(A)、(B)に示すような右画像IRと左画像ILが左右一対の視差画像として撮影される。右画像IRには、被写体O1〜O5のうち、被写体O1、O2、O4、O5の画像が映り込み、それらの画像が各々、被写体画像O1R、O2、O4R、O5Rとして示されている。左画像ILには、被写体O1〜O5のうち、被写体O1、O3、O4、O5の画像が映り込み、それらの画像が各々、被写体画像O1L、O3L、O4L、O5Lとして示されている。
図4の上部に示す右画像IRと左画像ILは、基準面RPにおいて右撮影部50Rの右全視野範囲VFRと左撮影部50Lの全視野範囲VFLが互いに重なる視野範囲である右3D視野範囲3DRと左3D視野範囲3DLの画像を3D視野範囲3DR&3DLの画像として重ねて示したものである。
このような位置関係で右画像IRと左画像ILを表示した場合において、基準面RP上の3D視野範囲3DR&3DLに存在する被写体の画像は、被写体O1の画像である右画像IRにおける被写体画像O1Rと左画像ILにおける被写体画像O1Lを合わせて示した被写体画像O1R&O1Lのように同一位置に表示される。
一方、3D視野範囲3DR&3DLに存在するが、基準面RPよりも先端面30aからの距離が近い位置に存在する被写体の画像は、被写体O4の画像である右画像IRにおける被写体画像O4Rと左画像ILにおける被写体画像O4Lのように、右画像IRでは左側、左画像ILでは右側となる異なる位置に分離されて表示される。
これとは反対に、3D視野範囲3DR&3DLに存在するが、基準面RPよりも先端面30aからの距離が遠い位置に存在する被写体の画像は、被写体O5の画像である右画像IRにおける被写体画像O5Rと左画像ILにおける被写体画像O5Lのように、右画像IRでは右側、左画像ILでは左側となる異なる位置に分離されて表示される。
また、右全視野範囲VFRと左全視野範囲VFLとが重ならない領域であって右2D視野範囲2DRに存在する被写体の画像は、基準面RP上に存在する被写体O2の画像である右画像IRにおける被写体画像O2のように、右画像IRの右2D視野範囲2DRのみに表示される。同様に、右全視野範囲VFRと左全視野範囲VFLとが重ならない領域であって左2D視野範囲2DLに存在する被写体の画像は、基準面RP上の左2D視野範囲2DLに存在する被写体O3の画像である左画像ILにおける被写体画像O3ように、左画像ILの左2D視野範囲2DLのみに表示される。
したがって、3D表示装置18において、右撮影部50Rによって撮影された右全視野範囲VFRの右画像IRと左撮影部50Lによって撮影された左全視野範囲VFLの左画像ILとを、図4の上部のように右3D視野範囲3DRの画像と左3D視野範囲3DLの画像とが重なるように3D画像として表示することで、3D視野範囲3DR&3DLの領域に存在する被写体O1、O4、O5のような被写体を観察者が立体視することができる。被写体O1のように基準面RP上に存在する被写体は3D表示装置18の画面上に存在する被写体として認識され、被写体O4のように基準面RPよりも近い位置に存在する被写体は3D表示装置18の画面よりも近い位置に存在する被写体として認識され、被写体O5のように基準面RPよりも遠い位置に存在する被写体は3D表示装置18の画面よりも遠い位置に存在する被写体として認識される。
また、右2D視野範囲2DRや左2D視野範囲2DLのように撮影部50R、50Lのうちの一方のみによって撮影される領域に存在する被写体も2D画像として表示することができるため、3D視野範囲3DR&3DLの3D画像よりも広角の視野範囲の被観察部位の様子を観察することができる。
図3に戻り、上記のように右撮影部50Rの撮影光学系60R及びイメージセンサ70Rにより撮影される右画像IRと、左撮影部50Lの撮影光学系60L及びイメージセンサ70Lにより撮影される左画像ILは、各々、イメージセンサ70R、70Lからアナログの撮像信号として出力され、アナログ信号処理部(AFE)80R、80Lに取り込まれる。
AFE80R、80Lでは、相関二重サンプリング(CDS)、自動ゲイン(AGC)、及びアナログ/デジタル変換(A/D)等のアナログ信号処理が撮像信号に対して施され、パラレルのデジタル信号としてAFE80R、80Lから送信部82R、82Lに出力される。
送信部82R、82Lでは、パラレル/シリアル変換処理等が撮像信号に対して施され、シリアルのデジタル信号として撮影部50R、50Lに接続されたケーブル(信号線)に送出される。そのケーブルは、挿入部20、操作部22、及び、ユニバーサルコード24の内部を挿通してプロセッサ装置14の受信部100に接続されており、ケーブルに送出された撮像信号は受信部100で受信される。
ここで、本実施の形態では、3D表示装置18に内視鏡画像を動画として表示するものとすると、イメージセンサ70R、70Lの各々において動画を構成するフレーム画像として右画像IRと左画像ILが連続的に撮像され、フレーム画像として順次撮像された右画像IRと左画像ILの撮像信号が、フレーム画像ごとにシリアルのデジタル信号として送信部82R、82Lの各々から受信部100に順次伝送されるようになっている。
なお、送信部82R、82Lから受信部100への撮像信号の伝送には、例えば、低電圧作動信号(LVDS)等によりデータ伝送を行う高速デジタル伝送技術を用いることが望ましい。また、右画像IRと左画像ILの撮像信号は異なる信号線により並列に伝送するようにしてもよいし、共通の信号線により交互に送信するようにしてもよい。
プロセッサ装置14は、内視鏡画像を表示するための処理部として、受信部100、画像処理部102、表示画像生成部104、表示制御部106等を備えている。
受信部100では、内視鏡12の右撮影部50R、左撮影部50Lから送信されてケーブルを介してシリアルのデジタル信号として伝送された右画像IRと左画像ILの各々の撮像信号が受信され、それらの撮像信号に対してパラレル/シリアル変換処理等が施される。これによって、撮像信号が、送信部82R、82Lにおいて変換される前のパラレルのデジタル信号に復元されて画像処理部102に取り込まれる。
画像処理部102では、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正、輪郭強調処理、明度の調整処理などのデジタル画像処理が施される。これによって、右画像IRと左画像ILの各々の撮像信号が、表示に適した画像データとして生成され、その画像データが表示画像生成部104に取り込まれる。
なお、画像処理部102では、右画像IRと左画像ILの画像データが順次生成されて、その画像データが不図示のメモリに一次的に記憶されると共に最新の画像データに順次更新される。表示画像生成部104には、そのメモリから最新の画像データが順次取り込まれるようになっている。
表示画像生成部104では、3D表示装置18の画面全体に表示される右眼用表示画像と左眼用表示画像の画像データが、画像処理部102から順次取り込まれる右画像IRと左画像ILの画像データを用いて生成される。右眼用表示画像は、観察者の右眼によって視認される画面全体の画像を示し、その中に内視鏡画像として右画像IRの一部又は全ての画像が含められる。左眼用表示画像は、観察者の左眼によって視認される画面全体の画像を示し、その中に内視鏡画像として左画像ILの一部又は全ての画像が含められる。これらの右眼用表示画像と左眼用表示画像の画像データは、右画像IRと左画像ILの画像データの更新等と共に順次更新されて表示制御部106に出力される。なお、表示画像生成部104の処理についての詳細は後述する。
表示制御部106では、表示画像生成部104により生成された右眼用表示画像と左眼用表示画像を3D表示装置18に表示させるための映像信号が、表示画像生成部104から与えられた右眼用表示画像と左眼用表示画像の画像データに基づいて生成される。映像信号は3D表示装置18において対応可能な規格のものに生成される。その映像信号が3D表示装置18に出力される。
3D表示装置18では、表示制御部106からの映像信号にしたがって画像の表示が行われ、表示画像生成部104により生成された右眼用表示画像と左眼用表示画像の各々が右眼と左眼のうちの対応する一方の眼によって視認されるように表示される。そして、右眼用表示画像と左眼用表示画像の各々に含まれる右画像IRと左画像ILとの表示とその更新によって、内視鏡画像が動画として表示されると共に、被観察部位の3D画像や2D画像が表示されるようになっている。
ここで、周知の3D表示装置として、1台のモニタの画面に右眼用表示画像と左眼用表示画像とを交互に表示し、これに同期して左右交互に開閉するシャッターメガネを介して右眼で右眼用表示画像を観察し左眼で左眼用表示画像を観察する方式(フレームシーケンシャル方式)のものや、1台のモニタの画面に右眼用表示画像と左眼用表示画像とを例えば走査線単位で交互に表示し、左右で偏光方向の異なる偏光フィルターメガネを介して右眼で右眼用表示画像を観察し左眼で左眼用表示画像を観察する方式(偏光方式)のものや、1台のモニタの画面に微細なレンズを並べて画面を見る角度によって異なる画像を表示できるようにしたものに右眼用表示画像と左眼用表示画像を表示し、裸眼でも右眼で右眼用表示画像を観察し左眼で左眼用表示画像を観察できるようにした方式(インテグラルイメージング方式)のものや、1台のモニタの画面に微細な縦縞状の遮光物を配置して画面を見る角度によって異なる画像を表示できるようにしたものに右眼用表示画像と左眼用表示画像を表示し、裸眼でも右眼で右眼用表示画像を観察し左眼で左眼用表示画像を観察できるようにした方式(視差バリア方式)のものが知れられている。また、ヘッドマウントディスプレイのように右眼用と左眼用の2台のモニタの各々に右眼用表示画像と左眼用表示画像とを表示し、右眼で右眼用表示画像を観察し左眼で左眼用表示画像を観察する方式のもの等も知られている。本実施の形態の3D表示装置18としては、どのような方式のものでも採用することができる。また、3D画像と2D画像とを別のモニタに表示する構成としても良い。
続いて、表示画像生成部104の処理内容について具体的に説明する。
図6〜図8は、表示画像生成部104によって生成される表示画像(右眼用表示画像及び左眼用表示画像)の3D表示装置18での画面構成を例示した図であり、内視鏡画像を表示する表示エリアを例示した図である。図6の形態の画面構成では、内視鏡画像の表示エリアとして3D画像&広角2D画像表示エリア150を画面内に有している。この3D画像&広角2D画像表示エリア150は、図5(A)、(B)のように撮影部50R、50Lにより撮影された右画像IRと左画像ILとを、図4の上部に示したように右3D視野範囲3DRの画像と左3D視野範囲3DLの画像とが重なるように表示するエリアである。これによって、3D視野範囲3DR&3DLの画像が3D画像として3D表示され、その両脇の右2D視野範囲2DRと左2D視野範囲2DLの画像が広角2D画像として2D表示される。詳細な説明は省略するが、画面内における3D画像&広角2D画像表示エリア150以外の領域には、患者情報や内視鏡12の状態情報等の他の情報に関する文字や画像が表示される。図7及び図8の形態における内視鏡画像の表示エリア以外の領域についても同様である。
図7の形態の画面構成では、内視鏡画像の表示エリアとして3D画像表示エリア160と広角2D画像表示エリア170を画面内に個別に有している。3D画像表示エリア160は、図5(A)、(B)のように撮影部50R、50Lにより撮影された右画像IRと左画像ILのうち、右3D視野範囲3DRの画像と左3D視野範囲3DLの画像のみを、図4の上部に示した3D視野範囲3DR&3DLの画像のように同一位置に表示するエリアである。これによって、3D視野範囲3DR&3DLの画像が3D画像として3D表示される。なお、3D画像表示エリア160に3D画像として表示する視野範囲は3D視野範囲3DR&3DLよりも左右に一定量拡げた範囲としても良い。
一方、広角2D画像表示エリア170は、詳細を後述するように3D視野範囲3DR&3DLの画像と、その左右両側の右2D視野範囲2DRと左2D視野範囲2DLの画像を広角2D画像として2D表示するエリアである。
図8の形態は、内視鏡画像の表示エリアとして、同図(A)のように図7と同様の3D画像表示エリア160を有する画面と、同図(B)のように図7と同様の広角2D画像表示エリア170を有する画面との2つの構成の画面を有し、それらの画面を表示モードの種類によって切り替えるようにした形態を示している。表示モードとして3D画像表示モードが選択された場合には、同図(A)のように3D画像表示エリア160を有する画面が表示され、広角2D画像表示モードが選択された場合には、同図(B)のように広角2D画像表示エリア170を有する画面が表示される。表示モードの切替えは、プロセッサ装置14に接続された不図示の入力装置の操作によって、又は、内視鏡12の操作部22に設けられた操作部材の操作によって観察者が行うようにすることができる。
なお、図8(A)、(B)の画面構成は、3D画像と広角2D画像とを別のモニタに表示する場合の画面構成としても適用できる。
また、図6〜図8に示した内視鏡画像の表示エリア以外にも、右画像IRのみ又は左画像ILのみを2D画像として2D表示する表示エリア等も設けるようにしてもよい。
更に、図6〜図8に示した画像構成は一例であって、任意の種類の表示エリア(3D画像&広角2D画像表示エリア150、3D画像表示エリア160、及び広角2D画像表示エリア170等)のうちのいずれか1つ又は複数の種類の表示エリアを有する画面構成としても良く、それらの画面を表示モードの選択によって切り替えるようにしてもよい。また、複数の種類の表示エリアを1つの画面内に表示する場合にそれらを異なる領域に配置する構成ではなく、1つの表示エリア内の一部に他の表示エリアを配置するいわゆるPinP表示の構成としても良い。
図3の表示画像生成部104は、これらの図6〜図8に例示したような画面構成に対応した右眼用表示画像と左眼用表示画像とを生成する。その際に、右眼用表示画像における内視鏡画像の表示エリアの画像と、左眼用表示画像における内視鏡画像の表示エリアの画像を画像処理部102により順次生成される右画像IRの画像データと左画像ILの画像データの最新のものを使用して生成する。この内視鏡画像の表示エリアの生成処理について、図6〜図8に示した3D画像&広角2D画像表示エリア150、3D画像表示エリア160、及び広角2D画像表示エリア170を生成する場合を以下で例示する。また、内視鏡画像の表示エリア以外の画像については不図示のCPU等の処理部により生成された画像データや文字データ等を取得して生成するが、詳細な説明は省略する。
なお、以下において、右眼用表示画像における内視鏡画像の表示エリアの画像をその表示エリアの右表示画像といい、同様に左眼用表示画像における内視鏡画像の表示エリアの画像をその表示エリアの左表示画像という。
図9は、図6における3D画像&広角2D画像表示エリア150の右表示画像及び左表示画像を生成する処理の概要を示した図であり、同図(A)は、3D画像&広角2D画像表示エリア150の右表示画像の生成処理を示し、同図(B)は、3D画像&広角2D画像表示エリア150の左表示画像の生成処理を示している。
同図(A)、(B)に示すように3D画像&広角2D画像表示エリア150は、中央部に3D視野範囲3DR&3DL(図4参照)の画像を表示する領域150Mと、領域150Mの右側において右2D視野範囲2DR(図4参照)の画像を表示する領域150Rと、領域150Mの左側において左2D視野範囲2DL(図4参照)の画像を表示する領域150Lとにより形成されている。
まず、3D画像&広角2D画像表示エリア150の右表示画像について説明すると、同図(A)に示すように、3D画像&広角2D画像表示エリア150の3D視野範囲3DR&3DL及び右2D視野範囲2DRの領域150M、150Rには、右撮影部50Rにより撮影された右全視野範囲VFRの右画像IR(右画像IRの右3D視野範囲3DRの画像及び右2D視野範囲2DRの画像)が嵌め込まれる。このとき、画像処理部102によって順次生成される右画像IRの最新の画像データを用いて、3D視野範囲3DR&3DL及び右2D視野範囲2DRの領域150M、150Rの画像の画像データが生成される。そして、その際に、3D表示装置18の画面上における3D画像&広角2D画像表示エリア150の解像度に適合するように、右画像IRの画像データに対して間引き処理又は補間処理などが施される。
また、3D画像&広角2D画像表示エリア150の左2D視野範囲2DLの領域150Lには、例えば無模様の黒色画像が嵌め込まれる。
これにより、3D画像&広角2D画像表示エリア150の右表示画像として同図(A)に示すような右表示画像150DRが生成される。
次いで3D画像&広角2D画像表示エリア150の左表示画像について説明すると、同図(B)に示すように、3D画像&広角2D画像表示エリア150の3D視野範囲3DR&3DL及び左2D視野範囲2DLの領域150M、150Lには、左撮影部50Lにより撮影された左全視野範囲VFLの左画像IL(左画像ILの左3D視野範囲3DLの画像及び左2D視野範囲2DLの画像)が嵌め込まれる。このとき、画像処理部102によって順次生成される左画像ILの最新の画像データを用いて、3D視野範囲3DR&3DL及び左2D視野範囲2DLの領域150M、150Lの画像の画像データが生成され、その際に、3D表示装置18の画面上における3D画像&広角2D画像表示エリア150の解像度に適合するように、左画像ILの画像データに対して間引き処理又は補間処理などが施される。
また、3D画像&広角2D画像表示エリア150の右2D視野範囲2DRの領域150Rには、例えば無模様の黒色画像が嵌め込まれる。
これにより、3D画像&広角2D画像表示エリア150の左表示画像として同図(B)に示すような左表示画像150DLが生成される。
以上のようにして生成された右表示画像150DRと左表示画像150DLとが3D表示装置18の画面上における3D画像&広角2D画像表示エリア150に表示されると共に、右表示画像150DRが観察者の右眼のみで視認できるように、且つ、左表示画像150DLが観察者の左眼のみで視認できるように表示されることによって、3D視野範囲3DR&3DLの領域150Mの画像が立体視可能な3D画像として3D表示される。また、右2D視野範囲2DRの領域150Rと左2D視野範囲2DLの領域150Lの画像が広画角範囲の2D画像として表示される。
なお、図9に示した形態では、3D画像&広角2D画像表示エリア150の右表示画像150DRにおける左2D視野範囲2DLの領域150Lの画像を黒色画像とし、また、3D画像&広角2D画像表示エリア150の左表示画像150DLにおける右2D視野範囲2DRの領域150Rの画像を黒色画像としたが、これに限らない。例えば、図9と同様の図面構成で示した図10の変形例のようにしても良い。
図10(A)に示すように、3D画像&広角2D画像表示エリア150の右表示画像150DRにおける左2D視野範囲2DLの領域150Lには、左画像ILの左2D視野範囲2DLの画像が嵌め込まれる。これによって、3D画像&広角2D画像表示エリア150の右表示画像として同図(A)に示すような右表示画像150DRが生成される。
一方、図10(B)に示すように、3D画像&広角2D画像表示エリア150の左表示画像150DLにおける右2D視野範囲2DRの領域150Rには、右画像IRの右2D視野範囲2DRの画像が嵌め込まれる。これによって、3D画像&広角2D画像表示エリア150の左表示画像として同図(B)に示すような左表示画像150DLが生成される。
これによれば、3D画像&広角2D画像表示エリア150の右表示画像150DRと左表示画像150DLの両方において、右2D視野範囲2DRの領域150Rと左2D視野範囲2DLの領域150Lとに撮影部50R、50Lで撮影された画像が表示されるため、それらの領域の画像を両眼で視認することができ、違和感なく広角2D画像を観察することができる。
図11は、図7及び図8(A)における3D画像表示エリア160の右表示画像及び左表示画像を生成する処理の概要を示した図であり、同図(A)は、3D画像表示エリア160の右表示画像の生成処理を示し、同図(B)は、3D画像表示エリア160の左表示画像の生成処理を示している。
同図(A)、(B)に示すように3D画像表示エリア160は、3D視野範囲3DR&3DL(図4参照)の画像を表示する領域のみにより形成されている。
まず、3D画像表示エリア160の右表示画像について説明すると、同図(A)に示すように、3D画像表示エリア160(3D視野範囲3DR&3DLの領域)には、右撮影部50Rにより撮影された右全視野範囲VFRの右画像IRのうちの右3D視野範囲3DRの画像が嵌め込まれる。このとき、画像処理部102によって順次生成される右画像IRの最新の画像データを用いて、3D画像表示エリア160の画像の画像データが生成され、その際に、3D表示装置18の画面上における3D画像表示エリア160の解像度に適合するように右画像IRの画像データに対して間引き処理又は補間処理などが施される。
これにより、3D画像表示エリア160の右表示画像として同図(A)に示すような右表示画像160DRが生成される。即ち、右画像IRにおける右3D視野範囲3DRの画像が3D画像表示エリア160の右表示画像として生成される。
次いで3D画像表示エリア160の左表示画像について説明すると、同図(B)に示すように、3D画像表示エリア160(3D視野範囲3DR&3DLの領域)には、左撮影部50Lにより撮影された左全視野範囲VFLの左画像ILのうちの左3D視野範囲3DLの画像が嵌め込まれる。このとき、画像処理部102によって順次生成される左画像ILの最新の画像データを用いて、3D画像表示エリア160の画像の画像データが生成され、その際に、3D表示装置18の画面上における3D画像表示エリア160の解像度に適合するように左画像ILの画像データに対して間引き処理又は補間処理などが施される。
これにより、3D画像表示エリア160の左表示画像として同図(B)に示すような左表示画像160DLが生成される。即ち、左画像ILにおける左3D視野範囲3DLの画像が3D画像表示エリア160の左表示画像として生成される。
以上のようにして生成された右表示画像160DRと左表示画像160DLとが3D表示装置18の画面上における3D画像表示エリア160に表示されると共に、右表示画像160DRが観察者の右眼のみで視認できるように、且つ、左表示画像160DLが観察者の左眼のみで視認できるように表示されることによって、3D画像表示エリア160の画像(3D視野範囲3DR&3DLの画像)が立体視可能な3D画像として3D表示される。
図12は、図7及び図8(B)における広角2D画像表示エリア170の右表示画像及び左表示画像を生成する処理の概要を示した図であり、同図(A)は、広角2D画像表示エリア170の右表示画像の生成処理を示し、同図(B)は、広角2D画像表示エリア170の左表示画像の生成処理を示している。
同図(A)、(B)に示すように広角2D画像表示エリア170は、図9の3D画像&広角2D画像表示エリア150と同様に、中央部に3D視野範囲3DR&3DL(図4参照)の画像を表示する領域170Mと、領域170Mの右側において右2D視野範囲2DR(図4参照)の画像を表示する領域170Rと、領域170Mの左側において左2D視野範囲2DL(図4参照)の画像を表示する領域170Lとにより形成されている。
まず、広角2D画像表示エリア170の右表示画像について説明すると、同図(A)に示すように、広角2D画像表示エリア170の3D視野範囲3DR&3DL及び右2D視野範囲2DRの領域170M、170Rには、右撮影部50Rにより撮影された右全視野範囲VFRの右画像IR(右画像IRの右3D視野範囲3DRの画像及び右2D視野範囲2DRの画像)が嵌め込まれる。このとき、画像処理部102によって順次生成される右画像IRの最新の画像データを用いて、3D視野範囲3DR&3DL及び右2D視野範囲2DRの領域170M、170Rの画像の画像データが生成され、その際に、3D表示装置18の画面上における広角2D画像表示エリア170の解像度に適合するように、右画像IRの画像データに対して間引き処理又は補間処理などが施される。
一方、広角2D画像表示エリア170の左2D視野範囲2DLの領域170Lには、左画像ILの左2D視野範囲2DLの画像が嵌め込まれる。このときも同様に画像処理部102によって順次生成される左画像ILの最新の画像データを用いて、左2D視野範囲2DLの領域170Lの画像の画像データが生成され、その際に、3D表示装置18の画面上における広角2D画像表示エリア170の解像度に適合するように、左画像ILの画像データに対して間引き処理又は補間処理などが施される。
これにより、広角2D画像表示エリア170の右表示画像として同図(A)に示すような右表示画像170DRが生成される。
広角2D画像表示エリア170の左表示画像は、上述の右表示画像170DRと完全に一致した処理により生成され、同図(B)に示すように左表示画像170DLは、右表示画像170DRと完全に一致した画像となる。
以上のようにして生成された右表示画像170DRと左表示画像170DLとが、3D表示装置18の画面上における広角2D画像表示エリア170に表示されると共に、右表示画像170DRが観察者の右眼のみで視認できるように、且つ、左表示画像170DLが観察者の左眼のみで視認できるように表示された場合に、右眼と左眼とで完全に一致した画像が視認される。したがって、広角2D画像表示エリア170の全範囲における画像が広画角範囲の2D画像として表示される。
なお、広角2D画像表示エリア170の画像を表示するモニタ(画面)は、3D画像を表示するモニタとは別の2D画像を表示するモニタを使用するようにしてもよく、その場合には広角2D画像表示エリア170の右表示画像と左表示画像(画面全体に対する右眼用表示画像と左眼用表示画像)を生成する必要はなく、一方のみを生成して2D表示装置に表示させるようにすればよい。
また、図12では、右表示画像170DRと左表示画像170DLのいずれにおいても、広角2D画像表示エリア170の3D視野範囲3DR&3DLの領域170Mに対して、右画像IRの右3D視野範囲3DRの画像を嵌め込むようにしたが、その代わりに左画像ILの左3D視野範囲3DLの画像を嵌め込むようにしてもよいし、右画像IRの右3D視野範囲3DRの画像と左画像ILの左3D視野範囲3DLの画像とを用いて生成した画像を嵌め込むようにしてもよい。
以上、上記実施の形態では、撮影部50R、50Lにより撮影された右画像IRと左画像ILをプロセッサ装置14に取り込んで、3D表示装置18に3D画像や広角2D画像として表示する場合について説明したが、プロセッサ装置14に取り込んだ右画像IRと左画像IL、又は、これらによって形成された3D画像や広角2D画像等を記憶手段に記憶させることもできる。
次に、上記実施の形態を基本の実施の形態として、その基本の実施の形態に対して3D表示装置18における3D画像の高品質化と2D画像の広角化を図るための変形例について説明する。
本発明は、3D画像の解像度が2D画像の解像度よりも高くなるように構成するものである。これによって、システムの処理負担を増加させないという前提の元で、それらの解像度が同等である構成と比較したときに、2D画像のデータに対する処理負担を減らし、3D画像のデータに対するシステムの処理負担を増やすものとして3D画像の解像度やフレームレートを高くすることが可能となり、3D画像の高品質化を図ることができる。
また、3D画像のデータに対するシステムの処理負担と2D画像データに対するシステム処理負担を変えないものとして、2D画像を取り込むイメージセンサの受光面の面積を大きくする(3D画像を取り込む受光面の面積は変更しない)ことが可能となり、2D画像の広角化を図ることができる。
更に、これらの3D画像の高品質化の効果と2D画像の広角化の効果の割合を変えて両方の効果を得るようにすることも可能である。
また、本発明は、光学的な構成によって3D画像の解像度が2D画像の解像度よりも高くなるように構成する形態も含む。この場合には、システムの処理負担の増減に関係がなく、撮影光学系により被写体の光学像が結像される結像面、即ち、イメージセンサの受光面において、3D画像を取り込む領域の光学像の解像度が、2D画像を取り込む領域の光学像の解像度よりも高くなるように構成するものである。これにより、撮影光学系の歪みや収差等によって結像面上の位置に応じて光学像の解像度が変動する場合であっても、それを考慮しない場合と比較して、確実に3D画像の高品質化を図ることできる。
特に撮影光学系として小型のレンズ、簡易構成のレンズ、安価なレンズを使用した場合には、結像面上の位置に応じた光学像の解像度の変動が顕著になるため、このような構成にすることは効果的である。
さらに、2D画像の広角化を図るために撮影光学系として魚眼レンズ等の広角レンズを使用する場合にも、結像面上の位置に応じた光学像の解像度の変動が顕著になるため、3D画像の高品質化と2D画像の広角化とを両立させる場合により効果的なものとなる。
なお、本発明は、2D画像の解像度を低くしも3D画像よりは画質の低下が少ないことを前提とするものであるが、それにも限度があるため2D画像の画質の低下を許容できる範囲で2D画像の解像度を3D画像の解像度よりも低くすることが望ましい。
まず、本発明の適用範囲を拡大する変形例として、3D画像のフレームレートが2D画像のフレームレートよりも高くなるようにするための実施の形態(変形例1の実施の形態)について説明する。本変形例1は、3D画像や2D画像の解像度とは関係なく、3D画像の高品質化を図ることができ、本変形例1の実施の形態と、下記で説明する本発明の実施の形態とを互いに干渉することなく立体内視鏡システムに適用することができる。
上記基本の実施の形態では、図5(A)に示したように右撮影部50Rにおいて右3D視野範囲3DRと右2D視野範囲2DRとからなる右全視野範囲VFRの右画像IRを1フレーム画像として連続的に取り込み、図5(B)に示したように左撮影部50Lにおいて左3D視野範囲3DLと左2D視野範囲2DLとからなる左全視野範囲VFLの左画像ILを1フレームの画像として取り込むようにしている。
一方、本変形例1の実施の形態では、右撮影部50Rにおいて右全視野範囲VFRの全体画像を取り込みと、右3D視野範囲3DRのみの画像の取り込みとを特定の割合で順に行うようにし、左撮影部50Lにおいても左全視野範囲VFLの全体画像の取り込みと、左3D視野範囲3DLの画像の取り込みとを特定の割合で順に行うようにする。
図13は、図4に示した撮影部50R、50Lの撮影状態に対して、本変形例1の実施の形態において撮影部50R、50Lの各々により取り込まれる右画像IRと左画像ILを示した図である。
同図(A)に示すように、右撮影部50Rでは、右画像IRとして、基本の実施の形態と同様に右全視野範囲VFRの全体画像からなる右画像IR1と、3D画像の表示に使用される右3D視野範囲3DRのみの画像からなる右画像IR2が取り込まれる。これらの右画像IR1と右画像IR2の取り込みは、特定の割合で行われる。例えば、1:1の割合として右画像IR1と右画像IR2とを交互に取り込むようにしてもよいし、1:2の割合として、右画像IR1、右画像IR2、右画像IR2の順に取り込むようにしてもよい。
これと同様に、同図(B)に示すように、左撮影部50Lでは、左画像ILとして、基本の実施の形態と同様に左全視野範囲VFLの全体画像からなる左画像IL1と、3D画像の表示に使用される左3D視野範囲3DLのみの画像からなる左画像IL2が取り込まれる。これらの左画像IL1と左画像IL2の取り込みは、右画像IR1と右画像IR2の取り込みと同じ割合で行われる。また、右画像IR1の取り込みと左画像IL1の取り込みとが同期して行われ、右画像IR2の取り込みと左画像IL2の取り込みとが同期して行われる。ただし、必ずしもこれらの取り込みが同期して行われなくてもよく、また、右画像IR1と右画像IR2の取り込みの割合と左画像IL1と左画像IL2の取り込みの割合とが一致していなくてもよい。
ここで、右画像IR1と左画像IL1の取り込みは、イメージセンサ70R、70Lの受光部全体の画素データを読み出すことによって行われるのに対して、右画像IR2と左画像IL2の取り込みは、イメージセンサ70R、70Lの受光部の一部の画素データを読み出すことによって、または、イメージセンサ70R、70Lの受光部全体の画素データを読み出した後に撮影部50R、50L内の所定の処理回路で一部の画素データを抜き出すことによって行われる。
また、撮影光学系60R、60Lとイメージセンサ70R、70Lの配置と視野範囲VFR、VFLとの関係等によっては、右画像IR1と左画像IL1が、右画像IR2と左画像IL2と同様に、イメージセンサ70R、70Lの受光部の一部の画素データを読み出したもの、または、イメージセンサ70R、70Lの受光部全体の画素データを読み出した後に一部の画素データを抜き出したものとなる場合も生じ得る。
このような右画像IR(右画像IR1、右画像IR2)と左画像IL(左画像IL1、左画像IL2)の取り込みによれば、3D画像の表示に使用される右3D視野範囲3DRと左3D視野範囲3DLの画像は、順次取り込まれる右画像IR1、右画像IR2、左画像IL、左画像IL2の全てから得られるのに対して、2D画像の表示に使用される右2D視野範囲2DRと左2D視野範囲2DLの画像は、右画像1R1と左画像1L1のみから得られる。したがって、3D画像(3D映像)のフレームレートを2D画像(2D映像)のフレームレートよりも高くすることができ、3D画像の品質の向上を図ることができる。
次に本変形例1のような右画像IRと左画像ILの取り込みに対して、有効に3D画像(3D映像)のフレームレートを2D画像(2D映像)のフレームレートよりも高くするための上記表示画像生成部104での表示画像の生成処理について説明する。
まず、図6における3D画像&広角2D画像表示エリア150の右表示画像及び左表示画像を生成する場合の処理について説明する。なお、右表示画像と左表示画像は同様の処理により生成されるため、ここでは右表示画像の生成処理についてのみ詳説する。
右撮影部50Rにより上記のように順次取り込まれる図13(A)に示した右画像IR1、IR2は、プロセッサ装置14に伝送されて画像処理部102で表示用の画像データとして順次生成され、表示画像生成部104に取り込まれる。
表示画像生成部104では、画像処理部102により右画像1R1の画像データが得られたときには、その画像データを用いて図9(A)又は図10(A)に示した基本の実施の形態における生成処理と同一の処理が行われる。これによって図9(A)又は図10(A)の右表示画像150DRが生成される。そして、その右表示画像150DRが最新のものとされる。
一方、画像処理部102により右画像1R2の画像データが得られたときには、表示画像生成部104により既に生成された最新の右表示画像150DRに対して3D視野範囲3DR&3DLの画像の画像データのみが、その右画像IR2の画像データで置き換えられる。これによって3D視野範囲3DR&3DLの画像のみが更新された新たな右表示画像150DRが生成され、その右表示画像150DRが最新のものとされる。
そして、このような生成処理が画像処理部102により右画像1R1又は右画像IR2の画像データが得られるごとに繰り返される。
左表示画像についても同様に、左画像IL1の画像データが得られたときには図9(B)又は図10(B)に示した基本の実施の形態における生成処理と同一の処理により左表示画像150DLが生成され、左画像1L2の画像データが得られたときには、最新の左表示画像150DLの3D視野範囲3DR&3DLの画像のみが更新される。
このようにして順次生成される右表示画像150DRと左表示画像150DLとが3D表示装置18の画面上における3D画像&広角2D画像表示エリア150に表示されることによって、3D画像として表示される3D視野範囲3DR&3DLの画像のフレームレートが、2D画像として表示される右2D視野範囲2DRと左2D視野範囲2DLの画像のフレームレートよりも実質的に高くなる。これにより、3D画像の高品質化が図られる。
次に、図7及び図8(A)における3D画像表示エリア160の右表示画像及び左表示画像を生成する場合の処理について説明する。なお、右表示画像と左表示画像は同様の処理により生成されるため、ここでは右表示画像の生成処理についてのみ詳説する。
上述のように右撮影部50Rにより順次取り込まれる図13(A)に示した右画像IR1、IR2は、プロセッサ装置14に伝送されて画像処理部102で表示用の画像データとして順次生成され、表示画像生成部104に取り込まれる。
表示画像生成部104では、画像処理部102により右画像1R1の画像データが得られたときには、その画像データを用いて図11(A)に示した基本の実施の形態における生成処理と同一の処理が行われて3D画像表示エリア160の右表示画像160DRが生成される。
一方、画像処理部102により右画像1R2の画像データが得られたときには、その右画像1R2の画像データが3D画像表示エリア160の右表示画像160DRの画像データとされ、右画像IR2がそのまま右表示画像160DRとなる。
そして、このような生成処理が画像処理部102により右画像1R1又は右画像IR2の画像データが得られるごとに繰り返される。
左表示画像についても同様に、左画像IL1の画像データが得られたときには図11(B)に示した基本の実施の形態における生成処理と同一の処理により左表示画像160DLが生成され、左画像1L2の画像データが得られたときには、その左画像1L2が左表示画像160DLとなる。
このようにして順次生成される右表示画像150DRと左表示画像150DLとが3D表示装置18の画面上における3D画像表示エリア160に表示されることによって、3D画像として表示される3D画像表示エリア160の画像(3D視野範囲3DR&3DLの画像)が右画像1R1と右画像IR2の取り込みごと(左画像1L1と左画像1L2の取り込みごと)に更新される。なお、この3D画像表示エリア160での3D画像の表示は、これと別のエリアに表示される広角2D画像表示エリア170での2D画像の表示と共に、又は切り替えて行われるものであり、2D画像のフレームレートとの比較については後述する。
次に、図7及び図8(B)における広角2D画像表示エリア170の右表示画像及び左表示画像を生成する場合の処理について説明する。なお、右表示画像と左表示画像は同様の処理により同一画像として生成されるため、ここでは右表示画像の生成処理についてのみ詳説する。
上述のように右撮影部50Rにより順次取り込まれる図13(A)に示した右画像IR1、IR2は、プロセッサ装置14に伝送されて画像処理部102で表示用の画像データとして順次生成され、表示画像生成部104に取り込まれる。
表示画像生成部104では、画像処理部102により右画像1R1の画像データが得られたときには、その画像データを用いて図12(A)に示した基本の実施の形態における生成処理と同一の処理が行われて広角2D画像表示エリア170の右表示画像170DRが生成される。そして、その右表示画像170DRが最新のものとされる。なお、図12(A)のように右表示画像170DRの生成には、左画像IL1の画像データも使用される。
一方、画像処理部102により右画像1R2の画像データが得られたときには、表示画像生成部104により既に生成された最新の右表示画像170DRに対して3D視野範囲3DR&3DLの画像の画像データのみが、その右画像IR2の画像データで置き換えられる。これによって3D視野範囲3DR&3DLの画像のみが更新された新たな右表示画像170DRが生成され、その右表示画像150DRが最新のものとされる。
そして、このような生成処理が画像処理部102により右画像1R1又は右画像IR2の画像データが得られるごとに繰り返される。
なお、右表示画像170DRは、右画像1R1の画像データが得られたときのみ更新するものとし、右画像IR2の画像データが得られてときに右表示画像170DRには変更を加えないものとしてもよい。
左表示画像については、右表示画像170DRと同一の処理により右表示画像170DRと同一画像の左表示画像170DLが生成される。
このようにして順次生成される右表示画像170DRと左表示画像170DLとが3D表示装置18の画面上における広角2D画像表示エリア170に表示されることによって、広角2D画像表示エリア170の全範囲における画像が広画角範囲の2D画像として表示される。このとき、少なくとも広角2D画像表示エリア170の右2D視野範囲2DRと左2D視野範囲2DLの画像は、右画像IR1(左画像1L1)の取り込みごとに更新される。したがって、上記の3D画像として表示される3D画像表示エリア160の画像のフレームレートの方が、2D画像として表示される広角2D画像表示エリア170の画像のフレームレートよりも高くなる。これにより、3D画像の高品質化が図られる。
次に、3D画像の解像度が2D画像の解像度よりも高くなるようにした本発明の実施の形態(変形例2及び変形例3の実施の形態)について説明する。
図14(A)、(B)は、変形例2及び変形例3の実施の形態において撮影部50R、50Lにより取り込まれる右画像IR及び左画像ILの画素構成を示したイメージ図である。変形例2では、撮影部50R、50Lが、例えば、基本の実施の形態と同様に、右視野範囲VFRの右画像IRを連続的に取り込み、左視野範囲VFLの左画像ILを連続的に取り込むものとする。
このとき、右画像IRは、同図(A)に示すように、3D画像の表示に使用される右3D視野範囲3DRの画像の解像度よりも2D画像の表示に使用される右2D視野範囲2DRの画像の解像度の方が低くなるようにして取り込まれる。ここで、同図(A)、(B)において、白色の画素が右画像IRの画素データとして有効に取り込まれている画素を示し、黒色の画素が右画像IRの画素データとして有効に取り込まれていない画素を示す。
また、左画像ILは、同図(B)に示すように、3D画像の表示に使用される左3D視野範囲3DLの画像の解像度よりも2D画像の表示に使用される左2D視野範囲2DLの画像の解像度の方が低くなるようにして取り込まれる。
これにより、3D画像の解像度が2D画像の解像度よりも高くなり、上述のように3D画像の高品質化や2D画像の広角化を図ることができる。
図15は、図14(A)、(B)のように右画像IRと左画像ILを取り込むための変形例2における撮影部50R、50Lの構成を示す。なお、図3に示した撮影部50R、50Lにおける同一作用又は類似作用の構成要素には図3と同一符号を付し、説明を省略する。
同図に示すように右撮影部50Rにおいてイメージセンサ70Rから撮像信号として読み出された画素データは、AFE80Rによってアナログ信号処理が施された後、デジタルの画素データとして処理部200R(画素密度変更手段)に入力される。
処理部200Rは、順次入力されるデジタルの画素データのうち、右画像IRの右3D視野範囲3DRの画素データをそのまま送信部82Rに出力し、右2D視野範囲2DRの画素データに対しては間引き処理を施して一部の画素データ(例えば水平方向に並ぶ画素のうち一定間隔置きの画素の画素データ)のみを送信部82Rに出力する。
これによって、右2D視野範囲2DRの画像の画素データとしてイメージセンサ70Rの受光面から有効に画素データが取り込まれる画素の密度が、右3D視野範囲3DRの画像を画素データとしてイメージセンサ70Rの受光面から有効に取り込まれる画素の密度よりも低くなり、図14(A)のように3D画像の表示に使用される右3D視野範囲3DRの画像の解像度よりも2D画像の表示に使用される右2D視野範囲2DRの画像の解像度の方が低い右画像IRが右撮影部50Rにより取り込まれるようになる。
同様に、処理部200Lは、順次入力されるデジタルの画素データのうち、左画像ILの左3D視野範囲3DLの画素データをそのまま送信部82Lに出力し、左2D視野範囲2DLの画素データに対しては間引き処理を施して一部の画素データ(例えば水平方向に並ぶ画素のうち一定間隔置きの画素の画素データ)のみを送信部82Lに出力する。
これによって、左2D視野範囲2DLの画像の画素データとしてイメージセンサ70Lの受光面から有効に画素データが取り込まれる画素の密度が、左3D視野範囲3DLの画像を画素データとしてイメージセンサ70Lの受光面から有効に取り込まれる画素の密度よりも低くなり、図14(B)のように3D画像の表示に使用される左3D視野範囲3DLの画像の解像度よりも2D画像の表示に使用される左2D視野範囲2DLの画像の解像度の方が低い左画像ILが左撮影部50Lにより取り込まれるようになる。
なお、処理部200R、200Lにおいて右2D視野範囲2DR及び左2D視野範囲2DLの画素データを間引くことによって画素数(画素密度)を低減するのではなく、ビニング処理により互いに近接する複数の画素データから1画素分の画素データを生成して画素数(画素密度)を低減し、生成した画素データを送信部82R、82Lに出力するようにしてもよい。
また、処理部200R、200Lは、AFE80R、80Lの前段に設けても良いし、AFE80R、80L内での処理としてもよい。
さらに、イメージセンサ70R、70Lが同図の駆動部202R、202Lから指示された位置の画素データを出力する構造を有する場合には、駆動部202R、202Lからの指示によって、右2D視野範囲2DR及び左2D視野範囲2DLの全ての画素データのうちの一部の画素データのみを出力させて間引き処理を行うことができる。
また、イメージセンサ70R、70Lが駆動部202R、202Lからの指示によって上記のビニング処理を実施する機能を有する場合には、駆動部202R、202Lからの指示によってイメージセンサ70R、70L内で右2D視野範囲2DR及び左2D視野範囲2DLの画素データに対してビニング処理を実施させて出力させることもできる。
図16は、図14(A)、(B)のように右画像IRと左画像ILを取り込むための変形例3におけるイメージセンサ70R、70Lの受光面における画素ピッチ(画素密度)を示す。
イメージセンサ70R、70Lの受光面(受光部)において、右画像IRの右3D視野範囲3DRの画像を撮像する領域230Rと、左画像ILの左3D視野範囲3DLの画像を撮像する領域230Lの画素ピッチは一致している。拡大図234は、それらの領域230R、230L内の同一面積の範囲を拡大して示した図である。拡大図234に示すように領域230R、230L内の画素(受光素子)238、238、・・・は、例えば縦方向と横方向に同一の画素ピッチP1で配列されている。
一方、イメージセンサ70R、70Lの受光面において、右画像IRの右2D視野範囲2DRの画像を撮像する領域232Rと、左画像ILの左2D視野範囲2DLの画像を撮像する領域232Lの画素ピッチは一致している。拡大図236は、それらの領域232R、232L内の同一面積の範囲を拡大して示した図である。拡大図236に示すように領域232R、232L内の画素(受光素子)240、240、・・・は、例えば縦方向と横方向に同一の画素ピッチP2で配列されている。
そして、領域230R、230L内の画素ピッチP1と、領域232R、232Lの画素ピッチP2を比較すると、画素ピッチP1よりも画素ピッチP2の方が大きい。即ち、領域230R、230Lの画素密度の方が、領域232R、232Lの画素密度よりも大きい。
このようにイメージセンサ70R、70Lとして、3D画像を撮像する受光面の領域よりも2D画像を撮像する受光面の領域の方が画素ピッチが大きいイメージセンサを使用することによって、図14(A)のように3D画像の表示に使用される右3D視野範囲3DRの画像の解像度よりも2D画像の表示に使用される右2D視野範囲2DRの画像の解像度の方が低い右画像IRが右撮影部50Rにより取り込まれるようになる。また、図14(B)のように3D画像の表示に使用される左3D視野範囲3DLの画像の解像度よりも2D画像の表示に使用される左2D視野範囲2DLの画像の解像度の方が低い左画像ILが左撮影部50Lにより取り込まれるようになる。
なお、基本の実施の形態のように右撮影部50Rにおいて右全視野範囲VFRの右画像IRの取り込みを連続的に行い、左撮影部50Lにおいて左全視野範囲VFLの左画像ILの取り込みを連続的に行う場合には、それらの右画像IRと左画像ILの取り込みに変形例2、3の右画像IRと左画像ILの取り込みをそのまま適用することができる。その場合に、内視鏡画像の表示エリアの右表示画像と左表示画像は、基本の実施の形態において説明した表示エリアの種類に応じた生成処理と同一処理によって生成され、3D表示装置18に表示される。
一方、図13等を用いて説明した変形例1の実施の形態のように右撮影部50Rにおいて右全視野範囲VFRの右画像IR1の取り込みと、右3D視野範囲3DRのみの右画像IR2の取り込みとを特定の割合で順に行い、左撮影部50Lにおいて左全視野範囲VFLの左画像IL1の取り込みと、左3D視野範囲3DLのみの左画像IL2の取り込みとを特定の割合で順に行う場合には、右画像IR1と左画像1L1の取り込みに対して変形例2、3の右画像IRと左画像ILの取り込みを適用することができる。
その場合に、内視鏡画像の表示エリアの右表示画像と左表示画像は、変形例1の実施の形態において説明した表示エリアの種類に応じた生成処理と同一処理によって生成され、3D表示装置18に表示される。
更に、変形例1の実施の形態のように右画像IRと左画像ILの取り込みと、内視鏡画像の表示エリアの表示画像の生成処理を行う場合に、右画像IR1と左画像1L1の取り込みに対して変形例2、3の右画像IRと左画像ILのように2D画像の表示に使用される画像の解像度だけでなく、3D画像の表示に使用される画像の解像度、即ち、右画像IR1と左画像1L1の全範囲の解像度を変形例2と同様に間引き処理やビニング処理等によって低くする形態も考えられる。
次に、光学的な構成によって3D画像の解像度が2D画像の解像度よりも高くなるようにする変形例4の実施の形態について説明する。
図17は、図4に示した基本の実施の形態における各種視野範囲をそのまま適用して本変形例4における撮影部50R、50Lの撮影光学系60R、60L及びイメージセンサ70R、70Lの構成を示した図である。なお、被写体O1〜O5や同図の上部において右画像IRと左画像ILを3D画像として表示される領域で重ねて示した図も図4と全く同じである
同図に示すように撮影光学系60Rと撮影光学系60Lは、それらの光軸ORと光軸OLが、基準面RP上で交わり、且つ、左右対称となる向きに配置されている。即ち、3D画像を撮影する右3D視野範囲3DRと左3D視野範囲3DLとが基準面RP上において重なる範囲(3D視野範囲3DR&3DL)の中心位置において光軸ORと光軸OLが交差するように撮影光学系60Rと撮影光学系60Lの向きが設定されている。
一方、イメージセンサ70Rとイメージセンサ70Lは、それらの受光面の中心軸が各々、光軸ORと光軸OLからずれた位置に配置されている。イメージセンサ70Rは、その受光面が右全視野範囲VFRの左端、即ち、3D画像を撮影する右3D視野範囲3DRの左端を所定の視方向に規制する位置となるように配置されている。同様に、イメージセンサ70Lは、その受光面が左全視野範囲VFLの右端、即ち、3D画像を撮影する左3D視野範囲3DLの右端を所定の視方向に規制する位置となるように配置されている。
ここで、図18、図19は、同一特性の撮影光学系60R、60Lの解像度の特性に関して例示した図である。たとえば、広角の2D画像を撮影するために図17における右2D視野範囲2DRや左2D視野範囲2DLを大きくする場合、撮影光学系60R、60Lとして魚眼レンズのような等距離射影方式、等立体角射影方式、又は、正射影方式の広角レンズを使用すると好適である。図18は、その場合の撮影光学系60R、60Lの解像度の特性を示している。
同図に示すように、撮影光学系60R、60Lは、例えば基準面RP上の一定間隔の縦縞を結像面IP上に縦縞の像として結像する。これによれば、結像面IP上において光軸OR、OLから横方向(光軸OR、OLに直交する方向)に離れるほど、縦縞の間隔が狭くなっている。したがって、撮影光学系60R、60Lは、図中最下部のグラフに示すように結像面IP上において光軸OR、OLの位置で解像度が最も高く、光軸OR、OLから離れるほど解像度が低下していく特性を有する。
なお、解像度は、収差や歪みなどの他の要因も含めて決定される。また、魚眼レンズのような等距離射影方式等の広角レンズを撮影光学系60R、60Lとして使用した場合、プロセッサ装置14の画像処理部102等において、撮影部50R、50Lにより得られた右画像IR及び左画像ILに対して透視投影方式によって得られる歪み等のない画像に補正する処理を施すことが望ましい。
一方、撮影光学系60R、60Lとして透視投影方式の広角レンズ(又は通常画角のレンズ)を使用することも可能である。図19は、その場合の撮影光学系60R、60Lの解像度の特性を示している。
同図に示すように、撮影光学系60R、60Lは、例えば基準面RP上の一定間隔の縦縞を結像面IP上に縦縞の像として結像する。これによれば、撮影光学系60R、60Lが透視投影方式の場合、理想的には結像面IP上に結像された像も一定間隔の縦縞となる。したがって、図18のように投影方式による解像度の変化は生じない。しかしながら、広角レンズや簡易構成のレンズ等の場合、収差や歪み等が大きく、同図の最下部のグラフに示すように図18と同様に結像面IP上において光軸OR、OLの位置で解像度が最も高く、光軸OR、OLから離れるほど解像度が低下していく特性を有する。
図17は、図18や図19に示したような特性の撮影光学系60R、60Lを使用する場合に好適な構成を示しており、撮影光学系60R、60Lの光軸OR、OL周辺の解像度が高い結像面IPの領域に3D画像として撮影する右3D視野範囲3DR及び左3D視野範囲3DLの被写体の像が結像されるように、基準面RP上の3D視野範囲3DR&3DLの中心に光軸OR、OLを向けて撮影光学系60R、60Lが配置されている。これによって、2D画像として撮影する右2D視野範囲2DR及び左2D視野範囲2DLの被写体の像は、それよりも解像度が低い結像面IPの領域に結像される。
一方、イメージセンサ70R、70Lは、受光面の中心が光軸OR、OLの位置に配置されていると右2D視野範囲2DR及び左2D視野範囲2DLが狭くなり2D画像の画角が狭くなることから、イメージセンサ70Rは、3D画像として撮影する右3D視野範囲3DRの左端よりも右側の範囲の被写体が結像される結像面IPの領域に受光面が配置されるように、受光面の中心が光軸ORよりも図中左側となるように配置されている。ただし、受光面の領域のうち、一部の領域の画像を右画像IRとして有効に取り込むことによって、イメージセンサ70Rの受光面をシフトさせることと同等の効果を得ることができ、必ずしも、受光面の位置で右画像IRを撮影する視野範囲を調整する必要はない(イメージセンサ70Lについても同様)。
同様に、イメージセンサ70Lは、3D画像として撮影する左3D視野範囲3DLの右端よりも左側の範囲の被写体が結像される結像面IPの領域に受光面が配置されるように受光面の中心が光軸OLよりも図中右側となるように配置されている。
以上のように構成された撮影部50R、50Lの構成によれば、撮影部50R、50Lにより3D画像として撮影される右画像IRの右3D視野範囲3DRの画像と左画像ILの左3D視野範囲3DLの画像が、2D画像として撮影される右画像IRの右2D視野範囲2DRの画像と左画像ILの左2D視野範囲2DLの画像よりも高い解像度で得られるようになる。したがって、3D画像の高品質化が図られる。
また、3D画像を高品質に保ちながら撮影光学系60R、60Lとして魚眼レンズ等の広角レンズを使用することができるため、2D画像の広角化を図ることもできる。図17では、2D画像が撮影される右2D視野範囲2DRと左2D視野範囲2DLが図4に示したそれらの視野範囲と一致しているかのように示したが、実際にはより広角となるようにすることができる。
なお、図18、図19では、撮影光学系60R、60Lの解像度の特性として、結像面IPにおける光軸OR、OLの位置において解像度が最大となるような特性としたため、図17において、それらの光軸OR、OLが、基準面RP上の3D画像を撮影する視野範囲(3D視野範囲3DR&3DL)の中心で交わるように撮影光学系60R、60Lを配置したが、このような配置に限定されるものではない。
たとえば、撮影光学系60R、60Lが結像面IP上の光軸OR、OL以外の位置で解像度が最大となる山型形状の特性を有する場合、その解像度が最大となる結像面IP上の位置を含む領域に、3D視野範囲3DR&3DLの像が結像されるように撮影光学系60R、60Lを配置し(又は構成し)、解像度が最大となる結像面IP上の位置周辺の解像度の高い結像面IP上の領域に、3D画像として撮影する視野範囲の被写体の像が結像されるようにすればよい。
また、上記の全ての実施の形態において、撮影光学系60R、60Lが各々独立のレンズによって構成されるものとして説明したが、図20のように撮影光学系60R、60Lの一部のレンズが共有されているような形態の撮影光学系300や図21のように撮影光学系60R、60Lの全てのレンズが共有されているような形態の撮影光学系302であってもよい。これらの形態においても上記変形例3の実施の形態と同様に、3D画像の解像度が2D画像の解像度よりも高くなるようにする構成を適用できる。
即ち、図20において、撮影光学系300により右眼の視差画像として被写体の像が結像される結像面IPRと、左眼の視差画像として被写体の像が結像される結像面IPLにおいて、解像度が高くなる領域に、3D画像として撮影する領域の被写体の像が結像されるようにすればよい。即ち、基準面RPにおいて、3D画像として撮影する視野範囲の中心を点3DPとすると、その点3DPの像が結像面IPRと結像面IPLの各々において山型分布の解像度の最大点近傍に結像されるようにすればよい。図21の撮影光学系302に関しても同様であるため説明を省略する。
以上の変形例4の実施の形態の構成は、基本の実施の形態、変形例1〜変形例3の実施の形態のいずれにも適用することができる。