JP2017038933A - ステレオ計測用画像取得装置及びステレオ計測用画像取得装置の作動方法 - Google Patents

Abstract

【課題】挿入部の径をより細径化することができる。【解決手段】対物光学系７１と像伝送光学系２１１とは、第１の視点である主視点からの光学像と、第２の視点である副視点からの光学像とを共通の焦点面に結像する。メカニカルシャッター７２は、副視点の光路を開閉する。撮像素子２ａは、焦点面に結像された光学像を撮像して撮像信号を出力する。ＣＰＵは、メカニカルシャッター７２を閉じた上で、その際に撮像素子２ａが出力した撮像信号から主視点画像を生成し、メカニカルシャッター７２の一つを開いた上で、その際に撮像素子２ａが出力した撮像信号からステレオ重畳画像を生成する。【選択図】図４

Description

本発明は、ステレオ計測用画像取得装置及びその作動方法に関する。

従来より、２つの視点の像を２つの撮像素子で撮影するステレオカメラと、２つの視点の像を１つの撮像素子で撮影するステレオカメラが知られている。また、後者のステレオカメラとして、２つの像を並べて撮影する同時式と、２つの像を時分割で切り替えて撮影する光路切り替え式のものが知られている。また、光路の切り替え機構としてメカニカルシャッターを用いるものと、液晶シャッターやＰＬＺＴ（チタン酸ジルコン酸ランタン鉛）電気光学シャッターなどの電気光学素子を用いるものとが知られている。

ステレオカメラの計測精度を確保するためには、１つの視点の画像を構成する画素数がなるべく多いことが望ましい。しかし、画素数の多い撮像素子は高価である。そのため、コストの制限と計測精度とが求められる場合には、２つの撮像素子よりも１つの撮像素子が望ましく、また１つの視点の画像を構成する画素が少ない同時式よりも光路切り替え式のステレオカメラの方が望ましい。

光路切り替え機構としてメカニカルシャッターを用いる場合、ステレオカメラは、光路を開閉するために動作するシャッターとそれを動かすアクチュエーターとを備える（例えば、特許文献１参照）。

また、光路切り替え機構として液晶や偏光性セラミックＰＬＺＴなどの電気光学素子を用いる場合、偏光板と電気光学素子の組み合わせとなる（例えば、特許文献１および特許文献２参照）。この構成では偏光板をシャッターとして用いるため可動部品がなく、先端部の衝撃耐性はメカニカルシャッター方式に比べて高くなる。

特開２０１１−２２７１３２号公報 特開２００３−３１０５４９号公報

しかしながら、従来知られている電気光学素子を用いた光路切り替え機構では、２つの視点両方の光路中に偏光板が存在するため、シャッターが開いた状態でも多くの入射光量ロスが発生する。特に、内視鏡は、細径化が求められるため照明光量をあまり増やせない上に、被写界深度確保のために光学系のＦ値を小さくできない。そのため撮影のための明るさを確保するためには、シャッタースピードを伸ばすか、撮像系でのゲインを上げる必要がある。しかし、この２つの手段はどちらも画質を低下させてしまう可能性があるという問題がある。そのため、画質の低下が計測精度の低下につながりやすい画像計測であるステレオ計測を行うシステムには積極的には採用しにくい。

また、光路切り替え機構としてメカニカルシャッターを用いる場合、ステレオカメラは、光路を開閉する遮光部とそれを動かすアクチュエーターとを備える（例えば、特許文献１参照）。この構成では光路中に偏光版は存在しないため、入射光量ロスの問題は発生しない。しかしながら、その光路の間隔分だけ遮光部を移動させるためのアクチュエーターの動作スペースが必要となり、内視鏡の細径化において課題があった。

本発明は上記課題を解決するためになされたものであり、挿入部の径をより細径化することができるステレオ計測用画像取得装置を提供することを目的とする。

本発明は、第１の視点である主視点からの光学像と、主視点とは別の視点である一つまたは複数の副視点からの光学像とを共通の焦点面に結像する光学系と、一つまたは複数の前記副視点それぞれの光路を開閉する一つまたは複数の光学シャッターと、前記焦点面に結像された前記光学像を撮像して撮像信号を出力する撮像素子と、一つまたは複数の前記光学シャッターのすべてを閉じた上で、その際に前記撮像素子が出力した前記撮像信号から画像を生成し主視点画像とする主視点画像取得処理部と、一つまたは複数の前記光学シャッターの一つを開いた上で、その際に前記撮像素子が出力した前記撮像信号から一つまたは複数の画像を生成しステレオ重畳画像とする重畳画像取得処理部と、を備えることを特徴とするステレオ計測用画像取得装置である。

また、本発明は、複数の視点からの前記光学像が前記焦点面に結像している場合と、一つの視点からの前記光学像のみが前記焦点面に結像している場合とで、前記撮像信号取得のための露光条件設定を切り替える設定部を備えることを特徴とするステレオ計測用画像取得装置である。

また、本発明のステレオ計測用画像取得装置において、前記撮像素子は、表示用に用いる前記撮像信号と、計測用に用いる前記撮像信号とをそれぞれ出力し、前記表示用に用いる前記撮像信号を出力する場合と、前記計測用に用いる前記撮像信号を出力する場合とで、前記撮像信号取得のための露光条件設定を切り替える設定部を備えることを特徴とする。

また、本発明は、前記主視点画像取得処理部が生成した前記主視点画像を表示する映像表示部を備えることを特徴とするステレオ計測用画像取得装置である。

また、本発明のステレオ計測用画像取得装置において、前記映像表示部は、前記光学シャッターが開閉を切り替えている際には当該切り替え中に前記撮像素子が出力した前記撮像信号に基づいた画像を表示しないことを特徴とする。

また、本発明は、光学系を取り替えることが出来るアダプタ式光学系を有することを特徴とするステレオ計測用画像取得装置である。

また、本発明のステレオ計測用画像取得装置において、前記光学系は、第１の視点からの第１の光学像を前記焦点面に結像する第１の光路と、第２の視点からの第２の光学像を前記焦点面に結像する第２の光路とを備え、前記光学シャッターは、前記第１の光路と前記第２の光路とに対応して配置された２つの開口部を有する絞り部材と、２つの前記開口部のうち一方の前記開口部を遮蔽可能な遮蔽部材とを備え、前記遮蔽部材は、前記開口部を塞がない位置に退避可能であることを特徴とする。

また、本発明のステレオ計測用画像取得装置において、前記光学シャッターはＭＥＭＳからなることを特徴とする。

また、本発明のステレオ計測用画像取得装置において、前記光学シャッターは電気光学シャッターであることを特徴とする。

また、本発明のステレオ計測用画像取得装置において、前記電気光学シャッターは液晶シャッターであることを特徴とする。

また、本発明は、前記主視点画像もしくは前記ステレオ重畳画像のいずれかに基づいてぶれを検出するぶれ検出部を有することを特徴とするステレオ計測用画像取得装置である。

また、本発明のステレオ計測用画像取得装置において、前記主視点画像取得処理部は、前記重畳画像取得処理部が前記ステレオ重畳画像を取得する前に、一つまたは複数の前記光学シャッターのすべてを閉じた上で、その際に前記撮像素子が出力した前記撮像信号から第１の主視点画像を生成し、前記重畳画像取得処理部が前記ステレオ重畳画像を取得した後に、一つまたは複数の前記光学シャッターのすべてを閉じた上で、その際に前記撮像素子が出力した前記撮像信号から第２の主視点画像を生成するものであって、前記ぶれ検出部は、前記第１の主視点画像及び前記第２の主視点画像に基づいてぶれを検出することを特徴とする。

また、本発明は、前記主視点画像と、一つまたは複数の前記ステレオ重畳画像とを用いて三角測量の原理で被写体の３次元座標を算出するステレオ計測処理部を有することを特徴とする請求項１に記載のステレオ計測用画像取得装置である。

また、本発明は、第１の視点である主視点からの光学像と、主視点とは別の視点である一つまたは複数の副視点からの光学像とを共通の焦点面に結像する光学系を有するステレオ計測用画像取得装置の作動方法であって、一つまたは複数の前記副視点それぞれの光路を開閉する一つまたは複数の光学シャッターを駆動する駆動ステップと、前記焦点面に結像された前記光学像を撮像して撮像信号を出力する撮像ステップと、一つまたは複数の前記光学シャッターのすべてを閉じた上で、その際に前記撮像ステップで出力した前記撮像信号から画像を生成し主視点画像とする主視点画像取得処理ステップと、一つまたは複数の前記光学シャッターの一つを開いた上で、その際に前記撮像ステップで出力した前記撮像信号から一つまたは複数の画像を生成しステレオ重畳画像とする重畳画像取得処理ステップと、を含むことを特徴とするステレオ計測用画像取得装置の作動方法である。

本発明によれば、光学系は、複数の視点からの光学像を共通の焦点面に結像する。また、光学シャッターは、複数の視点からの光学像のうち少なくとも一つの光学像を焦点面に結像する光路を開閉する。また、撮像素子は、焦点面に結像された光学像に基づいた撮像信号を出力する。この構成により、すべての光路に光学シャッターを備える必要がなくなるため、挿入部の外径をより細経化することができる。

本発明の第１の実施形態における内視鏡装置の全体構成を示した概略図である。 本発明の第１の実施形態における内視鏡装置の全体構成を示したブロック図である。 本発明の第１の実施形態における内視鏡装置が取得する三次元空間座標系上の左右の２画像の位置関係を示した概略図である。 本発明の第１の実施形態における先端部と光学アダプタとの構成を示した概略図である。 本発明の第１の実施形態におけるメカニカルシャッターが備える遮蔽部材の動作位置を示した概略図である。 従来知られているメカニカルシャッターが備える遮蔽部材の動作位置を示した概略図である。 本発明の第１の実施形態における内視鏡装置が各撮像信号を取得する処理手順を示したフローチャートである。 本発明の第１実施形態において、画素値の飽和が起きている場合における重畳撮像信号と、基準撮像信号と、分離撮像信号との関係を示したグラフである。 本発明の第１の実施形態における第１基準撮像信号に基づいた画像を示した概略図である。 本発明の第１の実施形態における第２基準撮像信号に基づいた画像を示した概略図である。 本発明の第１の実施形態における重畳撮像信号に基づいた画像を示した概略図である。 本発明の第１の実施形態における分離撮像信号に基づいた画像を示した概略図である。 本発明の第２の実施形態における先端部と光学アダプタとの構成を示した概略図である。 本発明の第３の実施形態における先端部と光学アダプタとの構成を示した概略図である。 本発明の第３の実施形態における内視鏡装置が各撮像信号を取得する処理手順を示したフローチャートである。 本発明の第４の実施形態における先端部と光学アダプタとの構成を示した概略図である。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本発明の一実施形態による内視鏡装置（ステレオ計測用画像取得装置）の全体構成を示している。図１に示すように、内視鏡装置１は、細長な挿入部２０を有する内視鏡２と、この内視鏡２の挿入部２０を収納する収納部を備えた制御装置であるコントロールユニット３と、装置全体の各種動作制御を実行する際に必要な操作を行うためのリモートコントローラ４と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う表示装置であるＬＣＤ５（液晶モニタ、映像表示部）等で主に構成されている。

挿入部２０は硬質な先端部２１と、柔軟性を有する可撓管部と（例えば上下左右に湾曲可能な湾曲部２２（図２））を連設して構成されている。先端部２１には光学アダプタ７（アダプタ式光学系）等、各種光学アダプタが着脱自在になっている。

図２に示すように、コントロールユニット３内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。

挿入部２０の先端部２１には撮像素子２ａが内蔵されている。撮像素子２ａは、光学アダプタ７を介して結像された被写体像を光電変換し、撮像信号を生成する。ＣＣＵ９には、撮像素子２ａから出力された撮像信号が入力される。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号（画像データ）に変換されて、制御ユニット１０へ供給される。

制御ユニット１０内には、映像信号が入力される映像信号処理回路１２（画像生成部）、ＲＯＭ１３、ＲＡＭ１４（記憶部）、ＰＣカードＩ／Ｆ１５（ＰＣカードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、およびＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）等と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うＣＰＵ１８（主視点画像取得処理部、重畳画像取得処理部、副視点画像分離処理部、ステレオ計測処理部、設定部、波長検出部、撮像制御部）とが設けられている。

ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行うリモートコントローラ４が接続されている。ユーザがリモートコントローラ４を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。

ＵＳＢ Ｉ／Ｆ１６は、コントロールユニット３とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介してコントロールユニット３とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、コントロールユニット３とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。

また、ＰＣカードＩ／Ｆ１５には、ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等の記録媒体である、いわゆるメモリカードが自由に着脱されるようになっている。メモリカードをＰＣカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータのコントロールユニット３への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行うことが可能になる。

映像信号処理回路１２は、ＣＣＵ９から供給された内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、ＣＰＵ１８の制御により生成される、操作メニューに基づく表示信号とＣＣＵ９からの映像信号を合成する処理や、ＬＣＤ５の画面上に表示するのに必要な処理等を行い、映像信号をＬＣＤ５に供給する。また、この映像信号処理回路１２は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、ＬＣＤ５の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。

ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。

本実施形態の内視鏡装置１では、次の（ａ１）〜（ｄ）に示すように、各内視鏡２に特有の撮像光学系の光学データが測定され、その光学データが、記録媒体である例えばメモリカード（ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等）に記録される。この光学データは以下の通りである。

（ａ１）２つの対物光学系の幾何学的歪み補正テーブル
（ａ２）像伝送光学系の幾何学歪み補正テーブル
（ｂ）左右の結像光学系それぞれの焦点距離
（ｃ）左右の結像光学系の主点間の距離
（ｄ）左右の結像光学系それぞれの画像上での光軸位置座標

上記の光学データの収集を行った後、内視鏡装置１が備えるＣＰＵ１８はステレオ計測処理部として動作し、次に示す（Ａ）〜（Ｅ）の処理を行って各種寸法計測（計測処理）を行うことができる。なお、内視鏡装置１にパーソナルコンピュータ３１を接続して、次に示す（Ａ）〜（Ｅ）の処理を行って各種寸法計測（計測処理）を行うことも可能である。

（Ａ）上記（ａ１）〜（ｄ）の光学データを読み込む。
（Ｂ）本内視鏡２にて被写体である被計測物を撮像し、画像を取り込む。
（Ｃ）上記の取り込んだ画像を、上記（ａ１）〜（ｄ）の光学データを基に座標変換する。
（Ｄ）座標変換された画像を基に、撮像データのマッチングにより任意の点の三次元座標を求める。
（Ｅ）上記三次元座標を基に各種三次元計測を行う。

次に、本実施形態の内視鏡装置１による被写体計測の原理を説明する。図３は、ｘ，ｙ，ｚ軸をもつ三次元空間座標系上の左右の２画像の位置関係を示している。この図３には、被写体までの距離（被写体距離）の計測対象となる測距点Ｐが撮像素子の右結像面１０１Ｒおよび左結像面１０１Ｌ上に結像した状態が示されている。図３において、点ＯＲ，ＯＬを光学系の主点とし、距離ｆを焦点距離とし、点ＱＲ，ＱＬを点Ｐの結像位置とし、距離Ｌを点ＯＲ−点ＯＬ間の距離とする。

図３において、直線ＱＲ−ＯＲから次式が成立する。
ｘ／ｘＲ＝｛ｙ−（Ｌ／２）｝／｛ｙＲ−（Ｌ／２）｝＝ｚ／（−ｆ）・・・（１）
また、直線ＱＬ−ＯＬから次式が成立する。
ｘ／ｘＬ＝｛ｙ＋（Ｌ／２）｝／｛ｙＬ＋（Ｌ／２）｝＝ｚ／（−ｆ）・・・（２）
この式をｘ，ｙ，ｚについて解けば、点Ｐの三次元座標が得られる。これにより、内視鏡２の撮像面から被写体までの距離（被写体距離）が求まる。

ここで、光学系の主点である点ＯＲと点ＯＬ間の距離、および結像光学系の焦点距離は、光学データとして予め記録されている。点ＱＬの座標は測距点の座標そのものである。点ＱＲは、測距点に対応する点を右画像の中から探索することで得ることができる。このことから、例えば、左画像を基準とした場合には、左画像での測距点（ＱＬ）に対応する右画像の対応点（ＱＲ）をマッチング処理により探索し、右画像の対応点が探索されたら、上式により空間座標を計算することで、測距点までの距離を求めることができる。

次に、先端部２１と光学アダプタ７との構成について説明する。図４は、本実施形態における先端部２１と光学アダプタ７との構成を示した概略図である。図示する例では、先端部２１には撮像素子２ａと像伝送光学系２１１とが内蔵されている。また、先端部２１には光学アダプタ７が取り付けられている。光学アダプタ７には対物光学系７１と、メカニカルシャッター７２（光学シャッター）と、絞り部材７００とが内蔵されている。

絞り部材７００は２つの開口部７１１，７１２を有する。対物光学系７１は、第１の視点からの光学像と、第２の視点からの光学像とを像伝送光学系２１１に入射する。なお、第１の視点からの光学像は開口部７１１を通り、第２の視点からの光学像は開口部７１２を通る。像伝送光学系２１１は、入射された第１の視点からの光学像と第２の視点からの光学像とを撮像素子２ａの焦点面（撮像面）に結像する。なお、対物光学系７１と像伝送光学系２１１とを合わせて光学系とする。また、第１の視点からの光学像を撮像素子２ａの焦点面に結像する光路を第１の光路とする。また、第２の視点からの光学像を撮像素子２ａの焦点面に結像する光路を第２の光路とする。

メカニカルシャッター７２は、光を遮断する遮蔽部材を備える。メカニカルシャッター７２が備える遮蔽部材は、第１の光路を遮蔽する位置７２１１と、第１の光路を遮蔽しない位置７２１２とに移動可能である。

図５は、本実施形態におけるメカニカルシャッター７２が備える遮蔽部材の動作位置を示した概略図である。図示する例では、光学アダプタ７は、開口部７１１，７１２を有する絞り部材７００を備えている。また、光学アダプタ７は、軸７１３とレバー７１４とを備え、遮蔽部材７２１を位置７２１１と位置７２１２とに移動させることが可能な構成となっている。

図６は、従来知られているメカニカルシャッターが備える遮蔽部材の動作位置を示した概略図である。図示する例では、光学アダプタ１１０７は、開口部１７１１，１７１２を有する絞り部材７０００を備えている。また、光学アダプタ１１０７は、軸１７１３とレバー１７１４とを備え、遮蔽部材１７２１を開口部１７１１と開口部１７１２とに移動させることが可能な構成となっている。

本実施形態では、遮蔽部材７２１は、第１の光路を遮蔽する位置７２１１と、第１の光路を遮蔽しない位置７２１２とに移動可能であれば良い。一方、従来知られている方法では、遮蔽部材１７２１は、第１の光路を遮蔽する位置（開口部１７１１）と、第２の光路を遮蔽する位置（開口部１７１２）とに移動可能でなければならない。そのため、本実施形態では、従来よりも遮蔽部材７２１の移動距離が短いため、レバー７１４の長さを短くすることができる、従って、光学アダプタ７の外径を細くすることができる。

なお、メカニカルシャッター７２の構成は上述した例に限らず、第１の光路の遮蔽／非遮蔽を切り替えることができればどのような構成でもよい。例えば、絞り部材７００有する２つの開口部７１１，７１２のうち、１つの開口部を遮蔽可能なように構成されたＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ；機械要素部品と、センサと、アクチュエーターと、電子回路とを１つのシリコン基板やガラス基板や有機材料などの上に集積化したデバイス）で構成してもよい。

次に、内視鏡装置１が、第１基準撮像信号と、第２基準撮像信号と、重畳撮像信号とを取得する方法について説明する。図７は、本実施形態における内視鏡装置１が第１基準撮像信号と、第２基準撮像信号と、重畳撮像信号とを取得する処理手順を示したフローチャートである。なお、通常観察時には、メカニカルシャッター７２を閉じて第１の光路を遮蔽し、１つの視点からの像（第２の視点からの光学像）だけが撮像素子２ａの焦点面に結像した状態とする。これにより、撮像素子２ａは、第２の視点からの光学像に基づいた撮像信号を出力することができる。このときの撮像信号を基準撮像信号とする。また、映像信号処理回路１２は、基準撮像信号に基づいて、ＬＣＤ５にライブビュー画像を表示させる。

（ステップＳ１０１）ユーザの操作などに基づいて、計測用画像取得処理のフローに入ると、ＣＰＵ１８（設定部）は、撮像素子２ａが出力する撮像信号の画像の明るさに基づいて、露光条件Ａと露光条件Ｂとを決定する。その後、ステップＳ１０２の処理に進む。なお、露光条件Ａは、基準撮像信号の取得に適正な露光条件である。また、露光条件Ｂは、重畳撮像信号の取得に適正な露光条件とする。このように露光条件を２種類設定する理由としては、露光条件Ａで重畳撮像信号を取得した場合、明るいシーンでは露出オーバー的な画像になり、高輝度領域で輝度値が飽和して濃淡が失われることを避けるためのものである。ここで、露光条件とは、例えばシャッタースピード、ゲイン、絞りの開口サイズ（絞り値）、または照明の明るさの設定を含む。

（ステップＳ１０２）ＣＰＵ１８は、露光条件を露光条件Ａに設定する。その後、ステップＳ１０３の処理に進む。
（ステップＳ１０３）映像信号処理回路１２は、撮像素子２ａが出力する映像信号に基づいて、ＬＣＤ５に静止画像を表示させる（表示を固定させる）。その後、ステップＳ１０４の処理に進む。なお、ＬＣＤ５に静止画像を表示させるのは、光路切り替え中の画像をユーザに見せないためである。また、ここで、ＬＣＤ５に表示させる画像は、計測用画像取得をユーザに表すメッセージ表示画像などでも良い。
（ステップＳ１０４）撮像素子２ａは、基準撮像信号を出力する。その後、ステップＳ１０５の処理に進む。なお、この基準撮像信号を第１基準撮像信号とする。

（ステップＳ１０５）ＣＰＵ１８は、露光条件を露光条件Ｂに設定する。その後、ステップＳ１０６の処理に進む。
（ステップＳ１０６）メカニカルシャッター７２は、第１の光路を遮蔽している遮蔽部材７２１を、第１の光路を遮蔽しない位置７２１２に移動させる。その後、ステップＳ１０７の処理に進む。
（ステップＳ１０７）撮像素子２ａは、重畳撮像信号を出力する。その後、ステップＳ１０８の処理に進む。なお、重畳撮像信号は、第１の視点からの光学像と第２の視点からの光学像とが重畳されている撮像信号である。

（ステップＳ１０８）メカニカルシャッター７２は、遮蔽部材７２１を、第１の光路を遮蔽する位置７２１１に移動させる。その後、ステップＳ１０９の処理に進む。
（ステップＳ１０９）撮像素子２ａは、基準撮像信号を出力する。その後、ステップＳ１１０の処理に進む。なお、この基準撮像信号を第２基準撮像信号とする。

（ステップＳ１１０）ＣＰＵ１８（ぶれ検出部）は、第１基準撮像信号に基づいた画像と第２基準撮像信号に基づいた画像を比較し、異なっている場合にはカメラぶれ、あるいは被写体ぶれが有ると判定する。また、ＣＰＵ１８は、第１基準撮像信号に基づいた画像と第２基準撮像信号に基づいた画像を比較し、同一の場合にはカメラぶれ、あるいは被写体ぶれが無いと判定する。ぶれが有るとＣＰＵ１８が判定した場合にはステップＳ１１２の処理に進み、ぶれが無いとＣＰＵ１８が判定した場合にはステップＳ１１１の処理に進む。なお、カメラぶれ、あるいは被写体ぶれの検出方法はどのような方法でもよい。例えば、１フレームの画像の奇数フィールドと偶数フィールドの比較でぶれを検出してもよい。また、光学アダプタ７に加速度センサなどを組み込み、撮影中に光学アダプタ７が動いたことを加速度センサが検出した場合、ぶれが有ると判定するようにしてもよい。

（ステップＳ１１１）ＣＰＵ１８（主視点画像取得処理部、重畳画像取得処理部）は、第１基準撮像信号に基づいた画像と、第２基準撮像信号に基づいた画像と、重畳撮像信号に基づいた画像とをＲＡＭ１４に記憶する。その後、映像信号処理回路１２は、ユーザに取得した第１基準撮像信号に基づいた画像と第２基準撮像信号に基づいた画像とを確認させるために、第１基準撮像信号に基づいた画像をＬＣＤ５に表示させ、処理を終了する。
（ステップＳ１１２）ＣＰＵ１８は、第１基準撮像信号に基づいた画像と、第２基準撮像信号に基づいた画像と、重畳撮像信号に基づいた画像とを破棄する。その後、映像信号処理回路１２は、測定に用いる画像信号を取得出来ていないことを示す画像（エラー画像）をＬＣＤ５に表示させ、処理を終了する。

なお、ステップＳ１１１の処理でＬＣＤ５に表示する画像は、第２基準撮像信号に基づいた画像であってもよい。また、重畳撮像信号に基づいた画像から第１基準撮像信号に基づいた画像を減算し、メカニカルシャッター７２が構成されている光路（第１の光路）からの像を分離した画像であってもよい。また、重畳撮像信号に基づいた画像から第２基準撮像信号に基づいた画像を減算し、メカニカルシャッター７２が構成されている光路（第１の光路）からの像を分離した画像であってもよい。また、ここでは、必ずしも計測に用いる基準撮像信号に基づいた画像を表示する必要はなく、ユーザがどのような被写体を撮影したかを確認するのに適した画像であればよい。また、単純に差分をとって分離した画像は輝度が暗い画像になりやすいため、画像の輝度を持ち上げるような画像処理を施したものを表示してもよい。

なお、重畳撮像信号に基づいた画像から第１基準撮像信号に基づいた画像を減算して画像を生成する場合には、露光条件が異なるので露光条件の違いを補正して撮像信号を生成する必要がある。露光条件の補正は、照明の明るさ、ゲイン、シャッタースピード、及び絞り値から算出されるＥＶ値を用いて、第１基準撮像信号と重畳撮像信号との実効的な被写体の明るさが等しくなるように補正を行う。例えば、照明の明るさ、ゲイン、及び絞り値は露光条件Ａと露光条件Ｂとで等しく、シャッタースピードは露光条件Ａが露光条件Ｂの２倍の長さであった場合、露光条件の補正をするために露光条件Ｂで取得した重畳撮像信号の輝度値を２倍にする補正を行う。

次に、重畳撮像信号に基づいた画像と、第１基準撮像信号に基づいた画像と、第２基準撮像信号に基づいた画像とから、計測に用いる分離画像を生成する方法について説明する。本実施形態では、ＣＰＵ１８（副視点画像分離処理部）は、（３）式を用いて、メカニカルシャッター７２が構成されている光路（第１の光路）からの像のみを分離した分離画像を生成する。
（分離画像）＝（重畳撮像信号に基づいた画像）−（第２基準撮像信号に基づいた画像）・・・（３）

これにより、ＣＰＵ１８は、第１の光路からの像のみを含んだ分離画像を生成することができる。また、第１基準撮像信号または第２基準撮像信号は、第２の光路からの像のみを含んだ計測用撮像信号である。従って、（３）式を用いて生成した分離画像と、第１基準撮像信号に基づいた画像または第２基準撮像信号に基づいた画像とを用いて、ＣＰＵ１８（ステレオ計測処理部）は各種寸法計測（計測処理）を行うことができる。なお、分離画像と第２基準撮像信号に基づいた画像と第１基準撮像信号に基づいた画像または第２基準撮像信号に基づいた画像とを合わせて計測用画像とする。

なお、（３）式を用いて分離画像を生成する場合に、重畳撮像信号に基づいた画像に画素値の飽和が起きている画素があると分離画像の輝度値を正しく計算することができない。図８は、本実施形態において、画素値の飽和が起きている場合における重畳撮像信号に基づいた画像と、基準撮像信号に基づいた画像と、分離画像との関係を示したグラフである。

図示する例では、線６０１は、画素値の飽和が起きている場合における重畳撮像信号に基づいた画像の輝度値を示している。なお、飽和していない場合には、波線６０４の状態となる。線６０２は、基準撮像信号に基づいた画像の輝度値を示している。線６０３は、分離画像の輝度値を示している。重畳撮像信号に基づいた画像は輝度値が飽和しているため、飽和している部分は一定値となっている。そのため、分離画像は、線６０３に示すように、重畳撮像信号に基づいた画像で飽和している部分に関しては、実際の輝度よりも小さい値となる。なお、実際の輝度は波線６０５の状態となる。

このように、重畳撮像信号に基づいた画像が飽和している場合には分離画像を正しく生成することが出来ない。このときの分離画像を用いて計測を行うと、計測結果に悪影響を及ぼす可能性がある。従って、本実施形態では、重畳画像の画素のうち、輝度値が飽和している画素に対しては、別の処理を行う。例えば、重畳画像の画素のうち、輝度値の飽和が起きている画素は、分離画像の画素および基準撮像信号に基づいた画像の画素共に画素値をＲ＝Ｇ＝Ｂ＝２５５とする。また、例えば、重畳撮像信号に基づいた画像の画素のうち、輝度値が飽和している画素やその周辺の画素を用いては、計測を行うことが出来ないようにする。例えば、ユーザが計測点として指定した点とその近傍の点、または対応点やその近傍の点の座標が、重畳撮像信号に基づいた画像において、同じ座標の輝度値が飽和している場合には、ユーザにエラーメッセージを提示し、指定点の再指定や分離画像の再取得を促すようにする。その他、対応点探索時に、重畳画像信号に基づいた画像において輝度値の飽和が起きている画素を類似度計算に使用しないようにしても良い。

次に、同一被写体を撮影した際の第１基準撮像信号と、第２基準撮像信号と、重畳撮像信号と、分離撮像信号とに基づいた画像の例について説明する。図９は、本実施形態における第１基準撮像信号に基づいた画像を示した概略図である。図示する例では、第１基準撮像信号に基づいた画像には、第２の視点からの光学像に基づいた立方体９０１が含まれている。図１０は、本実施形態における第２基準撮像信号に基づいた画像を示した概略図である。図示する例では、第２基準撮像信号に基づいた画像には、第２の視点からの光学像に基づいた立方体９０２が含まれている。なお、図示する例は、ぶれが生じているため、立方体９０２と図９に示した立方体９０１とでは向きが異なっている。

図１１は、本実施形態における重畳撮像信号に基づいた画像を示した概略図である。図示する例では、第１の視点からの光学像に基づいた立方体９０３と、第２の視点からの光学像に基づいた立方体９０４とが含まれている。図１２は、本実施形態における分離撮像信号に基づいた画像を示した概略図である。図示する例では、第１の視点からの光学像に基づいた立方体９０５が含まれている。すなわち、図１１に示した画像から図９に示した画像を減算すると、図１２に示した画像を得ることができる。

次に、ステレオ計測処理の処理手順について説明する。ＣＰＵ１８（ステレオ計測処理部）は、計測用撮像信号として、計測用基準撮像信号と分離撮像信号とを用い、各種寸法計測（計測処理）を行う。本実施形態では、計測用基準撮像信号は、第１基準撮像信号または第２基準撮像信号である。具体的には、ＣＰＵ１８（ステレオ計測処理部）は、計測用基準撮像信号に基づいた画像と分離画像との光学歪補正を行う。続いて、ＣＰＵ１８（ステレオ計測処理部）は、ユーザによる指示に基づいて、計測用基準撮像信号に基づいた画像上における基準点を指定する。続いて、ＣＰＵ１８（ステレオ計測処理部）は、分離画像上での対応点を探索する。続いて、ＣＰＵ１８（ステレオ計測処理部）は、基準点の座標と対応点の座標からの三角測量の原理により３次元座標を算出する。なお、ステレオ計測処理は、パーソナルコンピュータ３１で行うように構成してもよい。

このとき、ユーザは、計測用基準撮像信号に基づいた画像上で３次元位置を知りたい場所を指定するが、計測用基準撮像信号は、メカニカルシャッター７２が閉じた状態で取得しているため、暗くなりやすい。そこで、計測用基準撮像信号に基づいた画像の輝度を明るくする画像処理をかけた指定点指定用表示画像を画面に表示させ、その画像上でユーザに指定点を指定させるようにするようにしてもよい。ここで、実際に計測に用いる撮像信号に基づいて指定点指定用表示画像を作成することで、基準点指定の誤差を減らすことができ、計測精度をより向上させることができる。

上述したとおり、本実施形態によれば、第１基準撮像信号または第２基準撮像信号と、重畳撮像信号とに基づいて、分離画像を生成する。そして、計測用基準撮像信号（第１基準撮像信号または第２基準撮像信号）に基づいた画像と分離画像とを用いて計測処理を行う。そのため、すべての光路にメカニカルシャッター７２を備える必要がない。例えば、遮蔽部材７２１は、第１の光路を遮蔽する位置７２１１と、第１の光路を遮蔽しない位置７２１２とに移動可能であれば良い。これにより、従来よりも遮蔽部材７２１の移動距離が短いため、レバー７１４の長さを短くすることができる、従って、光学アダプタ７（挿入部２０）の外径をより細経化することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について図面を参照して説明する。本実施形態と第１の実施形態とで異なる点は、光学アダプタが備える光学シャッターの構成のみである。その他の内視鏡装置１の構成は、第１の実施形態における内視鏡装置１の構成と同様である。

図１３は、本実施形態における先端部２１と光学アダプタ２７（アダプタ式光学系）との構成を示した概略図である。図示する例では、先端部２１には撮像素子２ａと像伝送光学系２１１とが内蔵されている。また、先端部２１には光学アダプタ２７が取り付けられている。光学アダプタ２７には対物光学系７１と、液晶シャッター２７２（光学シャッター、電気光学シャッター）と、温度センサ２７３と、絞り部材７００とが内蔵されている。また、液晶シャッター２７２には電源線２７２１が接続されている。ＣＰＵ１８は、電源線２７２１を介して液晶シャッター２７２の開閉を制御する。

絞り部材７００は２つの開口部７１１，７１２を有する。対物光学系７１は、第１の視点からの光学像と、第２の視点からの光学像とを像伝送光学系２１１に入射する。なお、第１の視点からの光学像は開口部７１１を通り、第２の視点からの光学像は開口部７１２を通る。像伝送光学系２１１は、入射された第１の視点からの光学像と第２の視点からの光学像とを撮像素子２ａの焦点面（撮像面）に結像する。なお、対物光学系７１と像伝送光学系２１１とを合わせて光学系とする。また、第１の視点からの光学像を撮像素子２ａの焦点面に結像する光路を第１の光路とする。また、第２の視点からの光学像を撮像素子２ａの焦点面に結像する光路を第２の光路とする。

液晶シャッター２７２は、液晶で構成されており、光を透過する状態と光を遮断する状態とに変化することができる。また、液晶シャッター２７２は、第１の光路上に配置されている。この構成により、液晶シャッター２７２は、光を遮断する状態（シャッターが閉じている状態）では、第１の光路上の光を遮る。なお、液晶シャッター２７２は、光を透過する状態（シャッターが開いている状態）では、第１の光路上の光を遮らない。また、液晶シャッター２７２は、低温環境下では応答速度が遅くなってしまう。そのため、ＣＰＵ１８（撮像制御部）は、温度センサ２７３が検出した温度に応じて計測用撮像信号の取得処理の実行タイミングを変更する。例えば、ＣＰＵ１８は、温度センサ２７３が検出した温度に基づいて低温環境下であると判定した場合、シャッターの開閉に必要な時間を十分確保した後に、撮像素子２ａに撮像信号を出力させる。

次に、内視鏡装置１が、第１基準撮像信号と、第２基準撮像信号と、重畳撮像信号とを取得する方法について説明する。本実施形態における内視鏡装置１が、第１基準撮像信号と、第２基準撮像信号と、重畳撮像信号とを取得する方法は、第１の実施形態における方法と同様である、

次に、重畳撮像信号に基づいた画像と、第１基準撮像信号に基づいた画像と、第２基準撮像信号に基づいた画像とから、計測に用いる分離画像を生成する方法について説明する。本実施形態では、ＣＰＵ１８（副視点画像分離処理部）は、（４）式を用いて、シャッター２７２が構成されている光路（第１の光路）からの像のみを分離した分離画像を生成する。
（分離画像）＝α×｛（重畳撮像信号に基づいた画像）−（第２基準撮像信号に基づいた画像）｝・・・（４）

ここで、αは、液晶シャッター２７２を開けた状態での液晶シャッター２７２の透過率をＴＯとし、光学シャッターを閉じた状態での液晶シャッター２７２の透過率をＴＣとしたときに、以下の（５）式で表す定数であり、分離画像との輝度レベルの差を補正する定数である。
α≡１／（ＴＯ−ＴＣ）・・・（５）
なお、簡略化のためα＝１としても良い。

また、液晶シャッター２７２を閉じている時に液晶シャッター２７２を透過するわずかな光の影響を除くために、計測用基準撮像信号に基づいた画像を以下の式（６）で生成する。
（計測用基準撮像画像）＝（第２基準撮像信号に基づいた画像）−β×｛（重畳撮像信号に基づいた画像）−（第２基準撮像信号に基づいた画像）｝・・・（６）

ここで、βは、以下の式（７）で表す定数である。
β≡ＴＣ／（ＴＯ−ＴＣ）・・・（７）

ここで、液晶シャッター２７２の透過率ＴＯ，ＴＣは、機材の個体差を補正するために、製造時などに測定された個体特有の透過率を使用する。また、透過率が波長によって異なるような液晶シャッター２７２であれば波長に応じた透過率を使用しても良い。具体的には、ＲＧＢの各色において、液晶シャッター２７２を開けた状態と閉じた状態とにおける透過率をデータとして保持しておき、ＲＧＢの各色の透過率データを用いて分離撮像信号や計測用基準撮像信号を生成する。なお、液晶シャッター２７２に入射される光の波長については、撮像素子２ａが出力する撮像信号に基づいてＣＰＵ１８が検出する。

また、透過率が温度に依存する場合には、先端部２１に温度センサ２７３を配置するような構成にし、その温度情報を用いて透過率を変化させても良い。なお、温度センサ２７３を有している構成の場合は、温度がある閾値を超えた場合には、ユーザに計測用画像が正しく生成できないことを警告したり、計測のエラーとしたりするような処理をしてもよい。なお、上述した透過率や、透過率と温度との関係や、透過率と波長との関係は、例えばＲＡＭ１４が予め記憶している。

また、本実施形態においても、第１の実施形態と同様に、重畳撮像信号に基づいた画像に画素値の飽和が起きている画素があると分離画像の輝度値が正しく計算できず、計測結果に悪影響を及ぼす可能性がある。そのため、重畳撮像信号に基づいた画像の輝度値が飽和している画素に対しては、第１の実施形態と同様に、別の処理を行う。

次に、ステレオ計測処理の処理手順について説明する。本実施形態におけるステレオ計測処理の処理手順は、第１の実施形態におけるステレオ計測処理の処理手順と同様である。

上述したとおり、本実施形態によれば、第１基準撮像信号または第２基準撮像信号と、重畳撮像信号とに基づいて、分離画像を生成する。そして、計測用基準撮像信号（第１基準撮像信号または第２基準撮像信号）に基づいた画像と分離画像とを用いて計測処理を行う。そのため、すべての光路に液晶シャッター２７２を備える必要がない。例えば、第２の光路上に液晶シャッター２７２を設ける必要が無く、第１の光路上のみに液晶シャッター２７２を設ければよい。また、光学シャッターに可動部がないため、外部からの衝撃に対する耐性を高めやすく、小型化しやすい。従って、光学アダプタ７（挿入部２０）の外径をより細経化することができる。また、第２の光路上に液晶シャッター２７２を設ける必要がないため、第２の光路を通る光量が減少しない。そのため、内視鏡装置１は、明るい撮像信号を取得することができる。

なお、上述した実施形態では、光学シャッターとして液晶シャッター２７２を用いているがこれに限らない。例えば、光学シャッターとして、ＰＬＺＴ電気光学シャッターなど、可動部を持たない電気的な光学シャッターを用いてもよい。

（第３の実施形態）
次に、本発明の第３の実施形態について図面を参照して説明する。本実施形態と第２の実施形態とで異なる点は、光学アダプタが３つの開口部を有する絞り部材と、２つの液晶シャッターとを備える点である。その他の内視鏡装置１の構成は、第２の実施形態における内視鏡装置１の構成と同様である。

次に、先端部２１と光学アダプタ３７との構成について説明する。図１４は、本実施形態における先端部２１と光学アダプタ３７（アダプタ式光学系）との構成を示した概略図である。図示する例では、先端部２１には撮像素子２ａと像伝送光学系２１１とが内蔵されている。また、先端部２１には光学アダプタ３７が取り付けられている。光学アダプタ３７には対物光学系３７１と、第１液晶シャッター３７２（光学シャッター）と、第２液晶シャッター３７３（光学シャッター）と、温度センサ２７３と、絞り部材７０１とが内蔵されている。また、第１液晶シャッター３７２と第２液晶シャッター３７３には電源線２７２１が接続されている。ＣＰＵ１８は、電源線２７２１を介して第１液晶シャッター３７２と第２液晶シャッター３７３との開閉を制御する。

絞り部材７０１は３つの開口部７１６，７１７，７１８を有する。対物光学系３７１は、第１の視点からの光学像と、第２の視点からの光学像と、第３の視点からの光学像とを像伝送光学系２１１に入射する。なお、第１の視点からの光学像は開口部７１６を通り、第２の視点からの光学像は開口部７１７を通り、第３の視点からの光学像は開口部７１８を通る。像伝送光学系２１１は、入射された第１の視点からの光学像と、第２の視点からの光学像と、第３の視点からの光学像とを撮像素子２ａの焦点面（撮像面）に結像する。なお、対物光学系３７１と像伝送光学系２１１とを合わせて光学系とする。また、第１の視点からの光学像を撮像素子２ａの焦点面に結像する光路を第１の光路とする。また、第２の視点からの光学像を撮像素子２ａの焦点面に結像する光路を第２の光路とする。また、第３の視点からの光学像を撮像素子２ａの焦点面に結像する光路を第２の光路とする。

第１液晶シャッター３７２と第２液晶シャッター３７３とは、液晶で構成されており、光を透過する状態と光を遮断する状態とに変化することができる。第１液晶シャッター３７２は、第１の光路上に配置されている。第２液晶シャッター３７３は、第２の光路上に配置されている。この構成により、第１液晶シャッター３７２は、光を遮断する状態（シャッターが閉じている状態）では、第１の光路上の光を遮る。なお、第１液晶シャッター３７２は、光を透過する状態（シャッターが開いている状態）では、第１の光路上の光を遮らない。また、第２液晶シャッター３７３は、光を遮断する状態（シャッターが閉じている状態）では、第２の光路上の光を遮る。なお、第２液晶シャッター３７３は、光を透過する状態（シャッターが開いている状態）では、第２の光路上の光を遮らない。また、第１液晶シャッター３７２と第２液晶シャッター３７３とは、低温環境下では応答速度が遅くなってしまうため、温度に応じて計測用撮像信号の取得処理の実行タイミングを変更する。

次に、内視鏡装置１が、第１基準撮像信号と、第２基準撮像信号と、重畳撮像信号とを取得する方法について説明する。図１５は、本実施形態における内視鏡装置１が第１基準撮像信号と、第２基準撮像信号と、重畳撮像信号とを取得する処理手順を示したフローチャートである。なお、通常観察時には、第１液晶シャッター３７２と第２液晶シャッター３７３とを閉じて第１の光路と第２の光路とを遮蔽し、１つの視点からの像（第３の視点からの光学像）だけが撮像素子２ａの焦点面に結像した状態とする。これにより、撮像素子２ａは、第３の視点からの光学像に基づいた撮像信号を出力することができる。このときの撮像信号を基準撮像信号とする。また、映像信号処理回路１２は、基準撮像信号に基づいて、ＬＣＤ５にライブビュー画像を表示させる。

（ステップＳ２０１）ユーザの操作などに基づいて、計測用画像取得処理のフローに入ると、ＣＰＵ１８（設定部）は、撮像素子２ａが出力する撮像信号に基づいた画像の明るさに基づいて、露光条件Ａと露光条件Ｂとを決定する。その後、ステップＳ２０２の処理に進む。なお、露光条件Ａは、基準像撮影時に適正な露光条件である。また、露光条件Ｂは、重畳画像撮影時に適正な露光条件とする。このように、露光条件を２種類設定する理由としては、重畳画像を露光条件Ａで撮像した場合、明るいシーンでは露出オーバー的な画像になり、高輝度領域で輝度値が飽和して濃淡が失われることを避けるためのものである。

（ステップＳ２０２）ＣＰＵ１８は、露光条件を露光条件Ａに設定する。その後、ステップＳ２０３の処理に進む。
（ステップＳ２０３）映像信号処理回路１２は、撮像素子２ａが出力する映像信号に基づいて、ＬＣＤ５に静止画像を表示させる。その後、ステップＳ２０４の処理に進む。なお、ＬＣＤ５に静止画像を表示させるのは、光路切り替え中の画像をユーザに見せないためである。また、ここで、ＬＣＤ５に表示させる画像は、計測用画像取得をユーザに表すメッセージ表示画像などでも良い。
（ステップＳ２０４）撮像素子２ａは、基準撮像信号を出力する。その後、ステップＳ２０５の処理に進む。なお、この基準撮像信号を第１基準撮像信号とする。

（ステップＳ２０５）ＣＰＵ１８は、露光条件を露光条件Ｂに設定する。その後、ステップＳ２０６の処理に進む。
（ステップＳ２０６）第１液晶シャッター３７２は、光を遮断する状態から光を透過する状態に変更する。すなわち、第１液晶シャッター３７２を開ける。その後、ステップＳ２０７の処理に進む。
（ステップＳ２０７）撮像素子２ａは、第１の重畳撮像信号を出力する。その後、ステップＳ２０８の処理に進む。なお、第１の重畳撮像信号は、第１の視点からの光学像と第３の視点からの光学像とが重畳されている撮像信号である。

（ステップＳ２０８）第１液晶シャッター３７２は、光を透過する状態から光を遮断する状態に変更する。すなわち、第１液晶シャッター３７２を閉じる。その後、ステップＳ２０９の処理に進む。
（ステップＳ２０９）第２液晶シャッター３７３は、光を遮断する状態から光を透過する状態に変更する。すなわち、第２液晶シャッター３７３を開ける。その後、ステップＳ２１０の処理に進む。
（ステップＳ２１０）撮像素子２ａは、第２の重畳撮像信号を出力する。その後、ステップＳ２１１の処理に進む。なお、第２の重畳撮像信号は、第２の視点からの光学像と第３の視点からの光学像とが重畳されている撮像信号である。

（ステップＳ２１１）第２液晶シャッター３７３は、光を透過する状態から光を遮断する状態に変更する。すなわち、第２液晶シャッター３７３を閉じる。その後、ステップＳ２１２の処理に進む。
（ステップＳ２１２）撮像素子２ａは、基準撮像信号を出力する。その後、ステップＳ２１３の処理に進む。なお、この基準撮像信号を第２基準撮像信号とする。

（ステップＳ２１３）ＣＰＵ１８（ぶれ検出部）は、第１基準撮像信号に基づいた画像と第２基準撮像信号に基づいた画像とを比較し、異なっている場合にはカメラぶれ、あるいは被写体ぶれが有ると判定する。また、ＣＰＵ１８は、第１基準撮像信号に基づいた画像と第２基準撮像信号に基づいた画像とを比較し、同一の場合にはカメラぶれ、あるいは被写体ぶれが無いと判定する。ぶれが有るとＣＰＵ１８が判定した場合にはステップＳ２１５の処理に進み、ぶれが無いとＣＰＵ１８が判定した場合にはステップＳ２１４の処理に進む。なお、カメラぶれ、あるいは被写体ぶれの検出方法はどのような方法でもよい。例えば、１フレームの画像の奇数フィールドと偶数フィールドの比較でぶれを検出してもよい。また、光学アダプタ７に加速度センサなどを組み込み、撮影中に光学アダプタ７が動いたことを加速度センサが検出した場合、ぶれが有ると判定するようにしてもよい。

（ステップＳ２１４）ＣＰＵ１８は、第１基準撮像信号に基づいた画像と、第２基準撮像信号に基づいた画像と、第１の重畳撮像信号に基づいた画像と、第２の重畳撮像信号に基づいた画像とをＲＡＭ１４に記憶する。その後、映像信号処理回路１２は、ユーザに取得した第１基準撮像信号に基づいた画像と第２基準撮像信号に基づいた画像とを確認させるために、第１基準撮像信号に基づいた画像をＬＣＤ５に表示させ、処理を終了する。
（ステップＳ２１５）ＣＰＵ１８は、第１基準撮像に基づいた画像と、第２基準撮像信号に基づいた画像と、第１の重畳撮像信号に基づいた画像と、第２の重畳撮像信号に基づいた画像とを破棄する。その後、映像信号処理回路１２は、測定に用いる画像信号を取得出来ていないことを示す画像をＬＣＤ５に表示させ、処理を終了する。

なお、ステップＳ２１４の処理でＬＣＤ５に表示する画像は、第２基準撮像信号に基づいた画像であってもよい。また、第１の重畳撮像信号に基づいた画像から、第１基準撮像信号に基づいた画像または第２基準撮像信号に基づいた画像を減算し、第１液晶シャッター３７２が構成されている光路（第１の光路）からの像を分離した画像であってもよい。また、第２の重畳撮像信号に基づいた画像から、第１基準撮像信号に基づいた画像または第２基準撮像信号に基づいた画像を減算し、第２液晶シャッター３７３が構成されている光路（第２の光路）からの像を分離した画像であってもよい。また、ここでは、必ずしも計測に用いる基準撮像信号に基づいた画像を表示する必要はなく、ユーザがどのような被写体を撮影したかを確認するのに適した画像であればよい。また、単純に差分をとって分離した画像は輝度が暗い画像になりやすいため、画像の輝度を持ち上げるような画像処理を施したものを表示してもよい。

次に、第１の重畳撮像信号に基づいた画像と、第２の重畳撮像信号に基づいた画像と、第１基準撮像信号に基づいた画像と、第２基準撮像信号に基づいた画像とから、計測に用いる第１の分離画像と、第２の分離画像とを生成する方法について説明する。本実施形態では、ＣＰＵ１８（副視点画像分離処理部）は、（８）式を用いて、第１液晶シャッター３７２が構成されている光路（第１の光路）からの像のみを分離した第１の分離画像を生成する。
（第１の分離画像）＝α１×｛（第１の重畳撮像信号に基づいた画像）−（第２基準撮像信号に基づいた画像）｝・・・（８）

ここで、α１は、第１液晶シャッター３７２を開けた状態での第１液晶シャッター３７２の透過率をＴＯ１とし、第１液晶シャッター３７２を閉じた状態での第１液晶シャッター３７２の透過率をＴＣ１としたときに、以下の（９）式で表す定数であり、第１の分離画像との輝度レベルの差を補正する定数である。
α１≡１／（ＴＯ１−ＴＣ１）・・・（９）
なお、簡略化のためα１＝１としても良い。

また、同様に、ＣＰＵ１８（副視点画像分離処理部）は、（１０）式を用いて、第２液晶シャッター３７３が構成されている光路（第２の光路）からの像のみを分離した第２の分離画像を生成する。
（第２の分離画像）＝α２×｛（第２の重畳撮像信号に基づいた画像）−（第２基準撮像信号に基づいた画像）｝・・・（１０）

ここで、α２は、第２液晶シャッター３７３を開けた状態での第２液晶シャッター３７３の透過率をＴＯ２とし、第２液晶シャッター３７３を閉じた状態での第２液晶シャッター３７３の透過率をＴＣ２としたときに、以下の（１１）式で表す定数であり、第２の分離画像との輝度レベルの差を補正する定数である。
α２≡１／（ＴＯ２−ＴＣ２）・・・（１１）
なお、簡略化のためα２＝１としても良い。

また、第１液晶シャッター３７２と第２液晶シャッター３７３とを閉じている時に、第１液晶シャッター３７２と第２液晶シャッター３７３とを透過するわずかな光の影響を除くために、計測用基準撮像信号に基づいた画像を以下の式（１２）で生成する。
（計測用基準撮像信号に基づいた画像）＝（第２基準撮像信号に基づいた画像）−β１×｛（第１の重畳撮像信号に基づいた画像）−（第１基準撮像信号に基づいた画像）｝−β２×｛（第２の重畳撮像信号に基づいた画像）−（第２基準撮像信号に基づいた画像）｝・・・（１２）

ここで、β１は、以下の式（１３）で表す定数である。
β１≡ＴＣ１／（ＴＯ１−ＴＣ１）・・・（１３）
また、β２は、以下の式（１４）で表す定数である。
β２≡ＴＣ２／（ＴＯ２−ＴＣ２）・・・（１４）

ここで、第１液晶シャッター３７２の透過率ＴＯ１，ＴＣ１および第２液晶シャッター３７３の透過率ＴＯ２，ＴＣ２は、機材の個体差を補正するために、製造時などに測定された個体特有の透過率を使用する。また、透過率が波長によって異なるような第１液晶シャッター３７２または第２液晶シャッター３７３であれば波長に応じた透過率を使用しても良い。具体的には、ＲＧＢの各色において、第１液晶シャッター３７２または第２液晶シャッター３７３を開けた状態と閉じた状態とにおける透過率をデータとして保持しておき、ＲＧＢの各色の透過率データを用いて第１の分離画像や、第２の分離画像や、計測用基準撮像信号に基づいた画像を生成する。また、透過率が温度に依存する場合には、先端部２１などに温度センサ２７３を配置するような構成にし、その温度情報を用いて透過率を変化させても良い。なお、温度センサ２７３を有している構成の場合は、温度がある閾値を超えた場合には、ユーザに計測用画像が正しく生成できないことを警告したり、計測のエラーとしたりするような処理をしてもよい。上述した透過率や、透過率と温度との関係や、透過率と波長との関係は、例えばＲＡＭ１４が予め記憶している。

また、本実施形態においても、第１の実施形態と同様に、重畳撮像信号に基づいた画像に画素値の飽和が起きている画素があると分離画像の輝度値が正しく計算できず、計測結果に悪影響を及ぼす可能性がある。そのため、重畳撮像信号に基づいた画像の輝度値が飽和している画素に対しては、第１の実施形態と同様に、別の処理を行う。

次に、ステレオ計測処理の処理手順について説明する。本実施形態におけるステレオ計測処理の処理手順は、第１の実施形態におけるステレオ計測処理の処理手順と同様である。なお、本実施形態では、内視鏡装置１は、ステレオ計測処理に用いることができる撮像信号として、第１の分離画像と、第２の分離画像と、計測用基準撮像信号に基づいた画像とを取得することができるため、より正確にステレオ計測処理を行うことができる。

上述したとおり、本実施形態によれば、第１基準撮像信号または第２基準撮像信号に基づいた画像と、第１の重畳撮像信号に基づいた画像と、第２の重畳撮像信号に基づいた画像とに基づいて、第１の分離画像と第２の分離画像を生成する。そして、計測用基準撮像信号（第１基準撮像信号または第２基準撮像信号）に基づいた画像と、第１の分離画像と、第２の分離画像とを用いて計測処理を行う。そのため、すべての光路に第１液晶シャッター３７２または第２液晶シャッター３７３を備える必要がない。例えば、第３の光路上に液晶シャッターを設ける必要が無く、第１の光路上と第２の光路上のみにあれば良い。また、光学シャッターに可動部がないため、外部からの衝撃に対する耐性を高めやすく、小型化しやすい。従って、光学アダプタ３７（挿入部２０）の外径をより細経化することができる。また、第３の光路上に液晶シャッターを設ける必要がないため、第３の光路を通る光量が減少しない。そのため、内視鏡装置１は、明るい撮像信号を取得することができる。

なお、上述した実施形態では、光学シャッターとして第１液晶シャッター３７２と第２液晶シャッター３７３とを用いているがこれに限らない。例えば、光学シャッターとして、ＰＬＺＴ電気光学シャッターなど、可動部を持たない電気的な光学シャッターを用いてもよい。
また、本実施形態では、光学アダプタ３７は３つの開口部７１６〜７１７を有する絞り部材を備えているが、これに限らず、４つ以上の開口部を有する絞り部材を備えていてもよい。
また、本実施形態では、第１の重畳撮像信号と第２の重畳撮像信号とは、２重像の重畳撮像信号であるが、これに限らない。例えば、３重以上のＮ重像の重畳撮像信号であってもよい。この場合には、Ｎ重像の重畳撮像信号から（Ｎ−１）重像の重畳撮像信号の差分を取って分離画像を生成する。

（第４の実施形態）
次に、本発明の第４の実施形態について図面を参照して説明する。本実施形態と第２の実施形態とで異なる点は、光学アダプタが備える対物光学系の構成のみである。その他の内視鏡装置１の構成は、第２の実施形態における内視鏡装置１の構成と同様である。

図１６は、本実施形態における先端部２１と光学アダプタ４７との構成を示した概略図である。図示する例では、先端部２１には撮像素子２ａと像伝送光学系２１１とが内蔵されている。また、先端部２１には光学アダプタ４７（アダプタ式光学系）が取り付けられている。光学アダプタ４７には対物光学系４７１と、液晶シャッター２７２（光学シャッター）と、絞り部材７００とが内蔵されている。

対物光学系４７１は、瞳分割方式を用いて、第１の視点からの光学像と第２の視点からの光学像とを像伝送光学系２１１に入射する。その他の構成は、第２の実施形態における構成と同様である。

また、本実施形態における第１基準撮像信号と、第２基準撮像信号と、重畳撮像信号とを取得する方法についても第２の実施形態における方法と同様である。また、本実施形態における重畳撮像信号に基づいた画像と、第１基準撮像信号に基づいた画像と、第２基準撮像信号に基づいた画像とから、計測に用いる分離画像を生成する方法についても第２の実施形態における方法と同様である。また、本実施形態におけるステレオ計測処理の処理手順についても第２の実施形態における手順と同様である。

従って、本実施形態においても、すべての光路に液晶シャッター２７２を備える必要がない。そのため、光学アダプタ４７（挿入部２０）の外径をより細経化することができる。また、第２の光路上に液晶シャッター２７２を設ける必要がないため、第２の光路を通る光量が減少しない。そのため、内視鏡装置１は、明るい撮像信号を取得することができる。

以上、この発明の第１の実施形態から第４の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１・・・内視鏡装置、２・・・内視鏡、２ａ・・・撮像素子、３・・・コントロールユニット、４・・・リモートコントローラ、７，２７，３７，４７，１１０７・・・光学アダプタ、８・・・内視鏡ユニット、１０・・・制御ユニット、１２・・・映像信号処理回路、２０・・・挿入部、２１・・・先端部、２２・・・湾曲部、３１・・・パーソナルコンピュータ、３２・・・ＰＣＭＣＩＡメモリカード、３３・・・フラッシュメモリカード、７１，３７１，４７１・・・対物光学系、７２・・・メカニカルシャッター、２１１・
・・像伝送光学系、２７２・・・液晶シャッター、２７３・・・温度センサ、３７２・・・第１液晶シャッター、３７３・・・第２液晶シャッター、７００，７０１，７０００・・・絞り部材、７１１，７１２，７１６〜７１８，１７１１，１７１２・・・開口部、７１３，１７１３・・・軸、７１４，１７１４・・・レバー、７２１，１７２１・・・遮蔽部材、２７２１・・・電源線

Claims (14)

1. 第１の視点である主視点からの光学像と、主視点とは別の視点である一つまたは複数の副視点からの光学像とを共通の焦点面に結像する光学系と、
   一つまたは複数の前記副視点それぞれの光路を開閉する一つまたは複数の光学シャッターと、
   前記焦点面に結像された前記光学像を撮像して撮像信号を出力する撮像素子と、
   一つまたは複数の前記光学シャッターのすべてを閉じた上で、その際に前記撮像素子が出力した前記撮像信号から画像を生成し主視点画像とする主視点画像取得処理部と、
   一つまたは複数の前記光学シャッターの一つを開いた上で、その際に前記撮像素子が出力した前記撮像信号から一つまたは複数の画像を生成しステレオ重畳画像とする重畳画像取得処理部と、
   を備えることを特徴とするステレオ計測用画像取得装置。
2. 複数の視点からの前記光学像が前記焦点面に結像している場合と、一つの視点からの前記光学像のみが前記焦点面に結像している場合とで、前記撮像信号取得のための露光条件設定を切り替える設定部
   を備えることを特徴とする請求項１に記載のステレオ計測用画像取得装置。
3. 前記撮像素子は、表示用に用いる前記撮像信号と、計測用に用いる前記撮像信号とをそれぞれ出力し、
   前記表示用に用いる前記撮像信号を出力する場合と、前記計測用に用いる前記撮像信号を出力する場合とで、前記撮像信号取得のための露光条件設定を切り替える設定部
   を備えることを特徴とする請求項１に記載のステレオ計測用画像取得装置。
4. 前記主視点画像取得処理部が生成した前記主視点画像を表示する映像表示部
   を備えることを特徴とする請求項１に記載のステレオ計測用画像取得装置。
5. 前記映像表示部は、前記光学シャッターが開閉を切り替えている際には当該切り替え中に前記撮像素子が出力した前記撮像信号に基づいた画像を表示しないことを特徴とする請求項１に記載のステレオ計測用画像取得装置。
6. 光学系を取り替えることが出来るアダプタ式光学系を有する
   ことを特徴とする請求項１に記載のステレオ計測用画像取得装置。
7. 前記光学系は、第１の視点からの第１の光学像を前記焦点面に結像する第１の光路と、第２の視点からの第２の光学像を前記焦点面に結像する第２の光路とを備え、前記光学シャッターは、前記第１の光路と前記第２の光路とに対応して配置された２つの開口部を有する絞り部材と、２つの前記開口部のうち一方の前記開口部を遮蔽可能な遮蔽部材とを備え、
   前記遮蔽部材は、前記開口部を塞がない位置に退避可能である
   ことを特徴とする請求項１に記載のステレオ計測用画像取得装置。
8. 前記光学シャッターはＭＥＭＳからなる
   ことを特徴とする請求項１に記載のステレオ計測用画像取得装置。
9. 前記光学シャッターは電気光学シャッターである
   ことを特徴とする請求項１に記載のステレオ計測用画像取得装置。
10. 前記電気光学シャッターは液晶シャッターである
    ことを特徴とする請求項９に記載のステレオ計測用画像取得装置。
11. 前記主視点画像もしくは前記ステレオ重畳画像のいずれかに基づいてぶれを検出するぶれ検出部を有する
    ことを特徴とする請求項１に記載のステレオ計測用画像取得装置。
12. 前記主視点画像取得処理部は、前記重畳画像取得処理部が前記ステレオ重畳画像を取得する前に、一つまたは複数の前記光学シャッターのすべてを閉じた上で、その際に前記撮像素子が出力した前記撮像信号から第１の主視点画像を生成し、前記重畳画像取得処理部が前記ステレオ重畳画像を取得した後に、一つまたは複数の前記光学シャッターのすべてを閉じた上で、その際に前記撮像素子が出力した前記撮像信号から第２の主視点画像を生成するものであって、
    前記ぶれ検出部は、前記第１の主視点画像及び前記第２の主視点画像に基づいてぶれを検出する
    ことを特徴とする請求項１１に記載のステレオ計測用画像取得装置。
13. 前記主視点画像と、一つまたは複数の前記ステレオ重畳画像とを用いて三角測量の原理で被写体の３次元座標を算出するステレオ計測処理部を有する
    ことを特徴とする請求項１に記載のステレオ計測用画像取得装置。
14. 第１の視点である主視点からの光学像と、主視点とは別の視点である一つまたは複数の副視点からの光学像とを共通の焦点面に結像する光学系を有するステレオ計測用画像取得装置の作動方法であって、
    一つまたは複数の前記副視点それぞれの光路を開閉する一つまたは複数の光学シャッターを駆動する駆動ステップと、
    前記焦点面に結像された前記光学像を撮像して撮像信号を出力する撮像ステップと、
    一つまたは複数の前記光学シャッターのすべてを閉じた上で、その際に前記撮像ステップで出力した前記撮像信号から画像を生成し主視点画像とする主視点画像取得処理ステップと、
    一つまたは複数の前記光学シャッターの一つを開いた上で、その際に前記撮像ステップで出力した前記撮像信号から一つまたは複数の画像を生成しステレオ重畳画像とする重畳画像取得処理ステップと、
    を含むことを特徴とするステレオ計測用画像取得装置の作動方法。