JP2019191323A - 内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】複数の撮像条件における撮像の時間間隔を短縮することができる内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体を提供する。【解決手段】内視鏡装置において、撮像素子は、第１の期間において画素信号を複数の画素の少なくとも一部から１行毎に順次読み出す。制御部は、光源に、第２の期間において前記照明光を生成させる。前記第２の期間は、前記第１の期間を除く期間の少なくとも一部である。前記制御部は、前記光源に、第３の期間において前記照明光の生成を停止させる。前記第３の期間は、前記第２の期間を除く期間の全てである。前記制御部は、切り替え部に、前記第３の期間において撮像条件の切り替えを開始させ、かつ前記第３の期間において前記撮像条件の切り替えを完了させる。【選択図】図２

Description

本発明は、内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体に関する。

ボイラー、エンジン、タービン、および化学プラントなどの内部の傷および腐食を観察するために工業用内視鏡が広く用いられている。傷および腐食のような不具合が発見された際、その程度に応じて対策方法を切り替える必要がある。そのため、傷および腐食の大きさを測定する計測機能を備えた工業用内視鏡が開発されている。

特許文献１で示される内視鏡装置は、被写体の２つの光学像を撮像素子の共通の領域に結像させる光学系を備える。２つの異なる視点に対応する２つの光路を通った光が２つの光学像を形成する。以下では、２つの光路を第１の光路および第２の光路と呼ぶ。内視鏡装置は、２つの光路を切り替える光路切り替え手段を備える。内視鏡装置は、２つの光路のうちのいずれか一方を通った光のみが形成する光学像を撮像する。

内視鏡装置は、２つの撮像条件を切り替え、かつ２枚の画像を取得する。第１の光路を通った光は、第１の光学像を形成する。第１の光学像は、第１の視点からの光学像である。内視鏡装置は、第１の光学像を撮像することにより第１の画像を生成する。このとき、第１の撮像条件が実現される。続いて、光路が切り替えられる。第２の光路を通った光は、第２の光学像を形成する。第２の光学像は、第２の視点からの光学像である。内視鏡装置は、第２の光学像を撮像することにより第２の画像を生成する。このとき、第２の撮像条件が実現される。内視鏡装置は、第１の画像および第２の画像が有する視差に基づいて、ステレオ計測の原理を用いて被写体の形状を計測する。第１の画像および第２の画像は、互いに異なる視点から撮像された画像である。

第１の画像と第２の画像とを取得する間に内視鏡の先端または被写体が動く場合、２つの視点の位置関係が変化し、ステレオ計測のパラメータ（基線長など）と２つの視点の位置との間に不整合が生じる。そのため、内視鏡装置は、被写体の形状を正確に計測できない。特許文献１の内視鏡装置は、第１の画像と第２の画像とを交互に取得する。２つの第１の画像間の位置ずれ量が所定のしきい値を下回るとき、内視鏡装置は、２つの第１の画像を取得する期間に内視鏡の先端の動き（先端動き）あるいは被写体の動き（先端動き）がないと判断し、かつ計測処理を行う。

特開２０１３−１０５０７８号公報

特許文献１の内視鏡装置は、第１の画像を取得した後、光路を第１の光路から第２の光路に切り替える。内視鏡装置は、第２の画像を取得した後、光路を第２の光路から第１の光路に切り替える。内視鏡装置は、第１の画像を再度取得する。複数の第１の画像間の位置ずれ量が所定の閾値以下であるとき、内視鏡装置は計測が実行可能であると判定する。このとき、内視鏡装置は、第１の画像および第２の画像を用いて計測を実行する。この判定において、第２の画像を取得する前に取得した第１の画像と、第２の画像を取得した後に取得した第１の画像との間の位置ずれ量のみが使用される。この判定において、第２の画像を取得したタイミングにおける先端動きの発生は考慮されていない。内視鏡装置は第１の画像間の位置ずれは小さいことを確認できるが、第２の画像を取得するタイミングで予期せぬ先端動きが生じている可能性がある。内視鏡装置は、予期せぬ先端動きを検知できない可能性がある。内視鏡装置が複数の撮像条件で取得した複数の画像を用いて画像処理を行う場合、それらを取得する間に発生する先端動きをなるべく小さくすることが望ましい。そのため、第１の撮像条件における撮像と、第２の撮像条件における撮像との時間間隔を短縮する必要がある。

本発明は、複数の撮像条件における撮像の時間間隔を短縮することができる内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体を提供することを目的とする。

本発明は、照明光を生成する光源と、前記照明光を被写体に照射する照明光学系と、前記被写体の光学像を形成する観察光学系と、行列状に配置された複数の画素を有し、かつ前記被写体を撮像し、かつ第１の期間において画素信号を前記複数の画素の少なくとも一部から１行毎に順次読み出し、かつ前記複数の画素の少なくとも一部から読み出された前記画素信号に基づいて、複数のフレーム期間の各々において前記被写体の画像を生成し、前記画素信号は、前記被写体の前記光学像に基づいて生成される撮像素子と、前記撮像素子が前記被写体を撮像するための複数の撮像条件を切り替える切り替え部と、制御部と、を有し、前記制御部は、前記光源に、第２の期間において前記照明光を生成させ、前記第２の期間は、前記第１の期間を除く期間の少なくとも一部であり、前記制御部は、前記光源に、第３の期間において前記照明光の生成を停止させ、前記第３の期間は、前記第２の期間を除く期間の全てであり、かつ前記第１の期間を含み、前記第２の期間および前記第３の期間は交互に繰り返され、前記制御部は、前記切り替え部に、前記第３の期間において前記撮像条件の切り替えを開始させ、かつ前記第３の期間において前記撮像条件の切り替えを完了させる内視鏡装置である。

本発明は、第１のステップ、第２のステップ、および第３のステップを含む内視鏡装置の作動方法であって、前記内視鏡装置は、照明光を生成する光源と、前記照明光を被写体に照射する照明光学系と、前記被写体の光学像を形成する観察光学系と、行列状に配置された複数の画素を有し、かつ前記被写体を撮像し、かつ第１の期間において画素信号を前記複数の画素の少なくとも一部から１行毎に順次読み出し、かつ前記複数の画素の少なくとも一部から読み出された前記画素信号に基づいて、複数のフレーム期間の各々において前記被写体の画像を生成し、前記画素信号は、前記被写体の前記光学像に基づいて生成される撮像素子と、前記撮像素子が前記被写体を撮像するための複数の撮像条件を切り替える切り替え部と、制御部と、を有し、前記制御部は、前記第１のステップにおいて、前記光源に、第２の期間において前記照明光を生成させ、前記第２の期間は、前記第１の期間を除く期間の少なくとも一部であり、前記制御部は、前記第２のステップにおいて、前記光源に、第３の期間において前記照明光の生成を停止させ、前記第３の期間は、前記第２の期間を除く期間の全てであり、かつ前記第１の期間を含み、前記第２の期間および前記第３の期間は交互に繰り返され、前記制御部は、前記第３のステップにおいて、前記切り替え部に、前記第３の期間において前記撮像条件の切り替えを開始させ、かつ前記第３の期間において前記撮像条件の切り替えを完了させる内視鏡装置の作動方法である。

本発明は、第１のステップ、第２のステップ、および第３のステップを内視鏡装置のプロセッサに実行させるためのプログラムであって、前記内視鏡装置は、照明光を生成する光源と、前記照明光を被写体に照射する照明光学系と、前記被写体の光学像を形成する観察光学系と、行列状に配置された複数の画素を有し、かつ前記被写体を撮像し、かつ第１の期間において画素信号を前記複数の画素の少なくとも一部から１行毎に順次読み出し、かつ前記複数の画素の少なくとも一部から読み出された前記画素信号に基づいて、複数のフレーム期間の各々において前記被写体の画像を生成し、前記画素信号は、前記被写体の前記光学像に基づいて生成される撮像素子と、前記撮像素子が前記被写体を撮像するための複数の撮像条件を切り替える切り替え部と、前記プロセッサと、を有し、前記プロセッサは、前記第１のステップにおいて、前記光源に、第２の期間において前記照明光を生成させ、前記第２の期間は、前記第１の期間を除く期間の少なくとも一部であり、前記プロセッサは、前記第２のステップにおいて、前記光源に、第３の期間において前記照明光の生成を停止させ、前記第３の期間は、前記第２の期間を除く期間の全てであり、かつ前記第１の期間を含み、前記第２の期間および前記第３の期間は交互に繰り返され、前記プロセッサは、前記第３のステップにおいて、前記切り替え部に、前記第３の期間において前記撮像条件の切り替えを開始させ、かつ前記第３の期間において前記撮像条件の切り替えを完了させるプログラムである。

本発明は、第１のステップ、第２のステップ、および第３のステップを内視鏡装置のプロセッサに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記内視鏡装置は、照明光を生成する光源と、前記照明光を被写体に照射する照明光学系と、前記被写体の光学像を形成する観察光学系と、行列状に配置された複数の画素を有し、かつ前記被写体を撮像し、かつ第１の期間において画素信号を前記複数の画素の少なくとも一部から１行毎に順次読み出し、かつ前記複数の画素の少なくとも一部から読み出された前記画素信号に基づいて、複数のフレーム期間の各々において前記被写体の画像を生成し、前記画素信号は、前記被写体の前記光学像に基づいて生成される撮像素子と、前記撮像素子が前記被写体を撮像するための複数の撮像条件を切り替える切り替え部と、前記プロセッサと、を有し、前記プロセッサは、前記第１のステップにおいて、前記光源に、第２の期間において前記照明光を生成させ、前記第２の期間は、前記第１の期間を除く期間の少なくとも一部であり、前記プロセッサは、前記第２のステップにおいて、前記光源に、第３の期間において前記照明光の生成を停止させ、前記第３の期間は、前記第２の期間を除く期間の全てであり、かつ前記第１の期間を含み、前記第２の期間および前記第３の期間は交互に繰り返され、前記プロセッサは、前記第３のステップにおいて、前記切り替え部に、前記第３の期間において前記撮像条件の切り替えを開始させ、かつ前記第３の期間において前記撮像条件の切り替えを完了させる記録媒体である。

本発明によれば、内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体は、複数の撮像条件における撮像の時間間隔を短縮することができる。

本発明の第１の実施形態の内視鏡装置の全体構成を示す斜視図である。 本発明の第１の実施形態の内視鏡装置の詳細な構成を示すブロック図である。 本発明の第１の実施形態のＣＰＵの機能構成を示すブロック図である。 本発明の第１の実施形態の撮像素子の構成を示すブロック図である。 本発明の第１の実施形態の画素の構成を示す回路図である。 本発明の第１の実施形態のカラーフィルターの配列を示す図である。 本発明の第１の実施形態の撮像素子の動作を示すタイミングチャートである。 本発明の第１の実施形態の撮像素子の動作を示すタイミングチャートである。 本発明の第１の実施形態の内視鏡装置の動作の手順を示すフローチャートである。 本発明の第１の実施形態の内視鏡装置の動作の手順を示すフローチャートである。 本発明の第２の実施形態の撮像素子の動作を示すタイミングチャートである。 本発明の第３の実施形態の内視鏡装置の詳細な構成を示すブロック図である。 本発明の第３の実施形態の撮像素子の動作を示すタイミングチャートである。 本発明の第３の実施形態の内視鏡装置の動作の手順を示すフローチャートである。 本発明の第４の実施形態の内視鏡装置の詳細な構成を示すブロック図である。 本発明の第４の実施形態の縞生成部の構成を示すブロック図である。 本発明の第４の実施形態の撮像素子の動作を示すタイミングチャートである。 本発明の第４の実施形態の内視鏡装置の動作の手順を示すフローチャートである。 本発明の第５の実施形態の内視鏡装置の詳細な構成を示すブロック図である。 本発明の第５の実施形態のＣＰＵの機能構成を示すブロック図である。 本発明の第５の実施形態の内視鏡装置の動作の手順を示すフローチャートである。 本発明の第５の実施形態の内視鏡装置の動作の手順を示すフローチャートである。 本発明の第６の実施形態の内視鏡装置の詳細な構成を示すブロック図である。 本発明の第６の実施形態の内視鏡装置の動作の手順を示すフローチャートである。 本発明の第７の実施形態の内視鏡装置の詳細な構成を示すブロック図である。 本発明の参考形態の撮像素子の動作を示すタイミングチャートである。

以下、図面を参照し、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の内視鏡装置１の全体構成を示す。図２は、内視鏡装置１の内部構成を示す。図１に示す内視鏡装置１は、内視鏡２、本体部３、操作部４、および表示部５を有する。内視鏡２は、細長い挿入部２０を有する。

挿入部２０は、観察対象の物体の内部に挿入される。挿入部２０の先端には、光学アダプター２１を装着できる。光学アダプター２１は、被写体からの光を挿入部２０の先端に取り込むための光学系を有する。例えば、ステレオ光学アダプターを挿入部２０の先端に装着することにより、内視鏡装置１は、異なる複数の視点に対応する２つの光学像を取得することができる。内視鏡装置１は、２つの光学像を使用することにより、三角測量の原理で被写体の寸法を計測することができる。本体部３は、内視鏡装置１を制御するための構成を有する。操作部４は、ユーザーが行う操作を受け付ける。表示部５（ディスプレイ）は、内視鏡装置１によって取得された画像および処理メニュー等を表示する。

図２は、内視鏡装置１の詳細な構成を示す。図２に示す挿入部２０の先端に光学アダプター２１が装着されている。第１の実施形態の光学アダプター２１は、複数の視点に対応する複数の光学像を形成するステレオ光学アダプターである。光学アダプター２１は、観察光学系６０を有する。光学アダプター２１は、照明光学系８０の一部を有する。観察光学系６０は、凹レンズ２３ａ、凹レンズ２３ｂ、凸レンズ２４ａ、凸レンズ２４ｂ、切り替え部２５、および結像光学系２６を有する。照明光学系８０は、集光レンズ８１、ライトガイド８２、ロッドレンズ８３、および拡散レンズ８４を有する。集光レンズ８１は、本体部３に配置されている。ライトガイド８２は、本体部３および挿入部２０に配置されている。ロッドレンズ８３および拡散レンズ８４は、光学アダプター２１に配置されている。

挿入部２０は、撮像素子２２（イメージセンサー）を有する。撮像素子２２は、挿入部２０の先端に配置されている。本体部３は、撮像制御部３０、映像処理部３１、光源部３２、照明制御部３３、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３４、メモリー３５、および切り替え制御部３６を有する。光源部３２は、白色光源３７を有する。

図２に示す構成の概要を説明する。白色光源３７は、照明光を生成する。照明光学系８０は、照明光を被写体に照射する。観察光学系６０は、被写体の光学像を形成する。撮像素子２２は、行列状に配置された複数のセル５４を有し、かつ被写体を撮像する。撮像素子２２の画素であるセル５４の構成は図４に示される。セル５４の構成については後述する。切り替え部２５（切り替え器）は、撮像素子２２が被写体を撮像するための複数の撮像条件を切り替える。撮像制御部３０、照明制御部３３、および切り替え制御部３６は、制御部（コントローラ）である。

撮像素子２２は、第１の期間において画素信号を複数のセル５４の少なくとも一部から１行毎に順次読み出す。画素信号は、被写体の光学像に基づいて生成される。撮像素子２２は、複数のセル５４の少なくとも一部から読み出された画素信号の少なくとも一部（有効画素の画素信号）に基づいて、複数のフレーム期間の各々において被写体の画像を生成する。照明制御部３３は、白色光源３７に、第２の期間において照明光を生成させる。第２の期間は、第１の期間を除く期間の少なくとも一部である。照明制御部３３は、白色光源３７に、第３の期間において照明光の生成を停止させる。第３の期間は、第２の期間を除く期間の全てであり、かつ第１の期間を含む。第２の期間および第３の期間は交互に繰り返される。切り替え制御部３６は、切り替え部２５に、第３の期間において撮像条件の切り替えを開始させ、かつ第３の期間において撮像条件の切り替えを完了させる。

フレームは、１枚の画像に含まれる複数の画素信号の組である。１枚の画像（１フレーム）は、１フレーム期間において生成される。撮像素子２２は、１フレームの画素信号に基づいて１枚の画像を生成する。

図２に示す構成の詳細を説明する。白色光源３７は、照明制御部３３から供給された電力を白色光に変換する。これにより、白色光源３７は、被写体を照明するための照明光を生成する。例えば、白色光源は、半導体発光素子および蛍光体の組み合わせである。半導体発光素子は、発光ダイオード（ＬＥＤ）またはレーザーダイオード（ＬＤ）等であり、かつ青色に発光する。蛍光体は、励起光である青色光を白色光に変換する。半導体発光素子は光のオンおよび光のオフを高速に切り替えることができる。照明制御部３３は、半導体発光素子の点灯期間を調整することにより、被写体の撮像における露光時間を調節することができる。ハロゲンランプなどの他の光源と比較して半導体発光素子の発光効率は高い。そのため、同じ明るさの他の光源よりも消費電力が少なく、かつ内視鏡装置１を小型化できる。

照明制御部３３は、光源部３２に電力を供給する。照明制御部３３は、映像処理部３１から出力された光源制御パラメーターに基づいて、白色光源３７の点灯のタイミング、白色光源３７の消灯のタイミング、および白色光源３７の出射光量を制御する。白色光源３７の制御モードは、連続点灯モードおよびパルス点灯モードを含む。連続点灯モードでは光源部３２に供給される直流電流の大きさによって光量が制御される。パルス点灯モードでは光源部３２に供給される電流パルスの幅および高さによって光量が制御される。白色光源３７は、光学アダプター２１に配置されてもよい。

白色光源３７から出た白色光は、集光レンズ８１によって集光される。集光レンズ８１によって集光された白色光は、配置されたライトガイド８２を経由して、挿入部２０の先端に伝送される。ライトガイド８２は、光ファイバーの素線を束ねることにより形成された光ファイバーバンドルである。ライトガイド８２から出た白色光は、ロッドレンズ８３によって光学アダプター２１の中を伝送される。ロッドレンズ８３から出た白色光は、拡散レンズ８４によって被写体に照射される。

観察光学系６０は、白色光によって照明された被写体の表面で反射した光を取り込む。観察光学系６０によって取り込まれた光は撮像素子２２に入射する。観察光学系６０は、照明光で照明された被写体の光学像を撮像素子２２に形成する。

観察光学系６０は、第１の光学系および第２の光学系を含む。第１の光学系および第２の光学系は、撮像素子２２の光学的な前方（被写体側）に配置されている。第１の光学系は、第１の視点に対応する被写体の第１の光学像を撮像素子２２に形成する。第２の光学系は、第１の視点と異なる第２の視点に対応する被写体の第２の光学像を撮像素子２２に形成する。

凹レンズ２３ａ、凸レンズ２４ａ、および結像光学系２６は、第１の光学系である。第１の光学系は、被写体からの光に基づく第１の光学像を撮像素子２２の撮像領域Ｓ１に形成する。第１の光学系を通る光路は、第１の光路Ｌ１である。凹レンズ２３ｂ、凸レンズ２４ｂ、および結像光学系２６は、第２の光学系である。第２の光学系は、被写体からの光に基づく第２の光学像を撮像素子２２の撮像領域Ｓ１に形成する。第２の光学系を通る光路は、第２の光路Ｌ２である。

第１の撮像条件において切り替え部２５は、第１の光学系を通る光を撮像素子２２に入射させ、かつ第２の光学系を通る光を遮蔽する。第２の撮像条件において切り替え部２５は、第２の光学系を通る光を撮像素子２２に入射させ、かつ第１の光学系を通る光を遮蔽する。切り替え制御部３６は、切り替え部２５を制御することにより、撮像素子２２に形成される光学像を第１の光学像および第２の光学像の間で切り替える。

切り替え部２５は、第１の光路Ｌ１および第２の光路Ｌ２のうちいずれか一方を撮像光路として設定することにより、被写体の第１の光学像および被写体の第２の光学像のうちのいずれか一方のみを撮像素子２２の撮像領域Ｓ１に形成する。第１の光路Ｌ１および第２の光路Ｌ２は互いに異なる。被写体の第１の光学像は、第１の光路Ｌ１を通った光により形成される。被写体の第２の光学像は、第２の光路Ｌ２を通った光により形成される。

第２の光学系の被写体側の光軸は第１の光学系の被写体側の光軸と略平行である。第２の光学系は、第１の光学系に対して視差を有する。つまり、第１の光学系および第２の光学系は、視差方向に離間している。視差方向は、第１の光学系の光学中心（主点）と第２の光学系の光学中心（主点）とを通る直線の方向である。視差方向は、各光学系の光軸と略直交する。第１の光学系に入射した光は第１の光路Ｌ１を通る。第２の光学系に入射した光は、第１の光路Ｌ１と異なる第２の光路Ｌ２を通る。第１の光学系は被写体の第１の光学像を形成し、かつ第２の光学系は被写体の第２の光学像を形成する。

切り替え部２５は、第１の光路Ｌ１と第２の光路Ｌ２との間で撮像光路を切り替える。切り替え部２５は、第１の光路Ｌ１および第２の光路Ｌ２のうちいずれか一方を通る光のみを透過させ、かつ他方を通る光を遮蔽する。例えば、切り替え部２５は、第１の光路Ｌ１および第２の光路Ｌ２のうちいずれか一方のみに挿入されるシャッター（遮蔽板）を含む。切り替え部２５が第１の光路Ｌ１の光を透過させるとき、シャッターが第２の光路Ｌ２に挿入され、かつ第２の光路Ｌ２の光は遮蔽される。切り替え部２５が第２の光路Ｌ２の光を透過させるとき、シャッターが第１の光路Ｌ１に挿入され、かつ第１の光路Ｌ１の光は遮蔽される。切り替え部２５の動作は、切り替え制御部３６からの制御信号によって制御される。切り替え部２５は、偏光板および液晶セルを含む液晶シャッターであってもよい。切り替え部２５は、上記の構成に限らない。

結像光学系２６は、第１の光路Ｌ１を通った光と第２の光路Ｌ２を通った光とのいずれか一方に基づく被写体像を撮像素子２２の撮像領域Ｓ１に形成する。撮像素子２２の撮像領域Ｓ１に形成される被写体像は、第１の光路Ｌ１および第２の光路Ｌ２のうち撮像光路のみを通った光に基づく。撮像光路は、第１の光路Ｌ１および第２の光路Ｌ２のいずれか１つである。

光学アダプター２１および挿入部２０が一体化されてもよい。つまり、光学アダプター２１内の構成は、挿入部２０の先端に配置されてもよい。

被写体の第１の光学像は、第１の光路Ｌ１を通った光に基づいて形成される。被写体の第２の光学像は、第２の光路Ｌ２を通った光に基づいて形成される。第１の光学像および第２の光学像は、撮像素子２２の撮像領域Ｓ１に入射する。撮像素子２２は、第１の光学像および第２の光学像を撮像する。撮像素子２２は、第１の光学系によって形成された第１の光学像を第１の撮像タイミングで撮像する。撮像素子２２は、第２の光学系によって形成された第２の光学像を第２の撮像タイミングで撮像する。第１の撮像タイミングおよび第２の撮像タイミングは、互いに異なる。

撮像素子２２は、複数のフレーム期間の各々において複数のセル５４の配列における複数の行を１行毎に連続的に走査する。撮像素子２２は、複数の行を１行毎に連続的に走査することにより、複数の行におけるセル５４から画素信号を読み出す。撮像素子２２は、第１の画像および第２の画像を生成する。第１の画像は、撮像領域Ｓ１に形成された第１の光学像に基づく。第２の画像は、撮像領域Ｓ１に形成された第２の光学像に基づく。第１の画像および第２の画像は、複数の行のセル５４から読み出された画素信号に基づく画素値を含む画像データである。撮像素子２２は、第１の画像および第２の画像を映像処理部３１に出力する。撮像素子２２の動作は、撮像制御部３０からの制御信号によって制御される。

複数の撮像条件は、第１の撮像条件および第２の撮像条件を含む。第１の撮像条件および第２の撮像条件は互いに異なる。第１の撮像条件において、第１の光路Ｌ１が撮像光路として設定される。撮像素子２２は、第１の撮像条件で被写体を撮像することにより被写体の第１の画像を生成する。第２の撮像条件において、第２の光路Ｌ２が撮像光路として設定される。撮像素子２２は、第２の撮像条件で被写体を撮像することにより被写体の第２の画像を生成する。

例えば、ライン露光方式のＣＭＯＳイメージャーが撮像素子２２に使用される。ＣＭＯＳイメージャーを採用することにより、内視鏡装置１の構成をシンプルにし、かつ内視鏡装置１の消費電力を低減することができる。

信号線９０が挿入部２０の内部および本体部３の内部に配置されている。信号線９０は、複数の同軸ケーブルを束ねることにより形成された複合同軸線である。信号線９０の先端側は撮像素子２２に接続され、かつ信号線９０の基端側の一部の同軸ケーブルは撮像制御部３０に接続される。撮像制御部３０は、信号線９０を経由して、駆動のための電力を撮像素子２２に供給する。また、撮像制御部３０は、映像処理部３１から受け取った撮像パラメーターを撮像素子２２に出力する。これにより、撮像制御部３０は、撮像素子２２を制御する。

信号線９０の基端側の残りの同軸ケーブルは映像処理部３１に接続される。撮像素子２２によって生成された画像は、映像処理部３１に伝送される。映像処理部３１は、撮像素子２２から出力される画像に対して、各種の映像処理を実行する。例えば、映像処理部３１が実行する映像処理は、デモザイキング、デジタルゲイン調整、ノイズリダクション、ホワイトバランス調整、輪郭補正、およびガンマ補正の少なくとも１つである。映像処理部３１は、映像処理が行われた画像と、ＣＰＵ３４によって生成されたグラフィックデータとを合成する。これにより、映像処理部３１は、表示のための映像信号を生成する。映像処理部３１は、生成された映像信号を表示部５に出力する。

さらに、映像処理部３１は、適切な明るさで撮像を行うための制御パラメーターを生成する。映像処理部３１は、入力された画像あるいは映像処理が行われた画像に基づいて、撮像制御パラメーターおよび照明制御パラメーターを生成する。撮像制御パラメーターは、撮像素子２２のライン読み出し周期、フレームレート、およびアナログゲインなどのパラメーターである。照明制御パラメーターは、照明光のオンのタイミング、照明光のオフのタイミング、および点灯強度などのパラメーターである。映像処理部３１は、撮像制御パラメーターを撮像制御部３０に出力する。撮像制御部３０は、撮像制御パラメーターに基づいて撮像素子２２を制御する。映像処理部３１は、照明制御パラメーターを照明制御部３３に出力する。照明制御部３３は、照明制御パラメーターに基づいて白色光源３７を制御する。

撮像制御部３０、照明制御部３３、および切り替え制御部３６の少なくとも２つは、一体化されてもよい。撮像制御部３０、照明制御部３３、および切り替え制御部３６は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくとも１つである。撮像制御部３０、照明制御部３３、および切り替え制御部３６は、１つまたは複数のプロセッサを含むことができる。撮像制御部３０、照明制御部３３、および切り替え制御部３６は、１つまたは複数の論理回路を含むことができる。

内視鏡装置１のコンピュータが、プログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。プログラムは、撮像制御部３０、照明制御部３３、および切り替え制御部３６の動作を規定する命令を含む。つまり、撮像制御部３０、照明制御部３３、および切り替え制御部３６の機能はソフトウエアにより実現されてもよい。そのプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。

ＣＰＵ３４は、内視鏡装置１内の各部を制御する。また、ＣＰＵ３４は、操作部４の状態を監視する。これによって、ＣＰＵ３４は、計測に関する操作等を検出する。ＣＰＵ３４は、ＤＳＰまたはＧＰＵであってもよい。ＣＰＵ３４は、ＡＳＩＣまたはＦＰＧＡであってもよい。

メモリー３５は、映像処理部３１によって処理された画像を記憶する。メモリー３５は、撮像素子２２から出力された画像を記憶してもよい。メモリー３５は、内視鏡装置１から取り外すことが可能であってもよい。メモリー３５は、揮発性または不揮発性のメモリーとして構成される。例えば、メモリー３５は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびフラッシュメモリのいずれか１つである。あるいは、メモリー３５は、上記のメモリーの少なくとも２つの組み合わせであってもよい。内視鏡装置１は、画像を記憶するためのハードディスクドライブを有してもよい。

操作部４は、ユーザーから指示を受け付けるユーザーインターフェースである。ユーザーは、操作部４を操作することにより、内視鏡装置１全体の各種動作制御に必要な指示を入力する。操作部４は、ユーザーから受け付けた指示を示す信号をＣＰＵ３４に出力する。例えば、操作部４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。

表示部５は、映像処理部３１から出力された映像信号に基づいて被写体の画像を表示する。また、表示部５は、操作制御内容および計測結果等を表示する。例えば、操作制御内容はメニューとして表示される。例えば、表示部５は、液晶ディスプレイおよび有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイの少なくとも１つである。表示部５は、タッチパネルディスプレイであってもよい。その場合、操作部４および表示部５は一体化される。

図３は、ＣＰＵ３４の機能構成を示す。ＣＰＵ３４の機能は、制御部３４０、表示処理部３４１、画像処理部３４２、可視化処理部３４３、および記録部３４４を含む。図３に示すブロックの少なくとも１つがＣＰＵ３４とは異なる回路で構成されてもよい。

制御部３４０は、各部が実行する処理を制御する。ユーザーが操作部４を操作した場合、制御部３４０は、ユーザーが行った操作を受け付ける。表示処理部３４１は、メニュー等を表示するためのグラフィックデータを生成する。表示処理部３４１によって生成されたグラフィックデータは映像処理部３１に出力される。また、表示処理部３４１は、映像処理部３１を制御することにより、表示部５に表示される画像の状態を制御する。

画像処理部３４２（画像処理器）は、被写体の画像に基づいて画像処理を実行する。画像処理部３４２は、適性判断部３４５、ノイズ低減部３４６、および計測処理部３４７を有する。

画像処理部３４２は、複数のフレーム期間において生成された複数枚の画像に画像処理を実行する。画像処理部３４２は、複数枚の画像を処理する。

切り替え制御部３６は、切り替え部２５に、複数の第１のフレーム期間において第１の撮像条件を設定させる。切り替え制御部３６は、切り替え部２５に、複数の第２のフレーム期間において第２の撮像条件を設定させる。複数の第２のフレーム期間の各々は、複数の第１のフレーム期間の各々と異なる。

撮像素子２２は、被写体の複数枚の第１の画像と被写体の複数枚の第２の画像との少なくとも一方を生成する。適性判断部３４５は、複数枚の第１の画像が画像処理に適しているか否かを示す値と、複数枚の第２の画像が画像処理に適しているか否かを示す値との少なくとも一方を算出する。

撮像素子２２は、第１の撮像条件で被写体を撮像することにより複数枚の第１の画像を生成する。撮像素子２２は、第２の撮像条件で被写体を撮像することにより複数枚の第２の画像を生成する。ノイズ低減部３４６は、複数枚の第１の画像の入力に基づいてノイズ低減処理を行うことにより、第３の画像を生成する。ノイズ低減部３４６は、複数枚の第２の画像の入力に基づいてノイズ低減処理を行うことにより、第４の画像を生成する。

画像処理部３４２は、第３の画像および第４の画像に、ノイズ低減処理と異なる処理を行う。具体的には、計測処理部３４７は、第３の画像および第４の画像に基づいて、パッシブステレオ法を使用することにより被写体の表面の複数点の３次元座標を算出する。

計測処理部３４７は、被写体の形状、被写体の寸法、および被写体までの距離（被写体距離）の少なくとも１つを計測する。例えば、被写体の形状は、３次元点群あるいはメッシュポリゴンとして計測される。３次元点群は、被写体の表面の複数点の３次元座標の集合である。メッシュポリゴンは、３次元点群に含まれる各点を頂点にもつ三角形の集合である。被写体の寸法は、被写体上の任意の２点間の距離および被写体上の３点以上で構成される領域の面積等である。被写体距離は、撮像素子２２が配置された挿入部２０の先端から被写体までの距離である。具体的には、被写体距離は、撮像素子２２から被写体までの距離である。被写体距離は第１の光学系の主点あるいは第２の光学系の主点から被写体までの距離であってもよい。被写体距離はレンズの被写体側の面から被写体までの距離であってもよい。計測処理部３４７は、２つの画像が有する視差を利用した三角測量によりステレオ計測を行う。具体的には、計測処理部３４７は、第１の画像あるいは第３の画像に設定された計測点に対応する点を第２の画像あるいは第４の画像において検出する。この処理は、テンプレートマッチング処理と呼ばれる。計測処理部３４７は、検出された点の座標（対応点座標）と計測点の座標（計測点座標）とに基づいて、計測点座標に対応する被写体上の点の３次元座標を算出する。計測点は、撮像素子２２の撮像領域Ｓ１におけるセル５４のアドレスに関連付けられる。計測処理部３４７は、被写体の表面の１点のみの３次元座標を算出してもよい。

画像処理部３４２によって実行された画像処理の結果は、可視化処理部３４３に出力される。可視化処理部３４３は、データ生成部（データ生成器）である。可視化処理部３４３は、画像処理結果を可視化したグラフィックデータを生成する。これにより、可視化処理部３４３は、被写体の３次元形状を再構成した結果を画像として表現したグラフィックデータを生成する。

第１の実施形態において、照明光は白色光である。撮像素子２２は、赤のカラーフィルター、緑のカラーフィルター、および青のカラーフィルターを有する。各カラーフィルターは図６に示される。各カラーフィルターについては後述する。撮像素子２２は、カラー画像を被写体の画像として生成する。カラー画像は、複数の画素を含む。各画素は、赤の明るさ、緑の明るさ、および青の明るさの各々を示す情報を画素値として持つ。画像処理部３４２は、被写体の表面の複数点の３次元座標（３Ｄ点群）と、その複数点の各々に対応する画素値とが関連付けられた３次元形状データ（カラー３Ｄ点群あるいはカラーテクスチャー付きメッシュポリゴン）を生成する。可視化処理部３４３は、３次元形状データを可視化したグラフィックデータを生成する。グラフィックデータは、３次元形状データを仮想空間内に配置し、かつその仮想空間内に配置した仮想的なカメラでその３次元形状データを撮影した画像に相当する。画像処理部３４２が生成する３Ｄ形状データにおいて、被写体の表面の複数点に含まれる各点の３次元座標と、その複数点に含まれる各点の画素値とが関連付けられている。可視化処理部３４３が仮想空間内に配置する３Ｄ形状データと、カメラの位置と、カメラの姿勢と、カメラの画角との少なくともひとつはユーザーが操作部４を操作することによって変更される。

可視化処理部３４３によって生成されたグラフィックデータは映像処理部３１に出力される。記録部３４４は、被写体の画像をメモリー３５に記録する。

操作部４および表示部５は必須ではない。

図４は、撮像素子２２の構成を示す。図４に示す撮像素子２２は、画素部５０、垂直走査部５１、信号処理部５２、および水平走査部５３を有する。

画素部５０は、行列状に配置された複数のセル５４を有する。複数のセル５４は、撮像素子２２の撮像領域Ｓ１に配置されている。複数のセル５４の配列における行数と列数との各々は、２以上である。行数と列数とが同一でなくてもよい。複数のセル５４の各々は、セル５４に入射した光の量に応じた画素信号を生成する。複数のセル５４の各々は、垂直信号線５６に接続されている。複数の垂直信号線５６が配置されている。複数の垂直信号線５６の各々は、複数のセル５４の配列における列毎に配置されている。複数のセル５４の各々は、生成された画素信号を垂直信号線５６に出力する。

複数のセル５４の各々は、制御信号線５７に接続されている。複数の制御信号線５７が配置されている。複数の制御信号線５７の各々は、複数のセル５４の配列における１行毎に配置されている。複数の制御信号線５７の各々は、垂直走査部５１に接続されている。複数のセル５４の動作を制御するための制御信号が垂直走査部５１から制御信号線５７に出力される。１個の行のセル５４に対して複数の制御信号線５７が配置されている。図４では１個の行のセル５４に対して１つの制御信号線５７が示され、他の制御信号線５７は省略されている。制御信号の詳細については、後述する。

複数のセル５４の動作は、制御信号線５７に出力された制御信号に基づいて制御される。１個の行のセル５４に対応する制御信号は、その行における全てのセル５４に共通に供給される。このため、同一の行に配置された２つ以上のセル５４に対して同一の動作タイミングが設定される。つまり、同一の行に配置された２つ以上のセル５４は、同時に動作する。セル５４の構成の詳細については、後述する。

撮像制御部３０によって生成された制御信号が撮像素子２２に送信される。垂直走査部５１は、撮像制御部３０からの制御信号に基づいて、複数のセル５４の動作を制御するための制御信号を生成する。垂直走査部５１は、複数のセル５４の配列における複数の行の各々に対応する制御信号を生成する。垂直走査部５１は、生成された制御信号を制御信号線５７に出力する。

信号処理部５２は、複数の信号処理回路５５を有する。信号処理回路５５は、複数のセル５４の配列における列毎に配置されている。信号処理回路５５は、垂直信号線５６に接続されている。信号処理回路５５は、セル５４から垂直信号線５６に出力された画素信号に対して、信号処理を行う。信号処理回路５５が行う信号処理は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）およびＡＧＣ（Ａｎａｌｏｇ Ｇａｉｎ Ｃｏｎｔｒｏｌ）等を含む。

信号処理回路５５によって処理された画素信号は、水平走査部５３に入力される。水平走査部５３は、複数のセル５４の配列における列を順次選択する。水平走査部５３によって選択された列に対応する画素信号は、出力端子５８から出力される。

撮像素子２２は、行列状に配置された複数のセル５４を備える。撮像素子２２は、複数のフレーム期間の各々において、被写体の光学像に基づく各セル５４の画素信号を生成する。撮像素子２２は、複数のフレーム期間の各々において、その画素信号を使用して被写体の画像を生成する。

図５は、セル５４の構成を示す。図５に示すセル５４は、光電変換部７０、電荷転送部７１、電荷保持部７２、容量リセット部７３、増幅部７４、および出力部７５を有する。光電変換部７０は、フォトダイオードである。電荷保持部７２は、容量である。電荷転送部７１、容量リセット部７３、増幅部７４、および出力部７５は、トランジスタである。

光電変換部７０は、セル５４に入射した光の量に応じた電荷を生成し、蓄積する。電荷転送部７１は、光電変換部７０によって生成され、蓄積された電荷を電荷保持部７２に転送する。電荷保持部７２は、光電変換部７０から転送された電荷を保持する。容量リセット部７３は、電源電圧ＶＤＤに基づいて、電荷保持部７２の電荷をリセットする。容量リセット部７３がオンになることにより、容量リセット部７３は電荷保持部７２の電荷をリセットする。増幅部７４は、電荷保持部７２に保持された電荷に基づく信号を増幅する。出力部７５は、増幅部７４によって増幅された信号を画素信号として垂直信号線５６に出力する。

電荷転送部７１の動作は、制御信号φＴＸによって制御される。容量リセット部７３の動作は、制御信号φＲＳＴによって制御される。出力部７５の動作は、制御信号φＳＥＬによって制御される。制御信号φＴＸ、制御信号φＲＳＴ、および制御信号φＳＥＬは、制御信号線５７を経由して垂直走査部５１から供給される。

セル５４の動作は、容量リセット、電荷転送、および信号読み出しを含む。容量リセットは、容量リセット部７３の動作に対応する。電荷転送は、電荷転送部７１の動作に対応する。信号読み出しは、出力部７５の動作に対応する。蓄積開始タイミングから転送タイミングまでの期間が、セル５４において露光を行える期間（露光期間）である。蓄積開始タイミングは、光電変換部７０が、セル５４に入射した光に基づく電荷の生成とその電荷の蓄積とを開始するタイミングである。転送タイミングは、電荷転送部７１が、光電変換部７０に蓄積された電荷を電荷保持部７２に転送するタイミングである。セル５４の露光期間においてセル５４に入射した光の量に応じて、セル５４は電荷を蓄積する。以下の記載において、セル５４がリセットされた状態とは、露光期間が終了し、電荷転送部７１が、光電変換部７０に蓄積された電荷を電荷保持部７２に転送したタイミングにおけるセル５４の状態を表している。

撮像素子１１０は、画素信号を出力部７５から出力することにより、画素信号をセル５４から読み出す。撮像素子１１０は、画素信号をセル５４から読み出すことにより、画像を取得する。画素信号の読み出しと画像の取得とは、等価である。

図６に示すように、撮像素子２２は、各セル５４に配置されたカラーフィルターＣＦを有する。図６は、カラーフィルターＣＦの配列を示す。カラーフィルターＣＦは、ＲフィルタＣＦｒ、ＧフィルタＣＦｇｒ、ＧフィルタＣＦｇｂ、およびＢフィルタＣＦｂを含む。

ＲフィルタＣＦｒは、赤のカラーフィルターである。ＲフィルタＣＦｒは、赤色光を透過させ、かつそれ以外の光を遮断する。ＧフィルタＣＦｇｒおよびＧフィルタＣＦｇｂは、緑のカラーフィルターである。ＧフィルタＣＦｇｒおよびＧフィルタＣＦｇｂは、緑色光を透過させ、かつそれ以外の光を遮断する。ＢフィルタＣＦｂは、青のカラーフィルターである。ＢフィルタＣＦｂは、青色光を透過させ、かつそれ以外の光を遮断する。

図６に示すカラーフィルターＣＦの配列は、ベイヤー配列である。ベイヤー配列において、基本配列が行方向かつ列方向に規則的かつ周期的に配置される。基本配列は、１個のＲフィルタＣＦｒ、２個のＧフィルタＣＦｇｒ，ＣＦｇｂ、および１個のＢフィルタＣＦｂを含む。

撮像素子２２は、赤色光に基づくＲ信号と、緑色光に基づくＧ信号と、青色光に基づくＢ信号とを生成する。撮像素子２２は、Ｒ信号、Ｇ信号、およびＢ信号に基づく画素値を含むカラー画像を出力する。

図７は、計測モードにおける撮像素子２２の動作と、照明の状態と、撮像条件の状態との関係を示す。図７を参照し、撮像素子２２の動作を説明する。図７に示す例では、撮像素子２２の撮像領域Ｓ１は、８個の行を有する。撮像領域Ｓ１の行数は８に限らない。

タイミングチャートＴＣ１０は、撮像素子２２の動作を示す。タイミングチャートＴＣ１０において、横方向は時間を示し、かつ縦方向はセル５４の行位置を示す。最も上の行が第１行であり、かつ最も下の行が第８行である。

タイミングチャートＴＣ１０において、照明の状態すなわち白色光源３７の状態が示されている。白色光源３７の状態は、オン（ＯＮ）およびオフ（ＯＦＦ）のいずれか１つである。タイミングチャートＴＣ１０において、撮像条件すなわち撮像光路が示されている。撮像光路は、第１の光路Ｌ１および第２の光路Ｌ２のいずれか１つである。タイミングチャートＴＣ１０において、切り替え部２５の動作が示されている。切り替え部２５の動作は、第１の光路Ｌ１から第２の光路Ｌ２への切り替えと、第２の光路Ｌ２から第１の光路Ｌ１への切り替えとのいずれか１つである。

タイミングチャートＴＣ１０において、フレームレートは６０ｆｐｓである。各フレーム期間の長さは１／６０秒である。各フレーム期間は、１行分のセル５４の露光期間および１行分のセル５４の読み出し期間を含む。ある行の読み出し期間において、その行に含まれるセル５４の画素信号が読み出される。画素信号の読み出しは、電荷転送および信号読み出しを含む。タイミングチャートＴＣ１０において、第１行のセル５４における露光期間の開始タイミングを基準にしたフレーム期間が示されている。第２行から第８行のフレーム期間は、各行の１つ前の行のフレーム期間よりも所定時間だけ遅れて開始される。フレーム期間ｎの露光期間においてセル５４に蓄積された画素信号は、フレーム期間ｎの読み出し期間においてセル５４から読み出される。フレーム期間ｎの露光期間は、フレーム期間ｎの第１行から第８行の各露光期間である。フレーム期間ｎの読み出し期間は、フレーム期間ｎの第１行の読み出し期間の開始からフレーム期間ｎの第８行の読み出し期間の終了までの期間である。

図７における破線Ｌ１０は、各行のフレーム期間の開始タイミングを示す。タイミングチャートＴＣ１０以外のタイミングチャートにおいて破線Ｌ１０は省略されるが、破線Ｌ１０の意味は、本明細書において共通である。図７における記号Ｍ１０は、読み出し期間を示す。図７における記号Ｍ１１は、露光期間を示す。タイミングチャートＴＣ１０以外のタイミングチャートにおいて記号Ｍ１０および記号Ｍ１１は省略されるが、記号Ｍ１０および記号Ｍ１１の各々の意味は、本明細書において共通である。

フレーム期間ｉの露光期間の開始タイミングにおいて、第１行のセル５４がリセットされる。これにより、第１行のセル５４の露光期間が開始される。露光期間において、セル５４に入射した光に基づく信号がセル５４に蓄積される。第１行のセル５４の露光期間が開始された後、第２行のセル５４の露光期間が開始される。同様に、第３行から第８行のセル５４の露光期間が順次開始される。

垂直走査部５１は、各行の制御信号を順次生成し、かつ生成された制御信号を各行のセル５４に順次出力する。撮像素子２２は、垂直走査部５１から順次出力された制御信号に基づいて、複数の行のセル５４を１行毎に連続的に順次リセットする。撮像素子２２は、このリセットにより、複数の行のセル５４の露光期間を順次開始する。

フレーム期間ｉの１つ前のフレーム期間（ｉ−１）において、取得される画像の撮像光路は第２の光路Ｌ２である。フレーム期間ｉにおける第１行のセル５４の露光期間が開始されたとき、撮像光路の切り替えが開始される。切り替え制御部３６は、撮像光路の切り替えのための制御信号を切り替え部２５に出力する。これにより、切り替え制御部３６は、切り替え部２５に撮像光路を切り替えさせる。切り替え部２５は、撮像制御部３０からの制御信号に基づいて、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを開始する。第２の光路Ｌ２から第１の光路Ｌ１への切り替えの開始は、フレーム期間（ｉ−１）における第１行のセル５４の画素信号の読み出しの開始（フレーム期間（ｉ−１）の読み出し期間の開始）と同時か、それよりも後でありさえすればよい。また、撮像制御部３０からの制御信号の出力のタイミングは、制御信号の出力のタイミングから光路の切り替えの開始のタイミングまでの時間差と同じかそれよりも短い時間だけ、第１行のセル５４の画素信号の読み出しの開始よりも早くてもよい。これにより、光路の切り替えの開始が第１行のセル５４の画素信号の読み出しの開始と同時かそれよりも後になる。

フレーム期間ｉにおける第３行のセル５４の露光期間が開始されたとき、切り替え部２５は、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを完了する。フレーム期間ｉにおいて取得される画像の撮像光路は第１の光路Ｌ１である。第２の光路Ｌ２から第１の光路Ｌ１への切り替えの完了は、フレーム期間ｉにおける第８行のセル５４の露光期間の開始（フレーム期間（ｉ−１）の読み出し期間の終了）と同時か、それよりも前でありさえすればよい。

フレーム期間ｉにおける第１行のセル５４の露光期間が開始されたとき、白色光源３７は消灯している。フレーム期間ｉにおける第８行のセル５４の露光期間が開始されたとき、白色光源３７の点灯が開始される。照明制御部３３は、点灯のための制御信号を白色光源３７に出力することにより、白色光源３７を点灯させる。白色光源３７は、照明制御部３３からの制御信号に基づいて、点灯を開始する。白色光源３７の点灯の開始は、フレーム期間ｉにおける第８行のセル５４の露光期間の開始（フレーム期間（ｉ−１）の読み出し期間の終了）よりも後であってもよい。

フレーム期間ｉにおける第１行のセル５４の露光期間が終了したとき、フレーム期間ｉにおける第１行のセル５４の読み出し期間が開始される。第１行のセル５４は、画素信号を垂直信号線５６に出力する。第１行のセル５４の読み出し期間が開始された時刻から所定時間が経過したとき、第１行のセル５４の読み出し期間が終了する。このとき、第１行のセル５４がリセットされ、かつフレーム期間（ｉ＋１）における第１行のセル５４の露光期間が開始される。

フレーム期間ｉにおける第１行のセル５４の読み出し期間が開始されたとき、白色光源３７の点灯が終了する。照明制御部３３は、消灯のための制御信号を白色光源３７に出力することにより、白色光源３７を消灯させる。白色光源３７は、照明制御部３３からの制御信号に基づいて、消灯する。白色光源３７の点灯の終了は、フレーム期間ｉにおける第１行のセル５４の読み出し期間の開始（フレーム期間ｉの読み出し期間の開始）よりも前であってもよい。

図７に示すタイミングチャートＴＣ１０では、照明制御部３３は、白色光源３７を間欠的に点灯させる。白色光源３７は間欠的に点灯する。白色光源３７が点灯し続ける期間は、複数の行のセル５４の露光期間と重なる。白色光源３７が点灯し続ける期間において、全ての行のセル５４は同時に露光される。白色光源３７の点灯によりセル５４に被写体からの光が入射する期間（撮像期間）は、全ての行のセル５４において共通である。すなわち、白色光源３７の点灯のタイミングおよび白色光源３７の消灯のタイミングの制御に基づいて、複数の行のセル５４のグローバル露光（同時露光）が行われる。白色光源３７が点灯し続ける期間は、セル５４の読み出し期間を含まない。

フレーム期間ｉにおける第１行のセル５４の読み出し期間が終了したとき、フレーム期間ｉにおける第２行のセル５４の読み出し期間が開始される。第２行のセル５４は、画素信号を垂直信号線５６に出力する。第２行のセル５４の読み出し期間が開始された時刻から所定時間が経過したとき、第２行のセル５４の読み出し期間が終了する。このとき、第２行のセル５４がリセットされ、かつフレーム期間（ｉ＋１）における第２行のセル５４の露光期間が開始される。同様に、第３行から第８行のセル５４の読み出し期間が順次開始され、かつ第３行から第８行のセル５４の画素信号が順次読み出される。第３行から第８行のセル５４が順次リセットされ、かつフレーム期間（ｉ＋１）における第３行から第８行のセル５４の露光期間が順次開始される。

垂直走査部５１は、各行の制御信号を順次生成し、かつ生成された制御信号を各行のセル５４に順次出力する。撮像素子２２は、垂直走査部５１から順次出力された制御信号に基づいて、複数の行のセル５４を１行毎に連続的に走査する。撮像素子２２は、この走査により、複数の行のセル５４から画素信号を順次読み出す。

撮像素子２２の駆動方式は、ローリングシャッター方式である。ローリングシャッター方式では、１フレーム期間の読み出しの中で読み出し対象の行が１行ずつ変更され、かつ各行のセル５４から連続的に画素信号が読み出される。ローリングシャッター方式では、１行毎に露光期間が順次開始され、かつ１行毎に画素信号が順次読み出される。画素信号の読み出しが完了した行のセル５４はリセットされ、かつ次の１フレーム期間の露光期間が開始される。

フレーム期間ｉにおける第１行のセル５４の読み出し期間が終了したとき、撮像光路の切り替えが開始される。切り替え制御部３６は、撮像光路の切り替えのための制御信号を切り替え部２５に出力する。これにより、切り替え制御部３６は、切り替え部２５に撮像光路を切り替えさせる。切り替え部２５は、撮像制御部３０からの制御信号に基づいて、第１の光路Ｌ１から第２の光路Ｌ２への切り替えを開始する。第１の光路Ｌ１から第２の光路Ｌ２への切り替えの開始は、フレーム期間ｉにおける第１行のセル５４の読み出しの開始（フレーム期間ｉの読み出し期間の開始）と同時か、それよりも後でありさえすればよい。

フレーム期間ｉにおける第３行のセル５４の読み出し期間が終了したとき、切り替え部２５は、第１の光路Ｌ１から第２の光路Ｌ２への切り替えを完了する。フレーム期間（ｉ＋１）において取得される画像の撮像光路は第２の光路Ｌ２である。第１の光路Ｌ１から第２の光路Ｌ２への切り替えの完了は、フレーム期間（ｉ＋１）における第８行のセル５４の露光期間の開始（フレーム期間ｉの読み出し期間の終了）と同時か、それよりも前でありさえすればよい。

フレーム期間ｉにおける第８行のセル５４の読み出し期間が終了したとき、白色光源３７の点灯が開始される。照明制御部３３は、点灯のための制御信号を白色光源３７に出力することにより、白色光源３７を点灯させる。白色光源３７は、照明制御部３３からの制御信号に基づいて、点灯を開始する。白色光源３７の点灯の開始は、フレーム期間ｉにおける第８行のセル５４の読み出し期間の終了（フレーム期間ｉの読み出し期間の終了）よりも後であってもよい。

フレーム期間ｉよりも前の各フレーム期間において、撮像素子２２は、フレーム期間ｉにおける動作と同じ動作を実行する。フレーム期間ｉよりも前の各フレーム期間において、白色光源３７は間欠的に点灯する。フレーム期間ｉよりも前の各フレーム期間において、切り替え部２５は撮像光路を第１の光路Ｌ１または第２の光路Ｌ２に切り替える。

フレーム期間（ｉ＋１）における第１行のセル５４の露光期間が終了したとき、フレーム期間（ｉ＋１）における第１行のセル５４の読み出し期間が開始される。フレーム期間ｉにおける動作と同様に、第１行から第８行のセル５４の読み出し期間が順次開始され、かつ第１行から第８行のセル５４の画素信号が順次読み出される。第１行から第８行のセル５４が順次リセットされ、かつフレーム期間（ｉ＋２）における第１行から第８行のセル５４の露光期間が順次開始される。

フレーム期間（ｉ＋１）における第１行のセル５４の読み出し期間が開始されたとき、白色光源３７の点灯が終了する。照明制御部３３は、消灯のための制御信号を白色光源３７に出力することにより、白色光源３７を消灯させる。白色光源３７は、照明制御部３３からの制御信号に基づいて、消灯する。白色光源３７の点灯の終了は、フレーム期間（ｉ＋１）における第１行のセル５４の読み出し期間の開始（フレーム期間（ｉ＋１）の読み出し期間の開始）よりも前であってもよい。

フレーム期間（ｉ＋１）における第１行のセル５４の読み出し期間が終了したとき、撮像光路の切り替えが開始される。切り替え制御部３６は、撮像光路の切り替えのための制御信号を切り替え部２５に出力する。これにより、切り替え制御部３６は、切り替え部２５に撮像光路を切り替えさせる。切り替え部２５は、撮像制御部３０からの制御信号に基づいて、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを開始する。第２の光路Ｌ２から第１の光路Ｌ１への切り替えの開始は、フレーム期間（ｉ＋１）における第１行のセル５４の読み出しの開始（フレーム期間（ｉ＋１）の読み出し期間の開始）と同時か、それよりも後でありさえすればよい。

フレーム期間（ｉ＋１）における第３行のセル５４の読み出し期間が終了したとき、切り替え部２５は、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを完了する。フレーム期間（ｉ＋２）において取得される画像の撮像光路は第１の光路Ｌ１である。第２の光路Ｌ２から第１の光路Ｌ１への切り替えの完了は、フレーム期間（ｉ＋２）における第８行のセル５４の露光期間の開始（フレーム期間（ｉ＋１）の読み出し期間の終了）と同時か、それよりも前でありさえすればよい。

撮像素子２２は、フレーム期間（ｉ＋２）およびフレーム期間（ｉ＋３）において、フレーム期間ｉにおける動作と同じ動作を実行する。

白色光源３７は、フレーム期間（ｉ＋２）およびフレーム期間（ｉ＋３）の各々における露光期間に点灯する。白色光源３７は、点灯と消灯とを繰り返す。白色光源３７は、フレーム期間毎に点灯し、かつフレーム期間毎に消灯する。

切り替え部２５は、フレーム期間（ｉ＋２）およびフレーム期間（ｉ＋３）の各々における読み出し期間に撮像光路を切り替える。切り替え部２５は、第１の光路Ｌ１から第２の光路Ｌ２への切り替えと、第２の光路Ｌ２から第１の光路Ｌ１への切り替えとを繰り返す。切り替え部２５は、撮像光路の切り替えをフレーム期間毎に実行する。

内視鏡装置１が計測モードで動作している間、内視鏡装置１はフレーム期間ｉからフレーム期間（ｉ＋３）における動作を連続的にあるいは間欠的に繰り返す。

図７に示すタイミングチャートＴＣ１０では、画素信号が第１行から第８行のセル５４から読み出される。つまり、画素信号が複数のセル５４の全てから読み出される。画素信号が一部の行のみのセル５４から読み出されてもよい。例えば、オプティカルブラック画素のみから構成される行を除く行、あるいは有効画素が含まれる行である有効行のみのセル５４から画素信号が読み出されてもよい。画素信号が一部の行のみのセル５４から読み出される場合、白色光源３７が点灯し続ける期間は、その一部の行のみのセル５４が同時に露光される期間と重なってもよい。第１行から第８行の数字は読み出しの順序を示す。この数字は、撮像面上での物理的な順序と異なっていてもよい。例えば、セル５４は、物理的には第８行から降順に配置されていてもよい。あるいは、セル５４は、所定方向に第１行、第５行、第２行、第６行、第３行、第７行、第４行、第８行の順に配置されていてもよい。

撮像素子２２は、第１の期間Ｔ１において画素信号を複数のセル５４の少なくとも一部から１行毎に順次読み出す。撮像素子２２は、第１の期間Ｔ１において画素信号を同時露光行のセル５４から１行毎に順次読み出す。同時露光行は、複数のセル５４の配列における複数の行の少なくとも一部である。同時露光行は、白色光源３７の点灯により同時露光されるセル５４を含む。図７に示すタイミングチャートＴＣ１０では、全ての行が同時露光行であり、フレーム期間ｎの第１の期間Ｔ１は、フレーム期間ｎの第１行のセル５４における画素信号の読み出しの開始から第８行のセル５４における画素信号の読み出しの完了までの期間（フレーム期間ｎの読み出し期間）である。

図７に示すタイミングチャートＴＣ１０では、白色光源３７は、１フレーム期間における画素信号の読み出しの完了と同時に点灯する。つまり、白色光源３７は、第１の期間Ｔ１の完了と同時に点灯する。白色光源３７は、１フレーム期間における画素信号の読み出しの開始と同時に消灯する。つまり、白色光源３７は、第１の期間Ｔ１の開始と同時に消灯する。

照明制御部３３は、白色光源３７に、第２の期間Ｔ２において照明光を生成させる。白色光源３７は、第２の期間Ｔ２において点灯し続ける。第２の期間Ｔ２は、第１の期間Ｔ１を除く期間の少なくとも一部である。図７に示すタイミングチャートＴＣ１０では、第２の期間Ｔ２は第１の期間Ｔ１を除く期間の全てである。

照明制御部３３は、白色光源３７に、第３の期間Ｔ３において照明光の生成を停止させる。白色光源３７は、第３の期間Ｔ３において消灯し続ける。第３の期間Ｔ３は、第２の期間Ｔ２を除く期間の全てである。第３の期間Ｔ３は、第１の期間Ｔ１の全てを含む期間である。図７に示すタイミングチャートＴＣ１０では、第３の期間Ｔ３は第１の期間Ｔ１と同じである。

第２の期間Ｔ２は、複数のセル５４の配列における複数の行の露光期間と重なる。１フレーム期間において撮像素子２２が最後に走査する行の読み出し期間が完了したとき、第２の期間Ｔ２が開始される。１フレーム期間において撮像素子２２が最初に走査する行の読み出し期間が開始されたとき、第２の期間Ｔ２が完了する。

切り替え制御部３６は、切り替え部２５に、第３の期間Ｔ３において撮像光路の切り替えを開始させ、かつ第３の期間Ｔ３において撮像光路の切り替えを完了させる。すなわち、次の第２の期間Ｔ２が開始される前に、切り替え制御部３６は、切り替え部２５に、撮像光路の切り替えを完了させる。図７に示すタイミングチャートＴＣ１０では、第３の期間Ｔ３は第１の期間Ｔ１と同じであるため、切り替え部２５は、第１の期間Ｔ１において撮像光路の切り替えを開始し、かつ第１の期間Ｔ１において撮像光路の切り替えを完了する。

撮像素子２２は、第１の期間Ｔ１において、複数のフレーム期間の各々の行のセル５４の露光期間と読み出し期間との合計の長さの２分の１以下の時間で１フレームの画素信号を読み出す。つまり、撮像素子２２は、フレーム期間の長さの２分の１以下の時間で１フレームの画素信号を読み出す。撮像素子２２は、セル５４の画素信号の読み出しに必要な時間を短くすることにより、複数のセル５４の少なくとも一部で同時に露光できる期間（同時露光期間）を長くすることができる。そのため、撮像の感度が向上する。図７に示すタイミングチャートＴＣ１０では、フレーム期間が約１／６０秒であり、全てのセル５４に対応する同時露光期間は約１／１２０秒である。

撮像素子２２が画素信号を１行のセル５４から読み出す時間は、時間Ｔｒ以下である。時間Ｔｒは、以下の式（１）で示される。数字ｍは２以上の整数であり、撮像素子２２の同時露光行の行数である。ｍ個の行のセル５４の同時露光期間は、白色光源３７が点灯し続ける第２の期間Ｔ２の全てを含む。式（１）において時間Ｔｆはフレーム期間の長さである。
Ｔｒ＝Ｔｆ／（ｍ×２） （１）

第２の期間Ｔ２は、撮像光路の切り替えが実行される第３の期間と重ならない。白色光源３７が点灯している間、撮像光路は固定される。つまり、複数のセル５４が露光されている間、撮像光路は固定される。撮像素子２２から出力される画像は、第１の光学像および第２の光学像の一方のみに基づいて生成される。

計測処理部３４７は、第１の画像および第２の画像に基づいて計測処理を実行する。第１の画像は第１のフレーム期間において取得され、かつ第２の画像は第２のフレーム期間において取得される。第１のフレーム期間および第２のフレーム期間は、連続する２フレーム期間である。第１の取得タイミングと第２の取得タイミングとの間隔は、１フレーム期間と同じである。第１の取得タイミングは、撮像素子２２が第１の画像を取得するタイミングである。第２の取得タイミングは、撮像素子２２が第２の画像を取得するタイミングである。

図８は、計測モードにおける撮像素子２２の動作と、照明の状態と、撮像条件の状態との関係の他の例を示す。図８を参照し、撮像素子２２の動作を説明する。図７に示す部分と同じ部分についての説明を省略する。

タイミングチャートＴＣ１１は、撮像素子２２の動作を示す。タイミングチャートＴＣ１０とタイミングチャートＴＣ１１とでは、第２の期間Ｔ２の長さが異なる。

白色光源３７は、１フレーム期間における画素信号の読み出しの完了よりも後に点灯する。つまり、白色光源３７は、第１の期間Ｔ１の完了よりも後に点灯する。白色光源３７は、１フレーム期間における画素信号の読み出しの開始よりも前に消灯する。つまり、白色光源３７は、第１の期間Ｔ１の開始よりも前に消灯する。

白色光源３７が点灯し続ける第２の期間Ｔ２は、第１の期間Ｔ１を除く期間の一部である。図８に示すタイミングチャートＴＣ１１では、第１の期間Ｔ１の長さと第２の期間Ｔ２の長さとの合計は、フレーム期間の長さよりも短い。

白色光源３７が消灯し続ける第３の期間Ｔ３は、第２の期間Ｔ２を除く期間の全てである。図８に示すタイミングチャートＴＣ１１では、第３の期間Ｔ３は第１の期間Ｔ１と異なる。

１フレーム期間において撮像素子２２が最後に走査する行の読み出し期間が完了した後、第２の期間Ｔ２が開始される。１フレーム期間において撮像素子２２が最初に走査する行の読み出し期間が開始される前に、第２の期間Ｔ２が完了する。図７に示すタイミングチャートＴＣ１０と図８に示すタイミングチャートＴＣ１１との間での、第２の期間Ｔ２の開始のタイミングおよび第２の期間Ｔ２の終了のタイミングの違い（第２の期間Ｔ２の長さ）は、映像処理部３１で実行される自動露光（ＡＥ）制御の結果である。

図９は、内視鏡装置１の動作の手順を示す。図９を参照し、内視鏡装置１の動作を説明する。

内視鏡装置１が起動したとき、内視鏡装置１は観察モードで動作する。内視鏡装置１が起動したとき、初期設定が実行される。撮像制御部３０は、初期設定において、同時露光行を撮像素子２２に設定する。同時露光行は、白色光源３７の点灯により同時に露光されるセル５４を含む。図７に示すタイミングチャートＴＣ１０および図８に示すタイミングチャートＴＣ１１では、複数のセル５４の配列における全ての行が同時に露光される。撮像制御部３０は、初期設定において、フレーム期間の長さを撮像素子２２に設定する。撮像制御部３０は、初期設定において、撮像素子２２が画素信号を読み出す第１の期間Ｔ１の長さを撮像素子２２に設定する。照明制御部３３は、白色光源３７を点灯させる（ステップＳ１００）。

ステップＳ１００の後、切り替え制御部３６は、撮像光路の切り替えのための制御信号を切り替え部２５に出力する。これにより、切り替え制御部３６は、切り替え部２５に、撮像光路の切り替えを開始させる。切り替え部２５は、切り替え制御部３６からの制御信号に基づいて、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを開始する。その後、切り替え制御部３６は、切り替え部２５に、撮像光路の切り替えを完了させる（ステップＳ１０５）。ステップＳ１０５において撮像光路が既に第１の光路Ｌ１である場合、ステップＳ１０５における処理は不要である。

ステップＳ１０５の後、撮像素子２２は、１フレームの画像を生成し、かつ生成された画像を出力する。撮像素子２２は、各フレーム期間において複数の行のセル５４を１行毎に連続的に走査し、かつ各フレーム期間において複数の行のセル５４から画素信号を順次読み出す。撮像素子２２は、各フレーム期間において、複数の行のセル５４の画素信号に基づく画像を出力する。撮像光路が第１の光路Ｌ１であるため、撮像素子２２は第１の画像を出力する。映像処理部３１は、撮像素子２２から出力された第１の画像を処理する。映像処理部３１によって処理された第１の画像は、表示処理部３４１およびＣＰＵ３４に出力される（ステップＳ１１０）。

ステップＳ１１０の後、表示処理部３４１は、ステップＳ１１０において生成された第１の画像を表示部５に表示させる。表示部５は、第１の画像を表示する（ステップＳ１１５）。

ステップＳ１１５の後、制御部３４０は、計測を実行するか否かを判断する（ステップＳ１２０）。例えば、ユーザーが操作部４を操作することにより計測指示を入力した場合、制御部３４０は、ステップＳ１２０において計測を実行すると判断する。計測が所定周期で実行されてもよい。例えば、内視鏡装置１の起動から所定時間が経過したとき、制御部３４０は、計測を実行すると判断する。あるいは、前回の計測の実行から所定時間が経過したとき、制御部３４０は、計測を実行すると判断する。

ステップＳ１２０において、計測を実行しないと制御部３４０が判断した場合、ステップＳ１０５における処理が実行される。計測指示が入力されるまで、撮像光路は第１の光路Ｌ１に保たれる。計測指示が入力されるまで、撮像素子２２は第１の画像を順次出力し、かつ表示部５は第１の画像を順次更新して表示する。

ステップＳ１２０において、計測を実行すると制御部３４０が判断した場合、内視鏡装置１は計測モードで動作する。撮像素子２２は、１フレームの画像を生成し、かつ生成された画像を出力する。撮像光路が第１の光路Ｌ１であるため、撮像素子２２は第１の画像を出力する。照明制御部３３は、第２の期間において、白色光源３７を点灯させる。照明制御部３３は、第３の期間において、白色光源３７を消灯させる（ステップＳ１３０）。

ステップＳ１３０の後、切り替え制御部３６は、撮像光路の切り替えのための制御信号を切り替え部２５に出力する。これにより、切り替え制御部３６は、切り替え部２５に、撮像光路の切り替えを開始させる。切り替え部２５は、切り替え制御部３６からの制御信号に基づいて、第１の光路Ｌ１から第２の光路Ｌ２への切り替えを開始する。その後、切り替え制御部３６は、切り替え部２５に、撮像光路の切り替えを完了させる。（ステップＳ１３２）。実際はステップＳ１３０において撮像素子２２が画素信号を読み出している間に、ステップＳ１３２における処理は実行される。

ステップＳ１３２の後、表示処理部３４１は、ステップＳ１３０において生成された第１の画像を表示部５に表示させる。表示部５は、第１の画像を表示する（ステップＳ１３５）。

ステップＳ１３５の後、撮像素子２２は、１フレームの画像を生成し、かつ生成された画像を出力する。撮像光路が第２の光路Ｌ２であるため、撮像素子２２は第２の画像を出力する。照明制御部３３は、第２の期間において、白色光源３７を点灯させる。照明制御部３３は、第３の期間において、白色光源３７を消灯させる（ステップＳ１４５）。

ステップＳ１４５の後、切り替え制御部３６は、撮像光路の切り替えのための制御信号を切り替え部２５に出力する。これにより、切り替え制御部３６は、切り替え部２５に、撮像光路の切り替えを開始させる。切り替え部２５は、切り替え制御部３６からの制御信号に基づいて、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを開始する。その後、切り替え制御部３６は、切り替え部２５に、撮像光路の切り替えを完了させる。（ステップＳ１４７）。実際はステップＳ１４５において撮像素子２２が画素信号を読み出している間に、ステップＳ１４７における処理は実行される。

ステップＳ１４７の後、制御部３４０は、所定数の画像セットの取得が完了したか否かを判断する。１つの画像セットは、１枚の第１の画像および１枚の第２の画像の組み合わせである。画像セットに含まれる第１の画像と、画像セットに含まれる第２の画像とは、連続するフレーム期間で取得される。例えば、所定数は２である（ステップＳ１５０）。

ステップＳ１５０において、所定数の画像セットの取得が完了していないと制御部３４０が判断した場合、ステップＳ１２５における処理が実行される。ステップＳ１２５において、ステップＳ１０５における処理と同じ処理が実行される。ステップＳ１２５の後、ステップＳ１３０における処理が実行される。所定数の画像セットが取得されるまで、撮像光路は第１の光路Ｌ１と第２の光路Ｌ２との間で繰り返し切り替わる。撮像素子２２は第１の画像および第２の画像を繰り返し出力する。互いに視差を有する第１の画像および第２の画像が交互に表示されると視認性が悪化する。そのため、表示部５は第２の画像を表示せずに第１の画像を順次更新して表示し続ける。

ステップＳ１５０において、所定数の画像セットの取得が完了したと制御部３４０が判断した場合、画像処理部３４２は画像処理を実行する（ステップＳ１５５）。

ステップＳ１５５の後、制御部３４０は、ステップＳ１５５において生成される処理結果に基づいて、画像処理が成功したか否かを判断する（ステップＳ１６０）。ステップＳ１６０において、画像処理が成功したと制御部３４０が判断した場合、ステップＳ１０５における処理が実行される。ステップＳ１６０において、画像処理が失敗したと制御部３４０が判断した場合、ステップＳ１３０における処理が実行される。

撮像素子２２から出力された画像が処理されなくてもよい。したがって、ステップＳ１５５は必須ではない。表示部５は画像を表示しなくてもよい。したがって、ステップＳ１１５およびステップＳ１３５は必須ではない。

１つの画像セットが取得されてもよい。したがって、ステップＳ１４５の後、ステップＳ１５５における処理が実行されてもよい。この場合、ステップＳ１５０における処理は実行されない。

ステップＳ１０５の後、ステップＳ１３０における処理が実行されてもよい。この場合、ステップＳ１１０からステップＳ１２０における処理は実行されない。

図１０は、ステップＳ１５５における画像処理の詳細を示す。図１０を参照し、内視鏡装置１の動作を説明する。

画像セットＡおよび画像セットＢがＣＰＵ３４に入力される。画像セットＡおよび画像セットＢの各々は、１枚の第１の画像および１枚の第２の画像を含む。

適性判断部３４５は、画像セットが後段の画像処理に適しているか否かを判断するための判断パラメーターを算出する。具体的には、適性判断部３４５は動き検出処理を実行する。適性判断部３４５は、動き検出処理において、セットＡの第１の画像およびセットＢの第１の画像に基づいて、２フレーム間の第１の動きを示す第１の値を算出する。適性判断部３４５は、動き検出処理において、セットＡの第２の画像およびセットＢの第２の画像に基づいて、２フレーム間の第２の動きを示す第２の値を算出する。例えば、適性判断部３４５は、画像の画素毎に２枚の画像間の画素値の差の絶対値を算出する。適性判断部３４５は、画像の全ての画素における画素値の差の絶対値の合計を算出する。適性判断部３４５は判断パラメーターとして第１の値と第２の値とを算出する。第１の値は、２枚の第１の画像から算出された画素値の差の絶対値の合計である。第２の値は、２枚の第２の画像から算出された画素値の差の絶対値の合計である。動きの検出方法は、動きベクトル算出などの他の方法であってもよい。適性判断処理における判断パラメーターの算出処理は、動き検出処理以外に、コントラスト検出処理または明るさ判断処理などの他の方法であってもよい。あるいは適性判断処理における判断パラメーターの算出処理は、それらの組み合わせであってもよい（ステップＳ２００）。

ステップＳ２００の後、適性判断部３４５は、算出したパラメーターに基づいて、画像セットが後段の画像処理に適しているか否かを判断する。適性判断部３４５は、各判断パラメーターが所定値未満であるか否かを判断する。判断パラメーターの全てが所定値未満であると適性判断部３４５が判断した場合、適性判断部３４５は、画像セットが後段の画像処理に適している（適性あり）と判断する。判断パラメーターの少なくとも１つが所定値以上であると適性判断部３４５が判断した場合、適性判断部３４５は、画像セットが後段の画像処理に適していない（適性なし）と判断する（ステップＳ２０５）。

ステップＳ２０５において、適性なしと適性判断部３４５が判断した場合、制御部３４０は、処理結果として失敗を記憶する（ステップＳ２１０）。適性なしと適性判断部３４５が判断した場合、画像処理部３４２は画像処理を中止する。具体的には、ノイズ低減部３４６はノイズ低減処理を中止し、かつ計測処理部３４７は計測処理を中止し、かつ可視化処理部３４３は、可視化処理を中止する。ステップＳ２１０の後、ステップＳ１６０における処理が実行される。

ステップＳ２０５において、適性ありと適性判断部３４５が判断した場合、ノイズ低減部３４６は、ノイズ低減処理を実行する。ノイズ低減部３４６は、ノイズ低減処理において、セットＡの第１の画像およびセットＢの第１の画像に基づいて、第１のＮＲ画像（第３の画像）を生成する。第１のＮＲ画像の画素値は、２枚の第１の画像間の画素値の加算平均である。ノイズ低減部３４６は、ノイズ低減処理において、セットＡの第２の画像およびセットＢの第２の画像に基づいて、第２のＮＲ画像（第４の画像）を生成する。第２のＮＲ画像の画素値は、２枚の第２の画像間の画素値の加算平均である（ステップＳ２１５）。

ステップＳ２１５の後、計測処理部３４７は、計測処理を実行する。計測処理部３４７は、計測処理において、第１のＮＲ画像の光学的な歪みを補正することにより、第１の補正画像を生成する。計測処理部３４７は、計測処理において、第２のＮＲ画像の光学的な歪みを補正することにより、第２の補正画像を生成する。計測処理部３４７は、計測処理において、第１のＮＲ画像および第２のＮＲ画像を用いたテンプレートマッチング処理により、視差の分布を取得する。視差の分布は、画像を構成する複数の画素の各々における視差情報を含む。計測処理部３４７は、計測処理において、視差の分布に基づいて、三角測量の原理で被写体の表面の各点の３次元座標を算出する。複数の画素の各々において３次元座標が算出される。計測処理部３４７は、カラー３Ｄデータを生成する。カラー３Ｄデータは、第１のＮＲ画像の各画素の色情報と、各画素に対応する３次元座標とを含む。色情報は、赤の画素値、緑の画素値、および青の画素値を含む。カラー３Ｄデータにおいて、色情報および３次元座標が画素毎に関連付けられている。カラー３Ｄデータは、第２のＮＲ画像の各画素の色情報と、各画素に対応する３次元座標とを含んでもよい。（ステップＳ２２０）。

ステップＳ２２０の後、可視化処理部３４３は、可視化処理を実行する。可視化処理部３４３は、可視化処理において、カラー３Ｄデータを仮想空間内に配置することにより、透視投影画像を生成する。透視投影画像は、仮想空間内に配置された仮想的なカメラが仮想空間内の被写体を撮像したときに生成される画像と等価である。ＣＰＵ３４は、生成された透視投影画像を映像処理部３１に出力する。映像処理部３１は、透視投影画像を表示部５に出力する（ステップＳ２２５）。

ステップＳ２２５の後、表示処理部３４１は、ステップＳ２２５において生成された透視投影画像を表示部５に表示させる。表示部５は、透視投影画像を表示する。表示処理部３４１は、透視投影画像を第１の画像の代わりに表示部５に表示させてもよいし、第１の画像および透視投影画像を表示部５に同時に表示させてもよい（ステップＳ２３０）。

ステップＳ２３０の後、制御部３４０は、処理結果として成功を記憶する（ステップＳ２３５）。ステップＳ２３５の後、ステップＳ１６０における処理が実行される。

画像処理部３４２は、ステップＳ２０５において、第１の値および第２の値の少なくとも一方に基づいて、動きが検出されたか否かを判断する。第１の値は、複数枚の第１の画像の間の動きを示す。第２の値は、複数枚の第２の画像の間の動きを示す。動きが検出されなかった場合、画像処理部３４２は、ステップＳ２１５においてノイズ低減処理を実行する。動きが検出されなかった場合、計測処理部３４７は、ステップＳ２２０において計測処理を実行する。動きが検出されなかった場合、可視化処理部３４３は、ステップＳ２２５において可視化処理を実行する。

適性判断部３４５は、動き検出処理において、第１の値および第２の値のいずれか一方のみを算出してもよい。適性判断部３４５は、第１の値および第２の値のいずれか一方のみに基づいて、動きが検出されたか否かを判断してもよい。

撮像素子２２は、複数枚の第１の画像と１枚の第２の画像とを生成してもよい。この場合、適性判断部３４５は、複数枚の第１の画像に基づいて第１の値を算出する。撮像素子２２は、１枚の第１の画像と複数枚の第２の画像とを生成してもよい。この場合、適性判断部３４５は、複数枚の第２の画像に基づいて第２の値を算出する。

画像処理部３４２は、３つ以上の画像セットを処理し、もっとも画像処理に適したセットを選ぶようにしてもよい。連続する２セットの２枚の画像間で動きが検出されても、連続する他の２セットの２枚の画像間で動きが検出されない可能性がある。そのため、３つ以上の画像セットから処理の対象を選ぶことにより撮像のやり直しの確率が下がる。ノイズ低減部３４６は、３枚以上の画像に基づいてノイズ低減処理を実行することにより、ノイズをより減らすことができる。

適性判断部３４５は必須ではない。したがって、ステップＳ２００における動き検出処理が実行されなくてもよい。ステップＳ２０５における判断が実行されなくてもよい。

ノイズ低減部３４６は必須ではない。したがって、ステップＳ２１５におけるノイズ低減処理が実行されなくてもよい。この場合、計測処理部３４７は、１つの画像セットを使用して計測処理を実行する。計測処理部３４７は、第１の光学像に対応する第１の画像と、第２の光学像に対応する第２の画像とに基づいて、パッシブステレオ法を使用することにより被写体の表面の複数点の３次元座標を算出する。複数の画像セットから１つの画像セットが選択され、かつ計測処理部３４７は、選択された画像セットを使用して計測処理を実行してもよい。例えば、選択された画像セットは、動きを示す値がより小さい２枚の画像を含む。選択された画像セットは、コントラストがより高い２枚の画像を含んでもよい。

可視化処理部３４３は必須ではない。したがって、ステップＳ２２５における可視化処理が実行されなくてもよい。

表示部５は、画像が画像処理に適しているか否かを示す値、すなわち動きを示す値の算出結果を表示してもよい。画像が画像処理に適していない場合、すなわち動きが検出された場合のみ、表示部５は、動きを示す値の算出結果を表示してもよい。例えば、算出結果は、動きを示す値に対応するメッセージである。例えば、メッセージは、動きが検出されたことを示す。動きが検出された場合、内視鏡装置１は、警告をユーザーに通知することができる。

計測モードにおける画像の表示は必須ではない。したがって、ステップＳ１１０およびステップＳ１３５において第１の画像が表示されなくてもよい。ステップＳ２３０において透視投影画像が表示されなくてもよい。

画像処理部３４２、可視化処理部３４３、および表示処理部３４１によって実行される処理は、内視鏡装置１以外で実行されてもよい。すなわち、内視鏡装置１に無線または有線で接続されたＰＣまたはネットワークサーバーなどの外部のコンピューターシステムで上記の処理が実行されてもよい。

図２６を参照し、本発明の第１の実施形態と本発明の参考形態とを比較する。内視鏡装置１は、参考形態における動作を実行する必要はない。以下では、第１の実施形態と参考形態との比較のために、参考形態における内視鏡装置１の動作を説明する。

図２６に示すタイミングチャートＴＣ１００は、撮像素子２２の動作を示す。図７に示す部分と同じ部分についての説明を省略する。白色光源３７は、点灯し続ける。

フレーム期間（ｉ−１）における第１行のセル５４の読み出し期間が開始される前、撮像光路は第２の光路Ｌ２である。フレーム期間（ｉ−１）における第１行のセル５４の露光期間が終了したとき、フレーム期間（ｉ−１）における第１行のセル５４の読み出し期間が開始される。このとき、撮像光路の切り替えが開始される。切り替え部２５は、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを開始する。

フレーム期間（ｉ−１）における第１行のセル５４の読み出し期間が終了したとき、切り替え部２５は、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを完了する。撮像光路は第１の光路Ｌ１である。

フレーム期間（ｉ＋１）における第１行のセル５４の露光期間が終了したとき、フレーム期間（ｉ＋１）における第１行のセル５４の読み出し期間が開始される。このとき、撮像光路の切り替えが開始される。切り替え部２５は、第１の光路Ｌ１から第２の光路Ｌ２への切り替えを開始する。

フレーム期間（ｉ＋１）における第１行のセル５４の読み出し期間が終了したとき、切り替え部２５は、第１の光路Ｌ１から第２の光路Ｌ２への切り替えを完了する。撮像光路は第２の光路Ｌ２である。

フレーム期間（ｉ＋３）における第１行のセル５４の露光期間が終了したとき、フレーム期間（ｉ＋３）における第１行のセル５４の読み出し期間が開始される。このとき、撮像光路の切り替えが開始される。切り替え部２５は、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを開始する。

フレーム期間（ｉ＋３）における第１行のセル５４の読み出し期間が終了したとき、切り替え部２５は、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを完了する。撮像光路は第１の光路Ｌ１である。

図２６において、撮像素子２２から出力される画像（出力画像）が模式的に示されている。画像ＩＭＧ１００は、フレーム期間（ｉ−１）における読み出し期間に８個の行のセル５４から読み出された画素信号を含む。フレーム期間（ｉ−１）における露光期間に第２の光路Ｌ２から第１の光路Ｌ１への切り替えが実行される。画像ＩＭＧ１００は、第１の光学像に基づく画素信号と、第２の光学像に基づく画素信号とを含む。そのため、画像ＩＭＧ１００は、計測に適していない。

画像ＩＭＧ１０１は、フレーム期間ｉにおける読み出し期間に８個の行のセル５４から読み出された画素信号を含む。フレーム期間ｉにおける露光期間に撮像光路の切り替えは実行されない。画像ＩＭＧ１０１は、第１の光学像に基づく画素信号を含む。

画像ＩＭＧ１０２は、フレーム期間（ｉ＋１）における読み出し期間に８個の行のセル５４から読み出された画素信号を含む。フレーム期間（ｉ＋１）における露光期間に第１の光路Ｌ１から第２の光路Ｌ２への切り替えが実行される。画像ＩＭＧ１０２は、第１の光学像に基づく画素信号と、第２の光学像に基づく画素信号とを含む。そのため、画像ＩＭＧ１０２は、計測に適していない。

画像ＩＭＧ１０３は、フレーム期間（ｉ＋２）における読み出し期間に８個の行のセル５４から読み出された画素信号を含む。フレーム期間（ｉ＋２）における露光期間に撮像光路の切り替えは実行されない。画像ＩＭＧ１０３は、第２の光学像に基づく画素信号を含む。

計測処理部３４７は、画像ＩＭＧ１０１および画像ＩＭＧ１０３に基づいて計測処理を実行する。第１の取得タイミングと第２の取得タイミングとの間隔は、２フレーム期間と同じである。第１の取得タイミングは、撮像素子２２が画像ＩＭＧ１０１を取得するタイミングである。第２の取得タイミングは、撮像素子２２が画像ＩＭＧ１０３を取得するタイミングである。

図２６に示すタイミングチャートＴＣ１００において、計測のための２枚の画像が取得される間隔は、２フレーム期間と同じである。一方、図７に示すタイミングチャートＴＣ１０において、計測のための２枚の画像が取得される間隔は、１フレーム期間と同じである。図７に示すタイミングチャートＴＣ１０では、図２６に示すタイミングチャートＴＣ１００と比較して、計測のための２枚の画像が取得される間隔が短い。

本発明の各態様の内視鏡装置の作動方法は、第１のステップ、第２のステップ、および第３のステップを含む。照明制御部３３は、第１のステップ（Ｓ１３０、Ｓ１４５）において、白色光源３７に、第２の期間において照明光を生成させる。照明制御部３３は、第２のステップ（Ｓ１３０、Ｓ１４５）において、白色光源３７に、第３の期間において照明光の生成を停止させる。切り替え制御部３６は、第３のステップ（Ｓ１２５、Ｓ１４０）において、切り替え部２５に、第３の期間において撮像条件の切り替えを開始させ、かつ第３の期間において撮像条件の切り替えを完了させる。切り替え制御部３６は、次の第２の期間が開始される前に切り替え部２５に、撮像条件の切り替えを完了させる。つまり、切り替え制御部３６は、切り替え部２５に、撮像条件の切り替えが開始された第３の期間と同一の第３の期間において撮像条件の切り替えを完了させる。

内視鏡装置１は、複数の撮像条件における撮像の時間間隔を短縮することができる。そのため、画像処理のための複数枚の画像が取得される時間間隔が短くなる。画像処理に使用される複数枚の画像間の動きが低減され、かつ動きの影響による画像処理結果の品質の悪化が低減される。さらに、内視鏡装置１はグローバル露光を行うため、ローリング歪の影響による画像処理結果の品質の悪化が低減される。つまり、画像処理結果の品質が向上する。そのため、計測処理において、計測精度が向上する。

動きがある画像が計測処理に使用された場合、計測精度が悪化する。動きが検出されなかった場合のみ、計測処理部３４７は、計測処理を実行する。そのため、計測精度が向上する。

動きがある画像が可視化処理に使用された場合、被写体の３次元形状の再構成により得られた結果の品質が悪化する。動きが検出されなかった場合のみ、可視化処理部３４３は、可視化処理を実行する。そのため、被写体の３次元形状の再構成により得られた結果の品質が向上する。

ノイズ低減部３４６は、複数の画像セットを使用してノイズ低減処理を実行する。これにより、テンプレートマッチング処理の精度が向上する。そのため、計測精度が向上し、かつ被写体の３次元形状の再構成により得られた結果の品質が向上する。

（第２の実施形態）
図２に示す内視鏡装置１を使用して、本発明の第２の実施形態を説明する。撮像素子２２は、被写体を高速に（より短いフレーム期間で）撮像する。撮像が高速に実行されると、一部のセル５４が適切に露光されない。画像において、適切に露光されないセル５４に対応する領域の品質は悪化する。第２の実施形態において、表示部５に表示する画像の範囲の限定によって表示される画像の品質が保たれる。

図１１は、計測モードにおける撮像素子２２の動作と、照明の状態と、撮像条件の状態との関係を示す。図１１を参照し、撮像素子２２の動作を説明する。図７に示す部分と同じ部分についての説明を省略する。

タイミングチャートＴＣ１２は、撮像素子２２の動作を示す。タイミングチャートＴＣ１２において、フレームレートは１２０ｆｐｓである。各フレーム期間の長さは１／１２０秒である。撮像素子２２が画素信号を１行のセル５４から読み出す時間は、時間Ｔｒである。時間Ｔｒは、以下の式（２）で示される。数字ｍは２以上の整数である。ｍ個の行のセル５４の露光期間は、白色光源３７が点灯し続ける第２の期間と重なる。
Ｔｒ＝１／（１２０×ｍ） （２）

フレーム期間（ｉ−１）における第１行から第８行のセル５４の読み出し期間が順次開始され、かつ第１行から第８行のセル５４の画素信号が順次読み出される。第１行から第８行のセル５４が順次リセットされ、かつフレーム期間ｉにおける第１行から第８行のセル５４の露光期間が順次開始される。

フレーム期間（ｉ−１）における第１行のセル５４の読み出し期間が終了したとき、白色光源３７は点灯している。フレーム期間（ｉ−１）における第１行のセル５４の読み出し期間が終了したとき、撮像光路は第２の光路Ｌ２である。

フレーム期間（ｉ−１）における第２行のセル５４の読み出し期間が終了したとき、白色光源３７は、消灯する。

フレーム期間（ｉ−１）における第４行のセル５４の読み出し期間が開始されたとき、撮像光路の切り替えが開始される。切り替え部２５は、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを開始する。

フレーム期間（ｉ−１）における第４行のセル５４の読み出し期間が終了したとき、切り替え部２５は、第２の光路Ｌ２から第１の光路Ｌ１への切り替えを完了する。撮像光路は第１の光路Ｌ１である。

フレーム期間（ｉ−１）における第６行のセル５４の読み出し期間が終了したとき、白色光源３７は、点灯する。

フレーム期間（ｉ−１）における第８行のセル５４の読み出し期間が終了したとき、フレーム期間ｉにおける第１行のセル５４の読み出し期間が開始される。フレーム期間ｉにおける第１行から第８行のセル５４の読み出し期間が順次開始され、かつ第１行から第８行のセル５４の画素信号が順次読み出される。第１行から第８行のセル５４が順次リセットされ、かつフレーム期間（ｉ＋１）における第１行から第８行のセル５４の露光期間が順次開始される。

フレーム期間ｉにおける第２行のセル５４の読み出し期間が終了したとき、白色光源３７は、消灯する。

フレーム期間ｉにおける第４行のセル５４の読み出し期間が開始されたとき、撮像光路の切り替えが開始される。切り替え部２５は、第１の光路Ｌ１から第２の光路Ｌ２への切り替えを開始する。

フレーム期間ｉにおける第４行のセル５４の読み出し期間が終了したとき、切り替え部２５は、第１の光路Ｌ１から第２の光路Ｌ２への切り替えを完了する。撮像光路は第２の光路Ｌ２である。

その後、白色光源３７は、周期的に点灯する。切り替え部２５は、撮像光路を周期的に切り替える。

タイミングチャートＴＣ１２では、第２の期間Ｔ２において、複数のセル５４の配列における複数の行のうち連続に配置された一部の行である同時露光行のセル５４が同時に露光される。白色光源３７の点灯によりセル５４が露光される期間は、同時露光行のセル５４において共通である。同時露光行である第３行から第６行のセル５４は同時に露光される。第２の期間Ｔ２は、第３行から第６行のセル５４において共通である。第２の期間Ｔ２は、第３行から第６行のセル５４の読み出し期間を含まない。

第２の期間Ｔ２は、あるフレーム期間の第１行、第２行、その前のフレーム期間の第７行、および第８行のセル５４の読み出し期間を含む。これらの行のセル５４が白色光源３７の点灯により露光される期間は、第３行から第６行のセル５４において露光される時間よりも短い。あるいは、第１の光学像と第２の光学像の両方が露光される。従って、第１行、第２行、第７行、および第８行のセル５４は適切に露光されない。

同時露光行は、複数のセル５４の配列における複数の行の半分に連続して配置されている。同時露光行は、白色光源３７の点灯により同時に露光されるセル５４を含む。複数の行の上側の４分の１の領域と複数の行の下側の４分の１の領域とにおいて、セル５４は適切に露光されない。

画像ＩＭＧ１０は、フレーム期間（ｉ−１）における読み出し期間に読み出された画素信号を含む。画像ＩＭＧ１１は、フレーム期間ｉにおける読み出し期間に読み出された画素信号を含む。画像ＩＭＧ１２は、フレーム期間（ｉ＋１）における読み出し期間に読み出された画素信号を含む。画像ＩＭＧ１３は、フレーム期間（ｉ＋２）における読み出し期間に読み出された画素信号を含む。

画像ＩＭＧ１０および画像ＩＭＧ１２は、第２の光学像に基づいて生成される。画像ＩＭＧ１１および画像ＩＭＧ１３は、第１の光学像に基づいて生成される。画像ＩＭＧ１０、画像ＩＭＧ１１、画像ＩＭＧ１２、および画像ＩＭＧ１３の中央領域は、同時に露光されたセル５４から読み出された画素信号を含む。画像ＩＭＧ１０、画像ＩＭＧ１１、画像ＩＭＧ１２、および画像ＩＭＧ１３の上側の４分の１の領域は、十分に露光されていないセル５４から読み出された画素信号を含む。画像ＩＭＧ１０、画像ＩＭＧ１１、画像ＩＭＧ１２、および画像ＩＭＧ１３の下側の４分の１の領域は、十分に露光されていないセル５４から読み出された画素信号を含む。あるいは、画像ＩＭＧ１０、画像ＩＭＧ１１、画像ＩＭＧ１２、および画像ＩＭＧ１３の上側４分の１および下側の４分の１の領域は、第１の光学像と第２の光学像との両方に基づいて露光されたセル５４から読み出された画素信号を含む。

映像処理部３１は、電子マスク処理を実行する。映像処理部３１は、電子マスク処理において、同時露光行を除く行に対応する領域の画像を表示しないための処理を実行する。例えば、映像処理部３１は、画像において同時露光行を除く行に対応する領域に黒のグラフィックを重ねる。表示部５によって表示された画像において、同時露光行を除く行に対応する領域は黒い。

映像処理部３１は、画像において同時露光行を除く行に対応する領域の画素値を黒の値に置き換えてもよい。この場合も、表示部５によって表示された画像において、同時露光行を除く行に対応する領域は黒い。

映像処理部３１は、複数の行に対応する画像から、同時露光行を除く行に対応する領域の画像のみを切り出してもよい。この場合、表示部５によって表示された画像は、同時露光行に対応する領域の画像のみを含む。

同時露光行は、ユーザーからの指示により変更されてもよい。例えば、ユーザーは、操作部４を操作することにより、同時露光行の位置を示す指示を入力する。撮像制御部３０は、ユーザーにより指示された位置に基づいて、同時露光行を撮像素子２２に設定する。

同時露光行が変更される場合、第１の期間Ｔ１が変更される。第１の期間Ｔ１の変更により、第２の期間Ｔ２および第３の期間Ｔ３が変更される。撮像光路は、第３の期間Ｔ３内で切り替わる。第３の期間Ｔ３が変更される場合、撮像光路が切り替わるタイミングが変更される場合がある。

画像において、十分に露光されないセル５４に対応する領域は表示されない。そのため、表示部５によって表示された画像の品質が保たれる。

画像において、被写体の光学像に基づく画素信号が含まれる範囲は狭まる。フレーム期間は短くなるため、内視鏡装置１は、複数の撮像条件における撮像の時間間隔を第１の実施形態よりも短縮することができる。その結果、カメラの動きがあるシーンにおいての画像処理結果の品質が第１の実施形態よりも向上する。

（第３の実施形態）
図１２は、本発明の第３の実施形態の内視鏡装置１ａの構成を示す。図２に示す部分と同じ部分についての説明を省略する。

図２に示す本体部３は本体部３ａに変更される。本体部３ａは切り替え制御部３６を有していない。本体部３ａにおいて、図２に示す光源部３２は光源部３２ａに変更される。光源部３２ａは、白色光源３７およびレーザーダイオード（ＬＤ）３８を有する。本体部３ａにおいて、図２に示す照明制御部３３は照明制御部３３ａに変更される。

図２に示す光学アダプター２１は光学アダプター２１ａに変更される。光学アダプター２１ａにおいて、図２に示す観察光学系６０は観察光学系６０ａに変更される。観察光学系６０ａは、凹レンズ２３および凸レンズ２４を有する。

図２に示す照明光学系８０は照明光学系８０ａに変更される。光学アダプター２１ａは、照明光学系８０ａの一部を有する。照明光学系８０ａは、集光レンズ８１、ライトガイド８２、ロッドレンズ８３、拡散レンズ８４、ファイバー８５、コリメーターレンズ８６、ロッドレンズ８７、および回折光学素子８８を有する。集光レンズ８１は、本体部３に配置されている。ライトガイド８２およびファイバー８５は、本体部３ａおよび挿入部２０に配置されている。ロッドレンズ８３、拡散レンズ８４、コリメーターレンズ８６、ロッドレンズ８７、および回折光学素子８８は、光学アダプター２１ａに配置されている。

図２と異なる部分の概略について説明する。内視鏡装置１ａは、光源として白色光源３７（第１の光源）およびＬＤ３８（第２の光源）を有する。照明光は、第１の照明光および第２の照明光を含む。白色光源３７は、白色光を第１の照明光として生成する。ＬＤ３８は、第２の照明光を生成する。照明光学系８０ａは、回折光学素子８８（パターン生成部）を有する。回折光学素子８８（パターン生成器）は、明部および暗部を含む空間的なパターンを第２の照明光に与える。照明光学系８０ａは、パターンが与えられた第２の照明光を被写体に照射する。

複数の撮像条件は、第１の撮像条件および第２の撮像条件を含む。第１の撮像条件において、第１の照明光が被写体に照射され、かつ被写体への第２の照明光の照射が停止される。第２の撮像条件において、第２の照明光が被写体に照射され、かつ被写体への第１の照明光の照射が停止される。撮像素子２２は、第１の撮像条件で被写体を撮像することにより被写体の第１の画像を生成する。撮像素子２２は、第２の撮像条件で被写体を撮像することにより被写体の第２の画像を生成する。

計測処理部３４７は、第２の画像に基づいて、アクティブステレオ法を使用することにより被写体の表面の複数点の３次元座標を算出する。撮像素子２２は、赤のカラーフィルター、緑のカラーフィルター、および青のカラーフィルターを有する。撮像素子２２は、カラー画像を第１の画像として生成する。カラー画像は、複数の画素を含む。各画素は、赤の明るさ、緑の明るさ、および青の明るさの各々を示す情報を画素値として持つ。画像処理部３４２は、複数点の３次元座標と、複数点の画素値とが関連付けられた３次元形状データを生成する。可視化処理部３４３は、３次元形状データを可視化したグラフィックデータを生成する。

撮像素子２２は、被写体の複数枚の第１の画像と被写体の複数枚の第２の画像との少なくとも一方を生成する。ＣＰＵ３４の適性判断部３４５は、複数枚の第１の画像が画像処理に適しているか否かを示す値と、複数枚の第２の画像が画像処理に適しているか否かを示す値との少なくとも一方を算出する。

撮像素子２２は、第２の撮像条件で被写体を撮像することにより複数枚の第２の画像を生成する。ＣＰＵ３４のノイズ低減部３４６は、複数枚の第２の画像にノイズ低減処理を実行することにより、第３の画像を生成する。ノイズ低減部３４６は、第３の画像に基づいて、被写体の表面の複数点の３次元座標を算出する。

図２と異なる部分の詳細について説明する。ＬＤ３８は、青色のレーザー光を第２の照明光として生成する。ＬＤ３８は、光学アダプター２１ａに配置されてもよい。ファイバー８５は、シングルモードファイバーである。ファイバー８５は、ＬＤ３８に接続されている。ＬＤ３８から出たレーザー光は、ファイバー８５を経由して、挿入部２０の先端に伝送される。ファイバー８５から出たレーザー光は、コリメーターレンズ８６を経由して平行光としてロッドレンズ８７に入射する。レーザー光は、ロッドレンズ８７で伝送される。ロッドレンズ８７から出たレーザー光は、回折光学素子８８に入射する。ロッドレンズ８７から出たレーザー光は、均一な位相を持つ平行光である。回折光学素子８８は、干渉の作用により、平行光を、ランダムな空間パターンを持つパターン光（第２の照明光）に変換する。パターン光において、明部および暗部が空間的にランダムに配置されている。回折光学素子８８から出たパターン光は、被写体に照射される。

観察光学系６０ａは、単眼の光学系である。観察光学系６０ａは、白色光またはパターン光によって照明された被写体の表面で反射した光を取り込む。凹レンズ２３および凸レンズ２４は、被写体からの光に基づく光学像を撮像素子２２の撮像領域Ｓ１に形成する。

照明制御部３３ａは、白色光源３７およびＬＤ３８を制御する。照明制御部３３ａは、白色光源３７およびＬＤ３８に、第２の期間において照明光を生成させる。照明制御部３３ａは、白色光源３７およびＬＤ３８に、第３の期間において照明光の生成を停止させる。照明制御部３３ａは、切り替え部および切り替え制御部として機能する。照明制御部３３ａは、第３の期間において撮像条件の切り替えを開始し、かつ第３の期間において撮像条件の切り替えを完了する。

照明制御部３３ａは、複数の第１のフレーム期間において第１の撮像条件を設定する。照明制御部３３ａは、複数の第２のフレーム期間において第２の撮像条件を設定する。複数の第２のフレーム期間の各々は、複数の第１のフレーム期間の各々と異なる。

照明制御部３３ａは、第１の撮像条件において、白色光源３７を点灯させ、かつＬＤ３８を消灯させる。したがって、照明光学系８０ａは、第１の撮像条件において、白色光を被写体に照射する。照明光学系８０ａは、第１の撮像条件において、パターン光を被写体に照射しない。観察光学系６０ａは、第１の撮像条件において、白色光によって照明された被写体の表面で反射した光を取り込む。

照明制御部３３ａは、第２の撮像条件において、ＬＤ３８を点灯させ、かつ白色光源３７を消灯させる。したがって、照明光学系８０ａは、第２の撮像条件において、パターン光を被写体に照射する。照明光学系８０ａは、第２の撮像条件において、白色光を被写体に照射しない。観察光学系６０ａは、第２の撮像条件において、パターン光によって照明された被写体の表面で反射した光を取り込む。

図１３は、計測モードにおける撮像素子２２の動作と、照明の状態と、撮像条件の状態との関係を示す。図１３を参照し、撮像素子２２の動作を説明する。図７に示す部分と同じ部分についての説明を省略する。

タイミングチャートＴＣ１３は、撮像素子２２の動作を示す。第１行から第８行のセル５４が順次リセットされ、かつフレーム期間ｉにおける第１行から第８行のセル５４の露光期間が順次開始される。

フレーム期間ｉにおける第１行のセル５４の露光期間が開始されたとき、白色光源３７およびＬＤ３８は消灯している。フレーム期間ｉにおける第１行のセル５４の露光期間が開始されたとき、撮像条件は設定されていない。

フレーム期間ｉにおける第８行のセル５４の露光期間が開始されたとき、白色光源３７の点灯が開始される。照明制御部３３ａは、点灯のための制御信号を白色光源３７に出力することにより、白色光源３７を点灯させる。これにより、照明制御部３３ａは、撮像条件を第１の撮像条件に設定する。白色光源３７は、照明制御部３３ａからの制御信号に基づいて、点灯を開始する。

フレーム期間ｉにおける第１行のセル５４の読み出し期間が開始されたとき、白色光源３７の点灯が終了する。照明制御部３３ａは、消灯のための制御信号を白色光源３７に出力することにより、白色光源３７を消灯させる。白色光源３７は、照明制御部３３ａからの制御信号に基づいて、消灯する。これにより、照明制御部３３ａは、第１の撮像条件から第２の撮像条件への切り替えを開始する。

フレーム期間ｉにおける第８行のセル５４の読み出し期間が終了したとき、ＬＤ３８の点灯が開始される。照明制御部３３ａは、点灯のための制御信号をＬＤ３８に出力することにより、ＬＤ３８を点灯させる。これにより、照明制御部３３ａは、第１の撮像条件から第２の撮像条件への切り替えを完了する。ＬＤ３８は、照明制御部３３ａからの制御信号に基づいて、点灯を開始する。

フレーム期間（ｉ＋１）における第１行のセル５４の読み出し期間が開始されたとき、ＬＤ３８の点灯が終了する。照明制御部３３ａは、消灯のための制御信号をＬＤ３８に出力することにより、ＬＤ３８を消灯させる。ＬＤ３８は、照明制御部３３ａからの制御信号に基づいて、消灯する。これにより、照明制御部３３ａは、第２の撮像条件から第１の撮像条件への切り替えを開始する。

フレーム期間（ｉ＋１）における第８行のセル５４の読み出し期間が終了したとき、白色光源３７の点灯が開始される。照明制御部３３ａは、点灯のための制御信号を白色光源３７に出力することにより、白色光源３７を点灯させる。これにより、照明制御部３３ａは、第２の撮像条件から第１の撮像条件への切り替えを完了する。白色光源３７は、照明制御部３３ａからの制御信号に基づいて、点灯を開始する。

白色光源３７は、フレーム期間ｉおよびフレーム期間（ｉ＋２）の各々における同時露光期間に点灯する。ＬＤ３８は、フレーム期間（ｉ＋１）およびフレーム期間（ｉ＋３）の各々における同時露光期間に点灯する。白色光源３７およびＬＤ３８は、点灯と消灯とを繰り返す。白色光源３７およびＬＤ３８は、交互に点灯する。

照明制御部３３ａは、第１の撮像条件から第２の撮像条件への切り替えと、第２の撮像条件から第１の撮像条件への切り替えとを繰り返す。照明制御部３３ａは、撮像条件の切り替えをフレーム期間毎に実行する。あるいは、照明制御部３３ａは、ｎフレーム期間毎に撮像条件が第２の撮像条件に切り替えてもよい。

撮像素子２２は、第１の期間Ｔ１において画素信号を複数のセル５４の少なくとも一部から１行毎に順次読み出す。図１３に示すタイミングチャートＴＣ１３では、第１の期間Ｔ１は、第１行のセル５４における画素信号の読み出しの開始から第８行のセル５４における画素信号の読み出しの完了までの期間である。

白色光源３７またはＬＤ３８は、１フレーム期間における画素信号の読み出しの完了と同時に点灯する。つまり、白色光源３７またはＬＤ３８は、第１の期間Ｔ１の完了と同時に点灯する。白色光源３７またはＬＤ３８は、１フレーム期間における画素信号の読み出しの開始と同時に消灯する。つまり、白色光源３７またはＬＤ３８は、第１の期間Ｔ１の開始と同時に消灯する。

照明制御部３３ａは、白色光源３７またはＬＤ３８に、第２の期間Ｔ２において照明光を生成させる。白色光源３７またはＬＤ３８は、第２の期間Ｔ２において点灯し続ける。図１３に示すタイミングチャートＴＣ１３では、第２の期間Ｔ２は、第１の期間Ｔ１を除く期間の少なくとも一部である。図１３に示すタイミングチャートＴＣ１３では、第２の期間Ｔ２は第１の期間Ｔ１を除く期間の全てである。白色光源３７の点灯期間とＬＤ３８の点灯期間とが異なっていても良い。

照明制御部３３ａは、白色光源３７またはＬＤ３８に、第３の期間Ｔ３において照明光の生成を停止させる。白色光源３７またはＬＤ３８は、第３の期間Ｔ３において消灯し続ける。第３の期間Ｔ３は、第２の期間Ｔ２を除く期間の全てである。図１３に示すタイミングチャートＴＣ１３では、第３の期間Ｔ３は第１の期間Ｔ１と同じである。第３の期間Ｔ３の長さと第２の期間Ｔ２の長さとの合計は、フレーム期間の長さと同じである。

照明制御部３３ａは、第３の期間Ｔ３において撮像条件の切り替えを開始し、かつ第３の期間Ｔ３において撮像条件の切り替えを完了する。第３の期間Ｔ３が開始されたとき、照明制御部３３ａは、白色光源３７またはＬＤ３８を消灯させることにより、撮像条件の切り替えを開始する。第３の期間Ｔ３が終了するとき、照明制御部３３ａは、白色光源３７またはＬＤ３８を点灯させることにより、撮像条件の切り替えを完了する。図１３に示すタイミングチャートＴＣ１３では、第３の期間Ｔ３は第１の期間Ｔ１と同じであるため、照明制御部３３ａは、第１の期間Ｔ１において撮像条件の切り替えを開始し、かつ第１の期間Ｔ１において撮像条件の切り替えを完了する。

図１４は、内視鏡装置１ａの動作の手順を示す。図１４を参照し、内視鏡装置１ａの動作を説明する。図９に示す処理と同じ処理についての説明を省略する。

ステップＳ１００の後、照明制御部３３ａは、白色光源３７を点灯させることにより、撮像条件を観察照明（第１の撮像条件）に設定する（ステップＳ１０５ａ）。

ステップＳ１０５ａの後、撮像素子２２は、１フレームの画像を生成し、かつ生成された画像を出力する。撮像条件が観察照明であるため、撮像素子２２は第１の画像を出力する。第３の期間が開始されるとき、照明制御部３３ａは白色光源３７を消灯させる（ステップＳ１１０ａ）。

ステップＳ１２０において、計測を実行すると制御部３４０が判断した場合、撮像素子２２は、１フレームの画像を生成し、かつ生成された画像を出力する。撮像条件が観察照明であるため、撮像素子２２は第１の画像を出力する。第３の期間が開始されるとき、照明制御部３３ａは白色光源３７を消灯させる（ステップＳ１３０ａ）。

ステップＳ１３０ａの後、照明制御部３３ａは、ＬＤ３８を点灯させることにより、撮像条件をパターン照明（第２の撮像条件）に設定する（ステップＳ１３２ａ）。ステップＳ１３２ａの後、ステップＳ１３５における処理が実行される。

ステップＳ１３５の後、撮像素子２２は、１フレームの画像を生成し、かつ生成された画像を出力する。撮像条件がパターン照明であるため、撮像素子２２は第２の画像を出力する。第３の期間が開始するとき、照明制御部３３ａはＬＤ３８を消灯させる（ステップＳ１４５ａ）。

ステップＳ１４５ａの後、照明制御部３３ａは、白色光源３７を点灯させることにより、撮像条件を観察照明（第１の撮像条件）に設定する（ステップＳ１４７ａ）。ステップＳ１４７ａの後、ステップＳ１５０における処理が実行される。

ステップＳ１５０において、所定数の画像セットの取得が完了していないと制御部３４０が判断した場合、ステップＳ１２５ａにおける処理が実行される。所定数の画像セットが取得されるまで、撮像条件は観察照明とパターン照明との間で交互に繰り返し切り替わる。撮像素子２２は第１の画像および第２の画像を繰り返し出力する。パターン光に基づく第２の画像が表示されると視認性が悪化する。そのため、表示部５は第２の画像を表示せずに第１の画像を順次更新して表示し続ける。撮像条件の切り替えのパターンは、上記のパターンに限らない。撮像素子２２が第１の画像を所定フレーム数取得した後、撮像素子２２が第２の画像を取得してもよい。

ステップＳ１６０において、画像処理が失敗したと制御部３４０が判断した場合、ステップＳ１２５ａにおける処理が実行される。

図１０に示す処理は、以下の処理に変更される。画像セットＡおよび画像セットＢがＣＰＵ３４に入力される。画像セットＡおよび画像セットＢの各々は、連続する２フレーム期間から生成された１枚の第１の画像および１枚の第２の画像を含む。

ノイズ低減部３４６は、ノイズ低減処理（ステップＳ２１５）において、セットＡの第２の画像およびセットＢの第２の画像に基づいて、第２のＮＲ画像（第３の画像）を生成する。第２のＮＲ画像の画素値は、２枚の第２の画像間の画素値の加算平均である。

計測処理部３４７は、計測処理（ステップＳ２２０）において、第２のＮＲ画像の光学的な歪みを補正することにより、第２の補正画像を生成する。計測処理部３４７は、基準パターン画像を記憶する。基準パターン画像は、回折光学素子８８によって生成されたパターン光が照射された平面の画像である。計測処理部３４７は、計測処理において、基準パターン画像および第２のＮＲ画像を用いたテンプレートマッチング処理により、位相差の分布を取得する。位相差は、基準パターン画像および第２のＮＲ画像におけるパターンのずれ量である。位相差の分布は、複数のセル５４の各々における位相差情報を含む。計測処理部３４７は、計測処理において、位相差の分布に基づいて、三角測量の原理で被写体の表面の各点の３次元座標を算出する。計測処理部３４７は、カラー３Ｄデータを生成する。カラー３Ｄデータは、第１の画像の各画素の色情報と、各画素に対応する３次元座標とを含む。

可視化処理部３４３は、可視化処理（ステップＳ２２５）において、透視投影画像を生成する。ＣＰＵ３４は、生成された透視投影画像を映像処理部３１に出力する。映像処理部３１は、透視投影画像を表示部５に出力する。

内視鏡装置１ａは、白色光が照射された被写体の撮像と、パターン光が照射された被写体の撮像との時間間隔を短縮することができる。そのため、画像処理結果の品質が向上する。計測処理において、計測精度が向上する。再構成された被写体の３次元形状に対するカラーテクスチャーのずれが小さくなる。さらに、内視鏡装置１ａはグローバル露光を行うため、ローリング歪の影響による画像処理結果の品質の悪化を低減できる。

ＬＤ３８が生成する第２の照明光は青色以外の波長のレーザー光であってもよい。例えば、第２の照明光の波長は、赤、緑、または赤外の波長であってもよい。また、第２の撮像条件において、第１の照明光の照射は停止されなくてもよい。

（第４の実施形態）
図１５は、本発明の第４の実施形態の内視鏡装置１ｂの構成を示す。図１２に示す部分と同じ部分についての説明を省略する。

図１２に示す本体部３ａは本体部３ｂに変更される。本体部３ｂは、図１２に示す構成に加えて、切り替え制御部３６ｂを有する。

図１２に示す光学アダプター２１ａは光学アダプター２１ｂに変更される。図１２に示す照明光学系８０ａは照明光学系８０ｂに変更される。光学アダプター２１ｂは、照明光学系８０ｂの一部を有する。照明光学系８０ｂは、集光レンズ８１、ライトガイド８２、ロッドレンズ８３、拡散レンズ８４、ファイバー８５、および縞生成部８９（パターン生成部）を有する。集光レンズ８１は、本体部３ｂに配置されている。ライトガイド８２およびファイバー８５は、本体部３ｂおよび挿入部２０に配置されている。ロッドレンズ８３、拡散レンズ８４、および縞生成部８９は、光学アダプター２１ｂに配置されている。

図１６は、縞生成部８９（パターン生成器）の構成を示す。図１６に示す縞生成部８９は、第１の光路８９０、第２の光路８９１、第３の光路８９２、および位相シフト部８９３（位相シフター）を有する。

図１２と異なる部分の概略について説明する。縞生成部８９は、明部および暗部を含む空間的なパターンを照明光に与える。複数の撮像条件は、第３の撮像条件をさらに含む。撮像素子２２は、第３の撮像条件で被写体を撮像することにより被写体の第３の画像を生成する。位相シフト部８９３は、切り替え部として機能する。位相シフト部８９３は、照明光のパターンの位相をシフトさせることにより、第１の撮像条件、第２の撮像条件、および第３の撮像条件を切り替える。第１の撮像条件におけるパターンの位相と、第２の撮像条件におけるパターンの位相と、第３の撮像条件におけるパターンの位相とは互いに異なる。ＣＰＵ３４の計測処理部３４７は、少なくとも第１の画像、第２の画像、および第３の画像に基づいて、位相シフト法を使用することにより被写体の表面の複数点の３次元座標を算出する。

内視鏡装置１は、光源として白色光源３７（第１の光源）およびＬＤ３８（第２の光源）を有する。照明光は、第１の照明光および第２の照明光を含む。白色光源３７は、白色光を第１の照明光として生成する。ＬＤ３８は、第２の照明光を生成する。縞生成部８９は、パターンを第２の照明光に与える。複数の撮像条件は、第４の撮像条件をさらに含む。第１の撮像条件、第２の撮像条件、および第３の撮像条件において、第２の照明光が被写体に照射され、かつ被写体への第１の照明光の照射が停止される。第４の撮像条件において、第１の照明光が被写体に照射され、かつ被写体への第２の照明光の照射が停止される。撮像素子は、第４の撮像条件で被写体を撮像することにより被写体の第４の画像を生成する。撮像素子２２は、赤のカラーフィルター、緑のカラーフィルター、および青のカラーフィルターを有する。撮像素子２２は、カラー画像を第４の画像として生成する。カラー画像は、複数の画素を含む。各画素は、赤の明るさ、緑の明るさ、および青の明るさの各々の情報を画素値として持つ。計測処理部３４７は、複数点の３次元座標と、複数点の画素値とが関連付けられた３次元形状データを生成する。可視化処理部３４３は、３次元形状データを可視化したグラフィックデータを生成する。

撮像素子２２は、複数枚の第１の画像と複数枚の第２の画像と複数枚の第３の画像と複数枚の第４の画像との少なくとも１つを生成する。適性判断部３４５は、複数枚の第１の画像が画像処理に適しているか否かを示す値と、複数枚の第２の画像が画像処理に適しているか否かを示す値と、複数枚の第３の画像が画像処理に適しているか否かを示す値と、複数枚の第４の画像が画像処理に適しているか否かを示す値との少なくとも１つを算出する。

切り替え制御部３６ｂは、位相シフト部８９３に、複数の第１のフレーム期間において第１の撮像条件を設定させる。切り替え制御部３６ｂは、位相シフト部８９３に、複数の第２のフレーム期間において第２の撮像条件を設定させる。複数の第２のフレーム期間の各々は、複数の第１のフレーム期間の各々と異なる。切り替え制御部３６ｂは、位相シフト部８９３に、複数の第３のフレーム期間において第３の撮像条件を設定させる。複数の第３のフレーム期間の各々は、複数の第１のフレーム期間の各々と異なり、かつ複数の第２のフレーム期間の各々と異なる。

ノイズ低減部３４６は、複数枚の第１の画像にノイズ低減処理を実行することにより、第５の画像を生成する。ノイズ低減部３４６は、複数枚の第２の画像にノイズ低減処理を実行することにより、第６の画像を生成する。ノイズ低減部３４６は、複数枚の第３の画像にノイズ低減処理を実行することにより、第７の画像を生成する。計測処理部３４７は、第５の画像、第６の画像、および第７の画像に基づいて、被写体の表面の複数点の３次元座標を算出する。

図１２と異なる部分の詳細について説明する。ＬＤ３８から出たレーザー光は、ファイバー８５を経由して、挿入部２０の先端に伝送される。ファイバー８５は、縞生成部８９に接続されている。ファイバー８５から出たレーザー光（第２の照明光）は、縞生成部８９に入射する。

レーザー光は、縞生成部８９の第１端Ｉｎに入射する。第１の光路８９０は、第１端Ｉｎに接続されている。第１端Ｉｎに入射したレーザー光は、第１の光路８９０で伝送される。第１の光路８９０は、第２の光路８９１および第３の光路８９２に分岐する。第２の光路８９１および第３の光路８９２は、第１の光路８９０に接続されている。第１の光路８９０で伝送されたレーザー光は、第１のレーザー光および第２のレーザー光に分割される。第１のレーザー光は、第２の光路８９１に入射する。第２のレーザー光は、第３の光路８９２に入射する。第２の光路８９１に入射した第１のレーザー光は、第２の光路８９１で伝送される。第３の光路８９２に入射した第２のレーザー光は、第３の光路８９２を伝送する。

第２の光路８９１は、第２端Ｏｕｔ１に接続されている。第３の光路８９２は、第３端Ｏｕｔ２に接続されている。第２の光路８９１の長さと第３の光路８９２の長さとは等しい。第２の光路８９１で伝送された第１のレーザー光は、第２端Ｏｕｔ１から出射され、かつ被写体に照射される。第３の光路８９２で伝送された第２のレーザー光は、第３端Ｏｕｔ２から出射され、かつ被写体に照射される。

第２端Ｏｕｔ１および第３端Ｏｕｔ２は、所定の幅ｄだけ互いに離れている。第２端Ｏｕｔ１から出射された第１のレーザー光と、第３端Ｏｕｔ２から出射された第２のレーザー光とは、互いに干渉する。レーザー光の干渉によって１つの縞状のパターンが形成される。そのパターンは、近似的に、１つの光源から出射された縞パターンであると見なすことができる。縞パターンにおいて、細長い明部と、細長い暗部とが交互に並ぶ。

縞パターンの周期は、ヤングの干渉縞の原理に基づく周期である。その周期は、第１端Ｉｎに導かれたレーザー光の波長と、幅ｄとに基づく周期である。例えば、幅ｄが固定された状態で、第１端Ｉｎに導かれたレーザー光の波長が短くなると、縞パターンの周期は短くなる。幅ｄが固定された状態で、第１端Ｉｎに導かれたレーザー光の波長が長くなると、縞パターンの周期は長くなる。第１端Ｉｎに導かれたレーザー光の波長帯域が固定された状態で、幅ｄが広くなる、すなわち第２端Ｏｕｔ１および第３端Ｏｕｔ２が互いに離れると、縞パターンの周期は短くなる。第１端Ｉｎに導かれたレーザー光の波長帯域が固定された状態で、幅ｄが狭くなる、すなわち第２端Ｏｕｔ１および第３端Ｏｕｔ２が互いに近づくと、縞パターンの周期は長くなる。

第３の光路８９２の一部は、位相シフト部８９３の内部に配置されている。本体部３ｂに配置された切り替え制御部３６ｂは、位相シフト部８９３に電流を供給する。位相シフト部８９３は、切り替え制御部３６ｂから供給された電流に基づいて熱を発する。発生した熱により第３の光路８９２の屈折率が変化し、かつ第３の光路８９２の光路長が変化する。位相シフト部８９３は、第３の光路８９２に導かれた第２のレーザー光の位相を、温度の変化に基づいてシフトさせる。第１のレーザー光の位相と第２のレーザー光の位相とは、互いに異なる。第１のレーザー光は、第２の光路８９１を経由して第２端Ｏｕｔ１から出射される。第２のレーザー光は、第２の光路８９１と温度が異なる第３の光路８９２を経由して第３端Ｏｕｔ２から出射される。第１のレーザー光の位相と第２のレーザー光の位相とがずれた状態での干渉により、縞パターンの縞の位相は変更される。つまり、縞の位相はシフトされる。位相シフト部８９３がレーザー光の位相をシフトする方法は、温度の変化を用いた方法に限らない。

照明制御部３３ａは、白色光源３７およびＬＤ３８を制御する。照明制御部３３ａは、白色光源３７およびＬＤ３８に、第２の期間において照明光を生成させる。照明制御部３３ａは、白色光源３７およびＬＤ３８に、第３の期間において照明光の生成を停止させる。照明制御部３３ａは、切り替え部および切り替え制御部として機能する。照明制御部３３ａは、第３の期間において撮像条件の切り替えを開始し、かつ第３の期間において撮像条件の切り替えを完了する。切り替え制御部３６ｂは、位相シフト部８９３に、第３の期間において撮像条件の切り替えを開始させ、かつ第３の期間において撮像条件の切り替えを完了させる。

照明制御部３３ａは、第１の撮像条件において、ＬＤ３８を点灯させ、かつ白色光源３７を消灯させる。したがって、照明光学系８０ａは、第１の撮像条件において、パターン光を被写体に照射する。照明光学系８０ａは、第１の撮像条件において、白色光を被写体に照射しない。切り替え制御部３６ｂは、位相シフト部８９３に、パターン光の位相を第１の位相に設定させる。観察光学系６０ａは、第１の撮像条件において、パターン光によって照明された被写体の表面で反射した光を取り込む。

照明制御部３３ａは、第２の撮像条件において、ＬＤ３８を点灯させ、かつ白色光源３７を消灯させる。したがって、照明光学系８０ａは、第２の撮像条件において、パターン光を被写体に照射する。照明光学系８０ａは、第２の撮像条件において、白色光を被写体に照射しない。切り替え制御部３６ｂは、位相シフト部８９３に、パターン光の位相を第２の位相に設定させる。第２の位相は、第１の位相と異なる。観察光学系６０ａは、第２の撮像条件において、パターン光によって照明された被写体の表面で反射した光を取り込む。

照明制御部３３ａは、第３の撮像条件において、ＬＤ３８を点灯させ、かつ白色光源３７を消灯させる。したがって、照明光学系８０ａは、第３の撮像条件において、パターン光を被写体に照射する。照明光学系８０ａは、第３の撮像条件において、白色光を被写体に照射しない。切り替え制御部３６ｂは、位相シフト部８９３に、パターン光の位相を第３の位相に設定させる。第３の位相は、第１の位相と異なり、かつ第２の位相と異なる。観察光学系６０ａは、第３の撮像条件において、パターン光によって照明された被写体の表面で反射した光を取り込む。

照明制御部３３ａは、第４の撮像条件において、白色光源３７を点灯させ、かつＬＤ３８を消灯させる。したがって、照明光学系８０ａは、第４の撮像条件において、白色光を被写体に照射する。照明光学系８０ａは、第４の撮像条件において、パターン光を被写体に照射しない。観察光学系６０ａは、第４の撮像条件において、白色光によって照明された被写体の表面で反射した光を取り込む。

図１７は、計測モードにおける撮像素子２２の動作と、照明の状態と、撮像条件の状態との関係を示す。図１７を参照し、撮像素子２２の動作を説明する。図７に示す部分と同じ部分についての説明を省略する。

タイミングチャートＴＣ１４は、撮像素子２２の動作を示す。第１行から第８行のセル５４が順次リセットされ、かつフレーム期間ｉにおける第１行から第８行のセル５４の露光期間が順次開始される。

フレーム期間ｉにおける第１行のセル５４の露光期間が開始されたとき、白色光源３７およびＬＤ３８は消灯している。フレーム期間ｉにおける第１行のセル５４の露光期間が開始されたとき、撮像条件は設定されていない。

フレーム期間ｉにおける第８行のセル５４の露光期間が開始されたとき、白色光源３７の点灯が開始される。照明制御部３３ａは、点灯のための制御信号を白色光源３７に出力することにより、白色光源３７を点灯させる。これにより、照明制御部３３ａは、撮像条件を第４の撮像条件に設定する。白色光源３７は、照明制御部３３ａからの制御信号に基づいて、点灯を開始する。

フレーム期間ｉにおける第１行のセル５４の読み出し期間が開始されたとき、白色光源３７の点灯が終了する。照明制御部３３ａは、消灯のための制御信号を白色光源３７に出力することにより、白色光源３７を消灯させる。白色光源３７は、照明制御部３３ａからの制御信号に基づいて、消灯する。これにより、照明制御部３３ａは、第４の撮像条件から第１の撮像条件への切り替えを開始する。

フレーム期間ｉにおける第８行のセル５４の読み出し期間が終了したとき、ＬＤ３８の点灯が開始される。照明制御部３３ａは、点灯のための制御信号をＬＤ３８に出力することにより、ＬＤ３８を点灯させる。ＬＤ３８は、照明制御部３３ａからの制御信号に基づいて、点灯を開始する。切り替え制御部３６ｂは、電流を位相シフト部８９３に出力することにより、パターン光の位相を第１の位相に設定させる。位相シフト部８９３は、切り替え制御部３６ｂからの電流に基づいて、パターン光の位相を第１の位相に設定する。これにより、照明制御部３３ａおよび切り替え制御部３６ｂは、第４の撮像条件から第１の撮像条件への切り替えを完了する。

フレーム期間（ｉ＋１）における第１行のセル５４の読み出し期間が開始されたとき、ＬＤ３８の点灯が終了する。照明制御部３３ａは、消灯のための制御信号をＬＤ３８に出力することにより、ＬＤ３８を消灯させる。ＬＤ３８は、照明制御部３３ａからの制御信号に基づいて、消灯する。これにより、照明制御部３３ａは、第１の撮像条件から第２の撮像条件への切り替えを開始する。

フレーム期間（ｉ＋１）における第８行のセル５４の読み出し期間が終了したとき、ＬＤ３８の点灯が開始される。照明制御部３３ａは、点灯のための制御信号をＬＤ３８に出力することにより、ＬＤ３８を点灯させる。ＬＤ３８は、照明制御部３３ａからの制御信号に基づいて、点灯を開始する。切り替え制御部３６ｂは、電流を位相シフト部８９３に出力することにより、パターン光の位相を第２の位相に設定させる。位相シフト部８９３は、切り替え制御部３６ｂからの電流に基づいて、パターン光の位相を第２の位相に設定する。これにより、照明制御部３３ａおよび切り替え制御部３６ｂは、第１の撮像条件から第２の撮像条件への切り替えを完了する。

フレーム期間（ｉ＋２）における第１行のセル５４の読み出し期間が開始されたとき、ＬＤ３８の点灯が終了する。照明制御部３３ａは、消灯のための制御信号をＬＤ３８に出力することにより、ＬＤ３８を消灯させる。ＬＤ３８は、照明制御部３３ａからの制御信号に基づいて、消灯する。これにより、照明制御部３３ａは、第２の撮像条件から第３の撮像条件への切り替えを開始する。

フレーム期間（ｉ＋２）における第８行のセル５４の読み出し期間が終了したとき、ＬＤ３８の点灯が開始される。照明制御部３３ａは、点灯のための制御信号をＬＤ３８に出力することにより、ＬＤ３８を点灯させる。ＬＤ３８は、照明制御部３３ａからの制御信号に基づいて、点灯を開始する。切り替え制御部３６ｂは、電流を位相シフト部８９３に出力することにより、パターン光の位相を第３の位相に設定させる。位相シフト部８９３は、切り替え制御部３６ｂからの電流に基づいて、パターン光の位相を第３の位相に設定する。これにより、照明制御部３３ａおよび切り替え制御部３６ｂは、第２の撮像条件から第３の撮像条件への切り替えを完了する。

フレーム期間（ｉ＋３）における第１行のセル５４の読み出し期間が開始されたとき、ＬＤ３８の点灯が終了する。照明制御部３３ａは、消灯のための制御信号をＬＤ３８に出力することにより、ＬＤ３８を消灯させる。ＬＤ３８は、照明制御部３３ａからの制御信号に基づいて、消灯する。これにより、照明制御部３３ａは、第３の撮像条件から第４の撮像条件への切り替えを開始する。

フレーム期間（ｉ＋３）における第８行のセル５４の読み出し期間が終了したとき、白色光源３７の点灯が開始される。照明制御部３３ａは、点灯のための制御信号を白色光源３７に出力することにより、白色光源３７を点灯させる。白色光源３７は、照明制御部３３ａからの制御信号に基づいて、点灯を開始する。これにより、照明制御部３３ａは、第３の撮像条件から第４の撮像条件への切り替えを完了する。

白色光源３７は、フレーム期間ｉにおける同時露光期間に点灯する。ＬＤ３８は、フレーム期間（ｉ＋１）、フレーム期間（ｉ＋２）、およびフレーム期間（ｉ＋３）の各々における同時露光期間に点灯する。白色光源３７およびＬＤ３８は、点灯と消灯とを繰り返す。

照明制御部３３ａおよび切り替え制御部３６ｂは、第４の撮像条件から第１の撮像条件への切り替えと、第１の撮像条件から第２の撮像条件への切り替えと、第２の撮像条件から第３の撮像条件への切り替えと、第３の撮像条件から第４の撮像条件への切り替えとを繰り返す。照明制御部３３ａおよび切り替え制御部３６ｂは、撮像条件の切り替えをフレーム期間毎に実行する。

撮像素子２２は、第１の期間Ｔ１において画素信号を複数のセル５４の少なくとも一部から１行毎に順次読み出す。図１７に示すタイミングチャートＴＣ１４では、第１の期間Ｔ１は、第１行のセル５４における画素信号の読み出しの開始から第８行のセル５４における画素信号の読み出しの完了までの期間である。

白色光源３７またはＬＤ３８は、１フレーム期間における画素信号の読み出しの完了と同時に点灯する。つまり、白色光源３７またはＬＤ３８は、第１の期間Ｔ１の完了と同時に点灯する。白色光源３７またはＬＤ３８は、１フレーム期間における画素信号の読み出しの開始と同時に消灯する。つまり、白色光源３７またはＬＤ３８は、第１の期間Ｔ１の開始と同時に消灯する。

照明制御部３３ａは、白色光源３７またはＬＤ３８に、第２の期間Ｔ２において照明光を生成させる。白色光源３７またはＬＤ３８は、第２の期間Ｔ２において点灯し続ける。第２の期間Ｔ２は、第１の期間Ｔ１を除く期間の全てである。図１７に示すタイミングチャートＴＣ１４では、第１の期間Ｔ１の長さと第２の期間Ｔ２の長さとの合計は、フレーム期間の長さと同じである。

照明制御部３３ａは、白色光源３７またはＬＤ３８に、第３の期間Ｔ３において照明光の生成を停止させる。白色光源３７またはＬＤ３８は、第３の期間Ｔ３において消灯し続ける。第３の期間Ｔ３は、第２の期間Ｔ２を除く期間の全てである。図１７に示すタイミングチャートＴＣ１４では、第３の期間Ｔ３は第１の期間Ｔ１と同じである。

照明制御部３３ａおよび位相シフト部８９３は、第３の期間Ｔ３において撮像条件の切り替えを開始し、かつ第３の期間Ｔ３において撮像条件の切り替えを完了する。照明制御部３３ａおよび位相シフト部８９３は、次の第２の期間が開始される前に、撮像条件の切り替えを完了する。つまり、照明制御部３３ａおよび位相シフト部８９３は、撮像条件の切り替えが開始された第３の期間と同一の第３の期間において撮像条件の切り替えを完了する。第３の期間Ｔ３が開始されたとき、照明制御部３３ａは、白色光源３７またはＬＤ３８を消灯させることにより、撮像条件の切り替えを開始する。第３の期間Ｔ３が終了するとき、照明制御部３３ａは、白色光源３７またはＬＤ３８を点灯させることにより、撮像条件の切り替えを完了する。第３の期間Ｔ３が終了するとき、位相シフト部８９３は、パターン光の位相を変更することにより、撮像条件の切り替えを完了する。図１７に示すタイミングチャートＴＣ１４では、第３の期間Ｔ３は第１の期間Ｔ１と同じであるため、照明制御部３３ａおよび位相シフト部８９３は、第１の期間Ｔ１において撮像条件の切り替えを開始し、かつ第１の期間Ｔ１において撮像条件の切り替えを完了する。

各フレーム期間における第１行のセル５４の読み出し期間が開始された後、かつ各フレーム期間における第８行のセル５４の読み出し期間が完了する前に、位相シフト部８９３は、パターン光の位相を切り替えてもよい。

図１８は、内視鏡装置１ｂの動作の手順を示す。図１８を参照し、内視鏡装置１ｂの動作を説明する。図１４に示す処理と同じ処理についての説明を省略する。

ステップＳ１２０において、計測を実行すると制御部３４０が判断した場合、撮像素子２２は、１フレームの画像を生成し、かつ生成された画像を出力する。撮像条件が観察照明であるため、撮像素子２２は第４の画像を出力する。第３の期間が開始されるとき、照明制御部３３ａは白色光源３７を消灯させる（ステップＳ１３０ａ）。

ステップＳ１３０ａの後、照明制御部３３ａはＬＤ３８を点灯させ、かつ位相シフト部８９３は第１の位相を設定する。これにより、照明制御部３３ａおよび位相シフト部８９３は、撮像条件を、第１の位相を持つ縞（第１の撮像条件）に設定する（ステップＳ１３２ｂ）。

ステップＳ１３２ｂの後、撮像素子２２は、１フレームの画像を生成し、かつ生成された画像を出力する。撮像条件が、第１の位相を持つ縞であるため、撮像素子２２は第２の画像を出力する。第３の期間が開始するとき、照明制御部３３ａはＬＤ３８を消灯させる（ステップＳ１４５ｂ）。

ステップＳ１４５ｂの後、照明制御部３３ａはＬＤ３８を点灯させ、かつ位相シフト部８９３は第２の位相を設定する。第２の位相は、第１の位相を２π／３だけずらした位相である。これにより、照明制御部３３ａおよび位相シフト部８９３は、撮像条件を、第２の位相を持つ縞（第２の撮像条件）に設定する（ステップＳ１７０）。

ステップＳ１７０の後、撮像素子２２は、１フレームの画像を生成し、かつ生成された画像を出力する。撮像条件が、第２の位相を持つ縞であるため、撮像素子２２は第２の画像を出力する。第３の期間が開始するとき、照明制御部３３ａはＬＤ３８を消灯させる（ステップＳ１７５）。

ステップＳ１７５の後、照明制御部３３ａはＬＤ３８を点灯させ、かつ位相シフト部８９３は第３の位相を設定する。第３の位相は、第２の位相を２π／３だけずらした位相である。これにより、照明制御部３３ａおよび位相シフト部８９３は、撮像条件を、第３の位相を持つ縞（第３の撮像条件）に設定する（ステップＳ１８０）。

ステップＳ１８０の後、撮像素子２２は、１フレームの画像を生成し、かつ生成された画像を出力する。撮像条件が、第３の位相を持つ縞であるため、撮像素子２２は第２の画像を出力する。第３の期間が開始するとき、照明制御部３３ａはＬＤ３８を消灯させる（ステップＳ１８５）。

ステップＳ１８５の後、照明制御部３３ａは、白色光源３７を点灯させることにより、撮像条件を観察照明（第４の撮像条件）に設定する（ステップＳ１９０）。ステップＳ１９０の後、ステップＳ１５０における処理が実行される。

図１０に示す処理は、以下の処理に変更される。画像セットＡおよび画像セットＢがＣＰＵ３４に入力される。画像セットＡおよび画像セットＢの各々は、１枚の第１の画像、１枚の第２の画像、１枚の第３の画像、および１枚の第４の画像を含む。

適性判断部３４５は、適性判断処理としての動き検出処理（ステップＳ２００）において、セットＡの第１の画像およびセットＢの第１の画像に基づいて、２フレーム間の第１の動きを示す第１の値を算出する。適性判断部３４５は、動き検出処理において、セットＡの第２の画像およびセットＢの第２の画像に基づいて、２フレーム間の第２の動きを示す第２の値を算出する。適性判断部３４５は、動き検出処理において、セットＡの第３の画像およびセットＢの第３の画像に基づいて、２フレーム間の第２の動きを示す第３の値を算出する。適性判断部３４５は、動き検出処理において、セットＡの第４の画像およびセットＢの第４の画像に基づいて、２フレーム間の第２の動きを示す第４の値を算出する。例えば、適性判断部３４５は、セル５４毎に２枚の画像間の画素値の差の絶対値を算出する。適性判断部３４５は、画像の全ての画素における画素値の差の絶対値の合計を算出する。適性判断部３４５は判断パラメーターとして第１の値、第２の値、第３の値、および第４の値を算出する。第１の値は、２枚の第１の画像から算出された画素値の差の絶対値の合計である。第２の値は、２枚の第２の画像から算出された画素値の差の絶対値の合計である。第３の値は、２枚の第３の画像から算出された画素値の差の絶対値の合計である。第４の値は、２枚の第４の画像から算出された画素値の差の絶対値の合計である。動きの検出方法は、他の方法であってもよい。適性判断の方法は動き検出以外の他の方法であってもよい。

適性判断部３４５は、ステップＳ２０５において、画像セットが後段の画像処理に適しているか否かを判断する。適性判断部３４５は、各判断パラメーターが所定値未満であるか否かを判断する。判断パラメーターの全てが所定値未満であると適性判断部３４５が判断した場合、適性判断部３４５は、画像セットが後段の画像処理に適している（適性あり）と判断する。判断パラメーターの少なくとも１つが所定値以上であると適性判断部３４５が判断した場合、適性判断部３４５は、画像セットが後段の画像処理に適していない（適性なし）と判断する。

ノイズ低減部３４６は、ノイズ低減処理（ステップＳ２１５）において、セットＡの第１の画像およびセットＢの第１の画像に基づいて、第１のＮＲ画像（第５の画像）を生成する。第１のＮＲ画像の画素値は、２枚の第１の画像間の画素値の加算平均である。ノイズ低減部３４６は、ノイズ低減処理において、セットＡの第２の画像およびセットＢの第２の画像に基づいて、第２のＮＲ画像（第６の画像）を生成する。第２のＮＲ画像の画素値は、２枚の第２の画像間の画素値の加算平均である。ノイズ低減部３４６は、ノイズ低減処理において、セットＡの第３の画像およびセットＢの第３の画像に基づいて、第３のＮＲ画像（第７の画像）を生成する。第３のＮＲ画像の画素値は、２枚の第３の画像間の画素値の加算平均である。

計測処理部３４７は、計測処理（ステップＳ２２０）において、第１のＮＲ画像の光学的な歪みを補正することにより、第１の補正画像を生成する。計測処理部３４７は、計測処理において、第２のＮＲ画像の光学的な歪みを補正することにより、第２の補正画像を生成する。計測処理部３４７は、計測処理において、第３のＮＲ画像の光学的な歪みを補正することにより、第３の補正画像を生成する。計測処理部３４７は、計測処理において、第１のＮＲ画像、第２のＮＲ画像、および第３のＮＲ画像を用いた位相シフト法により、被写体の表面の各点の３次元座標を算出する。計測処理部３４７は、カラー３Ｄデータを生成する。カラー３Ｄデータは、第４の画像の各画素の色情報と、各画素に対応する３次元座標とを含む。

可視化処理部３４３は、可視化処理（ステップＳ２２５）において、透視投影画像を生成する。ＣＰＵ３４は、生成された透視投影画像を映像処理部３１に出力する。映像処理部３１は、透視投影画像を表示部５に出力する。

上記の例では、位相シフト部８９３は、３つの位相を設定する。撮像条件の切り替えにおける位相の変化量は、２π／３である。位相シフト部８９３は、４つ以上の位相を設定してもよい。４つ以上の位相が設定される場合、撮像条件の切り替えにおける位相の変化量は、π／２以下である。４つ以上の位相が設定される場合、３つの位相に対応する３枚の画像（第１の画像、第２の画像、および第３の画像）に加えて、１枚以上の画像が取得される。

適性判断部３４５は、動き検出処理において、第１の値、第２の値、第３の値、および第４の値のいずれか１つのみを算出してもよい。適性判断部３４５は、第１の値、第２の値、第３の値、および第４の値のいずれか１つのみに基づいて、動きが検出されたか否かを判断してもよい。適性判断部３４５は、動き検出処理において、第１の値、第２の値、第３の値、および第４の値のいずれか２つのみを算出してもよい。適性判断部３４５は、第１の値、第２の値、第３の値、および第４の値のいずれか２つのみに基づいて、動きが検出されたか否かを判断してもよい。適性判断部３４５は、動き検出処理において、第１の値、第２の値、第３の値、および第４の値のいずれか３つのみを算出してもよい。適性判断部３４５は、第１の値、第２の値、第３の値、および第４の値のいずれか３つのみに基づいて、動きが検出されたか否かを判断してもよい。

撮像素子２２は、４つの撮像条件のいずれか１つで複数枚の画像を生成し、かつ残りの３つの撮像条件で１枚の画像を生成してもよい。この場合、適性判断部３４５は、１つの撮像条件で生成された複数枚の画像に基づいて、第１の値、第２の値、第３の値、および第４の値のいずれか１つを算出する。撮像素子２２は、４つの撮像条件のいずれか２つで複数枚の画像を生成し、かつ残りの２つの撮像条件で１枚の画像を生成してもよい。この場合、適性判断部３４５は、２つの撮像条件で生成された複数枚の画像に基づいて、第１の値、第２の値、第３の値、および第４の値のいずれか２つを算出する。撮像素子２２は、４つの撮像条件のいずれか３つで複数枚の画像を生成し、かつ残りの１つの撮像条件で１枚の画像を生成してもよい。この場合、適性判断部３４５は、３つの撮像条件で生成された複数枚の画像に基づいて、第１の値、第２の値、第３の値、および第４の値のいずれか３つを算出する。

画像処理部３４２は、３つ以上の画像セットを処理し、最も画像処理に適したセットを選んでもよい。連続する２セットの２枚の画像間で動きが検出されても、連続する他の２セットの２枚の画像間で動きが検出されない可能性がある。そのため、３つ以上の画像セットから処理の対象を選ぶことにより撮像のやり直しの確率が下がる。ノイズ低減部３４６は、３枚以上の画像に基づいてノイズ低減処理を実行することにより、ノイズをより減らすことができる。

白色光源３７、集光レンズ８１、ライトガイド８２、ロッドレンズ８３、および拡散レンズ８４は必須ではない。照明制御部３３ａおよび位相シフト部８９３は、第１の撮像条件、第２の撮像条件、および第３の撮像条件のみの間で撮像条件を切り替えてもよい。

第２の照明光に基づいて縞パターンを生成する手段と、縞パターンの位相をシフトさせる手段とは、レーザー光の干渉以外の他の方法に基づいてもよい。例えば、ＬＥＤアレイが発する光を投影させ、かつＬＥＤアレイの点灯パターンを切り替えることにより縞パターンの位相をシフトさせる方法が第４の実施形態に適用されてもよい。

内視鏡装置１ｂは、３種類の位相を持つパターン光が照射された被写体の３回の撮像の時間間隔を短縮することができる。また、内視鏡装置１ｂは、白色光が照射された被写体の撮像と、パターン光が照射された被写体の撮像との時間間隔を短縮することができる。そのため、第１の実施形態と同様に、画像処理結果の品質が向上する。計測処理において、計測精度が向上する。再構成された被写体の３次元形状に対するカラーテクスチャーのずれが小さくなる。さらに、内視鏡装置１ｂはグローバル露光を行うため、ローリング歪の影響による画像処理結果の品質の悪化を低減できる。

ＬＤ３８が生成する第２の照明光は青色以外の波長のレーザー光であってもよい。例えば、第２の照明光の波長は、赤、緑、または赤外の波長であってもよい。また、第１の撮像条件、第２の撮像条件、および第３の撮像条件の少なくとも１つにおいて、第１の照明光の照射は停止されなくてもよい。

（第５の実施形態）
図１９は、本発明の第５の実施形態の内視鏡装置１ｃの構成を示す。図２に示す部分と同じ部分についての説明を省略する。

図２に示す本体部３は本体部３ｃに変更される。本体部３ｃにおいて、図２に示す切り替え制御部３６は切り替え制御部３６ｃに変更される。本体部３ｃにおいて、図２に示すＣＰＵ３４はＣＰＵ３４ｃに変更される。

図２に示す光学アダプター２１は光学アダプター２１ｃに変更される。光学アダプター２１ｃにおいて、図２に示す観察光学系６０は観察光学系６０ｃに変更される。観察光学系６０ｃは、凹レンズ２３、凸レンズ２４、および切り替え部２５ｃを有する。凹レンズ２３は、図１２に示す凹レンズ２３と同じである。凸レンズ２４は、図１２に示す凸レンズ２４と同じである。

図２０は、ＣＰＵ３４ｃの機能構成を示す。図３に示す部分と同じ部分についての説明を省略する。ＣＰＵ３４ｃは、図３に示す可視化処理部３４３を有していない。図３に示す画像処理部３４２は画像処理部３４２ｃに変更される。画像処理部３４２ｃは、適性判断部３４５、ノイズ低減部３４６、および合成処理部３４８を有する。

図２と異なる部分の概略について説明する。第１の撮像条件における観察光学系６０ｃのピントと、第２の撮像条件における観察光学系６０ｃのピントとは互いに異なる。合成処理部３４８は、第１の画像および第２の画像を合成することにより第３の画像を生成する。

切り替え制御部３６ｃは、切り替え部２５ｃに、第３の期間において撮像条件の切り替えを開始させ、かつ第３の期間において撮像条件の切り替えを完了させる。

切り替え制御部３６ｃは、切り替え部２５ｃに、複数の第１のフレーム期間において第１の撮像条件を設定させる。切り替え制御部３６ｃは、切り替え部２５ｃに、複数の第２のフレーム期間において第２の撮像条件を設定させる。複数の第２のフレーム期間の各々は、複数の第１のフレーム期間の各々と異なる。ノイズ低減部３４６は、複数枚の第１の画像にノイズ低減処理を実行することにより、第４の画像を生成する。ノイズ低減部３４６は、複数枚の第２の画像にノイズ低減処理を実行することにより、第５の画像を生成する。合成処理部３４８は、第４の画像および第５の画像を合成することにより第３の画像を生成する。

図２と異なる部分の詳細について説明する。切り替え部２５ｃは、直動のソレノイドを有する。ソレノイドの可動子は凸レンズ２４に接続されている。切り替え制御部３６ｃは、切り替え部２５ｃに電力を供給する。切り替え制御部３６ｃは、切り替え部２５ｃに、ソレノイドの位置を切り替えさせる。切り替え部２５ｃは、ソレノイドの位置を切り替えることにより、観察光学系６０ｃのピント（フォーカス）を切り替える。例えば、第１の撮像条件における第１のピントは遠点であり、かつ第２の撮像条件における第２のピントは近点である。第１の撮像条件における第１のピントが近点であり、かつ第２の撮像条件における第２のピントが遠点であってもよい。合成処理部３４８は、互いにピントが異なる複数枚の画像を合成することにより、深度合成を実行する。深度合成により、画像の被写界深度が広がる。

図２１は、内視鏡装置１ｃの動作の手順を示す。図２１を参照し、内視鏡装置１ｃの動作を説明する。図９に示す処理と同じ処理についての説明を省略する。

ステップＳ１００の後、切り替え制御部３６ｃは、ピントの切り替えのための制御信号を切り替え部２５ｃに出力する。例えば、ユーザーは、操作部４を操作することにより、ピントの指示を入力する。例えば、ユーザーにより指示されたピントは、第１のピントおよび第２のピントのいずれか一方である。切り替え制御部３６ｃは、ユーザーにより指示されたピントを示す制御信号を切り替え部２５ｃに出力する。これにより、切り替え制御部３６ｃは、切り替え部２５ｃに、撮像条件の切り替えを開始させる。切り替え部２５ｃは、切り替え制御部３６ｃからの制御信号に基づいて、ピントの切り替えを開始する。その後、切り替え制御部３６ｃは、切り替え部２５ｃに、ピントの切り替えを完了させる（ステップＳ１０５ｃ）。ステップＳ１０５ｃにおいて撮像条件が既にユーザーにより指示されたピントである場合、ステップＳ１０５ｃにおける処理は不要である。ステップＳ１０５ｃの後、ステップＳ１１０における処理が実行される。

ステップＳ１１５の後、制御部３４０は、合成を実行するか否かを判断する（ステップＳ１２０ｃ）。例えば、ユーザーが操作部４を操作することにより合成指示を入力した場合、制御部３４０は、合成を実行すると判断する。

ステップＳ１２０ｃにおいて、合成を実行しないと制御部３４０が判断した場合、ステップＳ１０５ｃにおける処理が実行される。合成指示が入力されるまで、観察光学系６０ｃのピントはユーザーによって指示されたピントに保たれる。合成指示が入力されるまで、撮像素子２２は画像を順次出力し、かつ表示部５は画像を順次更新して表示する。

ステップＳ１２０ｃにおいて、合成を実行すると制御部３４０が判断した場合、切り替え制御部３６ｃは、ピントの切り替えのための制御信号を切り替え部２５ｃに出力する。これにより、切り替え制御部３６ｃは、切り替え部２５ｃに、ピントの切り替えを開始させる。切り替え部２５ｃは、切り替え制御部３６ｃからの制御信号に基づいて、ユーザーによって指示されたピントから第１のピントへの切り替え、または第２のピントから第１のピントへの切り替えを開始する。その後、切り替え制御部３６ｃは、切り替え部２５ｃに、ピントの切り替えを完了させる。これにより、切り替え制御部３６ｃは、撮像条件を第１のピント（第１の撮像条件）に設定する（ステップＳ１２５ｃ）。ステップＳ１２５ｃの後、ステップＳ１３０における処理が実行される。

ステップＳ１３５の後、切り替え制御部３６ｃは、ピントの切り替えのための制御信号を切り替え部２５ｃに出力する。これにより、切り替え制御部３６ｃは、切り替え部２５ｃに、ピントの切り替えを開始させる。切り替え部２５ｃは、切り替え制御部３６ｃからの制御信号に基づいて、第１のピントから第２のピントへの切り替えを開始する。その後、切り替え制御部３６ｃは、切り替え部２５ｃに、ピントの切り替えを完了させる。これにより、切り替え制御部３６ｃは、撮像条件を第２のピント（第２の撮像条件）に設定する（ステップＳ１４０ｃ）。ステップＳ１４０ｃの後、ステップＳ１４５における処理が実行される。

ステップＳ１５０において、所定数の画像セットの取得が完了したと制御部３４０が判断した場合、画像処理部３４２ｃは画像処理を実行する（ステップＳ１５５ｃ）。ステップＳ１５５ｃの後、ステップＳ１６０における処理が実行される。

図２２は、ステップＳ１５５ｃにおける画像処理の詳細を示す。図２２を参照し、内視鏡装置１ｃの動作を説明する。図１０に示す処理と同じ処理についての説明を省略する。

ステップＳ２０５において、適性ありと適性判断部３４５が判断した場合、ノイズ低減部３４６は、ノイズ低減処理を実行する。ノイズ低減部３４６は、ノイズ低減処理において、セットＡの第１の画像およびセットＢの第１の画像に基づいて、第１のＮＲ画像（第４の画像）を生成する。第１のＮＲ画像の画素値は、２枚の第１の画像間の画素値の加算平均である。ノイズ低減部３４６は、ノイズ低減処理において、セットＡの第２の画像およびセットＢの第２の画像に基づいて、第２のＮＲ画像（第５の画像）を生成する。第２のＮＲ画像の画素値は、２枚の第２の画像間の画素値の加算平均である（ステップＳ２１５）。

ステップＳ２１５の後、合成処理部３４８は、合成処理を実行する。合成処理部３４８は、合成処理において、第１のコントラストマップおよび第２のコントラストマップを生成する。第１のコントラストマップは、第１のＮＲ画像の各画素におけるコントラストの第１の値を含む。第２のコントラストマップは、第２のＮＲ画像の各画素におけるコントラストの第２の値を含む。合成処理部３４８は、合成処理において、第１の値と第２の値とを画素毎に比較する。合成処理部３４８は、第１の値が第２の値よりも大きい画素では、第１のＮＲ画像の画素値を選択する。合成処理部３４８は、第２の値が第１の値よりも大きい画素では、第２のＮＲ画像の画素値を選択する。合成処理部３４８は、合成処理において、選択された画素値を含む第３の画像を合成画像として生成する（ステップＳ２４０）。

ステップＳ２４０の後、表示処理部３４１は、ステップＳ２４０において生成された合成画像を表示部５に表示させる。表示部５は、合成画像を表示する（ステップＳ２３０ｃ）。ステップＳ２３０ｃの後、ステップＳ２３５における処理が実行される。

ステップＳ２１５におけるノイズ低減処理が実行されない場合、合成処理部３４８は、１つの画像セットを使用して合成処理を実行する。合成処理部３４８は、第１のピントに対応する第１の画像と、第２のピントに対応する第２の画像とを合成することにより第３の画像を生成する。複数の画像セットから１つの画像セットが選択され、かつ合成処理部３４８は、選択された画像セットを使用して合成処理を実行してもよい。

合成処理部３４８は、３枚以上の画像を合成してもよい。３枚以上の画像の各々が生成されたときの観察光学系６０ｃのピントは、互いに異なる。

内視鏡装置１ｃは、第１のピントにおける撮像と、第２のピントにおける撮像との時間間隔を短縮することができる。そのため、第１の実施形態と同様に、画像処理結果の品質が向上する。画像において、ピントが変更される間の被写体の移動または挿入部２０の先端の移動による不自然なエッジの発生が抑制される。さらに、内視鏡装置１ｃはグローバル露光を行うため、ローリング歪の影響による画像処理結果の品質の悪化を低減できる。そのため、深度合成の結果の品質が向上する。

（第６の実施形態）
図２３は、本発明の第６の実施形態の内視鏡装置１ｄの構成を示す。図２に示す部分と同じ部分についての説明を省略する。

図２に示す本体部３は本体部３ｄに変更される。本体部３ｄは切り替え制御部３６を有していない。本体部３ｄにおいて、図２に示す照明制御部３３は照明制御部３３ｄに変更される。本体部３ｄにおいて、図２に示すＣＰＵ３４はＣＰＵ３４ｃに変更される。ＣＰＵ３４ｃは、図１９に示すＣＰＵ３４ｃと同じである。

図２に示す光学アダプター２１は光学アダプター２１ｄに変更される。光学アダプター２１ｄにおいて、図２に示す観察光学系６０は観察光学系６０ａに変更される。観察光学系６０ａは、図１２に示す観察光学系６０ａと同じである。

図２と異なる部分の概略について説明する。第１の撮像条件における白色光源３７の光量と、第２の撮像条件における白色光源３７の光量とは互いに異なる。画像処理部３４２ｃの合成処理部３４８は、第１の画像および第２の画像を合成することにより第３の画像を生成する。

照明制御部３３ｄは、切り替え部および切り替え制御部として機能する。照明制御部３３ｄは、第３の期間において撮像条件の切り替えを開始し、かつ第３の期間において撮像条件の切り替えを完了する。照明制御部３３ｄは、次の第２の期間が開始される前に、撮像条件の切り替えを完了する。つまり、照明制御部３３ｄは、撮像条件の切り替えが開始された第３の期間と同一の第３の期間において撮像条件の切り替えを完了する。

照明制御部３３ｄは、複数の第１のフレーム期間において第１の撮像条件を設定する。照明制御部３３ｄは、複数の第２のフレーム期間において第２の撮像条件を設定する。複数の第２のフレーム期間の各々は、複数の第１のフレーム期間の各々と異なる。ノイズ低減部３４６は、複数枚の第１の画像にノイズ低減処理を実行することにより、第４の画像を生成する。ノイズ低減部３４６は、複数枚の第２の画像にノイズ低減処理を実行することにより、第５の画像を生成する。合成処理部３４８は、第４の画像および第５の画像を合成することにより第３の画像を生成する。

図２と異なる部分の詳細について説明する。照明制御部３３ｄは、白色光源３７の光量を切り替えることにより、撮像条件を切り替える。第１の撮像条件における照明光の明るさと、第２の撮像条件における照明光の明るさとは互いに異なる。そのため、第１の撮像条件におけるセル５４の露光量と、第２の撮像条件におけるセル５４の露光量とは互いに異なる。合成処理部３４８は、互いに露光量が異なる複数枚の画像を合成することにより、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成を実行する。ＨＤＲ合成により、画像のダイナミックレンジが広がる。

図２４は、内視鏡装置１ｄの動作の手順を示す。図２４を参照し、内視鏡装置１ｄの動作を説明する。図２１に示す処理と同じ処理についての説明を省略する。

ステップＳ１００の後、照明制御部３３ｄは、白色光源３７の光量を所定の適性光量に設定する。これにより、照明制御部３３ｄは、撮像条件を第１の露光量に設定する（ステップＳ１０５ｄ）。ステップＳ１０５ｄの後、ステップＳ１１０における処理が実行される。

ステップＳ１２０ｃにおいて、合成を実行すると制御部３４０が判断した場合、照明制御部３３ｄは、白色光源３７の光量を所定の適性光量に設定する。これにより、照明制御部３３ｄは、撮像条件を第１の露光量（第１の撮像条件）に設定する（ステップＳ１２５ｄ）。ステップＳ１２５ｄの後、ステップＳ１３０における処理が実行される。

ステップＳ１３５の後、照明制御部３３ｄは、白色光源３７の光量を適性光量の１／４に設定する。これにより、照明制御部３３ｄは、撮像条件を第２の露光量（第２の撮像条件）に設定する（ステップＳ１４０ｄ）。ステップＳ１４０ｄの後、ステップＳ１４５における処理が実行される。

ステップＳ１４５の後、照明制御部３３ｄは、白色光源３７の光量を適性光量の４倍に設定する。これにより、照明制御部３３ｄは、撮像条件を第３の露光量（第３の撮像条件）に設定する（ステップＳ１７０ｄ）。

ステップＳ１７０ｄの後、撮像素子２２は、１フレームの画像を生成し、かつ生成された画像を出力する（ステップＳ１７５ｄ）。ステップＳ１７５ｄの後、ステップＳ１５０における処理が実行される。

ステップＳ１５５ｃにおける画像処理は、図２２に示す処理を含む。第５の実施形態における画像処理と異なる部分を説明する。

画像セットＡおよび画像セットＢがＣＰＵ３４ｃに入力される。画像セットＡおよび画像セットＢの各々は、１枚の第１の露光画像、１枚の第２の露光画像、および１枚の第３の露光画像を含む。第１の露光画像は、撮像条件が第１の露光量であるときに生成された画像である。第２の露光画像は、撮像条件が第２の露光量であるときに生成された画像である。第３の露光画像は、撮像条件が第３の露光量であるときに生成された画像である。

適性判断部３４５は、動き検出処理（ステップＳ２００）において、セットＡの第１の露光画像およびセットＢの第１の露光画像に基づいて、２フレーム間の第１の動きを示す第１の値を算出する。適性判断部３４５は、動き検出処理において、セットＡの第２の露光画像およびセットＢの第２の露光画像に基づいて、２フレーム間の第２の動きを示す第２の値を算出する。適性判断部３４５は、動き検出処理において、セットＡの第３の露光画像およびセットＢの第３の露光画像に基づいて、２フレーム間の第３の動きを示す第３の値を算出する。例えば、適性判断部３４５は、画像の画素毎に２枚の画像間の各画素における画素値の差の絶対値を算出する。適性判断部３４５は、全てのセル５４における画素値の差の絶対値の合計を算出する。第１の値は、２枚の第１の露光画像から算出された画素値の差の絶対値の合計である。第２の値は、２枚の第２の露光画像から算出された画素値の差の絶対値の合計である。第３の値は、２枚の第３の露光画像から算出された絶対値の合計である。動きの検出方法は、他の方法であってもよい。

適性判断部３４５は、ステップＳ２０５において、動きが検出されたか否かを判断する。適性判断部３４５は、第１の値、第２の値、および第３の値の各々が所定値未満であるか否かを判断する。第１の値、第２の値、および第３の値の全てが所定値未満であると適性判断部３４５が判断した場合、適性判断部３４５は、動きが検出されなかった（動きが発生していない、または動きがない）と判断する。第１の値、第２の値、および第３の値の少なくとも１つが所定値以上であると適性判断部３４５が判断した場合、適性判断部３４５は、動きが検出された（動きが発生した、または動きがある）と判断する。

ノイズ低減部３４６は、ノイズ低減処理（ステップＳ２１５）において、セットＡの第１の露光画像およびセットＢの第１の露光画像に基づいて、第１のＮＲ画像（第４の画像）を生成する。第１のＮＲ画像の画素値は、２枚の第１の露光画像間の画素値の加算平均である。ノイズ低減部３４６は、ノイズ低減処理において、セットＡの第２の露光画像およびセットＢの第２の露光画像に基づいて、第２のＮＲ画像（第５の画像）を生成する。第２のＮＲ画像の画素値は、２枚の第２の露光画像間の画素値の加算平均である。ノイズ低減部３４６は、ノイズ低減処理において、セットＡの第３の露光画像およびセットＢの第３の露光画像に基づいて、第３のＮＲ画像（第６の画像）を生成する。第３のＮＲ画像の画素値は、２枚の第３の露光画像間の画素値の加算平均である。

ステップＳ２１５の後、合成処理部３４８は、合成処理を実行する。合成処理部３４８は、合成処理において、第１のＮＲ画像、第２のＮＲ画像、および第３のＮＲ画像を合成することにより、第３の画像を合成画像として生成する（ステップＳ２４０）。

合成画像において、白飛びおよび黒つぶれが抑えられている。ステップＳ２３０ｃにおいて合成画像が表示されたとき、視野内の暗い場所と視野内の明るい場所とが適切な明るさで表示される。

ステップＳ２１５におけるノイズ低減処理が実行されない場合、合成処理部３４８は、１つの画像セットを使用して合成処理を実行する。合成処理部３４８は、第１の露光量に対応する第１の露光画像と、第２の露光量に対応する第２の露光画像と、第３の露光量に対応する第３の露光画像とを合成することにより第３の画像を生成する。複数の画像セットから１つの画像セットが選択され、かつ合成処理部３４８は、選択された画像セットを使用して合成処理を実行してもよい。

適性判断部３４５は、動き検出処理において、第１の値、第２の値、および第３の値のいずれか１つのみを算出してもよい。適性判断部３４５は、第１の値、第２の値、および第３の値のいずれか１つのみに基づいて、動きが検出されたか否かを判断してもよい。適性判断部３４５は、動き検出処理において、第１の値、第２の値、および第３の値のいずれか２つのみを算出してもよい。適性判断部３４５は、第１の値、第２の値、および第３の値のいずれか２つのみに基づいて、動きが検出されたか否かを判断してもよい。

撮像素子２２は、３つの撮像条件のいずれか１つで複数枚の画像を生成し、かつ残りの２つの撮像条件で１枚の画像を生成してもよい。この場合、適性判断部３４５は、１つの撮像条件で生成された複数枚の画像に基づいて、第１の値、第２の値、および第３の値のいずれか１つを算出する。撮像素子２２は、３つの撮像条件のいずれか２つで複数枚の画像を生成し、かつ残りの１つの撮像条件で１枚の画像を生成してもよい。この場合、適性判断部３４５は、２つの撮像条件で生成された複数枚の画像に基づいて、第１の値、第２の値、および第３の値のいずれか２つを算出する。

合成処理部３４８は、２枚の画像を合成してもよい。２枚の画像の各々が生成されたときの白色光源３７の光量は、互いに異なる。合成処理部３４８は、４枚以上の画像を合成してもよい。４枚以上の画像の各々が生成されたときの白色光源３７の光量は、互いに異なる。

内視鏡装置１ｄは、第１の露光量における撮像と、第２の露光量における撮像と、第３の露光量における撮像との時間間隔を短縮することができる。そのため、第１の実施形態と同様に、画像処理結果の品質が向上する。画像において、露光量が変更される間の被写体の移動または挿入部２０の先端の移動による不自然なエッジの発生が抑制される。さらに、内視鏡装置１ｄはグローバル露光を行うため、ローリング歪の影響による画像処理結果の品質の悪化を低減できる。そのため、ＨＤＲ合成の結果の品質が向上する。

（第７の実施形態）
図２５は、本発明の第７の実施形態の内視鏡装置１ｅの構成を示す。図２に示す部分と同じ部分についての説明を省略する。

図２に示す本体部３は本体部３ｅに変更される。本体部３ｅにおいて、図２に示すＣＰＵ３４はＣＰＵ３４ｃに変更される。ＣＰＵ３４ｃは、図１９に示すＣＰＵ３４ｃと同じである。

図２と異なる部分の概略について説明する。観察光学系６０は、第１の光学系、第２の光学系、および切り替え部２５を有する。凹レンズ２３ａ、凸レンズ２４ａ、および結像光学系２６は、第１の光学系である。第１の光学系は、撮像素子２２の光学的な前方（被写体側）に配置され、かつ被写体からの光に基づく第１の光学像を撮像素子２２に形成する。凹レンズ２３ｂ、凸レンズ２４ｂ、および結像光学系２６は、第２の光学系である。第２の光学系は、撮像素子２２の光学的な前方（被写体側）に配置され、かつ被写体からの光に基づく第２の光学像を撮像素子２２に形成する。切り替え部２５は、第１の光学系および第２の光学系のいずれか１つを選択し、かつ第１の光学像および第２の光学像のいずれか１つのみを撮像素子２２上に形成させる。

第１の光学系の視野および第２の光学系の視野は、共通の領域を持つ。切り替え制御部３６は、切り替え部２５を制御することにより、撮像素子２２に形成される光学像を切り替える。第１の撮像条件において第１の光学像が撮像素子２２に形成される。第２の撮像条件において第２の光学像が撮像素子２２に形成される。合成処理部３４８は、共通の領域に対応する第１の画像の領域と、共通の領域に対応する第２の画像の領域との位置合わせを行い、かつ第１の画像および第２の画像を合成することにより、第３の画像を生成する。

切り替え制御部３６は、切り替え部２５に、複数の第１のフレーム期間において第１の撮像条件を設定させる。切り替え制御部３６は、切り替え部２５に、複数の第２のフレーム期間において第２の撮像条件を設定させる。複数の第２のフレーム期間の各々は、複数の第１のフレーム期間の各々と異なる。ノイズ低減部３４６は、複数枚の第１の画像にノイズ低減処理を実行することにより、第４の画像を生成する。ノイズ低減部３４６は、複数枚の第２の画像にノイズ低減処理を実行することにより、第５の画像を生成する。合成処理部３４８は、第４の画像および第５の画像を合成することにより第３の画像を生成する。

図２と異なる部分の詳細について説明する。第１の光学系および第２の光学系は、互いに視差を有する。そのため、第１の光学系の視野および第２の光学系の視野は互いに異なる。第１の光学系の光軸および第２の光学系の光軸は、互いにほぼ平行である。第１の光学系の視野の一部と第２の光学系の視野の一部とは、同じである。第１の光学系の視野は、第１の領域および共通領域を含む。第２の光学系の視野は、第２の領域および共通領域を含む。第２の領域は、第１の領域と異なる。

合成処理部３４８は、互いに視野が異なる複数枚の画像を合成することにより、パノラマ合成を実行する。合成処理部３４８は、パノラマ合成において、各画像の共通領域が含まれるように共通領域の位置合わせを行った後、複数枚の画像を合成する。パノラマ合成により、画像における視野が広がる。

内視鏡装置１は、図９に示す処理を実行する。図９に示すステップＳ１５５における画像処理は、図２２に示す処理を含む。第１の実施形態における画像処理と異なる部分を説明する。

合成処理部３４８は、合成処理（ステップＳ２４０）において、第１のＮＲ画像および第２のＮＲ画像を合成することにより、第３の画像を合成画像として生成する。この処理において、各画像の共通領域の位置合わせが行われ、第１のＮＲ画像の共通領域と第２のＮＲ画像の共通領域とが重なる。

ステップＳ２１５におけるノイズ低減処理が実行されない場合、合成処理部３４８は、１つの画像セットを使用して合成処理を実行する。合成処理部３４８は、第１の光学系に対応する第１の画像と、第２の光学系に対応する第２の画像とを合成することにより第３の画像を生成する。複数の画像セットから１つの画像セットが選択され、かつ合成処理部３４８は、選択された画像セットを使用して合成処理を実行してもよい。

第１の光学系の光軸と第２の光学系の光軸とが互いに平行でなくてもよい。例えば、第１の光学系の光軸は撮像素子２２の光学的な前方に伸び、かつ第１の光学系は左右における１２０度の視野を持ってもよい。第２の光学系の光軸は第１の光学系の光軸に直交し、かつ第２の光学系は左右における１２０度の視野を持ってもよい。この場合、第１の光学系の視野における右側の１５度の領域と、第２の光学系の視野における左側の１５度の領域とが共通領域である。

内視鏡装置１は、第１の視野における撮像と、第２の視野における撮像との時間間隔を短縮することができる。そのため、第１の実施形態と同様に、画像処理結果の品質が向上する。画像において、視野が変更される間の被写体の移動または挿入部２０の先端の移動による不自然なエッジの発生が抑制される。さらに、内視鏡装置１はグローバル露光を行うため、ローリング歪の影響による画像処理結果の品質の悪化を低減できる。そのため、パノラマ合成の結果の品質が向上する。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

１，１ａ，１ｂ，１ｃ，１ｄ，１ｅ 内視鏡装置
２ 内視鏡
３，３ａ，３ｂ，３ｃ，３ｄ，３ｅ 本体部
４ 操作部
５ 表示部
２０ 挿入部
２１，２１ａ，２１ｂ，２１ｃ，２１ｄ 光学アダプター
２２ 撮像素子
２３，２３ａ，２３ｂ 凹レンズ
２４，２４ａ，２４ｂ 凸レンズ
２５，２５ｃ 切り替え部
２６ 結像光学系
３０ 撮像制御部
３１ 映像処理部
３２，３２ａ 光源部
３３，３３ａ，３３ｄ 照明制御部
３４，３４ｃ ＣＰＵ
３５ メモリー
３６，３６ｂ，３６ｃ 切り替え制御部
３７ 白色光源
３８ レーザーダイオード（ＬＤ）
５０ 画素部
５１ 垂直走査部
５２ 信号処理部
５３ 水平走査部
５４ セル
５５ 信号処理回路
６０，６０ａ，６０ｃ 観察光学系
７０ 光電変換部
７１ 電荷転送部
７２ 電荷保持部
７３ 容量リセット部
７４ 増幅部
７５ 出力部
８０，８０ａ，８０ｂ 照明光学系
８１ 集光レンズ
８２ ライトガイド
８３，８７ ロッドレンズ
８４ 拡散レンズ
８５ ファイバー
８６ コリメーターレンズ
８８ 回折光学素子
８９ 縞生成部
３４０ 制御部
３４１ 表示処理部
３４２，３４２ｃ 画像処理部
３４３ 可視化処理部
３４４ 記録部
３４５ 適性判断部
３４６ ノイズ低減部
３４７ 計測処理部
３４８ 合成処理部
８９０ 第１の光路
８９１ 第２の光路
８９２ 第３の光路
８９３ 位相シフト部

Claims (24)

1. 照明光を生成する光源と、
   前記照明光を被写体に照射する照明光学系と、
   前記被写体の光学像を形成する観察光学系と、
   行列状に配置された複数の画素を有し、かつ前記被写体を撮像し、かつ第１の期間において画素信号を前記複数の画素の少なくとも一部から１行毎に順次読み出し、かつ前記複数の画素の少なくとも一部から読み出された前記画素信号に基づいて、複数のフレーム期間の各々において前記被写体の画像を生成し、前記画素信号は、前記被写体の前記光学像に基づいて生成される撮像素子と、
   前記撮像素子が前記被写体を撮像するための複数の撮像条件を切り替える切り替え部と、
   制御部と、
   を有し、
   前記制御部は、前記光源に、第２の期間において前記照明光を生成させ、前記第２の期間は、前記第１の期間を除く期間の少なくとも一部であり、
   前記制御部は、前記光源に、第３の期間において前記照明光の生成を停止させ、前記第３の期間は、前記第２の期間を除く期間の全てであり、かつ前記第１の期間を含み、前記第２の期間および前記第３の期間は交互に繰り返され、
   前記制御部は、前記切り替え部に、前記第３の期間において前記撮像条件の切り替えを開始させ、かつ前記第３の期間において前記撮像条件の切り替えを完了させる
   内視鏡装置。
2. 前記撮像素子は、前記第１の期間において、前記複数のフレーム期間の各々の長さの２分の１以下の時間で前記画素信号を読み出す
   請求項１に記載の内視鏡装置。
3. 複数のフレーム期間において生成された複数枚の前記画像に画像処理を実行する画像処理部をさらに有し、
   前記複数の撮像条件は、第１の撮像条件および第２の撮像条件を含み、
   前記第１の撮像条件および前記第２の撮像条件は互いに異なり、
   前記撮像素子は、前記第１の撮像条件で前記被写体を撮像することにより前記被写体の第１の画像を生成し、
   前記撮像素子は、前記第２の撮像条件で前記被写体を撮像することにより前記被写体の第２の画像を生成し、
   前記画像処理部は、前記第１の画像および前記第２の画像を処理する
   請求項１または請求項２に記載の内視鏡装置。
4. 前記撮像素子は、複数枚の前記第１の画像と複数枚の前記第２の画像との少なくとも一方を生成し、
   前記画像処理部は、前記複数枚の前記第１の画像が画像処理に適しているか否かを示す値と、前記複数枚の前記第２の画像が画像処理に適しているか否かを示す値との少なくとも一方を算出する
   請求項３に記載の内視鏡装置。
5. 前記撮像素子は、前記第１の撮像条件で前記被写体を撮像することにより複数枚の前記第１の画像を生成し、
   前記撮像素子は、前記第２の撮像条件で前記被写体を撮像することにより複数枚の前記第２の画像を生成し、
   前記画像処理部は、前記複数枚の前記第１の画像にノイズ低減処理を実行することにより、第３の画像を生成し、
   前記画像処理部は、前記複数枚の前記第２の画像に前記ノイズ低減処理を実行することにより、第４の画像を生成し、
   前記画像処理部は、前記第３の画像および前記第４の画像に、前記ノイズ低減処理と異なる処理を実行する
   請求項３または請求項４に記載の内視鏡装置。
6. 前記画像処理部は、前記第１の画像および前記第２の画像に基づいて、前記被写体の表面の少なくとも１点の３次元座標を算出する
   請求項３または請求項４に記載の内視鏡装置。
7. 前記画像処理部は、前記第３の画像および前記第４の画像に基づいて、前記被写体の表面の少なくとも１点の３次元座標を算出する
   請求項５に記載の内視鏡装置。
8. データ生成部をさらに有し、
   前記照明光は白色光であり、
   前記撮像素子は、赤のカラーフィルター、緑のカラーフィルター、および青のカラーフィルターを有し、
   前記撮像素子は、カラー画像を前記被写体の前記画像として生成し、
   前記カラー画像は、赤の明るさ、緑の明るさ、および青の明るさの各々の情報を持ち、
   前記データ生成部は、前記被写体の表面の複数の点の前記３次元座標と、前記複数の点の各々に対応する前記情報とが関連付けられたデータを生成する
   請求項６または請求項７に記載の内視鏡装置。
9. 前記観察光学系は、第１の光学系および第２の光学系を含み、
   前記第１の光学系および前記第２の光学系は、前記撮像素子の光学的な前方に配置され、
   前記第１の光学系は、第１の視点に対応する前記被写体の第１の光学像を前記撮像素子に形成し、
   前記第２の光学系は、前記第１の視点と異なる第２の視点に対応する前記被写体の第２の光学像を前記撮像素子に形成し、
   前記第１の撮像条件において前記切り替え部は、前記第１の光学系を通る光を前記撮像素子に入射させ、かつ前記第２の光学系を通る光を遮蔽し、
   前記第２の撮像条件において前記切り替え部は、前記第２の光学系を通る光を前記撮像素子に入射させ、かつ前記第１の光学系を通る光を遮蔽し、
   前記制御部は、前記切り替え部を制御することにより、前記撮像素子に形成される光学像を前記第１の光学像および前記第２の光学像の間で切り替え、
   前記画像処理部は、前記第１の光学像に対応する前記第１の画像と、前記第２の光学像に対応する前記第２の画像とに基づいて、パッシブステレオ法を使用することにより前記３次元座標を算出する
   請求項６または請求項８に記載の内視鏡装置。
10. 複数のフレーム期間の各々において複数枚の前記画像に画像処理を実行する画像処理部と、
    データ生成部と、
    をさらに有し、
    前記内視鏡装置は、前記光源として第１の光源および第２の光源を有し、
    前記照明光は、第１の照明光および第２の照明光を含み、
    前記第１の光源は、白色光を前記第１の照明光として生成し、
    前記第２の光源は、前記第２の照明光を生成し、
    前記照明光学系は、
    明部および暗部を含む空間的なパターンを前記第２の照明光に与えるパターン生成部
    を有し、
    前記照明光学系は、前記パターンが与えられた前記第２の照明光を前記被写体に照射し、
    前記複数の撮像条件は、第１の撮像条件および第２の撮像条件を含み、
    前記第１の撮像条件において、前記第１の照明光が前記被写体に照射され、かつ前記被写体への前記第２の照明光の照射が停止され、
    前記第２の撮像条件において、前記第２の照明光が前記被写体に照射され、かつ前記被写体への前記第１の照明光の照射が停止され、
    前記撮像素子は、前記第１の撮像条件で前記被写体を撮像することにより前記被写体の第１の画像を生成し、
    前記撮像素子は、前記第２の撮像条件で前記被写体を撮像することにより前記被写体の第２の画像を生成し、
    前記画像処理部は、前記第２の画像に基づいて、アクティブステレオ法を使用することにより前記被写体の表面の複数の点の３次元座標を算出し、
    前記撮像素子は、赤のカラーフィルター、緑のカラーフィルター、および青のカラーフィルターを有し、
    前記撮像素子は、カラー画像を前記第１の画像として生成し、
    前記カラー画像は、赤の明るさ、緑の明るさ、および青の明るさの各々を示す情報を持ち、
    前記データ生成部は、前記複数の点の前記３次元座標と、前記複数の点の各々に対応する前記情報とが関連付けられたデータを生成する
    請求項１または請求項２に記載の内視鏡装置。
11. 前記撮像素子は、複数枚の前記第１の画像と複数枚の前記第２の画像との少なくとも一方を生成し、
    前記画像処理部は、前記複数枚の前記第１の画像が画像処理に適しているか否かを示す値と、前記複数枚の前記第２の画像が画像処理に適しているか否かを示す値との少なくとも一方を算出する
    請求項１０に記載の内視鏡装置。
12. 前記撮像素子は、前記第２の撮像条件で前記被写体を撮像することにより複数枚の前記第２の画像を生成し、
    前記画像処理部は、前記複数枚の前記第２の画像にノイズ低減処理を実行することにより、第３の画像を生成し、
    前記画像処理部は、前記第３の画像に基づいて、前記複数の点の前記３次元座標を算出する
    請求項１０または請求項１１に記載の内視鏡装置。
13. 前記照明光学系は、
    明部および暗部を含む空間的なパターンを前記照明光に与えるパターン生成部
    を有し、
    前記複数の撮像条件は、第３の撮像条件をさらに含み、
    前記撮像素子は、前記第３の撮像条件で前記被写体を撮像することにより前記被写体の第３の画像を生成し、
    前記切り替え部は、前記照明光の前記パターンの位相をシフトさせることにより、前記第１の撮像条件、前記第２の撮像条件、および前記第３の撮像条件を切り替え、
    前記第１の撮像条件における前記パターンの位相と、前記第２の撮像条件における前記パターンの位相と、前記第３の撮像条件における前記パターンの位相とは互いに異なり、
    前記画像処理部は、少なくとも前記第１の画像、前記第２の画像、および前記第３の画像に基づいて、位相シフト法を使用することにより前記被写体の表面の複数の点の３次元座標を算出する
    請求項３に記載の内視鏡装置。
14. データ生成部をさらに有し、
    前記内視鏡装置は、前記光源として第１の光源および第２の光源を有し、
    前記照明光は、第１の照明光および第２の照明光を含み、
    前記第１の光源は、白色光を前記第１の照明光として生成し、
    前記第２の光源は、前記第２の照明光を生成し、
    前記パターン生成部は、前記パターンを前記第２の照明光に与え、
    前記複数の撮像条件は、第４の撮像条件をさらに含み、
    前記第１の撮像条件、前記第２の撮像条件、および前記第３の撮像条件において、前記第２の照明光が前記被写体に照射され、かつ前記被写体への前記第１の照明光の照射が停止され、
    前記第４の撮像条件において、前記第１の照明光が前記被写体に照射され、かつ前記被写体への前記第２の照明光の照射が停止され、
    前記撮像素子は、前記第４の撮像条件で前記被写体を撮像することにより前記被写体の第４の画像を生成し、
    前記撮像素子は、赤のカラーフィルター、緑のカラーフィルター、および青のカラーフィルターを有し、
    前記撮像素子は、カラー画像を前記第４の画像として生成し、
    前記カラー画像は、赤の明るさ、緑の明るさ、および青の明るさの各々の情報を持ち、
    前記データ生成部は、前記複数の点の前記３次元座標と、前記複数の点の各々に対応する前記情報とが関連付けられたデータを生成する
    請求項１３に記載の内視鏡装置。
15. 前記撮像素子は、複数枚の前記第１の画像と複数枚の前記第２の画像と複数枚の前記第３の画像と複数枚の前記第４の画像との少なくとも１つを生成し、
    前記画像処理部は、前記複数枚の前記第１の画像が画像処理に適しているか否かを示す値と、前記複数枚の前記第２の画像が画像処理に適しているか否かを示す値と、前記複数枚の前記第３の画像が画像処理に適しているか否かを示す値と、前記複数枚の前記第４の画像が画像処理に適しているか否かを示す値との少なくとも１つを算出する
    請求項１４に記載の内視鏡装置。
16. 前記制御部は、前記切り替え部に、複数の第１のフレーム期間において前記第１の撮像条件を設定させ、
    前記制御部は、前記切り替え部に、複数の第２のフレーム期間において前記第２の撮像条件を設定させ、前記複数の第２のフレーム期間の各々は、前記複数の第１のフレーム期間の各々と異なり、
    前記制御部は、前記切り替え部に、複数の第３のフレーム期間において前記第３の撮像条件を設定させ、前記複数の第３のフレーム期間の各々は、前記複数の第１のフレーム期間の各々と異なり、かつ前記複数の第２のフレーム期間の各々と異なり、
    前記画像処理部は、複数枚の前記第１の画像にノイズ低減処理を実行することにより、第５の画像を生成し、
    前記画像処理部は、複数枚の前記第２の画像に前記ノイズ低減処理を実行することにより、第６の画像を生成し、
    前記画像処理部は、複数枚の前記第３の画像に前記ノイズ低減処理を実行することにより、第７の画像を生成し、
    前記画像処理部は、前記第５の画像、前記第６の画像、および前記第７の画像に基づいて、前記複数の点の前記３次元座標を算出する
    請求項１３から請求項１５のいずれか一項に記載の内視鏡装置。
17. 前記第１の撮像条件における前記観察光学系のピントと、前記第２の撮像条件における前記観察光学系の前記ピントとは互いに異なり、
    前記画像処理部は、前記第１の画像および前記第２の画像を合成することにより第３の画像を生成する
    請求項３または請求項４に記載の内視鏡装置。
18. 前記第１の撮像条件における前記光源の光量と、前記第２の撮像条件における前記光源の光量とは互いに異なり、
    前記画像処理部は、前記第１の画像および前記第２の画像を合成することにより第３の画像を生成する
    請求項３または請求項４に記載の内視鏡装置。
19. 前記観察光学系は、
    前記撮像素子の光学的な前方に配置され、かつ前記被写体の第１の光学像を前記撮像素子に形成する第１の光学系と、
    前記撮像素子の光学的な前方に配置され、かつ前記被写体の第２の光学像を前記撮像素子に形成する第２の光学系と、
    前記第１の光学系および前記第２の光学系のいずれか１つを選択し、かつ前記第１の光学像および前記第２の光学像のいずれか１つのみを前記撮像素子上に形成させる前記切り替え部と、
    を有し、
    前記第１の光学系の視野および前記第２の光学系の視野は、共通の領域を持ち、
    前記切り替え制御部は、前記切り替え部を制御することにより、前記撮像素子に形成される前記光学像を切り替え、
    前記第１の撮像条件において前記第１の光学像が前記撮像素子に形成され、
    前記第２の撮像条件において前記第２の光学像が前記撮像素子に形成され、
    前記画像処理部は、前記共通の領域に対応する前記第１の画像の領域と、前記共通の領域に対応する前記第２の画像の領域との位置合わせを行い、かつ前記第１の画像および前記第２の画像を合成することにより、第３の画像を生成する
    請求項３または請求項４に記載の内視鏡装置。
20. 前記制御部は、前記切り替え部に、複数の第１のフレーム期間において前記第１の撮像条件を設定させ、
    前記制御部は、前記切り替え部に、複数の第２のフレーム期間において前記第２の撮像条件を設定させ、前記複数の第２のフレーム期間の各々は、前記複数の第１のフレーム期間の各々と異なり、
    前記画像処理部は、複数枚の前記第１の画像にノイズ低減処理を実行することにより、第４の画像を生成し、
    前記画像処理部は、複数枚の前記第２の画像に前記ノイズ低減処理を実行することにより、第５の画像を生成し、
    前記画像処理部は、前記第４の画像および前記第５の画像を合成することにより前記第３の画像を生成する
    請求項１７から請求項１９のいずれか一項に記載の内視鏡装置。
21. 前記値の算出結果を表示するディスプレイをさらに有する
    請求項４、請求項１１、および請求項１５のいずれか一項に記載の内視鏡装置。
22. 第１のステップ、第２のステップ、および第３のステップを含む内視鏡装置の作動方法であって、
    前記内視鏡装置は、
    照明光を生成する光源と、
    前記照明光を被写体に照射する照明光学系と、
    前記被写体の光学像を形成する観察光学系と、
    行列状に配置された複数の画素を有し、かつ前記被写体を撮像し、かつ第１の期間において画素信号を前記複数の画素の少なくとも一部から１行毎に順次読み出し、かつ前記複数の画素の少なくとも一部から読み出された前記画素信号に基づいて、複数のフレーム期間の各々において前記被写体の画像を生成し、前記画素信号は、前記被写体の前記光学像に基づいて生成される撮像素子と、
    前記撮像素子が前記被写体を撮像するための複数の撮像条件を切り替える切り替え部と、
    制御部と、
    を有し、
    前記制御部は、前記第１のステップにおいて、前記光源に、第２の期間において前記照明光を生成させ、前記第２の期間は、前記第１の期間を除く期間の少なくとも一部であり、
    前記制御部は、前記第２のステップにおいて、前記光源に、第３の期間において前記照明光の生成を停止させ、前記第３の期間は、前記第２の期間を除く期間の全てであり、かつ前記第１の期間を含み、前記第２の期間および前記第３の期間は交互に繰り返され、
    前記制御部は、前記第３のステップにおいて、前記切り替え部に、前記第３の期間において前記撮像条件の切り替えを開始させ、かつ前記第３の期間において前記撮像条件の切り替えを完了させる
    内視鏡装置の作動方法。
23. 第１のステップ、第２のステップ、および第３のステップを内視鏡装置のプロセッサに実行させるためのプログラムであって、
    前記内視鏡装置は、
    照明光を生成する光源と、
    前記照明光を被写体に照射する照明光学系と、
    前記被写体の光学像を形成する観察光学系と、
    行列状に配置された複数の画素を有し、かつ前記被写体を撮像し、かつ第１の期間において画素信号を前記複数の画素の少なくとも一部から１行毎に順次読み出し、かつ前記複数の画素の少なくとも一部から読み出された前記画素信号に基づいて、複数のフレーム期間の各々において前記被写体の画像を生成し、前記画素信号は、前記被写体の前記光学像に基づいて生成される撮像素子と、
    前記撮像素子が前記被写体を撮像するための複数の撮像条件を切り替える切り替え部と、
    前記プロセッサと、
    を有し、
    前記プロセッサは、前記第１のステップにおいて、前記光源に、第２の期間において前記照明光を生成させ、前記第２の期間は、前記第１の期間を除く期間の少なくとも一部であり、
    前記プロセッサは、前記第２のステップにおいて、前記光源に、第３の期間において前記照明光の生成を停止させ、前記第３の期間は、前記第２の期間を除く期間の全てであり、かつ前記第１の期間を含み、前記第２の期間および前記第３の期間は交互に繰り返され、
    前記プロセッサは、前記第３のステップにおいて、前記切り替え部に、前記第３の期間において前記撮像条件の切り替えを開始させ、かつ前記第３の期間において前記撮像条件の切り替えを完了させる
    プログラム。
24. 第１のステップ、第２のステップ、および第３のステップを内視鏡装置のプロセッサに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記内視鏡装置は、
    照明光を生成する光源と、
    前記照明光を被写体に照射する照明光学系と、
    前記被写体の光学像を形成する観察光学系と、
    行列状に配置された複数の画素を有し、かつ前記被写体を撮像し、かつ第１の期間において画素信号を前記複数の画素の少なくとも一部から１行毎に順次読み出し、かつ前記複数の画素の少なくとも一部から読み出された前記画素信号に基づいて、複数のフレーム期間の各々において前記被写体の画像を生成し、前記画素信号は、前記被写体の前記光学像に基づいて生成される撮像素子と、
    前記撮像素子が前記被写体を撮像するための複数の撮像条件を切り替える切り替え部と、
    前記プロセッサと、
    を有し、
    前記プロセッサは、前記第１のステップにおいて、前記光源に、第２の期間において前記照明光を生成させ、前記第２の期間は、前記第１の期間を除く期間の少なくとも一部であり、
    前記プロセッサは、前記第２のステップにおいて、前記光源に、第３の期間において前記照明光の生成を停止させ、前記第３の期間は、前記第２の期間を除く期間の全てであり、かつ前記第１の期間を含み、前記第２の期間および前記第３の期間は交互に繰り返され、
    前記プロセッサは、前記第３のステップにおいて、前記切り替え部に、前記第３の期間において前記撮像条件の切り替えを開始させ、かつ前記第３の期間において前記撮像条件の切り替えを完了させる
    記録媒体。