JP2018182580A - 撮像装置及び撮像装置の制御プログラム - Google Patents

Abstract

【課題】観察するのに十分な画質を確保すること。【解決手段】実施形態の撮像装置は、イメージセンサと、制御部とを備える。イメージセンサは、行列状に配置された、受光により電気信号を発生する複数の画素を含み、前記複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に前記電気信号を出力する処理を、１フレーム毎に繰り返す、ローリングシャッタ方式のイメージセンサである。制御部は、前記複数の画素が光を受光する受光期間と、前記複数の画素の各行の露光期間に共通するグローバル露光期間とを同期させる制御を、１フレーム毎に繰り返す。【選択図】図１

Description

本発明の実施形態は、撮像装置及び撮像装置の制御プログラムに関する。

撮像装置、例えば、内視鏡装置では、以前は、ＣＣＤ（Charge Coupled Device）イメージセンサが主流であったが、近年、低コスト化、単電源化、低消費電力化等の利点を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが主流になっている。ＣＭＯＳイメージセンサでは、ローリングシャッタ方式が一般的に多く採用されている。

国際公開第２０１４／１２５７２４号 特許第６０１９１６７号公報

本発明が解決しようとする課題は、観察するのに十分な画質を確保することができる撮像装置及び撮像装置の制御プログラムを提供することである。

実施形態の撮像装置は、イメージセンサと、制御部とを備える。イメージセンサは、行列状に配置された、受光により電気信号を発生する複数の画素を含み、前記複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に前記電気信号を出力する処理を、１フレーム毎に繰り返す、ローリングシャッタ方式のイメージセンサである。制御部は、前記複数の画素が光を受光する受光期間と、前記複数の画素の各行の露光期間に共通するグローバル露光期間とを同期させる制御を、１フレーム毎に繰り返す。

図１は、第１の実施形態に係る撮像装置を備える撮像システムの構成例を示す図である。 図２は、比較例に係る撮像装置の動作の一例を説明するための図である。 図３は、第１の実施形態に係る撮像装置の動作の一例を説明するための図である。 図４は、第１の実施形態に係る制御処理の流れを示すフローチャートである。 図５は、第２の実施形態に係る撮像装置の動作の一例を説明するための図である。 図６は、第２の実施形態の第１の変形例に係る撮像装置の動作の一例を説明するための図である。 図７は、第３の実施形態に係る撮像装置を備える撮像システムの構成例を示す図である。 図８は、第３の実施形態に係る撮像装置の動作の一例を説明するための図である。 図９は、ディスプレイに表示される合成画像の一例を示す図である。 図１０は、第３の実施形態に係る制御処理の流れを示すフローチャートである。 図１１は、第５の実施形態に係る撮像装置を備える撮像システムの構成例を示す図である。 図１２は、第１の波長選択フィルタ及び第２の波長選択フィルタにより選択される光の波長帯域の一例を説明するための図である。 図１３は、第１の波長選択フィルタ及び第２の波長選択フィルタにより選択される光の波長帯域の一例を説明するための図である。 図１４は、第１の波長選択フィルタ及び第２の波長選択フィルタにより選択される光の波長帯域の一例を説明するための図である。

以下、図面を参照して、各実施形態に係る撮像装置及び撮像装置の制御プログラムを説明する。なお、実施形態は、以下の内容に限られるものではない。また、１つの実施形態や変形例に記載した内容は、原則として他の実施形態や変形例にも同様に適用される。

（第１の実施形態）
図１は、第１の実施形態に係る撮像装置１０を備える撮像システム１の構成例を示す図である。図１に示すように、第１の実施形態に係る撮像システム１は、撮像装置１０と、光源３０と、光ファイバ３１とを備える。

撮像装置１０は、例えば、医療用の硬性内視鏡として用いられ、被検体１００の体内を撮像する装置である。撮像装置１０は、スコープ１１と、カメラヘッド１２と、カメラケーブル１３と、ＣＣＵ（Camera Control Unit）１４とを備える。

スコープ１１は、撮像が行われる際に、被検体１００の体内に挿入される。スコープ１１の先端には、対物レンズ１１ａが設けられている。スコープ１１は、屈曲しない硬性を有する。

カメラヘッド１２は、イメージセンサ１２ａと、ベイヤフィルタ１２ｂと、イメージセンサ制御回路１２ｃとを備える。イメージセンサ１２ａは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。イメージセンサ１２ａの撮像面１２ａ＿１と、対物レンズ１１ａの結像面とが略一致するように、イメージセンサ１２ａが配置される。イメージセンサ１２ａは、複数の画素（撮像要素）を備える。複数の画素は、イメージセンサ１２ａの撮像面１２ａ＿１において行列状に配置される。イメージセンサ１２ａの各画素は、イメージセンサ制御回路１２ｃによる駆動制御により、光を受光することにより映像信号（電気信号）を発生し、発生した映像信号を出力する。例えば、イメージセンサ１２ａの各画素は、光源３０により被検体１００の体内組織に照射された光の戻り光（反射光）を受光することにより、映像信号を出力する。

イメージセンサ１２ａは、複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に映像信号を出力する処理を、１フレーム（画像）毎に繰り返すローリングシャッタ方式のイメージセンサである。ここで、露光とは、例えば、画素が電荷を蓄積することを意味する。例えば、イメージセンサ１２ａは、カメラケーブル１３を介して、ＣＣＵ１４に映像信号を出力する。なお、イメージセンサ１２ａからは、アナログ信号又はデジタル信号の映像信号が出力される。

本実施形態では、イメージセンサ１２ａの撮像面１２ａ＿１側に、各画素に赤色（Ｒ）フィルタ、緑色（Ｇ）フィルタ及び青色（Ｂ）フィルタのいずれかが対向するように配置されたベイヤフィルタ１２ｂが設けられている。このように、１つの画素に対して１つの色のフィルタが対応する。イメージセンサ１２ａは、画素毎に、当該画素に対応するフィルタの色の映像信号を出力する。なお、後述のＤＳＰ１４ｂにより、画素毎に、当該画素の周辺の画素から出力される映像信号に基づいて、直接得られない残りの２色の各映像信号を推定する推定処理が実行される。この結果、撮像装置１０は、画素毎に、映像信号としてＲＧＢ信号を得ることができる。

イメージセンサ制御回路１２ｃは、後述するＭＰＵ１４ａから出力された制御信号、並びに、後述するＴＧ１４ｃから出力された水平同期信号及び垂直同期信号等の各種の同期信号に基づいてイメージセンサ１２ａを駆動制御する。

なお、カメラヘッド１２は、イメージセンサ１２ａ及びベイヤフィルタ１２ｂに代えて、入射光を赤色の光、緑色の光及び青色の光に分光する分光プリズムと、３つ（複数）のイメージセンサとを備えてもよい。この場合には、分光された赤色の光を受光するイメージセンサがＲ信号を出力し、分光された緑色の光を受光するイメージセンサがＧ信号を出力し、分光された青色の光を受光するイメージセンサがＢ信号を出力する。すなわち、複数のイメージセンサそれぞれの複数の画素は、対応する種類の光を受光することにより映像信号を出力する。このため、この場合には、後述のＤＳＰ１４ｂにより上述した推定処理は実行されない。なお、カメラヘッド１２が複数のイメージセンサを備える場合には、半画素ずらしという手法を用いて、画像の高解像度化を図ってもよい。

カメラケーブル１３は、カメラヘッド１２とＣＣＵ１４との間で映像信号、制御信号及び同期信号を送受信するための信号線を収容するケーブルである。

ＣＣＵ１４は、カメラヘッド１２から出力された映像信号に基づいて画像データを生成し、ＣＣＵ１４に接続されたディスプレイ１０１に画像データを出力する。ＣＣＵ１４は、ＭＰＵ（Micro-Processing Unit）１４ａと、ＤＳＰ（Digital Signal Processor）１４ｂと、ＴＧ（Timing Generator）１４ｃと、Ｏｕｔｐｕｔ Ｉ／Ｆ１４ｄ（以下、Ｉ／Ｆ１４ｄと表記する）と、記憶回路１４ｅとを備える。イメージセンサ１２ａがアナログ信号の映像信号を出力する場合、ＣＣＵ１４は、図示しないＡＤ（Analog to Digital）コンバータ等を備える。かかるＡＤコンバータは、例えば、イメージセンサ１２ａから出力されたアナログ信号の映像信号をデジタル信号の映像信号に変換する。すなわち、ＡＤコンバータは、アナログ形式の映像信号をデジタル形式の映像信号に変換する。

ＭＰＵ１４ａは、撮像装置１０の各種の構成要素を制御する。例えば、ＭＰＵ１４ａは、イメージセンサ制御回路１２ｃ、ＤＳＰ１４ｂ及びＴＧ１４ｃに対して制御信号を出力して、カメラヘッド１２、ＤＳＰ１４ｂやＴＧ１４ｃを制御する。ＭＰＵ１４ａは、例えば、記憶回路１４ｅに記憶された撮像装置１０の制御プログラムを読み込み、読み込んだ制御プログラムを実行することで、撮像装置１０の各種の構成要素を制御する制御処理を実行する。或いは、ＭＰＵ１４ａは、内部に図示しない記憶回路を有しており、当該記憶回路に記憶された制御プログラムを実行する。

ＤＳＰ１４ｂは、ＭＰＵ１４ａから出力された制御信号、並びに、ＴＧ１４ｃから出力された水平同期信号及び垂直同期信号等の各種の同期信号に基づいて、デジタル信号である映像信号に対して各種の信号処理を施す。例えば、ＤＳＰ１４ｂは、イメージセンサ１２ａからデジタル信号の映像信号が出力される場合には、この映像信号に対して各種の信号処理を施す。又は、ＤＳＰ１４ｂは、イメージセンサ１２ａからアナログ信号の映像信号が出力される場合には、ＡＤコンバータによりデジタル形式に変換された映像信号に対して各種の信号処理を施す。

イメージセンサ１２ａがアナログ信号の映像信号を出力する場合、例えば、ＤＳＰ１４ｂは、イメージセンサ１２ａの画素毎に、当該画素の周辺の画素から出力される映像信号に基づいて、イメージセンサ１２ａにおいて直接得られない残りの２色の各映像信号を推定する。そして、ＤＳＰ１４ｂは、映像信号に対して信号処理が施された結果得られたＲＧＢ信号を、ディスプレイ１０１に表示される画像を示す画像データとしてＩ／Ｆ１４ｄに出力する。このように、ＤＳＰ１４ｂは、デジタル形式に変換された映像信号に基づいて、画像データを生成して出力する。ＤＳＰ１４ｂは、信号処理部の一例である。

ＴＧ１４ｃは、図示しない発振回路により生成されたクロック信号を基に水平同期信号及び垂直同期信号や、撮像装置１０全体の同期をとるためのその他の同期信号等の各種の同期信号を生成する。そして、ＴＧ１４ｃは、生成した各種の同期信号をイメージセンサ制御回路１２ｃ、ＭＰＵ１４ａやＤＳＰ１４ｂに出力する。また、ＴＧ１４ｃは、クロック信号、及び、ＭＰＵ１４ａから出力された制御信号を基に、光源制御信号を生成する。光源制御信号は、光源３０から出射される光を制御するとともに撮像装置１０全体の同期をとるための制御信号である。そして、ＴＧ１４ｃは、生成した光源制御信号を光源３０に出力する。ＴＧ１４ｃは、例えば、ＦＰＧＡ（Field Programmable Gate Array）により実現される。ＴＧ１４ｃ及び上述したＭＰＵ１４ａは、制御部の一例である。

Ｉ／Ｆ１４ｄは、ＤＳＰ１４ｂから出力されたＲＧＢ信号（画像データ）をディスプレイ１０１に出力する。これにより、ディスプレイ１０１は、ＲＧＢ信号に基づいた画像を表示する。Ｉ／Ｆ１４ｄは、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）ドライバＩＣ（Integrated Circuit）やＳＤＩ（Serial Digital Interface）ドライバＩＣなどにより実現される。

記憶回路１４ｅは、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。記憶回路１４ｅは、各種のプログラムを記憶する。例えば、記憶回路１４ｅは、ＭＰＵ１４ａが内部に記憶回路を有していない場合、ＭＰＵ１４ａにより実行される制御プログラムを記憶する。また、記憶回路１４ｅには、ＤＳＰ１４ｂにより映像信号が格納される。

光源３０は、光源制御信号に基づいて、白色光を出射する。光源３０は、駆動回路３０ａと、白色ＬＥＤ（Light Emitting Diode）３０ｂとを備える。駆動回路３０ａは、ＴＧ１４ｃから出力される光源制御信号に基づいて、白色ＬＥＤ３０ｂを駆動させて点灯させる駆動制御を行う。白色ＬＥＤ３０ｂは、駆動回路３０ａによる駆動制御により、白色光を出射する。白色光は、例えば、可視光である。また、白色光は、光の一例である。また、白色光は、第１の光の一例でもある。光ファイバ３１は、光源３０からの白色光をスコープ１１の先端部に導いて、スコープ１１の先端部から出射させる。

以上、第１の実施形態に係る撮像システム１の撮像装置１０の構成例について説明した。ここで、比較例に係る撮像装置について説明する。比較例に係る撮像装置は、ローリングシャッタ方式のイメージセンサを備える。

図２は、比較例に係る撮像装置の動作の一例を説明するための図である。図２には、比較例に係る撮像装置のイメージセンサが備える複数の画素の各行の露光タイミングと、イメージセンサから出力される映像信号の出力タイミングとの関係の一例が示されている。図２に示すように、比較例に係る撮像装置では、１フレーム目の露光タイミングとして、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。比較例に係る撮像装置では、露光期間は、１／６０［ｓ］である。ここで、露光期間とは、例えば、画素が電荷の蓄積を開始してから終了するまでの期間を意味する。

そして、図２に示すように、比較例に係る撮像装置では、露光が終了した行から順に映像信号が出力される。すなわち、最初の行から最後の行に向かって行毎に、１フレーム目の映像信号が順々に出力される。ここで、比較例に係る撮像装置では、イメージセンサから１フレームの映像信号が出力される期間（読み出し期間）は、露光期間と同じ１／６０［ｓ］である。そして、図２に示すように、２フレーム目以降も同様の処理が行われる。

比較例に係る撮像装置では、イメージセンサは、複数の画素の全ての行において、光を受光する期間（受光期間）が露光期間と同じ期間である。そのため、最初の行から最後の行に向かって、各行の受光期間が順々に時間軸方向にずれている。このように、比較例に係る撮像装置では、行毎に受光期間が異なるため、画像に歪みが発生してしまう場合がある。この場合、画像を観察する医師等のユーザにとって、観察するのに画質が十分でないという問題がある。

そこで、第１の実施形態に係る撮像装置１０は、上述した構成のもと、ユーザが観察するのに十分な画質を確保することができるように、以下の動作を行う。

本実施形態では、イメージセンサ１２ａの露光期間は、撮像装置１０からディスプレイ１０１に１フレームの映像信号が出力される期間と同一である。そして、ＭＰＵ１４ａは、露光期間よりも、読み出し期間が短くなるようにイメージセンサ１２ａを制御するための制御信号をイメージセンサ制御回路１２ｃに出力する。

具体例を挙げて説明すると、撮像装置１０からディスプレイ１０１に出力される映像信号（画像）のフレームレートを、Ａ［ｆｐｓ（frame per second）］とする。この場合、読み出し期間を、１／（Ｍ・Ａ）［ｓ］とすることが可能なイメージセンサを、撮像装置１０のイメージセンサ１２ａとして用いる。すなわち、１／(Ｍ・ｎ・Ａ)［ｓ］毎に、各行の映像信号を出力することが可能なイメージセンサをイメージセンサ１２ａとして用いる。ただし、ただし、「Ｍ」は、１よりも大きい数であり、「ｎ」は、イメージセンサ１２ａの画素の行数である。以下、Ｍ＝２の場合を例に挙げて説明するが、Ｍは、２とは異なる数であって１よりも大きい数であってもよい。

そして、ＭＰＵ１４ａは、露光期間１／Ａ［ｓ］よりも短い読み出し期間１／（２Ａ）［ｓ］で１フレームの映像信号をイメージセンサ１２ａに出力させるための制御信号をイメージセンサ制御回路１２ｃに出力する。

以下、Ａ＝６０の場合を例に挙げて説明する。つまり、露光期間と、撮像装置１０からディスプレイ１０１に１フレームの映像信号が出力される期間とが同一の１／６０［ｓ］であり、読み出し期間が１／１２０［ｓ］である場合について、以下、説明する。

図３は、第１の実施形態に係る撮像装置１０の動作の一例を説明するための図である。図３には、第１の実施形態に係る撮像装置１０のイメージセンサ１２ａが備える複数の画素の各行の露光タイミングと、イメージセンサ１２ａから出力される映像信号の出力タイミングと、Ｉ／Ｆ１４ｄから出力される映像信号の出力タイミングとの関係の一例が示されている。更に、図３には、ＴＧ１４ｃから出力される光源制御信号の一例が示されている。

図３に示すように、撮像装置１０では、１フレーム目の撮像において、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。

ＴＧ１４ｃは、１フレーム目の最後の行の露光が開始される時間Ｔ０から、１フレーム目の最初の行の露光が終了される時間Ｔ１までの期間１／１２０［ｓ］の間のみ白色光を出射させるための光源制御信号２３を駆動回路３０ａに出力する。図３に示すように、光源制御信号２３の波形は、矩形波であり、光源制御信号２３は、ハイ（ｈｉｇｈ）レベル２１及びロー（ｌｏｗ）レベル２２の２つのレベル（状態）を有する。光源制御信号２３は、ハイレベル２１の間、光源３０の白色ＬＥＤ３０ｂを点灯させて（白色ＬＥＤ３０ｂから白色光を出射させて）、ローレベル２２の間、白色ＬＥＤ３０ｂを消灯させる制御信号である。駆動回路３０ａは、光源制御信号２３に基づいて、時間Ｔ０から時間Ｔ１までの期間のみ、白色ＬＥＤ３０ｂに白色光を出射させる。

ここで、時間Ｔ０から時間Ｔ１までの期間は、イメージセンサ１２ａの複数の画素の各行の露光期間に共通する期間（グローバル露光期間）である。本実施形態では、各フレームの撮像において、グローバル露光期間のみ、複数の画素が白色光を受光する。すなわち、各フレームの撮像において、複数の画素が白色光を受光する受光期間が、全ての行で略一致する。このように、ＴＧ１４ｃは、受光期間とグローバル露光期間とを同期させる制御を、１フレーム毎に繰り返す。ここで、ＴＧ１４ｃは、受光期間を制御することにより、受光期間とグローバル露光期間とを同期させる。より具体的には、ＴＧ１４ｃは、光源３０から出射される白色光の出射タイミングを制御することにより、受光期間を制御する。このように、ＴＧ１４ｃは、受光期間がグローバル露光期間と略一致するように制御する。

このため、第１の実施形態に係る撮像装置１０は、画像の歪みの発生を抑制することができる。したがって、第１の実施形態に係る撮像装置１０によれば、画像を観察する医師等のユーザにとって、観察するのに十分な画質を確保することができる。

そして、ＭＰＵ１４ａは、時間Ｔ１から、読み出し期間１／１２０［ｓ］で１フレーム目の映像信号をイメージセンサ１２ａに出力させるための制御信号をイメージセンサ制御回路１２ｃに出力する。すなわち、ＭＰＵ１４ａは、時間Ｔ１から、１／（１２０ｎ）［ｓ］毎に各行から映像信号を出力することをイメージセンサ１２ａに開始させるための制御信号をイメージセンサ制御回路１２ｃに出力する。イメージセンサ制御回路１２ｃは、かかる制御信号に基づいて、イメージセンサ１２ａを駆動制御する。この結果、イメージセンサ１２ａは、１フレーム目の撮像において、時間Ｔ１から時間Ｔ２までの読み出し期間１／１２０［ｓ］で、全ての行（ｎ行）から映像信号を出力する。

そして、ＤＳＰ１４ｂは、１フレーム目の撮像において、イメージセンサ１２ａの各行から出力された映像信号が入力される度に、各行から出力された映像信号に対して各種の信号処理を施す。ここで、単純に、ＤＳＰ１４ｂが、各種の信号処理を各行から出力された映像信号に施す度に、各種の信号処理が施された映像信号をＩ／Ｆ１４ｄに出力する場合について説明する。この場合には、Ｉ／Ｆ１４ｄからディスプレイ１０１には、１／１２０［ｓ］で、１フレームの映像信号が出力される。

すると、あるフレームの撮像において最後の行からの映像信号がディスプレイ１０１に出力されてから、その次のフレームの撮像において最初の行からの映像信号がディスプレイ１０１に出力されるまでの１／１２０［ｓ］の間、ディスプレイ１０１に対して映像信号が出力されない期間が存在することとなる。映像信号が出力されない期間は、ディスプレイ１０１に表示される画像が更新されない期間でもある。このため、画像が更新される１／１２０［ｓ］の期間と、画像が更新されない１／１２０［ｓ］の期間とが交互に並ぶ。このような場合、画像の更新頻度が一定でないため、ディスプレイ１０１は、入力に対応できないことがある。

そこで、本実施形態では、画像の更新頻度が一定となるように、Ｉ／Ｆ１４ｄからディスプレイ１０１に出力される１フレームの映像信号のフレームレートを、６０［ｆｐｓ］に設定している。すなわち、あるフレームの撮像において最後の行からの映像信号がディスプレイ１０１に出力されてから、その次のフレームの撮像において最初の行からの映像信号がディスプレイ１０１に出力されるまでの期間を短縮している。このため、ＤＳＰ１４ｂは、各種の信号処理が施された各行からの映像信号（ＲＧＢ信号）を一時的に記憶回路１４ｅに格納する。そして、ＤＳＰ１４ｂは、時間Ｔ１から、１／（６０ｎ）［ｓ］毎に各行から出力されたＲＧＢ信号を記憶回路１４ｅから順々に読み出す。

そして、ＤＳＰ１４ｂは、各行から出力された映像信号を読み出す度に（１／（６０ｎ）［ｓ］毎に）、各行から出力された映像信号をＩ／Ｆ１４ｄに出力する。すなわち、ＤＳＰ１４ｂは、時間Ｔ１から時間Ｔ３までの期間１／６０［ｓ］で、１フレーム目の撮像において全ての行から出力された映像信号をＩ／Ｆ１４ｄに出力する。これにより、Ｉ／Ｆ１４ｄは、時間Ｔ１から時間Ｔ３までの期間１／６０［ｓ］で、１フレーム目の撮像において全ての行から出力された映像信号をディスプレイ１０１に出力する。そして、２フレーム目以降も同様の処理が行われる。この結果、あるフレームの撮像において最後の行からの映像信号がディスプレイ１０１に出力されてから、その次のフレームの撮像において最初の行からの映像信号がディスプレイ１０１に出力されるまでの期間が短縮される。このため、ディスプレイ１０１は、入力に対応することができる。また、ディスプレイ１０１に表示される画像が、滑らかに更新される。

なお、ＤＳＰ１４ｂが、各種の信号処理が施された各行からの映像信号を記憶回路１４ｅに格納し、記憶回路１４ｅから１／（６０ｎ）［ｓ］毎に各行からの映像信号を順々に読み出して出力する場合について説明したが、他の処理を行ってもよい。例えば、ＤＳＰ１４ｂは、各種の信号処理を施す前に、映像信号を記憶回路１４ｅに格納し、記憶回路１４ｅから１／（６０ｎ）［ｓ］毎に各行からの映像信号を順々に読み出し、各行からの映像信号を読み出す度に、読み出された各行からの映像信号に対して各種の信号処理を施してＩ／Ｆ１４ｄに出力してもよい。

次に、第１の実施形態に係る制御処理の一例について説明する。例えば、制御処理は、第１の実施形態に係るＭＰＵ１４ａにより実行される。図４は、第１の実施形態に係る制御処理の流れを示すフローチャートである。かかる制御処理は、図示しないマウスやキーボード等のユーザからの指示を受け付ける入力装置により、被検体１００の体内の撮像を開始する指示がＣＣＵ１４に入力された場合に、ＭＰＵ１４ａにより実行される。

図４に示すように、ＭＰＵ１４ａは、変数Ｎに「１」を設定する（ステップＳ１０１）。そして、ＭＰＵ１４ａは、Ｎフレーム目の撮像を開始させるために、ローリングシャッタ方式によるＮフレーム目の露光を開始させるための制御信号を、イメージセンサ制御回路１２ｃに出力する（ステップＳ１０２）。

そして、ＭＰＵ１４ａは、現在の時間が、Ｎフレーム目の撮像においてイメージセンサ１２ａの複数の画素の最後の行の露光が開始される時間であるか否かを判定する（ステップＳ１０３）。現在の時間が、最後の行の露光が開始される時間ではないと判定した場合（ステップＳ１０３；Ｎｏ）、ＭＰＵ１４ａは、再び、ステップＳ１０３の判定を行う。

一方、現在の時間が、最後の行の露光が開始される時間であると判定した場合（ステップＳ１０３；Ｙｅｓ）、ＭＰＵ１４ａは、以下の処理を行う。例えば、ＭＰＵ１４ａは、Ｎフレーム目の撮像において、第１の光源制御信号をＴＧ１４ｃに出力させるための制御信号をＴＧ１４ｃに出力する（ステップＳ１０４）。ここでいう第１の光源制御信号とは、例えば、Ｎフレーム目の撮像において、最後の行の露光が開始される時間から、最後の行の露光が開始される時間から１／１２０［ｓ］経過した時間までの期間をハイレベルとし、それ以外の期間をローレベルとする光源制御信号である。具体例を挙げて説明すると、例えば、ＭＰＵ１４ａは、ハイレベルの期間の幅を計算して、計算の結果得られた１／１２０［ｓ］の期間をＴＧ１４ｃに出力する。これにより、ＴＧ１４ｃから第１の光源制御信号が駆動回路３０ａに出力されて、結果として、白色ＬＥＤ３０ｂからグローバル露光期間のみ白色光が出射される。この場合、グローバル露光期間とイメージセンサ１２ａの受光期間とが略一致する。なお、最後の行の露光が開始される時間から１／１２０［ｓ］経過した時間は、Ｎフレーム目の撮像においてイメージセンサ１２ａの複数の画素の最初の行の露光が終了する時間である。

そして、ＭＰＵ１４ａは、現在の時間が、最初の行の露光が終了する時間であるか否かを判定する（ステップＳ１０５）。現在の時間が、最初の行の露光が終了する時間でない場合（ステップＳ１０５；Ｎｏ）には、ＭＰＵ１４ａは、再び、ステップＳ１０５の判定を行う。

一方、現在の時間が、最初の行の露光が終了する時間である場合（ステップＳ１０５；Ｙｅｓ）には、ＭＰＵ１４ａは、最初の行の露光が終了する時間から、１／（１２０ｎ）［ｓ］毎に、各行から映像信号を出力することをイメージセンサ１２ａに開始させるための制御信号をイメージセンサ制御回路１２ｃに出力する（ステップＳ１０６）。

そして、ＭＰＵ１４ａは、以下の各種の指示が含まれた制御信号をＤＳＰ１４ｂに出力する（ステップＳ１０７）。例えば、ＤＳＰ１４ｂに出力される制御信号には、Ｎフレーム目の撮像においてイメージセンサ１２ａの各行から出力された映像信号が入力される度に、各行から出力された映像信号に対して各種の信号処理を施す指示が含まれる。また、ＤＳＰ１４ｂに出力される制御信号には、各種の信号処理が施された各行からの映像信号（ＲＧＢ信号）を一時的に記憶回路１４ｅに格納する指示が含まれる。また、ＤＳＰ１４ｂに出力される制御信号には、最初の行の露光が終了する時間から、１／（６０ｎ）［ｓ］毎に、各行からの映像信号を記憶回路１４ｅから順々に読み出す指示が含まれる。また、ＤＳＰ１４ｂに出力される制御信号には、各行からの映像信号を読み出す度に、各行からの映像信号をＩ／Ｆ１４ｄに出力する指示が含まれる。ＤＳＰ１４ｂは、かかる制御信号に基づいて、制御信号に含まれる指示が示す処理を実行する。

そして、ＭＰＵ１４ａは、制御処理を終了する指示を、入力装置を介して受け付けたか否かを判定する（ステップＳ１０８）。制御処理を終了する指示を受け付けていない場合（ステップＳ１０８；Ｎｏ）には、ＭＰＵ１４ａは、変数Ｎの値を１つインクリメントして（ステップＳ１０９）、ステップＳ１０２に戻る。一方、制御処理を終了する指示を受け付けた場合（ステップＳ１０８；Ｙｅｓ）には、ＭＰＵ１４ａは、制御処理を終了する。

以上、第１の実施形態に係る撮像装置１０について説明した。第１の実施形態に係る撮像装置１０によれば、上述したように、ユーザが観察するのに十分な画質を確保することができる。

（第２の実施形態）
次に、第２の実施形態に係る撮像装置について説明する。第２の実施形態において、第１の実施形態と同様の構成については、同一の符号を付して説明を省略する場合がある。第２の実施形態に係る撮像装置は、画像の明るさが、目標の明るさとなるように、白色ＬＥＤ３０ｂが発する白色光を制御する点以外は、第１の実施形態に係る撮像装置１０の動作と同様の動作を行う。また、第２の実施形態に係る撮像装置及び撮像システムの構成は、第１の実施形態と同様である。

例えば、ローリングシャッタ方式のイメージセンサ１２ａでは、あるフレームの撮像中に、複数の画素の全ての行で、それまで蓄積していた電荷を全て排出し（リセットし）、電荷を排出後、露光を再び行って電荷を再蓄積するシャッタ機能がある。このようなシャッタ機能が動作すると、グローバル露光期間が変更されるため、複数の画素の全ての行で受光期間が同一にならない場合がある。この場合には、画像に明るさのムラが発生することがある。

そこで、第２の実施形態に係る撮像装置は、シャッタ機能が動作しないように、画像の明るさが、ある閾値以下の目標の明るさとなるように、白色ＬＥＤ３０ｂが発する白色光を制御する。

ここで、画像の明るさの算出方法の一例について説明する。第２の実施形態では、ＭＰＵ１４ａは、フレーム毎に、以下の処理を実行する。例えば、ＭＰＵ１４ａは、各種の信号処理が施された結果得られた画像データをＤＳＰ１４ｂから取得する。そして、ＭＰＵ１４ａは、画像データが示す画像を構成する各画素のＲの輝度、Ｇの輝度及びＢの輝度の中から最も高い輝度を画素毎に選択する。なお、例えば、画像を構成する各画素は、イメージセンサ１２ａの各画素に対応する。そして、ＭＰＵ１４ａは、画素毎に選択した輝度の合計を算出する。そして、ＭＰＵ１４ａは、算出した輝度の合計を、画像を構成する画素の数（画素数）で除して、１つの画素あたりの輝度の平均値を算出する。そして、ＭＰＵ１４ａは、算出した輝度の平均値を画像の明るさとして扱う。

そして、ＭＰＵ１４ａは、画像の明るさと、目標の明るさとを比較する。なお、目標の明るさは、例えば、ユーザにより指定される輝度の値である。また、目標の明るさは、所定の明るさの一例である。ＭＰＵ１４ａは、目標の明るさよりも画像の明るさの方が大きければ、被検体１００に照射される白色光の光量を小さくするために、画像の明るさと目標の明るさとの差分に応じてハイレベルの期間の長さを短くした光源制御信号をＴＧ１４ｃに出力させる。例えば、ＭＰＵ１４ａは、画像の明るさと目標の明るさとの差分が大きくなるほど短くなるハイレベルの期間の長さを計算し、計算したハイレベルの期間の長さをＴＧ１４ｃに出力する。この場合、ＭＰＵ１４ａは、受光期間がグローバル露光期間より短くなるように、ハイレベルの期間の長さを計算する。これにより、ＴＧ１４ｃは、ハイレベルの期間が短くされた光源制御信号を駆動回路３０ａに出力する。

また、画像の明るさよりも目標の明るさのほうが大きければ、ＭＰＵ１４ａは、画像の明るさと目標の明るさとの差分に応じて、グローバル露光期間以下の範囲で、ハイレベルの期間の長さを長くした光源制御信号をＴＧ１４ｃに出力させる。

すなわち、ＭＰＵ１４ａ及びＴＧ１４ｃは、画像の明るさが目標の明るさとなるように、ハイレベルの期間の長さを変更し、ハイレベルの期間の長さが変更された光源制御信号を出力することにより、複数の画素により受光される白色光を制御する。具体的には、ＭＰＵ１４ａ及びＴＧ１４ｃは、画像の明るさが目標の明るさとなるように、受光期間を制御する。ＭＰＵ１４ａ及びＴＧ１４ｃは、受光期間を制御することにより、被検体１００に照射される白色光の光量を制御する。

図５は、第２の実施形態に係る撮像装置の動作の一例を説明するための図である。図５の例に示すように、第２の実施形態では、ＴＧ１４ｃは、グローバル露光期間よりも、ハイレベル２１ａの期間を短くした光源制御信号２３ａを駆動回路３０ａに出力する。例えば、図５に示す第２の実施形態に係る光源制御信号２３ａのハイレベル２１ａの期間は、図３に示す第１の実施形態に係る光源制御信号２３のハイレベル２１の期間よりも短い。なお、光源制御信号２３ａの振幅の大きさは、光源制御信号２３の振幅の大きさと同一である。

第２の実施形態に係る撮像装置は、画像の明るさが目標の明るさとなるように、ハイレベルの期間を変更することにより、シャッタ機能の動作の発生を抑制することができる。したがって、第２の実施形態に係る撮像装置によれば、更に、画像の歪みの発生を抑制することができる。ひいては、更に、ユーザが観察するのに十分な画質を確保することができる。

なお、ＭＰＵ１４ａが、光源制御信号２３ａのハイレベル２１ａの期間を変更するのではなく、例えば、ＴＧ１４ｃが、イメージセンサ１２ａの前に配置された物理的なシャッタの開閉を制御して、イメージセンサ１２ａの受光期間を、グローバル露光期間を超えない範囲で制御してもよい。例えば、ＴＧ１４ｃは、シャッタを制御させる制御信号をイメージセンサ制御回路１２ｃに出力する。すると、イメージセンサ制御回路１２ｃは、かかる制御信号に基づいて、画像の明るさが目標の明るさとなるように、シャッタの開閉を制御して、受光期間を制御する。

（第２の実施形態の第１の変形例）
なお、第２の実施形態では、画像の明るさが目標の明るさとなるように、ハイレベルの期間を変更する場合について説明したが、画像の明るさが目標の明るさとなるように、振幅の大きさを変更してもよい。例えば、駆動回路３０ａは、振幅の大きさが大きくなるほど、より大きな光束の白色光を白色ＬＥＤ３０ｂから出射させる。そこで、振幅の大きさを変更する第２の実施形態の第１の変形例について説明する。

ＭＰＵ１４ａは、目標の明るさよりも画像の明るさの方が大きければ、被検体１００に照射される白色光の光量を小さくするために、画像の明るさと目標の明るさとの差分に応じて振幅の大きさを小さくした光源制御信号をＴＧ１４ｃに出力させる。例えば、ＭＰＵ１４ａは、画像の明るさと目標の明るさとの差分が大きくなるほど小さくなる振幅の大きさを計算し、計算した振幅の大きさをＴＧ１４ｃに出力する。例えば、ＭＰＵ１４ａは、画像の明るさと目標の明るさとの差分が大きくなるほど短くなるハイレベルの期間の長さを計算し、計算したハイレベルの期間の長さをＴＧ１４ｃに出力する。これにより、ＴＧ１４ｃは、振幅の大きさが小さくされた光源制御信号を駆動回路３０ａに出力する。

図６は、第２の実施形態の第１の変形例に係る撮像装置の動作の一例を説明するための図である。図６の例に示すように、第２の実施形態の第１の変形例では、ＭＰＵ１４ａは、振幅の大きさを小さくした光源制御信号２３ｂを駆動回路３０ａに出力する。例えば、図６に示す光源制御信号２３ｂの振幅の大きさは、図３に示す第１の実施形態に係る光源制御信号２３の振幅の大きさよりも小さい。ここで、図６において、振幅とは、例えば、ハイレベル２１ｂからローレベル２２までの差の半分の長さである。なお、光源制御信号２３ｂのハイレベル２１ｂの期間は、光源制御信号２３のハイレベル２１の期間と同一である。

第２の実施形態の第１の変形例では、ＭＰＵ１４ａ及びＴＧ１４ｃは、画像の明るさが所定の明るさとなるように、振幅の大きさを変更し、振幅の大きさが変更された光源制御信号を出力することにより、複数の画素により受光される白色光を制御する。例えば、ＭＰＵ１４ａ及びＴＧ１４ｃは、画像の明るさが所定の明るさとなるように、複数の画素に受光される白色光の光束を制御する。ＭＰＵ１４ａ及びＴＧ１４ｃは、複数の画素に受光される白色光の光束を制御することにより、被検体１００に照射される白色光の光量を制御する。

第２の実施形態の第１の変形例に係る撮像装置は、画像の明るさが目標の明るさとなるように振幅の大きさを変更することにより、シャッタ機能の動作の発生を抑制することができる。したがって、第２の実施形態の第１の変形例に係る撮像装置においても、更に、ユーザが観察するのに十分な画質を確保することができる。

（第２の実施形態の第２の変形例）
次に、第２の実施形態の第２の変形例について説明する。第２の実施形態の第２の変形例では、ＭＰＵ１４ａ及びＴＧ１４ｃは、画像の明るさが目標の明るさとなるように、ハイレベルの期間、及び、振幅の大きさを変更し、ハイレベルの期間、及び、振幅の大きさが変更された光源制御信号を出力する。なお、ＭＰＵ１４ａ及びＴＧ１４ｃは、画像の明るさが目標の明るさとなるように、ハイレベルの期間、及び、振幅の大きさの少なくとも一方を変更し、ハイレベルの期間、及び、振幅の大きさの少なくとも一方が変更された光源制御信号を出力してもよい。すなわち、ＭＰＵ１４ａ及びＴＧ１４ｃは、画像の明るさが目標の明るさとなるように、複数の画素により受光される光の光量、及び、受光期間の少なくとも一方を制御してもよい。

ここで、第２の実施形態、第２の実施形態の第１の変形例、及び、第２の実施形態の第２の変形例では、撮像装置が、自動的に画像の明るさを制御する場合について説明した。しかしながら、撮像装置のＭＰＵ１４ａは、ユーザからの画像の明るさの指定を入力装置を介して受け付けた場合には、指定された明るさとなるように、光源３０を制御してもよい。

（第３の実施形態）
次に、第３の実施形態に係る撮像装置について説明する。第３の実施形態の説明において、上述した各実施形態、及び、上述した各変形例と同様の構成については、同一の符号を付して説明を省略する場合がある。

図７は、第３の実施形態に係る撮像装置１０ａを備える撮像システム１ａの構成例を示す図である。図７に示すように、第３の実施形態に係る撮像装置１０ａのカメラヘッド１２が、励起光カットフィルタ１２ｄを備えている点が、第１の実施形態に係る撮像装置１０と異なる。また、第３の実施形態に係る光源３０が、駆動回路３０ｃ及びＩＲ（InfraRed）レーザ（赤外レーザ）３０ｄを備えている点が、第１の実施形態に係る光源３０と異なる。

駆動回路３０ｃは、ＴＧ１４ｃから出力される光源制御信号に基づいて、ＩＲレーザ３０ｄを駆動させる駆動制御を行う。ＩＲレーザ３０ｄは、駆動回路３０ｃによる駆動制御により、近赤外光である励起光を出射する。励起光は、光の一例である。また、励起光は、第２の光の一例でもある。光ファイバ３１は、光源３０からの白色光及び励起光をスコープ１１の先端部に導く。

励起光カットフィルタ１２ｄは、対物レンズ１１ａから入射される光のうち、励起光をカットし、励起光以外の光を通過させるフィルタである。したがって、イメージセンサ１２ａの撮像面１２ａ＿１には、対物レンズ１１ａにより、励起光以外の光が結像される。

ここで、第３の実施形態に係る撮像装置１０ａは、例えば、被検体１００に対して、ＩＣＧ（インドシアニングリーン）蛍光造影法による外科手術を行う際に用いられる。第３の実施形態では、被検体１００に、ＩＣＧが投与される。ＩＣＧは、ＩＲレーザ３０ｄから出射される励起光により励起され、８００〜８５０ｎｍ程度の近赤外蛍光（以下、蛍光と称する）を発する。この蛍光は、励起光カットフィルタ１２ｄを通過して、対物レンズ１１ａにより撮像面１２ａ＿１に結像される。

第３の実施形態では、グローバル露光期間のみに複数の画素が受光する光の種類が、１フレーム毎に切り替わる。具体的には、撮像装置１０ａは、複数の画素に受光させる光を、１フレーム毎に、交互に、白色光又は蛍光に切り替える。第３の実施形態では、各フレームの撮像において、複数の画素が白色光又は蛍光を受光する受光期間が、全ての行で略一致する。このように、ＭＰＵ１４ａ及びＴＧ１４ｃは、受光期間とグローバル露光期間とを同期させる制御を、１フレーム毎に繰り返す。

第３の実施形態では、ＭＰＵ１４ａ及びＴＧ１４ｃは、複数の画素が受光する光の種類をフレーム毎に変化させる。ＭＰＵ１４ａ及びＴＧ１４ｃは、複数の画素が白色光を受光する受光期間（第１の受光期間）とグローバル露光期間を同期させる制御を、少なくとも２フレーム毎に実行する。ＭＰＵ１４ａ及びＴＧ１４ｃは、複数の画素が白色光と種類が異なる励起光を受光する受光期間（第２の受光期間）とグローバル露光期間を同期させる制御を、少なくとも２フレーム毎に実行する。

このため、第３の実施形態に係る撮像装置１０ａは、第１の実施形態と同様に、観察するのに十分な画質を確保することができる。

図８は、第３の実施形態に係る撮像装置１０ａの動作の一例を説明するための図である。図８には、第３の実施形態に係る撮像装置１０ａのイメージセンサ１２ａが備える複数の画素の各行の露光タイミングと、イメージセンサ１２ａから出力される映像信号の出力タイミングと、Ｉ／Ｆ１４ｄから出力される映像信号の出力タイミングとの関係の一例が示されている。更に、図８には、ＴＧ１４ｃから出力される光源制御信号の一例が示されている。図８には、撮像装置１０ａの３〜５フレームを撮像する際の動作が示されている。

図８に示すように、撮像装置１０ａでは、３フレーム目の撮像において、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。

ＭＰＵ１４ａは、３フレーム目の最後の行の露光が開始される時間Ｔ４から、３フレーム目の最初の行の露光が終了される時間Ｔ５までの期間１／１２０［ｓ］の間のみ白色光を出射させるための光源制御信号２３を駆動回路３０ａに出力する。ここで、時間Ｔ４から時間Ｔ５までの期間は、グローバル露光期間である。

図８において、グローバル露光期間に画素が白色光を受光する（２ｋ−１）フレーム目の映像信号は、「ＲＧＢｋ」で示されている。また、グローバル露光期間に画素が蛍光を受光する２ｋフレーム目の映像信号は、「ＩＲｋ」で示されている。ただし、ｋは、１以上の整数である。例えば、１フレーム目の映像信号は、「ＲＧＢ１」で示され、２フレーム目の映像信号は、「ＩＲ１」で示され、３フレーム目の映像信号は、「ＲＧＢ２」で示され、４フレーム目の映像信号は、「ＩＲ２」で示され、５フレーム目の映像信号は、「ＲＧＢ３」で示されている。

そして、ＭＰＵ１４ａは、時間Ｔ５から、読み出し期間１／１２０［ｓ］で３フレーム目の映像信号をイメージセンサ１２ａに出力させるための制御信号をイメージセンサ制御回路１２ｃに出力する。すなわち、ＭＰＵ１４ａは、時間Ｔ５から、１／（１２０ｎ）［ｓ］毎に各行から映像信号を出力することをイメージセンサ１２ａに開始させるための制御信号をイメージセンサ制御回路１２ｃに出力する。

イメージセンサ制御回路１２ｃは、かかる制御信号に基づいて、イメージセンサ１２ａを駆動制御する。この結果、イメージセンサ１２ａは、３フレーム目の撮像において、時間Ｔ５から時間Ｔ６までの読み出し期間１／１２０［ｓ］で、全ての行（ｎ行）から映像信号を出力する。

そして、ＤＳＰ１４ｂは、３フレーム目の撮像において、イメージセンサ１２ａの各行から出力された映像信号が入力される度に、各行から出力された映像信号に対して各種の信号処理を施す。そして、ＤＳＰ１４ｂは、各種の信号処理が施された各行からの映像信号（ＲＧＢ信号）を一時的に記憶回路１４ｅに格納する。例えば、ＤＳＰ１４ｂは、３フレーム目の撮像において各行から出力された映像信号を、少なくとも、時間Ｔ５から時間Ｔ９までの１／３０［ｓ］の期間、記憶回路１４ｅに記憶させる。そして、ＤＳＰ１４ｂは、時間Ｔ５から、１／（６０ｎ）［ｓ］毎に、３フレーム目の撮像において各行から出力された映像信号を記憶回路１４ｅから順々に読み出す。また、ＤＳＰ１４ｂは、時間Ｔ５から、１／（６０ｎ）［ｓ］毎に、既に記憶回路１４ｅに記憶されている２フレーム目の撮像において各行から出力された映像信号を記憶回路１４ｅから順々に読み出す。このとき、ＤＳＰ１４ｂは、最初の行から順に、３フレーム目の撮像及びと２フレーム目の撮像において、同一の行（以下、「行ｓ」と称する場合がある）から出力された映像信号を読み出す。

そして、ＤＳＰ１４ｂは、３フレーム目の撮像及び２フレーム目の撮像において、行ｓから出力された２つの映像信号を読み出す度に（１／（６０ｎ）［ｓ］毎に）、読み出した２つの映像信号を合成して合成画像を生成する。

例えば、ＤＳＰ１４ｂは、読み出した２フレーム目の撮像において行ｓから出力された映像信号が示す画像のうち輝度が閾値以上の部分を抽出する。そして、ＤＳＰ１４ｂは、抽出した部分と同一の位置及び範囲を有するマーカであって、所定の色（例えば、高彩度の緑色）が付与されたマーカを生成する。そして、ＤＳＰ１４ｂは、読み出した３フレーム目の撮像において行ｓから出力された映像信号に、生成したマーカを重畳して、合成画像を生成する。そして、ＤＳＰ１４ｂは、生成した合成画像をＩ／Ｆ１４ｄに出力する。例えば、被検体１０１の体内を画像化したカラー画像の色合いは、全体的に赤みがかった色合いである。そのため、例えば、マーカに赤い色を付与しても、マーカが目立たない。そのため、赤色に対して補色である緑色をマーカに付与して、マーカを目立つようにする。

また、ＤＳＰ１４ｂは、抽出した部分の輝度に応じた色をマーカ等の情報に付与してもよい。例えば、抽出した部分の輝度が大きくなるにつれて、マーカ等の情報に付与される色が、青色、緑色、黄色、赤色の順に変化する。なお、抽出した部分の輝度が大きくなるにつれて、マーカ等の情報に付与される色が、青色から緑色に徐々に変化してもよい。

このような処理を、ＤＳＰ１４ｂは、３フレーム目及び２フレーム目の撮像において全ての行から出力された映像信号に対して行う。すなわち、ＤＳＰ１４ｂは、時間Ｔ５から時間Ｔ７までの期間１／６０［ｓ］で、３フレーム目及び２フレーム目の撮像において全ての行から出力された映像信号の合成画像をＩ／Ｆ１４ｄに出力する。これにより、図８における「ＲＧＢ２＋ＩＲ１」によって示されるように、Ｉ／Ｆ１４ｄは、時間Ｔ５から時間Ｔ７までの期間１／６０［ｓ］で、３フレーム目及び２フレーム目の撮像において全ての行から出力された映像信号の合成画像をディスプレイ１０１に出力する。

図９は、ディスプレイ１０１に表示される合成画像の一例を示す図である。図９に示すように、白色光により得られたカラー画像３２ａに、被検体１００の体内において、ＩＣＧから強い強度の蛍光が発せられた箇所に対応する緑色のマーカ３２ｂが重畳された合成画像３２が、ディスプレイ１０１に表示される。このように、カラー画像３２ａに高彩度なマーカ３２ｂが重畳されているため、医者等のユーザは、例えば、手術中に、ＩＣＧから強い強度の蛍光が発せられるような、注目すべき箇所を容易に観察することができる。また、ユーザは、人間が実際に認識できるような内容のカラー画像３２ａを観察しつつ、マーカ３２ｂの情報を得ることができる。

なお、ＤＳＰ１４ｂは、マーカではなく、蛍光により得られる蛍光画像から輪郭成分を抽出し、抽出した輪郭成分をカラー画像３２ａに重畳して合成画像３２を生成してもよい。この場合、ＤＳＰ１４ｂは、抽出した部分の輝度に応じた色を輪郭成分等の情報に付与してもよい。例えば、抽出した部分の輝度が大きくなるにつれて、輪郭成分等の情報に付与される色が、青色、緑色、黄色、赤色の順に変化する。なお、抽出した部分の輝度が大きくなるにつれて、輪郭成分等の情報に付与される色が、青色から緑色に徐々に変化してもよい。

このように、第３の実施形態において、ＤＳＰ１４ｂは、カラー画像３２ａに、蛍光画像から得られるマーカ又は輪郭成分等の情報を重畳して合成画像３２を生成する。また、ＤＳＰ１４ｂは、蛍光画像のうち輝度が閾値以上の部分に対応するマーカ又は輪郭成分等の情報を生成し、カラー画像３２ａにマーカ又は輪郭成分等の情報を重畳して合成画像３２を生成する。

図８の説明に戻り、４フレーム目の撮像においても、複数の画素の最初の行から最後の行に向かって１行毎に順次露光が開始される。

そして、ＭＰＵ１４ａは、４フレーム目の最後の行の露光が開始される時間Ｔ６から、４フレーム目の最初の行の露光が終了される時間Ｔ７までの期間１／１２０［ｓ］の間のみ励起光を出射させるための光源制御信号２４を駆動回路３０ｃに出力する。図８に示すように、光源制御信号２４は、ハイレベル２５の間、ＩＲレーザ３０ｄから近赤外光を出射させ、ローレベル２６の間、ＩＲレーザ３０ｄからの近赤外光の出射を停止させる制御信号である。駆動回路３０ｃは、光源制御信号２４に基づいて、時間Ｔ６から時間Ｔ７までの期間のみ、ＩＲレーザ３０ｄから近赤外光を出射させる。

ここで、時間Ｔ６から時間Ｔ７までの期間は、グローバル露光期間である。そして、ＭＰＵ１４ａは、時間Ｔ７から、読み出し期間１／１２０［ｓ］で４フレーム目の映像信号をイメージセンサ１２ａに出力させるための制御信号をイメージセンサ制御回路１２ｃに出力する。すなわち、ＭＰＵ１４ａは、時間Ｔ７から、１／（１２０ｎ）［ｓ］毎に、各行から映像信号を出力することをイメージセンサ１２ａに開始させるための制御信号をイメージセンサ制御回路１２ｃに出力する。

イメージセンサ制御回路１２ｃは、かかる制御信号に基づいて、イメージセンサ１２ａを駆動制御する。この結果、イメージセンサ１２ａは、４フレーム目の撮像において、時間Ｔ７から時間Ｔ８までの読み出し期間１／１２０［ｓ］で、全ての行（ｎ行）から映像信号を出力する。

そして、ＤＳＰ１４ｂは、４フレーム目の撮像において、イメージセンサ１２ａの各行から出力された映像信号が入力される度に、各行から出力された映像信号に対して各種の信号処理を施す。そして、ＤＳＰ１４ｂは、各種の信号処理が施された各行からの映像信号（ＲＧＢ信号）を一時的に記憶回路１４ｅに格納する。例えば、ＤＳＰ１４ｂは、４フレーム目の撮像において各行から出力された映像信号を、少なくとも、時間Ｔ７から、時間Ｔ７から１／３０［ｓ］経過後の時間までの期間、記憶回路１４ｅに記憶させる。そして、ＤＳＰ１４ｂは、時間Ｔ７から、１／（６０ｎ）［ｓ］毎に、４フレーム目の撮像において各行から出力された映像信号を記憶回路１４ｅから順々に読み出す。また、ＤＳＰ１４ｂは、時間Ｔ７から、１／（６０ｎ）［ｓ］毎に、３フレーム目の撮像において各行から出力された映像信号を記憶回路１４ｅから順々に読み出す。このとき、ＤＳＰ１４ｂは、最初の行から順に、３フレーム目の撮像及び４フレーム目の撮像において、同一の行（以下、「行ｒ」と称する場合がある）から出力された映像信号を読み出す。

そして、ＤＳＰ１４ｂは、３フレーム目の撮像及び４フレーム目の撮像において、行ｒから出力された２つの映像信号を読み出す度に（１／（６０ｎ）［ｓ］毎に）、読み出した２つの映像信号を合成して合成画像を生成する。

例えば、ＤＳＰ１４ｂは、読み出した４フレーム目の撮像において行ｒから出力された映像信号が示す画像のうち輝度が閾値以上の領域を抽出する。そして、ＤＳＰ１４ｂは、上述したマーカを生成する。そして、ＤＳＰ１４ｂは、読み出した３フレーム目の撮像において行ｒから出力された映像信号に、生成したマーカを重畳して、合成画像を生成する。そして、ＤＳＰ１４ｂは、生成した合成画像をＩ／Ｆ１４ｄに出力する。

このような処理を、ＤＳＰ１４ｂは、３フレーム目及び４フレーム目の撮像において全ての行から出力された映像信号に対して行う。すなわち、ＤＳＰ１４ｂは、時間Ｔ７から時間Ｔ９までの期間１／６０［ｓ］で、３フレーム目及び４フレーム目の撮像において全ての行から出力された映像信号の合成画像をＩ／Ｆ１４ｄに出力する。これにより、図８における「ＲＧＢ２＋ＩＲ２」によって示されるように、Ｉ／Ｆ１４ｄは、時間Ｔ７から時間Ｔ９までの期間１／６０［ｓ］で、３フレーム目及び４フレーム目の撮像において全ての行から出力された映像信号の合成画像をディスプレイ１０１に出力する。

５フレーム目以降についても、３フレーム目及び４フレーム目の撮像において説明した撮像動作と同様の撮像動作が繰り返し行われる。このため、ディスプレイ１０１には、１／６０［ｓ］毎に、交互に、カラー画像３２ａ又はマーカ３２ｂが更新される合成画像３２が表示される。

第３の実施形態では、複数の画素は、白色光を受光することにより第１の映像信号（第１の電気信号）を出力し、励起光に基づく蛍光を受光することにより第２の映像信号（第２の電気信号）を出力する。そして、ＤＳＰ１４ｂは、第１の映像信号に基づくカラー画像３２ａと、第２の映像信号に基づく蛍光画像とを合成して合成画像３２を生成する。なお、カラー画像３２ａは、第１の画像の一例である。また、第２の映像信号に基づく蛍光画像は、第２の画像の一例である。また、合成画像３２は、第３の画像の一例である。

次に、第３の実施形態に係るＭＰＵ１４ａにより実行される制御処理について説明する。図１０は、第３の実施形態に係る制御処理の流れを示すフローチャートである。

図１０に示すように、ＭＰＵ１４ａは、第１の実施形態に係る制御処理のステップＳ１０１〜Ｓ１０３と同様のステップＳ２０１〜Ｓ２０３の各処理を行う。そして、ＭＰＵ１４ａは、変数Ｎの値が、奇数であるか否かを判定する（ステップ２０４）。

変数Ｎの値が奇数であると判定した場合（ステップＳ２０４；Ｙｅｓ）には、ＭＰＵ１４ａは、次の処理を行う。例えば、ＭＰＵ１４ａは、光源制御信号をＴＧ１４に出力させるための制御信号をＴＧ１４ｃに出力する（ステップＳ２０５）。ここでいう光源制御信号は、Ｎフレーム目の撮像において、最後の行の露光が開始される時間から、最後の行の露光が開始される時間から１／１２０［ｓ］経過した時間までの期間をハイレベルとし、それ以外の期間をローレベルとする光源制御信号である。

そして、ＭＰＵ１４ａは、第１の実施形態に係る制御処理のステップＳ１０５，Ｓ１０６と同様のステップＳ２０６，Ｓ２０７の各処理を実行する。

そして、ＭＰＵ１４ａは、以下の各種の指示が含まれた制御信号をＤＳＰ１４ｂに出力する（ステップＳ２０８）。例えば、ＤＳＰ１４ｂに出力される制御信号には、Ｎフレーム目の撮像においてイメージセンサ１２ａの各行から出力された映像信号が入力される度に、各行から出力された映像信号に対して各種の信号処理を施す指示が含まれる。また、ＤＳＰ１４ｂに出力される制御信号には、各種の信号処理が施された各行からの映像信号（ＲＧＢ信号）を一時的に記憶回路１４ｅに格納する指示が含まれる。また、ＤＳＰ１４ｂに出力される制御信号には、Ｎフレーム目の撮像において、最初の行の露光が終了する時間から、１／（６０ｎ）［ｓ］毎に、各行から出力された映像信号を記憶回路１４ｅから順々に読み出す指示が含まれる。

また、ステップＳ２０８でＤＳＰ１４ｂに出力される制御信号には、Ｎフレーム目の撮像において、最初の行の露光が終了する時間から、１／（６０ｎ）［ｓ］毎に、（Ｎ−１）フレーム目の撮像において各行から出力された映像信号を記憶回路１４ｅから順々に読み出す指示が含まれる。また、ＤＳＰ１４ｂに出力される制御信号には、（Ｎ−１）フレーム目の撮像及びＮフレーム目の撮像において同一の行から出力された２つの映像信号を読み出す度に、読み出した２つの映像信号を合成して合成画像を生成する指示が含まれる。また、ＤＳＰ１４ｂに出力される制御信号には、生成した合成画像をＩ／Ｆ１４ｄに出力する指示が含まれる。ＤＳＰ１４ｂは、かかる制御信号に基づいて、制御信号に含まれる指示が示す処理を実行する。

そして、ＭＰＵ１４ａは、第１の実施形態に係る制御処理のステップＳ１０８，Ｓ１０９と同様のステップＳ２０９，Ｓ２１０の各処理を実行する。

一方、変数Ｎの値が奇数でない（変数Ｎの値が偶数である）と判定した場合（ステップＳ２０４；Ｎｏ）には、ＭＰＵ１４ａは、次の処理を行う。例えば、ＭＰＵ１４ａは、光源制御信号をＴＧ１４ｃに出力させるための制御信号をＴＧ１４ｃに出力する（ステップＳ２１１）。ここでいう光源制御信号は、Ｎフレーム目の撮像において、最後の行の露光が開始される時間から、最後の行の露光が開始される時間から１／１２０［ｓ］経過した時間までの期間をハイレベルとし、それ以外の期間をローレベルとする光源制御信号である。そして、ＭＰＵ１４ａは、ステップＳ２０６へ進む。

ここで、先の図２を参照して説明した比較例に係る撮像装置による撮像において、フレーム毎に、波長帯域（波長域）が互いに異なる２つの種類の光が交互にイメージセンサにより受光されると、イメージセンサの画素の行毎に、２つの種類の光による受光期間の比が異なる場合がある。この場合には、画像の画質が低下する。

一方、第３の実施形態では、１つのフレームの撮像において、グローバル露光期間に、イメージセンサ１２ａの複数の画素により受光される光（白色光又は蛍光）は、そのフレームの１つ前のフレームの撮像においてイメージセンサ１２ａの最後の行の露光が終了した後に、光源３０から出射された光の戻り光（反射光）、又は、光源３０から出射された光による励起により発生した蛍光である。このため、第３の実施形態では、１つのフレームの撮像において、イメージセンサ１２ａが波長の異なる複数の光を受光することを抑制することができる。したがって、第３の実施形態によれば、画像の画質の低下を抑制することができる。

また、第３の実施形態では、撮像装置１０ａは、ＲＧＢ信号に基づくカラー画像に、蛍光に基づくマーカを重畳して合成画像を生成し、生成した合成画像を出力する。したがって、第３の実施形態に係る撮像装置１０ａによれば、通常の３種類の色の画像（ＲＧＢのカラー画像）よりも多い種類の色の画像を出力することができる。

以上、第３の実施形態に係る撮像装置１０ａについて説明した。第３の実施形態に係る撮像装置１０ａによれば、上述したように、ユーザが観察するのに十分な画質を確保することができる。

（第４の実施形態）
次に、第４の実施形態に係る撮像装置について説明する。第４の実施形態に係る説明において、上述した各実施形態及び上述した各変形例と同様の構成については、同一の符号を付して説明を省略する場合がある。第４の実施形態に係る撮像装置の構成は、図７に示す第３の実施形態に係る撮像装置１０ａの構成と同様である。第４の実施形態に係る撮像装置は、第１の実施形態又は第２の実施形態に係る制御処理を実行するモード（第１のモード）と、第３の実施形態に係る制御処理を実行するモード（第２のモード）とを、ユーザの指示に応じて切り替える。

例えば、第４の実施形態に係る撮像装置のＭＰＵ１４ａは、入力装置を介して入力された指示に基づいて、第１のモード又は第２のモードを切り替える。これにより、白色光から得られるカラー画像と、カラー画像にマーカが重畳された合成画像とを切り替えることができる。例えば、ユーザは、ディスプレイ１０１に表示されたカラー画像を確認しているときに、マーカの位置を確認したい場合には、入力装置を介して画像を切り替える指示を入力するだけで、マーカを確認することができる。

第４の実施形態では、モードが切り替わった場合であっても、撮像装置からディスプレイ１０１に出力されるフレームレートは変わらない。したがって、第４の実施形態に係る撮像装置によれば、モードの切り替え時にユーザに与える違和感を抑制することができる。

（第５の実施形態）
次に、第５の実施形態に係る撮像装置について説明する。第５の実施形態の説明において、上述した各実施形態及び上述した各変形例と同様の構成については、同一の符号を付し、説明を省略する場合がある。

図１１は、第５の実施形態に係る撮像装置１０ｂを備える撮像システム１ｂの構成例を示す図である。図１１に示すように、第５の実施形態に係る撮像装置１０ｂのカメラヘッド１２が、励起光カットフィルタ１２ｄ、第１の波長選択フィルタ１２ｅ、第２の波長選択フィルタ１２ｆ、遮光フィルタ１２ｇ及び切替機構１２ｈを備えている点が、第１の実施形態に係る撮像装置１０と異なる。また、第５の実施形態に係る撮像装置１０ｂが、光源３０及びスコープ１１を備えていない点が、第１の実施形態に係る撮像装置１０と異なる。

第５の実施形態に係る撮像装置１０ｂは、外部光により、撮像を行うことができる。ここで、例えば、光源３０により被検体１００の体内組織に照射された光の戻り光しかイメージセンサ１２ａで受光されない場合には、受光期間を制御することができるので、第１の実施形態に係る撮像装置１０のように、遮光フィルタ１２ｇを備えなくてもよい。

しかしながら、撮像時に、外部光が撮像面１２ａ＿１に入射される場合には、グローバル露光期間以外の期間に、外部光が入射されて、イメージセンサ１２ａにより外部光が受光される場合がある。グローバル露光期間以外の期間にイメージセンサ１２ａにより受光されると、画像に歪みが発生する場合がある。

そこで、第５の実施形態に係る撮像装置１０ｂは、グローバル露光期間以外の期間では、遮光フィルタ１２ｇを遮光を行うことが可能な位置（遮光可能位置）に配置して、外部光が入射されないように制御する遮光制御を行う。また、撮像装置１０ｂは、グローバル露光期間では、遮光フィルタ１２ｇを遮光可能位置から外して、外部光が入射されるように制御する採光制御を行う。

例えば、ＭＰＵ１４ａは、遮光制御信号をＴＧ１４ｃに出力させるための制御信号をＴＧ１４ｃに出力する。ここで、遮光制御信号は、グローバル露光期間以外の期間において、遮光フィルタ１２ｇを切替機構１２ｈにより遮光可能位置に配置させるための制御信号である。

ＴＧ１４ｃは、かかる制御信号に基づいて、遮光制御信号を、カメラケーブル１３を介して、切替機構１２ｈに出力する。切替機構１２ｈは、遮光制御信号に基づいて、グローバル露光期間以外の期間では、遮光フィルタ１２ｇを遮光可能位置に配置させる。例えば、切替機構１２ｈは、遮光可能位置として、励起光カットフィルタ１２ｄの対物レンズ１１ａ側の面を覆うことが可能な位置に、遮光フィルタ１２ｇを配置する。したがって、ＭＰＵ１４ａ及びＴＧ１４ｃは、間接的に、複数の画素へ進む光を遮る遮光フィルタ１２ｇを制御することにより、受光期間を制御する。

また、ＭＰＵ１４ａは、採光制御信号をＴＧ１４ｃに出力させるための制御信号をＴＧ１４ｃに出力する。ここで、採光制御信号は、グローバル露光期間において、遮光フィルタ１２ｇを切替機構１２ｈにより遮光可能位置から外すための制御信号である。ＴＧ１４ｃは、かかる制御信号に基づいて、採光制御信号を、カメラケーブル１３を介して、切替機構１２ｈに出力する。切替機構１２ｈは、採光制御信号に基づいて、グローバル露光期間では、遮光フィルタ１２ｇを遮光可能位置から外す。このようにして、切替機構１２ｈは、グローバル露光期間では、外部光が入射されるように制御する。すなわち、切替機構１２ｈは、グローバル露光期間では、遮光フィルタ１２ｇによる遮光を解除するように制御する。

また、第１の波長選択フィルタ１２ｅ及び第２の波長選択フィルタ１２ｆは、互いに異なる波長帯域の光を選択して通過させる。第５の実施形態では、撮像装置１０ｂは、１フレーム毎に、第１の波長選択フィルタ１２ｅ及び第２の波長選択フィルタ１２ｆの２つの波長選択フィルタを交互に切り替えて、互いに異なる波長帯域の光がグローバル露光期間において交互に受光されるように制御する。したがって、第５の実施形態に係る撮像装置１０ｂによれば、光源３０を備えなくても、波長帯域が異なる複数の光を用いて撮像対象を撮像することができる。

例えば、ＭＰＵ１４ａは、切替制御信号をＴＧ１４ｃに出力させるための制御信号をＴＧ１４ｃに出力する。ここで、切替制御信号は、第１の波長選択フィルタ１２ｅ及び第２の波長選択フィルタ１２ｆを１フレーム毎に交互に切り替えさせるための制御信号である。ＴＧ１４ｃは、ＭＰＵ１４ａから出力された制御信号に基づいて、切替制御信号を、カメラケーブル１３を介して切替機構１２ｈに出力する。切替機構１２ｈは、切替制御信号に基づいて、１フレーム毎に、第１の波長選択フィルタ１２ｅ及び第２の波長選択フィルタ１２ｆを交互に切り替える。

なお、切替機構１２ｈは、カラー画像を得る場合、グローバル露光期間において、第１の波長選択フィルタ１２ｅ及び第２の波長選択フィルタ１２ｆを設定しなくてもよい。

次に、第１の波長選択フィルタ１２ｅ及び第２の波長選択フィルタ１２ｆにより選択される光の波長帯域の一例について説明する。図１２〜１４は、第１の波長選択フィルタ１２ｅ及び第２の波長選択フィルタ１２ｆにより選択される光の波長帯域の一例を説明するための図である。

図１２の上側及び下側のそれぞれのグラフは、第５の実施形態に係るイメージセンサ１２ａや対物レンズ１１ａ等の光学系及び撮像系の分光感度特性の一例を示すグラフである。グラフの横軸は、波長［ｎｍ］を示し、グラフの縦軸は、分光相対感度［％］を示す。

曲線４１は、青色の光に対する分光感度特性を示し、曲線４２は、緑色の光に対する分光感度特性を示し、曲線４３は、赤色の光に対する分光感度特性を示す。

図１２の上側には、第１の波長選択フィルタ１２ｅにより、波長帯域が５７０［ｎｍ］〜６００［ｎｍ］程度で狭帯域の黄色の光が選択される例が示されている。なお、この黄色の光は、波長帯域が５７０［ｎｍ］〜５８０［ｎｍ］程度で狭帯域の緑色の光（波長帯域ＹＧに対応）と、波長帯域が５８０［ｎｍ］〜６００［ｎｍ］程度で狭帯域の赤色の光（波長帯域ＹＲに対応）とを含んでいる。この緑色の光は、赤色よりの緑色の光である。また、この赤色の光は、緑色よりの赤色の光である。

また、図１２の下側には、第１の波長選択フィルタ１２ｅ及び第２の波長選択フィルタ１２ｆが設定されずに、イメージセンサ１２ａにより受光された白色光の波長帯域（４００［ｎｍ］〜７００［ｎｍ］程度）が示されている。白色光は、波長帯域が４００［ｎｍ］〜４９０［ｎｍ］程度で広帯域の青色の光（分光感度帯域Ｂ１に対応）と、波長帯域が４９０［ｎｍ］〜５８０［ｎｍ］程度で広帯域の緑色の光（分光感度帯域Ｇ１に対応）と、波長帯域が５８０［ｎｍ］〜７００［ｎｍ］程度で広帯域の赤色の光（分光感度帯域Ｒ１に対応）とを含んでいる。

図１２の例では、撮像装置１０ｂは、白色光に基づくカラー画像に、黄色の光に基づく画像から得られるマーカや輪郭成分等の情報が重畳された合成画像をディスプレイ１０１に出力する。したがって、ユーザは、例えば、注目すべき箇所を容易に観察することができる。また、ユーザは、人間が実際に認識できるような内容のカラー画像を観察しつつ、マーカの情報を得ることができる。

なお、例えば、図７に示す第３の実施形態に係る撮像装置１０ａにおいて、ＩＲレーザ３０ｄに代えて、波長帯域が５７０［ｎｍ］〜６００［ｎｍ］程度の黄色の光を出射する光源を設けてもよい。このように構成することによっても、白色光に基づくカラー画像に、黄色の光に基づく画像から得られるマーカや輪郭成分等の情報が重畳された合成画像を撮像装置１０ａからディスプレイ１０１に出力することができる。

図１３の上側には、第１の波長選択フィルタ１２ｅにより、波長帯域Ｂ２が４１０［ｎｍ］〜４３０［ｎｍ］程度で狭帯域の青色（紫色）の光と、波長帯域Ｇ２が５３０［ｎｍ］〜５５０［ｎｍ］程度で狭帯域の緑色の光が選択される例が示されている。

また、図１３の下側には、第１の波長選択フィルタ１２ｅ及び第２の波長選択フィルタ１２ｆが設定されずに、イメージセンサ１２ａにより受光された白色光の波長帯域（４００［ｎｍ］〜７００［ｎｍ］程度）が示されている。

図１３の例では、撮像装置１０ｂは、白色光に基づくカラー画像に、狭帯域の青色の光及び狭帯域の緑色の光に基づく画像から得られるマーカや輪郭成分等の情報が重畳された合成画像をディスプレイ１０１に出力する。ここで、狭帯域の青色の光及び狭帯域の緑色の光を撮像対象に照射して撮像を行うと、ヘモグロビンのコントラストが高くなり、血流を詳細に観察することができる画像を得ることができる。したがって、ユーザは、例えば、血流を容易に観察することができる。

なお、例えば、図７に示す第３の実施形態に係る撮像装置１０ａにおいて、白色ＬＥＤ３０ｂ及びＩＲレーザ３０ｄに代えて、波長帯域が４１０［ｎｍ］〜４３０［ｎｍ］程度の青色の光を出射する光源、及び、波長帯域が５３０［ｎｍ］〜５５０［ｎｍ］程度の緑色の光を出射する光源を設けてもよい。このように構成することによっても、血流を詳細に観察することができる画像を得ることができる。

図１４の上側には、第１の波長選択フィルタ１２ｅにより、波長帯域が４００［ｎｍ］〜４４０［ｎｍ］程度で狭帯域の青色の光（波長帯域Ｂ３に対応）と、波長帯域が５３０［ｎｍ］〜６３０［ｎｍ］程度で狭帯域の黄色の光が選択される例が示されている。なお、この黄色の光は、波長帯域が５３０［ｎｍ］〜５８０［ｎｍ］程度の緑色の光（波長帯域Ｇ３に対応）と、波長帯域が５８０［ｎｍ］〜６３０［ｎｍ］程度の赤色の光（波長帯域Ｒ３に対応）とを含んでいる。この緑色の光は、赤色よりの緑色の光である。また、この赤色の光は、緑色よりの赤色の光である。

図１４の下側には、第２の波長選択フィルタ１２ｆにより、波長帯域が４４０［ｎｍ］〜５３０［ｎｍ］程度の青緑色の光と、波長帯域が６３０［ｎｍ］〜６９０［ｎｍ］程度で狭帯域の赤色の光（波長帯域Ｒ４に対応）とが選択される例が示されている。なお、この青緑色の光は、波長帯域が４４０［ｎｍ］〜４８０［ｎｍ］程度で狭帯域の青色の光（波長帯域Ｂ４に対応）と、波長帯域が４８０［ｎｍ］〜５３０［ｎｍ］程度の緑色の光（波長帯域Ｇ４に対応）とを含んでいる。この青色の光は、緑色よりの光である。また、この緑色の光は、青色よりの光である。

図１４の例では、撮像装置１０ｂにおける分光感度帯域（Ｒ１，Ｇ１，Ｂ１）のそれぞれが２分割されて、６つの波長帯域（Ｒ３，Ｒ４，Ｇ３，Ｇ４，Ｂ３，Ｂ４）となる。例えば、赤色の光の波長帯域Ｒ３と赤色の光の波長帯域Ｒ４とを合わせた波長帯域は、撮像装置１０ｂにおける分光感度帯域Ｒ１と一致する。同様に、緑色の光の波長帯域Ｇ３と緑色の光の波長帯域Ｇ４とを合わせた波長帯域は、撮像装置１０ｂにおける分光感度帯域Ｇ１と一致する。また、青色の光の波長帯域Ｂ３と青色の光の波長帯域Ｂ４とを合わせた波長帯域は、撮像装置１０ｂにおける分光感度帯域Ｂ１と一致する。撮像装置１０ｂは、例えば、波長帯域Ｒ３の赤色の光、波長帯域Ｇ３の緑色の光、及び、波長帯域Ｂ３の青色の光に基づくカラー画像を生成する。

また、撮像装置１０ｂは、波長帯域Ｒ４の赤色の光、波長帯域Ｇ４の緑色の光、及び、波長帯域Ｂ４の青色の光のうち少なくとも１つの光に基づく画像を生成する。そして、撮像装置１０ｂは、生成した画像から得られるマーカや輪郭成分等の情報を、カラー画像に重畳して合成画像を生成して出力する。なお、撮像装置１０ｂは、生成した画像と、カラー画像とを別々にディスプレイ１０１に出力してもよい。

したがって、第５の実施形態に係る撮像装置１０ｂによれば、通常の３種類の色の画像（ＲＧＢのカラー画像）よりも多い種類の色の画像を出力することができる。

なお、例えば、図７に示す第３の実施形態に係る撮像装置１０ａにおいて、ＩＲレーザ３０ｄに代えて、波長帯域が４００［ｎｍ］〜４４０［ｎｍ］程度の青色の光を出射する光源、波長帯域が５３０［ｎｍ］〜５８０［ｎｍ］程度の緑色の光を出射する光源、波長帯域が５８０［ｎｍ］〜６３０［ｎｍ］程度の赤色の光を出射する光源、波長帯域が４４０［ｎｍ］〜４８０［ｎｍ］程度で狭帯域の青色の光を出射する光源、波長帯域が４８０［ｎｍ］〜５３０［ｎｍ］程度の緑色の光を出射する光源、及び、波長帯域が６３０［ｎｍ］〜６９０［ｎｍ］程度で狭帯域の赤色の光を出射する光源を設けてもよい。このように構成することによっても、通常の３種類の色の画像よりも多い種類の色の画像を出力することができる。

また、撮像装置１０ｂによれば、通常の３種類の色の画像よりも多い種類の色の画像を出力するので、ディスプレイ１０１に表示される画像の色合いが、実際の撮像対象の色合いに類似する。したがって、撮像装置１０ｂによれば、色再現性が高い画像を生成することができる。

また、撮像装置１０ｂは、比較的安価な第１の波長選択フィルタ１２ｅ及び第２の波長選択フィルタ１２ｆを用いて通常の３種類の色の画像よりも多い種類の色の画像を得る。したがって、撮像装置１０ｂによれば、４色以上の光に分光するような比較的高価な分光プリズムを用いずに、比較的安価に、４色以上の画像を得ることができる。

以上、第５の実施形態に係る撮像装置１０ｂについて説明した。第５の実施形態に係る撮像装置１０ｂによれば、上述したように、ユーザが観察するのに十分な画質を確保することができる。

以上述べた少なくとも１つの実施形態又は変形例に係る撮像装置によれば、ユーザが観察するのに十分な画質を確保することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１、１ａ、１ｂ 撮像システム
１０、１０ａ、１０ｂ 撮像装置
１２ａ イメージセンサ
１４ａ ＭＰＵ

Claims (18)

1. 行列状に配置された、受光により電気信号を発生する複数の画素を含み、前記複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に前記電気信号を出力する処理を、１フレーム毎に繰り返す、ローリングシャッタ方式のイメージセンサと、
   前記複数の画素が光を受光する受光期間と、前記複数の画素の各行の露光期間に共通するグローバル露光期間とを同期させる制御を、１フレーム毎に繰り返す制御部と、
   を備えた撮像装置。
2. 前記制御部は、前記受光期間を制御することにより、前記受光期間と前記グローバル露光期間とを同期させる、請求項１に記載の撮像装置。
3. 前記制御部は、光源装置から出射される前記光の出射タイミングを制御することにより、前記受光期間を制御する、
   請求項２に記載の撮像装置。
4. 前記複数の画素へ進む光を遮る遮光フィルタを更に備え、
   前記制御部は、遮光フィルタを制御することにより、前記受光期間を制御する、
   請求項２に記載の撮像装置。
5. 前記制御部は、前記受光期間が前記グローバル露光期間と略一致するように制御する、請求項１〜４のいずれか１つに記載の撮像装置。
6. 前記制御部は、前記受光期間が前記グローバル露光期間より短くなるように制御する、請求項１〜４のいずれか１つに記載の撮像装置。
7. 前記制御部は、
   前記複数の画素が受光する光の種類をフレーム毎に変化させ、
   前記複数の画素が第１の光を受光する第１の受光期間と前記グローバル露光期間を同期させる制御を、少なくとも２フレーム毎に実行し、
   前記複数の画素が前記第１の光と種類が異なる第２の光を受光する第２の受光期間と前記グローバル露光期間を同期させる制御を、少なくとも２フレーム毎に実行する、請求項１〜６のいずれか１つに記載の撮像装置。
8. 前記複数の画素は、前記第１の光を受光することにより第１の電気信号を出力し、前記第２の光を受光することにより第２の電気信号を出力し、
   前記第１の電気信号に基づく第１の画像と、前記第２の電気信号に基づく第２の画像とを合成して第３の画像を生成する信号処理部を更に備える、請求項７に記載の撮像装置。
9. 前記信号処理部は、前記第１の画像に、前記第２の画像から得られる情報を重畳して前記第３の画像を生成する、請求項８に記載の撮像装置。
10. 前記信号処理部は、前記第２の画像のうち輝度が閾値以上の部分に対応する前記情報を生成し、前記第１の画像に前記情報を重畳して前記第３の画像を生成する、請求項９に記載の撮像装置。
11. 前記信号処理部は、前記部分の輝度に応じた色を前記情報に付与する、請求項１０に記載の撮像装置。
12. 前記信号処理部は、前記情報として、マーカ又は輪郭成分を前記第１の画像に重畳して、前記第３の画像を生成する、請求項９〜１１のいずれか１つに記載の撮像装置。
13. 前記第１の光の波長帯域及び前記第２の光の波長帯域を合わせた波長帯域は、前記撮像装置における分光感度帯域と一致する、請求項９〜１２のいずれか１つに記載の撮像装置。
14. 前記制御部は、ユーザの指示に応じて、
    前記複数の画素が第１の光を受光する第１の受光期間と前記グローバル露光期間を同期させる制御を１フレーム毎に実行する第１のモードと、
    前記複数の画素が受光する光の種類をフレーム毎に変化させ、前記複数の画素が前記第１の光を受光する第１の受光期間と前記グローバル露光期間を同期させる制御を、少なくとも２フレーム毎に実行し、前記複数の画素が前記第１の光と種類が異なる第２の光を受光する第２の受光期間と前記グローバル露光期間を同期させる制御を、少なくとも２フレーム毎に実行する第２のモードとを切り替える、請求項１〜６のいずれか１つに記載の撮像装置。
15. 前記イメージセンサを含む複数のイメージセンサを備え、
    前記複数のイメージセンサそれぞれの前記複数の画素は、対応する種類の光を受光することにより電気信号を出力する、請求項１〜１４のいずれか１つに記載の撮像装置。
16. 前記制御部は、前記電気信号に基づく画像の明るさが所定の明るさとなるように、前記複数の画素により受光される光を制御する、
    請求項１〜６のいずれか１つに記載の撮像装置。
17. 前記制御部は、前記画像の明るさが前記所定の明るさとなるように、前記複数の画素により受光される光の光束、及び、前記受光期間の少なくとも一方を制御する、
    請求項１６に記載の撮像装置。
18. 行列状に配置された、受光により電気信号を発生する複数の画素を含み、前記複数の画素の最初の行から最後の行に向かって、少なくとも１行毎に順次露光を開始し、露光が終了した行から順に前記電気信号を出力する処理を、１フレーム毎に繰り返す、ローリングシャッタ方式のイメージセンサを備えた撮像装置を制御するための制御プログラムであって、
    前記複数の画素が光を受光する受光期間と、前記複数の画素の各行の露光期間に共通するグローバル露光期間とを同期させる制御を、１フレーム毎に繰り返させる、
    制御プログラム。

Images