JP2017158075A - 撮像装置、および撮像方法 - Google Patents

Abstract

【課題】状況に合わせて撮像の制御を変更すること。【解決手段】撮像装置は、行列状に配置された複数の画素を有する撮像部と、被写体に照射される照明光を発生する光源を有する照明部と、前記照明光以外の光が前記撮像部に入射したか否かを判別する入射光判別機能部と、前記入射光判別機能部による判別の結果に応じて、前記照明部又は前記撮像部のフレームレートを制御するＡＥ制御機能部と、を備える。【選択図】図１

Description

本発明は、撮像装置、および撮像方法に関する。

近年の撮像装置には、消費電力が少ないローリングシャッタ方式で高速駆動が可能なＣＭＯＳ型のイメージセンサが多く用いられている。このイメージセンサは、二次元に配列された多数の画素（光電変換素子）を有し、ＭＯＳトランジスタ回路を信号読出回路として用いている。このローリングシャッタ方式は、イメージセンサの水平方向に並ぶ画素行ごとに順次時間をずらして露光して信号読み出しを行う駆動方式である。
ローリングシャッタ方式を用いる場合、先頭画素行から最終画素行にかけて露光する（電荷蓄積）タイミングが画素行ごとに異なる。そのため、移動する被写体や変化する被写体を撮像する場合、像の歪み（ローリングシャッタ歪）が生じてしまう。そこで、例えば、特許文献１に記載の撮像装置の制御装置は、先頭画素行から最終画素行までの全ての画素行の露光期間において、露光期間が重複する期間にのみ照明光を照射させることによって、ローリングシャッタ歪の影響を抑制する。

特開２０１５−６１０９０号公報

しかしながら、特許文献１に記載の撮像装置の制御装置では、外光等の自装置による照明光以外の光が入る状況下においては、照射していない期間でも感光してしまうため、ローリングシャッタ歪の影響を抑制することができない。

本発明は上記の点に鑑みてなされたものであり、状況に合わせて撮像の制御を変更することができる撮像装置、および撮像方法を提供する。

本発明は上記の課題を解決するためになされたものであり、本発明の一態様としては、行列状に配置された複数の画素を有する撮像部と、被写体に照射される照明光を発生する光源を有する照明部と、前記照明光以外の光が前記撮像部に入射したか否かを判別する入射光判別機能部と、前記入射光判別機能部による判別の結果に応じて、前記照明部又は前記撮像部のフレームレートを制御するＡＥ制御機能部と、を有することを特徴とする撮像装置である。

また、本発明の一態様としては、コンピュータを用いた撮像方法であって、撮像部が、行列状に配置された複数の画素により撮像する撮像ステップと、照明部が、被写体に照射される照明光を発生する光源により照明光を発生させる照明ステップと、入射光判別機能部が、前記照明光以外の光が前記撮像部に入射したか否かを判別する入射光判別機能ステップと、ＡＥ制御機能部が、前記入射光判別機能部による判別の結果に応じて、前記照明ステップ又は前記撮像ステップにおけるフレームレートを制御するＡＥ制御機能ステップと、を有することを特徴とする撮像方法である。

本発明によれば、状況に合わせて撮像の制御を変更することができる。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。 本発明の第１の実施形態に係る撮像装置の撮像素子におけるローリングシャッタ方式を説明する図である。 本発明の第１の実施形態に係る撮像装置のＡＥ制御機能部によるローリングシャッタ歪みの抑制処理を説明する図である。 フレームレートの変化に伴う、撮像された映像の違いを説明する図である。 本発明の第１の実施形態に係る撮像装置の動作を示すフローチャートである。 本発明の第２の実施形態に係る撮像装置のＡＥ制御機能部によるローリングシャッタ歪みの抑制処理の一例を示す図である。 本発明の第３の実施形態に係る撮像装置のＡＥ制御機能部によるローリングシャッタ歪みの抑制処理の一例を示す図である。 本発明の第４の実施形態に係る撮像装置の挿入部および本体部の一部の構成を示すブロック図である。 本発明の第４の実施形態に係る撮像装置の光源が照射する光の分光特性の一例を示す図である。 外光の分光特性の一例を示す図である。 本発明の第５の実施形態に係る撮像装置のＡＥ制御機能部によるローリングシャッタ歪みの抑制処理の一例を示す図である。 本発明の第６の実施形態に係る撮像装置の撮像素子駆動部によるフレーム加算処理を示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照しながら説明する。
（撮像装置の構成）
まず、撮像装置１の構成について説明する。
図１は、第１の実施形態に係る撮像装置の構成を示すブロック図である。
図示するように、第１の実施形態に係る撮像装置１は、本体部１０と、挿入部２０と、を含んで構成される。撮像装置１は、例えば、内視鏡装置である。撮像装置１は、被検体の内部に挿入され、少なくとも被検体の内部の映像を取得する。被検体の種類は特に限定されない。例えば、撮像装置１の被検体は、ボイラ、タービン、エンジン、化学プラント等の産業用機器でもよいし、生体でもよい。

挿入部２０は、撮像装置１において被検体に挿入される装置部分である。挿入部２０は、屈曲可能な細長い管状である。挿入部２０は、撮像素子２００と、伝送線２０１と、光源２０２と、ライトガイド２０３と、を含んで構成される。
挿入部２０における挿入方向の先端には、撮像素子２００が装着されている。

撮像素子２００は、被検体からの光を光電変換する。撮像素子２００は、例えばＣＭＯＳイメージセンサ（ＣＩＳ）である。撮像素子２００は、駆動信号に基づいて、受光光の光電変換を行い、電気信号である映像出力信号を出力する。
図１では省略されているが、挿入部２０における挿入方向の先端には、被検体からの光を入射させるため、光透過性の受光窓が設けられている。さらに、受光窓と撮像素子２００との間には、被検体からの光を撮像素子２００の撮像面に結像する対物レンズ（図示せず）が配置されている。

挿入部２０において、撮像素子２００から本体部１０に向かって延びる管状部の内部には、伝送線２０１が挿通されている。伝送線２０１は、撮像素子２００と、後述する本体部１０との間で、信号伝送を行う。

光源２０２（照明部）は、被写体に照射される照明光を発生する光源を有する。光源２０２は、例えば、半導体レーザである。
ライトガイド２０３は、光源２０２で生成された入力光である照明光を被検体へ向けて導光する。

本体部１０は、被検体の外部に配置される。本体部１０は、少なくとも、撮像素子２００による映像取得を行うための電装ユニットを備える。
本体部１０は、画像処理部１００と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）部１０１と、表示部１０２と、記録部１０３と、を含んで構成される。また、画像処理部１００は、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ；自動利得制御）機能部１０００と、電子シャッタ制御機能部１００１と、光源制御機能部１００２と、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ；自動露光調節）制御機能部１００３と、撮像素子駆動クロック生成部１００５と、撮像素子駆動部１００６と、を含んで構成される。また、ＡＥ制御機能部１００３は、入射光判別機能部１００４を含んで構成される。なお、本体部１０は、撮像装置１の操作を行うための操作部（図示せず）を備えていてもよい。

画像処理部１００は、撮像素子２００を制御し、かつ撮像素子２００から送出された映像データの画像処理を施して表示用の映像データを生成し、後述するＣＰＵ部１０１、表示部１０２、および記録部１０３へ画像データを送信する。
ＣＰＵ部１０１は、撮像装置１における各種の処理を制御する。
表示部１０２は、画像処理部１００から送信された映像データを取得し、当該映像データに基づく映像を表示する。表示部１０２は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、等を含んで構成される。

記録部１０３は、画像処理部１００から送信された映像データを取得し、当該映像データを記録する。記録部１０３は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ；読み出し専用メモリ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ；読み書き可能なメモリ）、またはそれらの組み合わせ、を含んで構成される。

（画像処理部の構成）
以下に、画像処理部１００の構成について説明する。
画像処理部１００は、ＡＧＣ機能部１０００と、電子シャッタ制御機能部１００１と、光源制御機能部１００２と、ＡＥ制御機能部１００３と、撮像素子駆動クロック生成部１００５と、撮像素子駆動部１００６と、を含んで構成される。

ＡＧＣ機能部１０００は、撮像素子２００から得られた信号を設定された値に基づいて増幅する。
電子シャッタ制御機能部１００１は、撮像素子２００の露光時間を制御する。露光時間を制御することにより、撮像素子に蓄積される光量を調整し、撮像素子からの所望の出力を得る。
光源制御機能部１００２は、光源を制御することでライトガイドを介し、先端部より出射される光の光量を調整する。
ＡＥ制御機能部１００３は、画像信号のレベル（明るさ）を検出し、設定された画像信号レベルとなるように、上記のＡＧＣ機能部１０００、電子シャッタ制御機能部１００１、および光源制御機能部１００２を制御する。また、ＡＥ制御機能部１００３は、入射光判別機能部１００４を備える。入射光判別機能部１００４は、照明光以外の光が撮像素子２００に入射したか否かを判別する。
また、ＡＥ制御機能部１００３は、入射光判別機能部１００４による判別の結果に応じて、光源２０２または撮像素子２００の駆動におけるフレームレートを制御する。

撮像素子駆動クロック生成部１００５は、撮像素子２００に与える駆動クロックを変更する。フレームレートを変更する場合、画像処理部１００にて撮像素子駆動用のクロックを変更し、撮像素子を駆動する。フレームレートを倍にする場合は、クロックを倍にし、フレームレートを１／２倍にする場合は、クロックを１／２倍にする。
撮像素子駆動部１００６は、撮像素子駆動クロック生成部１００５からの駆動クロックおよび撮像素子２００への同期信号を生成し、撮像素子２００を駆動させる。

（自照明のみが撮像素子に入射する場合）
以下に、自照明のみが撮像素子２００に入射している場合における、第１の実施形態に係る撮像装置１によるローリングシャッタ歪みの抑制処理について、図面を参照しながら説明する。
本実施形態に係る撮像装置１の撮像素子２００は、ローリングシャッタ方式で高速駆動が可能なＣＭＯＳ型のイメージセンサである。撮像素子２００（撮像部）は、行列状に（二次元格子状に）配置された複数の画素を有しており、水平方向（横方向）の画素行ごとに順に駆動制御される。なお、各画素行には、電子シャッタ開から電子シャッタ閉までの一定の露光時間（電荷蓄積時間）が設定されている。まず、第１画素行（先頭画素行）の各画素について同時に露光開始する。次に、第１画素行の露光開始から若干時間をずらして第２画素行の各画素について同時に露光を開始する。以下、順に画素行ごとに時間をずらしながら露光を開始する。

画素行における各画素は、一定の期間（期間ｔ）だけ露光され、露光が終了した画素行から順に、信号読出回路により、検出信号がイメージセンサの外部に読み出される。
図２は、第１の実施形態に係る撮像装置１の撮像素子２００におけるローリングシャッタ方式を説明する図である。図２は、各画素行の露光開始（電子シャッタ開、電荷蓄積開始）から露光終了（電子シャッタ閉、電荷蓄積終了）までの時間のずれを示している。

各画素行間の露光開始タイミングのずれを、例えば１０μ秒とし、画素行数をｎ行とすると、先頭画素行と最終画素行との間には１０ｎμ秒時間差が生じる。その結果、例えば、高速に移動する物体をローリングシャッタ方式で撮像すると、先頭画素行の撮像画像と最終画素行の撮像画像とで同時性が確保できず、画像が斜めに歪んでしまうことになる。
したがって、図２に示すように、全画素行が同時に電子シャッタ開となっている重複期間（期間ｐｔ１）の間だけ、被写体に照明光を照射することにより、全画素行に対して撮像画像の同時性を確保することができる。なお、全画素行が同時に電子シャッタ開となる重複期間（期間Ｐｔ１）は、期間ｔ−１０ｎμ秒となる。

上述したように、第１の実施形態に係る撮像装置１は、撮像素子２００から画像信号を画素行ごとに時間差を伴って露光を行うが、全画素行が露光期間中である重複期間（期間Ｐｔ１）が存在する。期間Ｐｔ１の長さは撮像素子によって異なるが、各撮像素子ごとのデータが予めメモリ（例えば、記録部１０３）に保存されている。
最終ラインの露光が開始されるタイミングで、撮像素子駆動部１００６から光源制御機能部１００２へ信号が送られ、光源制御機能部１００２は、光源２０２を点灯させる。そして、各撮像素子ごとに設定された露光期間が終了するタイミングで、撮像素子駆動部１００６から光源制御機能部１００２へ信号が送られ、光源制御機能部１００２は、光源２０２を消灯させる。これにより、撮像装置１は、自照明のみが撮像素子に入射する場合において、ローリングシャッタ歪みを抑制することができる。

（外光と自照明が撮像素子に入射する場合）
一方、外光が入射するような状況であれば、上述した方法ではローリングシャッタ歪みを抑制することができない。なぜならば、全画素行が露光期間中である重複期間（期間Ｐｔ１）のみ光源２０２を点灯させたとしても、外光が入射する状況においては、重複期間（期間Ｐｔ１）以外の期間においても撮像素子２００は露光をしてしまうためである。これにより、ローリングシャッタ歪みが発生した画像が出力される。
そこで、外光と自照明が撮像素子２００に入射している場合における、第１の実施形態に係る撮像装置１によるローリングシャッタ歪みの抑制処理について、図面を参照しながら以下において説明する。

上述した課題を解決するため、第１の実施形態に係る撮像装置１は、外光が入射される状況においては、フレームレートを上げることでローリングシャッタ歪みを抑制する。
図３は、第１の実施形態に係る撮像装置１のＡＥ制御機能部１００３によるローリングシャッタ歪みの抑制処理を説明する図である。

撮像装置１は、上述したように全画素行を露光している期間中（例えば、図２における期間Ｐｔ１の期間中）のみ光源２０２を点灯させている場合において、予め設定された所定の明るさとなるようにＡＥ（自動露光）制御を行う。具体的には、ＡＥ制御機能部１００３が、ＡＧＣ機能部１０００、電子シャッタ制御機能部１００１、および光源制御機能部１００２を制御することによって、それぞれＡＧＣゲイン、電子シャッタ速度、および光源光量を調整し、目標の明るさになるように制御を行う。なお、一般的に、ＡＧＣゲインが高くなるほど明るさは明るくなり、電子シャッタ速度が遅くなるほど露光時間が長くなるため明るさは明るくなり、および、光源光量が多くなるほど明るさは明るくなる。

図３に図示するグラフは、縦軸は撮像している映像の明るさを表し、横軸はＡＥ制御機能部１００３において明るさが検知されてからのフレーム枚数によって時間軸を表したものである。また、図３のグラフにおいて実線で占めされた曲線は、実際に行ったＡＥ制御と、当該ＡＥ制御の結果として得られた明るさとの関係を示している。一方、また、図３のグラフにおいて点線で占めされた曲線は、自照明のみが入射されている状況において行われるＡＥ制御と、当該ＡＥ制御の結果として得られる明るさの理論値との関係を示している。

ＡＥ制御を行った場合、外光が入射する状況においては、自照明のみが入射する状況と比べて明るさは明るくなる。図３に図示するように、ＡＥ制御機能部１００３の入射光判別機能部１００４は、ＡＥ制御を行ったにも関わらず、複数フレームにわたって明るさが目標値より高い場合（すなわち、実際の測定値を示す実線が、自照明のみの状況における理論値を示す点線に収束していかず、両者に差分が発生している場合）には、外光が入射されていると判別する。入射光判別機能部１００４によって外光が入射されていると判断されると、ＡＥ制御機能部１００３は、撮像素子駆動クロック生成部１００５および撮像素子駆動部１００６を介して、フレームレートを高くする制御を行う。

図４は、フレームレートの変化に伴う、撮像された映像の違いを説明する図である。図４（ａ）、図４（ｂ）、図４（ｃ）、および図４（ｄ）のグラフには、いずれも縦軸は撮像素子２００における画素行（の位置）を、横軸は時間軸を表すことによって、撮像される映像のイメージを表した概念図である。
図４（ａ）は、ローリングシャッタ歪みが無い場合（例えば、自照明のみが入射する状況であって全画素行が露光している期間（重複期間）にのみ被写体に照明光を照射した場合）に撮像される映像のイメージを示す。図４（ａ）に図示するように、ローリングシャッタ歪みが無い場合には、最上段の画素行から最下段の画素行まで同一の期間のみ露光が行われるため、歪みの無い映像となる。

図４（ｂ）は、ローリングシャッタ歪みがある場合において、フレームレートを３０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）にして撮像した場合における映像のイメージを示す。図４（ｂ）に図示するように、最上段の画素行から最下段の画素行まで撮像する間に、画素行ごとに撮像される期間のずれが生じるため、歪みのある映像となる。

図４（ｃ）は、ローリングシャッタ歪みがある場合において、フレームレートを６０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）にして撮像した場合における映像のイメージを示す。図４（ｃ）に図示するように、図４（ｂ）においてフレームレートを３０ｆｐｓにした場合よりもフレームレートが高いことにより、画素行ごとに撮像される期間のずれが小さくなるため、画素行ごとに撮像される期間のずれも小さくなる。これにより、フレームレートが高くなることによって、ローリングシャッタ歪みによる映像の歪みの大きさは小さい映像となる。

図４（ｄ）は、ローリングシャッタ歪みがある場合において、フレームレートを１２０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）にして撮像した場合における映像のイメージを示す。図４（ｄ）に図示するように、図４（ｃ）においてフレームレートを６０ｆｐにした場合よりもフレームレートがさらに高いことにより、ローリングシャッタ歪みによる映像の歪みの大きさはさらに小さい映像となる。

（撮像装置の動作）
以下に、撮像装置１の動作について図面を参照しながら説明する。
図５は、第１の実施形態に係る撮像装置１の動作を示すフローチャートである。本フローチャートは、撮像が開始された際に開始する。

（ステップＳ００１）光源制御機能部１００２は、撮像素子２００において全画素行が露光期間中である期間のみ光源２０２を点灯させ、全画素行のうち１つでも露光期間中でない画素行が存在する期間には光源２０２を消灯させる。その後、ステップＳ００２へ進む。

（ステップＳ００２）ＡＥ制御機能部１００３は、ＡＧＣ機能部１０００、電子シャッタ制御機能部１００１、および光源制御機能部１００２を制御することよりＡＥ制御を行い、目標の明るさになるように制御を行う。その後、ステップＳ００３へ進む。

（ステップＳ００３）ＡＥ制御を行った結果、明るさが目標値より高い場合には、ステップＳ００４へ進む。そうでない場合は、ステップＳ００６へ進む。

（ステップＳ００４）ＡＥ制御機能部１００３の入射光判別機能部１００４は、外光が入射されていると判別する。その後、ステップＳ００５へ進む。

（ステップＳ００５）ＡＥ制御機能部１００３は、撮像素子駆動クロック生成部１００５および撮像素子駆動部１００６を介して、フレームレートを高くする。以上で本フローチャートの処理を終了する。

（ステップＳ００６）ＡＥ制御機能部１００３の入射光判別機能部１００４は、外光が入射されていないと判別する。以上で本フローチャートの処理を終了する。

以上、説明したように、第１の実施形態に係る撮像装置１は、外光が入射していると判断した場合には、フレームレートを上げることによって、ローリングシャッタ歪みによる映像の歪みをより小さくすることができる。なお、外光が入射せず自照明のみの場合においては、撮像装置１は、全画素行が露光している期間（重複期間）にのみ被写体に照明光を照射するため、ローリングシャッタ歪みは発生しない。そのため、撮像装置１は、外光が入射せず自照明のみの場合においてはフレームレートを上げないことにより、撮像における消費電力を低減させることができる。
以上により、第１の実施形態に係る撮像装置１は、状況に合わせて撮像の制御を変更することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態に係る撮像装置１の機能構成は、第１の実施形態に係る撮像装置１の機能構成と同一であるため、説明を省略する。
図６は、第２の実施形態に係る撮像装置１のＡＥ制御機能部１００３によるローリングシャッタ歪みの抑制処理の一例を示す図である。
一般的に、外光が入射されている場合には、明るさを抑えるため、ＡＥ制御を行い、ＡＧＣゲインを小さく、電子シャッタは短く、および光源光量を少なくする、という制御になる。第２の実施形態に係る撮像装置１の入射光判別機能部１００４は、ＡＥ制御を行い、ＡＧＣゲイン、電子シャッタ速度、および光源光量の設定値が所定の閾値以下になった場合に、外光が入射されたと判別する。

図６に図示するグラフは、縦軸は撮像している映像の明るさを表し、横軸は光源光量の多さを表したものである。また、図６のグラフにおいて実線で占めされた直線は、実際に行ったＡＥ制御による光源光量の調整と、当該光源光量の調整の結果として得られた明るさとの関係を示している。一方、また、図６のグラフにおいて点線で示された直線は、自照明のみが入射されている状況において行われるＡＥ制御による光源光量の調整と、当該光源光量の調整の結果として得られる明るさの理論値との関係を示している。

図６において点線によって示されているように、自照明のみが入射されている状況においては、光源光量が０に近くなるほど、明るさも０近づく。一方、図６において実線によって示されているように、外光が入射している状況においては、光源光量が０に近くなったとしても明るさは０にはならない。
なお図６においては、ＡＥ制御として、光源光量の調整を例としたが、ＡＧＣゲインの調整、または電子シャッタ速度の調整であってもよい。

第２の実施形態に係る撮像装置１の入射光判別機能部１００４は、実際に行った光源光量の調整の結果として得られた明るさと、自照明のみが入射されている状況において光源光量が調整された場合に得られる明るさの理論値との間に差分があり、その差分が所定の閾値よりも大きい場合には、外光が入射されていると判別する。入射光判別機能部１００４によって外光が入射されていると判断されると、ＡＥ制御機能部１００３は、（第１の実施形態におけるＡＥ制御機能部１００３と同様に）撮像素子駆動クロック生成部１００５および撮像素子駆動部１００６を介して、フレームレートを高くする制御を行う。

以上、説明したように、第２の実施形態に係る撮像装置１は、（第１の実施形態と同様に）外光が入射していると判断した場合には、フレームレートを上げることによって、ローリングシャッタ歪みによる映像の歪みをより小さくすることができる。また、撮像装置１は、外光が入射せず自照明のみの場合においてはフレームレートを上げないことにより、撮像における消費電力を低減させることができる。
以上により、第２の実施形態に係る撮像装置１は、状況に合わせて撮像の制御を変更することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。なお、第３の実施形態に係る撮像装置１の機能構成は、第１の実施形態に係る撮像装置１の機能構成と同一であるため、説明を省略する。
図７は、第３の実施形態に係る撮像装置１のＡＥ制御機能部１００３によるローリングシャッタ歪みの抑制処理の一例を示す図である。
第３の実施形態に係る撮像装置１の入射光判別機能部１００４は、ＡＥ制御による、ＡＧＣゲイン、電子シャッタ速度、および光源光量の組み合わせ制御を行い、当該制御の結果によって得られる明るさを所定の閾値以下の明るさに設定することができない場合には、外光が入射されたと判別する。

図７に図示するグラフは、縦軸は撮像している映像の明るさを表し、横軸はＡＧＣゲイン、電子シャッタ速度、および光源光量の組み合わせ制御による調整度合（左へ行くほど明るさをより暗くするための調整度合）を表したものである。また、図７のグラフにおいて実線で占めされた曲線は、実際に行ったＡＧＣゲイン、電子シャッタ速度、および光源光量の組み合わせ制御による調整度合と、当該組み合わせ制御による調整の結果として得られた明るさとの関係を示している。一方、また、図７のグラフにおいて細い点線で示された直線は、自照明のみが入射されている状況において行われるＡＧＣゲイン、電子シャッタ速度、および光源光量の組み合わせ制御による調整度合と、当該組み合わせ制御による調整の結果として得られる明るさの理論値との関係を示している。
また、図７のグラフにおいて太い点線で示された直線は、上記で説明した明るさの所定の閾値を示している。

図７において細い点線によって示されているように、自照明のみが入射されている状況においては、ＡＧＣゲイン、電子シャッタ速度、および光源光量の組み合わせ制御によって、明るさを０へ近づけることができる。一方、外光が入射している状況においては、ＡＧＣゲイン、電子シャッタ速度、および光源光量の組み合わせ制御を行ったとしても明るさは０へ近づけることはできない（すなわち、一定の暗さ以上には暗くすることができない）。

第３の実施形態に係る撮像装置１の入射光判別機能部１００４は、ＡＧＣゲイン、電子シャッタ速度、および光源光量の組み合わせ制御を行っても所定の閾値以下の明るさに設定することができない場合には、外光が入射されたと判別する。
入射光判別機能部１００４によって外光が入射されていると判断されると、ＡＥ制御機能部１００３は、（第１の実施形態におけるＡＥ制御機能部１００３と同様に）撮像素子駆動クロック生成部１００５および撮像素子駆動部１００６を介して、フレームレートを高くする制御を行う。

以上、説明したように、第３の実施形態に係る撮像装置１は、（第１の実施形態と同様に）外光が入射していると判断した場合には、フレームレートを上げることによって、ローリングシャッタ歪みによる映像の歪みをより小さくすることができる。また、撮像装置１は、外光が入射せず自照明のみの場合においてはフレームレートを上げないことにより、撮像における消費電力を低減させることができる。
以上により、第３の実施形態に係る撮像装置１は、状況に合わせて撮像の制御を変更することができる。

（第４の実施形態）
次に、本発明の第４の実施形態に係る撮像装置１について説明する。
図８は、第４の実施形態に係る撮像装置２の挿入部２０および本体部１０の一部の構成を示すブロック図である。
第４の実施形態に係る撮像装置２の挿入部２０は、第１乃至第３の実施形態に係る撮像装置１の挿入部２０の機能構成に加えて、プリズム２１０と、戻り光ファイバー２１１と、を備える。また、第４の実施形態に係る撮像装置２の本体部１０は、第１乃至第３の実施形態に係る撮像装置１の本体部１０の機能構成（図１に示すブロック図と同様の機能構成であり、図８においては図示を省略）に加えて、ダイクロイックミラー１１０と、フォトダイオード１１１と、を備える。

第４の実施形態に係る撮像装置２は、撮像前にプリズム等（例えば、プリズム２１０）で入射光の一部を分岐させ、戻り光ファイバー２１１へ入射する。戻り光ファイバー２１１へ入射された光は、本体部１０のダイクロイックミラー１１０へ届けられる。なお、ダイクロイックミラー１１０は、特定の波長のみを反射させる部材である。但し、特定の波長のみを反射させる部材、もしくは特定の波長のみを透過させる部材であるならば、ダイクロイックミラー１１０の代わりに、他の部材が用いられても構わない。

第４の実施形態に係る撮像装置２のダイクロイックミラー１１０は、出力レベルが低い波長（例えば、６００ｎｍ（ナノメートル）以上の波長）を反射させる。
図９は、第４の実施形態に係る撮像装置２の光源２０２が照射する光の分光特性の一例を示す図である。図示するように、光源２０２が照射する光は、６００ｎｍ以上の波長は多く含まれていない（４００ｎｍから６００ｎｍの間の波長の光によって概ね構成されている）。
図１０は、外光の分光特性の一例を示す図である。図示するように、外光には、６００ｎｍ以上の波長の光も多く含まれている。

上述したように、本実施形態に係るダイクロイックミラー１１０は、出力レベルが低い波長（例えば、６００ｎｍ（ナノメートル）以上の波長）を反射させる。そのため、自照明しか入射していない状況であって上記の光源２０２が照射する光のみをダイクロイックミラー１１０が反射した場合には、６００ｎｍ以上の波長は多く含まれていないため、当該光に含まれる様々な波長の光の多くは反射されない。一方、上記の外光が入射している状況においては、ダイクロイックミラー１１０は、外光に含まれる６００ｎｍ以上の波長の光も多く反射する。

プリズム２１０からダイクロイックミラー１１０へ届けられた光は、ダイクロイックミラー１１０で反射され、その反射光をフォトダイオード１１１が受光する。そして、撮像装置２の入射光判別機能部（図示せず）は、フォトダイオード１１１からの出力レベルが所定の閾値を超えている場合に、外光が入射されたと判別する。入射光判別機能部（図示せず）によって外光が入射されていると判断されると、ＡＥ制御機能（図示せず）は、（第１の実施形態におけるＡＥ制御機能部１００３と同様に）撮像素子駆動クロック生成部（図示せず）および撮像素子駆動部（図示せず）を介して、フレームレートを高くする制御を行う。

以上、説明したように、第４の実施形態に係る撮像装置２は、（第１乃至第３の実施形態と同様に）外光が入射していると判断した場合には、フレームレートを上げることによって、ローリングシャッタ歪みによる映像の歪みをより小さくすることができる。また、撮像装置２は、外光が入射せず自照明のみの場合においてはフレームレートを上げないことにより、撮像における消費電力を低減させることができる。
以上により、第４の実施形態に係る撮像装置２は、状況に合わせて撮像の制御を変更することができる。

（第５の実施形態）
次に、本発明の第５の実施形態について説明する。なお、第５の実施形態に係る撮像装置１の機能構成は、第１の実施形態に係る撮像装置１の機能構成と同一であるため、説明を省略する。
図１１は、第５の実施形態に係る撮像装置１のＡＥ制御機能部１００３によるローリングシャッタ歪みの抑制処理の一例を示す図である。
自照明のみの場合、光源２０２を点灯した場合には画像出力（例えば、輝度）が得られ、消灯した場合には画像出力は得られない。撮像装置１の入射光判別機能部１００４は、光源２０２を消灯させた場合にも画像出力が得られるようであれば外光が入射されたと判別する。

図１１に示す図は左から右へ向かって時間軸を表している。図１１の上段は、フレーム１からフレーム６までの時間の流れを示している。図１１の中段は、光源制御の状態を示している。図示するように、フレーム２、フレーム３、フレーム４、およびフレーム６のタイミングにおいて、光源２０２が点灯（ＯＮ）された状態であることを示す。また、図１１の下段は、図１１の上段が示す各フレームにおいて、図１１中断の光源制御を行うことによって得られた映像の出力（輝度レベル）を示す。

例えば、外光が入射されていない状況において、フレーム１の場合のように光源２０２が消灯された状態である場合には、映像信号の出力（輝度レベル）は０である。一方、外光が入射されている状況において、フレーム５の場合のように光源２０２が消灯された状態である場合であったとしても、映像信号は出力される（すなわち、輝度レベルは０にはならない）。

第５の実施形態に係る撮像装置１の入射光判別機能部１００４は、上記のフレーム５のように、光源２０２を点灯しなかったフレームにおいて映像信号が出力された場合には、外光が入射されたと判別する。
入射光判別機能部１００４によって外光が入射されていると判断されると、ＡＥ制御機能部１００３は、（第１の実施形態におけるＡＥ制御機能部１００３と同様に）撮像素子駆動クロック生成部１００５および撮像素子駆動部１００６を介して、フレームレートを高くする制御を行う。

以上、説明したように、第５の実施形態に係る撮像装置１は、（第１の実施形態と同様に）外光が入射していると判断した場合には、フレームレートを上げることによって、ローリングシャッタ歪みによる映像の歪みをより小さくすることができる。また、撮像装置１は、外光が入射せず自照明のみの場合においてはフレームレートを上げないことにより、撮像における消費電力を低減させることができる。
以上により、第５の実施形態に係る撮像装置１は、状況に合わせて撮像の制御を変更することができる。

（第６の実施形態）
次に、本発明の第６の実施形態について説明する。なお、第６の実施形態に係る撮像装置１の機能構成は、第１の実施形態に係る撮像装置１の機能構成と同一であるため、説明を省略する。
図１２は、第６の実施形態に係る撮像装置１の撮像素子駆動部１００６によるフレーム加算処理を示す図である。
第６の実施形態に係る撮像装置１は、フレームレートの変更手段として、常時高フレームレートとしておき、自照明のみの状況下においてはフレーム加算を行うことで低フレーム駆動とし、外光が入射されている状況においては高フレームレート駆動とする。

これにより、第６の実施形態に係る撮像装置１は、外光が入射している状況であっても高フレームレート駆動によりローリングシャッタ歪みを抑制することができ、自照明のみの状況であってもフレーム加算により明るさ確保することができる。さらに常時高フレームレートとしておくことにより、フレームレートを変更させないため、フレームレートの変更に伴う消費電力の削減や、装置の単純化を図ることができる。
以上により、第６の実施形態に係る撮像装置１は、状況に合わせて撮像の制御を変更することができる。

以上、説明したように、本発明の第１乃至第６の実施形態に係る撮像装置１または撮像装置２は、状況に合わせて撮像の制御を変更することができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態及びその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

なお、上述した実施形態における撮像装置１および撮像装置２の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

なお、ここでいう「コンピュータシステム」とは、撮像装置１および撮像装置２に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信回線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

また、上述した実施形態における撮像装置１および撮像装置２を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。撮像装置１および撮像装置２の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１・・・撮像装置、２・・・撮像装置、１０・・・本体部、２０・・・挿入部、１００・・・画像処理部、１０１・・ＣＰＵ部、１０２・・・表示部、１０３・・・記録部、１１０・・・ダイクロイックミラー、１１１・・・フォトダイオード、２００・・・撮像素子、２０１・・・伝送線、２０２・・・光源、２０３・・・ライトガイド、２１０・・・プリズム、２１１・・・戻り光ファイバー、１０００・・・ＡＧＣ機能部、１００１・・・電子シャッタ制御機能部、１００２・・・光源制御機能部、１００３・・・ＡＥ制御機能部、１００４・・・入射光判別機能部、１００５・・・撮像素子駆動クロック生成部、１００６・・・撮像素子駆動部

Claims (10)

1. 行列状に配置された複数の画素を有する撮像部と、
   被写体に照射される照明光を発生する光源を有する照明部と、
   前記照明光以外の光が前記撮像部に入射したか否かを判別する入射光判別機能部と、
   前記入射光判別機能部による判別の結果に応じて、前記照明部又は前記撮像部のフレームレートを制御するＡＥ制御機能部と、
   を有することを特徴とする撮像装置。
2. 前記入射光判別機能部が前記照明光以外の光が前記撮像部に入射したと判別した場合、
   前記ＡＥ制御機能部は、前記撮像部のフレームレートを上げる
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記入射光判別機能部が前記照明光以外の光が前記撮像部に入射していないと判別した場合、
   前記ＡＥ制御機能部は、前記撮像部の最終行に配置された画素の露光を開始した後から前記照明部を点灯させ、前記撮像部の最初の行に配置された画素の露光が終了する前までの間で前記照明部を消灯させる
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記ＡＥ制御機能部は、ＡＧＣ機能部、電子シャッタ制御機能部、光源制御機能部のうち少なくとも一つを制御することで明るさを調整し、
   前記入射光判別機能部は、前記ＡＥ制御機能部の制御の結果、明るさが目標値よりも高い場合に前記照明光以外の光が前記撮像部に入射したと判別する
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記入射光判別機能部は、前記ＡＧＣ機能部が設定するゲインの値、前記電子シャッタ制御機能部が設定する電子シャッタの期間、前記光源制御機能部が設定する光源の設定値のうち少なくとも一つが所定の閾値以下になった場合に、前記照明光以外の光が前記撮像部に入射したと判別する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記入射光判別機能部は、前記照明光の光量の変化させた際に画像信号のレベルが変化しない場合に、前記照明光以外の光が前記撮像部に入射したと判別する
   ことを特徴とする請求項１に記載の撮像装置。
7. 前記撮像部に入射される入射光の一部を分光する分光部と、
   前記分光部によって分光された前記入射光の一部のうち、前記照明光に含まれる波長の光の一部または全部を反射または透過させず、かつ、前記照明光に含まれない波長の光の一部または全部を反射または透過させることによって波長を絞り込む波長絞り込み部と
   を備え、
   前記入射光判別機能部は、前記波長絞り込み部によって前記波長が絞り込まれた光の出力状態に応じて判別する
   ことを特徴とする請求項１に記載の撮像装置。
8. 前記照明部は、特定のフレームにおいて照明光を発生させず、
   前記入射光判別機能部は、前記特定のフレームにおける画像出力状態に応じて判別する
   ことを特徴とする請求項１に記載の撮像装置。
9. 前記入射光判別機能部が前記照明光以外の光が前記撮像部に入射していないと判別した場合、
   前記ＡＥ制御機能部は、前記撮像部のフレームを加算し、フレームレートを下げる
   ことを特徴とする請求項１から請求項８までのいずれか一項に記載の撮像装置。
10. コンピュータを用いた撮像方法であって、
    撮像部が、行列状に配置された複数の画素により撮像する撮像ステップと、
    照明部が、被写体に照射される照明光を発生する光源により照明光を発生させる照明ステップと、
    入射光判別機能部が、前記照明光以外の光が前記撮像部に入射したか否かを判別する入射光判別機能ステップと、
    ＡＥ制御機能部が、前記入射光判別機能部による判別の結果に応じて、前記照明ステップ又は前記撮像ステップにおけるフレームレートを制御するＡＥ制御機能ステップと、
    を有することを特徴とする撮像方法。

Images