JP2016134900A - 撮像装置 - Google Patents

Abstract

【課題】輝度の欠損を適切に評価することができる撮像装置を、提供する。【解決手段】撮像装置１００は、露光部１７０と、撮像部１４０と、撮像処理部１３５と、輝度情報取得部１３６と、輝度情報補間部１３７と、露光情報設定部１３２とを、備えている。輝度情報取得部１３６は、第１蓄積時間及び第２蓄積時間で生成された第１撮像信号及び第２撮像信号に基づいて、第１撮像信号の第１輝度情報及び第２撮像信号の第２輝度情報を、取得する。輝度情報補間部１３７は、第１輝度情報に飽和部分が存在する場合、第２輝度情報から飽和部分に対応する対応部分を検出し、対応部分の第２輝度情報を用いて飽和部分の第１輝度情報を補間する。露光情報設定部１３２は、補間後の第１輝度情報に基づいて、第１撮像信号の輝度を制御するための第１露光制御情報を、設定する。【選択図】図３

Description

本技術は、撮像装置に関する。

従来の撮像装置では、第１の画像信号および第２画像信号それぞれが、複数のエリアに分割され、エリアごとに輝度値が積算される。そして、低輝度エリアが、輝度レベルの低い順に、第１の画像信号から抽出される。また、高輝度エリアが、輝度レベルの高い順に、第２の画像信号から抽出される。そして、低輝度エリア及び高輝度エリアそれぞれの平均値を算出し、その結果に基づいて、第１の画像信号および第２の画像信号の露光時間を個別に制御している（特許文献１を参照）。

特開２００３−３１９２５０号公報

従来の撮像装置では、上記のように第１の画像信号および第２画像信号それぞれを、独立して制御しているので、画像信号に飽和した飽和エリアが含まれる場合には、その飽和エリアを含んだ状態で上記処理を行い、その結果に基づいてＡＥ制御が実行される。このため、画像信号に飽和エリアが含まれる場合、輝度情報を適切に評価した上でのＡＥ制御ができていないおそれがある。
本技術は、上記の問題に鑑みてなされたものであって、本技術の目的は、輝度情報の欠損を適切に評価した上でＡＥ制御できる撮像装置を、提供することにある。

ここに開示された撮像装置は、露光部と、撮像部と、撮像処理部と、輝度情報取得部と、輝度情報補間部と、露光情報設定部とを、備えている。露光部は、被写体からの光を調節する。撮像部は、露光部が調節した光を周期的に蓄積することによって撮像信号を生成し出力する。撮像処理部は、撮像部の蓄積時間を、第１蓄積時間と、第１蓄積時間より短い第２蓄積時間とで、周期的に制御する。輝度情報取得部は、第１蓄積時間及び第２蓄積時間で生成された第１撮像信号及び第２撮像信号に基づいて、第１撮像信号の第１輝度情報及び第２撮像信号の第２輝度情報を、取得する。輝度情報補間部は、第１輝度情報に飽和部分が存在する場合、第２輝度情報から飽和部分に対応する対応部分を検出し、対応部分の第２輝度情報を用いて飽和部分の第１輝度情報を補間する。露光情報設定部は、補間後の第１輝度情報に基づいて、第１撮像信号の輝度を制御するための第１露光制御情報を、設定する。

本技術では、撮像装置において、輝度の欠損を適切に評価した上で、ＡＥ制御することができる。

本実施形態に係る撮像装置のブロック図。 本実施形態に係る撮像部の動作を示す概念図。 本実施形態に係る輝度補間の形態を説明するための概念図。 従来のＡＥ処理を用いて生成した合成信号を示す概念図。 本実施形態に係るＡＥ処理を用いて生成した合成信号を示す概念図。 本実施形態に係る撮像装置におけるＡＥ処理を示すフローチャート。 本実施形態に係る撮像装置におけるＡＥ処理を示すフローチャート。 本実施形態に係る撮像装置におけるＡＥ処理を示すフローチャート。

＜撮像装置の構成＞
図１は、本技術の実施形態に係る撮像装置１００の構成を示すブロック図である。本実施形態における撮像装置１００は、動画撮影が可能なデジタルカメラ及びビデオカメラを含む撮像装置１００である。以下では、撮像装置１００がデジタルカメラである場合を一例として、説明を行う。
撮像装置１００は、主に、光学系１１０と、露光部１７０と、撮像部１４０と、信号処理部１５０と、制御部１３０と、レンズ駆動部１２０と、記録部１６０とを、備えている。なお、以下で用いる信号という文言は、画像、画像データ、映像、及び映像データを含む概念である。また、以下で用いる情報という文言は、情報データを含む概念である。
＜光学系＞
光学系１１０は、被写体像を形成する。光学系１１０は、主に、フォーカスレンズ１１１、ズームレンズ１１２を、有する。

フォーカスレンズ１１１は、被写体のフォーカス状態を調節するレンズである。ズームレンズ１１２は、被写体の画角を調節するレンズである。フォーカスレンズ１１１及びズームレンズ１１２は、レンズ駆動部１２０によって、制御部１３０から発行される制御信号に基づいて、駆動される。
なお、ここでは、代表的なレンズを説明したが、光学系１１０は、撮像に必要な他のレンズを有していてもよい。例えば、光学系１１０は、光学式手ぶれ補正レンズを、含んでいてもよい。また、光学系１１０に含まれるレンズは、何枚のレンズから構成されるものであってもよいし、何群のレンズから構成されるものであってもよい。
＜露光部＞
露光部１７０は、絞り１１３と、シャッタ１１４とを、有する。絞り１１３は、撮像部１４０に入射する光量を調節する。シャッタ１１４は、撮像部１４０に入射する光の露出時間を調節する。絞り１１３及びシャッタ１１４によって、撮像部１４０の露出量が、決定される。絞り１１３と、シャッタ１１４とは、図示しない駆動部によって、制御部１３０から発行される制御信号に基づいて、駆動される。

＜撮像部＞
撮像部１４０は、露光部１７０が調節した光を蓄積することによって、撮像信号を生成し出力する。撮像部１４０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ１４１を、有している。ＣＭＯＳイメージセンサ１４１は、光学系１１０により形成された被写体像を撮像する撮像素子である。例えば、ＣＭＯＳイメージセンサ１４１は、被写体からの光を周期的に蓄積することによって、撮像信号を生成し出力する。
＜信号処理部＞
信号処理部１５０は、ＡＦＥ１５１（Analog Front End）を有している。ＡＦＥ１５１は、ＣＭＯＳイメージセンサ１４１により生成された撮像信号に対して、各種処理を施す。具体的には、ＡＦＥ１５１は、相関二重サンプリングによる雑音抑圧、アナログゲイン制御部によるＡ／Ｄコンバータの入力レンジ幅への増幅、Ａ／ＤコンバータによるＡ／Ｄ変換等の処理を施す。

＜制御部＞
制御部１３０は、撮像装置１００全体の動作を統括制御する。例えば、制御部１３０は、光学系１１０（レンズ駆動部１２０）、露光部１７０、撮像部１４０、信号処理部１５０、及び記録部１６０等を、制御する。また、制御部１３０は、光学系１１０（レンズ駆動部１２０）、露光部１７０、撮像部１４０、信号処理部１５０、及び記録部１６０等を制御するための各種処理及び情報認識（データ認識を含む）を、実行する。
制御部１３０は、被写体の状態、例えば撮像信号から取得したＡＦ制御情報（Auto Focus 制御情報）に基づいて、光学系１１０（レンズ駆動部１２０）に対するＡＦ制御を、指示する。ＡＦ制御情報には、例えばコントラスト情報が含まれる。また、制御部１３０は、被写体の状態、例えば撮像信号から取得したＡＥ制御情報に基づいて、露光部１７０に対するＡＥ制御（Automatic Exposure 制御）を、指示する。ＡＥ制御情報には、後述する露光制御情報が含まれる。

これにより、制御部１３０は、撮像信号及び／又は合成信号（合成画像）を生成し、これら信号に対応するデータを、静止画データ又は動画データとして、記録部１６０例えばメモリカード１９０及び内部メモリ１６０ｂ（以下、メモリ１９０等）に記録可能である。なお、内部メモリ１６０ｂは、記録部１６０に含まれる第２記録部（後述する）である。メモリカード１９０は、記録部１６０に含まれる第３記録部（後述する）に、装着される。
より具体的には、制御部１３０は、ＲＯＭ及びＣＰＵ等から、構成される。ＲＯＭには、撮像装置１００全体の動作を統括制御するための各種プログラムが、格納されている。各種プログラムには、信号制御（合成制御を含む）、レンズ駆動制御、ＡＦ制御、及びＡＥ制御等に関するプログラムの他、撮像装置１００全体の動作を統括制御するプログラムが、含まれている。ＣＰＵは、ＲＯＭに格納されているプログラムを実行することによって、上述した各種制御を実行する。

なお、制御部１３０は、プログラムを実行するマイクロコンピュータから構成されていてもよいし、ハードワイヤードな電子回路であってもよい。
また、制御部１３０は、例えば、命令処理部１３１と、画像処理部１３３と、撮像処理部１３５と、輝度情報取得部１３６と、輝度情報補間部１３７と、輝度調整部１３８と、輝度平均処理部１３９と、露光情報設定部１３２とを、有している。
命令処理部１３１は、撮像装置１００を動作させるために、各種の命令を処理する。例えば、命令処理部１３１は、レンズ駆動部１２０、露光部１７０、撮像部１４０、及び信号処理部１５０等に対する命令を処理し、処理後の命令を各部に対して指示する。これにより、上述したように、ＡＦ制御及び／又はＡＥ制御が実行され、静止画用の撮像信号、及び／又は動画用の合成信号（合成画像）が、生成される。これら撮像信号及び／又は合成信号（合成画像）の生成は、主に、画像処理部１３３において行われる。

画像処理部１３３は、信号処理部１５０から出力された撮像信号に対して、各種の処理を施す。例えば、画像処理部１３３は、被写体に応じて設定された露出設定を用いて撮像された撮像信号に対して、各種の処理を施す。例えば、各種処理には、スミア補正、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、縮小処理、拡大処理等の処理等が、含まれる。
画像処理部１３３は、合成処理部１３４を含んでいる。合成処理部１３４は、複数の蓄積時間で蓄積することによって生成された複数の撮像信号を合成して、記録部１６０に記録する。
例えば、動画撮影時には、合成処理部１３４は、異なる露出設定で撮像された複数の撮像信号を合成する処理を、実行する。例えば、合成処理部１３４は、第１撮像信号及び第２撮像信号を合成し、合成後の撮像信号を記録部１６０に記録する。この合成処理によって、明暗差が拡大された合成信号（合成画像）が生成される。ここで生成された合成信号が、記録部１６０に記録される。

このように、画像処理部１３３で処理された静止画用の撮像信号、及び／又は動画用の合成信号は、上述したように、静止画データ又は動画データとして、メモリ１９０等に記録可能である。
撮像処理部１３５は、撮像部１４０例えばＣＭＯＳイメージセンサ１４１を、制御する。撮像処理部１３５は、ＣＭＯＳイメージセンサ１４１の蓄積時間を、複数の蓄積時間で周期的に制御する。複数の蓄積時間は、例えば、第１蓄積時間及び第２蓄積時間である。具体的には、図２に示すように、撮像処理部１３５は、露光部１７０を制御することによって、ＣＭＯＳイメージセンサ１４１の蓄積時間を、第１蓄積時間及び第２蓄積時間で周期的に制御する。第１蓄積時間では、撮像処理部１３５は第１撮像信号を生成する。第２蓄積時間では、撮像処理部１３５は第２撮像信号を生成する。

図２に示す例では、１番目と３番目のフレーム（１／６０ｓ）では撮像部１４０は各フレーム全体にわたって光を蓄積しており、２番目と４番目のフレームでは撮像部１４０は各フレームの途中から光の蓄積を開始して蓄積時間を短くしている。ここで、フレームの途中から光の蓄積を開始する方法として、フレームの始まりから光の蓄積開始までの期間（非蓄積期間）において撮像部１４０に入射する光を遮断するのではなく、非蓄積期間において蓄積された光による撮像信号を、光の蓄積開始時（フレームの途中）にリセットするという電子シャッタを用いてもよい。
本実施形態では、第１蓄積時間が、第２蓄積時間以上に設定される。基本的には、第１蓄積時間が第２蓄積時間より長く設定されるが、第１蓄積時間及び第２蓄積時間が同じに設定される場合がある。

なお、上記のＣＭＯＳイメージセンサ１４１の蓄積時間とは、ＣＭＯＳイメージセンサ１４１に電荷を蓄積する時間を示す文言である。
輝度情報取得部１３６は、第１蓄積時間及び第２蓄積時間で生成された第１撮像信号及び第２撮像信号に基づいて、第１撮像信号の第１輝度情報及び第２撮像信号の第２輝度情報を、取得する。なお、第1輝度情報は第１輝度レベルを含む文言であり、第２輝度情報は第２輝度レベルを含む文言である。
具体的には、図３に示すように、輝度情報取得部１３６は、第１撮像信号及び第２撮像信号それぞれを複数に分割（例えばＭ×Ｎ個に分割）することによって、各区分の輝度部分情報（第１輝度部分情報・第２輝度部分情報）を、検出する。すなわち、輝度情報取得部１３６は、Ｍ×Ｎ個の第１輝度部分情報、及びＭ×Ｎ個の第２輝度部分情報を検出することによって、第１輝度情報及び第２輝度情報を、取得する。ここで、第１輝度情報は、Ｍ×Ｎ個の第１輝度部分情報から構成される。第２輝度情報は、Ｍ×Ｎ個の第２輝度部分情報から構成される。

輝度情報補間部１３７は、第１輝度情報に飽和部分が存在する場合、第２輝度情報から飽和部分に対応する対応部分を検出し、対応部分の第２輝度情報を用いて飽和部分の第１輝度情報を補間する。
具体的には、複数の第１輝度部分情報の少なくともいずれか１つが飽和した場合、第２輝度部分情報において、第１輝度部分情報の飽和部分に対応する対応部分が、検出される。そして、この対応部分の第２輝度部分情報を用いて、飽和部分の第１輝度情報が補間される。すなわち、複数の第１輝度部分情報の少なくともいずれか１つが飽和した場合、第１撮像信号における飽和部分の第１輝度部分情報が、第２撮像信号における対応部分の第２輝度部分情報によって、補間される。
ここで、飽和部分とは、輝度を算出する処理において桁溢れを起こした部分、すなわち輝度が最大又は最小になった部分を示す。言い換えると、飽和部分では輝度が最大又は最小になっている。

輝度調整部１３８は、補間後の第１輝度情報、又は輝度情報取得部１３６が取得した第１輝度情報に対して、輝度調整処理を実行する。
具体的には、輝度調整部１３８は、第１輝度部分情報が飽和した場合、輝度情報補間部１３７によって補間された第１輝度情報に対して、重み付け処理を実行する。また、輝度調整部１３８は、第１輝度部分情報が非飽和であった場合、輝度情報取得部１３６が取得した第１輝度情報に対して、重み付け処理を実行する。
輝度平均処理部１３９は、輝度調整部１３８が調整した第１輝度情報に対して、輝度平均処理を実行する。具体的には、輝度平均処理部１３９は、複数の第１輝度部分情報（Ｍ×Ｎ個の第１輝度部分情報）に対して、輝度平均処理を実行する。これにより、第１輝度情報の輝度代表値が算出される。

露光情報設定部１３２は、第１露光情報設定部１３２ａと、第２露光情報設定部１３２ｂと、第３露光情報設定部１３２ｃとを、有している。
第１露光情報設定部１３２ａは、第１蓄積時間で生成された第１撮像信号の輝度を制御する第１露光制御情報、及び第２蓄積時間で生成された第２撮像信号の輝度を制御する第２露光制御情報を、設定する。
第１露光制御情報は、第１露出情報、第１シャッタ情報、及び第１感度情報を含む。第２露光制御情報及は、第２露出情報、第２シャッタ情報、及び第２感度情報を含む。すなわち、第１露光制御情報及び第２露光制御情報それぞれは、ＡＥ制御情報（ＡＥ制御値）である。
第１露出情報及び第２露出情報は、露光部１７０の絞り１１３を制御するための情報である。第１シャッタ情報及び第２シャッタ情報は、露光部１７０のシャッタ１１４を制御するための情報である。第１感度情報及び第２感度情報は、撮像部１４０のＣＭＯＳイメージセンサ１４１を制御するための情報である。

第１露出情報及び第２露出情報は露出量データを含み、第１シャッタ情報及び第２シャッタ情報はシャッタースピードデータを含み、第１感度情報及び第２感度情報はゲインデータを含んでいる。
また、第１露光情報設定部１３２ａは、第１輝度情報に飽和部分が存在する場合、補間後の第１輝度情報に基づいて、第１露光制御情報を設定する。詳細には、露光情報設定部１３２は、第１輝度情報に飽和部分が存在する場合、輝度調整部１３８が調整した第１輝度情報に基づいて、第１露光制御情報を設定する。より詳細には、第１露光情報設定部１３２ａは、第１輝度情報に飽和部分が存在する場合、輝度平均処理部１３９が平均化した第１輝度情報の第１輝度平均に基づいて、第１露光制御情報を設定する。一方で、第１露光情報設定部１３２ａは、第１輝度情報に飽和部分が存在しない場合、輝度情報取得部１３６が取得した第１輝度情報に基づいて、第１露光制御情報を、設定する。また、第１露光情報設定部１３２ａは、輝度情報取得部１３６が取得した第１輝度情報に基づいて、第１露光制御情報を、設定する。

第２露光情報設定部１３２ｂは、被写体の輝度変化に応じて、第１輝度情報の輝度を変化させる第１輝度変化量（第１輝度情報用の輝度変化量）を、変更する。そして、第２露光情報設定部１３２ｂは、第１輝度変化量に基づいて、第１露光制御情報を、設定する。
詳細には、第２露光情報設定部１３２ｂは、被写体の輝度変化に応じて第１輝度変化量を変更する。そして、第２露光情報設定部１３２ｂは、第１輝度変化量を所定値以下（閾値以下）に設定する。そして、第２露光情報設定部１３２ｂは、第１輝度変化量に基づいて、第１輝度情報を、第１輝度情報の第１輝度目標レベルに向けて変化させる。これにより、第２露光情報設定部１３２ｂは、第１露光制御情報を、設定する。
例えば、第２露光情報設定部１３２ｂは、第１輝度情報の第１輝度目標レベル及び第１輝度情報の第１輝度平均に基づいて、第１輝度変化量が所定値以下になるように収束計算する。これにより、第１輝度変化量が所定値以下に設定される。そして、第２露光情報設定部１３２ｂは、第１輝度情報の第１輝度平均を、第１輝度変化量の収束値を用いて、第１輝度情報の第１輝度目標レベルに向けて変化させる。これにより、第２露光情報設定部１３２ｂは、第１露光制御情報を、設定する。

さらに、第２露光情報設定部１３２ｂは、第２輝度情報を第１輝度変化量に基づいて変化させることによって、第２露光制御情報を設定する。詳細には、第２露光情報設定部１３２ｂは、第１輝度変化量に基づいて第２輝度情報が第２輝度情報の第２輝度目標レベルに近づくように、第２露光制御情報を設定する。
第３露光情報設定部１３２ｃは、第１露光制御情報が所定の条件を満足した場合に、時間軸上において互いに隣接する露光時間が同じになるように、第１露光制御情報及び第２露光制御情報を設定する。
詳細には、第３露光情報設定部１３２ｃは、シャッタ設定部１３２ｄと、感度調整部１３２ｅとを、含んでいる。シャッタ設定部１３２ｄは、第１シャッタ情報が、低速情報である場合、時間軸上において互いに隣接する第１シャッタ情報及び第２シャッタ情報を、同じ情報に設定する。すなわち、時間軸上において互いに隣接する第１シャッタ情報及び第２シャッタ情報が、同じ情報に設定される。

具体的には、シャッタ設定部１３２ｄは、前フレームの第１シャッタ情報が低速情報である場合、現フレームの第２シャッタ情報に対して、前フレームの第１シャッタ情報を、設定する。なお、低速情報は、シャッタースピードデータが低速であることを示す情報である。
ここで、例えば、被写体が移動するような場合、図４Ａに示すように、第１撮像信号及び第２撮像信号が合成されると、合成信号（合成画像）は、第１撮像信号に基づいたブレが生じた画像と、第２撮像信号に基づいたブレのない鮮明な画像とが、重ね合わせられたものになる。このため、被写体は滑らかに移動しているにもかかわらず、第２撮像信号によってブレのない鮮明な画像が、合成信号に生じるので、合成画像が不自然なものになる。

しかしながら、シャッタ設定部１３２ｄにおいて、第１シャッタ情報及び第２シャッタ情報を同じ情報に設定することによって、図４Ｂに示すように、被写体が移動しても、第２撮像信号によってブレのない鮮明な画像が、生成されることがないので、自然な合成信号（合成画像）を生成することができる。
感度調整部１３２ｅは、第１撮像信号及び第２撮像信号の間の輝度レベル差を設定するために、シャッタ設定部１３２ｄで設定されたシャッタ情報に対応する感度情報を、調整する。すなわち、感度調整部１３２ｅは、シャッタ設定部１３２ｄで設定されたシャッタ情報に対応する感度情報を、調整することによって、第１撮像信号及び第２撮像信号の間の輝度レベル差を設定する。
ここでは、シャッタ設定部１３２ｄで設定されたシャッタ情報が、現フレームの第２シャッタ情報である場合の例を示す。このため、感度調整部１３２ｅでは、現フレームの第２露光制御情報において第２シャッタ情報に対応する感度情報を調整することによって、第１撮像信号及び第２撮像信号の間の輝度レベル差が設定される。

＜レンズ駆動部＞
レンズ駆動部１２０は、光学系１１０を駆動するためのものである。レンズ駆動部１２０は、例えば、ＤＣモータ又はステッピングモータ等の駆動ユニットから、構成される。
レンズ駆動部１２０は、制御部１３０からの命令に基づいて、駆動する。例えば、レンズ駆動部１２０が、ＡＦ制御のためのＡＦ制御情報を制御部１３０から受け取ると、このＡＦ制御情報に基づいて、レンズ駆動部１２０が光学系１１０を駆動する。
例えば、レンズ駆動部１２０は、第１蓄積時間が経過した後に、第１蓄積時間で生成された第１撮像信号を用いて、光学系１１０例えばフォーカスレンズ１１１を、駆動する。
また、第２蓄積時間が経過した後には、第２蓄積時間で生成された第２撮像信号を用いて、光学系１１０を、駆動する。

＜記録部＞
記録部１６０は、第１記録部１６０ａと、第２記録部１６０ｂと、第３記録部１６０ｃとを、有している。
第１記録部１６０ａは、揮発性の記憶媒体である。例えば、第１記録部１６０ａは、ＤＲＡＭ（Dynamic Random Access Memory）のようなバッファメモリである。第１記録部１６０ａは、制御部１３０例えば画像処理部１３３のワークメモリとして、機能する。
第２記録部１６０ｂは、不揮発性の記録媒体である。第２記録部１６０ｂは、撮像装置１００の内部メモリ、例えばフラッシュメモリである。
第３記録部１６０ｃは、例えば、メモリカード１９０を着脱可能なカードスロットである。第３記録部１６０ｃは、メモリカード１９０と電気的及び機械的に接続可能である。メモリカード１９０は、撮像装置１００の外部メモリである。例えば、メモリカード１９０は、不揮発性の記録媒体である。

＜その他の構成＞
また、撮像装置１００は、表示部２１０と、操作部２２０とを、さらに備えている。
表示部２１０は、例えば、液晶モニタや有機ＥＬモニタ等である。表示部２１０は、スルー画像及び記録画像等の画像を、表示する。スルー画像及び記録画像は、制御部１３０（画像処理部１３３）により、生成される。記録画像は、メモリ１９０等の静止画データ又は動画データを、デコードすることにより得られる画像である。
操作部２２０は、ユーザから操作を受け付ける操作インターフェースである。操作部２２０は、撮像装置１００の外部に配置される操作釦や操作ダイヤル等の総称である。操作部２２０は、ユーザによる操作を受け付けると、操作内容に対応する信号を、制御部１３０に送信する。

＜動画撮影時のＡＥ処理＞
図２は、撮像装置１００において動画撮影が実行される場合のタイミングチャートである。この動画撮影では、合成信号（合成画像）が生成され、この合成信号がメモリ１９０等に記録される。
ここでは、図２を参照して、合成信号の生成時の基本動作を説明する。動画撮影は、所定の時間間隔、例えば１／６０ｓ（１フレーム）ごとの垂直同期信号によって、実行される。このときに、撮像処理部１３５は、露光部１７０を制御することによって、撮像部１４０（ＣＭＯＳイメージセンサ１４１）の蓄積時間が、第１蓄積時間及び第２蓄積時間で周期的に変化する。これにより、撮像部１４０が、第１蓄積時間に対応する第１撮像信号、及び第２蓄積時間に対応する第２撮像信号を、時間軸に沿って、周期的に生成する。そして、制御部１３０の画像処理部１３３（合成処理部１３４）が、撮像部１４０から出力された第１撮像信号及び第２撮像信号に基づいて、合成信号を生成し、この合成信号を合成画像データとしてメモリ１９０等に記録する。

このようして合成信号を生成している際には、１フレームごとに、第１撮像信号及び第２撮像信号に対して、ＡＥ処理が実行される。まず、露光部１７０が作動し、撮像部１４０の光量及び露出時間が調節される。これにより、撮像部１４０において、上記の第１蓄積時間及び第２蓄積時間が、決定される。すると、第１蓄積時間又は第２蓄積時間に基づいて、撮像部１４０が、第１撮像信号又は第２撮像信号を生成する。この処理は、１フレームごとに実行され、第１撮像信号及び第２撮像信号を用いて、ＡＥ処理が実行される。このＡＥ処理に基づいて、露光部１７０がＡＥ制御される。
以下では、図５Ａ〜図５Ｃのフローチャートを参照して、このＡＥ処理を詳細に説明する。
まず、図５Ａに示すように、現フレームの撮像信号が第１撮像信号であるか否かが、判断される（Ｓ１）。ここで、現フレームの撮像信号が第１撮像信号であった場合（Ｓ１でＹｅｓ）、第１撮像信号の第１輝度情報が、取得される（Ｓ２）。具体的には、図３に示したように第１撮像信号をＭ×Ｎ個に分割することによって、各区分の第１輝度部分情報が検出される。各区分の第１輝度部分情報を検出することによって、第１輝度情報が取得される。ここで、第１輝度情報は、Ｍ×Ｎ個の第１輝度部分情報から構成される。

続いて、第１輝度情報に飽和部分が存在するか否か、すなわち第１輝度情報が飽和情報（飽和部分の輝度を示す情報）を有しているか否かが、判断される（Ｓ３）。
ここで、第１輝度情報が飽和情報を有していた場合（Ｓ３でＹｅｓ）、前フレームの第２輝度情報から、現フレームの第１輝度情報の飽和部分に対応する対応部分が、検出される。そして、この対応部分における第２輝度部分情報を用いて、現フレームの第１輝度情報における飽和部分の第１輝度部分情報が、補間される。具体的には、第１輝度情報及び第２輝度情報の間の輝度レベル差に応じた所定の補間倍率によって、第２輝度部分情報を補間することによって、第１輝度部分情報が補間される。すると、補間後の第１輝度部分情報（補間後のＭ×Ｎ個の第１輝度部分情報）は、第１記録部１６０ａ（バッファ）に記録される（Ｓ４）。

一方で、第１輝度情報が飽和情報を有してない場合（Ｓ３でＮｏ）、現フレームの第１輝度情報（Ｍ×Ｎ個の第１輝度部分情報）が、第１記録部１６０ａ（バッファ）に記録される（Ｓ５）。
続いて、第１記録部１６０ａに記録された第１輝度情報に対して、輝度調整処理が実行される。具体的には、Ｍ×Ｎ個の第１輝度部分情報に対して、重み付け処理が実行される。詳細には、所定の重み付け関数によって算出される倍率によって、Ｍ×Ｎ個からなる第１輝度部分情報が、重み付けされる（Ｓ６）。
続いて、重み付けされた第１輝度情報に対して、輝度平均処理が実行される（Ｓ７）。具体的には、Ｍ×Ｎ個の第１輝度部分情報を平均化する処理が、実行される。これにより、現フレームの第１輝度情報の輝度代表値が、算出される。すると、この第１輝度情報の輝度代表値（平均値）が、第１記録部１６０ａに記録される。

なお、ステップ１（Ｓ１）において現フレームの撮像信号が第２撮像信号であった場合（Ｓ１でＮｏ）、第２撮像信号の第２輝度情報が、取得される（Ｓ８）。すると、この第２輝度情報が、現フレームの輝度情報として、第１記録部１６０ａに記録される。なお、第２輝度情報の取得は、ステップ２（Ｓ２）における処理と同様であるので、説明は省略する。
続いて、上記の第１輝度情報又は第２輝度情報に基づいて、第１露光制御情報又は第２露光制御情報（ＡＥ制御情報）が、設定される（Ｓ９）。そして、第１露光制御情報又は第２露光制御情報（ＡＥ制御情報）に基づいて、ＡＥ制御が実行される（Ｓ１０）。
以下では、ステップ９（Ｓ９）において実行される処理について、説明する。
まず、ステップ９（Ｓ９）の処理概要を、説明する。

現フレームの撮像信号が第１撮像信号であり、且つ第１輝度情報に飽和情報を有している場合、ステップ７（Ｓ７）で平均化された第１輝度情報（Ｍ×Ｎ個の第１輝度部分情報）の第１輝度平均に基づいて、第１露光制御情報が設定される。また、第１輝度情報が飽和情報を有してない場合、ステップ２（Ｓ２）で取得された第１輝度情報（Ｍ×Ｎ個の第１輝度部分情報）に基づいて、第１露光制御情報が設定される。
一方で、現フレームの撮像信号が第２撮像信号である場合、ステップ２（Ｓ２）で取得された第２輝度情報（Ｍ×Ｎ個の第１輝度部分情報）に基づいて、第２露光制御情報が設定される。
なお、第１露光制御情報及び第２露光制御情報は、上述したようにＡＥ制御情報（ＡＥ制御値である。第１露光制御情報は、第１露出情報と、第１シャッタ情報と、第１感度情報とを、含んでいる。第２露光制御情報は、第２露出情報と、第２シャッタ情報と、第２感度情報とを、含んでいる。

次に、ステップ９（Ｓ９）の処理について、図５Ｂを参照して、詳細に説明する。まず、現フレームの撮像信号が第１撮像信号であるか否かが、判断される（Ｓ１１）。なお、ステップ１（Ｓ１）において、制御部１３０は、既に、現フレームの撮像信号が第１撮像信号であるか否かを認識している。このため、ステップ１１（Ｓ１１）の判断は敢えて行う必要はないが、ここでは、説明を容易にするために、ステップ１（Ｓ１）と同じ処理を記載している。
ここで、現フレームの撮像信号が第１撮像信号であった場合（Ｓ１１でＹｅｓ）、第１輝度平均及び第１輝度目標レベルに基づいて、第１輝度変化量が設定される（Ｓ１２）。具体的には、第１輝度平均及び第１輝度目標レベルに基づいて、輝度レベル差が設定される。この輝度レベル差を調整値で除算する処理（＝輝度レベル差／調整値）を実行することによって、第１輝度変化量が設定される。調整値は、輝度レベル差の大きさを調整するためのものである。

続いて、第１輝度変化量が、輝度を変化させる上限値以下（閾値以下）であるか否かが、判断される（Ｓ１３）。ここで、第１輝度変化量が、輝度を変化させる上限値より大きい場合（Ｓ１３でＮｏ）、調整値が増加される（Ｓ１４）。そして、ここで増加させた調整値に基づいて、ステップ１２（Ｓ１２）の処理が実行される。ステップ１３（Ｓ１３）及びステップ１４（Ｓ１４）の処理は、第１輝度変化量が上限値以下になるまで収束計算される。
そして、第１輝度変化量が上限値以下になった場合（Ｓ１３でＹｅｓ）、第１輝度変化量に基づいて第１輝度情報を第１輝度目標レベルに向けて変化させることによって、２フレーム先の第１輝度情報が設定される（Ｓ１５）。すると、この第１輝度情報に基づいて、２フレーム先の第１露光制御情報（第１露出情報、第１シャッタ情報、第１感度情報）が、設定される（Ｓ１６）。すると、この第１露光制御情報に基づいて、上述したＡＥ制御が実行される（Ｓ１０）。

ここで、ステップ１６（Ｓ１６）の処理について、具体的に説明する。第１撮像信号から取得した第１輝度情報が、第１輝度目標レベルに対して低い場合、第１シャッタ情報を低速情報に設定したり（シャッタスピードを遅くしたり）、第１感度情報を高感度情報に設定したり（ゲインを上げたり）する。これにより、次の第１輝度情報を取得する時に、第１輝度情報が高くなるように、第１露光制御情報が設定される。
また、第１撮像信号から取得した輝度情報が、第１輝度目標レベルに対して高い場合、第１シャッタ情報を高速情報に設定したり（シャッタスピードを速くしたり）、第１感度情報を低感度情報に設定したり（ゲインを下げたり）する。これにより、次の第１輝度情報を取得する時に、第１輝度情報が低くなるように、第１露光制御情報が設定される。
なお、第１シャッタ情報の変化量及び第１感度情報の変化量は、第１輝度情報が第１輝度目標レベルに徐々に近付くように、１フレームごとに調整される。

一方で、現フレームの撮像信号が第２撮像信号であった場合（Ｓ１１でＮｏ）、第２露光制御情報が設定される（Ｓ１７）。以下では、ステップ１７（Ｓ１７）の処理を、図５ｃを参照して、詳細に説明する。
前フレームの第１露光制御情報において、第１シャッタ情報が低速情報であるか否かが、判断される（Ｓ１８）。ここで、前フレームの第１シャッタ情報が低速情報である場合（Ｓ１８でＹｅｓ）、現フレームの第２シャッタ情報に対して、前フレームの第１シャッタ情報が設定される（Ｓ１９）。
そして、第１撮像信号及び第２撮像信号の間の輝度レベル差を設定するために、第２シャッタ情報に対応する第２感度情報が、調整される（Ｓ２０）。具体的には、第２シャッタ情報に対応する第２感度情報のゲインを調整することによって、第１撮像信号及び第２撮像信号の間の輝度レベル差が設定される。ここで、露光部１７０は、１フレーム（１／６０ｓ）ごとの調整に追随することが難しいため、第２露出情報は、第２シャッタ情報に基づいて所定の露出量に設定されている。

このようにして、第２輝度情報、第２感度情報、及び第２露出情報を設定することによって、２フレーム先の第２露光制御情報が設定される（Ｓ２１）。すると、この第２露光制御情報に基づいて、上述したＡＥ制御が実行される（Ｓ１０）。
ここで、前フレームの第１シャッタ情報が低速情報ではない場合（Ｓ１８でＮｏ）、前フレームの第１撮像信号の第１輝度変化量に基づいて、第２露光制御情報が設定される（Ｓ１７）。
具体的には、第２感度情報は、前フレームの第１撮像信号の第１輝度変化量に基づいて、現フレームの第２輝度情報が第２輝度情報の第２輝度目標レベルに近づくように、２フレーム先の第２露光制御情報が設定される。
より具体的には、前フレームの第１撮像信号の第１輝度変化量に基づいて、現フレーム第２輝度変化量が設定される。第２輝度変化量は、第２輝度情報の輝度を変化させるためのものである。この第２輝度変化量に基づいて、第２輝度情報が第２輝度情報の第２輝度目標レベルに近づくように、２フレーム先の第２輝度情報が設定される。第２輝度目標レベルは、第１輝度情報との輝度レベル差が一定となるような輝度レベルである。このようにして、第２輝度情報が設定されると、この第２輝度情報に基づいて、２フレーム先の第２露光制御情報が設定される。すると、この第２露光制御情報に基づいて、上述したＡＥ制御が実行される（Ｓ１０）。

上記のＡＥ処理では、図３及び図５Ａに示すように、第１輝度情報が飽和したとしても、第２輝度情報によって、第１輝度情報の飽和部分を補間することができるので、欠損のない輝度情報によって、ＡＥ制御を実行することができる。すなわち、輝度の欠損を適切に評価した上で、ＡＥ制御を実行することができる。
また、上記のＡＥ処理では、被写体の輝度変化に応じて、輝度情報を変化させている。例えば、図５Ｂで説明したように、輝度レベル差に基づいて、輝度変化量が閾値以下になるように設定し、設定後の輝度変化量に基づいて輝度を変化させている。これにより、輝度レベル差が大きい場合に、輝度情報を穏やかに変化させることができる。すなわち、輝度レベル差が大きい場合に、輝度が自然に変化する映像を、生成することができる。
さらに、上記のＡＥ処理では、図４Ｂ及び図５Ｃに示すように、第１露光制御情報が所定の条件を満足した場合、例えば第１シャッタ情報が低速情報を有する場合に、第２シャッタ情報に対して第１シャッタ情報を適用している。これにより、被写体が移動しても、第２撮像信号によってブレのない鮮明な画像が、生成されることがないので、自然な合成信号（合成画像）を生成することができる。

［他の実施形態］
本技術は以上のような実施形態に限定されるものではなく、本技術の範囲を逸脱することなく種々の変形又は修正が可能である。
（ａ）前記実施形態では、画像処理部１３３が制御部１３０に含まれる場合の例を指名したが、画像処理部１３３は、制御部１３０とは独立した構成としてもよい。
（ｂ）前記実施形態では、本技術の特徴を説明するために必要な構成を説明した。しかし、ここに示されてはいないものの撮像装置１００を動作させるために必要な他の構成については、従来技術と同様に構成されている。すなわち、ここで説明が省略された他の構成は、従来技術に準ずる。
（ｃ）前記実施形態では、第１輝度情報が飽和情報を有している場合に、第１輝度情報の輝度平均に基づいて、第１露光制御情報が設定される場合の例を示した。これに代えて、この場合、ステップ４（Ｓ４）で補間された第１輝度情報に基づいて、第１露光制御情報を設定してもよい。

（ｄ）前記実施形態では、第１輝度情報が飽和情報を有している場合に、第１輝度情報の輝度平均に基づいて、第１露光制御情報が設定される場合の例を示した。これに代えて、この場合、ステップ６（Ｓ６）で調整された第１輝度情報に基づいて、第１露光制御情報を設定してもよい。

１００ 撮像装置
１１０ 光学系
１７０ 露光部
１３０ 制御部
１３２ 露光情報設定部
１３５ 撮像処理部
１３６ 輝度情報取得部
１３７ 輝度情報補間部
１３８ 輝度調整部
１３９ 輝度平均処理部
１４０ 撮像部

Claims (5)

1. 被写体からの光を調節する露光部と、
   前記露光部が調節した光を周期的に蓄積することによって撮像信号を生成し出力する撮像部と、
   前記撮像部の蓄積時間を、第１蓄積時間と、前記第１蓄積時間より短い第２蓄積時間とで、周期的に制御する撮像処理部と、
   前記第１蓄積時間及び前記第２蓄積時間で生成された第１撮像信号及び第２撮像信号に基づいて、前記第１撮像信号の第１輝度情報及び前記第２撮像信号の第２輝度情報を、取得する輝度情報取得部と、
   前記第１輝度情報に飽和部分が存在する場合、前記第２輝度情報から前記飽和部分に対応する対応部分を検出し、前記対応部分の第２輝度情報を用いて前記飽和部分の第１輝度情報を補間する輝度情報補間部と、
   補間後の前記第１輝度情報に基づいて、前記第１撮像信号の輝度を制御するための第１露光制御情報を、設定する露光情報設定部と、
   を備える撮像装置。
2. 前記露光情報設定部は、前記第１輝度情報に前記飽和部分が存在しない場合、前記輝度情報取得部が取得した前記第１輝度情報に基づいて、前記第１露光制御情報を、設定する、
   請求項１に記載の撮像装置。
3. 補間後の前記第１輝度情報、又は前記輝度情報取得部が取得した前記第１輝度情報に対して、輝度調整処理を実行する輝度調整部、
   をさらに備え、
   前記露光情報設定部は、前記輝度調整部が調整した前記第１輝度情報に基づいて、前記第１露光制御情報を設定する、
   請求項１又は２に記載の撮像装置。
4. 前記輝度調整部が調整した前記第１輝度情報に対して、輝度平均処理を実行する輝度平均処理部、
   をさらに備え、
   前記露光情報設定部は、前記輝度平均処理部が平均化した前記第１輝度情報の輝度平均に基づいて、前記第１露光制御情報を設定する、
   請求項３に記載の撮像装置。
5. 前記露光情報設定部は、前記輝度情報取得部が取得した前記第２輝度情報に基づいて、前記第２撮像信号の輝度を制御するための第２露光制御情報を、設定する、
   請求項１から４のいずれか１項に記載の撮像装置。

Images