JP2017126964A - 撮像制御装置、および撮像装置 - Google Patents

Abstract

【課題】暗所における動画のＳＮ（Signal-Noise）比をより向上させることが可能な、撮像制御装置、および撮像装置を提供する。
【解決手段】第１の画素群の撮像信号の読出し間隔と第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部を備え、前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像制御装置。
【選択図】図２

Description

本開示は、撮像制御装置、および撮像装置に関する。

近年、露光期間の異なる画素が混在するイメージセンサが考案されている(例えば、特許文献１参照)。露光期間の異なる画素が混在するイメージセンサでは、全画素を垂直同期期間ごとに読み出し、出力する。従って、露光期間の長い画素であっても、露光期間を垂直同期期間より長くすることはできず、露光期間の制御により動画の暗所のＳＮ（Signal-Noise）比を改善することは困難であった。

ＳＮ比を改善する方法としては、例えば、撮影画像に対してフィルタ処理を施す２ＤＮＲ（2-Dimendional Noise Reduction）処理や、過去フレームの撮影画像を用いてノイズを低減する３ＤＮＲ（3-Dimendional Noise Reduction）処理を行う方法がある。

特開２００２−１３５６２６号公報

しかし、２ＤＮＲ処理を行う方法を用いる場合、強ノイズ下でノイズを低減しつつ、被写体のテクスチャを維持することは困難である。また、３ＤＮＲ処理は、静被写体領域において過去フレームの画像と現在フレームの画像を加重平均することでランダム性のノイズを低減する処理を含む。従って、３ＤＮＲ処理が動被写体領域に対して用いられると、撮影画像において尾引き等の画質劣化が生じる恐れがあるため、撮影画像に対して動被写体判定を行い、動被写体領域では加重平均が行われないようにすることが望ましい。しかし、暗所の強ノイズ下では、動被写体とノイズを高精度に判定することが困難であるため、静被写体領域が動被写体領域と判定され、ＳＮ比が十分に向上されない恐れがあった。

そこで、本開示では、暗所における動画のＳＮ比をより向上させることが可能な、新規かつ改良された撮像制御装置、および撮像装置を提案する。

本開示によれば、第１の画素群の撮像信号の読出し間隔と第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部を備え、前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像制御装置が提供される。

また、本開示によれば、第１の画素群と第２の画素群を含む複数の画素、および前記第１の画素群の撮像信号の読出し間隔と前記第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部、を備え、前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像装置が提供される。

以上説明したように本開示によれば、暗所における動画のＳＮ比をより向上させることが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の比較例による露光制御を模式的に示す説明図である。 同実施形態に係る露光制御の一例を模式的に示す説明図である。 同実施形態に係る撮像装置１の構成例を示すブロック図である。 画像処理部１３の構成を説明するための、撮像装置１のブロック図である。 イメージセンサ１１の構成例を示す図である。 画素アレイ部３１に配置される画素３２の配列の例を示す図である。 画像生成部１３１の第１の構成例を示すブロック図である。 画像生成部１３１の第２の構成例を示すブロック図である。 画像生成部１３１の第３の構成例を示すブロック図である。 合成比率計算部１３３の第１の構成例を示すブロック図である。 閾値処理部１０５により設定される合成比率のうちの両読み出し間隔撮像信号の比率の例を示す図である。 合成比率計算部１３３の第２の構成例を示すブロック図である。 同実施形態に係る撮像装置１の処理を説明するためのフローチャート図である。 画素群Ｂのフレームレートが照度に応じて連続的に変化するように設定される場合の露光制御例を示す説明図である。 画像処理部の他の構成例を備える撮像装置２のブロック図である。 画像処理部のさらに他の構成例を備える撮像装置３のブロック図である。 画像処理部のさらに他の構成例を備える撮像装置４のブロック図である。 画像処理部のさらに他の構成例を備える撮像装置５のブロック図である。 画像処理部のさらに他の構成例を備える撮像装置６のブロック図である。 合成比率計算部２１２の構成例を示すブロック図である。 画像処理部のさらに他の構成例を備える撮像装置７のブロック図である。 撮像装置７の処理を説明するフローチャート図である。 本開示に係るイメージセンサの他の構成例を示すブロック図である。 画素アレイ部３１に配置される画素３２の配列の例を示す図である。 変形例４に係る撮像システムの構成例を示す説明図である。 撮像装置を半導体基板（チップ）に形成した場合の半導体基板の構成を示す図である。 撮像制御装置６０のハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
＜＜１．はじめに＞＞
＜１−１．背景＞
＜１−２．概要＞
＜＜２．構成例＞＞
＜＜３．動作例＞＞
＜＜４．変形例＞＞
＜４−１．変形例１＞
＜４−２．変形例２＞
＜４−３．変形例３＞
＜４−４．変形例４＞
＜＜５．ハードウェア構成例＞＞
＜＜６．むすび＞＞

＜＜１．はじめに＞＞
＜１−１．背景＞
本開示の一実施形態に係る撮像装置についての説明にあたり、まず図面を参照しながら本開示の一実施形態に係る撮像装置の創作に至った背景を説明する。

動画を撮影する撮像装置において、適正な露光で撮影されるように、露光制御が行われている。例えばアナログゲイン、露光期間を含む露光パラメタを動的に設定し、設定に応じて画素の駆動を制御する露光制御が考えられる。以下では、露光制御の一例について、本開示に係る比較例として説明する。

本開示の比較例による露光制御を模式的に示す説明図である。図１のグラフＧ１１〜Ｇ１４において、横軸は照度を示している。また、図１に示すように、グラフＧ１１の縦軸はフレームレートを、グラフＧ１２の縦軸はアナログゲインを、グラフＧ１３の縦軸は露光期間を、グラフＧ１４の縦軸は画像輝度レベルを示している。なお、画像輝度レベルは、例えば画像全体の輝度レベルの平均値であってもよい。図１のグラフＧ１１に示すように、比較例に係る撮像装置が動画撮影を行う際のフレームレートは、照度によらず一定である。

Ｇ１２、Ｇ１３に示すように、比較例に係る撮像装置は、照度に応じて、アナログゲインと露光期間が変化するように露光パラメタの設定を行う。グラフＧ１２、Ｇ１３に示すように、照度が低下するのに応じて、アナログゲインが大きく、また、露光期間が大きく設定されてもよい。

例えば、比較例に係る撮像装置は、撮像装置が有するイメージセンサに含まれるすべて、または一部の画素群から得られた画像の平均画素値レベル（以下、単に画素値レベルとも呼ぶ）に基づいて、照度を特定してもよい。例えば、照度は、画素値レベルを露光期間とアナログゲインの積で除算することで得られてもよい。また、比較例に係る撮像装置は、照度に応じてグラフＧ１２、Ｇ１３のようなアナログゲイン、および露光期間となるように、アナログゲインと露光期間の設定を行ってもよい。例えば、比較例に係る撮像装置は、予め設計された、照度とアナログゲインの関係を示すテーブル、および照度と露光期間の関係を示すテーブルに応じて当該設定を行い、グラフＧ１２、Ｇ１３のようなアナログゲイン、および露光期間を実現してもよい。

また、比較例に係る撮像装置は、イメージセンサに含まれるすべて、または一部の画素群から得られた画像の画素値レベルと、目標とする目標画素値レベルとを比較して得た評価結果に応じてアナログゲインと露光期間を設定してもよい。例えば、比較例に係る撮像装置は、予め設計された、評価結果とアナログゲインの関係を示すテーブル、および評価結果と露光期間の関係を示すテーブルに応じてアナログゲインと露光期間を設定してもよい。係る場合でも、グラフＧ１２、Ｇ１３のようなアナログゲイン、および露光期間は実現可能である。

なお、アナログゲインが大きくなるとＳＮ値が低下する恐れがあり、また、露光期間が大きくなると、動きぼけが発生しやすくなる恐れがあるため、アナログゲインと露光期間の両方のバランスを調整することで、目標画素値レベルが達成されてもよい。

また、アナログゲインには、撮像装置の仕様等に依存する最大値が存在する。例えば、グラフＧ１２に示すように、照度Ｌ１４でアナログゲインは最大値に達し、当該照度Ｌ１４よりも低い照度である場合にもアナログゲインは当該最大値に設定され得る。

また、露光期間には、フレームレートに依存する最大値が存在する。例えば比較例に係る撮像装置のフレームレートが１／Ｔｆｐｓである場合、比較例に係る撮像装置は、フレームレートの逆数である撮像信号の読出し間隔（以下、単に読出し間隔とも呼ぶ）Ｔ秒よりも長い露光期間で撮影することができない。例えば、グラフＧ１３に示すように、照度Ｌ１３で露光期間は最大値に達し、当該照度Ｌ１３よりも低い照度である場合にも露光期間は当該最大値に設定され得る。

上記のように、アナログゲインと露光期間には最大値が存在するため、その双方が最大値に達した照度（図１における照度Ｌ１４）よりも照度の低い暗所では、アナログゲイン、および露光期間がそれぞれの最大値に設定される。しかし、暗所では、アナログゲインと露光期間の双方が最大値に設定されていても、目標画素値レベルを達成できない恐れがある。その結果、グラフＧ１４に示すように、照度Ｌ１４よりも低い照度においては、照度が低下するに従って、取得される画像の画像輝度レベルが低下する。係る場合、画像輝度レベルを維持するために、画像にデジタルゲインをかけることも可能であるが、デジタルゲインの大きさに応じてノイズが増加し、ＳＮ比が低下する。

そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、イメージセンサが有する画素のうち、少なくとも一部の画素（群）のフレームレートを照度に応じて変化させることで、暗所における動画のＳＮ比をより向上させることが可能である。以下、このような効果を有する本開示の一実施形態の概要について図２を参照して説明を行う。

＜１−２．概要＞
以下では、本開示の一実施形態に係る撮像装置の概要について説明し、本実施形態に係る撮像装置の詳細な構成については図３等を参照して後述する。本実施形態に係る撮像装置は、例えば、撮像信号の読出し間隔が照度に応じて変化するように制御してもよい。上述したように、露光期間は、撮像信号の読出し間隔以下であるため、例えば、照度が低い暗所において、撮像信号の読出し間隔が大きくなるように制御することで、大きな露光期間を設定することが可能である。係る構成により、本実施形態に係る撮像装置は、図１を参照して説明した比較例に係る撮像装置と比べ、暗所における画像輝度レベルを維持し易く、ＳＮ比をより向上することが可能である。

なお、露光期間を大きくすると、得られる画像において動きぶれが発生し易くなる恐れがある。そこで、以下に説明する本実施形態では、イメージセンサが有する複数の画素のうち、画素群ごとに、撮像信号の読出し間隔が異なるように制御されてもよく、少なくとも一の画素群に係る読出し間隔が、照度に応じて変化するように制御が行われてもよい。例えば、第１の画素群の撮像信号の読出し間隔と、第２の画素群の撮像信号の読出し間隔が異なるように制御され、第１の画素群の撮像信号の読出し間隔は照度に応じて変化してもよい。さらに、第１の画素群と第２の画素群は、それぞれ複数の画素を含み、異なる露光期間で露光可能に構成されてもよい。

係る構成により、例えば、暗所において、第２の画素群に係る読出し間隔と露光期間を、上述した比較例と比べて大きくすることで、第２の画素群から得られる画像の画像輝度レベルを高めることができる。また、第１の画素群に係る読出し間隔と露光期間を上述した比較例と同様にすることで、第１の画素群から得られる画像は動きぶれが発生し難い。そして、第１の画素群から得られる画像と第２の画素群から得られる画像を合成することで、動きぶれが発生しにくく、画像輝度レベルの高い画像が取得され得る。当該合成については後述する。

本実施形態に係る露光制御の一例を模式的に示す説明図である。図１のグラフＧ１１〜Ｇ１４と同様に、図２のグラフＧ２１〜Ｇ２４において、横軸は照度を示している。なお、図２における照度Ｌ２１〜照度Ｌ２４は、それぞれ図１における照度Ｌ１１〜照度Ｌ１４と対応している。また、図１のグラフＧ１１〜Ｇ１４と同様に、グラフＧ１１の縦軸はフレームレートを、グラフＧ１２の縦軸はアナログゲインを、グラフＧ１３の縦軸は露光期間を、グラフＧ１４の縦軸は画像輝度レベルを示している。

上述したように本実施形態に係る撮像装置は、画素群ごとに撮像信号の読出し間隔（フレームレートの逆数）を異ならせてもよく、すなわち、画素群ごとに異なるフレームレートを設定してもよい。

例えば、本実施形態に係る撮像装置は、グラフＧ２１に示すように、画素群Ａのフレームレートを一定に設定し、画素群Ｂのフレームレートを照度に応じて変化するように、設定してもよい。画素群Ａのフレームレートは、例えば、画素群Ａの撮像信号の読出し間隔が垂直同期期間となるように設定されてもよい。また、画素群Ｂのフレームレートは、画素群Ｂの撮像信号の読出し間隔が垂直同期期間の自然数倍となるように設定されてもよい。また、画素群Ｂのフレームレートは、グラフＧ２３を参照して後述する画素群Ｂの露光期間を実現可能な読出し間隔に基づいて、設定されてもよい。また、画素群Ｂのフレームレートには、撮像装置の仕様等に依存する最小値が存在し、例えばグラフＧ２１に示すように照度Ｌ２５より小さい範囲において、画素群Ｂのフレームレートは当該最小値に設定される。

また、本実施形態に係る撮像装置は、図１を参照して説明した比較例に係る撮像装置と同様に、照度に応じて、アナログゲインと露光期間が変化するように露光パラメタの設定を行ってもよい。グラフＧ２２、Ｇ２３に示すように、照度が低下するのに応じて、アナログゲインが大きく、また、露光期間が大きく設定されてもよい。本実施形態に係る撮像装置によるアナログゲインの設定例は、図1を参照して説明した比較例と同様であるため、詳細な説明を省略する。

上述したように、本実施形態に係る撮像装置は、画素群ごとに異なる露光期間を設定してもよい。グラフＧ２３に示すように、画素群Ａの露光期間は、図１を参照して説明した比較例と同様に設定されてもよい。一方、画素群Ｂの露光期間は、グラフＧ２３に示すように、照度Ｌ２４よりも低い照度において、画素群Ａの露光期間よりも大きくてもよい。上述したように、本実施形態に係る撮像装置は画素群ごとに異なるフレームレートを設定可能であることにより、グラフＧ２３における画素群Ｂの露光期間は、画素群Ａの露光期間の最大値よりも大きい値に設定される。また、画素群Ｂのフレームレートが最小値に設定される照度Ｌ２５より小さい範囲において、画素群Ｂの露光期間は最大値に設定される。

ここで、画素群Ａに基づく画像は、画素群Ｂに基づく画像に比べ、より高いフレームレートで撮影されているため動きぶれが少ないが、輝度レベルが低い。一方、画素群Ｂに基づく画像は、画素群Ａに基づく画像に比べ、より低いフレームレートで撮影されているため動きぶれが大きい恐れがあるが、輝度レベルが高い。本実施形態に係る撮像装置の詳細な構成については図３等を参照して後述するが、本実施形態に係る撮像装置は、画素群Ａに基づく画像と、画素群Ｂに基づく画像を合成することで、動きぶれが小さく、輝度レベルの高い画像を得ることが可能である。

上記のようにして得られる画像は、グラフＧ２４に示すように、照度Ｌ２１〜照度Ｌ２５の間で一定の画像輝度レベルを維持することが可能となる。上述したように、図２における照度Ｌ２１〜照度Ｌ２４は、それぞれ図１における照度Ｌ１１〜照度Ｌ１４と対応している。図１のグラフＧ１４では照度が照度Ｌ１４より低下すると画像輝度レベルが低下しているが、図２のグラフＧ２４では、照度Ｌ１４に対応する照度Ｌ２４より小さい照度Ｌ２５までは画像輝度レベルが維持されている。すなわち、本実施形態に係る撮像装置は、図１を参照して説明した比較例に係る撮像装置に比べて画像輝度レベルが低下する照度がより低く、暗所における画像輝度レベルの低下を抑制することが可能である。

また、本実施形態に係る撮像装置は、照度Ｌ２４〜照度Ｌ２５において、画像に大きなデジタルゲインをかけなくても、画像輝度レベルを維持することが可能である。また、本実施形態に係る撮像装置は、照度が照度Ｌ２５より低い場合に画像にかけるデジタルゲインを、より小さくすることが可能である。従って、本実施形態に係る撮像装置は、図１を参照して説明した比較例に係る撮像装置に比べて、照度の低い暗所における動画のＳＮ比をより向上させることが可能である。

以上、図２を参照しながら、本開示の一実施形態の概要として、本実施形態に係る露光制御例について説明した。続いて、以降では、上述したような露光制御を実現可能な、本実施形態に係る撮像装置の構成と動作について、さらに詳しく順次に説明する。

＜＜２．構成例＞＞
以下では、まず本実施形態に係る撮像装置１の構成例について図３を参照して説明した後、撮像装置１が備える各部の構成例について図４〜１２を参照して説明する。

（撮像装置の構成例）
本実施形態に係る撮像装置１の構成例を示すブロック図である。図３に示すように、撮像装置（撮像制御装置）１は、イメージセンサ１１、フレームメモリ１２、画像処理部１３、撮像制御部１４を備える。

イメージセンサ１１は、複数の画素を有し、各画素の読出し間隔と露光期間は、後述する撮像制御部１４に制御される。例えば、イメージセンサ１１が有する画素は、図３に示すように、画素群１１２Ａ（第１の画素群）と画素群１１２Ｂ（第２の画素群）との２つの画素群に分類されてもよい。なお、画素群１１２Ａは、図２における画素群Ａに対応し、画素群１１２Ａの撮像信号の読出し間隔は一定の垂直同期期間であるように制御されてもよい。同様に、画素群１１２Ｂは、図２における画素群Ｂに対応し、画素群１１２Ｂの撮像信号の読出し間隔は、照度に応じて変化するように制御されてもよい。

また、イメージセンサ１１は、撮像制御部１４の制御にしたがって、イメージセンサ１１が有する画素を駆動する画素駆動部１１４Ａ、１１４Ｂを有する。例えば、画素駆動部１１４Ａは、画素群１１２Ａを駆動し、画素駆動部１１４Ｂは、画素群１１２Ｂを駆動する。また、画素駆動部１１４Ａ、および画素駆動部１１４Ｂは、撮像制御部１４により設定される露光期間、およびフレームレートにしたがって画素を駆動してもよい。なお、イメージセンサ１１の詳細な構成例については、図５を参照して後述する。

以下では、図２において照度が照度Ｌ２４より小さい場合のように、画素群１１２Ｂ（画素群Ｂ）の読出し間隔は、画素群１１２Ａ（画素群Ａ）の読出し間隔より大きく、画素群１１２Ｂの露光期間は、画素群１１２Ａの露光期間より大きくなる例を説明する。そのため、以下では、画素群１１２Ａの読出し間隔を短読出し間隔と呼び、画素群１１２Ｂの読出し間隔を長読出し間隔と呼ぶ場合がある。また、短読出し間隔で読み出される画素群１１２Ａを短蓄画素と呼び、長読出し間隔で読み出される画素群１１２Ｂを長蓄画素と呼ぶ場合もある。なお、イメージセンサ１１の有する画素の読出し間隔と露光期間に係る制御例は上記に限定されず、他の例については後述する。

フレームメモリ１２は、イメージセンサ１１から供給される撮像信号を保持する保持部として機能する。例えば、フレームメモリ１２は、イメージセンサ１１から供給される長読み出し間隔で読み出された撮像信号を、画素群ごとに１画面（フレーム）分だけ保持してもよい。

画像処理部１３は、イメージセンサ１１から供給される画素群１１２Ａの撮像信号と、画素群１１２Ｂの撮像信号に基づいて画像処理を行い、画像処理の結果得られる撮像信号を動画の撮像信号と出力する。画像処理部１３の構成については、図４を参照して後述する。

撮像制御部１４は、イメージセンサ１１が有する各画素群に係る露光パラメタ（露光期間、アナログゲイン、およびフレームレート）を設定（特定）し、撮像を制御する。例えば、撮像制御部１４は、設定した露光パラメタに応じて画素群１１２Ａ，１１２Ｂが駆動されるように画素駆動部１１４Ａ，１１４Ｂを制御してもよい。

図３に示すように、撮像制御部１４は、画素値レベル評価部１４１、露光期間・アナログゲイン制御部１４２、フレームレート制御部１４３を有する。

画素値レベル評価部１４１は、イメージセンサ１１が有するすべての画素、または一部の画素の撮像信号に基づいて、画素値レベルを評価する。画素値レベル評価部１４１は、目標とする目標画素値レベルと現在の画素値レベルの比を、評価結果として露光期間・アナログゲイン制御部１４２に出力してもよい。

露光期間・アナログゲイン制御部１４２は、画素値レベル評価部１４１により得られた目標画素値レベルと現在の画素値レベルの比に基づいて、露光期間とアナログゲインを設定する。

例えば、露光期間・アナログゲイン制御部１４２は、予め設計された、アナログゲインに関するテーブル、および露光期間に関するテーブルに応じてアナログゲインと露光期間を設定（特定）してもよい。上述したように照度は、画素値レベル、露光期間、およびアナログゲインを用いて表されるため、上記テーブルは、例えば、図２に示した、グラフＧ２２、Ｇ２３のようなアナログゲイン、および露光期間を実現するように特定可能である。また、係る構成により、特定されたアナログゲイン、および露光期間は照度に応じて変化する。露光期間・アナログゲイン制御部１４２は、特定した画素群１１２Ａ、および画素群１１２Ｂの露光期間の情報をフレームレート制御部１４３に出力する。

フレームレート制御部１４３は、画素群１１２Ａ、および画素群１１２Ｂの読出し間隔を特定し、特定された読出し間隔に応じてフレームレートを設定する。例えば、本実施形態に係るフレームレート制御部１４３は、画素群１１２Ａの撮像信号の読出し間隔が垂直同期期間であるように、画素群１１２Ａのフレームレートを設定してもよい。

また、フレームレート制御部１４３は、暗所（例えば図２のグラフＧ２１における照度が照度Ｌ２４より小さい範囲）において、画素群１１２Ｂの読出し間隔が、画素群１１２Ａの読出し間隔よりも大きくなるように特定してもよい。また、フレームレート制御部１４３は、画素群１１２Ｂの読出し間隔が、垂直同期期間（画素群１１２Ａの読出し間隔）の自然数倍であるように、画素群１１２Ｂの読出し間隔を特定してもよい。

また、フレームレート制御部１４３は、露光期間・アナログゲイン制御部１４２により特定される画素群１１２Ｂの露光期間に基づいて、画素群１１２Ｂの読出し間隔を特定してもよい。例えば、フレームレート制御部１４３は、画素群１１２Ｂの読出し間隔が、画素群１１２Ｂの露光期間以上であるように画素群１１２Ｂの読出し間隔を特定してもよい。

例えば、フレームレート制御部１４３は、画素群１１２Ｂの読出し間隔が、画素群１１２Ｂの露光期間以上、かつ垂直同期期間（画素群１１２Ａの読出し間隔）の自然数倍である最も小さい読出し間隔であるように、画素群１１２Ｂの読出し間隔を特定してもよい。例えば、フレームレート制御部１４３は、画素群１１２Ｂの読出し間隔が、画素群１１２Ｂの露光期間以上、かつ垂直同期期間のｎ倍、となるような最も小さい自然数ｎを選択することで、画素群１１２Ｂの読出し間隔を特定することができる。

図２のグラフＧ２３における照度Ｌ２４〜照度Ｌ２５の範囲に示すように、照度が低下するに応じて、画素群１１２Ｂ（画素群Ｂ）の露光期間は大きくなるように設定され得る。したがって、上述したように画素群１１２Ｂの読出し間隔が特定されることで、画素群１１２Ｂの読出し間隔は、照度が低下するほど画素群１１２Ｂの読出し間隔が大きくなるように特定され得る。

また、フレームレート制御部１４３は、画素群１１２Ａ，および画素群１１２Ｂのフレームレートを、特定された画素群１１２Ａ，および画素群１１２Ｂの読出し間隔の逆数に設定してもよい。

なお、図３では、撮像装置１がイメージセンサ１１、および撮像制御部１４を備える例を説明したが、本技術は係る例に限定されない。イメージセンサ１１と撮像制御部１４とは、同一筐体内に備えられなくてもよく、例えば、イメージセンサ１１と撮像制御部１４が別々の装置により備えられてもよい。係る場合、撮像制御部１４を備える装置が、撮像制御装置の一例に相当する。

（画像処理部の構成例）
以上、撮像装置１の構成について説明した。続いて、撮像装置１が備える画像処理部１３の構成例について説明する。画像処理部１３の構成を説明するための、撮像装置１のブロック図である。図４に示すイメージセンサ１１、フレームメモリ１２、および撮像制御部１４の構成については図３を参照して説明したため、説明を省略する。

画像生成部１３１は、垂直同期期間ごとに、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と、長読み出し間隔で読み出された撮像信号とを合成して、全画素の撮像信号を生成する。この生成に用いられる長読み出し間隔で読み出された撮像信号は、イメージセンサ１１から供給されるか、または、イメージセンサ１１から供給されない場合、フレームメモリ１２から読み出される。即ち、長読み出し間隔以外のタイミングでは、直前に長読み出し間隔で同一の長蓄画素から読み出された撮像信号が、全画素の撮像信号の生成に用いられる。画像生成部１３１は、生成された全画素の撮像信号を、両読み出し間隔撮像信号として合成部１３４に供給する。なお、画像生成部１３１の構成例については、図７〜９を参照して後述する。

画素補間部１３２は、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号を補間して全画素の撮像信号を生成し、短読み出し間隔撮像信号として合成部１３４に供給する。

合成比率計算部１３３は、垂直同期期間ごとに、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と、長読み出し間隔で読み出された撮像信号とに基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。この計算に用いられる長読み出し間隔で読み出された撮像信号は、イメージセンサ１１から供給されるか、または、イメージセンサ１１から供給されない場合、フレームメモリ１２から読み出される。合成比率計算部１３３は、計算された合成比率を合成部１３４に供給する。なお、合成比率計算部１３３の構成例については、図１０〜１２を参照して後述する。

なお、合成比率計算部１３３は、長読み出し間隔で合成比率を計算するようにしてもよい。この場合、合成比率計算部１３３は、フレームメモリ１２から撮像信号を読み出さず、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と長読み出し間隔で読み出された撮像信号に基づいて、合成比率を計算する。

合成部１３４は、合成比率計算部１３３から供給される合成比率に基づいて、画像生成部１３１から供給される両読み出し間隔撮像信号と画素補間部１３２から供給される短読み出し間隔撮像信号とを合成する。合成部１３４は、合成の結果得られる撮像信号を動画の撮像信号として出力する。

（イメージセンサの構成例）
図３、４に示したイメージセンサ１１の構成例を示す図である。

図５に示すように、イメージセンサ１１は、複数の画素３２により構成される画素アレイ部３１、垂直走査回路３３、水平リセット線３４、選択線３５、垂直信号線３６、および水平走査回路３７により構成される。なお、図５に示す、垂直走査回路３３、および水平走査回路３７は、図３に示した画素駆動部１１４Ａ，１１４Ｂとして機能してもよい。

画素アレイ部３１には、第１または第２の画素群に分類される複数の画素３２が２次元アレイ状（行列状）に配置されている。ここでは、画素３２は、２行ごとに同一の画素群に分類されている。

２次元アレイ状に配置されている複数の画素３２は、水平リセット線３４および選択線３５により、行単位で垂直走査回路３３と接続されている。また、２次元アレイ状に配置されている複数の画素３２は、垂直信号線３６により、列単位で水平走査回路３７と接続されている。

垂直走査回路３３は、画素アレイ部３１の画素３２の各行を順次選択し、選択された行の選択線３５に撮像信号を読み出させる読み出し信号を供給する。各行の画素３２は、この読み出し信号に応じて、内部に蓄積された電荷に応じた撮像信号を、垂直信号線３６に出力する。

また、垂直走査回路３３は、各行の画素３２の水平リセット線３４に、その行の画素３２が属する画素群に対応する短読み出し間隔または長読み出し間隔だけ、読み出し信号を供給するより前に、リセット信号を供給する。リセット信号は、画素３２の内部に蓄積された電荷をリセットさせる信号である。各行の画素３２は、リセット信号に応じて、内部に蓄積された電荷をリセットし、電荷の蓄積(露光)を開始する。

水平走査回路３７は、１行分の画素３２から短読み出し間隔で読み出され、垂直信号線３６を介して供給される撮像信号を、順次、図４の画像生成部１３１、画素補間部１３２、および合成比率計算部１３３に供給する。また、水平走査回路３７は、１行分の画素３２から長読み出し間隔で読み出され、垂直信号線３６を介して供給される撮像信号を、順次、図４のフレームメモリ１２、画像生成部１３１、および合成比率計算部１３３に供給する。

（画素配列の例）
図５の画素アレイ部３１に配置される画素３２の配列の例を示す図である。

なお、図６において、正方形は画素を表し、その正方形の内部に付されたＲ，Ｇ，Ｂは、それぞれ、画素の有するカラーフィルタが赤色、緑色、青色であることを表す。また、画素を表す正方形の内部に付された１，２は、それぞれ、その画素の属する画素群が第１の画素群、第２の画素群であることを表す。さらに、図６では、画素アレイ部３１に配置される画素３２のうちの８×８個の画素３２のみ図示している。これらのことは、後述する図２４においても同様である。

図６の例では、画素３２の配列がベイヤ配列となっている。また、図６に示すように、画素アレイ部３１の画素３２が属する画素群は、２行ごとに異なっている。具体的には、上から１行目および２行目の画素３２が属する画素群は、第２の画素群であり、３行目および４行目の画素３２が属する画素群は、第１の画素群である。また、５行目および６行目の画素３２が属する画素群は、第２の画素群であり、７行目および８行目の画素３２が属する画素群は、第１の画素群である。従って、図６の例では、各色に対して、第１の画素群に分類される画素３２と第２の画素群に分類される画素３２が存在する。

（画像生成部の第１の構成例）
図４の画像生成部１３１の第１の構成例を示すブロック図である。

図７に示す画像生成部１３１は、ゲイン乗算部５１により構成される。画像生成部１３１には、垂直同期期間ごとに、図４のイメージセンサ１１またはフレームメモリ１２から長蓄画素の撮像信号が供給される。画像生成部１３１は、垂直同期期間ごとに、その長蓄画素の撮像信号を、長蓄画素の両読み出し間隔撮像信号として合成部１３４に供給する。

また、画像生成部１３１には、垂直同期期間ごとに、イメージセンサ１１から短蓄画素の撮像信号が供給され、ゲイン乗算部５１に入力される。ゲイン乗算部５１は、入力された短蓄画素の撮像信号に対して、長蓄画素と短蓄画素の露光期間の比に対応するゲインを乗算する。ゲイン乗算部５１は、ゲインが乗算された短蓄画素の撮像信号を、短蓄画素の両読み出し間隔撮像信号として図４の合成部１３４に供給する。

（画像生成部の第２の構成例）
図８は、図４の画像生成部１３１の第２の構成例を示すブロック図である。

図８に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図８の画像生成部１３１の構成は、エッジ判定部７１、平滑化部７２、および合成部７３が新たに設けられる点が図７の構成と異なる。図８の画像生成部１３１は、短蓄画素の撮像信号の平坦化領域を平滑化することにより、短蓄画素の両読み出し間隔撮像信号のＳＮ比を改善する。

具体的には、画像生成部１３１のエッジ判定部７１は、垂直同期期間ごとに、図４のイメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号と、イメージセンサ１１から供給される短蓄画素の撮像信号とに基づいて、画面内のエッジ領域を検出する。エッジ判定部７１は、そのエッジ領域を表すエッジ領域情報を合成部７３に供給する。

平滑化部７２は、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号を平滑化し、合成部７３に供給する。

合成部７３は、エッジ判定部７１から供給されるエッジ領域情報に基づいて、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号から、エッジ領域の短蓄画素の撮像信号を抽出する。また、合成部７３は、エッジ領域情報に基づいて、平滑化部７２から供給される平滑化後の短蓄画素の撮像信号から、エッジ領域以外の領域の短蓄画素の撮像信号を抽出する。合成部７３は、抽出されたエッジ領域の短蓄画素の撮像信号と、エッジ領域以外の領域の短蓄画素の撮像信号とを合成する。合成部７３は、合成の結果得られる短蓄画素の撮像信号を、短蓄画素の両読み出し間隔撮像信号として図４の合成部１３４に供給する。

（画像生成部の第３の構成例）
図９は、図４の画像生成部１３１の第３の構成例を示すブロック図である。

図９に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図９の画像生成部１３１の構成は、補間部９１、補間部９２、および合成部９３が新たに設けられる点が図７の構成と異なる。図９の画像生成部１３１は、補間により全画素の短読み出し間隔の撮像信号と長読み出し間隔の撮像信号を生成し、それらをＳＮ比が最大となる比率で合成することにより、両読み出し間隔撮像信号のＳＮ比を改善する。

具体的には、画像生成部１３１の補間部９１は、図４のイメージセンサ１１から供給される長蓄画素の撮像信号に対して補間処理を行い、全画素の長読み出し間隔の撮像信号を生成する。補間部９１は、生成された全画素の長読出し間隔の撮像信号を合成部９３に供給する。

補間部９２は、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号に対して補間処理を行い、全画素の短読み出し間隔の撮像信号を生成する。補間部９２は、生成された全画素の短読み出し間隔の撮像信号を合成部９３に供給する。

合成部９３は、補間部９１から供給される全画素の長読み出し間隔の撮像信号と、補間部９２から供給される全画素の短読み出し間隔の撮像信号を、ＳＮ比が最大となる比率で合成する。短読み出し間隔の撮像信号の標準偏差をσＳとし、長読み出し間隔の撮像信号の標準偏差をσＬとしたとき、ＳＮ比が最大となる長読み出し間隔の撮像信号の比率はσＳ／（σＳ＋σＬ）であり、短読み出し間隔の撮像信号の比率はσＬ／（σＳ＋σＬ）である。合成部９３は、合成の結果得られる全画素の撮像信号を、両読み出し間隔撮像信号として図４の合成部１３４に供給する。

（合成比率計算部の第１の構成例）
図１０は、図４に示す合成比率計算部１３３の第１の構成例を示すブロック図である。

図１０の合成比率計算部１３３は、プレフィルタ１０１、プレフィルタ１０２、差分絶対値演算部１０３、ノイズ推定部１０４、および閾値処理部１０５により構成される。

合成比率計算部１３３のプレフィルタ１０１は、垂直同期期間ごとに、図４のイメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号に対してフィルタ処理を行う。このフィルタ処理は、撮像信号の各画素の位置を基準位置に変更するとともに、撮像信号のノイズを抑制する処理である。プレフィルタ１０１は、フィルタ処理後の長蓄画素の撮像信号を差分絶対値演算部１０３とノイズ推定部１０４に供給する。

プレフィルタ１０２は、垂直同期期間ごとに、イメージセンサ１１から供給される短蓄画素の撮像信号に対して、プレフィルタ１０１と同様のフィルタ処理を行う。プレフィルタ１０２は、フィルタ処理後の短蓄画素の撮像信号を差分絶対値演算部１０３に供給する。

差分絶対値演算部１０３は、プレフィルタ１０１から供給される長蓄画素の撮像信号と、プレフィルタ１０２から供給される短蓄画素の撮像信号の差分絶対値を、基準位置ごとに演算する。差分絶対値演算部１０３は、各基準位置の差分絶対値を閾値処理部１０５に供給する。

ノイズ推定部１０４は、プレフィルタ１０１から供給される長蓄画素の撮像信号に基づいて、長蓄画素の撮像信号の標準偏差σをノイズ量として推定し、閾値処理部１０５に供給する。

閾値処理部１０５は、ノイズ推定部１０４からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる閾値を決定する。例えば、閾値処理部１０５は、標準偏差σを第１の閾値に決定する。閾値処理部１０５は、差分絶対値演算部１０３から供給される各基準位置の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。

具体的には、閾値処理部１０５は、各基準位置の差分絶対値が第１の閾値より大きいかどうかを判定する。そして、閾値処理部１０５は、差分絶対値が第１の閾値より大きい場合、その差分絶対値に対応する基準位置が動被写体領域であると判定し、差分絶対値が第１の閾値より小さい場合、その差分絶対値に対応する基準位置が動被写体領域ではないと判定する。

即ち、閾値処理部１０５は、差分絶対値が第１の閾値より大きい場合、その差分絶対値がノイズによるものではなく、動きによるものであると判定する。一方、閾値処理部１０５は、差分絶対値が第１の閾値より大きくはない場合、その差分絶対値がノイズによるものであると判定する。

以上のように、閾値処理部１０５は、プレフィルタ１０１およびプレフィルタ１０２のフィルタ処理によってノイズが抑制された撮像信号を用いて動被写体領域を判定するため、判定精度が良い。

閾値処理部１０５は、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部１０５は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部１０５は、設定された各画素の合成比率を図４の合成部１３４に供給する。

これにより、動きのない領域の動画の撮像信号では、ノイズの少ない長蓄画素の撮像信号の影響が大きくなり、動きのある領域の動画の撮像信号では、動きぼけの少ない短蓄画素の撮像信号の影響が大きくなる。その結果、撮像装置１は、ノイズや動きぼけの少ない高画質の動画の撮像信号を出力することができる。

（合成比率の説明）
図１１は、図１０の閾値処理部１０５により設定される合成比率のうちの両読み出し間隔撮像信号の比率の例を示す図である。

図１１において、横軸は、図１０の差分絶対値演算部１０３により演算される差分絶対値を表し、縦軸は、両読み出し間隔撮像信号の比率を表す。

図１１に示すように、基準位置の差分絶対値が第１の閾値以下であり、その基準位置が動被写体領域ではないと判定される場合、閾値処理部１０５は、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を、例えば最大値である１に設定する。このとき、短読み出し間隔撮像信号の比率は、０（＝１−１）に設定される。

一方、基準位置の差分絶対値が第１の閾値より大きく、その基準位置が動被写体領域であると判定される場合、閾値処理部１０５は、例えば、標準偏差σの３倍の値を第２の閾値に設定する。

そして、閾値処理部１０５は、基準位置の差分絶対値が第１の閾値より大きく第２の閾値以下である場合、所定の関数にしたがって、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を設定する。所定の関数とは、差分絶対値が第１の閾値である場合に１となり、第２の閾値である場合に０となる、差分絶対値に比例する関数である。このとき、短読み出し間隔撮像信号の比率は、１から両読み出し間隔撮像信号の比率を減算した値に設定される。

また、閾値処理部１０５は、基準位置の差分絶対値が第２の閾値より大きい場合、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を、最小値である０に設定する。このとき、短読み出し間隔撮像信号の比率は１に設定される。

（合成比率計算部の第２の構成例）
図１２は、図４の合成比率計算部１３３の第２の構成例を示すブロック図である。

図１２に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１２の合成比率計算部１３３の構成は、統計量計算部１１１が新たに設けられる点、および、閾値処理部１０５の代わりに閾値処理部１１２が設けられる点が図１０の構成と異なる。図１２の合成比率計算部１３３は、動被写体領域ではない領域であっても、画面内の被写体のテクスチャが込み入っている場合、短読み出し間隔撮像信号の比率を０より大きい値に設定する。

合成比率計算部１３３の統計量計算部１１１は、プレフィルタ１０１から出力されるフィルタ処理後の長蓄画素の撮像信号の分散値などの統計量を計算し、閾値処理部１１２に供給する。

閾値処理部１１２は、図１０の閾値処理部１０５と同様に、ノイズ推定部１０４からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる第１の閾値を決定する。閾値処理部１１２は、閾値処理部１０５と同様に、差分絶対値演算部１０３から供給される各基準位置の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。

閾値処理部１１２は、閾値処理部１０５と同様に、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように第２の閾値を用いて設定する。

また、閾値処理部１１２は、統計量計算部１１１から供給される分散値に基づいて、画面内の被写体のテクスチャが込み入っているかどうかを判定する。閾値処理部１１２は、画面内の被写体のテクスチャが込み入っていると判定された場合、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の両読み出し間隔撮像信号の比率を、最大値より小さい値（例えば０．５）に設定する。このとき、短読み出し間隔撮像信号の比率は、０．５（＝１−０．５）に設定される。

一方、画面内の被写体のテクスチャが込み入っていないと判定された場合、閾値処理部１１２は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の短読み出し間隔撮像信号の比率を、最大値である１に設定する。このとき、短読み出し間隔撮像信号の比率は、０に設定される。

以上により、被写体のテクスチャが込み入っている画面の動きのない領域の動画の撮像信号は、長蓄画素の撮像信号と短蓄画素の撮像信号の両方の影響を受ける。その結果、撮像装置１は、動画の撮像信号の画質を向上させることができる。

＜＜３．動作例＞＞
以上、図３〜１２を参照しながら本実施形態に係る撮像装置１、および撮像装置１が備える各部の構成例について説明した。続いて、以下では、図１３を参照して本実施形態に係る動作例として、本実施形態に係る撮像装置１の処理を説明する。

図１３は、本実施形態に係る撮像装置１の処理を説明するためのフローチャート図である。図１３に示す処理は、例えば垂直同期期間ごとに繰り返し行われる。

図１３のステップＳ１０２において、撮像装置１のイメージセンサ１１は、短蓄画素の撮像信号を読み出し、画像生成部１３１、画素補間部１３２、および合成比率計算部１３３に供給する。そして、イメージセンサ１１は、短蓄画素として撮像信号が読み出された画素３２に蓄積された電荷をリセットし、画素３２に再び露光を開始させる。

ステップＳ１０４において、イメージセンサ１１は、撮像制御部１４により設定されるフレームレートに応じて、長蓄画素の撮像信号を読み出すか否かを判定する。例えば、イメージセンサ１１は、長読み出し間隔が垂直同期期間の２倍である場合、連続する２回の垂直同期期間のうちの最初の垂直同期期間時には、長蓄画素の撮像信号を読み出さないと判定し、最後の垂直同期期間時には、長蓄画素の撮像信号を読み出すと判定する。

ステップＳ１０４で長蓄画素の撮像信号を読み出すと判定された場合、ステップＳ１０６において、イメージセンサ１１は、長蓄画素の撮像信号を読み出し、フレームメモリ１２、画像生成部１３１、および合成比率計算部１３３に供給する。そして、イメージセンサ１１は、長蓄画素として撮像信号が読み出された画素３２に蓄積された電荷をリセットし、画素３２に再び露光を開始させる。

ステップＳ１０８において、フレームメモリ１２は、イメージセンサ１１から供給される長蓄画素の撮像信号を保持し、処理をステップＳ１１２に進める

一方、ステップＳ１０４で長蓄画素の撮像信号を読み出さないと判定された場合、ステップＳ１１０において、画像生成部１３１と合成比率計算部１３３は、フレームメモリ１２に保持されている長蓄画素の撮像信号を読み出し、処理をステップＳ１１２に進める。

ステップＳ１１２において、画像生成部１３１は、イメージセンサ１１から供給される短蓄画素の撮像信号と、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号とを用いて、両読み出し間隔撮像信号を生成し、合成部１３４に供給する。

ステップＳ１１４において、画素補間部１３２は、イメージセンサ１１から供給される短蓄画素の撮像信号を補間して短読み出し間隔撮像信号を生成し、合成部１３４に供給する。

ステップＳ１１６において、合成比率計算部１３３は、イメージセンサ１１から供給される短蓄画素の撮像信号と、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号とに基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。合成比率計算部１３３は、計算された合成比率を合成部１３４に供給する。

ステップＳ１１８において、合成部１３４は、合成比率計算部１３３から供給される合成比率に基づいて、画像生成部１３１から供給される両読み出し間隔撮像信号と画素補間部１３２から供給される短読み出し間隔撮像信号とを合成する。ステップＳ１２０において、合成部１３４は、合成の結果得られる撮像信号を動画の撮像信号として出力する。

ステップＳ１２２において、画素値レベル評価部１４１は、イメージセンサ１１から供給される撮像信号に基づいて得られる画素値レベルを評価する。画素値レベル評価部は、例えば目標とする目標画素値レベルと現在の画素値レベルの比を、評価結果として露光期間・アナログゲイン制御部１４２に出力する。

ステップＳ１２４において、露光期間・アナログゲイン制御部１４２とフレームレート制御部１４３は、露光パラメタ（露光期間、アナログゲイン、およびフレームレート）を特定（設定）し、処理を終了する。設定された露光パラメタは、次の処理におけるステップＳ１０４等において用いられてもよい。

以上のように、撮像装置１は、短蓄画素と長蓄画素を有するイメージセンサ１１と、長蓄画素の撮像信号を保持するフレームメモリ１２、画像処理を行う画像処理部１３、および撮像を制御する撮像制御部１４を備える。従って、撮像装置１は、照度が低い暗所では、垂直同期期間より大きい読出し間隔により読出しを行い、垂直同期期間より大きい露光期間で動画撮影を行うことができる。よって、暗所における動画のＳＮ比を向上させることができる。

＜＜４．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。

＜４−１．変形例１＞
上記実施形態の図２では、画素群Ｂ（第２の画素群、長畜画素、または画素群１１２Ｂ）のフレームレートは、画素群Ｂの撮像信号の読出し間隔が垂直同期期間の自然数倍となるように非連続的に設定される例を説明したが、本技術は係る例に限定されない。例えば、画素群Ｂのフレームレートは、照度に応じて連続的に変化するように設定されてもよく、以下ではそのような露光制御例を変形例１として説明する。

図１４は、本技術において、画素群Ｂのフレームレートが照度に応じて連続的に変化するように設定される場合の露光制御例を示す説明図である。図２のグラフＧ２１〜Ｇ２４と同様に、図１４のグラフＧ３１〜Ｇ３４において、横軸は照度を示している。なお、図１４における照度Ｌ２１〜照度Ｌ２５は、それぞれ図２における照度Ｌ２１〜照度Ｌ２５と対応している。また、図２に示したグラフＧ２１〜Ｇ２４と同様に、グラフＧ３１の縦軸はフレームレートを、グラフＧ３２の縦軸はアナログゲインを、グラフＧ３３の縦軸は露光期間を、グラフＧ３４の縦軸は画像輝度レベルを示している。

本変形例に係る撮像装置は、画素群Ａについては、図２を参照して説明した露光制御例と同様に露光制御を行ってもよい。また、図１４のグラフＧ３２は、図２のグラフＧ２２と同様であり、本変形例に係る撮像装置は、図２のグラフＧ２２を参照して説明したようにアナログゲインの設定を行ってもよい。

本変形例にかかる撮像装置は、グラフＧ３１に示すように、画素群Ｂのフレームレートを、照度に応じて連続的に変化するように設定してもよい。例えば、本変形例にかかる撮像装置は、グラフＧ３１に示すように、照度が照度Ｌ３４〜照度Ｌ３５の範囲において、線形に変化するように、画素群Ｂのフレームレートを設定してもよい。係る構成により、図２を参照して説明した露光制御例と比較して、画素群Ｂのフレームレートの低下が抑えられ、画素群Ｂに基づく画像の動きぶれが低減され、当該画像を用いて合成される画像の動きぶれも低減される。

また、グラフＧ３３に示すように、グラフＧ３１に示したように画素群Ｂのフレームレートが設定され場合であっても、画素群Ｂの露光期間は図２に示したグラフＧ２３の場合と同様に設定され得る。その結果、グラフＧ３４に示すように、画素群Ａに基づく画像と、画素群Ｂに基づく画像を合成して得られる画像は、図２に示したグラフＧ２４の場合と同様の画像輝度レベルを得ることが可能となる。従って、本変形例によれば、照度の低い暗所における動画の動きぶれを低減しつつ、ＳＮ比をより向上させることが可能である。

なお、本変形例のように画素群Ｂのフレームレートが照度に応じて連続的に変化するように設定される場合、長読出し間隔が垂直同期期間の自然数倍にならない場合がある。そこで、例えば本変形例に係る撮像装置は、図１３を参照して説明したステップＳ１０４において、画素群Ｂ（長畜画素）の撮像信号を読み出すか否かを判定するため、垂直同期期間の情報によらずに長読出し間隔を制御する機能を有する。例えば、図３を参照して説明した撮像制御部１４が、長読出し間隔を制御する機能を有してもよい。

＜４−２．変形例２＞
上記実施形態では、図４に示した画像処理部１３の構成例について説明したが、本開示に係る撮像装置が備える画像処理部の構成は図４に示した構成例に限定されない。以下では、画像処理部の他の構成例を備える本開示に係る撮像装置の例を幾つか説明する。

（画像処理部の他の構成例１）
図１５は画像処理部の他の構成例を備える撮像装置２のブロック図である。図１５に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１５の撮像装置２の構成は、画像処理部２１に動き補償部１３５が新たに設けられる点が、図４の撮像装置２の構成と異なる。撮像装置２は、フレームメモリ１２から読み出された長蓄画素の撮像信号の空間位相ずれを補償する動き補償を行う。

具体的には、撮像装置２の動き補償部１３５には、フレームメモリ１２から読み出された長蓄画素の撮像信号が供給される。動き補償部１３５は、図示せぬジャイロセンサなどにより計測された露光時刻のイメージセンサ１１の動きを表す信号に基づいて、長蓄画素の撮像信号の動き補償を行う。

より詳細には、動き補償部１３５は、長蓄画素の撮像信号におけるぶれ量を推定する。動き補償部１３５は、推定されたぶれ量を補正するように、フレームメモリ１２から供給される長蓄画素の撮像信号に対して、並進、回転、アフィン変換、射影変換などの変換を行う。これにより、フレームメモリ１２から供給される長蓄画素の撮像信号の空間位相は、その撮像信号が読み出されるときの実際の空間位相に変更される。動き補償部１３５は、動き補償後の長蓄画素の撮像信号を画像生成部１３１と合成比率計算部１３３に供給する。

撮像装置２が行う処理は、ステップＳ１１０とステップＳ１１２の間で、動き補償部１３５による動き補償が行われる点を除いて、図１３を参照して説明した撮像装置１の処理と同様であるので、説明は省略する。

なお、動き補償部１３５は、ジャイロセンサなどにより計測されたイメージセンサ１１の動きを表す信号ではなく、過去の複数フレームの長蓄画素の撮像信号に基づいて検出された動きベクトルを用いて空間位相ずれを補償するようにしてもよい。

（画像処理部の他の構成例２）
図１６は画像処理部のさらに他の構成例を備える撮像装置３のブロック図である。図１６に示す構成のうち、図１５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１６の撮像装置３の構成は、画像処理部２２に動きぼけ補正部１３６が新たに設けられる点が、図１５の撮像装置２の構成と異なる。撮像装置２は、短蓄画素と長蓄画素の撮像信号のイメージセンサ１１の動きによる動きぼけを補正する。

具体的には、撮像装置３の動きぼけ補正部１３６は、図示せぬジャイロセンサなどにより計測された露光時刻のイメージセンサ１１の動きを表す信号に基づいて、動きぼけＰＳＦ（Point spread function）を推定する。動きぼけ補正部１３６は、動きぼけＰＳＦを用いて、イメージセンサ１１から供給される長蓄画素の撮像信号および短蓄画素の撮像信号、並びに、動き補償部１３５から供給される長蓄画素の撮像信号に対して動きぼけ補正を行う。動きぼけ補正の方法としては、動きぼけカーネルの逆変換を重畳する方法、ぼけ方向に応じたＨＰＦ(High Pass Filter)をかける方法などがある。

動きぼけ補正部１３６は、動きぼけ補正後の長蓄画素の撮像信号を画像生成部１３１と合成比率計算部１３３に供給する。また、動きぼけ補正部１３６は、動きぼけ補正後の短蓄画素の撮像信号を画像生成部１３１、画素補間部１３２、および合成比率計算部１３３に供給する。

撮像装置２の処理は、ステップＳ１０８およびステップＳ１１０と、ステップＳ１１２との間で、動きぼけ補正部１３６による動きぼけの補正が行われる点を除いて、図１３を参照して説明した撮像装置１の処理と同様であるので、説明は省略する。

（画像処理部の他の構成例３）
図１７は画像処理部のさらに他の構成例を備える撮像装置４のブロック図である。

図１７に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１７の撮像装置４の構成は、画像処理部２３にノイズ低減部１３７が新たに設けられる点が、図４の撮像装置１の構成と異なる。撮像装置４は、長蓄画素と短蓄画素の撮像信号に対して、それぞれ異なる強度でノイズ低減を行う。

具体的には、撮像装置４のノイズ低減部１３７は、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素と短蓄画素の撮像信号のそれぞれに対して、ＬＰＦ（Low Pass Filter）または非線形平滑化手法を用いて、異なる強度でノイズ低減を行う。長蓄画素と短蓄画素の撮像信号に対するノイズ低減の強度の差異は、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて決定される。これにより、長蓄画素と短蓄画素における露光長の差異およびゲイン乗算部５１で乗算されるゲインの差異により生じるノイズ強度の差異を補償することができる。

ノイズ低減部１３７は、ノイズ低減後の長蓄画素の撮像信号をフレームメモリ１２に供給して保持させるとともに、画像生成部１３１と合成比率計算部１３３に供給する。また、ノイズ低減部１３７は、ノイズ低減後の短蓄画素の撮像信号を画像生成部１３１、画素補間部１３２、および合成比率計算部１３３に供給する。

撮像装置４の処理は、以下の点を除いて、図１３の処理と同様である。即ち、撮像装置４の処理は、ステップＳ１０２とステップＳ１０４の間でノイズ低減部１３７により短蓄画素の撮像信号に対してノイズ低減が行われる点が、図１３の処理と異なっている。また、撮像装置４の処理は、ステップＳ１０６とＳ１０８の間およびステップＳ１１０とＳ１１２の間で、ノイズ低減部１３７により長蓄画素の撮像信号のノイズ低減が行われる点が、図１３の処理と異なっている。

なお、ノイズ低減部１３７は、長蓄画素と短蓄画素の両方の撮像信号に対して同一の強度でノイズ低減を行うようにしてもよい。

（画像処理部の他の構成例４）
図１８は画像処理部のさらに他の構成例を備える撮像装置５のブロック図である。

図１８に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１８に示す撮像装置５の構成は、画像処理部２４にノイズ低減部１３８とノイズ低減部１３９が新たに設けられる点が、図４の撮像装置１の構成と異なる。撮像装置５は、両読み出し間隔撮像信号と短読み出し間隔撮像信号に対してノイズ低減を行う。

具体的には、撮像装置５のノイズ低減部１３８は、合成比率計算部１３３により計算された合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて、ノイズ低減の強度を決定する。

即ち、両読み出し間隔撮像信号と短蓄撮像信号が合成される場合、両方の周波数特性を一致させた方が、合成結果の画質が向上する場合がある。従って、ノイズ低減部１３８は、例えば、両読み出し間隔撮像信号の合成比率が０または１である場合、即ち合成が行われない場合、ノイズ低減の強度を強くし、両読み出し間隔撮像信号の合成比率が０より大きく１未満である場合、ノイズ低減の強度を弱くする。

ノイズ低減部１３８（両読み出し間隔ノイズ低減部）は、画像生成部１３１により生成された両読み出し間隔撮像信号に対して、ＬＰＦまたは非線形平滑化手法を用いて、決定された強度でノイズ低減を行う。ノイズ低減部１３８は、ノイズ低減後の両読み出し間隔撮像信号を合成部１３４に供給する。

ノイズ低減部１３９は、合成比率計算部１３３により計算された合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて、ノイズ低減部１３８と同様にノイズ低減の強度を決定する。ノイズ低減部１３９（短読み出し間隔ノイズ低減部）は、画素補間部１３２により生成された短読み出し間隔撮像信号に対して、ＬＰＦまたは非線形平滑化手法を用いて、決定された強度でノイズ低減を行う。ノイズ低減部１３９は、ノイズ低減後の短読み出し間隔撮像信号を合成部１３４に供給する。

以上のように、ノイズ低減部１３８とノイズ低減部１３９は、合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいてノイズ低減の強度を決定する。従って、ノイズ低減部１３８とノイズ低減部１３９は、合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異により生じるノイズ強度の差異を補償することができる。

撮像装置５の処理は、ステップＳ１１８とステップＳ１２０の間で、ノイズ低減部１３８とノイズ低減部１３９によるノイズ低減が行われる点を除いて、図１３の処理と同様であるので、説明は省略する。

なお、ノイズ低減部１３８とノイズ低減部１３９は、合成比率によらず、複数のノイズ強度でノイズ低減を行い、合成部１３４が、合成比率に対応するノイズ強度のノイズ低減が行われた撮像信号を選択して合成するようにしてもよい。

また、撮像装置５は、ノイズ低減部１３７を備えるようにしてもよい。また、ノイズ低減部１３８とノイズ低減部１３９は、同一の強度でノイズ低減を行うようにしてもよい。

（画像処理部の他の構成例５）
図１９は画像処理部のさらに他の構成例を備える撮像装置６のブロック図である。

図１９に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１９の撮像装置６の構成は、フレームメモリ１２、および画像処理部１３の合成比率計算部１３３の代わりに、フレームメモリ２１１、および画像処理部２５の合成比率計算部２１２が設けられる点が、図４の撮像装置１の構成と異なる。撮像装置６は、合成対象の両読み出し間隔撮像信号と短読み出し間隔撮像信号の生成に用いられる長蓄画素および短蓄画素の撮像信号だけでなく、その撮像信号より前の時刻の撮像信号も用いて、合成比率を計算する。

具体的には、撮像装置６のフレームメモリ２１１は、イメージセンサ１１から供給される長蓄画素の撮像信号を、画素群ごとに２画面分だけ保持する。

合成比率計算部２１２は、垂直同期期間ごとに、フレームメモリ２１１に保持されている、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号の直前の、同一の長蓄画素の撮像信号（以下、過去の長蓄画素の撮像信号という）を読み出す。

また、イメージセンサ１１から長蓄画素の撮像信号が供給されない場合、合成比率計算部２１２は、フレームメモリ２１１から、合成対象の両読み出し間隔撮像信号の生成に用いられる、直前に長読み出し間隔で同一の長蓄画素から読み出された撮像信号を読み出す。

合成比率計算部２１２は、垂直同期期間ごとに、過去の長蓄画素の撮像信号、イメージセンサ１１またはフレームメモリ２１１から供給される長蓄画素の撮像信号、および、イメージセンサ１１から供給される短蓄画素の撮像信号に基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。合成比率計算部２１２は、計算された合成比率を合成部１３４に供給する。

（合成比率計算部の構成例）
図２０は、図１９の合成比率計算部２１２の構成例を示すブロック図である。

図２０の合成比率計算部２１２は、ＬＰＦ（Low Pass Filter）２３１および２３２、差分絶対値演算部２３３、LPF２３４および２３５、差分絶対値演算部２３６、ノイズ推定部２３７、閾値処理部２３８および２３９、並びに選択部２４０により構成される。

合成比率計算部２１２のＬＰＦ２３１は、図１９のフレームメモリ２１１から読み出された過去の長蓄画素の撮像信号に対してノイズ低減を行い、差分絶対値演算部２３３に供給する。

ＬＰＦ２３２は、イメージセンサ１１またはフレームメモリ２１１から供給される、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号に対してノイズ低減を行い、差分絶対値演算部２３３に供給する。

差分絶対値演算部２３３は、長蓄画素ごとに、ＬＰＦ２３１から供給される長蓄画素の撮像信号と、ＬＰＦ２３２から供給される過去の長蓄画素の撮像信号の差分絶対値を演算し、閾値処理部２３８に供給する。

ＬＰＦ２３４は、イメージセンサ１１またはフレームメモリ２１１から供給される、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号に対して、ＬＰＦ２３１やＬＰＦ２３２に比べて強い強度でノイズ低減を行うとともに、各長蓄画素の位置を基準位置に変更する。ＬＰＦ２３４は、その結果得られる、ＬＰＦ２３２から出力される長蓄画素の撮像信号の帯域よりも低域の長蓄画素の撮像信号を、差分絶対値演算部２３６とノイズ推定部２３７に供給する。

ＬＰＦ２３５は、イメージセンサ１１から供給される短蓄画素の撮像信号に対して、ＬＰＦ２３１やＬＰＦ２３２に比べて強い強度でノイズ低減を行うとともに、各短蓄画素の位置を基準位置に変更する。ＬＰＦ２３５は、その結果得られる、ＬＰＦ２３２から出力される長蓄画素の撮像信号の帯域よりも低域の短蓄画素の撮像信号を、差分絶対値演算部２３６に供給する。

差分絶対値演算部２３６は、基準位置ごとにＬＰＦ２３４から供給される長蓄画素の撮像信号と、ＬＰＦ２３５から供給される短蓄画素の撮像信号の差分絶対値を演算し、閾値処理部２３９に供給する。

ノイズ推定部２３７は、ＬＰＦ２３４から供給される長蓄画素の撮像信号に基づいて、長蓄画素の撮像信号の標準偏差σをノイズ量として推定し、閾値処理部２３８と閾値処理部２３９に供給する。

閾値処理部２３８は、ノイズ推定部２３７からノイズ量として供給される標準偏差σに基づいて、例えば、標準偏差σを、動被写体領域の判定に用いる第１の閾値に決定する。閾値処理部２３８は、差分絶対値演算部２３３から供給される各長蓄画素の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。

具体的には、閾値処理部２３８は、各長蓄画素の差分絶対値が第１の閾値より大きいかどうかを判定する。そして、閾値処理部２３８は、差分絶対値が第１の閾値より大きい場合、その差分絶対値に対応する長蓄画素が動被写体領域であると判定し、差分絶対値が第１の閾値より小さい場合、その差分絶対値に対応する長蓄画素が動被写体領域ではないと判定する。

閾値処理部２３８は、動被写体領域の判定により動被写体領域であると判定された長蓄画素に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部２３８は、動被写体領域の判定により動被写体領域ではないと判定された長蓄画素に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部２３８は、設定された各画素の合成比率を選択部２４０に供給する。

閾値処理部２３９は、閾値処理部２３８と同様に、ノイズ推定部２３７からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる第１の閾値を決定する。閾値処理部２３９は、差分絶対値演算部２３６から供給される各基準位置の差分絶対値と第１の閾値とを用いて、閾値処理部２３８と同様に、動被写体領域の判定を行う。

閾値処理部２３８は、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部２３９は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部２３９は、設定された各画素の合成比率を選択部２４０に供給する。

選択部２４０は、閾値処理部２３８から供給される合成比率と、閾値処理部２３９から供給される合成比率のうちの時間変化が小さい方の合成比率を選択する。これにより、合成比率を安定させることができる。選択部２４０は、選択された合成比率を図１９の合成部１３４に供給する。

以上のように、合成比率計算部２１２は、同一の長蓄画素の撮像信号どうしに基づいて動被写体領域を判定する。従って、長蓄画素と短蓄画素の位置ずれを補償することにより、動被写体領域の判定精度が低下することを防止することができる。

即ち、長蓄画素と短蓄画素の画素アレイ部３１上の位置は異なっている。従って、長蓄画素の撮像信号と短蓄画素の撮像信号の差分絶対値を求める際、各画素の位置が基準位置に変更されるが、これにより、静被写体領域であってもエッジ付近の領域では差分絶対値が大きくなり、動被写体領域と判定されることがある。これに対して、合成比率計算部２１２は、同一の長蓄画素の撮像信号どうしの差分絶対値を求めるため、撮像信号の画素位置を変更する必要がなく、高精度で動被写体判定を行うことができる。

また、短蓄画素の撮像信号に比べて長蓄画素の撮像信号のノイズ量は少ないため、長蓄画素の撮像信号のみに基づいて動被写体領域を判定することにより、判定精度を高めることができる。

図１９の撮像装置６の処理は、ステップＳ１１４とＳ１１６の間で、過去の長蓄画素の撮像信号が読み出される点、および、ステップＳ１１６で過去の長蓄画素の撮像信号も合成比率の計算に用いる点を除いて、図１３の処理と同様である。従って、説明は省略する。

（画像処理部の他の構成例６）
図２１は画像処理部のさらに他の構成例を備える撮像装置７のブロック図である。

図２１に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２１の撮像装置７の構成は、フレームメモリ１２、および画像処理部１３の合成比率計算部１３３の代わりに、フレームメモリ２６１、および画像処理部２６の合成比率計算部２６２が設けられる点が、図４の撮像装置１の構成と異なる。撮像装置７は、長蓄画素の撮像信号どうしに基づいて決定された合成比率（以下、長蓄合成比率という）をフレームメモリ２６１に保持し、長蓄画素の撮像信号がイメージセンサ１１から読み出されないときの合成比率の選択に用いる。

具体的には、画像処理装置２６０のフレームメモリ２６１は、イメージセンサ１１から供給される長蓄画素の撮像信号を、画素群ごとに２画面分だけ保持する。また、フレームメモリ２６１は、合成比率計算部２６２から供給される長蓄合成比率を画素群ごとに１画面分だけ保持する。

合成比率計算部２６２は、長読み出し間隔ごとに、イメージセンサ１１から長蓄画素の撮像信号が供給されたとき、フレームメモリ１２に保持されている過去の長蓄画素の撮像信号を読み出す。そして、合成比率計算部２６２は、フレームメモリ１２から読み出された過去の長蓄画素の撮像信号と、イメージセンサ１１から供給される長蓄画素の撮像信号とに基づいて、長蓄合成比率を計算する。合成比率計算部２６２は、計算された長蓄合成比率をフレームメモリ２６１に供給し、保持させる。

一方、合成比率計算部２６２は、長読み出し間隔ごとに、イメージセンサ１１から長蓄画素の撮像信号が供給されないとき、フレームメモリ１２に保持されている、その長蓄画素のグループの長蓄合成比率を読み出す。

また、合成比率計算部２６２は、垂直同期期間ごとに、イメージセンサ１１から供給される長蓄画素の撮像信号と短蓄画素の撮像信号に基づいて、合成比率（以下、両画素合成比率という）を計算する。合成比率計算部２６２は、垂直同期期間ごとに、計算された長蓄合成比率または読み出された長蓄合成比率と、両画素合成比率のうちの、時間変化が小さい方を選択する。合成比率計算部２６２は、選択された合成比率を合成部１３４に供給する。

以上のように、撮像装置７は、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率を計算せず、その長蓄画素が属する画素群の前回計算された長蓄合成比率をフレームメモリ２６１から読み出して用いる。

即ち、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率の計算に用いられる長蓄画素の撮像信号は、その長蓄画素のグループの長蓄合成比率の前回の計算に用いられた長蓄画素の撮像信号である。従って、撮像装置７は、前回計算された長蓄合成比率を用いて、合成比率の選択を行う。これにより、撮像装置７は、同一の長蓄画素の撮像信号に基づいて長蓄合成比率を再度計算せずに済むため、計算コストを削減することができる。また、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率の計算のために過去の長蓄画素の撮像信号をフレームメモリ２６１から読み出す必要がないので、フレームメモリ２６１の帯域を抑制することができる。

（撮像装置の処理）
図２２は、図２１の撮像装置７の処理を説明するフローチャート図である。図２２に示す処理は、例えば垂直同期期間ごとに繰り返し行われる。

図２２のステップＳ２０２〜Ｓ２１２の処理は、図１３のステップＳ１０２〜Ｓ１０８，Ｓ１１２，およびＳ１１４の処理と同様であるので、説明は省略する。

ステップＳ２１４において、撮像装置７の合成比率計算部２６２は、フレームメモリ２６１から過去の長蓄画素の撮像信号を読み出す。

ステップＳ２１６において、合成比率計算部２６２は、イメージセンサ１１から供給される短蓄画素の撮像信号および長蓄画素の撮像信号、並びに、フレームメモリ２６１から読み出された過去の長蓄画素の撮像信号に基づいて、両画素合成比率と長蓄合成比率を計算する。合成比率計算部２６２は、計算された長蓄合成比率をフレームメモリ２６１に供給し、保持させる。そして、処理はステップＳ２２８に進む。

一方、ステップＳ２０４で長蓄画素の撮像信号を読み出さないと判定された場合、処理はステップＳ２１８に進む。ステップＳ２１８〜Ｓ２２２の処理は、図１３のステップＳ１１０〜乃至Ｓ１１４の処理と同様であるので、説明は省略する。

ステップＳ２２４において、合成比率計算部２６２は、フレームメモリ２６１から長蓄画素の撮像信号を読み出し、その長蓄画素の撮像信号と、イメージセンサ１１から供給される短蓄画素の撮像信号とに基づいて、両画素合成比率を計算する。

ステップＳ２２６において、合成比率計算部２６２は、ステップＳ２２４でフレームメモリ２６１から読み出された撮像信号に対応する画素群の前回計算された長蓄合成比率を、フレームメモリ２６１から読み出す。そして、処理はステップＳ２２８に進む。

ステップＳ２２８において、合成比率計算部２６２は、両画素合成比率と長蓄合成比率のうちの時間変化の小さい方を選択し、合成部１３４に供給する。

ステップＳ２３０〜Ｓ２３６は、図１３のステップＳ１１８〜Ｓ１２４の処理と同様であるので、説明は省略する。

＜４−３．変形例３＞
上記実施形態では、図５，６に示したイメージセンサ１１の例について説明したが、本開示に係る撮像装置が備えるイメージセンサは図５，６に示した例に限定されない。以下では、本開示に係る撮像装置が備えるイメージセンサの他の例について説明する。

（イメージセンサの他の構成例）
図２３は、本開示に係るイメージセンサの他の構成例を示すブロック図である。図２３に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２３のイメージセンサ２８０の構成は、水平リセット線３４の代わりに水平リセット線２８１および２８２が設けられる点が、図５のイメージセンサ１１の構成と異なる。イメージセンサ２８０では、同一の行で画素３２が属する画素群が異なっている。

具体的には、イメージセンサ２８０の水平リセット線２８１および２８２は、画素３２の行単位で設けられる。各行の隣接する画素３２どうしの一方には、その行の水平リセット線２８１が接続され、他方には、水平リセット線２８２が接続される。また、各列の隣接する画素３２どうしの一方には、その画素３２の行の水平リセット線２８１が接続され、他方には、その画素３２の行の水平リセット線２８２が接続される。

各行の水平リセット線２８１および２８２には、それぞれ、異なるタイミングで垂直走査回路３３からリセット信号が供給される。具体的には、各行の水平リセット線２８１と水平リセット線２８２の一方には、その行の選択線３５に読み出し信号が供給されるより短読み出し間隔だけ前にリセット信号が供給される。また、他方には、その行の選択線３５に読み出し信号が供給されるより長読み出し間隔だけ前にリセット信号が供給される。

（画素配列の例）
図２４は、図２３の画素アレイ部３１に配置される画素３２の配列の例を示す図である。

図２４に示すように、図２３の画素３２が属する画素群は、同一の行で異なっている。例えば、図２４のＡに示すように、画素３２の配列がベイヤ配列である場合、水平方向と垂直方向に並ぶ、赤色の画素３２どうしおよび青色の画素３２どうしの属する画素群が異なり、各行の緑色の画素３２の属する画素群が同一であるようにされる。

また、図２４のＢに示すように、画素３２の配列が、４×４画素ごとに同一の色の画素３２となる配列である場合、または、図２４のＣに示すように、４×４画素のうちの左下の画素３２の色が赤色または青色であり、残りの３つの画素３２の色が緑色である配列である場合、水平方向および垂直方向に隣接する画素３２どうしの属する画素群が異なるようにされる。

＜４−４．変形例４＞
上記実施形態では、読出し間隔が異なるように制御される第１の画素群と、第２の画素群とが、同一のイメージセンサに配置される例を説明したが、本技術は係る例に限定されない。例えば、第１の画素群と、第２の画素群とは、互いに異なるイメージセンサに配置される画素群であってもよく、また互いに異なる撮像装置が有する画素群であってもよい。以下では、変形例４として、第１の画素群と、第２の画素群とが、互いに異なる撮像装置が有する画素群である場合の撮像システムの例について説明する。

図２５は、本変形例に係る撮像システムの構成例を示す説明図である。本変形例に係る撮像システムは、撮像装置４０Ａ，４０Ｂと、撮像制御装置６０と、を備える。

撮像装置４０Ａ、および撮像装置４０Ｂは、例えば、同一、または略同一の撮像範囲（視野範囲）を撮像するように配置されてもよい。例えば、撮像装置４０Ａが有する画素群が、上記実施形態で説明した第１の画素群（画素群Ａ、画素群１１２Ａ）に対応し、撮像装置４０Ｂが有する画素群が、上記実施形態で説明した第２の画素群（画素群Ｂ、画素群１１２Ｂ）に対応する。

撮像制御装置６０は、図２５に示すように、フレームメモリ１２、画像処理部６３、撮像制御部６４を備える情報処理装置である。撮像制御装置６０が備えるフレームメモリ１２は、図３を参照して説明したフレームメモリ１２と同様であるため、説明を省略する。

画像処理部６３は、図４を参照して説明した画像処理部１３の機能に加え、例えば撮像装置４０Ａの撮像により得られる画像と、撮像装置４０Ｂの撮像により得られる画像との間で、画素の対応を特定する処理を行う機能を有してもよい。画素の対応を特定する処理は、例えばステレオマッチング処理が用いられてもよい。係る構成により、画像処理部６３による合成の精度が向上する。なお、係る場合、画像処理部６３は画素の対応に基づいて、被写体の距離情報を特定してもよく、動画の撮像信号と共に特定した距離情報を出力してもよい。

撮像制御部６４は、撮像装置４０Ａ、および撮像装置４０Ｂが有する画素群に係る露光パラメタ（露光期間、アナログゲイン、およびフレームレート）を設定し、撮像を制御する。撮像制御部６４が露光パラメタを設定するために有する画素値レベル評価部１４１、露光期間・アナログゲイン制御部１４２、フレームレート制御部１４３の構成は、図３を参照して説明した撮像制御部１４が有する各部の構成と同様であるため、説明を省略する。

係る構成により、撮像装置４０Ａ、４０Ｂの有する画素群の露光制御は、図２、または図１４を参照して説明した露光制御と同様に行われ、暗所における動画（画像処理部６３により出力される動画）のＳＮ比を向上させることが可能である。

＜＜５．ハードウェア構成例＞＞
（半導体基板に形成する場合の構成例）
図２６は、上述した撮像装置を半導体基板（チップ）に形成した場合の半導体基板の構成を示す図である。

図２６のＡおよび図２６のＢに示すように、上記実施形態、および変形例１〜３における撮像装置のイメージセンサ１１（２８０）以外の構成は、例えば、回路３８１により実現される。この回路３８１は、例えば、図２６のＡに示すように、イメージセンサ１１（２８０）と同一の半導体基板３８２に形成される。または、図２６のＢに示すように、積層される半導体基板３８３と半導体基板３８４のうちの、イメージセンサ１１（２８０）が形成されない半導体基板３８４に形成される。

また、図２６のＣに示すように、上記実施形態、および変形例１〜３における撮像装置のイメージセンサ１１（２８０）以外の構成は、例えば、イメージセンサ１１（２８０）が形成される半導体基板３８３の後段のＤＳＰ(Digital Signal Processing)３８６により実現することもできる。

また、図２６のＤおよび図２６のＥに示すように、上記実施形態、および変形例１〜３における撮像装置のイメージセンサ１１（２８０）以外の構成は、例えば、回路３８８とＤＳＰ３８９により実現することもできる。この場合、図２６のＤに示すように、回路３８８は、イメージセンサ１１（２８０）と同一の半導体基板３８７に形成され、ＤＳＰ３８９は、半導体基板３８７の後段に設けられる。または、図２６のＥに示すように、回路３８８は、積層される半導体基板３８３と半導体基板３９０のうちの、イメージセンサ１１（２８０）が形成されない半導体基板３９０に形成され、ＤＳＰ３８９は、積層される半導体基板３８７と半導体基板３９０の後段に設けられる。

（撮像制御装置の構成例）
図２７は、上記変形例４における撮像制御装置６０のハードウェア構成の一例を示す説明図である。本開示にかかる露光制御処理、および画像処理等の情報処理は、ソフトウェアと、以下に説明する撮像制御装置６０のハードウェアとの協働により実現されてもよい。

図２７に示したように、撮像制御装置６０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０３と、入力装置６０４と、出力装置６０５と、ストレージ装置６０６とを備える。

ＣＰＵ６０１は、演算処理装置および制御装置として機能し、各種プログラムに従って撮像制御装置６０内の動作全般を制御する。また、ＣＰＵ６０１は、マイクロプロセッサであってもよい。ＲＯＭ６０２は、ＣＰＵ６０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ６０３は、ＣＰＵ６０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバスにより相互に接続されている。主に、ＣＰＵ６０１、ＲＯＭ６０２およびＲＡＭ６０３とソフトウェアとの協働により、画像処理部６３、撮像制御部６４の機能が実現される。

入力装置６０４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ６０１に出力する入力制御回路等から構成されている。撮像制御装置６０のユーザは、該入力装置６０４を操作することにより、撮像制御装置６０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置６０５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置、シースルーディスプレイ、およびランプ等の表示装置を含む。さらに、出力装置６０５は、スピーカおよびヘッドホン等の音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像等を表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。

ストレージ装置６０６は、データ格納用の装置である。ストレージ装置６０６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置６０６は、ＣＰＵ６０１が実行するプログラムや各種データを格納する。

＜＜６．むすび＞＞
以上、説明したように、本開示の実施形態によれば、暗所における動画のＳＮ比をより向上させることが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、一方の画素群の読出し間隔は、他方の画素群の読出し間隔より大きく、当該一方の画素群の露光期間は、当該他方の画素群の露光期間より大きく設定される場合を例に、構成例と処理を説明したが、本開示は係る例に限定されない。例えば、図２において、照度が照度Ｌ２４より大きい場合のように、２つの画素群の読出し間隔と露光期間がそれぞれ同一に設定される場合であっても、画像処理部は、一方を短蓄画素、他方を長蓄画素として上述した処理を行ってもよい。また、画像処理部は、入力された撮像信号が、２つの画素群の読出し間隔と露光期間がそれぞれ同一に設定されて読み出された撮像信号であることを検出して、入力される撮像信号をそのまま動画の撮像信号として出力してもよい。

また、上記実施形態では、一方の画素群の読出し間隔は垂直同期期間である例を説明したが、本技術は係る例に限定されない。例えば、両方の画素群の読出し間隔がそれぞれ照度に応じて変化するように、撮像制御部によって制御されてもよい。また、読出し間隔が垂直同期期間である画素群と、読出し間隔が照度に応じて変化する画素群と、が時刻に応じて、入れ替わってもよい。

また、上記実施形態では、画素が２つの画素群に分類される例を説明したが、本技術は係る例に限定されない。例えば、画素は３つ以上の画素群に分類され、当該３つ以上の画素群の露光パラメタが、それぞれ撮像制御部によって設定されてもよい。

また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の画素群の撮像信号の読出し間隔と第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部を備え、
前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像制御装置。
（２）
前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第１の画素群の撮像信号の読出し間隔よりも大きくなるように制御する、前記（１）に記載の撮像制御装置。
（３）
前記第１の画素群の撮像信号と、前記第２の画素群の撮像信号とを合成し、両読み出し間隔撮像信号を生成する画像生成部と、
前記第１の画素群の撮像信号を補間し、前記第１の画素群の撮像信号である短読み出し間隔撮像信号を生成する画素補間部と、
前記画像生成部により生成された前記両読み出し間隔撮像信号と、前記画素補間部により生成された前記短読み出し間隔撮像信号とを合成する合成部と
をさらに備える前記（２）に記載の撮像制御装置。
（４）
前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第１の画素群の撮像信号の読出し間隔の自然数倍であるように制御する、前記（１）〜（３）のいずれか一項に記載の撮像制御装置。
（５）
前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、前記照度に応じて連続的に変化する、前記（１）〜（３）のいずれか一項に記載の撮像制御装置。
（６）
前記撮像制御部は、前記照度が低下するほど前記第２の画素群の撮像信号の読出し間隔が大きくなるように、前記第２の画素群の撮像信号の読出し間隔を特定する、前記（１）〜（５）のいずれか一項に記載の撮像制御装置。
（７）
前記撮像制御部は、前記第２の画素群の露光期間を特定し、特定された前記第２の画素群の露光期間に基づいて、前記第２の画素群の撮像信号の読出し間隔を特定する、前記（１）〜（６）のいずれか一項に記載の撮像制御装置。
（８）
前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第２の画素群の露光期間以上であるように、前記第２の画素群の撮像信号の読出し間隔を特定する、前記（７）に記載の撮像制御装置。
（９）
前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第２の画素群の露光期間以上、かつ前記第１の画素群の撮像信号の読出し間隔の自然数倍である最も小さい読出し間隔であるように、前記第２の画素群の撮像信号の読出し間隔を特定する、前記（８）に記載の撮像制御装置。
（１０）
前記撮像制御部は、前記第１の画素群、または前記第２の画素群に含まれる画素から得られる画素値レベルに基づいて、前記第２の画素群の露光期間を特定する、前記（７）〜（９）のいずれか一項に記載の撮像制御装置。
（１１）
第１の画素群と第２の画素群を含む複数の画素、および
前記第１の画素群の撮像信号の読出し間隔と前記第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部、を備え、
前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像装置。

１ 撮像装置
１１ イメージセンサ
１２ フレームメモリ
１３ 画像処理部
１４ 撮像制御部
１６ 合成部
１１２Ａ，１１２Ｂ 画素群
１１４Ａ，１１４Ｂ 画素駆動部
１３１ 画像生成部
１３２ 画素補間部
１３３ 合成比率計算部
１３４ 合成部
１３５ 動き補償部
１３６ 動きぼけ補正部
１３７ ノイズ低減部
１４１ 画素値レベル評価部
１４２ 露光期間・アナログゲイン制御部
１４３ フレームレート制御部

Claims (11)

1. 第１の画素群の撮像信号の読出し間隔と第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部を備え、
   前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像制御装置。
2. 前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第１の画素群の撮像信号の読出し間隔よりも大きくなるように制御する、請求項１に記載の撮像制御装置。
3. 前記第１の画素群の撮像信号と、前記第２の画素群の撮像信号とを合成し、両読み出し間隔撮像信号を生成する画像生成部と、
   前記第１の画素群の撮像信号を補間し、前記第１の画素群の撮像信号である短読み出し間隔撮像信号を生成する画素補間部と、
   前記画像生成部により生成された前記両読み出し間隔撮像信号と、前記画素補間部により生成された前記短読み出し間隔撮像信号とを合成する合成部と
   をさらに備える請求項２に記載の撮像制御装置。
4. 前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第１の画素群の撮像信号の読出し間隔の自然数倍であるように制御する、請求項１に記載の撮像制御装置。
5. 前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、前記照度に応じて連続的に変化する、請求項１に記載の撮像制御装置。
6. 前記撮像制御部は、前記照度が低下するほど前記第２の画素群の撮像信号の読出し間隔が大きくなるように、前記第２の画素群の撮像信号の読出し間隔を特定する、請求項１に記載の撮像制御装置。
7. 前記撮像制御部は、前記第２の画素群の露光期間を特定し、特定された前記第２の画素群の露光期間に基づいて、前記第２の画素群の撮像信号の読出し間隔を特定する、請求項１に記載の撮像制御装置。
8. 前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第２の画素群の露光期間以上であるように、前記第２の画素群の撮像信号の読出し間隔を特定する、請求項７に記載の撮像制御装置。
9. 前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第２の画素群の露光期間以上、かつ前記第１の画素群の撮像信号の読出し間隔の自然数倍である最も小さい読出し間隔であるように、前記第２の画素群の撮像信号の読出し間隔を特定する、請求項８に記載の撮像制御装置。
10. 前記撮像制御部は、前記第１の画素群、または前記第２の画素群に含まれる画素から得られる画素値レベルに基づいて、前記第２の画素群の露光期間を特定する、請求項７に記載の撮像制御装置。
11. 第１の画素群と第２の画素群を含む複数の画素、および
    前記第１の画素群の撮像信号の読出し間隔と前記第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部、を備え、
    前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像装置。
    

Images