JP2022086311A - 撮像装置、撮像装置の制御方法、およびプログラム - Google Patents

Abstract

【課題】動きのある領域での動きボケの発生を抑制可能にし、またノイズの発生を低減可能にする。
【解決手段】撮影画像を複数の領域に分割し、領域ごとに異なる露出条件で撮像可能な撮像装置であって、撮影画像の領域ごとに露出値を取得する取得手段（１０３）と、撮影画像を基に動領域を検出する検出手段（１０４）と、領域ごとの露出値および動領域の検出結果を基に、露光時間およびゲインを決定する決定手段（１０５）と、を有し、決定手段（１０５）は、動領域の検出結果に応じて、露光時間およびゲインの少なくともいずれかの調整幅に制限を設ける。
【選択図】図１

Description

本発明は、撮像装置およびその制御技術に関する。

一般的に、デジタルカメラやデジタルビデオカメラなどの撮像装置において用いるＣＣＤやＣＭＯＳの撮像センサのダイナミックレンジは、自然界のダイナミックレンジと比較して狭い。そのため、広いダイナミックレンジ（ハイダイナミックレンジと称され、以下、「ＨＤＲ」と略記する）を有する撮像シーンを通常の方法で撮像すると、いわゆる黒潰れや白飛びなどが発生してしまう。そこで、特許文献１のように、予備撮影に基づき領域ごとに蓄積時間（露光時間）や読み出し時のゲイン（以下、ゲインと略す）などの露出条件を制御可能なセンサを用いてＨＤＲシーンを取得する技術がある。また、特許文献２では、予備撮影に基づき領域ごとに最適な露出条件を決定する際に、露出条件の境界部分において、周囲の露出条件の中から、より暗い露出条件になるように変更して撮影を行う技術が開示されている。特許文献２の技術によれば、予備撮影と本撮影との時間差によって境界部分に位置ずれが生じる場合に、その境界部分に発生する白飛びを軽減することができる。

特開２０１０－１３６２０５号公報 特開２０１１－４０８９号公報

しかしながら、ある領域に対して周囲の露出条件より暗い露出条件に変更し、その露出条件で撮像された領域に対するゲイン上げた場合、画像中のノイズが増大してしまう。このようにノイズが増大すると、時間相関性が低くなるため、例えば画像データを圧縮するような場合に圧縮率が低下することになる。そして圧縮率が低下すると、データ転送時のトラフィックが増大したり、データ蓄積に必要な記憶容量が増大したりすることになる。
また例えば、露光時間が長くなりやすい暗い領域において被写体が動いたような場合、露光時間が長いことによる動きボケが生じやすくなる。このように動きボケが生ずると、撮影された被写体像の視認性が低下することになり、例えば画像認識処理が行われるような場合には被写体の認識率が低下してしまうことになる。

そこで、本発明は、動きのある領域での動きボケの発生を抑制可能にし、またノイズの発生を低減可能にすることを目的とする。

本発明は、撮影画像を複数の領域に分割し、領域ごとに異なる露出条件で撮像可能な撮像装置であって、前記撮影画像の前記領域ごとに露出値を取得する取得手段と、前記撮影画像を基に動領域を検出する検出手段と、前記領域ごとの露出値および前記動領域の検出結果を基に、露光時間およびゲインを決定する決定手段と、を有し、前記決定手段は、前記動領域の検出結果に応じて、前記露光時間およびゲインの少なくともいずれかの調整幅に制限を設けることを特徴とする。

本発明によれば、動きのある領域での動きボケの発生を抑制可能となり、またノイズの発生を低減可能となる。

第１の実施形態の撮像装置の構成例を示す図である。 撮像装置の全体的な処理のフローチャートである。 露出値と露出条件との対応関係の一例を示す図である。 領域別露出値算出処理のフローチャートである。 動領域判定処理のフローチャートである。 動領域判定処理の説明に用いる図である。 第１の実施形態の露出条件決定処理のフローチャートである。 露出条件補正処理の説明に用いる図である。 露出条件補正処理のフローチャートである。 同一露出条件の下で露光時間を減らす補正処理の説明図である。 同一露出条件の下でゲインを減らす補正処理の説明図である。 露光時間とゲインが制限されている場合の補正処理の説明図である。 制約条件を満たす露出条件が無いときの処理のフローチャートである。 第２の実施形態の撮像装置の構成例を示す図である。 露出条件テーブルの例を示す図である。 第２の実施形態の露出条件決定処理のフローチャートである。

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、本実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。また、同一の構成または処理については同じ参照符号を付して、説明を適宜省略する。
まず、本実施形態における撮像装置の制御処理の概要について説明する。本実施形態において、撮像装置が備える撮像センサは、領域ごと（画素単位を含む）に異なる露光時間および異なるゲインを設定可能なセンサであるとする。以下、領域ごとの露光時間およびゲインを、領域別露出条件と呼ぶ。本実施形態の撮像装置は、領域別露出条件が設定された撮像センサにて撮影を行って撮影画像を取得し、その撮影画像を基に動体領域（以下、動領域とする）および輝度分布を取得する。そして本実施形態の撮像装置は、それら動領域の検出結果および輝度分布を基に、本撮影のための領域別露出条件を決定する。なお、領域ごとに露出条件を設定し、領域ごとに露光量に差のある画像を撮影してそれらを合成することで、ダイナミックレンジが拡大された画像を取得するようなことが可能となる。

＜第１の実施形態＞
図１は、前述したような領域別露出条件による撮像が可能な、第１の実施形態に係る撮像装置１０１の構成例を示したブロック図である。
撮像装置１０１において、撮像処理部１０２は、シャッター、レンズ、絞り、光学ローパスフィルタ等からなる光学系、およびカラー画像を撮像可能な撮像素子を有して構成されている。撮像処理部１０２は、領域ごとに露出時間およびゲインを変更可能、つまり領域別露出条件を設定可能となされており、領域ごとに設定された露出条件で撮像した画像を取得可能となされている。そして撮像処理部１０２は、領域別露出条件によって得られた被写体等の画像信号をデジタル変換したデジタル画像データ（以下単に、撮影画像とする）を出力する。

露出値算出部１０３は、露出値取得処理を行う。露出値算出部１０３は、撮像処理部１０２から入力された撮影画像を基に、領域ごとの露出値（以下、領域別露出値とする）を算出する。露出値算出部１０３による領域別露出値算出処理の詳細は後述する。
動領域判定部１０４は、動領域検出処理を行う。動領域判定部１０４は、過去の撮影画像を蓄積し、撮影時間の異なる複数の撮影画像から領域ごとの動きの有無を判別する。動領域判定部１０４による動領域検出処理（以下、動領域判定処理とする）の詳細は後述する。

条件決定部１０５は、領域別露出条件決定処理を行う。条件決定部１０５は、露出値算出部１０３から得られた領域別露出値と、動領域判定部１０４から得られた領域ごとの動領域の検出結果（動きの有無に関する情報）とを基に、領域ごとに露出条件を決定する。そして、条件決定部１０５は、その決定した領域別露出条件によって、撮像処理部１０２の設定を更新する。条件決定部１０５による領域別露出条件決定処理の詳細は後述する。

露光補正部１０６は、露光量補正処理を行う。露光補正部１０６は、露出値算出部１０３にて算出された領域別露出値に基づいて、撮影画像の領域ごとの露光量の差を補正する。この露光補正部１０６によって領域ごとの露光量の差が補正された撮影画像は、本撮影により得られた撮影画像（本画像）として現像処理部１０７に送られる。露光補正部１０６による領域別露光量補正処理の詳細は後述する。

現像処理部１０７は、露光補正部１０６にて領域ごとの露光量の差が補正された後の撮影画像に対して、ホワイトバランス処理、ディベイヤー処理、ノイズリダクション処理、シャープネス処理、ガンマ補正処理などの現像処理を行う。
画像出力部１０８は、現像処理部１０７による現像処理後の画像データを、ケーブルや無線通信等を介して、プリンタ、ディスプレイ、或いはメモリカード等の記憶媒体に出力する。

＜撮像装置の全体処理＞
図２は、本実施形態の撮像装置１０１における撮影条件決定から本撮影による撮影画像の出力までの全体的な処理の流れを示すフローチャートである。
ステップＳ２０１において、条件決定部１０５は、絞り値および画像全体の基準となる露出値などの撮影条件を設定し、その撮影条件を撮像処理部１０２に対して設定する。

またステップＳ２０２において、露出値算出部１０３は領域ごとの露出値（領域別露出値）を算出し、条件決定部１０５は領域別露出条件を決定する。ステップＳ２０２における、領域別露出値算出処理および領域別露出条件決定処理の詳細は後述する。

次にステップＳ２０３において、撮像処理部１０２は、ステップＳ２０１で算出された撮影条件、およびステップＳ２０２で設定された領域別露出条件に基づいて、撮像処理を行って、撮影画像を取得する。
次にステップＳ２０４において、露光補正部１０６は、ステップＳ２０３で領域ごとに異なる露出条件を用いて取得された撮影画像に対して、領域ごとの露光量補正処理を行う。ここで、露光補正部１０６における領域別露光量補正処理は、例えば以下の式（１）により表される。

Ｃ'＝ａi・Ｃ （Ｃ＝Ｒ，Ｇ，Ｂ）
ａi＝２．０＾（ＥＶi－ＥＶbase） 式（１）

式（１）において、Ｃは三原色のＲ（赤），Ｇ（緑），Ｂ（青）のいずれかの色を示しており、ａiは領域ｉにおける露光量の補正値、ＥＶiは領域ｉにおける露出値であり、ＥＶbaseは基準となる露出値を示している。ＥＶbaseとしては、例えば各領域の露出値の平均値を用いる。露出値は、図３に示すような露光時間、ゲイン、および絞り値に対応した撮影条件の明るさを示す指標であり、２のべき乗で表現される。

次にステップＳ２０５において、現像処理部１０７は、ステップＳ２０４にて領域別露光量補正処理が行われた後の画像に対して現像処理を行う。
その後、ステップＳ２０６において、画像出力部１０８は、現像処理後の画像を出力する。

＜領域別露出値算出処理＞
図４は、図２のステップＳ２０２の領域別露出条件決定の際に行われる、領域別露出値算出処理の詳細なフローチャートである。
ステップＳ４０１において、露出値算出部１０３は、過去の撮影画像を取得する。過去の撮影画像は、例えば本撮影の１フレーム前に撮影が行われた撮影画像であるとする。

次にステップＳ４０２において、露出値算出部１０３は、領域別露出値算出処理に係る処理領域の位置の初期化を行う。処理領域は、露出条件を制御可能なサイズであれば、どのような大きさでもよい。例えば、処理領域は、１画素で構成してもよいし、複数画素で構成してもよい。本実施形態では、画像を１２８画素×１２８画素単位で分割した領域が、処理領域となされる。

次にステップＳ４０３において、露出値算出部１０３は、入力された撮影画像を、各画素が輝度値からなる輝度画像に変換する。輝度画像への変換方法は、処理領域の画素値を輝度値に変換できるのであれば、どのような方法が用いられてもよい。例えば、撮影画像がＲＧＢのベイヤー構造である場合、例えば次式（２）を用いて、２×２画素で共通の輝度値Ｙに変換することができる。

Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ 式（２）

次にステップＳ４０４において、露出値算出部１０３は、ステップＳ４０３で算出した輝度画像の輝度値を基に、領域ごとの露出補正値（ＥＶ補正値とする）を算出する。ここで、露出補正値（ＥＶ補正値）とは、領域ごとに、基準となる露出値からどの程度変更すれば最適な条件になるかを表す値である。例えば、領域の最大輝度値をＹmaxとし、画像の取りうる最大輝度値をｍａｘとすると、ＥＶ補正値は、次式（３）のように示される。

ｉｆ（Ｙmax＝＝ｍａｘ）
ＥＶ補正値＝－１
ｅｌｓｅ
ＥＶ補正値＝ｌｏｇ２（ｍａｘ／Ｙmax） 式（３）

次にステップＳ４０５において、露出値算出部１０３は、ステップＳ４０４で算出した露出補正値（ＥＶ補正値）を用いて補正した後の露出値を算出する。補正後の露出値（ＥＶ）は、次式（４）のようにして算出することができる。

ＥＶ＝ＥＶbase＋ＥＶ補正値
ｉｆ（ＥＶ＜１）
ＥＶ＝１
ｅｌｓｅ ｉｆ（ＥＶ＞ＥＶmax）
ＥＶ＝ＥＶmax 式（４）

なお、式（４）のＥＶbaseは図３に示したような基準となる露出値であり、ＥＶmaxは設定した絞り値のなかで最も暗く設定可能な撮影条件の露出値である。
次にステップＳ４０６において、露出値算出部１０３は、すべての領域について処理を行ったかどうかを判定する。そして、露出値算出部１０３は、すべての領域に対して処理を行ったと判定した場合には図４に示す領域別露出値算出処理を終了し、そうでない場合にはステップＳ４０７の処理に移る。
ステップＳ４０７に移ると、露出値算出部１０３は、処理領域の位置を更新した後、ステップＳ４０３に処理を戻して、ステップＳ４０３からステップＳ４０６の処理を繰り返す。

＜動領域判定処理＞
図５は、図１の動領域判定部１０４における動領域判定処理の詳細を示すフローチャートである。なお、図５のステップＳ４０１、ステップＳ４０２、ステップＳ４０６、およびステップＳ４０７の各処理は、動領域判定部１０４にて行われること以外、図４の同参照符号の各処理と同様であるため、それらの説明は省略する。動領域判定部１０４では、動領域の判定を行うために、撮影時間の異なる２枚の撮影画像（撮影画像（ｔ）および撮影画像（ｔ＋１））を用いるとする。すなわち図５の場合、ステップＳ４０１において、撮影画像（ｔ＋１）に対する過去の画像として、撮影画像（ｔ）が取得される。そして、動領域判定部１０４は、ステップＳ４０２による処理領域位置初期化処理の後、ステップＳ５０３の処理に移る。

ステップＳ５０３において、動領域判定部１０４は、撮影画像を輝度画像に変換する。輝度画像への変換処理は、図４の領域別露出値算出処理のステップＳ４０３で行われる輝度変換処理と同様であるため、その説明は省略する。
次にステップＳ５０４において、動領域判定部１０４は、ステップＳ５０３にて変換した輝度画像を用いて動領域を判定する。

図６は、動領域判定部１０４における動領域判定処理の概要説明に用いる図である。図６に示すように、動領域判定部１０４には、撮影画像（ｔ）を輝度変換した輝度画像６０１と、撮影画像（ｔ＋１）を輝度変換した輝度画像６０２とが入力される。なお、輝度画像６０１と輝度画像６０２における各格子はそれぞれ処理領域を示しているとする。動領域判定部１０４は、それら輝度画像６０１と輝度画像６０２とを用い、領域ごとの輝度差分に基づいた動領域判定処理６０３を行って、動領域６０４を検出する。図６に例示した輝度画像６０１と輝度画像６０２の例では、人物領域６１０と人物領域６１１とに輝度差分があるため、それら輝度差分のある領域が動領域６０４として検出される。なお、動領域の判定方法は、領域ごとの動きの有無を判定可能な方法であれば、どのような手法が用いられてもよい。例えば、式（５）に示すように、領域ｉの輝度の絶対値差分を合計し、ゲイン処理を行った上で閾値処理を行うことで動きＭiを算出することができる。

Ｍi＝ｇ×（Σ｜Ｙt,i(j)－Ｙt+1,i(j)｜－Ｔｈ） 式（５）

なお式（５）のＹt,iは撮影画像（ｔ）の輝度画像内の領域ｉにおける輝度値、Ｙt+1,iは撮影画像（ｔ＋１）の輝度画像内の領域ｉにおける輝度値、ｊは画素位置、ｇはゲイン、Ｔｈは閾値である。ゲインｇおよび閾値Ｔｈは、算出された領域誤差を調整するためのパラメータである。ゲインｇを調整することで、動領域強度を制御することが可能となる。また動領域と判定するための絶対値差分の閾値Ｔｈを制御することで、どの程度の輝度差まで動領域とするかを制御することができる。

＜露出条件決定処理＞
次に、条件決定部１０５による露出条件決定処理について詳細に説明する。条件決定部１０５は、動領域判定部１０４にて取得された領域ごとの動領域検出結果（以下、動領域マップとする）と、露出値算出部１０３にて算出された領域ごとの露出値（以下、露出値マップとする）とを基に露出条件を決定する。

図７は、条件決定部１０５による露出条件決定処理の詳細なフローチャートである。
ステップＳ７０１において、条件決定部１０５は、処理領域位置を選択する。
次にステップＳ７０２において、条件決定部１０５は、露出値マップを参照して、処理領域の露出値を取得する。
次にステップＳ７０３において、条件決定部１０５は、処理領域の露出値に対応した標準の露出条件を取得する。

次にステップＳ７０４において、条件決定部１０５は、処理領域の露出値を適切な基準値（閾値）と比較し、当該処理領域が処理の対象であるかを判定、すなわち露出値が閾値以下の暗い領域であるかを判定する。条件決定部１０５は、当該判定の結果、処理対象であると判定（露出値が閾値以下と判定）した場合にはステップＳ７０５の処理に移り、一方、処理対象でないと判定（露出値が閾値以下でないと判定）した場合にはステップＳ７０８の処理に移る。ステップＳ７０８の処理に移った場合、当該処理領域について、露出条件の補正処理は行われない。

ステップＳ７０５に移ると、条件決定部１０５は、動領域マップを参照して、当該処理領域の動領域検出処理結果を取得する。
次にステップＳ７０６において、条件決定部１０５は、当該処理領域が動領域に属するかを判定し、動領域に属する場合にはステップＳ７０７に処理を移し、動領域に属しなければステップＳ７０８に処理を移す。

ステップＳ７０７に移ると、条件決定部１０５は、露出条件補正処理を行う。ここでの露出条件補正処理の詳細な内容は後述する。
一方、ステップＳ７０８に移ると、条件決定部１０５は、すべての領域を処理したかどうかを判定する。そして、条件決定部１０５は、すべての領域を処理したと判定した場合には図７のフローチャートの処理を終了し、そうでない場合にはステップＳ７０１に戻る。

＜露出条件補正処理＞
以下、図７のステップＳ７０７で行われる露出条件補正処理について説明する。
ステップＳ７０７の露出条件補正処理において、条件決定部１０５は、外部から設定された露出条件の制限に基づいて、露出条件を補正する。本実施形態では、露出条件の制限として、露光時間およびゲインの調整幅に制限が設定される。本実施形態では、露光時間に対する制限として露光時間の調整幅に上限値が設定され、ゲインに対する制限としてゲインの調整幅に上限値が設定される。このように露光時間の調整幅に上限値を設定することで、動領域における動きボケの発生を抑え、視認性を向上させることが可能となる。また、ゲインの調整幅に上限値を設定することで、ノイズの発生を抑え、画像の圧縮率を向上させることが可能となる。

ここで、露出値と露出条件の関係について説明する。
図８は、横軸が露光時間、縦軸がゲインの値を示した線図である。図８中に矢印で表される範囲８０１は、露光時間を変更可能な範囲（露光時間の可変範囲８０１とする）であり、露光時間の調整幅に相当する。同様に矢印で表される範囲８０２は、ゲインを変更可能な範囲（ゲインの可変範囲８０２とする）であり、ゲインの調整幅に相当する。また領域８０４は、露光時間およびゲインを変更可能な領域を表している。線８０３は、同一の露出値に対応する露光時間とゲインの値との関係を示した線である。つまり、露光時間とゲインの値とが交わる交点の位置が線図上（線８０３上）にあるのであれば、露光時間とゲインの値との組み合わせ（露出条件）がどのような組み合わせであっても、露出値は常に同一の値となる。一方、線８０６は、露出値に対応する露光時間とゲインの値との組み合わせ（露出条件）を規定する線である。すなわち、露光時間およびゲインを変更可能な領域８０４において、線８０６と線８０３との交点における露出条件８０５が、当該露出値における露出条件を表す。図８の例の場合、露出条件８０５に対応する露光時間は値８０７になり、ゲインは値８０８になる。

図９は、図７のステップＳ７０７における露出条件補正処理の詳細なフローチャートである。
ステップＳ９０１において、条件決定部１０５は、露光時間の調整幅に対する上限値（以下、露光時間上限値とする）の設定が存在するかを調べる。条件決定部１０５は、露光時間上限値の設定があればステップＳ９０２の処理に移り、露光時間上限値の設定が無ければステップＳ９０４の処理に移る。

ステップＳ９０２に移ると、条件決定部１０５は、図８に示した線図を参照して、処理領域の露出値から取得した露光時間の値と露光時間上限値とを比較する。そして、条件決定部１０５は、露光時間の値が露光時間上限値を超えていればステップＳ９０３に処理を移し、一方、露光時間上限値以下であればステップＳ９０４に処理を移す。

ステップＳ９０３に移ると、条件決定部１０５は、露光時間補正処理を行い、露出値を変えずに露光時間を上限値以下に変更する。つまり条件決定部１０５は、同一露出条件下で露光時間を減らすような露光時間補正処理を行う。言い換えると、条件決定部１０５は、露光時間とゲインの値とが交わる交点の位置が線図上（線８０３上）から外れないようにして露光時間を減らすような露光時間補正処理を行う。ここでの処理の詳細は後述する。

次にステップＳ９０４に移ると、条件決定部１０５は、ゲインの調整幅に対する上限値（以下、ゲイン上限値とする）の設定が存在するかを調べる。条件決定部１０５は、ゲイン上限値の設定があればステップＳ９０５に処理を移し、ゲイン上限値の設定が無ければ図９のフローチャートの処理を終了する。

ステップＳ９０５に移ると、条件決定部１０５は、図８に示した線図を参照して、処理領域の露出値から取得したゲインの値とゲイン上限値とを比較する。そして、条件決定部１０５は、ゲインの値がゲイン上限値を超えていればステップＳ９０６に処理を移し、ゲイン上限値以下であれば図９のフローチャートの処理を終了する。

ステップＳ９０６に移ると、条件決定部１０５は、ゲイン補正処理を行い、露出値を変えずにゲインを上限値以下に変更する。つまり条件決定部１０５は、同一露出条件下でゲインを減らすようなゲイン補正処理を行う。言い換えると、条件決定部１０５は、露光時間とゲインの値とが交わる交点の位置が線図上（線８０３上）から外れないようにしてゲインの値を減らすようなゲイン補正処理を行う。ここでの処理の詳細は後述する。

＜露光時間補正処理＞
図９のステップＳ９０３における露光時間補正処理について、図１０に示す線図を用いて説明する。図１０の横軸は露光時間、縦軸はゲインを示しており、図１０には、図８と同様の、露光時間の可変範囲８０１、ゲインの可変範囲８０２、線８０３、線８０６、領域８０４、および露出条件８０５が示されている。また図１０には、露光時間上限値１００７も示されている。条件決定部１０５は、図１０の線図を参照して、同一露出値の線８０３と、露出条件を規定する線８０６との交点である露出条件８０５に対応する露光時間を取得し、それを露光時間上限値１００７と比較する。図１０の例の場合、露出条件８０５に対応する露光時間が露光時間上限値１００７を超えているため、条件決定部１０５は、露出条件を、同一露出値の線８０３と露光時間上限値１００７の線との交点である補正点１００８に補正する。補正点１００８における露光時間およびゲインの値が、当該露出値における露出条件である。

＜ゲイン補正処理＞
図９のステップＳ９０６におけるゲイン補正処理について、図１１に示す線図を用いて説明する。図１１の横軸は露光時間、縦軸はゲインを示しており、図１１には、図８と同様の、露光時間の可変範囲８０１、ゲインの可変範囲８０２、線８０３、線８０６、領域８０４、および露出条件８０５が示されている。また図１１には、ゲイン上限値１１０７も示されている。条件決定部１０５は、図１１の線図を参照して、同一露出値の線８０３と、露出条件を規定する線８０６との交点である露出条件８０５に対応するゲインの値を取得し、それをゲイン上限値１１０７と比較する。図１１の例の場合、露出条件８０５に対応するゲインの値がゲイン上限値１１０７を超えているため、条件決定部１０５は、露出条件を、同一露出値の線８０３とゲイン上限値１１０７の線との交点である補正点１１０８に補正する。

図１０は露光時間上限値が設定されている場合を示し、図１１はゲイン上限値が設定されている場合を示しているが、露光時間上限値とゲイン上限値の双方が設定されている場合について図１２の線図を用いて説明する。図１２では、露光時間上限値とゲイン上限値の双方が設定されている場合において、同一の露出値のままで露出条件を変更することが出来ない場合の処理について説明する。なお図１２の横軸は露光時間、縦軸はゲインを示し、図１２には、図８と同様の、露光時間の可変範囲８０１、ゲインの可変範囲８０２、線８０３、線８０６、領域８０４、および露出条件８０５が示されている。また図１２には、露光時間上限値１００７とゲイン上限値１１０７も示されている。

条件決定部１０５は、図１２の線図を参照して、図１０で説明したように、同一露出値の線８０３と露出条件を規定する線８０６との交点である露出条件８０５に対応する露光時間を取得し、それを露光時間上限値１００７と比較する。図１２の例では、露出条件８０５に対応する露光時間が露光時間上限値１００７を超えているため、条件決定部１０５は、露出条件を、同一露出値の線８０３と露光時間上限値１００７の線との交点である補正露出条件候補１２０９に補正する。

次に、条件決定部１０５は、補正露出条件候補１２０９とゲイン上限値１１０７とを比較する。図１２の例では、補正露出条件候補１２０９がゲイン上限値１１０７を超えているために補正が必要であるが、露光時間上限値１００７とゲイン上限値１１０７をいずれも超えない範囲の露出条件は、同一露出値の線８０３上には存在しない。この場合、露出値を下げることで露光時間とゲインの制約条件を満たすことが可能である（露出値算出部１０３で算出した領域ごとの露出値を更新する）。本実施形態では、同一露出値の線８０３に対して、一段分低い露出値を表す線１２１０とゲイン上限値１１０７との交点である露出条件１２１１を、最終的な補正後の露出条件として用いる。

図１３は、図９のステップＳ９０３およびステップＳ９０６において、図１２の例で説明したような、露光時間およびゲインの制約条件を満たす露出条件が存在しない場合の処理の詳細なフローチャートである。
ステップＳ１３０１において、条件決定部１０５は、処理領域における露出値において、制約条件を満たす露出条件が存在するかどうかを判定する。すなわち条件決定部１０５は、図１２における補正露出条件候補１２０９が、露光時間上限値１００７およびゲイン上限値１１０７の制約を満たすかどうかを判定する。そして、条件決定部１０５は、制約を満たす場合にはステップＳ１３０２に処理を移し、ステップＳ１３０２において補正露出条件候補１２０９の通り露出条件を変更して処理を終了する。一方、制約を満たさない場合、条件決定部１０５は、ステップＳ１３０３に処理を移し、ステップＳ１３０３において露出値を１段分下げる、すなわち同一露出値として用いる線図を、線８０３から線１２１０に変更した後、ステップＳ１３０１の判定処理に戻る。

なお、露光時間上限値およびゲイン上限値を超えない露出条件が存在しない場合の補正処理に関して、以上述べたような露出値を低くする処理に本発明は限定されるものではない。例えば、露光時間上限値およびゲイン上限値を超えない露出条件が存在しない場合は、いずれか一方の補正処理を行わないことにしてもよい。また、撮像処理部１０２の絞り値を変動させることで、いずれか一方、または両方の補正処理を行わない（同一の露出条件にする）処理でもよい。

以上説明したとおり、本実施形態によれば、露光時間に上限値を設定することで、動領域での動きボケを抑制し撮影画像の視認性を向上させることが可能となる。また本実施形態によれば、ゲインの値に上限値を設定することで、ノイズの影響を抑え、撮影画像の圧縮率を向上させることが可能となる。また本実施形態によれば、露光時間およびゲインの上限値を調整することで、用途に合わせた視認性向上、圧縮率向上を実現可能となる。
例えば、領域毎に露光量に差のある画像を撮影し、これを合成することで撮影画像のダイナミックレンジを拡大するような場合、本実施形態では、動きのある領域を判定し、用途に応じて動きのある領域ごとの露出条件を変更する。これにより本実施形態によれば、視認性優先や圧縮率優先といった目的にあわせて、暗部で動きのある被写体における動きボケの発生を抑制し、また撮影画像中のノイズを軽減することが可能となる。

＜第２の実施形態＞
第１の実施形態では、線図を基に露出条件を補正する方法について説明した。第２の実施形態では、線図を使わずに、露出値から露出条件を導出するテーブルを、用途に合わせて切り替えて露出条件を補正する方法について説明する。

図１４は、第２の実施形態における撮像装置の構成例を示した図である。
第２の実施形態の撮像装置１０１において、撮像処理部１０２、露出値算出部１０３、動領域判定部１０４、露光補正部１０６、現像処理部１０７、画像出力部１０８の処理は第１の実施形態（図１）と同じであるため、それらの説明は省略する。第２の実施形態の撮像装置１０１における全体的な処理の流れは第１の実施形態の図２と同じであるためその説明は省略する。また、領域別露出値算出処理、動領域判定処理についても第１の実施形態と同一であるため、それらの説明は省略する。

第２の実施形態の条件決定部１０５は、露出値算出部１０３から得られた領域ごとの露出値と動領域判定部１０４から得られた領域ごとの動きの有無に関する情報とを基に、領域別露出条件の規定されたテーブルを選択して撮像処理部１０２の設定を更新する。本実施形態では、領域別露出条件が規定されたテーブルとして、露出条件テーブル１４０１、露出条件テーブル１４０２、露出条件テーブル１４０３が用意されているとする。露出条件テーブル１４０１には露出値と露出条件の関係を示す露出条件Ａが、同様に、露出条件テーブル１４０２には露出条件Ｂが、露出条件テーブル１４０３には露出条件Ｃがそれぞれ規定されているとする。条件決定部１０５は、露出条件テーブル１４０１～１４０３のいずれかを選択することで、露出条件Ａ～Ｃのいずれかを選択する。

以下、第２の実施形態における領域別露出値算出処理について説明する。
図１５は、露出値に対応する露光時間およびゲインの組み合わせを記載した露出条件テーブルの例を示した図である。図１５では、露出条件Ａ（露出条件テーブル１４０１）、露出条件Ｂ（露出条件テーブル１４０２）、露出条件Ｃ（露出条件テーブル１４０３）の３種類の露出条件設定が記載されている。本実施形態において、露出条件Ａは、動領域（動体の存在する領域）用の視認性優先の設定であり、露出値が小さい（暗い）ときの露光時間を短くした露出条件である。露出条件Ｂは、動領域用の圧縮率優先の設定であり、露出値が小さい（暗い）ときの露光時間を、ゲインの値を一例として最大１６に制限したうえで短くした露出条件である。露出条件Ｃは、静止領域用の設定である。本実施形態では、ユーザが、予め動領域の露出条件として、第１の露出条件モードである視認性優先モードと、第２の露出条件モードである圧縮率優先モードとの、どちらかを選択しておくとする。例えば、視認性優先モードが選択された場合、動領域において露出条件Ａ（露出条件テーブル１４０１）が選択される。一方、圧縮率優先モードが選択された場合、動領域において露出条件Ｂ（露出条件テーブル１４０２）が選択される。

図１６は、第２の実施形態における条件決定部１０５の処理の流れを示すフローチャートである。なお、ステップＳ７０１からステップＳ７０４、およびステップＳ７０８の各処理は、第１の実施形態の図７の同参照符号の各処理と同様であるため、それらの説明は省略する。
第２の実施形態において、条件決定部１０５は、ステップＳ７０４における判定の結果、露出値が閾値以下であればステップＳ７０５に処理を移し、露出値が閾値以下でなければステップＳ１６１１に処理を移す。ステップＳ７０５およびステップＳ７０６の各処理は第１の実施形態の図７の同参照符号の各処理と同様であるため、その説明は省略する。

第２の実施形態の場合、条件決定部１０５は、ステップＳ７０６での判定の結果、動領域に属する場合にはステップＳ１６０７の処理に移り、動領域に属しない場合にはステップＳ１６１１の処理に移る。
ステップＳ１６０７に移ると、条件決定部１０５は、予め設定されている動領域の露出条件モードを調べる。そして、条件決定部１０５は、露出条件モードが視認性優先モードであればステップＳ１６０９に処理を移し、露出条件モードが圧縮率優先モードであればステップＳ１６１０に処理を移す。

ステップＳ１６０９に移ると、条件決定部１０５は、露出条件Ａ（露出条件テーブル１４０１）を選択し、当該領域の露出値に対応する露出条件をテーブル参照により求めた後、ステップＳ７０８へ処理を移す。
またステップＳ１６１０に移ると、条件決定部１０５は、露出条件Ｂ（露出条件テーブル１４０２）を選択し、当該領域の露出値に対応する露出条件をテーブル参照により求めた後、ステップＳ７０８へ処理を移す。
またステップＳ１６１１に移ると、条件決定部１０５は、露出条件Ｃ（露出条件テーブル１４０３）を選択し、当該領域の露出値に対応する露出条件をテーブル参照により求めた後、ステップＳ７０８へ処理を移す。

以上説明したとおり、第２の実施形態によれば、視認性優先モードで露光時間を短くした露出条件を動領域に適用することで、動領域での動きボケを抑制し撮影画像の視認性を向上させることができる。また第２の実施形態によれば、圧縮率優先モードで、ゲインの値を上げすぎず、露光時間を短くした露出条件を動領域に適用することで、ノイズの影響を抑え、撮影画像の圧縮率を向上することが可能となる。

＜その他の実施形態＞
前述の実施形態では、処理領域の単位で動領域の判定を行い、露出条件決定処理を行ったが、これには限定されない。例えば、外部からの設定や画像認識処理の結果等に基づき、画面中央部などの重要領域のみに当該処理を適用してもよい。また、外部からの設定や画像認識処理の結果等に基づき、領域ごとに露光時間やゲインの調整幅の上限値、露出条件テーブルを変えて、当該処理を適用してもよい。
また前述の実施形態では、撮影時間の異なる２枚の撮影画像から、領域ごとの輝度差を評価することで動領域判定処理を行うとしたが、これには限定されない。例えば３枚以上の撮影画像を用いて動領域判定処理を行ってもよいし、撮影画像間で画素のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を取ることで動きの探索を行ってもよい。また、撮影画像のオプティカルフローを取得して動領域判定も利用してもよい。
また、第１の実施形態では露出条件補正処理での制限として露光時間およびゲインの調整幅の上限値を設定するとしたが、これには限定されない。目的に応じて、露光時間およびゲイン値のどちらか一方のみに制限を設けてもよいし、下限値を制限に加えてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：撮像装置、１０２：撮像処理部、１０３：露出値算出部、１０４：動領域判定部、１０５：条件決定部、１０６：露光補正部、１０７：現像処理部、１０８：画像出力部

Claims (12)

1. 撮影画像を複数の領域に分割し、領域ごとに異なる露出条件で撮像可能な撮像装置であって、
   前記撮影画像の前記領域ごとに露出値を取得する取得手段と、
   前記撮影画像を基に動領域を検出する検出手段と、
   前記領域ごとの露出値および前記動領域の検出結果を基に、露光時間およびゲインを決定する決定手段と、を有し、
   前記決定手段は、前記動領域の検出結果に応じて、前記露光時間およびゲインの少なくともいずれかの調整幅に制限を設けることを特徴とする撮像装置。
2. 前記制限は、前記露光時間の調整幅の上限値であることを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、前記取得手段が取得した露出値に応じた露光時間が、前記露光時間の前記上限値を超える場合には、当該露光時間を前記上限値以下に補正することを特徴とする請求項２に記載の撮像装置。
4. 前記制限は、前記ゲインの調整幅の上限値であることを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
5. 前記決定手段は、前記取得手段が取得した露出値に応じたゲインが、前記ゲインの前記上限値を超える場合には、当該ゲインを前記上限値以下に補正することを特徴とする請求項４に記載の撮像装置。
6. 前記決定手段は、同一の露出値に対応する露光時間とゲインとの組み合わせの関係を表す線図から外れないようにして、前記補正を行うことを特徴とする請求項３または請求項５に記載の撮像装置。
7. 前記決定手段は、前記上限値以下に補正すると、同一の露出値に対応する露光時間とゲインとの組み合わせの関係を表す線図から外れる場合、前記同一の露出値に対して一段分低い同一の露出値に対応する露光時間とゲインとの組み合わせの関係を表す線図上で、前記補正を行うことを特徴とする請求項６に記載の撮像装置。
8. 前記決定手段は、
   第１の露出条件モードと第２の露出条件モードとを具備し、
   前記制限として、第１の露出条件モードと第２の露出条件モードとで、露光時間およびゲインの少なくともいずれかの調整幅を異ならせることを特徴とする請求項１に記載の撮像装置。
9. 前記決定手段は、前記第１の露出条件モードと第２の露出条件モードとにそれぞれ対応した、露出値に対応した露光時間およびゲインの組み合わせを規定する露出条件テーブルを具備し、
   前記動領域の検出結果に応じて、前記露出条件テーブルを切り替えることを特徴とする請求項８に記載の撮像装置。
10. 前記検出手段は、領域ごとの輝度の情報を基に、領域ごとに動きの有無を検出することを特徴とする請求項１から請求項９のいずれか１項に記載の撮像装置。
11. 撮影画像を複数の領域に分割し、領域ごとに異なる露出条件で撮像可能な撮像装置の制御方法であって、
    前記領域ごとに露出値を取得する露出値取得工程と、
    前記撮影画像を基に動領域を検出する検出工程と、
    前記領域ごとの露出値および前記動領域の検出結果を基に、露光時間およびゲインを決定する決定工程と、を有し、
    前記決定工程では、前記動領域の検出結果に応じて、前記露光時間およびゲインの少なくともいずれかの調整幅に制限を設けることを特徴とする撮像装置の制御方法。
12. 撮像装置が備えるコンピュータを、請求項１から請求項１０のいずれか１項に記載の撮像装置が有する各手段として機能させるためのプログラム。

Images