JP2014050042A - 画像処理装置及び固体撮像装置 - Google Patents

Abstract

【課題】ハイダイナミックレンジ合成による合成画像について、簡易な構成によって露出動作を制御可能とする画像処理装置及び固体撮像装置を提供すること。
【解決手段】実施形態によれば、画像処理装置は、主制御用ＥＶ（露出値）算出部３１及び副制御用ＥＶ算出部３２を有する。主制御用ＥＶ算出部３１は、第１画像信号である長時間露光画像信号Ｓ１及び第２画像信号である短時間露光画像信号Ｓ２のうち主制御用信号として指定された一方を基に、主制御用ＥＶ４１を算出する。副制御用信号は、長時間露光画像信号Ｓ１及び短時間露光画像信号Ｓ２のうち主制御用信号以外の一方である。副制御用信号は、主制御用信号に明るさ調整を追従させる信号である。副制御用ＥＶ算出部３２は、主制御用ＥＶ算出部３１で算出された主制御用ＥＶ４１にハイダイナミックレンジ倍率Ｍを乗算し、副制御用ＥＶ４２とする。
【選択図】図７

Description

本発明の実施形態は、画像処理装置及び固体撮像装置に関する。

ハイダイナミックレンジ（high dynamic range；ＨＤＲ）合成は、通常の撮影に比べて幅広いダイナミックレンジを表現するための撮影技法として知られている。ＨＤＲ合成の手法としては、例えば、互いに電荷蓄積時間を異ならせた長時間露光画像信号と短時間露光画像信号とを取得し、合成画像を生成するものがある。固体撮像装置は、ＨＤＲ合成画像の撮影とともに自動露出（auto exposure；ＡＥ）動作を制御する場合に、長時間露光画像信号及び短時間露光画像信号に対する複雑な演算処理を要することで、回路規模の増大や処理時間の増大が問題となる。

特開２００８−２２８０５８号公報

本発明の一つの実施形態は、ハイダイナミックレンジ合成による合成画像について、簡易な構成によって露出動作を制御可能とする画像処理装置及び固体撮像装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、ハイダイナミックレンジ合成部、露出値算出部及び制御量変換部を有する。ハイダイナミックレンジ合成部は、第１画像信号と第２画像信号とを合成し、合成画像を生成する。第１画像信号は、第１電荷蓄積期間における第１画素への入射光量に応じた画像信号である。第２画像信号は、第２電荷蓄積期間における第２画素への入射光量に応じた画像信号である。第２電荷蓄積期間は、第１電荷蓄積期間より短い。露出値算出部は、明るさ調整量が反映された露出値を算出する。明るさ調整量は、撮影時の照度に応じて合成画像の明るさを調整するための調整量である。制御量変換部は、露出値を、電子シャッタ時間、アナログゲイン及びデジタルゲインについての各制御量へ変換する。露出値算出部は、主制御用露出値算出部及び副制御用露出値算出部を含む。主制御用露出値算出部は、第１画像信号及び第２画像信号のうち主制御用信号として指定された一方を基に、主制御用露出値を算出する。主制御用露出値は、主制御用信号についての露出値である。副制御用露出値算出部は、副制御用露出値を算出する。副制御用露出値は、副制御用信号についての露出値である。副制御用信号は、第１画像信号及び第２画像信号のうち主制御用信号以外の一方である。副制御用信号は、主制御用信号に明るさ調整を追従させる信号である。副制御用露出値算出部は、主制御用露出値算出部で算出された主制御用露出値にハイダイナミックレンジ倍率を乗算し、副制御用露出値とする。ハイダイナミックレンジ倍率は、第１電荷蓄積期間及び第２電荷蓄積期間の比として予め設定されている。制御量変換部は、主制御用露出値算出部で算出された主制御用露出値から各制御量への変換と、副制御用露出値算出部で算出された副制御用露出値から各制御量への変換とを、時分割的に実施する。

第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図。 図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図。 画素アレイにおける画素の配列について説明する図。 長時間露光画素及び短時間露光画素の出力特性と、ＨＤＲ合成回路による画像信号の合成について説明する図。 ＡＥ制御回路によるＡＥ動作の制御について説明する図。 ＡＥ制御回路によるＥＳ、ＡＧ及びＤＧの各制御量の算出について説明する図。 ＡＥ制御回路の構成を示すブロック図。 フリッカの発生について説明する図。 図７に示すＡＥ制御回路のうち、通常撮影モードにおけるＡＥ動作の制御に使用される要素を示したブロック図。 第２の実施形態にかかる画像処理装置に含まれるＡＥ制御回路の構成を示すブロック図。 第３の実施形態にかかる画像処理装置に含まれるＡＥ制御回路の構成を示すブロック図。 ＡＥ制御回路によるＥＳ、ＡＧ及びＤＧの各制御量の算出について説明する図。

以下に添付図面を参照して、実施形態にかかる画像処理装置及び固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図である。

デジタルカメラ１は、カメラモジュール２及び後段処理部３を有する。カメラモジュール２は、撮像光学系４及び固体撮像装置５を有する。後段処理部３は、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）６、記憶部７及び表示部８を有する。カメラモジュール２は、デジタルカメラ１以外に、例えばカメラ付き携帯端末等の電子機器に適用される。

撮像光学系４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置５は、被写体像を撮像する。ＩＳＰ６は、固体撮像装置５での撮像により得られた画像信号の信号処理を実施する。記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。

固体撮像装置５は、例えば、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサである。固体撮像装置５は、ＣＭＯＳイメージセンサの他、ＣＣＤ（charge coupled device）であっても良い。固体撮像装置５は、画素アレイ１０、前処理部１１、撮像処理回路１２、インタフェース（Ｉ／Ｆ）１４、タイミング生成器１５及び自動露出（auto exposure；ＡＥ）制御回路１６を有する。

画素アレイ１０は、撮像光学系４により取り込まれた光をフォトダイオードにおいて信号電荷に変換し、被写体像を撮像する。画素アレイ１０は、Ｒ（赤），Ｇ（緑）及びＢ（青）の各信号値を例えばベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。

前処理部１１は、画素アレイ１０からの画像信号について、相関二重サンプリング、アナログゲイン（ＡＧ）及びデジタルゲイン（ＤＧ）による増幅、アナログデジタル変換（ＡＤ変換）を実施する。

撮像処理回路１２は、前処理部１１から入力されたデジタル画像信号に対し、種々の信号処理を実施する。撮像処理回路１２は、ハイダイナミックレンジ（ＨＤＲ）合成部１３を有する。ＨＤＲ合成部１３は、撮像処理回路１２へ入力されたデジタル画像信号のＨＤＲ合成を実施し、合成画像を生成する。撮像処理回路１２は、ＨＤＲ合成部１３によるＨＤＲ合成の他、例えば、キズ補正、ノイズリダクション、シェーディング補正、ホワイトバランス調整等の信号処理を実施する。

Ｉ／Ｆ１４は、撮像処理回路１２での信号処理を経た画像信号を出力する。Ｉ／Ｆ１４は、画像信号に対し、外部機器への伝送のための処理、例えば、シリアルデータからパラレル出力あるいはパラレル入力からシリアルデータへの変換等の処理を適宜行う。

ＡＥ制御回路１６は、撮影時の明るさに応じてデジタルカメラ１のＡＥ動作を制御する。ＡＥ制御回路１６は、前処理部１１に対しＡＧ及びＤＧのデータを伝送する。ＡＥ制御回路１６は、タイミング生成器１５に対し電子シャッタ時間（ＥＳ）のデータを伝送する。撮像処理回路１２及びＡＥ制御回路１６は、画像処理装置として機能する。タイミング生成器１５は、画素アレイ１０の駆動のためのパルスを出力する。

図３は、画素アレイにおける画素の配列について説明する図である。画素アレイ１０は、Ｇｒ，Ｒ，Ｇｂ及びＢの４画素がベイヤー配列として配置されている。Ｒ画素は、赤色光を検出する。Ｂ画素は、青色光を検出する。Ｇｒ画素及びＧｂ画素は、緑色光を検出する。Ｇｒ画素は、水平ラインにてＲ画素と並列している。Ｇｂ画素は、水平ラインにてＢ画素と並列している。

画素アレイ１０は、Ｇｒ／ＲラインとＢ／Ｇｂラインとの２本の水平ラインからなるラインエリアごとに、電荷蓄積期間を交互に異ならせている。長時間露光ラインエリア（第１ラインエリア）１７の電荷蓄積期間である第１電荷蓄積期間は、短時間露光ラインエリア（第２ラインエリア）１８の電荷蓄積期間である第２電荷蓄積期間より長い。

長時間露光ラインエリア１７は、第１画素である長時間露光画素からなる２本の水平ラインにより構成されている。短時間露光ラインエリア１８は、第２画素である短時間露光画素からなる２本の水平ラインにより構成されている。長時間露光ラインエリア１７及び短時間露光ラインエリア１８は、垂直方向において交互に配置されている。

長時間露光画素は、第１電荷蓄積期間における入射光量を検出する。短時間露光画素は、第２電荷蓄積期間における入射光量を検出する。画素アレイ１０は、第１電荷蓄積期間における長時間露光画素への入射光量に応じた長時間露光画像信号（第１画像信号）と、第２電荷蓄積期間における短時間露光画素への入射光量に応じた短時間露光画像信号（第２画像信号）とを出力する。ＨＤＲ合成部１３は、撮像処理回路１２へ入力された長時間露光画像信号及び短時間露光画像信号を合成する。

図４は、長時間露光画素及び短時間露光画素の出力特性と、ＨＤＲ合成回路による画像信号の合成について説明する図である。長時間露光画素は、入射光量が所定の飽和光量Ｉ０より大きくなると、光電変換により発生する信号電荷がフォトダイオードの蓄積容量に達する。

入射光量が飽和光量Ｉ０以下である場合、長時間露光画像信号Ｓ１の信号レベルは、入射光量の増加に比例して高くなる。入射光量が飽和光量Ｉ０より大きいとき、長時間露光画像信号Ｓ１の信号レベルは一定となる。短時間露光画像信号Ｓ２の信号レベルは、入射光量が飽和光量Ｉ０より大きい場合も、入射光量の増加に比例して高くなる。

ＨＤＲ合成部１３は、長時間露光画素と短時間露光画素とで出力レベルを一致させるために、短時間露光画像信号Ｓ２に所定のＨＤＲ倍率を乗算する。ＨＤＲ倍率は、長時間露光画素の第１電荷蓄積期間と短時間露光画素の第２電荷蓄積期間との比である露光比に対応する。ＨＤＲ合成部１３は、長時間露光画像信号Ｓ１と、ＨＤＲ倍率の乗算を経た短時間露光画像信号Ｓ２とを使用する補間処理を経て、合成画像信号Ｓを生成する。

図５は、ＡＥ制御回路によるＡＥ動作の制御について説明する図である。図示するグラフの縦軸は入射光に対する信号レベルの調整量を表すものとする。ＡＥ制御回路１６は、ＥＳに応じて蓄積される電荷量と、ＡＧ及びＤＧに応じた信号レベルの増幅率との調節により、信号レベルの調整量を可変とする。

図示するグラフの横軸は照度を表すものとする。照度は、横軸方向を左から右へ向かうに従って低くなるものとする。ＡＥ制御回路１６は、撮影時における照度が低いほど信号レベルを稼ぐために、信号レベルの調整量を大きくする。図中、トーンを付した部分はＥＳに応じた信号レベルの調整量、斜線を付した部分はＤＧによる信号レベルの調整量、網掛けを付した部分はＡＧによる信号レベルの調整量を表すものとする。

カメラモジュール２は、室内での撮影において、照明光を供給する蛍光灯の電源周波数に起因して画像の明暗が変化する、いわゆるフリッカを生じさせることがある。カメラモジュール２は、フリッカの周期の倍の周期を単位としてＥＳを調節することで、フリッカを抑制可能とする。例えば、蛍光灯の電源周波数が６０Ｈｚである場合、カメラモジュール２は、１／１２０秒刻みでＥＳを調節することでフリッカを抑制可能とする。

例えば、合成画像のフレームレートを６０ｆｐｓ（frame per second）とする場合、カメラモジュール２は、６０Ｈｚのフリッカを抑制させるには、ＥＳを２／１２０秒と１／１２０秒とのいずれかとする。カメラモジュール２は、照度が高い場合に、フリッカの抑制よりも入射光量に対する出力電荷の飽和の抑制を優先させるために、１／１２０秒以下の範囲においてＥＳを調整する。

この例において、ＡＥ制御回路１６は、カメラモジュール２による撮影感度を持たせる照度範囲を３段階に分けて、ＥＳ、ＡＧ及びＤＧに応じたＡＥ動作の制御（明るさ調整）を切り換える。ＡＥ制御回路１６は、低い照度範囲ｂ３ではＥＳを２／１２０秒で一定とし、ＡＧのみの調整を実施する。ＡＥ制御回路１６は、照度範囲ｂ３に対し高照度側の照度範囲ｂ２ではＥＳを１／１２０秒で一定とし、ＤＧのみの調整を実施する。

ＡＥ制御回路１６は、照度範囲ｂ２に対し高照度側の照度範囲ｂ１では、照度が高くなるに従いＥＳを段階的に短くする調整を行う。ＡＥ制御回路１６は、ＥＳの量子化単位未満に相当する照度の変化量を、ＤＧによって調整する。なお、ＥＳの量子化単位が照度の分解能以下である場合、ＡＥ制御回路１６は、ＤＧによる調整を行わないこととしても良い。

なお、ＡＥ制御回路１６によるＡＥ動作の制御の態様は、適宜変更可能であるものとする。例えば、ＡＥ制御回路１６は、照度に応じてＥＳを決定してから、ＡＧ及びＤＧのいずれを調整対象としても良く、ＡＧ及びＤＧの双方を調整対象としても良い。

ＡＥ制御回路１６は、合成画像のフレームレートやフリッカの周期に応じてＥＳの設定を適宜変更しても良い。フリッカの周波数６０Ｈｚに対して合成画像のフレームレートを３０ｆｐｓとする場合、ＡＥ制御回路１６は、ＥＳを最大で４／１２０秒とする調整をし得る。フリッカの周波数が５０Ｈｚである場合、ＡＥ制御回路１６は、１／１００秒刻みでＥＳを調節する。

図６は、ＡＥ制御回路によるＥＳ、ＡＧ及びＤＧの各制御量の算出について説明する図である。ＡＥ制御回路１６は、長時間露光画像信号及び短時間露光画像信号のうち主制御用信号として指定された一方を対象としてＡＥ動作の制御を実施する。ＡＥ制御回路１６は、副制御信号についてのＡＥ動作を、主制御用信号についてのＡＥ動作に追従させる。副制御信号は、長時間露光画像信号及び短時間露光画像信号のうち主制御用信号以外の一方とする。

例えば、長時間露光画像信号が主制御用信号と指定されたとする。ＡＥ制御回路１６は、長時間露光画像信号を基に、長時間露光画素についての適正露出Ｌ１を求め、適正露出Ｌ１に応じた制御量を求める。例えば、適性露出Ｌ１が照度範囲ｂ３内であるとき、ＡＥ制御回路１６は、ＥＳについて制御量ＥＳ１（例えば２／１２０秒）、及びＡＧについて制御量ＡＧ１（例えば６倍）を求める。

ＡＥ制御回路１６は、適正露出Ｌ１にＨＤＲ倍率Ｍを乗算することで、短時間露光画素についての適正露出Ｌ２を求める。例えば、ＨＤＲ倍率Ｍが４倍と設定されている場合、ＡＥ制御回路１６は、適正露出Ｌ１に４を乗算し、適正露出Ｌ２とする。

ＡＥ制御回路１６は、適正露出Ｌ２に応じた制御量を求める。例えば、適性露出Ｌ２が照度範囲ｂ３内であるとき、ＡＥ制御回路１６は、ＥＳについて制御量ＥＳ２（例えば２／１２０秒）、及びＡＧについて制御量ＡＧ２（例えば１．５倍）を求める。

図６において、横軸方向におけるＬ１及びＬ２の間隔は、ＨＤＲ倍率Ｍに応じた照度の差に相当する。主制御用信号のＡＥ動作に副制御用信号のＡＥ動作を追従させるＡＥ制御とは、図６では、横軸方向におけるＬ１及びＬ２の間隔を一定としたまま、横軸方向においてＬ１及びＬ２を移動させて、縦軸の調整量を参照する動作と表現できる。

図７は、ＡＥ制御回路の構成を示すブロック図である。ＡＥ制御回路１６は、主制御用信号切り換え部２０、輝度信号生成部２１、輝度平均値算出部２２、輝度目標値比較部２３、ＥＶ算出部２４、制御量変換部２５、フリッカ検出用積算部２６及びフリッカ周期推定部２７を有する。

ＡＥ制御回路１６には、撮像処理回路１２（図１参照）からの長時間露光画像信号Ｓ１及び短時間露光画像信号Ｓ２が入力される。主制御用信号切り換え部２０は、ＡＥ制御回路１６へ入力された長時間露光画像信号Ｓ１及び短時間露光画像信号Ｓ２のうちの一方を、主制御用信号として出力する。主制御用信号切り換え部２０は、主制御用信号の切り換えを指示する切り換え指示信号３３に応じて、主制御用信号としての出力を長時間露光画像信号Ｓ１と短時間露光画像信号Ｓ２とに切り換える。

切り換え指示信号３３は、例えば、ユーザによる設定操作に応じた信号とする。カメラモジュール２は、例えば、画像の暗部についての画質を重視する場合は、長時間露光画素からの長時間露光画像信号Ｓ１を主制御用信号として選択するものとしても良い。

輝度信号生成部２１は、主制御用信号切り換え部２０からの主制御用信号から輝度信号３５を生成する。輝度信号３５は、例えば、ＹＵＶ色空間の輝度成分に相当する情報についての信号とする。輝度信号生成部２１は、例えば、主制御用信号であるＲＡＷ画像データからＧ成分についての輝度情報を抽出し、輝度信号３５とする。輝度信号生成部２１は、Ｇｒ画素及びＧｂ画素で検出されたＧ成分についての輝度値を、輝度信号３５とする。

輝度信号生成部２１は、Ｒ，Ｇ及びＢの各成分のうち輝度についての情報を最も多く得られるＧ成分の輝度値を、輝度信号３５として採用する。なお、輝度信号生成部２１は、Ｇ成分の輝度値のみから輝度信号３５を生成する場合に限られない。例えば、輝度信号生成部２１は、Ｒ，Ｇ及びＢの各成分の輝度値を使用して輝度信号３５を生成しても良い。輝度信号３５は、例えば、Ｒ，Ｇ及びＢの各成分の輝度値を所定の比率で加算した信号としても良い。

輝度平均値算出部２２は、画面全体について輝度信号３５を積分して平均化し、輝度平均値３６を算出する。輝度平均値算出部２２は、画面内に設定されたエリアごとの重み付けを輝度信号３５に施した上で輝度平均値３６を算出することとしても良い。

輝度目標値比較部２３は、輝度平均値算出部２２からの輝度平均値３６と、予め設定された輝度目標値とを比較し、差分を求める。輝度目標値比較部２３は、輝度平均値３６及び輝度目標値の差分を、撮影時の照度に応じて合成画像の明るさを調整するための明るさ調整量３７として出力する。明るさ調整量３７は、例えば、露出補正のための露出値（ＥＶ）の補正量とする。

ＥＶ算出部２４は、主制御用ＥＶ算出部３１及び副制御用ＥＶ算出部３２を含む。主制御用ＥＶ算出部３１は、主制御用ＥＶ４１を算出する。主制御用ＥＶ４１は、主制御用信号についてのＥＶである。主制御用ＥＶ算出部３１は、主制御用信号による画像の明るさに輝度目標値比較部２３からの明るさ調整量３７を反映させる演算により、主制御用ＥＶ４１を算出する。主制御用ＥＶ４１は、主制御用信号についての適正露出Ｌ１に対応する。

副制御用ＥＶ算出部３２は、副制御用ＥＶ４２を算出する。副制御用ＥＶ４２は、副制御用信号についてのＥＶである。副制御用ＥＶ算出部３２は、主制御用ＥＶ算出部３１で算出された主制御用ＥＶ４１にＨＤＲ倍率Ｍを乗算し、副制御用ＥＶ４２とする。副制御用ＥＶ４２は、副制御用信号についての適正露出Ｌ２に対応する。

副制御用ＥＶ算出部３２は、長時間露光画像信号Ｓ１及び短時間露光画像信号Ｓ２のいずれが副制御用信号であるかを、切り換え指示信号３３から識別する。例えば、ＨＤＲ倍率Ｍが４倍と設定され、かつ長時間露光画像信号Ｓ１が主制御用信号と指定されている場合、副制御用ＥＶ算出部３２は、主制御用ＥＶ４１に１／４を乗算し、副制御用ＥＶ４２とする。一方、ＨＤＲ倍率Ｍが４倍と設定され、かつ短時間露光画像信号Ｓ２が主制御用信号と指定されている場合、副制御用ＥＶ算出部３２は、主制御用ＥＶ４１に４を乗算し、副制御用ＥＶ４２とする。なお、ＨＤＲ倍数Ｍは、例えば、予め設定された固定値とする。

フリッカ検出用積算部２６は、主制御用信号切り換え部２０からの主制御用信号について、フリッカ検出のための積分を実施し、積分結果３４を出力する。フリッカ周期推定部２７は、フリッカ検出用積算部２６からの積分結果３４を基にフリッカの周期を推定し、推定結果３８を出力する。

図８は、フリッカの発生について説明する図である。蛍光灯の照明は、電源周波数の２倍の周波数で明滅している。ラインごとの信号電荷の読み出しを順次行うことで、電子シャッタによる露光開始時刻は、読み出しラインの位置によって異なる。このことから、フレーム内には、蛍光灯の明滅による輝度ムラが、明暗の縞となって現れることとなる。

電源周波数５０Ｈｚ又は６０Ｈｚに対して、フリッカ周期は１／１００ｓ又は１／１２０ｓとなる。例えば、電源周波数５０Ｈｚに対しフレーム周期が１／３０ｓである場合、光量が最大となる水平同期期間Ｔ１に当たるラインを明部、光量が最小となる水平同期期間Ｔ２に当たるラインを暗部とする１／１００ｓ周期の縞が生じることとなる。水平同期期間Ｔ１及びＴ２は、例えば２ｍｓとする。

フリッカ検出用積算部２６は、ラインを単位とする主制御信号の積分を、画面内の数箇所について実施する。フリッカ周期推定部２７は、画面内の箇所ごとの積分結果３４の差分から、フリッカ周期を推定する。例えば、フリッカ周期推定部２７は、１／１００ｓおきの積分結果３４同士の差分と、１／１２０ｓおきの積分結果３４同士の差分とを比較することで、フリッカ周期が１／１００ｓ及び１／１２０ｓのいずれであるかを推定する。

なお、電源周波数５０Ｈｚに対してフレーム周期が１／１００ｓの整数倍であるとき、及び電源周波数６０Ｈｚに対してフレーム周期が１／１２０ｓの整数倍であるときは、露光タイミングに関わらず露光量が一定となることで、フリッカは生じないこととなる。フリッカ周期推定部２７は、フレーム周期が蛍光灯の明滅の周期の整数倍ではないときにおいて生じるフリッカの周期を推定する。

制御量変換部２５は、主制御用ＥＶ算出部３１からの主制御用ＥＶ４１を、ＥＳについての制御量ＥＳ１、ＡＧについての制御量ＡＧ１、及びＤＧについての制御量ＤＧ１へ変換する。制御量変換部２５は、適正露出Ｌ１である主制御用ＥＶ４１がいずれの照度範囲（例えば図６に示すｂ１〜ｂ３）内であるかに応じて、制御量ＥＳ１を決定する。

図６に示す例では、主制御用ＥＶ４１が照度範囲ｂ２及びｂ３のいずれかに含まれる場合、制御量変換部２５は、推定結果３８として出力されたフリッカ周期に応じて、制御量ＥＳ１を決定する。制御量変換部２５は、推定されたフリッカ周期の整数倍である値を、制御量ＥＳ１とする。

主制御用ＥＶ４１が照度範囲ｂ３に含まれる場合、制御量変換部２５は、主制御用ＥＶ４１及び制御量ＡＧ１が線形関係にあるものとして、主制御用ＥＶ４１に応じた制御量ＡＧ１を決定する。主制御用ＥＶ４１が照度範囲ｂ２に含まれる場合、制御量変換部２５は、主制御用ＥＶ４１及び制御量ＤＧ１が線形関係にあるものとして、主制御用ＥＶ４１に応じた制御量ＤＧ１を決定する。

主制御用ＥＶ４１が照度範囲ｂ１に含まれる場合、制御量変換部２５は、照度に応じて段階的に設定されたＥＳから、主制御用ＥＶ４１に対応する制御量ＥＳ１を決定する。この場合、制御量変換部２５は、推定結果３８であるフリッカ周期に関わらず、制御量ＥＳ１を決定する。制御量変換部２５は、ＥＳの量子化単位内にて主制御用ＥＶ４１及び制御量ＤＧ１が線形関係にあるものとして、主制御用ＥＶ４１に応じた制御量ＤＧ１を決定する。

制御量変換部２５は、副制御用ＥＶ算出部３２からの副制御用ＥＶ４２を、ＥＳについての制御量ＥＳ２、ＡＧについての制御量ＡＧ２、及びＤＧについての制御量ＤＧ２へ変換する。制御量変換部２５は、適正露出Ｌ２である副制御用ＥＶ４２がいずれの照度範囲（例えば図６に示すｂ１〜ｂ３）内であるかに応じて、制御量ＥＳ２を決定する。制御量変換部２５は、主制御用ＥＶ４１から各制御量ＥＳ１、ＡＧ１及びＤＧ１への変換と同様に、副制御用ＥＶ４２を各制御量ＥＳ２、ＡＧ２及びＤＧ２へ変換する。

制御量変換部２５は、主制御用ＥＶ算出部３１で算出された主制御用ＥＶ４１から各制御量への変換と、副制御用ＥＶ算出部３２で算出された副制御用ＥＶ４２から各制御量への変換とを、時分割的に実施する。ＡＥ制御回路１６は、主制御用信号及び副制御用信号について、各制御量の生成に共通の制御量変換部２５を使用することで、回路規模の抑制を可能とする。

例えば長時間露光画像信号Ｓ１が主制御用信号と指定されている場合において、図１に示すタイミング生成器１５は、画素アレイ１０のうち長時間露光画素に対し、制御量ＥＳ１に応じたパルスを出力する。タイミング生成器１５は、画素アレイ１０のうち短時間露光画素に対し、制御量ＥＳ２に応じたパルスを出力する。

また、長時間露光画像信号Ｓ１が主制御用信号と指定されている場合において、図１に示す前処理部１１は、制御量ＡＧ１及びＤＧ１を用いて長時間露光画像信号Ｓ１を増幅する。前処理部１１は、制御量ＡＧ２及びＤＧ２を用いて短時間露光画像信号Ｓ２を増幅する。

ＥＶ算出部２４は、カメラモジュール２が撮影感度を持つ照度範囲に含まれる主制御用ＥＶ４１及び副制御用ＥＶ４２を算出する。主制御用ＥＶ算出部３１は、かかる照度範囲に、主制御用ＥＶ４１のみならず副制御用ＥＶ算出部３２で算出される副制御用ＥＶ４２も含ませるために、主制御用ＥＶ４１に制限を設ける。

例えば長時間露光画像信号Ｓ１を主制御用信号とする場合、短時間露光画像信号Ｓ２についての副制御用ＥＶ４２は、主制御用ＥＶ４１に対しＨＤＲ倍率Ｍの分だけ高い値となる。主制御用ＥＶ算出部３１は、カメラモジュール２が撮影感度を持つ最大照度以下の範囲に副制御用ＥＶ４２が含まれるように、主制御用ＥＶ４１の最大値を制限する。図６のグラフを参照すると、Ｌ１は、Ｌ１に対しＭに相当する分だけ左側にあるＬ２が、グラフの左端に到達するときを限度として、グラフの左側（高照度側）への移動となる調整が制限される。

また、例えば短時間露光画像信号Ｓ２を主制御用信号とする場合、長時間露光画像信号Ｓ１についての副制御用ＥＶ４２は、主制御用ＥＶ４１に対しＨＤＲ倍率Ｍの分だけ低い値となる。主制御用ＥＶ算出部３１は、カメラモジュール２が撮影感度を持つ最小照度以上の範囲に副制御用ＥＶ４２が含まれるように、主制御用ＥＶ４１の最小値を制限する。図６のグラフを参照すると、Ｌ２は、Ｌ２に対しＨＤＲ倍率Ｍの分だけ右側にあるＬ１がグラフの右端に到達するときを限度として、グラフの右側（低照度側）への移動となる調整が制限される。

ＥＶ算出部２４は、主制御用ＥＶ４１にこのような制限を設けることで、カメラモジュール２の撮影感度に応じた主制御用ＥＶ４１及び副制御用ＥＶ４２を取得可能とする。ＡＥ制御回路１６は、長時間露光画像信号Ｓ１及び短時間露光画像信号Ｓ２の双方について、カメラモジュール２の撮影感度に応じたＡＥ動作の制御を実施することができる。

カメラモジュール２は、例えば、ＨＤＲ合成を実施するＨＤＲ撮影モードと、ＨＤＲ合成を実施しない通常撮影モードとの切り換えが可能であるものとする。ＡＥ制御回路１６は、ＨＤＲ撮影モードであるときに、長時間露光画像信号Ｓ１及び短時間露光画像信号Ｓ２についての各制御量をそれぞれ求める。

図９は、図７に示すＡＥ制御回路のうち、通常撮影モードにおけるＡＥ動作の制御に使用される要素を示したブロック図である。通常撮影モードにおいて、固体撮像装置５は、ＨＤＲ撮影モードにおいて長時間露光画素と短時間露光画素とに分類されていた各画素に対し同じ電荷蓄積期間を適用する。

ＡＥ制御回路１６には、撮像処理回路１２からの画像信号Ｓ０が入力される。輝度信号生成部２１は、画像信号Ｓ０から輝度信号３５を生成する。輝度平均値算出部２２は、輝度信号３５を積分して平均化し、輝度平均値３６を算出する。輝度目標値比較部２３は、輝度平均値３６及び輝度目標値の差分を、撮影時の照度に応じて画像の明るさを調整するための明るさ調整量３７として出力する。ＥＶ算出部２４は、画像信号Ｓ０による画像の明るさに輝度目標値比較部２３からの明るさ調整量３７を反映させる演算により、ＥＶ４３を算出する。

フリッカ検出用積算部２６は、画像信号Ｓ０について、フリッカ検出のための積分を実施し、積分結果３４を出力する。フリッカ周期推定部２７は、フリッカ検出用積算部２６からの積分結果３４を基にフリッカの周期を推定し、推定結果３８を出力する。制御量変換部２５は、ＥＶ算出部２４からのＥＶ４３を、ＥＳについての制御量ＥＳ０、ＡＧについての制御量ＡＧ０、及びＤＧについての制御量ＤＧ０へ変換する。

図１に示すタイミング生成器１５は、画素アレイ１０に対し、制御量ＥＳ０に応じたパルスを出力する。前処理部１１は、制御量ＡＧ０及びＤＧ０により画像信号Ｓ０を増幅する。

第１の実施形態に係る固体撮像装置５は、ＨＤＲ倍率Ｍを固定として、副制御用信号についての制御量を求めることで、常時調節がなされたＨＤＲ倍率Ｍを適用する場合に比べて、簡易な演算処理によりＡＥ制御を実施できる。固体撮像装置５は、長時間露光画像信号と短時間露光画像信号とに関し簡易な演算処理によって、撮影時の明るさに応じたＡＥ動作の制御を可能とする。

ＡＥ制御回路１６は、演算処理の簡易化により、回路規模の縮小、処理時間の短縮ができる。固体撮像装置５は、ＨＤＲ合成を実施しない場合の回路構成に対し、副制御用ＥＶ算出部３２等の比較的小規模な回路を追加することで、ＨＤＲ撮影モードにおけるＡＥ動作の制御を実現可能とする。固体撮像装置５は、小規模かつ簡易な回路構成とすることができる。

なお、本実施形態で説明する各回路構成は、本実施形態で説明する機能を実現可能な構成であれば良く、適宜変更可能であるものとする。

（第２の実施形態）
図１０は、第２の実施形態にかかる画像処理装置に含まれるＡＥ制御回路の構成を示すブロック図である。本実施形態のＡＥ制御回路５０は、第１の実施形態における固体撮像装置５（図１参照）に適用可能である。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

ＡＥ制御回路５０は、図７に示す制御量変換部２５に代えて、制御量変換部である第１制御量変換部（主制御用制御量変換部）５１及び第２制御量変換部（副制御用制御量変換部）５２が設けられている。

第１制御量変換部５１は、主制御用ＥＶ算出部３１で算出された主制御用ＥＶ４１を、各制御量ＥＳ１、ＡＧ１及びＤＧ１へ変換する。第２制御量変換部５２は、副制御用ＥＶ算出部３２で算出された副制御用ＥＶ４２を、各制御量ＥＳ２、ＡＧ２及びＤＧ２へ変換する。

第２の実施形態にかかる固体撮像装置５は、第１の実施形態と同様、小規模かつ簡易な回路構成とすることができる。さらに、ＡＥ制御回路５０は、第１制御量変換部５１による主制御用ＥＶ４１から各制御量への変換と、第２制御量変換部５２による副制御用ＥＶ４２から各制御量への変換とを、並行して実施可能とする。ＡＥ制御回路５０は、主制御用信号及び副制御用信号についての各制御量を並行して取得可能とすることで、ＡＥ動作の高速化を図り得る。

（第３の実施形態）
図１１は、第３の実施形態にかかる画像処理装置に含まれるＡＥ制御回路の構成を示すブロック図である。本実施形態のＡＥ制御回路６０は、第１の実施形態における固体撮像装置５（図１参照）に適用可能である。第１及び第２の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

第１制御量変換部５１は、主制御用ＥＶ４１から求めた制御量ＥＳ１を、第２制御量変換部５２へ出力する。制御量変換部である第１制御量変換部５１及び第２制御量変換部５２は、主制御用信号と副制御用信号とに対し、ＥＳについて同じ制御量ＥＳ１を適用する。第２制御量変換部５２は、第１制御量変換部５１からの制御量ＥＳ１と、副制御用ＥＶ算出部３２からの副制御用ＥＶ４２とに応じて、各制御量ＡＧ２及びＤＧ２を決定する。第１制御量変換部５１及び第２制御量変換部５２は、主制御用信号と副制御用信号とに対し、ＡＧ及びＤＧの少なくとも一方については異なる制御量を設定する。

図１に示すタイミング生成器１５は、画素アレイ１０の長時間露光画素及び短時間露光画素の双方に対し、制御量ＥＳ１に応じたパルスを出力する。ＡＥ制御回路６０は、第１制御量変換部５１による主制御用ＥＶ４１から各制御量への変換と、第２制御量変換部５２による副制御用ＥＶ４２から各制御量への変換とを、並行して実施可能とする。ＡＥ制御回路６０は、主制御用信号及び副制御用信号についての各制御量を並行して取得可能とすることで、ＡＥ動作の高速化を図り得る。

なお、ＡＥ制御回路６０は、第１制御量変換部５１及び第２制御量変換部５２に代えて、第１の実施形態の制御量変換部２５（図７参照）を適用しても良い。この場合、制御量変換部２５は、主制御用ＥＶ算出部３１で算出された主制御用ＥＶ４１から各制御量への変換と、副制御用ＥＶ算出部３２で算出された副制御用ＥＶ４２から各制御量への変換とを、時分割的に実施する。ＡＥ制御回路６０は、主制御用信号及び副制御用信号について、各制御量の生成に共通の制御量変換部２５を使用することで、回路規模の抑制が可能となる。

図１２は、ＡＥ制御回路によるＥＳ、ＡＧ及びＤＧの各制御量の算出について説明する図である。ＡＥ制御回路６０は、長時間露光画像信号Ｓ１及び短時間露光画像信号Ｓ２のうち主制御用信号として指定された一方を対象としてＡＥ動作の制御を実施する。ＡＥ制御回路６０は、長時間露光画像信号Ｓ１及び短時間露光画像信号Ｓ２のうち主制御用信号以外の一方である副制御用信号についてのＡＥ動作を、主制御用信号についてのＡＥ動作に追従させる。

例えば、長時間露光画像信号Ｓ１が主制御用信号と指定されたとする。第１制御量変換部５１は、長時間露光画像信号Ｓ１を基に、長時間露光画素についての適正露出Ｌ１を求める。第１制御量変換部５１は、適正露出Ｌ１に応じた制御量、例えばＥＳ１及びＡＧ１を求める。

ＡＥ制御回路６０は、適正露出Ｌ１にＨＤＲ倍率Ｍを乗算することで、短時間露光画素についての適正露出Ｌ２を求める。第２制御量変換部５２は、適正露出Ｌ２に応じた制御量を求める。第２制御量変換部５２は、ＥＳについての制御量として、長時間露光画像信号Ｓ１についての制御量ＥＳ１をそのまま採用する。さらに、第２制御量変換部５２は、ＥＳ以外について、適正露出Ｌ２に応じた制御量、例えばＡＧ２を求める。

図１２において、直線ＡＧＬは、長時間露光画像信号Ｓ１についてのＡＧの制御量と照度との関係を表す。直線ＡＧＳは、短時間露光画像信号Ｓ２についてのＡＧの制御量と照度との関係を表す。縦軸方向における直線ＡＧＬ及びＡＧＳの間隔は、ＨＤＲ倍率Ｍに応じたＡＧの差に相当する。

例えば、適正露出Ｌ２が照度範囲ｂ１、適正露出Ｌ１が照度範囲ｂ２又はｂ３（照度範囲ｂ１，ｂ２及びｂ３については、図６参照）にそれぞれ含まれ、適正露出Ｌ１及びＬ２の照度幅が複数の照度範囲に跨る場合、長時間露光画素と短時間露光画素とでＡＥ動作が異なることとなる。長時間露光画素と短時間露光画素とで、ＥＳについて異なる制御量を適用した場合に、適正露出Ｌ２が高照度側となる短時間露光画素のみにフリッカが生じることがあり得る。短時間露光画素のフリッカは、適正露出Ｌ１及びＬ２の照度幅が大きいほど、すなわちＨＤＲ倍率Ｍが大きいほど、発生し易くなる。

第３の実施形態のＡＥ制御回路６０は、長時間露光画素と短時間露光画素とで、ＥＳについて同じ制御量を適用することで、短時間露光画素のフリッカの発生を抑制させる。本実施形態のＡＥ制御回路６０は、フリッカの抑制が望まれる場合に適している。

例えば、ドライブレコーダに搭載されたカメラモジュール２が、ＬＥＤを表示に使用する信号機を撮影した場合に、ＬＥＤが点灯する周期とフレームレートとのずれから、ＬＥＤが点灯していないものとして画像が記録されることがあり得る。このような場合に、カメラモジュール２は、本実施形態のＡＥ制御回路６０の適用によりフリッカを抑制することで、ＬＥＤによる信号表示を的確に記録することが可能となる。

第３の実施形態にかかる固体撮像装置５は、第１の実施形態と同様、小規模かつ簡易な回路構成とすることができる。さらに、ＡＥ制御回路６０は、主制御用信号について決定した制御量ＥＳ１をそのまま副制御用信号に対しても適用することで、副制御用信号についてＥＳの制御量を別途算出するための演算処理を省略することができる。これにより、固体撮像装置５は、ＡＥ動作の高速化を図り得る。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

５ 固体撮像装置、１０ 画素アレイ、１２ 撮像処理回路、１３ ＨＤＲ合成部、１６、５０、６０ ＡＥ制御回路、２４ ＥＶ算出部、２５ 制御量変換部、３１ 主制御用ＥＶ算出部、３２ 副制御用ＥＶ算出部、４１ 主制御用ＥＶ、４２ 副制御用ＥＶ、５１ 第１制御量変換部、５２ 第２制御量変換部、Ｓ１ 長時間露光画像信号、Ｓ２ 短時間露光画像信号。

Claims (5)

1. 第１電荷蓄積期間における第１画素への入射光量に応じた第１画像信号と、前記第１電荷蓄積期間より短い第２電荷蓄積期間における第２画素への入射光量に応じた第２画像信号とを合成し、合成画像を生成するハイダイナミックレンジ合成部と、
   撮影時の照度に応じて前記合成画像の明るさを調整するための明るさ調整量が反映された露出値を算出する露出値算出部と、
   前記露出値を、電子シャッタ時間、アナログゲイン及びデジタルゲインについての各制御量へ変換する制御量変換部と、を有し、
   前記露出値算出部は、
   前記第１画像信号及び前記第２画像信号のうち主制御用信号として指定された一方を基に、前記主制御用信号についての前記露出値である主制御用露出値を算出する主制御用露出値算出部と、
   前記第１画像信号及び前記第２画像信号のうち前記主制御用信号以外の一方であって前記主制御用信号に明るさ調整を追従させる副制御用信号についての前記露出値である副制御用露出値を算出する副制御用露出値算出部と、を含み、
   前記副制御用露出値算出部は、前記主制御用露出値算出部で算出された前記主制御用露出値に、前記第１電荷蓄積期間及び前記第２電荷蓄積期間の比として予め設定されたハイダイナミックレンジ倍率を乗算して、前記副制御用露出値とし、
   前記制御量変換部は、前記主制御用露出値算出部で算出された前記主制御用露出値から前記各制御量への変換と、前記副制御用露出値算出部で算出された前記副制御用露出値から前記各制御量への変換とを、時分割的に実施することを特徴とする画像処理装置。
2. 第１電荷蓄積期間における第１画素への入射光量に応じた第１画像信号と、前記第１電荷蓄積期間より短い第２電荷蓄積期間における第２画素への入射光量に応じた第２画像信号とを合成し、合成画像を生成するハイダイナミックレンジ合成部と、
   撮影時の照度に応じて前記合成画像の明るさを調整するための明るさ調整量が反映された露出値を算出する露出値算出部と、
   前記露出値を、電子シャッタ時間、アナログゲイン及びデジタルゲインについての各制御量へ変換する制御量変換部と、を有し、
   前記露出値算出部は、
   前記第１画像信号及び前記第２画像信号のうち主制御用信号として指定された一方を基に、前記主制御用信号についての前記露出値である主制御用露出値を算出する主制御用露出値算出部と、
   前記第１画像信号及び前記第２画像信号のうち前記主制御用信号以外の一方であって前記主制御用信号に明るさ調整を追従させる副制御用信号についての前記露出値である副制御用露出値を算出する副制御用露出値算出部と、を含み、
   前記副制御用露出値算出部は、前記主制御用露出値算出部で算出された前記主制御用露出値に、前記第１電荷蓄積期間及び前記第２電荷蓄積期間の比として予め設定されたハイダイナミックレンジ倍率を乗算して、前記副制御用露出値とすることを特徴とする画像処理装置。
3. 前記制御量変換部は、前記主制御用露出値算出部で算出された前記主制御用露出値から前記各制御量への変換と、前記副制御用露出値算出部で算出された前記副制御用露出値から前記各制御量への変換とを、時分割的に実施することを特徴とする請求項２に記載の画像処理装置。
4. 前記制御量変換部は、前記主制御用信号及び前記副制御用信号に対し、前記電子シャッタ時間について同じ制御量を設定し、少なくとも前記アナログゲインについては互いに異なる制御量を設定することを特徴とする請求項２又は３に記載の画像処理装置。
5. 第１電荷蓄積期間における入射光量を検出する第１画素と、前記第１電荷蓄積期間より短い第２電荷蓄積期間における入射光量を検出する第２画素と、を含む画素アレイと、
   前記第１画素への前記入射光量に応じた第１画像信号と、前記第２画素への前記入射光量に応じた第２画像信号とを合成するハイダイナミックレンジ合成部と、
   撮影時の照度に応じて前記合成画像の明るさを調整するための明るさ調整量が反映された露出値を算出する露出値算出部と、
   前記露出値を、電子シャッタ時間、アナログゲイン及びデジタルゲインについての各制御量へ変換する制御量変換部と、を有し、
   前記露出値算出部は、
   前記第１画像信号及び前記第２画像信号のうち主制御用信号として指定された一方を基に、前記主制御用信号についての前記露出値である主制御用露出値を算出する主制御用露出値算出部と、
   前記第１画像信号及び前記第２画像信号のうち前記主制御用信号以外の一方であって前記主制御用信号に明るさ調整を追従させる副制御用信号についての前記露出値である副制御用露出値を算出する副制御用露出値算出部と、を含み、
   前記副制御用露出値算出部は、前記主制御用露出値算出部で算出された前記主制御用露出値に、前記第１電荷蓄積期間及び前記第２電荷蓄積期間の比として予め設定されたハイダイナミックレンジ倍率を乗算して、前記副制御用露出値とすることを特徴とする固体撮像装置。

Images