JP2018056743A - 逆光補正プログラム及び半導体装置 - Google Patents

Abstract

【課題】従来の逆光補正処理では、露光時間を制御しなければならず、レンズ及びセンサを製造していないものにとって逆光補正処理を実装することが難しい問題があった。【解決手段】一実施の形態によれば、撮像素子から取得した１枚分の画像を構成する画素情報から抽出された画像の輝度分布を示す輝度情報に基づき逆光状態を検出し、当該輝度情報に基づき画像の逆光状態を補正する補正設定値を算出し、算出した補正設定値に基づき前記画素情報から生成する画像情報の逆光状態を補正することで逆光補正処理を行う。【選択図】図２

Description

本発明は逆光補正プログラム及び半導体装置に関し、例えば画像センサから得た画素情報に基づき生成した出力画像に対して逆光補正を行う逆光補正プログラム及び半導体装置に関する。

近年、カメラシステムでは、撮影対象の光の状態によらず、明瞭度の高い画像を取得することが要求されている。画像の明瞭度が低下する一例として、逆光状態がある。逆光状態では、画像の一部の輝度が他の部分よりも極端に高いため、画像の一部に黒つぶれが発生する。そこで、この逆光状態の画像に対して補正処理を加えて画像の明瞭度を向上させる逆光補正技術がある。逆光補正技術の一例が特許文献１に開示されている。

特許文献１に記載の逆光補正装置は、被写体を撮像した映像信号の撮像エリアを複数に分割し、分割された前記撮像エリア毎の明るさを検出する第１の手段と、前記複数の撮像エリアの中で所定の撮像エリアを選択し、選択された撮像エリア内の明るさ信号および撮像エリア外の明るさ信号を検出する第２の手段と、前記第２の手段により検出された前記撮像エリア内外の明るさの比率またはコントラスト差を計算する手段と、前記計算手段より得られる結果に基づき逆光状態であると判断したとき、前記選択した撮像エリア内の明るさを基に撮像装置の露光量を調整する手段を有する。

特開２００４−８８５４５号公報

特許文献１に記載の逆光補正方法を利用しようとした場合、レンズ及び撮像素子の特性に応じて露光制御方法を調整する必要がある。しかし、レンズ、撮像素子及びこれら構成部品の制御回路を個別に組み合わせてカメラシステムを構築するメーカーにおいては、個別の構成部品の特性を把握した上で露光制御のためのプログラムを設計しなければならずこのプログラムの作成に多くの工数を要する。また、レンズ、或いは、撮像素子を変更した場合には、改めて露光制御のプログラムを作成し直さなければならない。さらに、レンズと撮像素子の特性のマッチングによっては露光量を調整するのみでは逆光補正が行えないことがある。このようなことから、露光制御を用いた逆光補正方法による逆光補正処理は、レンズ或いは撮像素子を部品メーカーから調達するカメラシステムメーカーにとっては多くの困難を伴う問題がある。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施の形態によれば、逆光補正プログラム及び半導体装置は、撮像素子から取得した１枚分の画像を構成する画素情報から抽出された画像の輝度分布を示す輝度情報に基づき逆光状態を検出し、当該輝度情報に基づき画像の逆光状態を補正する補正設定値を算出し、算出した補正設定値に基づき前記画素情報から生成する画像情報の逆光状態を補正する。

前記一実施の形態によれば、露光量を制御することなく、出力する画像情報の逆光状態を補正することができる。

実施の形態１にかかる撮像素子を含むカメラシステムのブロック図である。 実施の形態１にかかる半導体装置のブロック図である。 実施の形態１にかかるガンマ制御部のブロック図である。 実施の形態１にかかる半導体装置の動作を示すフローチャートである。 実施の形態１にかかる半導体装置における逆光補正の態様を説明する図である。 実施の形態１にかかるカメラシステムにおけるソフトウェア構成を説明する図である。 実施の形態２にかかる半導体装置のブロック図である。 実施の形態３にかかる半導体装置のブロック図である。

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

図１に実施の形態１にかかるカメラシステム１のブロック図を示す。図１に示すように、カメラシステム１は、ズームレンズ１１、絞り機構１２、固定レンズ１３、フォーカスレンズ１４、センサ１５、ズームレンズアクチュエータ１６、フォーカスレンズアクチュエータ１７、信号処理回路１８、システム制御ＭＣＵ１９、モニタ、記憶装置を有する。ここで、モニタ及び記憶装置は、カメラシステム１で撮影した画像を確認及び記憶するものであり、これらをカメラシステム１とは切り離した別のシステム上に設けても良い。

ズームレンズ１１、絞り機構１２、固定レンズ１３及びフォーカスレンズ１４は、カメラシステム１のレンズ群を構成する。ズームレンズ１１は、ズームアクチュエータ１６により位置の変更が行われる。フォーカスレンズ１４は、フォーカスアクチュエータ１７により位置の変更が行われる。そして、カメラシステム１では、各種アクチュエータによりレンズを移動させることでズーム倍率、フォーカスを変更し、かつ、絞り機構１２を動作させることで入射光量を変更する。

ズームアクチュエータ１６は、システム制御ＭＣＵ１９が出力するズーム制御信号ＳＺＣに基づきズームレンズ１１を移動させる。フォーカスアクチュエータ１７は、フォーカスアクチュエータ１７は、システム制御ＭＣＵ１９が出力するフォーカス制御信号ＳＦＣに基づきフォーカスレンズ１４を移動させる。絞り機構１２は、システム制御ＭＣＵ１９が出力する絞り制御信号ＳＤＣにより絞り量を調節する。

センサ１５は、実施の形態１にかかる撮像素子に外とするものであり、例えば、フォトダイオード等の光電変換素子を有し、当該受光素子から得られた受光画素情報をデジタル値に変換して画素情報Ｄｏを出力する。また、センサ１５は、センサ１５が出力する画素情報Ｄｏを解析して画素情報Ｄｏの特徴を表す画像特徴情報ＤＣＩを出力する。この画像特徴情報ＤＣＩには、後述するオートフォーカス処理において取得されるコントラスト情報が含まれる。さらに、センサ１５は、モジュール制御ＭＣＵ１８から与えられるセンサ制御信号ＳＳＣに基づき画素情報Ｄｏの画素毎のゲイン制御、及び、画素情報Ｄｏの露光制御制御を行う。センサ１５の詳細については後述する。

信号処理プロセッサ１８は、センサ１５から受信した画素情報Ｄｏから所定のフォーマットに沿った画像情報の生成及び生成する画像情報に対する補正処理等の画像処理を施して画像情報Ｄｉｍｇを出力する。また、信号処理プロセッサ１８は、受信した画素情報Ｄｏを解析して輝度情報Ｄｉｌｍを出力する。輝度情報Ｄｉｌｍには、例えば、１枚分の画像を構成する画素情報Ｄｏについて、画像の領域を分割した分割領域毎の輝度レベルを示す輝度情報が含まれる。

システム制御ＭＣＵ１９は、センサ１５から出力される画像特徴情報ＤＣＩに基づきレンズ群のフォーカスを制御する。より具体的には、システム制御ＭＣＵ１９は、フォーカス制御信号ＳＦＣをフォーカスアクチュエータ１７に出力することでレンズ群のフォーカスを制御する。システム制御ＭＣＵ１９は、絞り制御信号ＳＤＣを絞り機構１２に出力して絞り機構１２の絞り量を調節する。さらに、システム制御ＭＣＵ１９は、外部から与えられるズーム指示に従ってズーム制御信号ＳＺＣを生成し、ズーム制御信号ＳＺＣをズームアクチュエータ１６に出力することでレンズ群のズーム倍率を制御する。

より具体的には、ズームアクチュエータ１６によりズームレンズ１１を移動することでフォーカスがずれる。そこで、システム制御ＭＣＵ１９は、センサ１５から得た画像特徴情報ＤＣＩに含まれるコントラスト情報（対象画素同士のコントラスト比）基づきレンズ群のデフォーカス量を算出する。システム制御ＭＣＵ１９は、このデフォーカス量に応じて自動的にフォーカスを合わせる。この処理がオートフォーカス制御である。

また、システム制御ＭＣＵ１９は、信号処理プロセッサ１８が出力する輝度情報Ｄｉｌｍに含まれる輝度情報に基づき画像情報Ｄｉｍｇの逆光状態を補正する補正設定値Ｄｇａｍを算出する。そして、信号処理プロセッサ１８は、システム制御ＭＣＵ１９にて算出された補正設定値Ｄｇａｍに基づき画素情報Ｄｏに逆光補正処理を加えて画像情報Ｄｉｍｇを生成する。このとき、システム制御ＭＣＵ１９は、露出を変更する際に絞り機構１２の制御値を算出しても良い。

実施の形態１にかかるカメラシステム１では、センサ１５における露光制御の状態によらず、センサ１５から出力される画素情報Ｄｏを用いて信号処理プロセッサ１８及びシステム制御ＭＣＵ１９が画像情報Ｄｉｍｇの逆光状態を補正することに特徴の１つを有する。そこで、以下では、信号処理プロセッサ１８及びシステム制御ＭＣＵ１９についてより詳細に説明する。

図２に実施の形態１にかかる半導体装置のブロック図を示す。図２に示すように、実施の形態１にかかる半導体装置は、複数の半導体チップにより構成される。図２に示す例では、第１の半導体チップとしてシステム制御ＭＣＵ１９を用い、第２の半導体チップとして信号処理プロセッサ１８を用いる。なお、図２では、信号処理プロセッサ１８及びシステム制御ＭＣＵ１９により用いられる画素情報Ｄｏを出力する装置として撮像素子（例えば、センサ１５）を示した。

システム制御ＭＣＵ１９は、センサ１５から出力される１枚分の画像を構成する画素情報Ｄｏについて、画像の領域を分割した分割領域毎の画素情報Ｄｏの輝度の分布を示す輝度情報Ｄｉｌｍを取得し、取得した輝度情報Ｄｉｌｍに基づき画像の黒つぶれを補正する補正設定値Ｄｇａｍを算出して、算出した補正設定値Ｄｇａｍを出力する。信号処理プロセッサ１８は、画素情報Ｄｏから生成する画像情報Ｄｉｍｇの輝度レベルを補正設定値Ｄｇａｍに基づき補正して最終的に出力する画像情報Ｄｉｍｇを生成する。また、信号処理プロセッサ１８は、センサ１５から１枚分の画像を構成する画素情報Ｄｏを取得し、取得した画素情報Ｄｏから輝度情報Ｄｉｌｍを生成してシステム制御ＭＣＵ１９に出力する。

より具体的には、実施の形態１にかかる半導体装置では、信号処理プロセッサ１８及びシステム制御ＭＣＵ１９で実行される逆光補正プログラムにより上記逆光補正処理を行う。なお、図２では、当該逆光補正プログラムの処理単位毎を１つの処理ブロックとし、当該処理ブロックをブロック図として表した。また、図２で示した処理ブロックは、一部又は全部をハードウェアとして構成することもできる。

図２に示したセンサ１５は、画素アレイ２１、画素制御部２２、画素読出制御部２３を有する。画素アレイ２１は、受光素子が格子状に配置され、受光量に応じた信号レベルの画素出力信号を出力する。画素制御部２２は、画素アレイ２１に配置された受光素子の露光制御及び画素出力信号の出力タイミングの制御を行う。画素読出制御部２３は、画素アレイ２１から出力された画素出力信号の信号レベルに応じたデジタル値を有する画素情報Ｄｏを生成する。

図２に示すように、信号処理プロセッサ１８は、信号処理部３１、輝度情報生成部３２、逆光補正部（例えば、ガンマ制御部３３）を有する。信号処理部３１は、センサ１５から取得した画素情報Ｄｏを所定のフォーマットに従って画像情報Ｄｉｍｇを生成する。また、信号処理プロセッサ１８は、画像情報Ｄｉｍｇを生成する前にガンマ制御部３３を利用して画素情報Ｄｏから生成した画像情報Ｄｉｍｇに対する補正処理を行う。

輝度情報生成部３２は、センサ１５から１枚分の画像を構成する画素情報Ｄｏを取得し、取得した画素情報Ｄｏから輝度情報を生成する輝度情報生成処理を行う。ここで、輝度情報生成部３２が生成する輝度情報は、画像の領域を分割した分割領域毎の画素情報Ｄｏの輝度の分布を示す。

ガンマ制御部３３は、画素情報Ｄｏから生成する画像情報Ｄｉｍｇの輝度レベルを規定設定値（例えば、表示するモニタの特性）に合わせて補正する規定ガンマ補正処理（例えば、モニタ用ガンマ補正処理）と、逆光状態を補正する逆光補正用ガンマ補正処理と、を行う。この逆光補正用ガンマ補正処理では、ガンマ制御部３３は、画素情報Ｄｏから生成する画像情報Ｄｉｍｇの輝度レベルをシステム制御ＭＣＵ１９において算出された補正設定値Ｄｇａｍに基づき補正して最終的に出力する画像情報Ｄｉｍｇを生成する。

システム制御ＭＣＵ１９は、輝度情報取得部４１、逆光状態検出部４２、補正設定値算出部４３を有する。輝度情報取得部４１は、輝度情報生成部３２が生成した輝度情報Ｄｉｌｍを取得する。例えば、輝度情報取得部４１は、メモリを含み、当該メモリに輝度情報生成部３２から取得した輝度情報Ｄｉｌｍを保持する。

逆光状態検出部４２は、輝度情報取得部４１に保持されている輝度情報Ｄｉｌｍを検証し、少なくとも１つの分割領域と他の分割領域との輝度の差が予め定めた所定の値よりも大きな状態であった場合に画像の逆光状態を検出する。

補正設定値算出部４３は、逆光状態が検出されたことに応じて、センサ１５から取得した画素情報Ｄｏに対応して出力される画像情報Ｄｉｍｇの輝度レベルを変更する補正設定値Ｄｇａｍを算出する。ここで、補正設定値Ｄｇａｍは、画素情報Ｄｏの輝度レベルと画像情報Ｄｉｍｇの輝度レベルとの対応関係を示すガンマカーブを含む。

図２に示す例では、輝度情報生成部３２を信号処理プロセッサ１８内に設けたが、輝度情報生成部３２はセンサ１５内に設けることもできる。この場合、輝度情報取得部４１は、センサ１５から輝度情報Ｄｉｌｍを取得する。

ここで、実施の形態１にかかるガンマ制御部３３では２つのガンマ補正処理を行う。ガンマ制御部３３についてより詳細に説明を行う。そこで、図３に実施の形態１にかかるガンマ制御部のブロック図を示す。なお、図３では、ガンマ制御部３３の入出力信号を理解するために信号処理部３１も示した。

図３に示すように、ガンマ制御部３３は、モニタ用ガンマ補正部３４、逆光補正用ガンマ補正部３５、メモリ３６を有する。モニタ用ガンマ補正部３４は、例えば、規定ガンマ補正処理を行う処理部である。モニタ用ガンマ補正部３４は、逆光状態が不検出である場合であっても予め決定された規定ガンマ補正データ（例えば、モニタ用ガンマ補正カーブデータ）に基づき画素情報Ｄｏから生成する画像情報Ｄｉｍｇの輝度レベルを補正する。

逆光補正用ガンマ補正部３５は、システム制御ＭＣＵ１９が出力するＤｇａｍに基づき逆光状態の有無及び逆光状態の強度を把握し、逆光状態が検出されている場合には、メモリ３６から逆光状態の強度に応じた逆光補正用ガンマ補正カーブデータを読み出す。そして、逆光補正用ガンマ補正部３５は、読み出したガンマ補正カーブデータに基づきモニタ用ガンマ補正部３４が補正処理を施した画素情報Ｄｏに更に輝度補正処理を加えて信号処理部３１に出力する。

メモリ３６には、モニタ用ガンマ補正カーブデータ及び逆光補正用ガンマ補正カーブデータＡ〜Ｃが格納される。モニタ用ガンマ補正カーブデータは、逆光状態が検出されたか否かに関わらずに画素情報Ｄｏに適用される規定ガンマ補正データである。逆光補正用ガンマ補正カーブデータＡ〜Ｃは、逆光状態が検出された場合に画素情報Ｄｏに適用されるガンマ補正カーブのデータである。例えば、逆光補正用ガンマ補正カーブデータＡは、逆光状態を生じさせている光の強度が強い場合に適用されるガンマ補正カーブデータである。逆光補正用ガンマ補正カーブデータＢは、逆光状態を生じさせている光の強度が中程度であった場合に適用されるガンマ補正カーブデータである。逆光補正用ガンマ補正カーブデータＣは、逆光状態を生じさせている光の強度が弱い場合に適用されるガンマ補正カーブデータである。

続いて、実施の形態１にかかる半導体装置の動作について説明する。そこで、図４に実施の形態１にかかる半導体装置の動作を示すフローチャートを示す。図４に示すように、実施の形態１にかかる半導体装置は、動作を開始すると、センサ１５、信号処理プロセッサ１８、システム制御ＭＣＵ１９の状態をパワーオンリセット処理により初期化する（ステップＳ１）。

次いで、実施の形態１にかかる半導体装置は、初期設定処理を行う（ステップＳ２）。当該初期設定処理では、予め設定された設定値に基づきセンサ１５、信号処理プロセッサ１８、及び、システム制御ＭＣＵ１９の動作開始状態での動作設定値を設定する。その後、実施の形態１にかかる半導体装置は動作を開始し、センサ１５は画素情報Ｄｏの出力を開始する（ステップＳ３）。

次いで、実施の形態１にかかる半導体装置は、センサ１５が画素情報Ｄｏを出力する（ステップＳ４）。輝度情報生成部３２は、ステップＳ４でセンサ１５が出力した画素情報Ｄｏを取得して、輝度情報Ｄｉｌｍを生成する（ステップＳ５）。また、実施の形態１にかかる半導体装置では、ガンマ制御部３３において、メモリ３３に記憶されているモニタ補正用ガンマ補正カーブデータを用いてモニタ用ガンマ補正部３４がモニタ用ガンマ補正処理を施した画素情報を生成する（ステップＳ６）。

次いで、実施の形態１にかかる半導体装置は、システム制御ＭＣＵ１９の輝度情報取得部４１が輝度情報生成部３２から輝度情報Ｄｉｌｍを取得する。そして、システム制御ＭＣＵ１９の逆光状態検出部４２が、輝度情報取得部４１に保持された輝度情報Ｄｉｌｍに基づき画像の逆光状態を判断する（ステップＳ７）。このステップＳ７では、逆光状態検出部４２は、画像の分割領域毎の輝度分布を検証し、少なくとも１つの分割領域と他の分割領域との輝度の差が予め定めた所定の値よりも大きな状態であった場合に画像が逆光状態であると判断し、画像の逆光状態を検出する。

そして、逆光状態検出部４２において画像が逆光状態でないと判断された場合（ステップＳ８のＮＯの枝）、補正設定値算出部４３は、予め設定された補正設定値Ｄｇａｍ（逆光状態が不検出であったことを示す値であって、例えば、予め決定された不存在のメモリアドレス）を出力する。そして、実施の形態１にかかる半導体装置は、逆光補正用ガンマ補正部３５が補正処理を施さずにモニタ用ガンマ補正部３４が生成した画素情報をそのまま信号処理部３１に与えて、信号処理部３１が与えられた画素情報から画像情報Ｄｉｍｇを生成して出力する（ステップＳ１１）。実施の形態１にかかる半導体装置では、ステップＳ１１の後はステップＳ４〜Ｓ８の処理を実施する。

一方、逆光状態検出部４２において画像が逆光状態であると判断された場合（ステップＳ８のＹＥＳの枝）、補正設定値算出部４３は、逆光状態を補正する補正設定値Ｄｇａｍ（例えば、逆光状態を生じさせている光の強度に対応した逆光補正用補正カーブデータが格納されたメモリアドレス）を算出し、算出した補正設定値Ｄｇａｍをガンマ制御部３３に出力する。そして、逆光補正用ガンマ補正部３５は、与えられた補正設定値Ｄｇａｍに基づき逆光補正用ガンマ補正カーブデータを選択する（ステップＳ９）。そして、信号処理部３１は、逆光補正用ガンマ補正部３５により選択した逆光補正用ガンマ補正カーブデータに基づき、モニタ用ガンマ補正部３４が補正処理を施した画素情報に更に逆光補正用の補正処理を加えて新たな画素情報を生成する（ステップＳ１０）。その後、実施の形態１にかかる半導体装置は逆光補正用ガンマ補正部３５が補正処理を施した画素情報を信号処理部３１に与えて、信号処理部３１が与えられた画素情報から画像情報Ｄｉｍｇを生成して出力する（ステップＳ１１）。実施の形態１にかかる半導体装置では、ステップＳ１１の後はステップＳ４〜Ｓ８の処理を実施する。

ここで、実施の形態１にかかる半導体装置における逆光補正処理についてより詳細に説明する。そこで、図５に実施の形態１にかかる半導体装置における逆光補正の態様を説明する図を示す。図５に示す例では、画像中に自動車と人物が写っており、自動車のヘッドライトに起因した逆光状態が生じている。このような場合、自動車のヘッドライト付近の領域の輝度が高く、その他の部分の輝度が低くなる。また、輝度が高い領域と輝度が低い領域との間に所定値以上の輝度レベルの差が生じる。このような場合、逆光状態検出部４２は、画像に逆光状態が生じていると判断する。そして、補正設定値算出部４３は、入力される画素情報Ｄｏの輝度レベルと出力する画像情報Ｄｉｍｇの輝度レベルとの対応関係を示すガンマカーブを補正する。具体的には、補正設定値算出部４３は、入力される画素情報Ｄｏのうち低輝度側の画素情報Ｄｏに基づき生成される画像情報Ｄｉｍｇが補正前のガンマカーブに基づき生成される画像情報Ｄｉｍｇよりも高くなるようにガンマカーブを補正する。

また、実施の形態１にかかる半導体装置では、逆光状態を生じさせている光の強度毎にガンマ補正カーブを準備している。逆光状態を生じさせている光の強度が強くなるほど、光の強度が低くなる領域が暗くなり、明瞭度が低下するためである。より具体的には、実施の形態１にかかる半導体装置では、逆光状態を生じさせている光の強度が強い程、輝度レベルが低い領域での補正強度を高くするように、逆光補正用ガンマ補正カーブを作成する。このような補正を行うことで、補正後の画像では、人物と自動車とをより明瞭にすることができる。

続いて、信号処理プロセッサ１８及びシステム制御ＭＣＵ１９で実行されるプログラムの構成について説明する。そこで、図６に実施の形態１にかかるカメラシステム１におけるプログラムの構成を説明する図を示す。図６に示すように、カメラシステム１で実行されるプログラムの構成の一例では、ＯＳ／ドライバ層のソフトウェアとして、ＯＳ、センサ制御ドライバ、モータドライバ、評価データ取得ドライバ等が搭載される。ＯＳは、ドライバ、ミドルウェア等のソフトを動作させる基本ソフトである。センサ制御ドライバは、センサ１５の基本的な制御を行うためのソフトウェアである。モータドライバは、カメラシステム１のレンズ等を駆動するモータを制御するためのソフトウェアである。評価データ取得ドライバは、信号処理プロセッサ１８においてセンサ１５から画素情報Ｄｏを受信して輝度分布等の画質を評価するソフトウェアである。

また、ＡＰ／ミドルウェア層のソフトとしては、自動露出制御（ＡＥ）ソフト、自動フォーカス制御（ＡＦ）ソフト、コマンドインタフェースソフト、電源管理ソフト、自動ホワイトバランス制御（ＡＷＢ）ソフト、逆光補正ソフト、ブート制御ソフト等が含まれる。自動露出制御ソフトは、カメラシステム１の光学機構内の絞り、又は、センサ１５の露光時間を制御するソフトである。自動フォーカス制御ソフトは、カメラシステム１のレンズを移動させて被写体に対するフォーカスを調節する制御ソフトである。コマンドインタフェースソフトは、ソフトウェア間で送受信されるコマンドを仲介するソフトである。電源管理ソフトは、カメラシステム１の電源を管理するためのソフトである。自動ホワイトバランス制御ソフトは、信号処理プロセッサ１８を制御して画像情報Ｄｉｍｇのホワイトバランスを調整するためのソフトである。逆光補正ソフトは、輝度情報取得部４１、逆光状態検出部４２、補正設定値算出部４３、ガンマ制御部３３で行われる逆光補正処理を行うためのソフトである。ブートソフトは、カメラシステムの起動処理を行うソフトである。

また、ユーザーＡＰ／ＡＰＩ層のソフトとしては、ユーザーインタフェースを提供するＷｅｂアプリケーションソフト等が含まれる。

図６に示したようなソフトウェア構成を取ることで、ドライバ、ミドルウェア、ユーザーソフトを追加或いは削除することもできる。また、図６に示したようなソフトウェア構成を取ることで、ソフトウェアの機能の変更も行うことができる。ソフトウェアの機能の変更は、例えば、逆光補正処理における補正方法を変更する等が考えられる。

上記説明より、実施の形態１にかかる半導体装置では、センサ１５から得た画素情報Ｄｏの輝度分布に基づき逆光状態の検出と、当該逆光状態に対する補正処理を行う。これにより、実施の形態１にかかる半導体装置では、センサ１５の露光時間の制御等の露光制御を行うことなく逆光補正処理された画像情報Ｄｉｍｇを出力することができる。

また、実施の形態１にかかる半導体装置を用いることで、レンズ及びセンサ１５の特性によらず逆光補正処理を施した画像情報Ｄｉｍｇを得ることができる。露光時間制御を用いた逆光補正を行う場合、レンズ及びセンサ１５の特性に合わせた補正制御を行わなければならず、これら部品の特性を十分に理解していなければ、逆光補正の効果を引き出すことが難しい問題がある。しかしながら、実施の形態１にかかる半導体装置を用いることで、レンズ及びセンサ１５の特性を意識することなく逆光補正を行うことができる。

また、実施の形態１にかかる半導体装置を用いることで、レンズ及びセンサ１５を変更した場合であっても逆光補正処理に関するプログラムを変更する必要がなく、部品変更に起因するプログラムの再作成を行う必要がない。

さらに、実施の形態１にかかる半導体装置は、センサ１５から取得した画素情報Ｄｏに基づき逆光補正を行うため、センサ１５から取得した画像が逆光状態であれば当該画像に対して即座に逆光補正を行うことができる。一方、露光制御による逆光補正では、逆光状態を取得した後の画像に対して逆光補正を行うことができるが、既に取得された画像に対しては逆光補正を行うことが出来ない問題がある。

また、実施の形態１にかかる半導体装置を用いた逆光補正処理は、画素情報Ｄｏが動画を構成する複数の画像の１つであった場合であっても、リアルタイムに逆光補正が可能であるため、逆光状態のフレームを生じさせることなく動画の明瞭度を動画全体に亘って維持することができる。

実施の形態２
実施の形態２では、実施の形態１にかかる半導体装置の別の形態について説明する。なお、実施の形態２にかかる半導体装置の説明において、実施の形態１と同じ構成要素については実施の形態１と同じ符号を付して説明を省略する。

図７に実施の形態２にかかる半導体装置のブロック図を示す。図７に示すように、実施の形態２にかかる半導体装置では、信号処理プロセッサ１８及びシステム制御ＭＣＵ１９に代えて信号処理ＬＳＩ５０を有する。そして、信号処理ＬＳＩ５０内には、信号処理プロセッサ１８及び演算部（例えば、プログラム実行部５１）が設けられる。プログラム実行部５１は、システム制御ＭＣＵ１９の機能のうち輝度情報取得部４１、逆光状態検出部４２、補正設定値算出部４３に関係する機能或いはプログラム実行機能を抜き出した物である。

信号処理ＬＳＩ５０は、信号処理プロセッサ１８及びプログラム実行部５１を含むが、これら処理ブロックは１つの半導体チップ上に形成されていても良く、異なる半導体チップに形成された状態で２つの半導体チップが１つのパッケージに含まれるものでも良い。

実施の形態２にかかる半導体装置では、信号処理プロセッサ１８とプログラム実行部５１とを１つのパッケージに納めることで、半導体装置の実装面積を削減することができる。また、１つのパッケージ内に逆光補正に関する処理ブロックが含まれるため、逆光補正のためのソフトウェアの実装が容易になる。

実施の形態３
実施の形態３では、実施の形態１にかかるセンサ１５の別の形態となるセンサ１５ａについて説明する。なお、実施の形態３にかかる半導体装置の説明において、実施の形態１、２と同じ構成要素については実施の形態１、２と同じ符号を付して説明を省略する。

図８に実施の形態３にかかる半導体装置のブロック図を示す。図８に示すように、実施の形態３にかかる半導体装置では、センサ１５に代えてセンサ１５ａを有する。センサ１５ａは、異なる露光時間により、低輝度領域の明瞭度が高い低輝度画素情報と、高輝度領域の明瞭度が高い高輝度画素情報と、生成し、低輝度画素情報と高輝度画素情報とを合成して１枚の画像を構成する画素情報を出力する。

センサ１５ａは、センサ１５に対して、短秒露光画素情報バッファ６１、長秒露光画素情報バッファ６２、信号合成部６３を追加したものである。また、センサ１５ａでは、画素制御部２２及び画素読出制御部２３は、異なる露光時間の露光処理及び画素情報の出力を連続して行う。

短秒露光画素情報バッファ６１は、異なる露光時間のうち露光時間が短く高輝度領域の明瞭度が高い高輝度画素情報を保持する。長秒露光画素情報バッファ６２は、異なる露光時間のうち露光時間が長く低輝度領域の明瞭度が高い低輝度画素情報を保持する。信号合成部６３は、短秒露光画素情報バッファ６１に保持されている高輝度画素情報と、長秒露光画素情報バッファ６２に保持されている低輝度画素情報と、を合成して１枚分の画像を構成する画素情報を出力する。具体的には、信号合成部６３は、規定された輝度閾値以下の画素情報として長秒露光画素情報バッファ６２から読み出した低輝度画素情報を出力し、輝度閾値よりも高い画素情報として短秒露光画素情報バッファ６１から読み出した高輝度画素情報を出力する。

つまり、センサ１５ａは、センサ１５ａ内で画像のダイナミックレンジを画素アレイ２１に配置された受光素子から得られるダイナミックレンジ以上に拡大したＨＤＲ（High Dynamic Range）画像を生成するための画素情報を出力する。

このようなセンサ内での合成処理によりＨＤＲ画像を出力する撮像素子を用いた場合、露光時間の制御により逆光を補正する場合、露光時間の変更がＨＤＲ画像の明瞭度に影響してしまうため、実質的に露光時間による逆光補正を行うことが難しい。

しかしながら、実施の形態１、２で説明した半導体装置を用いることで、ＨＤＲ画像として出力される画素情報を用いて、ＨＤＲ合成処理が施された画像に対する逆光補正処理を行うことができる。このように、露光時間による逆光補正が困難な場合には、実施の形態１、２で説明した半導体装置による逆光補正処理は高い効果を奏する。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

１ カメラシステム
１１ ズームレンズ
１２ 絞り機構
１３ 固定レンズ
１４ フォーカスレンズ
１５ センサ
１６ ズームレンズアクチュエータ
１７ フォーカスレンズアクチュエータ
１８ 信号処理プロセッサ
１９ システム制御ＭＣＵ
２１ 画素アレイ
２２ 画素制御部
２３ 画素読出制御部
３１ 信号処理部
３２ 輝度情報生成部
３３ ガンマ制御部
３４ モニタ用ガンマ補正部
３５ 逆光補正用ガンマ補正部
３６ メモリ
４１ 輝度情報取得部
４２ 逆光状態検出部
４３ 補正設定値算出部
５０ 信号処理ＬＳＩ
５１ プログラム実行部
６１ 短秒露光画素情報バッファ
６２ 長秒露光画素情報バッファ
６３ 信号合成部
Ｄｏ 画素情報
Ｄｉｍｇ 画像情報
Ｄｉｌｍ 輝度情報
Ｄｇａｍ 補正設定値

Claims (15)

1. 撮像素子が出力した画素情報に対して信号処理を加えて画像情報を出力する画像処理装置において実行される逆光補正プログラムであって、
   前記撮像素子から出力される１枚分の画像を構成する前記画素情報について、前記画像の領域を分割した分割領域毎の前記画素情報の輝度の分布を示す輝度情報を取得する輝度情報取得処理と、
   前記輝度情報を検証し、少なくとも１つの分割領域と他の分割領域との輝度の差が予め定めた所定の値よりも大きな状態であった場合に前記画像の逆光状態を検出する逆光状態検出処理と、
   前記逆光状態が検出されたことに応じて、前記撮像素子から取得した画素情報に対応して出力される前記画像情報の輝度レベルを変更する補正設定値を算出する補正設定値算出処理と、
   前記画素情報から生成する前記画像情報の輝度レベルを前記補正設定値に基づき補正して最終的に出力する前記画像情報を生成する逆光補正処理と、
   を行う逆光補正プログラム。
2. 逆光状態が不検出である場合であっても予め決定された規定ガンマ補正データに基づき前記画素情報から生成する前記画像情報の輝度レベルを補正する規定ガンマ補正処理を更に行う請求項１に記載の逆光補正プログラム。
3. 前記撮像素子から１枚分の画像を構成する前記画素情報を取得し、
   取得した前記画素情報から前記輝度情報を生成する輝度情報生成処理を行う請求項１に記載の逆光補正プログラム。
4. 前記補正設定値は、前記画素情報の輝度レベルと前記画像情報の輝度レベルとの対応関係を示すガンマカーブを含む請求項１に記載の逆光補正プログラム。
5. 前記撮像素子は、低輝度領域の明瞭度が高い低輝度画素情報と、高輝度領域の明瞭度が高い高輝度画素情報と、を合成して１枚の前記画像を構成する前記画素情報を出力する請求項１に記載の逆光補正プログラム。
6. 前記画像処理装置は、複数の半導体チップにおいて分散して前記逆光補正プログラムの各処理を実行する請求項１に記載の逆光補正プログラム。
7. 第１の半導体チップと第２の半導体チップとを有し、
   前記第１の半導体チップは、
   撮像素子から出力される１枚分の画像を構成する画素情報について、前記画像の領域を分割した分割領域毎の前記画素情報の輝度の分布を示す輝度情報を取得し、取得した前記輝度情報に基づき前記画像の黒つぶれを補正する補正設定値を算出して、算出した前記補正設定値を出力し、
   前記第２の半導体チップは、
   前記画素情報から生成する画像情報の輝度レベルを前記補正設定値に基づき補正して最終的に出力する前記画像情報を生成する半導体装置。
8. 前記第２の半導体チップは、逆光状態が不検出である場合であっても予め決定された規定ガンマ補正データに基づき前記画素情報から生成する前記画像情報の輝度レベルを補正する規定ガンマ補正処理を更に行う請求項７に記載の半導体装置。
9. 前記第２の半導体チップは、前記撮像素子から１枚分の画像を構成する前記画素情報を取得し、取得した前記画素情報から前記輝度情報を生成して前記第１の半導体チップに出力する請求項７に記載の半導体装置。
10. 撮像素子から出力される１枚分の画像を構成する画素情報について、前記画像の領域を分割した分割領域毎の前記画素情報の輝度の分布を示す輝度情報を取得する輝度情報取得部と、
    前記輝度情報を検証し、少なくとも１つの分割領域と他の分割領域との輝度の差が予め定めた所定の値よりも大きな状態であった場合に前記画像の逆光状態を検出する逆光状態検出部と、
    前記逆光状態が検出されたことに応じて、前記撮像素子から取得した画素情報に対応して出力される画像情報の輝度レベルを変更する補正設定値を算出する補正設定値算出部と、
    前記画素情報から生成する前記画像情報の輝度レベルを前記補正設定値に基づき補正して最終的に出力する前記画像情報を生成する逆光補正部と、
    を有する半導体装置。
11. 逆光状態が不検出である場合であっても予め決定された規定ガンマ補正データに基づき前記画素情報から生成する前記画像情報の輝度レベルを補正する規定ガンマ補正部を更に行う請求項１０に記載の半導体装置。
12. 前記撮像素子から１枚分の画像を構成する前記画素情報を取得し、取得した前記画素情報から前記輝度情報を生成する輝度情報生成部を更に有する請求項１０に記載の半導体装置。
13. 前記補正設定値は、前記画素情報の輝度レベルと前記画像情報の輝度レベルとの対応関係を示すガンマカーブを含む請求項１０に記載の半導体装置。
14. 前記撮像素子は、低輝度領域の明瞭度が高い低輝度画素情報と、高輝度領域の明瞭度が高い高輝度画素情報と、を合成して１枚の前記画像を構成する前記画素情報を出力する請求項１０に記載の半導体装置。
15. 前記輝度情報取得部と、前記逆光状態検出部と、前記補正設定値算出部と、前記逆光補正部と、の少なくとも１つは、異なる半導体チップ上に形成される請求項１０に記載の半導体装置。