JP2004023605A - 画像処理装置、カメラ装置、及びその自動露光制御方法 - Google Patents

Abstract

【課題】高輝度被写体と低輝度被写体が共存するようなダイナミックレンジの大きい映像を適正に処理し、良好な画像を得る。
【解決手段】高輝度被写体信号を検出する検出手段を設け、その検出データを用いて高輝度被写体が白飛びしないように露光制御する。そして、この撮像条件では低輝度被写体が黒つぶれしてしまうが、それを補正して良好に見せることを可能にするガンマ補正手段を設け、このガンマ補正手段の特性を被写体条件にあわせてリアルタイムに変化制御させ、低輝度領域の輝度レベルを持ち上げるようにする。この結果、高輝度被写体と低輝度被写体が共存するようなダイナミックレンジの大きい被写体の撮像において、高輝度被写体の白飛びもせず、低輝度被写の黒つぶれも防止し、良好な撮像映像を出力できる。
【選択図】　　　　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、各種カメラシステムで撮像された画像信号に対してダイナミックレンジの大きい被写体の撮像時に適応した自動露光制御を行うための信号処理を行う画像処理装置、カメラ装置、及びその自動露光制御方法に関する。
【０００２】
【従来の技術】
従来より、撮像素子によって得られた画像信号をＤＳＰ（デジタルシグナルプロセッサ）に入力して色分離等の信号処理を行い、そのＯＰＤ（オプティカルディテクタ）部を用いて算出した輝度信号の積分値を用いて撮像素子に対する自動露光制御を行うようにしたカメラシステムが提供されている。
【０００３】
【発明が解決しようとする課題】
ところで、上述のようなカメラシステムで例えば逆光状態での撮影を行った場合には、高輝度被写体と低輝度被写体が共存するようなダイナミックレンジの大きい映像を処理することになる。
この場合、従来のカメラシステムの露光制御方法としては、以下の２通りの方法が考えられる。
（１）高輝度被写体に合わせて露光制御を行う。
（２）低輝度被写体に合わせて露光制御を行う。
【０００４】
しかし、上記（１）の方法では、低輝度被写体が光量不足のため黒つぶれしてしまうことになる。
また、上記（２）の方法では、高輝度被写体が白飛びを起こしてしまう。
図５は、これらの露光制御による出力画像の具体例を模式的に示す説明図である。
図５（Ａ）に示す画像例が高ダイナミックレンジで撮像できた理想的な画像であり、低輝度被写体である屋内の物体（壁１０等）と高輝度被写体である屋外の景色（木２０等）が、ともに適正に撮像されているものとする。
これに対し、図５（Ｂ）では、上記（１）の高輝度被写体に合わせて露光制御を行ったために、低輝度被写体である屋内の壁１０等が光量不足のため黒つぶれしてしまうことになる。
また、図５（Ｃ）では、上記（２）の低輝度被写体に合わせて露光制御を行ったために、高輝度被写体である屋外の木２０等が白飛びとなってしまうことになる。
【０００５】
そこで本発明の目的は、高輝度被写体と低輝度被写体が共存するようなダイナミックレンジの大きい映像を適正に処理し、良好な画像を得ることが可能な画像処理装置、カメラ装置、及びその自動露光制御方法を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は前記目的を達成するため、画像信号を入力する画像入力手段と、前記画像入力手段によって入力した画像信号に含まれる少なくとも高輝度被写体信号を検出する検出手段と、前記検出手段によって検出された高輝度被写体信号に応じて前記被写体の撮像動作に用いる露光量を制御する自動露光制御手段と、前記自動露光制御手段によって制御された露光量に基づいて入力された前記画像信号のガンマ補正量を制御し、前記画像信号の低輝度領域の輝度レベルを持ち上げるガンマ補正手段とを有することを特徴とする。
【０００７】
また本発明は、画像信号を入力する画像入力ステップと、前記画像入力ステップによって入力した画像信号に含まれる少なくとも高輝度被写体信号を検出する検出ステップと、前記検出ステップによって検出された高輝度被写体信号に応じて前記被写体の撮像動作に用いる露光量を制御する自動露光制御ステップと、前記自動露光制御ステップによって制御された露光量に基づいて入力された前記画像信号のガンマ補正量を制御し、前記画像信号の低輝度領域の輝度レベルを持ち上げるガンマ補正ステップとを有することを特徴とする。
【０００８】
また本発明は、画像信号を入力する画像入力手段と、前記画像入力手段によって入力した画像信号に含まれる少なくとも高輝度被写体信号を検出する検出手段と、前記検出手段によって検出された高輝度被写体信号に応じて前記被写体の撮像動作に用いる露光量を制御する自動露光制御手段と、前記自動露光制御手段によって制御された露光量に基づいて入力された前記画像信号のガンマ補正量を制御し、前記画像信号の低輝度領域の輝度レベルを持ち上げるガンマ補正手段とを有することを特徴とする。
【０００９】
また本発明は、画像信号を入力する画像入力ステップと、前記画像入力ステップによって入力した画像信号に含まれる少なくとも高輝度被写体信号を検出する検出ステップと、前記検出ステップによって検出された高輝度被写体信号に応じて前記被写体の撮像動作に用いる露光量を制御する自動露光制御ステップと、前記自動露光制御ステップによって制御された露光量に基づいて入力された前記画像信号のガンマ補正量を制御し、前記画像信号の低輝度領域の輝度レベルを持ち上げるガンマ補正ステップとを有することを特徴とする。
【００１０】
本発明の画像処理装置、カメラ装置、及びその自動露光制御方法では、画像信号に含まれる高輝度被写体信号を検出し、この高輝度被写体信号に応じて撮像時の露光量を制御するとともに、この露光量による自動露光制御によって入力された画像信号に応じてガンマ補正量を制御し、画像信号の低輝度領域の輝度レベルを持ち上げるようにした。
このため、ダイナミックレンジの大きい画像に対し、高輝度被写体が白飛びせず、かつ、低輝度被写体が黒つぶれしない状態で出力することができ、良好な画像を得ることが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明による画像処理装置、カメラ装置、及びその自動露光制御方法の実施の形態例について説明する。
本実施の形態例は、逆光状態での撮影時等のように、高輝度被写体と低輝度被写体が共存するようなダイナミックレンジの大きい被写体を撮影した場合に、まず、高輝度被写体を検出してその輝度に合わせた露光制御を行い、その露光制御によって撮像した画像信号に対してガンマ（γ）補正を行うことにより、低輝度信号部分の出力を持ち上げ、良好な出力画像を得るようになっている。
【００１２】
図１は本発明の実施の形態例によるカメラ装置の構成例を示すブロック図である。
図示のように、本実施の形態例のカメラ装置は、ＣＣＤ撮像素子１１０と、ＣＤＳ／ＡＧＣ回路１２０と、デジタル信号処理回路（カメラＤＳＰ；デジタルシグナルプロセッサ）１３０と、マイクロコンピュータ１４０と、タイミングジェネレータ１５０とを有する。
【００１３】
ＣＣＤ撮像素子１１０は、カメラ前方よりレンズ（図示せず）を通して結像した光信号を電気信号に変換し、画像信号として出力するものであり、駆動タイミングを制御することにより、露光量の制御を行える構成となっている。なお、撮像手段としては、ＣＣＤ撮像素子１１０に限らず、ＣＭＯＳセンサ型の撮像素子やその他の撮像手段を用いてもよいものとする。
ＣＤＳ／ＡＧＣ回路１２０は、ＣＣＤ撮像素子１１０から出力された画像信号に対してＣＤＳ（相関二重サンプリング）による画素ノイズ除去と、ＡＧＣによるゲイン調整を行い、その信号をデジタル信号処理回路１３０に出力する。
【００１４】
デジタル信号処理回路（カメラＤＳＰ）１３０は、ＣＤＳ／ＡＧＣ回路１２０から入力された画像信号をデジタル信号に変換し、色信号と輝度信号に分離して各種のデジタル信号処理を施した後、アナログ信号に戻して後段の出力部に送出するものであり、Ｄ／Ａ変換部２１０、信号処理部２２０、Ａ／Ｄ変換部２３０、ＯＰＤ（オプティカルディテクタ）部２４０等を有している。
Ｄ／Ａ変換部２１０は、ＣＤＳ／ＡＧＣ回路１２０によって出力されたアナログ画像信号をデジタル画像信号に変換するものである。
信号処理部２２０は、Ｄ／Ａ変換部２１０から入力したデジタル画像信号に対し、所定の信号処理を行うものであり、図示しない色分離回路、ホワイトバランス回路、ガンマ補正回路、色差マトリクス回路、エンコーダ回路等を含んで構成されている。
Ａ／Ｄ変換部２３０は、信号処理部２２０から出力されたデジタル画像信号をアナログ画像信号に変換して出力するものである。
ＯＰＤ部２４０は、信号処理部２２０から色信号や輝度信号を入力し、それらを積分することにより、各信号の積分値（ＯＰＤデータ）をマイクロコンピュータ１４０に出力するものである。
【００１５】
マイクロコンピュータ１４０は、本例のカメラ装置における各種の制御動作、特に本例では自動露光制御のための演算処理を行うものであり、タイミングジェネレータ（ＴＧ）１５０は、本例のカメラ装置の各部が動作するための各種タイミング信号を供給するものである。
特に本例では、上述した高輝度被写体と低輝度被写体が共存するようなダイナミックレンジの大きい被写体の撮影時において、まず、ＯＰＤデータから高輝度被写体を検出してその輝度に合わせた露光時間を決定して露光制御を実行し、その露光制御によって撮像した画像信号に対して低輝度被写体に合わせたガンマ補正をデジタル信号処理回路１３０のガンマ補正回路に実行させることで、低輝度信号部分の出力を持ち上げることにより、高輝度被写体も低輝度被写体も良好な状態で撮像出力できるような自動露光制御を行う。
【００１６】
次に、本例のカメラ装置の特徴となる露光制御方法について説明する。
本例のカメラ装置では以下のような構成及び処理によって最適な画像出力を得る。
（Ａ）高輝度被写体信号を検出する検出手段を設ける。これは、上述したＯＰＤ部２４０からの積分データを読み取ることで実現できる。
（Ｂ）上記（Ａ）の検出手段からの検出データを用いて高輝度被写体が白飛びしないように露光制御するＡＥ制御アルゴリズムを設ける。これは、マイクロコンピュータ１４０のソフトウエアで実現できる。
（Ｃ）上記（Ｂ）の撮像条件では低輝度被写体が黒つぶれしてしまうが、それを補正して良好に見せることを可能にするガンマ補正手段を設ける。これは、上述した信号処理部２２０のガンマ補正回路で実現できる。
（Ｄ）上記（Ｃ）のガンマ補正手段の特性を被写体条件にあわせてリアルタイムに変化制御させるアルゴリズムを設ける。これは、マイクロコンピュータ１４０のソフトウエアで実現できる。
（Ｅ）上記（Ａ）から（Ｄ）の手段及び制御アルゴリズムを複合させることにより高輝度被写体と低輝度被写体が共存するようなダイナミックレンジの大きい被写体の撮像において、高輝度被写体の白飛びもせず、低輝度被写の黒つぶれも防止し、良好な撮像映像を出力するカメラシステムを実現する。
【００１７】
次に、以上のような（Ａ）から（Ｄ）の手段及び制御アルゴリズムについて具体的に説明する。
まず、上記（Ａ）の検出手段は、各輝度別のヒストグラムを作成し、高輝度部分と低輝度部分の積分を個別に行い、各積分値を比較することで、高輝度被写体と低輝度被写体が共存する画像であることを認識し、その高輝度部分の輝度レベルに基づいて、高輝度被写体を白飛びさせることなく撮像できるように露光時間を決定する。これにより、高輝度部分の輝度レベルが高い程、露光時間を短くすることになる。
【００１８】
図２（Ａ）（Ｂ）は、このような処理で用いる各輝度別のヒストグラムを示す説明図であり、横軸が輝度、縦軸はデータ数（画素数）を示している。
図２（Ａ）に示すように、高輝度被写体と低輝度被写体が共存するようなダイナミックレンジの大きい画像の場合、輝度レベルの小さい領域と大きい領域の画素数が極端に大きくなっている。
そこで本例では、図２（Ｂ）に示すように、枠３０Ａ、３０Ｂによって高輝度部分と低輝度部分を区分けし、それぞれの画素数の積分値を求め、高輝度部分と低輝度部分の積分を個別に行い、各積分値の比較判定、及び高輝度部分の輝度レベルに基づく露光時間の制御を行う。
なお、このような高輝度検出に用いる画像データは、撮像素子のプレスキャン動作によって撮像したものを用いることができる。
【００１９】
次に、図３（Ａ）（Ｂ）は、本例におけるガンマ補正回路の特性を通常のガンマ補正回路と対比して示す説明図であり、横軸が輝度、縦軸が補正レベルを示している。
図３（Ａ）に示すように、通常のガンマ補正では、低輝度領域から高輝度領域にかけてほぼ平坦な勾配を有しているが、本例のガンマ補正では、図３（Ｂ）に示すように、低輝度領域（楕円枠αで示す）の補正レベルを持ち上げることにより、この低輝度領域における画像の出力レベルを上昇させ、黒つぶれをなくすような処理を行う。
なお、このようなガンマ補正は、最も低輝度の領域における画素集中の程度、すなわち被写体条件に応じて、リアルタイムで変化制御させるようにする。
【００２０】
図４は、このようなガンマ補正の結果、図２に示す画像の補正後の状態を示す説明図である。
図示のように、図２では低輝度領域（楕円枠αで示す）に集中していた画素数が上述のガンマ補正によって分散され、逆に中輝度領域（楕円枠βで示す）に移動している。
このようにして、低輝度領域と高輝度領域の画像を共に有効に再現でき、図５（Ａ）に示すような良好な画像を得ることができる。
【００２１】
なお、以上の例では、本発明をＣＣＤ撮像素子を用いたカメラ装置とその露光制御方法に適用した場合について説明したが、本発明は撮像手段から分離された構成のカメラ装置とその露光制御方法に適用することも可能であり、また、入力画像に基づいて露光制御用の演算処理を行う画像処理装置及び画像処理方法についても同様に適用できるものである。
また、露光制御の方法としては、露光時間の調整だけでなく、画像信号のゲイン調整を用いることが可能である。
【００２２】
【発明の効果】
以上説明したように本発明の画像処理装置、カメラ装置、及びその自動露光制御方法によれば、画像信号に含まれる高輝度被写体信号を検出し、この高輝度被写体信号に応じて撮像時の露光量を制御するとともに、この露光量による自動露光制御によって入力された画像信号に応じてガンマ補正量を制御し、画像信号の低輝度領域の輝度レベルを持ち上げるようにしたことから、高輝度被写体と低輝度被写体が共存するようなダイナミックレンジの大きい画像に対して、高輝度被写体が白飛びせず、かつ、低輝度被写体が黒つぶれしない状態で出力することができ、良好な画像を得ることが可能となる。
したがって、例えば各種のカメラシステム等における広ダイナミックレンジ化を達成でき、高機能化を図ることができる効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態例によるカメラ装置の構成例を示すブロック図である。
【図２】図１に示すカメラ装置の画像処理で用いる各輝度別のヒストグラムを示す説明図である。
【図３】図１に示すカメラ装置の画像処理で用いるガンマ補正回路の特性を通常のガンマ補正回路と対比して示す説明図である。
【図４】図１に示すカメラ装置の画像処理で用いるガンマ補正後の画像の状態を示す説明図である。
【図５】ダイナミックレンジの大きい画像の具体例を模式的に示す説明図である。
【符号の説明】
１１０……ＣＣＤ撮像素子、１２０……ＣＤＳ／ＡＧＣ回路、１３０……デジタル信号処理回路、１４０……マイクロコンピュータ、１５０……タイミングジェネレータ、２１０……Ｄ／Ａ変換部、２２０……信号処理部、２３０……Ａ／Ｄ変換部、２４０……ＯＰＤ部。

Claims (18)

1. 画像信号を入力する画像入力手段と、
   前記画像入力手段によって入力した画像信号に含まれる少なくとも高輝度被写体信号を検出する検出手段と、
   前記検出手段によって検出された高輝度被写体信号に応じて前記被写体の撮像動作に用いる露光量を制御する自動露光制御手段と、
   前記自動露光制御手段によって制御された露光量に基づいて入力された前記画像信号のガンマ補正量を制御し、前記画像信号の低輝度領域の輝度レベルを持ち上げるガンマ補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像信号に基づいて各輝度毎に画素数を算出したヒストグラムを作成し、前記ヒストグラムから高輝度被写体信号と低輝度被写体信号とを算出することを特徴とする請求項１記載の画像処理装置。
3. 前記自動露光制御手段は、高輝度被写体が白飛びしない条件で露光量を制御することを特徴とする請求項１記載の画像処理装置。
4. 前記ガンマ補正手段は、低輝度被写体が黒つぶれしない条件でガンマ補正量を制御することを特徴とする請求項１記載の画像処理装置。
5. 画像信号を入力する画像入力ステップと、
   前記画像入力ステップによって入力した画像信号に含まれる少なくとも高輝度被写体信号を検出する検出ステップと、
   前記検出ステップによって検出された高輝度被写体信号に応じて前記被写体の撮像動作に用いる露光量を制御する自動露光制御ステップと、
   前記自動露光制御ステップによって制御された露光量に基づいて入力された前記画像信号のガンマ補正量を制御し、前記画像信号の低輝度領域の輝度レベルを持ち上げるガンマ補正ステップと、
   を有することを特徴とする画像処理方法。
6. 前記画像信号に基づいて各輝度毎に画素数を算出したヒストグラムを作成し、前記ヒストグラムから高輝度被写体信号と低輝度被写体信号とを算出することを特徴とする請求項５記載の画像処理方法。
7. 前記自動露光制御ステップは、高輝度被写体が白飛びしない条件で露光量を制御することを特徴とする請求項５記載の画像処理方法。
8. 前記ガンマ補正ステップは、低輝度被写体が黒つぶれしない条件でガンマ補正量を制御することを特徴とする請求項５記載の画像処理方法。
9. 画像信号を入力する画像入力手段と、
   前記画像入力手段によって入力した画像信号に含まれる少なくとも高輝度被写体信号を検出する検出手段と、
   前記検出手段によって検出された高輝度被写体信号に応じて前記被写体の撮像動作に用いる露光量を制御する自動露光制御手段と、
   前記自動露光制御手段によって制御された露光量に基づいて入力された前記画像信号のガンマ補正量を制御し、前記画像信号の低輝度領域の輝度レベルを持ち上げるガンマ補正手段と、
   を有することを特徴とするカメラ装置。
10. 前記画像入力手段は被写体を撮像する固体撮像素子からの画像信号を入力する手段であることを特徴とする請求項９記載のカメラ装置。
11. 前記画像信号に基づいて各輝度毎に画素数を算出したヒストグラムを作成し、前記ヒストグラムから高輝度被写体信号と低輝度被写体信号とを算出することを特徴とする請求項９記載のカメラ装置。
12. 前記自動露光制御手段は、高輝度被写体が白飛びしない条件で露光量を制御することを特徴とする請求項９記載のカメラ装置。
13. 前記ガンマ補正手段は、低輝度被写体が黒つぶれしない条件でガンマ補正量を制御することを特徴とする請求項９記載のカメラ装置。
14. 画像信号を入力する画像入力ステップと、
    前記画像入力ステップによって入力した画像信号に含まれる少なくとも高輝度被写体信号を検出する検出ステップと、
    前記検出ステップによって検出された高輝度被写体信号に応じて前記被写体の撮像動作に用いる露光量を制御する自動露光制御ステップと、
    前記自動露光制御ステップによって制御された露光量に基づいて入力された前記画像信号のガンマ補正量を制御し、前記画像信号の低輝度領域の輝度レベルを持ち上げるガンマ補正ステップと、
    を有することを特徴とするカメラ装置の自動露光制御方法。
15. 前記画像入力ステップは被写体を撮像する固体撮像素子からの画像信号を入力するステップであることを特徴とする請求項１４記載のカメラ装置の自動露光制御方法。
16. 前記画像信号に基づいて各輝度毎に画素数を算出したヒストグラムを作成し、前記ヒストグラムから高輝度被写体信号と低輝度被写体信号とを算出することを特徴とする請求項１４記載のカメラ装置の自動露光制御方法。
17. 前記自動露光制御ステップは、高輝度被写体が白飛びしない条件で露光量を制御することを特徴とする請求項１４記載のカメラ装置の自動露光制御方法。
18. 前記ガンマ補正ステップは、低輝度被写体が黒つぶれしない条件でガンマ補正量を制御することを特徴とする請求項１４記載のカメラ装置の自動露光制御方法。

Images