JP2005348115A - 明度補正画像生成装置および明度補正画像生成方式 - Google Patents

Abstract

【課題】 カメラを用いて異なる露出パラメータを持つ複数の画像を撮影し、露出−輝度ヒストグラムから露出を最適化する仮想ヒストグラムを設定し、これに対応する画像を生成することにより、明度補正画像を得る。
【解決手段】 本発明では、露出パラメータを制御して画像を撮影する手段と、前記撮影手段によって得た画像データの露出−輝度ヒストグラムを生成する手段と、前記露出−輝度ヒストグラムから明度に最適に補正された仮想ヒストグラムを生成する手段と、仮想ヒストグラムに対応する画像を生成する画像生成手段とを設ける。
【選択図】 図１

Description

本発明は静止画を撮影して記録、加工、表示するカメラなどに適用して好適な明度補正画像生成装置および明度補正画像生成方式に関するものである。

特開２００２−１９９２７２等により撮影画像の明るさを最適にする明度補正装置として、画像を構成する画素の輝度値に関する最大、最小、平均、分散などの統計量を利用して、絞り、フラッシュ、シャッタースピード、感度（もしくはゲイン）などの露出パラメータを調整して、最終的に特定のパラメータを持つ１枚の画像を撮影することにより明度補正を行なう方式が知られている。

従来の方式は、１枚の画像を撮影するたびに露出パラメータの調整量を計算し、最終的に最適なパラメータを持つ画像を撮影するものである。しかしながらこの方式では、シーンの明暗の差が大きく撮影装置のダイナミックレンジを越える場合には、明るい部分と暗い部分との両方に最適な露出パラメータを持つ画像を撮影することは不可能である。また撮影画像は１枚だけであるため、あとで別の観点から最適な明るさを持つ画像を見ることも不可能である。

このような状況を図１（ａ）、（ｂ）に示す。図１は一般的なオフィスシーンであり、机、壁、窓などを含んでいる。ここで机周辺の領域は暗く、窓周辺の領域は明るい。図１（ａ）では露出パラメータが大きいために、机の領域（１−１）は最適な露出で撮影されているが、窓の領域（１−２）は明るいほうにつぶれている。逆に図（ｂ）では露出パラメータが小さいために、窓の領域は（１−４）は最適な明るさの画像が得られているが、逆に机の領域（１−３）は暗い方につぶれている。一般にカメラの撮像素子のダイナミックレンジは不十分なために、窓のような非常に明るい領域と机のような非常に暗い領域との両方を同時に最適な明るさで撮影することは不可能である。

そこで本発明では、図（ａ）、（ｂ）のような露出パラメータの異なる複数の画像を撮影し、これらの画像群から明るさが最適な部分を抽出して合成することにより、図１（ｃ）のように、撮影時のダイナミックレンジが広がり、画像の明度が最適化された画像を得ることにより、上記の課題を解決することを目的とする。

本発明では、露出パラメータを制御して画像を撮影する手段と、前記撮影手段によって得た複数の露出パラメータ画像の輝度ヒストグラムの集合である露出−輝度ヒストグラムを生成する手段と、前記露出−輝度ヒストグラムから明度が最適に補正された仮想ヒストグラムを生成する手段と、仮想ヒストグラムに対応する画像を生成する画像生成手段とを設ける。

以上の説明からも明らかなように、本発明では、露出パラメータを制御して画像を撮影する撮影機能と、前記撮影機能によって得た画像データの露出−輝度ヒストグラムを生成する機能と、前記露出−輝度ヒストグラムから明度が最適に補正された仮想ヒストグラムを生成する機能と、仮想ヒストグラムに対応する画像を生成する画像生成機能とを設けることにより、明度が最適化され撮影時のダイナミックレンジの広がった明度補正画像を生成する。

（第１の実施の形態）
本実施形態は、複数の露出パラメータに関して撮影した画像から露出−輝度ヒストグラムを作成し、露出−輝度ヒストグラムから新たな輝度ヒストグラムを作成してヒストグラム変換を行なうことにより、撮影時のダイナミックレンジを広げるものである。以下に本実施例のハードウェア構成と原理および処理手順を示す。

図２は本実施例のハードウェア構成を示すブロック図である。２−１は絞り、レンズ、撮像素子などからなるカメラモジュールであり画像信号を出力する。画像信号は表示装置２−２および記録装置２−３に送られる。フレームメモリ２−４は実画像に重ねて表示する情報を保持し表示装置に送る。表示装置２−２は液晶などの表示デバイスと制御回路からなり、実画像もしくは再生画像とフレームメモリ２−４の情報とを重畳して表示する。記録装置２−３は固体メモリや磁気ディスクなどの記憶媒体と制御装置からなり、画像信号を記録する。操作部２−６はカメラ筐体に配置されたボタン類からなり、操作者の命令を全体制御部２−５に入力する。全体制御部２−５は信号を処理するプロセッサであり、ハードウェア全体を管理し、また、ヒストグラムの作成、明度補正画像の生成などの各種処理を行なう。

ここでハードウェアの構成は図２（ｂ）であってもよい。２（ｂ）では２（ａ）に加えてネットワークインターフェース２−７を取り付けることにより、ネットワーク２−８を通じて撮影の指示を行なうなど、操作部２−６と同様な操作を行なうことができる。またネットワーク２−８を通じて画像の送信を行なうこともできる。

以上の構成において、全体制御部２−５を除く全ての部分は一般に市販されているデジタルスチルカメラやネットワークカメラを使用して構成することができる。全体制御部２−５は汎用の信号処理用の各種プロセッサを用いて構成する。

次に本実施形態の原理を述べる。

図３は本実施形態における明るさ補正の原理を示したものである。明るさ補正はヒストグラムの変換によって行なう。図３（ａ）は図１（ａ）、（ｂ）のように露出パラメータを変化して撮影した画像群のヒストグラムの例である。横軸は露出パラメータＥ、縦軸は輝度Ｉ、そして濃度は頻度を表している。このヒストグラムを露出−輝度ヒストグラムと定義し、ＥＩヒストグラムと呼称する。一般のヒストグラムは輝度と輝度の関係を示しているが、ＥＩヒストグラムは露出値と輝度値を指定したときの頻度を示している。説明のために露出パラメータは一次元とするが、多次元（複数のパラメータ）であっても本提案は一般性を失わない。

図３（ａ）において、分布は露出パラメータが大きくなるにつれて輝度値の大きい部分に広がっていく。また窓の部分など明るさの類似している領域に対応する部分は頻度が高くなっている。また、例えば低い露出値で撮影した画像のヒストグラムはグラフを露出Ｅ１で切断した断面図に相当し、輝度値の低いほうに分布が偏っている。一方、高い露出値で撮影した画像は同様に露出Ｅ２で切断した断面図に相当し、Ｅ１とは逆に高いほうに分布が偏っている。

次に図３（ｂ）のようにＥＩヒストグラム上に仮想的なヒストグラムＨoptを設定する。Ｈoptと輝度の最大値Ｉmaxを示す線との交点は、露出値を最小値から増加したときに観測される最大輝度値がＩmaxになる点Ｅhiである。一方、Ｈoptと輝度の最小値０を示す線との交点は、露出値を上げたときに観測される最小輝度値０より大きくなり始める点Ｅloである。ＨoptはＥＩヒストグラムを斜めに横切るヒストグラムであり、グラフを横切るように設定することで、輝度値のつぶれのないヒストグラムを表現している。

実際には露出の小さいときには最大輝度値はＩmax未満であり、かつ、露出値の増加とともに単純に変化するためＥhiの決定は容易である。しかし、露出値を増加しても最小輝度値は０のまま残ることが多いため、前述した手法ではＥloの決定は難しい。そこでＩ＝０の線上で露出値をＥmaxから０に向かって変化したときに、輝度が急激に上昇する点をＥloとする方法もある。

この他、Ｅhiの露出値を０、Ｅloの露出値をＥmaxとする方法もある。このときの仮想ヒストグラムをＨnormalとする。この場合Ｅhi、Ｅloの値を決定する手間は省けるが、一方で、画像表示手段の持つダイナミックレンジを十分に活かせない恐れがある。

ヒストグラムＨopt、Ｈnormal（以下、単純にＨとする）に対応する画像は、輝度値のつぶれがなく、広いダイナミックレンジを持つ観測を行なった画像である。そこでＨに対応する画像を合成する。このためには画像上の各点に関して露出を変化したときの輝度値を求め、Ｈと交わる点を見つけだしてこのときの輝度値に設定すればよい。全ての点は露出値の増加とともに輝度値も増加しＨを横切るため、必ず変換を行なうことができる。

次に本実施形態の処理手順を図４に示す。

開始後Ｓ４０１において、ビデオカメラモジュール２−１をはじめとする全ての機器の初期化を行なう。これは操作者によって操作部２−６を通じて電源投入などの操作を行なうことによってもできるし、ネットワーク２−８を通じて指示を出してもよい。以下において、操作に関する入力処理は直接もしくはネットワークと通じてのいずれの方法によっても行なうことができる。

操作者は必要であればカメラの姿勢などを設定し、撮影開始を指示する。一方、カメラ側ではＳ４０２，Ｓ４０３において撮影開始指示を受け付ける。ここで全体制御部２−５はＳ４０２において入力受付処理を行ない、Ｓ４０３において実際に指示入力があったのかどうか確認する。もし入力がなければＮＯ分岐し、Ｓ４０２以下の処理を繰り返す。もし決定入力があればＹＥＳ分岐し、Ｓ４０４において複数の露出パラメータにおいて撮影を行なう。

Ｓ４０５において、撮影した画像からＥＩヒストグラムを作成する。またＳ４０６において仮想ヒストグラムＨを決め、Ｓ４０７において画像を生成する。以上の処理は全体制御部２−５において、原理において述べた方法にもとづいて行なわれる。最後にＳ４０８において、合成結果を表示装置２−２に表示する。

次にＳ４０９において、ここまでの処理の間に操作終了や電源切断などの終了指示を出したかどうかを全体制御部２−５が確認する。もし終了指示があればＳ４０９をＹＥＳ分岐し、Ｓ４１０において終了処理を行ない処理を終了する。もし終了指示がなければＮＯ分岐し、Ｓ４０２に戻って処理を続ける。

以上述べた方法により、複数の露出パラメータで撮影した画像からＥＩヒストグラムを作成し、仮想ヒストグラムを設定した後に対応する画像を生成することで、明度が最適化された画像を獲得することができる。

（第２の実施の形態）
次に第２の実施形態に関して説明する。

本実施形態ではＥＩヒストグラムを領域分割し、各領域単位で最適な露出値を設定することによって画面全体で明るさが最適な画像を得る。ヒストグラム上の領域ごとに露出値を設定することによって、主要な部分のコントラストを保ったまま、明度が最適化された画像を得ることができる。以下に本実施例のハードウェア構成と原理および処理手順を示す。

本実施例のハードウェア構成は第１の実施形態を示すハードウェア構成と同一であり、図２に示したハードウェア構成によって実現可能であるため、説明を省略する。

次に本実施形態における明度補正の原理を説明する。

本実施形態の原理を図５に示す。本実施形態においても、複数の露出パラメータにおいて撮影した画像から、第１の実施形態において説明したＩＥヒストグラムを作成する。図５（ａ）は作成したＩＥヒストグラムである。ＩＥヒストグラムは明るさの異なる複数の領域からなっている。次にＩＥヒストグラムをこれら複数の領域に分割する。

分割の方法を説明する。各露出値における輝度ヒストグラムを複数のクラスに分割し、この操作を全ての露出値における輝度ヒストグラムに適用する。各露出値におけるヒストグラムの分割は、例えば公知の判別分析法を用いる。これはヒストグラムを二つのクラスに分割する処理を再帰的に繰り返すものである。ここでは、ある輝度値で分割を行なった場合に、分割後の二つのクラス内の分散が最小で、かつ、クラス間の分散が最大となるような二つのクラスに分割を行なう。クラス内分散とクラス間分散の比が小さくなった場合に分割を打ち切る。

図５（ａ）において、ある露出値Ｅhistにおけるヒストグラムを図５（ｂ）に示す。判別分析法による分割を複数回繰り返すことによって、ヒストグラムはＲa〜Ｒdまでの四つの領域に分割される。このような処理を全てのＥhistについて行なうと、分割位置は連続的に変化するため、図５（ａ）においてＲa〜Ｒdはそれぞれ直線Ｌab，Ｌbc，Ｌcdによって分割される。実際にはこのように明瞭に分割されないことも多いが、その場合には、判別分析法によるヒストグラム分割における分割打ち切り条件に、分割する領域数の最大値を決めておいたり、また、分割後に領域の統合処理を行なうなどの手法により、明瞭に分割をすることが可能である。

次に、分割された各領域について、コントラストを最大とするような露出値を求める。すると図５（ｃ）に示すように、Ｒa〜Ｒdに対応する最適な露出値Ｅra〜Ｅrdが決定される。コントラストの計算式は公知の方法を用いる。例えば、領域内の画素の輝度値の最大値および最小値をそれぞれmax,minとすると、コントラストＣは以下の式で表される。

Ｃ＝（max−min）／（max＋min）
最後に各領域Ｒa〜Ｒdに属する画素を露出Ｅra〜Ｅrdに対応する輝度値に設定する。画像中の全ての画素は領域Ｒa〜Ｒdのどれかに必ず属するので、全ての画素に対してこの輝度値変換が適用される。その結果、画面の各領域において領域内のダイナミックレンジを保存したまま、全体のコントラストを上げることができる。

図６に本実施形態の処理手順を示す。Ｓ６０１〜Ｓ６０５までの処理はＳ４０１〜Ｓ４０５までの処理と同一である。以下、第１の実施形態と異なる部分についてのみ説明する。

Ｓ６０５までの処理で、ＥＩヒストグラムが作成される。次にＳ６０６において、ＥＩヒストグラムの分割を行なう。ヒストグラムの分割終了後、Ｓ６０７において分割した各領域に最適な露出値を求める。次にＳ６０８において画像変換を行ない、画素を最適化された輝度値に変更する。以上の処理は全体制御部２−５において、前述した方法にもとづいて行なわれる。最後にＳ６０９において、合成結果を表示装置２−２に表示する。

最後にＳ６１０，Ｓ６１１の処理はＳ４０９，Ｓ４１０の処理を同一であるため詳しい説明は省略する。終了指示があれば処理を終了し、なければ処理を続ける。

以上述べた方法により、ＥＩヒストグラムを領域分割し、分割した領域を単位として最適な露出パラメータを設定することで、部分領域のコントラストを減ずることなく、画面全体で明度が最適化された画像を生成することができる。

明度補正処理の目的および効果を説明する模式図。 本発明の第１の実施の形態の概略構成図。 本発明の第１の実施の形態における明度補正の原理。 本発明の第１の実施の形態における明度補正の処理手順。 本発明の第２の実施の形態における明度補正の原理。 本発明の第２の実施の形態における明度補正の処理手順。

Claims (14)

1. 画像を撮影する手段を用いて、露出パラメータを変化させて撮影した複数の画像データにもとづいて明度補正を行ない、画面全体において最適なコントラストを持つ画像を生成する明度補正手段を持つこと、を特徴とする明度補正画像生成装置。
2. 前記明度補正手段とは、複数の露出パラメータで撮影した画像の露出−輝度ヒストグラムにおいて、前記露出−輝度ヒストグラムを分断する曲線として表現される仮想ヒストグラムを設定し、前記仮想ヒストグラムに対応する画像を生成する画像生成手段を持つこと、を特徴とする請求項１に記載の明度補正画像生成装置。
3. 前記仮想ヒストグラムとは、前記露出−輝度ヒストグラムにおいて、輝度値の分散が最大となるような直線として表現されること、を特徴とする請求項２に記載の明度補正画像生成装置。
4. 前記仮想ヒストグラムとは、前記露出−輝度ヒストグラムにおいて、露出値および輝度値が撮影可能な最小露出値と撮影可能な最大輝度値である点と、露出値および輝度値が撮影可能な最大露出値と撮影可能な最小輝度値である点とを結んだ直線によって表現されること、を特徴とする請求項２に記載の明度補正画像生成装置。
5. 前記仮想ヒストグラムとは、前記露出−輝度ヒストグラムにおいて、露出値が、露出値を最小値から増加したときに観測した最大輝度値が観測可能な最大輝度値に到達したときの露出値であり、輝度値が観測可能な最大輝度値である点と、露出値が、露出値を最大値から減少したときに観測した最小輝度値が観測可能な最小輝度値に到達したときの露出値であり、輝度値が観測可能な最小輝度値である点とを結んだ直線によって表現されること、を特徴とする請求項２に記載の明度補正画像生成装置。
6. 前記仮想ヒストグラムとは、前記露出−輝度ヒストグラムを複数の領域に分割し、分割したヒストグラム領域を単位として最適な露出値を設定するような直線と、その直線集合を接続する曲線とからなること、を特徴とする請求項２に記載の明度補正画像生成装置。
7. 前記最適な露出値とは、分割したヒストグラム領域において、露出値一定の輝度ヒストグラムを想定したときに、この部分ヒストグラムによって示される輝度値のコントラストが最大となるような露出値を決定すること、を特徴とする請求項６に記載の明度補正画像生成装置。
8. 画像を撮影する工程を用いて、露出パラメータを変化させて撮影した複数の画像データにもとづいて明度補正を行ない、画面全体において最適なコントラストを持つ画像を生成する明度補正工程を持つこと、を特徴とする明度補正画像生成方式。
9. 前記明度補正工程とは、複数の露出パラメータで撮影した画像の露出−輝度ヒストグラムにおいて、前記露出−輝度ヒストグラムを分断する曲線として表現される仮想ヒストグラムを設定し、前記仮想ヒストグラムに対応する画像を生成する画像生成手段を持つこと、を特徴とする請求項１に記載の明度補正画像生成方式。
10. 前記仮想ヒストグラムとは、前記露出−輝度ヒストグラムにおいて、輝度値の分散が最大となるような直線として表現されること、を特徴とする請求項２に記載の明度補正画像生成方式。
11. 前記仮想ヒストグラムとは、前記露出−輝度ヒストグラムにおいて、露出値および輝度値が撮影可能な最小露出値と撮影可能な最大輝度値である点と、露出値および輝度値が撮影可能な最大露出値と撮影可能な最小輝度値である点とを結んだ直線によって表現されること、を特徴とする請求項２に記載の明度補正画像生成方式。
12. 前記仮想ヒストグラムとは、前記露出−輝度ヒストグラムにおいて、露出値が、露出値を最小値から増加したときに観測した最大輝度値が観測可能な最大輝度値に到達したときの露出値であり、輝度値が観測可能な最大輝度値である点と、露出値が、露出値を最大値から減少したときに観測した最小輝度値が観測可能な最小輝度値に到達したときの露出値であり、輝度値が観測可能な最小輝度値である点とを結んだ直線によって表現されること、を特徴とする請求項２に記載の明度補正画像生成方式。
13. 前記仮想ヒストグラムとは、前記露出−輝度ヒストグラムを複数の領域に分割し、分割したヒストグラム領域を単位として最適な露出値を設定するような直線と、その直線集合を接続する曲線とからなること、を特徴とする請求項２に記載の明度補正画像生成装置。
14. 前記最適な露出値とは、分割したヒストグラム領域において、露出値一定の輝度ヒストグラムを想定したときに、この部分ヒストグラムによって示される輝度値のコントラストが最大となるような露出値を決定すること、を特徴とする請求項６に記載の明度補正画像生成方式。

Images