JP2002247361A

JP2002247361A - 画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記録した記録媒体

Info

Publication number: JP2002247361A
Application number: JP2001037763A
Authority: JP
Inventors: Yuki Asano; 由紀浅野
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-02-14
Filing date: 2001-02-14
Publication date: 2002-08-30
Anticipated expiration: 2021-02-14
Also published as: JP4154128B2

Abstract

(57)【要約】【課題】不適切な露出状態で撮影された画像の主被写
体を適切な明るさに補正することができる画像処理装置
を提供する。【解決手段】取り込んだ自然画像データを最適露出状
態の画像データに補正することができる画像処理装置に
おいて、判定部１０２が、取り込まれた画像データにつ
いて少なくとも逆光シーンのデータか夜間撮影シーンの
データかそれ以外のデータかを判別し、逆光シーンのデ
ータまたは夜間撮影シーンのデータであると判別された
場合、背景データを取り除いて露出状態を判定し、露出
補正部１０３がその判定結果に基づいて異なった画像補
正を行うように構成した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラや
フィルムスキャナなどに用いることができる画像処理装
置に係わり、特に、逆光で取り込んだり、夜間に取り込
んだ画像データを最適露出状態の画像データに補正する
ことができる画像処理装置に関する。

【０００２】

【従来の技術】近年、パーソナルコンピュータ、インタ
ーネット、家庭用プリンタなどの普及、およびハードデ
ィスクなどの記憶容量の大容量化により、デジタルデー
タで写真画像を扱う機会が増えている。それに伴い、デ
ジタル写真画像データ（以下、単に画像データと称す
る）の入力手段としてデジタルカメラやフィルムスキャ
ナなどが一般に使用されるようになった。前記におい
て、デジタルカメラには撮影時の露出を常に最適に保つ
ための自動露出制御装置が設けられている。露出制御方
式には、種々の方法があるが、光量検出のため、画面を
複数の適当な領域に分割し、領域ごとに重み付けを行い
加重平均を取り、絞りやシャッタスピードなどを調節す
る方法が一般的で、単に画面全体の加重平均を取る方式
は平均測光方式、中央部を重点的に測光する方式は、中
央重点測光方式と呼ばれる。しかし、これらの露出制御
方式は各社様々であり、撮影条件によって適正に作動し
ない場合もあり、完全なものはない。とりわけ、主被写
体の真後ろに光源があって背景と主被写体との輝度差が
大きい逆光状態では被写体に露出があわないと背景の明
るさに引っ張られて露出がマイナスに補正され、被写体
が暗く写ってしまう。また、夜間のストロボ撮影では、
被写体にストロボ光が当たることが前提になるため、絞
りやシャッタスピードは既定値に固定される。つまり、
ストロボと被写体の距離が遠すぎると光が届かず、この
場合も被写体は暗く写ってしまう。あるいは、元々被写
体自体が暗かったり明るかったりすると、露出自体は適
正であっても、露出不良に見える場合もある。人間は周
囲の明るさに脳が順応して見ているが、カメラでは入っ
てきた輝度をそのまま記録することがその原因である。

【０００３】このようなデジタル画像の撮影時における
不適切な露出状態に対応するため、画像データを自動的
に露出補正する技術も多数提案されている。なお、露出
補正とは、シーンに対して不適切な明るさを持つ被写体
をシーンに適した明るさに調節することを意味する。例
えば露出不足で全体に暗い被写体や、逆光で暗くなって
いる被写体を明るくしたり、露出オーバーな被写体を暗
くしたりすることである。カメラでの露出補正は、レン
ズに入る入射光量を調節するために絞りやシャッタスピ
ードを変える方法が一般的である。また、プリンタやデ
ィスプレイでは、入出力変換関数等を用いて入力信号の
明るさに対し出力信号の明るさを最適化するための処理
等を意味する。例えば、特開昭59-65835号公報に示され
た写真画像濃度情報収録方式では、ネガフィルム等の写
真画像において、周辺（四つ角）からべたを除くことで
背景を除去し主被写体部分の情報を得る。しかし、この
特開昭59-65835号公報に示された従来技術では、シーン
に関わらず一律にべた部を除去するので、背景ではない
部分をも除去してしまう恐れがあり、主被写体部分を高
精細に切り離すことができない。

【０００４】また、特開平06-189186号公報に示された
方法では、画像データの明るさに対する頻度分布を平均
値を境界に双方２段階、合計４段階に区分してそれぞれ
の段階に属するデータの数（出現頻度）を求め、暗い方
に区分した２段階のうち明るい区分の出現頻度が他の区
分におけるそれよりも大きいときに逆光シーンと判定
し、暗い方のレベルを相対的に高めるような補正を行
う。しかし、この特開平06-189186号公報に示された従
来技術では、頻度情報のみから逆光判定を行うので、逆
光シーンでなくても頻度分布の形が同様である場合に誤
判定する。また、特開平11-202378号公報に示された従
来技術では、画像データの明るさに対する頻度分布を4
段階に区分し頻度を求める一方、画像は中心を最大値と
して同心円状に重み係数を持つ。頻度と重み係数より、
どの段階が重要な明るさかを評価し、逆光、過順光、背
景の平坦な画像、および順光のシーンのいずれに属する
かの判定を行い、露出を制御する。しかし、この特開平
11-202378号公報に示された従来技術では、画像中の被
写体の大きさや位置により露出が適切か否かの結果が左
右され、被写体が小さい場合や、中央に位置しない場合
に誤判定する。また、特開平12-134467号公報に示され
た画像処理装置では、画像データの明るさに対する頻度
分布のピーク領域の数、ピーク両端の輝度値、およびダ
イナミックレンジにより、入力画像を露出オーバー、ア
ンダー、標準露出、および逆光などその他の露出状態に
分類する。露出オーバー、アンダー、標準露出の場合は
固定LUTによる補正を行い、その他の場合は最も低輝度
に分布する頻度分布を高輝度域にシフトする補正を行
う。しかし、特開平12-134467号公報に示された従来技
術では、頻度分布のピーク情報を用いてシーン判別を行
うので、画像中の被写体が小さいと主被写体部分のピー
クが現れず、誤判定する。また、シーン判別が正しく行
われても、主被写体部分が適正露出か否かの判定は行わ
れない。

【０００５】

【発明が解決しようとする課題】前記したように、従来
技術においては、不適切な露出状態で撮影された画像の
主被写体を適切な明るさに補正し得ていない。本発明の
目的は、このような従来技術の問題を解決して、不適切
な露出状態で撮影された画像の主被写体を適切な明るさ
に補正することができる画像処理装置を提供することに
ある。

【０００６】

【課題を解決するための手段】前記の課題を解決するた
めに、請求項１記載の発明では、取り込んだ自然画像デ
ータを最適露出状態の画像データに補正することができ
る画像処理装置において、取り込まれた画像データにつ
いて少なくとも逆光シーンのデータか夜間撮影シーンの
データかそれ以外のデータかを判別するシーン判別手段
と、そのシーン判別手段により逆光シーンのデータまた
は夜間撮影シーンのデータであると判別された場合、背
景データを取り除いて露出状態を判定する被写体露出判
定手段と、その被写体露出判定手段の判定結果に基づい
て異なった画像補正を行う補正手段とを備えた。また、
請求項２記載の発明では、請求項１記載の発明におい
て、画素単位に分解された、明るさを示す各画像データ
を少なくとも２段階以上に区分した複数の明るさレベル
のいずれかに振り分け、最暗部レベルまたは最明部レベ
ルに振り分けられた出現割合を求める第１の出現割合算
出手段と、前記最暗部レベルまたは最明部レベルに振り
分けられた個数中に占める、画像端部の所定領域に属す
る個数の割合を求める第２の出現割合算出手段とを備
え、前記第１の出現割合算出手段の算出値と第２の出現
割合算出手段の算出値とからシーン判別を行うようにシ
ーン判別手段を構成した。

【０００７】また、請求項３記載の発明では、請求項１
記載の発明において、画素単位に分解された、明るさを
示す各画像データを少なくとも２段階以上に区分した複
数の明るさレベルのいずれかに振り分け、逆光シーンで
あると判定された場合、少なくとも、前記複数の明るさ
レベルのうちの最明部レベルを除くレベルに対応する画
像データの明るさ分布から、主被写体の明るさが適切か
否かを判定するように被写体露出判定手段を構成した。
また、請求項４記載の発明では、請求項１記載の発明に
おいて、画素単位に分解された、明るさを示す各画像デ
ータを少なくとも２段階以上に区分した複数の明るさレ
ベルのいずれかに振り分け、夜間撮影シーンであると判
定された場合、少なくとも、前記複数の明るさレベルの
うちの最暗部レベルを除くレベルに対応する画像データ
の明るさ分布から、主被写体の明るさが適切か否かを判
定するように被写体露出判定手段を構成した。

【０００８】また、請求項５記載の発明では、請求項１
記載の発明において、逆光シーンまたは夜間撮影シーン
における主被写体の明るさが不適切だった場合、主被写
体の明るさ近傍部の画像データを補正するように補正手
段を構成した。また、請求項６記載の発明では、請求項
１記載の発明において、逆光シーンでもなく、夜間撮影
シーンでもない場合に、画素単位に分解された画像デー
タの明るさに対する頻度分布を算出する頻度分布算出手
段と、前記頻度分布の偏り度合いを求める偏り度合い算
出手段とを備え、前記偏り度合い算出手段により偏り度
合いを求めたとき、頻度分布が偏って分布している場合
には、より平坦化する方向に画像データを補正するよう
に補正手段を構成した。また、請求項７記載の発明で
は、取り込んだ自然画像データを最適露出状態の画像デ
ータに補正することができる画像処理方法において、取
り込まれた画像データについて少なくとも逆光シーンの
データか夜間撮影シーンのデータかそれ以外のデータか
を判別し、逆光シーンのデータまたは夜間撮影シーンの
データであると判別された場合、背景データを取り除い
て露出状態を判定し、その判定結果に基づいて異なった
画像補正を行う構成にした。また、請求項８記載の発明
では、プログラムを記憶した機械読み取り可能な記録媒
体において、請求項７記載の画像処理方法を実施するた
めのプログラムを記録した。

【０００９】

【発明の実施の形態】以下、図面により本発明の実施の
形態を詳細に説明する。図１は本発明の各実施の形態の
画像処理システムを示す概略構成図、図２はその具体例
を示す構成図である。図１に示したように、この画像処
理システムは、画像入力装置１００、画像処理装置１０
１、および画像出力装置１０４を備え、画像処理装置１
０１は判定部１０２および露出補正部１０３を備える。
そして、画像入力装置１００は写真などをマトリックス
状の画素として表した実写の画素数分の画像データを画
像処理装置１０１に出力する。画像処理装置１０１は各
種画像処理を行うとともに、判定部１０２においてシー
ン判別および被写体露出判定を行い、露出補正部１０３
において露出補正を行う。また、画像出力装置１０４
は、画像処理した画像データをドットマトリクス状の画
素で出力する。なお、画像入力装置１００には、図２に
おけるフィルムスキャナ２００およびデジタルカメラ２
０１、あるいはビデオカメラ２０２などが該当し、画像
処理装置１０１には、コンピュータ２１０、ハードディ
スク２０３、キーボード２０４、ＣＤ−ＲＯＭドライブ
２０５、フロッピー（登録商標）ディスクドライブ２０
６、およびモデム２０７などからなるコンピュータシス
テムが該当し、画像出力装置１０４には、インクジェッ
トプリンタなどのプリンタ２０９やディスプレイ２０８
が該当する。前記モデム２０７は公衆通信回線に接続さ
れ、外部のネットワークを介してソフトウェアやデータ
をダウンロードして導入することも可能である。また、
本発明の実施の形態の場合、画像データとしては写真な
どの実写データが適している。

【００１０】一方、コンピュータ２１０内にはオペレー
ティングシステム２１２が稼動しており、プリンタやデ
ィスプレイに対応したプリンタドライバ２１４やディス
プレイドライバ２１３が組み込まれている。また、画像
処理アプリケーション２１１はオペレーティングシステ
ムにより処理の実行を制御され、必要に応じてプリンタ
ドライバやディスプレイドライバと連携し所定の画像処
理を実行する。よって、画像処理装置としてこのコンピ
ュータの役割は、ＲＧＢ（赤，緑，青）の階調データを
入力して最適な画像処理を施したＲＧＢの階調データを
作成し、ディスプレイドライバを介してディスプレイに
表示させるとともに、プリンタドライバを介してＣＭ
Ｙ，もしくはＣＭＹＫの２値データに変換してプリンタ
に印刷させることになる。また、前記した、判定部１０
２におけるシーン判別および被写体露出判定、露出補正
部１０３における露出補正は、具体的には前記コンピュ
ータ２１０内において例えば図３に示した第１の実施の
形態のフローチャートに対応した画像処理プログラムに
より行っている。

【００１１】以下、図３に示すフローチャートを参照し
ながら画像処理装置１０１で行われる第１の実施の形態
の画像処理について説明する。まず、判定部１０２が画
像データのシーン判別を行う（３０１）。光源が主被写
体の真後ろに存在する『逆光シーン』か、夜間にストロ
ボなどを用いて撮影した『夜間撮影シーン』か、それと
もそれらのいずれにも属さない『その他』のシーンであ
るかを判別するのである。例えば、画像周辺部と中央部
の輝度差を閾値と比較したり、輝度頻度分布の２極化の
形状から逆光シーンを判別することができる。また、エ
ッジ情報から主被写体領域を判別し、主被写体部分の明
るさと全体の明るさを比較するなどによって夜間撮影シ
ーンを判別することもできる。また、後述する方法を用
いてもよい。シーン判別の結果、対象画像が『逆光シー
ン』または『夜間撮影シーン』であった場合、主被写体
と背景との輝度差が大きいので、画像全体で露出を判定
しても正しい結果が得られない。よって、判定部１０２
が、まず主被写体を特定するために余分な領域を取り除
く（３０２）。例えば、逆光シーンの場合は背景が高輝
度白色光であることに注目し、そのような条件を満たす
画像端部からの連続画素を削除する。また、夜間撮影シ
ーンの場合、背景は暗闇であることが多いことから閾値
を設け、同様に端部からの連続画素を排除すればよい。
また、端部から隣接画素間の差分と閾値を比較する方法
などもある。主被写体領域が特定したら次に、露出補正
部１０３が、明度や輝度中央値などの統計的な評価値を
用いて主被写体が適切な明るさを持つか否かを判定する
（３０３）。予め設定した評価値と主被写体の明度や輝
度とを比べて判定するのである。例えば、j番目の画素
(j=0,1,2,...N,N：総画素数)の輝度:Y(j)は以下の式で
表せる。 Y(j) = 0.299・R(j) + 0.587・G(j) + 0.114・B(j) … (1) なお、R(j)，G(j)，B(j) は入力された画像データから
得られる。また、シーンが逆光や夜景撮影に属さない
『その他』の場合は、画像全体が主被写体であるとみな
し、必要であれば同様の方法で適正露出か否かを調べる
ことができる。

【００１２】主被写体の明るさが適切でなかった場合、
つまり露出が適切でなかった場合、次に、露出補正部１
０３が明るさ補正を行う（３０４）。明るさ補正の方法
には、例えば後述するトーンカーブによる方法を用い
る。また、被写体の露出が適切だった場合、明るさ補正
は行わない。なお、逆光シーンや夜間撮影シーンの判別
法としては、前記の方法以外にも様々な方法が提案され
ているがその方法についてはいずれの方法であってもよ
い。また、主被写体を特定するために背景を取り除く方
法についても前記の例以外に様々な方法が提案されてい
るがこれにはこだわらない。また、主被写体が適切な明
るさを持つか否かの判定にも前記の例以外にさまざまな
方法が提案されているがこれにはこだわらない。中央値
等の統計値を求める際には必ずしも全画素の情報を使う
必要はなく、間引きなどをして得た情報を使用しても良
い。また、明るさ補正にも、種々の方法が提案されてい
るがこれにはこだわらない。いずれにせよ、画像が逆光
や夜間撮影シーンのように背景と主被写体の明るさが著
しく異なっている場合は背景を取り除いて主被写体部分
を抽出して、適正露出か否かの判断を行い、必要であれ
ば明るさ補正を行うことにより、画質を向上させること
ができる。

【００１３】次に、図４に従って本発明の第２の実施の
形態について説明する。この実施の形態の方法で、画像
データが逆光か夜間撮影か、そのいずれにも属さないシ
ーンであるかを判別する方法を説明する前に、まず、各
シーンが撮影される状況を述べる。最初に、逆光シーン
では、主被写体の真後ろに光源があり、背景と主被写体
との輝度差が大きい状態で撮影される。このような状況
では、背景の明るさに引っ張られて露出がマイナスに補
正されるので、主被写体が暗く写ってしまう。つまり、
明るさに対する輝度頻度分布を取ると分布は明と暗とに
２極化している。また、夜間撮影シーンは、夜景と人物
が一緒に写っている場合もあるが、基本的に背景は暗闇
であり背景に対して主被写体は明るい。以上の撮影状況
を考慮すると、画像の平均的な明るさに比べて、逆光な
ら極端に明るい背景が存在しかつ明るさに対する頻度分
布が２極化しており、夜間撮影なら極端に暗い背景があ
ると考えられる。よって、［条件１］画像の平均的な明るさに比べて、極端に明る
い部分、もしくは極端に暗い部分が、所定の閾値（割
合）以上あるか［条件２］前記条件を満たすとき、極端に明るい部分、
もしくは暗い部分のほとんどは画像端部にあるか［条件３］逆光画像の可能性がある場合、輝度分布は明
と暗とに２極化しているかを調べればよい。

【００１４】そこで、まず画像の平均的な明るさに比
べ、極端に明るい部分もしくは暗い部分を抽出するため
に、画像データの明るさ、例えば輝度レベルを４段階に
区分し、各レベルについて、以下に定義した各レベルに
属する画像データの出現回数H(i)(i=0,1,2,3)を求める
（４０２）。輝度レベル0以上63未満のレベルをレベル0とし、出現回数をH(0)とする。輝度レベル64以上127未満 ⇒ レベル1とし、出現回数をH(1)とする。輝度レベル128以上191未満⇒ レベル2とし、出現回数をH(2)とする。輝度レベル192以上255未満⇒ レベル3とし、出現回数をH(3)とする。 … (2)

【００１５】次に、総画素数Nに対し、最暗部、もしく
は最明部レベルの出現頻度割合（第１の出現頻度割合）
P1(i)(i=0,3)を算出する（４０３）。 P1(i) = (H(i)/N)×100 (%) … (3) また、出現頻度割合P1(i)のうち、例えば図５に示した
黒領域である画像端部に含まれる出現頻度割合（第２の
出現頻度割合）P2(i)を算出する（４０４）。 P2(i) = (レベルiに属する画素のうち画像端部に含まれる画素数)/H(i) ×100 ( %) … (4) 次に、シーンの判別を行う。例えばレベル0の頻度割合
が全体の画素に対して60％以上を占め、かつレベル0の7
0％以上が画像端部に存在している場合（４０５でＹｅ
ｓ）、すなわち P1(0)>60 && P2(0)>70 のとき、『夜間撮影シーン』とみなす（４０７）。

【００１６】また、例えばレベル3の頻度が全体の画素
に対して15％以上を占め、かつレベル0とレベル3の頻度
の合計が60％以上を占め、かつレベル3の70％以上が画
像端部に存在している場合（406でYes）、すなわち P1(3)>15 && P1(0)+P1(3)>60 && P2(3)>70 のとき、『逆光シーン』とみなす（４０８）。そして、
前記のいずれの条件も満たさなかった場合『その他のシ
ーン』とする（４０９）。なお、前記においては、明る
さに対する情報として輝度を用いたが、明度やG（緑）
信号を用いてもよく、これにはこだわらない。また、頻
度分布のコントラスト調節を行った後に区分化を行って
もよい。また、頻度分布の区分化方法や段階数（レベル
数）、画像端部領域のとり方は前記以外にも考えられ、
これにはこだわらない。また、シーン判別のためのパー
センテージは前記以外の数字であってもよい。いずれに
せよ、画像の平均的な明るさに比べて極端に明るい背景
が存在し、頻度分布が２極化しているのであれば、逆光
シーンとみなし、極端に暗い背景が存在しているのであ
れば夜間撮影シーンであるとみなすシーン判別方法を用
いることにより、被写体の大きさや位置に左右されな
い、高精細なシーン判別を行うことができる。

【００１７】次に、本発明の第３の実施の形態について
説明する。この実施の形態では、第２の実施の形態にお
いて、画像データが逆光シーンと判別された場合、例え
ば区分後の最明部であるレベル3に属する部分を背景と
みなし、露出判定対象から除く。なお、レベル3に属す
る領域のみを背景とみなす代わりに、レベル3とレベル
2、またはレベル3からレベル1に属する領域を背景とみ
なしてもよい。また、主被写体が適正露出であるか否か
の判定は、例えば以下のように行う。逆光シーンの場
合、人間の肌に相当する部分は最暗部であるレベル0に
属さない可能性が多い。よって、レベル3とレベル0を除
いた領域を主被写体部分とみなし、輝度中央値が120以
上であれば適正露出とし、120以下の場合は露出不足と
する。いずれにせよ、この実施の形態では、逆光シーン
に対し背景部分を除いて主被写体部分の露出を判定する
ことにより、高精細に被写体露出の適性を判定すること
ができる。

【００１８】次に、本発明の第４の実施の形態について
説明する。この実施の形態では、第２の実施の形態にお
いて、画像データが夜間撮影シーンと判別された場合、
例えば区分後の最暗部であるレベル0に属する領域を背
景とみなし露出判定対象から除く。なお、レベル0に属
する領域のみを背景とみなす代わりにレベル0とレベル
1、またはレベル0からレベル2に属する領域を背景とみ
なしてもよい。また、主被写体が適正露出であるか否か
の判定は、例えば輝度中央値が80以上であれば適正露出
とし、80以下の場合は露出不足とする。いずれにせよ、
この実施の形態では、夜間撮影シーンに対し背景部分を
除いて主被写体部分の露出を判定することにより、高精
細に被写体露出の適性を判定することができる。

【００１９】本発明の第５の実施の形態では、第３およ
び第４の実施の形態において、主被写体が露出不良（露
出不足）の場合、補正を行う。以下、図６に従って、ト
ーンカーブf1(x)を用いた場合についてこの実施の形態
を説明する。まず、図６（ａ）に示すように、輝度頻度
分布における主被写体領域に対応する入力域(入力値Aか
らBまで)を抽出し、AB間で入出力値特性の傾きが1もし
くはそれ以上を保ちつつ明るさが補正されるように出力
値(A'からB')を決める。例えば、 A' = A×1.2 かつ、直線の傾き1.1 のように設定する。

【００２０】次に、原点，A'，B'，および出力最大値Ma
x_outを結び、カーブ形状を決定する（図６（ｂ））。
そして、カーブ形状が決定したら、以下のような変換を
行う。まず、入力輝度値Y1(j)(j=1,2,....N) に対して
トーンカーブ変換後の出力輝度値Y2(j)を算出し、露出
補正係数C(j) を以下の式で算出する。次に、入力信号(R1(j),G1(j),B1(j)) を以下の式で変換
し、露出補正を行う。 (R2(j),G2(j),B2(j)) = C2(j)・(R1(j),G1(j),B1(j)) … (6) なお、この例では傾きの異なる直線を用いてトーンカー
ブ形状を決定したが、スプラインなどの曲線を用いて決
定してもよく、これにはこだわらない。また、前記した
例では、端点を含めた4点を通るカーブで構成している
が、節点の数にはこだわらない。例えば夜間撮影では背
景が明るくならないほうが良い場合もあるので、このよ
うな場合は、図６（ｄ）のようにシャドー側に節点を複
数設定し、シャドー部の出力レベルが変わらないように
設定することもできる。また、トーンカーブ補正の結
果、ハイライトの階調性が失われる恐れがあればハイラ
イト側に節点を複数設定し、ハイライトの階調が保たれ
るように設定することもできる。いずれにせよ、前記の
ようにして、背景と主被写体の明るさが異なり、かつ主
被写体の露出が不適切な場合、主被写体近傍の明るさを
補正する処理を行うことにより、画質を向上させること
ができる。

【００２１】次に、図７に従って、本発明の第６の実施
の形態について説明する。この実施の形態では、第２の
実施の形態において、画像データが逆光および夜間撮影
以外のシーンと判別された場合、それは被写体と背景の
間に著しい輝度差がない状態、すなわち、順光で撮影さ
れた適正露出か、何らかの理由で露出アンダー、もしく
はオーバーなシーンであると考える。適正露出画像の場
合、輝度頻度はレベル全域にわたって比較的均等に分
布、もしくはガウス分布している。しかし、露出アンダ
ーの場合は低レベル側に、また露出オーバーの場合は高
レベル側に頻度分布の重心が偏る。図７（ａ）に露出ア
ンダーシーンの頻度分布を示す。このような場合には、
まず式1を用いて輝度などの明るさに対する頻度分布を
算出する。そして、頻度分布の偏り度合いを算出する。
なお、偏り度合いの評価値としては、中央値や分布の対
照性を表す歪度等を用いればよい。ここで、歪度Zは以
下の式で算出される。 Z = (1/N)Σ((Y(j)/ave(Y(j))/S(Y(j)))^3 … (7) ただし、Nは総画素数であり、Σの和はj=1からNについ
てとる。また、ave(Y(j))はY(j)の平均値、S(Y(j))は標
準偏差である。中央値を評価値にした場合、例えば50以
下で露出アンダー、200以上で露出オーバーとする。ま
た、歪度を評価値にした場合は、0.5以上で露出アンダ
ー、-0.5以下で露出オーバーとする。

【００２２】次に、前記で算出した偏り度合いが大きく
なるにつれて頻度分布が平坦化するように画像データの
補正を行う。以下にトーンカーブf2(i)を用いた補正方
法の実施の形態を説明する。例えば、f2(i)は累積頻度
分布I(i)(i=0,1,2,....255)を用いて以下のように設定
できる。 f2(i) = i + α(Z)×I(i) … (8) ただし、α(Z)は歪度で求まる関数とし、頻度分布の偏
り度合いが小さいと0に近づき、大きいほど高い値をと
る。また、露出アンダーの場合はα(Z)＞0、オーバーの
場合はα(Z)＜0、をとる。また、累積頻度分布I(i)にお
ける累積値はi=0からｘについてとる。

【００２３】トーンカーブを用いた補正方法は式(3)、
(4)の方法と同様にできる。露出アンダー画像の輝度分
布から作成されたトーンカーブと、補正後の輝度分布を
図７（ｂ）、図７（ｃ）に示す。図７（ｃ）では露出ア
ンダー画像が補正されている。なお、前記においては、
頻度分布の偏り度合いに中央値や歪度を用いたが、種々
の方法が考えられ、これにはこだわらない。また、中央
値等の統計値を求める際には必ずしも全画素の情報を使
う必要はなく、間引きなどをして得た情報を使用しても
よい。また、前記においては、累積頻度分布を用いてト
ーンカーブ形状を決定したが、種々の方法が考えられこ
れにはこだわらない。いずれにせよ、この実施の形態で
は、背景と主被写体の明るさが同程度の場合において、
露出アンダーなど、頻度分布が偏っている場合のみそれ
を平滑化する処理を行うことにより、画質を向上させる
ことができる。以上、本発明の画像処理方法を図１の構
成の場合で説明したが、これまで説明したような画像処
理方法に従ってプログラミングしたプログラムを例えば
着脱可能な記憶媒体に記憶させ、その記憶媒体をこれま
で本発明によった画像処理を行えなかった例えばパーソ
ナルコンピュータのようなコンピュータシステムに装着
することにより、そのコンピュータシステムにおいても
本発明によった画像処理を行うことができる。

【００２４】

【発明の効果】以上説明したように、請求項１および請
求項７記載の発明では、取り込んだ自然画像データを最
適露出状態の画像データに補正することができる画像処
理装置において、取り込まれた画像データについて少な
くとも逆光シーンのデータか夜間撮影シーンのデータか
それ以外のデータかが判別され、逆光シーンのデータま
たは夜間撮影シーンのデータであると判別された場合に
は、背景データを取り除いて露出状態が判定され、その
判定結果に基づいて異なった画像補正が行われるので、
不適切な露出状態で撮影された画像の主被写体を適切な
明るさに補正することができる。また、請求項２記載の
発明では、請求項１記載の発明において、画素単位に分
解された、明るさを示す各画像データが少なくとも２段
階以上に区分した複数の明るさレベルのいずれかに振り
分けられ、最暗部レベルまたは最明部レベルに振り分け
られた出現割合が求められ、前記最暗部レベルまたは最
明部レベルに振り分けられた個数中に占める、画像端部
の所定領域に属する個数の割合が求められ、求められた
２つの割合からシーン判別が行われるので、請求項１記
載の発明の効果を容易に実現することができる。

【００２５】また、請求項３記載の発明では、請求項１
記載の発明において、画素単位に分解された、明るさを
示す各画像データが少なくとも２段階以上に区分した複
数の明るさレベルのいずれかに振り分けられ、逆光シー
ンであると判定された場合、少なくとも、前記複数の明
るさレベルのうちの最明部レベルを除くレベルに対応す
る画像データの明るさ分布から、主被写体の明るさが適
切か否かが判定されるので、判定精度が向上し、逆光で
撮影された画像の主被写体をより適切な明るさに補正す
ることができる。また、請求項４記載の発明では、請求
項１記載の発明において、画素単位に分解された、明る
さを示す各画像データが少なくとも２段階以上に区分し
た複数の明るさレベルのいずれかに振り分けられ、夜間
撮影シーンであると判定された場合、少なくとも、前記
複数の明るさレベルのうちの最暗部レベルを除くレベル
に対応する画像データの明るさ分布から、主被写体の明
るさが適切か否かが判定されるので、判定精度が向上
し、夜間に撮影された画像の主被写体をより適切な明る
さに補正することができる。また、請求項５記載の発明
では、請求項１記載の発明において、逆光シーンまたは
夜間撮影シーンにおける主被写体の明るさが不適切だっ
た場合、主被写体の明るさ近傍部の画像データが補正さ
れるので、画質を向上させることができる。また、請求
項６記載の発明では、請求項１記載の発明において、逆
光シーンでもなく、夜間撮影シーンでもない場合に、画
素単位に分解した画像データの明るさに対する頻度分布
が算出され、前記頻度分布の偏り度合いが求められ、頻
度分布が偏って分布している場合には、より平坦化する
方向に画像データが補正されるので、同様に、画質を向
上させることができる。また、請求項８記載の発明で
は、請求項７記載の画像処理方法に従ってプログラミン
グしたプログラムが例えば着脱可能な記憶媒体に記憶さ
れるので、その記憶媒体をこれまで請求項７記載の発明
によった画像処理を行えなかったコンピュータシステム
に装着することにより、そのコンピュータシステムにお
いても請求項７記載の発明の効果を得ることができる。

【図面の簡単な説明】

【図１】本発明の各実施の形態の画像処理装置を含む画
像処理システムを示す概略構成図である。

【図２】本発明の各実施の形態の画像処理システムの具
体例を示す構成図である。

【図３】本発明の第１の実施の形態を示す画像処理装置
のフローチャートである。

【図４】本発明の第２の実施の形態を示す画像処理装置
のフローチャートである。

【図５】本発明の第２の実施の形態を示す画像処理装置
の説明図である。

【図６】本発明の第５の実施の形態を示す画像処理装置
の説明図である。

【図７】本発明の第６の実施の形態を示す画像処理装置
の説明図である。

【符号の説明】

１００：画像入力装置１０１：画像処理装置１０２：判定部１０３：露出補正部１０４：画像出力装置２０１：デジタルカメラ２１０：コンピュータ

フロントページの続きＦターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE09 CE11 CH18 DA20 DB02 DB06 DB09 DC23 5C022 AA13 AB06 AB15 AB19 5C077 LL19 PP15 PP25 PP52 PP53 PP61 PP65 PQ12 PQ19 TT09 5L096 AA02 AA06 BA07 CA02 EA35 FA14 FA37 FA54 GA28 GA43 JA18 JA24 MA03

Claims

【特許請求の範囲】

【請求項１】取り込んだ自然画像データを最適露出状
態の画像データに補正することができる画像処理装置に
おいて、取り込まれた画像データについて少なくとも逆
光シーンのデータか夜間撮影シーンのデータかそれ以外
のデータかを判別するシーン判別手段と、そのシーン判
別手段により逆光シーンのデータまたは夜間撮影シーン
のデータであると判別された場合、背景データを取り除
いて露出状態を判定する被写体露出判定手段と、その被
写体露出判定手段の判定結果に基づいて異なった画像補
正を行う補正手段とを備えたことを特徴とする画像処理
装置。
【請求項２】請求項１記載の画像処理装置において、
画素単位に分解された、明るさを示す各画像データを少
なくとも２段階以上に区分した複数の明るさレベルのい
ずれかに振り分け、最暗部レベルまたは最明部レベルに
振り分けられた出現割合を求める第１の出現割合算出手
段と、前記最暗部レベルまたは最明部レベルに振り分け
られた個数中に占める、画像端部の所定領域に属する個
数の割合を求める第２の出現割合算出手段とを備え、前
記第１の出現割合算出手段の算出値と第２の出現割合算
出手段の算出値とからシーン判別を行うようにシーン判
別手段を構成したことを特徴とする画像処理装置。
【請求項３】請求項１記載の画像処理装置において、
画素単位に分解された、明るさを示す各画像データを少
なくとも２段階以上に区分した複数の明るさレベルのい
ずれかに振り分け、逆光シーンであると判定された場
合、少なくとも、前記複数の明るさレベルのうちの最明
部レベルを除くレベルに対応する画像データの明るさ分
布から、主被写体の明るさが適切か否かを判定するよう
に被写体露出判定手段を構成したことを特徴とする画像
処理装置。
【請求項４】請求項１記載の画像処理装置において、
画素単位に分解された、明るさを示す各画像データを少
なくとも２段階以上に区分した複数の明るさレベルのい
ずれかに振り分け、夜間撮影シーンであると判定された
場合、少なくとも、前記複数の明るさレベルのうちの最
暗部レベルを除くレベルに対応する画像データの明るさ
分布から、主被写体の明るさが適切か否かを判定するよ
うに被写体露出判定手段を構成したことを特徴とする画
像処理装置。
【請求項５】請求項１記載の画像処理装置において、
逆光シーンまたは夜間撮影シーンにおける主被写体の明
るさが不適切だった場合、主被写体の明るさ近傍部の画
像データを補正するように補正手段を構成したことを特
徴とする画像処理装置。
【請求項６】請求項１記載の画像処理装置において、
逆光シーンでもなく、夜間撮影シーンでもない場合に、
画素単位に分解された画像データの明るさに対する頻度
分布を算出する頻度分布算出手段と、前記頻度分布の偏
り度合いを求める偏り度合い算出手段とを備え、前記偏
り度合い算出手段により偏り度合いを求めたとき、頻度
分布が偏って分布している場合には、より平坦化する方
向に画像データを補正するように補正手段を構成したこ
とを特徴とする画像処理装置。
【請求項７】取り込んだ自然画像データを最適露出状
態の画像データに補正することができる画像処理方法に
おいて、取り込まれた画像データについて少なくとも逆
光シーンのデータか夜間撮影シーンのデータかそれ以外
のデータかを判別し、逆光シーンのデータまたは夜間撮
影シーンのデータであると判別された場合、背景データ
を取り除いて露出状態を判定し、その判定結果に基づい
て異なった画像補正を行うことを特徴とする画像処理方
法。
【請求項８】請求項７記載の画像処理方法を実施する
ためのプログラムを記憶したことを特徴とする記録媒
体。