JP2007011430A

JP2007011430A - 逆光画像判定および暗部補正

Info

Publication number: JP2007011430A
Application number: JP2005187684A
Authority: JP
Inventors: Yasushi Hiraoka; 靖平岡
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2005-06-28
Filing date: 2005-06-28
Publication date: 2007-01-18
Anticipated expiration: 2025-06-28
Also published as: JP4784175B2

Abstract

【課題】逆光画像を高精度に検出する。
【解決手段】入力画像データＤｐについての各画素の輝度Ｙを算出して（Ｓ１００）、その輝度Ｙについての輝度ヒストグラムを算出する（ステップＳ１１０）。次いで、輝度ヒストグラムから累積ヒストグラムを算出して（ステップＳ１２０）、その累積ヒストグラムに基づいて、入力画像データＤｐが逆光画像であるか否かの判定を行なう（ステップＳ１３０）。
【選択図】図３

Description

本発明は、撮影画像が逆光画像であるか否かを判定する技術と、撮影画像の暗部を補正する技術に関する。

従来、コンピュータでは、画像処理ソフトウェアを使えば、取り込んだ画像データを加工・編集することが容易にできる。これら加工の一つとして、明るさ補正がある。例えば、デジタルカメラで撮影した写真画像が、逆光画像である場合に、暗部を適正な明るさに補正することで、逆光画像を補正することができる。逆光画像とは、背景に太陽、あるいは照明やライトといった光源等が存在するような環境下で被写体を撮影したことにより、被写体が暗くなった画像をいう。

逆光画像を補正するには、入力画像が逆光画像であるか否かをまず判定することが好ましい。この判定を行なう技術として、輝度ヒストグラムを用いて行なうものが提案されている（例えば、下記の特許文献１）。

特開２００４−２００８０８号公報

逆光画像は、明るすぎる部分と暗すぎる部分とが画像全体の大きな領域を占め、明るさが中間である領域の面積が狭いという特徴がある。このために、逆光画像の輝度ヒストグラムは、輝度の高い領域と低い領域とに度数の高い山があり、その間（中間領域）に度数の低い平坦な部分がある形になる。特許文献１では、その中間領域に度数の高い部分が存在するか否かから、逆光画像の判定を行なっている。

しかしながら、上述した輝度ヒストグラムから逆光画像を判定する技術では、逆光画像を逆光画像でないと誤判定する場合が多く、判定精度が悪いという問題があった。写真画像は、逆光画像であっても、暗部となった被写体とそうでない部分とが必ずしも明確に分離しておらず、上記の中間領域において横幅の短い山部が存在することも多い。この場合に、中間領域に度数の高い部分が存在するとして、逆光画像でないと誤判定してしまうためである。

本発明の解決しようとする課題は、逆光画像を高精度に検出することにある。

前述した課題の少なくとも一部を解決するための手段として、以下に示す構成をとった。

本発明の逆光画像判定装置は、
撮影画像が逆光画像であるか否かを判定する逆光画像判定装置であって、
前記撮影画像を表わす画像データを取得する画像データ取得手段と、
前記取得された画像データから、前記画像データを構成する画素毎の明るさを示す階調値を算出する階調値算出手段と、
前記算出された画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出する累積ヒストグラム算出手段と、
前記算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像が逆光画像であるか否かの判定を行なう判定手段と
を備えることを特徴としている。

上記構成の逆光画像判定装置によれば、明るさについての累積ヒストグラムを算出して、その累積ヒストグラムにおける累積度数の変化に基づいて、撮影画像が逆光画像であるか否かの判定を行なっている。例えばヒストグラムにおいて、明るさの高い領域と低い領域との間の中間領域に例え横幅の短い山部が存在したとしても、累積ヒストグラムにその山部が与える影響は極めて小さいことから、上記横幅の短い山部に起因して逆光画像の判定を誤ることがない。したがって、逆光画像を高精度に検出することができるという効果を奏する。

前記階調値算出手段は、前記画素毎の輝度についての階調値を、前記明るさを示す階調値として算出する構成とすることができる。

この構成によれば、輝度についての累積ヒストグラムに基づいて逆光画像の判定を行なうことができる。

前記判定手段は、前記累積ヒストグラムにおける明るさの高い領域と低い領域との間の中間領域に注目して、前記中間領域における階調値に対する累積度数の上昇率を検出する上昇率検出手段と、前記検出された上昇率が、予め定められた所定値を超えるか否かを判定する上昇率判定手段と、前記上昇率判定手段の判定結果に基づいて、前記撮影画像が逆光画像であるか否かの判定を行なう手段とを備える構成としてもよい。

この構成によれば、ヒストグラムにおいて中間領域が平坦となっているかを累積ヒストグラムにより容易に判定することができる。また、ヒストグラムにおいて中間領域に横幅の短い山部が存在する場合に、累積ヒストグラムにあって累積度数の急激な上昇は生じないことから、上昇率判定手段は確実に否定と判定とする。このために、逆光画像をより高精度に検出することができる。

前記上昇率検出手段は、前記中間領域に階調値の幅が所定値である対象区間を指定して、前記対象区間の始まりと終わりの累積度数の差分を前記上昇率として算出する差分算出手段と、前記中間領域の階調値の低い側から高い側へ前記対象区間を移動する対象区間移動手段とを備える構成としてもよい。

この構成によれば、中間領域と対象区間を適切な大きさに実験的に定めることで、様々な画像についての逆光の判定が可能となる。したがって、逆光画像をより高精度に判定することができる。

前記中間領域に対象区間を指定した構成の逆光画像判定装置において、前記中間領域は、前記累積ヒストグラムにおける前記階調値の取り得る範囲を４等分したときの内側の２つの部分に相当し、前記対象区間は、前記４等分によって得られる１つの部分と等しい幅である構成としてもよい。

この構成によれば、対象区間についての設計が容易である。

本発明の暗部補正装置は、
撮影画像の暗部を補正する暗部補正装置であって、
前記撮影画像を表わす画像データを取得する画像データ取得手段と、
前記取得された画像データから、前記画像データを構成する画素毎の明るさを示す階調値を算出する階調値算出手段と、
前記算出された画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出する累積ヒストグラム算出手段と、
前記算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像の逆光の度合いを算出する逆光度算出手段と、
前記画像データを構成する各画素の明るさを、前記算出された逆光の度合いに基づいて補正する明るさ補正手段と
を備えることを特徴としている。

上記構成の暗部補正装置によれば、明るさについての累積ヒストグラムを算出して、その累積ヒストグラムにおける累積度数の変化に基づいて、撮影画像の逆光の度合いを算出して、撮影画像を表わす画像データを構成する各画素の明るさを、前記算出された逆光の度合いに基づいて補正している。例えばヒストグラムにおいて、明るさの高い領域と低い領域との間の中間領域に例え横幅の短い山部が存在したとしても、累積ヒストグラムにその山部が与える影響は極めて小さいことから、上記横幅の短い山部に起因して逆光の度合いを誤って算出することがない。このために、撮影画像の逆光の度合いを高精度に算出することができ、この結果、明るさ補正手段による補正が適正なものとなる。したがって、撮影画像の暗部を適正に補正することができるという効果を奏する。

前記逆光度算出手段は、前記累積ヒストグラムにおける明るさの高い領域と低い領域との間の中間領域に注目して、前記中間領域における階調値に対する累積度数の上昇率を検出する上昇率検出手段と、前記検出された上昇率に基づいて、前記逆光の度合いを算出する手段とを備える構成としてもよい。

この構成によれば、ヒストグラムにおける中間領域の平坦の度合いを累積ヒストグラムにより容易に算出することができる。また、ヒストグラムにおいて中間領域に横幅の短い山部が存在する場合に、累積ヒストグラムにあって累積度数の急激な上昇は生じないことから、算出される逆光の度合いは適正なものとなる、したがって、撮影画像の暗部をより適正に補正することができる

前記暗部補正装置において、前記累積ヒストグラム算出手段により算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像が逆光画像であるか否かの判定を行なう判定手段を備え、前記判定手段により前記撮影画像が逆光画像であると判定されたときに限り、前記逆光度算出手段と明るさ補正手段とを実行させるよう構成してもよい。

この構成によれば、撮影画像が逆光画像であるか否かを高精度に判定した上で、逆光画像と判定されたものに限り、撮影画像の明るさの補正が行なわれることから、より確実に撮影画像の暗部を補正することができる。

本発明の逆光画像判定方法は、
撮影画像が逆光画像であるか否かを判定する逆光画像判定方法であって、
前記撮影画像を表わす画像データを取得して、
前記取得された画像データから、前記画像データを構成する画素毎の明るさを示す階調値を算出して、
前記算出された画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出して、
前記算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像が逆光画像であるか否かの判定を行なう
ことを特徴としている。

本発明の第１のコンピュータプログラムは、
撮影画像が逆光画像であるか否かを判定するためのコンピュータプログラムであって、
前記撮影画像を表わす画像データを取得する機能と、
前記取得された画像データから、前記画像データを構成する画素毎の明るさを示す階調値を算出する階調値算出手段と、
前記算出された画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出する機能と、
前記算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像が逆光画像であるか否かの判定を行なう機能と、
をコンピュータに実現させるためのコンピュータプログラムである。

本発明の暗部補正方法および第１のコンピュータプログラムによっても、本発明の逆光画像判定装置と同様に、逆光画像を高精度に検出することができるという効果を奏する。

本発明の暗部補正方法は、
撮影画像の暗部を補正する暗部補正方法であって、
前記撮影画像を表わす画像データを取得する画像データ取得手段と、
前記撮影画像を表わす画像データを取得して、
前記取得された画像データから、前記画像データを構成する画素毎の明るさを示す階調値を算出して、
前記算出された画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出して、
前記算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像の逆光の度合いを算出して、
前記画像データを構成する各画素の明るさを、前記算出された逆光の度合いに基づいて補正する
ことを特徴としている。

本発明の第２のコンピュータプログラムは、
撮影画像の暗部を補正するコンピュータプログラムであって、
前記撮影画像を表わす画像データを取得する機能と、
前記取得された画像データから、前記画像データを構成する画素毎の明るさを示す階調値を算出する階調値算出手段と、
前記算出された画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出する機能と、
前記算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像の逆光の度合いを算出する機能と、
前記画像データを構成する各画素の明るさを、前記算出された逆光の度合いに基づいて補正する機能と
をコンピュータに実現させるためのコンピュータプログラムである。

本発明の暗部補正方法および第２のコンピュータプログラムによっても、本発明の暗部補正装置と同様に、撮影画像の暗部を適正に補正することができるという効果を奏する。

本発明の記録媒体は、本発明の第１または第２のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体を特徴としている。この記録媒体は、この発明の各コンピュータプログラムと同様な作用・効果を有している。

本発明は、以下のような他の態様も含んでいる。その第１の態様は、この発明の第１または第２のコンピュータプログラムを通信経路を介して供給するプログラム供給装置としての態様である。この第１の態様では、第１または第２のコンピュータプログラムをコンピュータネットワーク上のサーバなどに置き、通信経路を介して、必要なプログラムをコンピュータにダウンロードし、これを実行することで、上記の方法や装置を実現することができる。

その第２の態様は、この発明の逆光画像判定装置、暗部補正方法、逆光画像判定方法、暗部補正方法、第１のコンピュータプログラムまたは第２のコンピュータプログラムにおける「画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出する」構成を、「画素毎の階調値に基づいて、各階調区間における画素数を示すヒストグラムを算出して、前記算出されたヒストグラムから、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出する」構成とした態様である。

本発明を実施するための最良の形態を実施例に基づき説明する。この実施例を、次の順序に従って説明する。
Ａ．装置の構成：
Ｂ．コンピュータ処理：
Ｂ−１．処理の全体：
Ｂ−２．暗部補正処理：
Ｃ．作用・効果：
Ｄ．他の実施形態：

Ａ．装置の構成：
図１は、本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。この実施例のコンピュータシステムは、本発明の暗部補正装置を構成するパーソナルコンピュータ１０を中心に備え、その周辺装置として、ディスプレイ２０とキーボード２２とマウス２４を備える。さらに、パーソナルコンピュータ１０には、デジタルカメラ２６とＣＤドライブ２８とプリンタ２９が接続されている。マウス２４は、トラックボール、トラックパッド、タブレット等の他のポインティングデバイスに換えることができる。

パーソナルコンピュータ１０は、中央演算処理装置としてのＣＰＵ１１を中心にバス１２により相互に接続されたメモリ１３、表示画像メモリ１４、ハードディスクドライブ１５、入力制御ユニット１６、表示制御ユニット１７、出力制御ユニット１８等を備える。メモリ１３は、各種データ等を記憶するもので、ＣＰＵ１１の作業領域となる。表示画像メモリ１４は、ディスプレイ２０に表示する画像の画像データを一旦記憶するメモリである。

ハードディスクドライブ１５は、暗部補正装置のソフトウェアとしてのコンピュータプログラムＰｒを記憶する。また、ハードディスクドライブ１５には、画像データＤｐが１または複数記憶されている。画像データＤｐは、デジタルカメラ２６によって撮影した撮影画像の画像データであり、ハードディスクドライブ１５の所定の領域（例えば、ホルダ）に格納されている。撮影画像は、カラー画像である。

入力制御ユニット１６は、キーボード２２やマウス２４から入力操作を取り込み、デジタルカメラ２６から画像データを取り込み、ＣＤドライブ２８からデータを取り込む制御ユニットである。表示制御ユニット１７は、ディスプレイ２０への信号出力を制御する制御ユニットである。出力制御ユニット１８は、プリンタ２９への印刷を制御する制御ユニットである。

コンピュータプログラムＰｒは、もともとは、記録媒体としてのＣＤ−ＲＯＭ（図示せず）に記憶されている。そのＣＤ−ＲＯＭをＣＤドライブ２８にセットして、所定のインストールプログラムを起動することで、コンピュータプログラムＰｒをＣＤ−ＲＯＭから読み出してハードディスクドライブ１５にインストールすることができる。このコンピュータプログラムＰｒをＣＰＵ１１が実行することにより、本発明の暗部補正装置の各種構成要件は実現される。

図１では、各種構成要件が、ＣＰＵ１１の内部で実現される機能のブロックによって示されている。すなわち、ＣＰＵ１１は、画像データ取得部３１、階調値算出部３２、累積ヒストグラム算出部３３、判定部３４、逆光度算出部３５および明るさ補正部３６を機能として備える。このコンピュータプログラムＰｒは、実際は、デジタルカメラ２６で撮影した撮影画像を修整するフォトレタッチ用のアプリケーションプログラムであり、その中の一部のモジュールによって、上述した各部３１〜３６の機能をパーソナルコンピュータ１０に実現させる。

なお、コンピュータプログラムＰｒは、ＣＤ−ＲＯＭに替えて、フレキシブルディスク、光磁気ディスク、ＩＣカード等の他の携帯型記録媒体（可搬型記録媒体）に格納された構成として、これらから提供されたものとすることができる。また、このコンピュータプログラムＰｒは、外部のネットワークに接続される特定のサーバから、ネットワークを介して提供されたものとすることもできる。上記ネットワークとしては、インターネットであってもよく、特定のホームページからダウンロードして得たコンピュータプログラムであってもよい。あるいは、電子メールの添付ファイルの形態で供給されたコンピュータプログラムであってもよい。

Ｂ．コンピュータ処理：
Ｂ−１．処理の全体：
このコンピュータプログラムＰｒを起動すると、まず、ディスプレイ２０にアプリケーションウィンドウが表示される。このアプリケーションウィンドウは、グラフィカル・ユーザ・インタフェース（ＧＵＩ）を構成している。

図２は、アプリケーションウィンドウＷＤの一例を示す説明図である。図示するように、アプリケーションウィンドウＷＤの左側の処理メニュー欄ＭＮには、［入力］、［修整］、［印刷］、［出力］の４種類のボタンＢＴ１，ＢＴ２，ＢＴ３，ＢＴ４が、下方に向かって順に並んでおり、操作者は、これらボタンＢＴ１〜ＢＴ４を順にマウス２４によりクリックしていくことで、ＣＲＴディスプレイ１２の画面上で、デジタルカメラ２６で撮影した撮影画像を取り込み、修整して、出力する作業を進めていくことができる。

操作者は、まず、［入力］のボタンＢＴ１をクリックすることで、ハードディスクドライブ１５から画像データＤｐを取り込む処理を行なう。なお、ここでは、ハードディスクドライブ１５に換えて、デジタルカメラ２６から直接画像データを取り込む構成や、ＤＶＤ等の他の記憶媒体から画像データを取り込む構成に換えることができる。この取り込んだ画像データ（以下、「入力画像データ」と呼ぶ）Ｄｐは、アプリケーションウィンドウＷＤの作業フィールドＦＤＷに表示される。なお、この入力画像データＤｐを取り込む処理が、画像データ取得部３１に対応する。

その後、操作者は、［修整］のボタンＢＴ２をクリックすることで、上記取り込んだ入力画像データＤｐの修整を行なう。図２は、［修整］のボタンＢＴ２がクリックされたときのものである。図示するように、アプリケーションウィンドウＷＤのメニューバーＭＢには、［ファイル］、［コースメニュー］、［編集］、［表示］、［修整］、［修復・加工］等のボタンが設けられている。［修整］のボタンをクリックすることにより、入力画像データＤｐに対して、回転やトリミングを行なったり、明度や彩度などの色補正を行なうことができる。図中には、［修復・加工］のボタンをクリックしたときに開くプルダウンメニューＤＭが示されている。操作者は、［修復・加工］のボタンをクリックし、プルダウンメニューＤＭから所望の選択肢をクリックすることにより、入力画像データＤｐに対して、「ピンボケ補正」や「逆光補正」等を行なうこともできる。

Ｂ−２．暗部補正処理：
上記「逆光補正」が、本発明に関わるものである。プルダウンメニューＤＭの［逆光補正］の選択肢がクリックされたときに実行される暗部補正処理について、以下、詳細に説明する。

図３は、ＣＰＵ１１により実行される暗部補正処理を示すフローチャートである。プルダウンメニューＤＭの［逆光補正］の選択肢がクリックされて、処理が開始されると、ＣＰＵ１１は、まず、上記取り込んだ入力画像データＤｐについての各画素の輝度Ｙを算出する処理を行なう（ステップＳ１００）。詳細には、次式に基づいてＹ（輝度）を演算する。

Ｙ＝0.2990Ｒ＋0.5870Ｇ＋0.1140Ｂ ...（１）

式（１）の計算後、入力画像データＤｐを構成する各画素のＲＧＢ値がそれぞれ８ビット（０〜２５５）の場合、式（１）で得られたＹは、０以上２５５以下の階調値になるように整数化される。なお、本実施例では式（１）によってＹを得ているが、高速化等のため例えば次の式（２）のような近似式を使うようにしてもよい。

Ｙ＝（３Ｒ＋６Ｇ＋Ｂ）／１０ ...（２）

なお、入力画像データＤｐの全画素について式（１）によって輝度Ｙを算出するのではなく、間引き処理によって適度にサンプリングされた画素について輝度を算出するのであっても構わない。あるいは、入力画像データＤｐに対して適度に縮小処理を施して、縮小画像の全画素に対して式（１）を適用し輝度を算出するのであっても良い。いずれにしろ、入力画像データＤｐで表わされる画像の一部の領域を抽出するのではなく、画像全体から一様に抽出した画素を用いて輝度を算出する構成とすることができる。

次いで、ＣＰＵ１１は、ステップＳ１００で算出された各画素の輝度Ｙについてのヒストグラム（度数分布）を算出する処理を行なう（ステップＳ１１０）。詳細には、ステップＳ１００で算出された各画素の輝度Ｙに基づいて、０〜２５５の階調毎の画素数を求めて、横軸に階調値（輝度Ｙ）を取り、縦軸に度数（画素数）を取った輝度ヒストグラムを作成する。輝度ヒストグラムにより、入力画像データＤｐの画素毎の輝度Ｙについての度数分布の状況が表わされる。なお、この実施例では、横軸の１区間を１階調としてヒストグラムが作成されているが、必ずしも１区間を１階調とする必要はなく、例えば、１区間を５階調というように１区間の幅を複数階調とすることもできる。

続いて、ＣＰＵ１１は、ステップＳ１１０で算出した輝度ヒストグラムから累積ヒストグラムを算出する処理を行なう（ステップＳ１２０）。詳細には、輝度Ｙを表わす各階調値において０階調からの度数の累積和（累積度数）を求めることにより累積ヒストグラムを算出する。横軸に階調値（輝度Ｙ）を取り、縦軸に累積度数（画素数）を取った輝度ヒストグラムを作成する。横軸の１区間（本発明でいう「階調区間」に相当する）は、輝度ヒストグラムと同じ１区間である。なお、輝度ヒストグラムと同様に１区間の幅を複数階調とすることもできる。

図４は、ステップＳ１１０で算出された輝度ヒストグラムを示すグラフである。図中、実線は、入力画像データＤｐが逆光写真である場合のもので、破線は、入力画像データＤｐが順光の適正露出である場合のものである。図５は、ステップＳ１２０で算出された累積ヒストグラムを示すグラフである。図中、実線は、入力画像データＤｐが逆光写真である場合のもので、破線は、入力画像データＤｐが順光の適正露出である場合のものである。

図４に示すように、逆光で撮影された画像の場合、その画像の輝度ヒストグラムは、明るい領域（輝度Ｙの階調値が２５５付近の領域）と暗い領域（輝度Ｙの階調値が０付近の領域）とに度数の高い山があり、その間（以下、中間領域と呼ぶ）に度数の低い平坦な部分がある。その累積ヒストグラムでは、図５に示すように、上記明るい領域と暗い領域に、累積度数の変化が大きい部分があり、上記中間領域は、変化が小さくほとんど平坦な部分となっている。

一方、順光の適正露出である画像の場合、輝度ヒストグラムは、図４中の破線に示すように、上記明るい領域と暗い領域とに度数はほとんどなく、上記中間領域に、度数の高い山がある。その累積ヒストグラムでは、図５中の破線に示すように、上記中間領域は、上昇率が大きく傾きの大きなものとなっている。

図３に戻り、ステップＳ１２０の実行後、ＣＰＵ１１は、ステップＳ１２０で算出された累積ヒストグラムにおける累積度数の変化に基づいて、逆光画像であるか否かを判定する逆光画像の判定処理を実行する（ステップＳ１３０）。

図６は、逆光画像の判定処理の詳細を示すフローチャートである。この逆光画像の判定処理は、ステップＳ１２０で算出された累積ヒストグラムが、図５に示した逆光画像である場合の特徴、すなわち、中間領域は上昇率が小さくほとんど平坦な部分となっているという特徴を満たすか否かから判定を行なうものである。

図示するように、逆光画像の判定処理に処理が移行すると、ＣＰＵ１１は、まず、初期設定として、逆光判定フラグＦを値０にクリアするとともに、変数ｉに値６４をセットする（ステップＳ２００，Ｓ２１０）。次いで、ＣＰＵ１１は、累積ヒストグラムから、変数ｉに値６３を加えた値を輝度Ｙとする累積度数ＨＣ［ｉ＋６３］と、変数ｉを輝度Ｙとする累積度数ＨＣ［ｉ］とを求めて、累積度数ＨＣ［ｉ＋６３］から累積度数ＨＣ［ｉ］を引いた差分△ＨＣを求める（ステップＳ２２０）。例えば、変数ｉがステップ２１０でセットされた値６４である場合、ステップＳ２２０の演算は、△ＨＣ＝ＨＣ［１２７］−ＨＣ［６４］となる。この△ＨＣを図５に示した。

次いで、ＣＰＵ１１は、ステップＳ２２０で求めた差分△ＨＣが、所定値ｄ０以下であるか否かを判定する処理を行なう（ステップＳ２３０）。所定値ｄ０は、予め定められたもので、例えば、輝度Ｙの階調値が値２５５の場合の累積度数ＨＣ［２５５］の１２．５％である。なお、累積度数ＨＣ［２５５］は、輝度ヒストグラムの度数の総和である。ステップＳ２３０で、差分△ＨＣが所定値ｄ０以下であると判定された場合には、ＣＰＵ１１は、逆光判定フラグＦに値１をセットして判定結果が「逆光」である旨を記憶して（ステップＳ２４０）、その後、「リターン」に処理を進めて、このルーチンを抜ける。

一方、ステップＳ２３０で、差分△ＨＣが所定値ｄ０以下でないと判定された場合には、ＣＰＵ１１は、変数ｉを値１だけインクリメントして（ステップＳ２５０）、その変数ｉが値１２９を越えているか否かを判定する（ステップＳ２６０）。ここで、ＣＰＵ１１が、変数ｉが値１２９を越えていないと判定された場合には、ステップＳ２２０に処理を戻して、ステップＳ２２０以降の処理を繰り返し実行する。ステップＳ２２０以降の処理では、ステップＳ２５０で値１だけインクリメントされた変数ｉに基づいて処理が行なわれることになる。すなわち、図５で示した階調値６４〜１２７の幅６４である対象区間（差分ΔＨＣを求める対象となる区間）△Ｙが、輝度の大きい側に値１ずつ順に移動して、それぞれの場合にステップＳ２２０〜Ｓ２６０の処理が実行されることになる。

一方、ステップＳ２６０で、変数ｉが値１２９を越えていると判定された場合には、ＣＰＵ１１は、「リターン」に抜けてこのルーチンの処理を一旦終了する。すなわち、変数ｉが値１２９である場合、対象区間△Ｙ′（図５参照）は、階調値１２９〜１９２の区間となることから、この区間まで、ステップＳ２３０で差分△ＨＣが所定値ｄ０以下と判定されなかった場合には、「リターン」に処理を進めて、このルーチンを抜ける。

以上のように構成された逆光画像の判定処理によれば、ステップＳ１２０で算出された輝度についての累積ヒストグラムにおいて、階調値６４から１９２までの範囲（この範囲が中間領域に対応する）内において幅６４の対象区間△Ｙを左から順に右方向に値１ずつ順に移動して、その度に対象区間△Ｙでの累積度数の差分△ＨＣを求めて、その累積度数の差分△ＨＣが一度でも所定値ｄ０以下となった場合に、入力画像データＤｐは逆光画像であるとの判定結果を得る。一方、その累積度数の差分△ＨＣが一度も所定値ｄ０以下とならなかった場合には、入力画像データＤｐは逆光画像でないとの判定結果を得る。

図３に戻り、ステップＳ１３０の逆光画像の反転処理を終えると、次いで、ＣＰＵ１１は、ステップＳ１３０で実行された逆光画像の判定処理により求められたフラグＦが値１であるか否かを判定することにより、入力画像データＤｐが逆光画像であるか否かを判定する（ステップＳ１４０）。ここで、フラグＦが値１でない、すなわち、入力画像データＤｐが逆光画像でないと判定された場合には、「リターン」に抜けてこの暗部補正処理を終了する。一方、ステップＳ１４０でフラグＦが値１である、すなわち、入力画像データＤｐが逆光画像であると判定された場合には、ステップＳ１５０に処理を進める。ステップＳ１５０では、ＣＰＵ１１は、逆光画像における逆光の度合いを示す逆光度合い係数ＣＥを算出する逆光度合い係数算出処理を実行する。

図７は、逆光度合い係数算出処理の詳細を示すフローチャートである。図示するように、この逆光度合い係数算出処理に処理が移行すると、ＣＰＵ１１は、まず、累積ヒストグラムから、輝度Ｙ＝１９２に対応する累積度数ＨＣ［１９２］と、輝度Ｙ＝６４に対応する累積度数ＨＣ［６４］を求めて、累積度数ＨＣ［１９２］から累積度数ＨＣ［６４］を引いた差分ＤＣ１２８を求める（ステップＳ３００）。次いで、ＣＰＵ１１は、所定値ｄ１をステップＳ３００で求められた差分ＤＣ１２８で割って得られた答えを、逆光度合い係数ＣＥとして記憶する（ステップＳ３１０）。ここで、所定値ｄ０は、予め定められたもので、例えば、輝度Ｙの階調値が値２５５の場合の累積度数ＨＣ［２５５］の２５％である。

ステップＳ３１０の実行後、ＣＰＵ１１は、ステップＳ３１０で求められた逆光度合い係数ＣＥが値１．０を超えるか否かを判定して（ステップＳ３２０）、超えると判定された場合には、逆光度合い係数ＣＥを値１．０に制限する（ステップＳ３３０）。その後、「リターン」に処理を進めて、このルーチンを抜ける。

図３に戻り、ステップＳ１５０の逆光度合い係数算出処理を終えると、次いで、ＣＰＵ１１は、ステップＳ１５０で算出された逆光度合い係数ＣＥに基づいてトーンカーブを求める処理を行なう（ステップＳ１６０）。トーンカーブは、画像内の入力に対する出力の濃度変化（ここでは、輝度の変化）を表わしたカーブであり、メモリ１３に、逆光度合い係数ＣＥに応じたトーンカーブを表わすマップデータが予め記憶されている。

図８は、６種類のトーンカーブＴ０〜Ｔ５をまとめて表わすグラフである。第１のトーンカーブＴ０は、入力と出力とを等しくするものである。第２のトーンカーブＴ１は、入力における輝度Ｙが低い側（０〜約１５０）の値を増大するものであり、第３のトーンカーブＴ２、第４のトーンカーブＴ３、第５のトーンカーブＴ４、第６のトーンカーブＴ５となるほど、その増大の幅が大きくなっている。この実施例では、メモリ１３に上記６種類のトーンカーブＴ０〜Ｔ５が予め記憶されており、ステップＳ１５０で算出された逆光度合い係数ＣＥが値０である場合には第１のトーンカーブＴ０が、逆光度合い係数ＣＥが値０より大きく値０．１以下である場合には第２のトーンカーブＴ１が、逆光度合い係数ＣＥが値０．１より大きく値０．３以下である場合には第３のトーンカーブＴ２が、逆光度合い係数ＣＥが値０．３より大きく値０．５以下である場合には第４のトーンカーブＴ３が、逆光度合い係数ＣＥが値０．５より大きく値０．８以下である場合には第５のトーンカーブＴ４が、逆光度合い係数ＣＥが値０．８より大きく値１．０以下である場合には第６のトーンカーブＴ５がそれぞれ選択される。

なお、この実施例では、トーンカーブの種類を６種類としたが、この数に限る必要はない。例えば、逆光度合い係数ＣＥの小数点第２位までの値毎にトーンカーブを用意して合計１０１種類としてもよい。また、この実施例では、予めトーンカーブを示すマップデータをメモリ１３に記憶するようにしていたが、逆光度合い係数ＣＥに応じてトーンカーブが定まる計算式を予め用意して、ステップＳ１５０で算出された逆光度合い係数ＣＥの値を上記計算式に代入することでトーンカーブが算出される構成としてもよい。

図３に戻り、ステップＳ１６０の実行後、ＣＰＵ１１は、入力画像データＤｐの各画素の明るさを、ステップＳ１６０で求められたトーンカーブに基づいて補正する処理を行なう（ステップＳ１７０）。トーンカーブは、前述したように、輝度が低い側の値を高くするものであることから、この補正処理によれば、入力画像データＤｐにおける暗部が選択的に明るく補正されることになる。特に、逆光度合い計数ＣＥが大きいほど、その明るくする程度が大きくなっていることから、逆光の度合いが高い暗部に対しては、より明るく補正される。ステップＳ１７０の実行後、この暗部補正処理を終了する。

以上のように構成された暗部補正処理におけるステップＳ１００が階調値算出部３２（図１）に、ステップＳ１１０およびＳ１２０が累積ヒストグラム算出部３３（図１）に、ステップＳ１３０が判定部３４（図１）に、ステップＳ１５０が逆光度算出部３５（図１）に、ステップＳ１６０およびＳ１７０が明るさ補正部３６（図１）にそれぞれ対応する。

Ｃ．作用・効果：
以上のように構成されたこの実施例のコンピュータシステムによれば、輝度についての累積ヒストグラムを算出して、その累積ヒストグラムにおける累積度数の変化に基づいて、入力画像データＤｐが逆光画像であるか否かの判定を行なっている。輝度ヒストグラムにおいて、中間領域に例え横幅の短い山部が存在したとしても、累積ヒストグラムにその山部が与える影響は極めて小さいことから、上記横幅の短い山部に起因して逆光画像の判定を誤ることがない。したがって、逆光画像を高精度に検出することができるという効果を奏する。

また、この実施例では、累積ヒストグラムにおいて、階調値６４から１９２までの中間領域内において幅６４の対象区間△Ｙを左から順に右方向に値１ずつ順に移動して、その度に対象区間△Ｙでの累積度数の差分△ＨＣを求めて、その累積度数の差分△ＨＣが一度でも所定値ｄ０以下となった場合に、入力画像データＤｐは逆光画像であると判定している。この構成によれば、中間領域と対象区間を適切な大きさに実験的に定めることで、様々な画像についての逆光の判定が可能となる。したがって、逆光画像をより高精度に判定することができる。

なお、この実施例では、中間領域と対象区間を前述したように定めたが、こうした大きさに限定されることはない。例えば、中間領域を輝度の階調値３２から１９２までの範囲として、対象区間の幅を４８としてもよい。なお、このときの差分△ＨＣの判定値ｄ０は、累積度数ＨＣ［２５５］の９．２％とするのが好ましい。

さらに、この実施例のコンピュータシステムによれば、輝度についての累積ヒストグラムにおける累積度数の変化に基づいて、撮影画像の逆光の度合いを示す逆光度合い係数ＣＥを算出して、その逆光度合い係数ＣＥに基づいて、明るさを変更するトーンカーブを定め、撮影画像を表わす入力画像データＤｐを上記トーンカーブに基づいて補正している。上述したように、輝度ヒストグラムにおいて、中間領域に例え横幅の短い山部が存在したとしても、累積ヒストグラムにその山部が与える影響は極めて小さいことから、逆光度合い係数ＣＥを誤って算出することがない。このために、トーンカーブは適正なものとなり、そのトーンカーブに基づく明るさの補正も適正なものとなる。したがって、入力画像データＤｐの暗部を適正に補正することができるという効果を奏する。特にトーンカーブによる補正により、入力画像データＤｐにおける暗部が正確に選択されて明るく補正されることになることから、入力画像データＤｐの暗部をより一層適正に補正することができる。

また、この実施例では、上述した手法により、入力画像データＤｐが逆光画像であるか否かの判定を行なった上で、逆光画像であると判定された入力画像データＤｐに対してだけに逆光度合い係数ＣＥに基づく上記の明るさ補正を行なうようにしている。このために、想定外の画像などで逆光度合い係数ＣＥが誤った値に例えなったとしても、逆光画像でない入力画像データＤｐに対して明るさ補正を行なうようなことがない。

Ｄ．他の実施形態：
なお、この発明は上記の実施例や変形例に限られるものではなく、本発明の要旨を逸脱しない範囲において種々なる態様にて実施することが可能であり、例えば次のような変形も可能である。

（１）前記実施例では、逆光画像の判定処理によって入力画像データＤｐが逆光画像であるか否かの判定を行なった上で、逆光画像であると判定された入力画像データＤｐに対してだけに逆光度合い係数ＣＥに基づく明るさ補正を行なうようにしているが、これに換えて、逆光画像の判定処理を行なうことなしに、逆光度合い係数ＣＥに基づく明るさ補正を行なう構成としてもよい。前記実施例における逆光度合い係数算出処理によれば、逆光度合い係数ＣＥは値０にはならないが、これは、逆光画像の判定処理により逆光画像と判定された入力画像データＤｐは、逆光度合い係数算出処理に処理が移行しないためである。この変形例では、明るさ補正がかからないトーンカーブＴ０を選択する条件を、逆光度合い係数ＣＥが例えば値０〜０．０５というように変更することで、逆光画像の判定処理を行なうことなしに、入力画像データＤｐの暗部を適正に補正することができる。

（２）前記実施例では、明るさとして輝度を使っていたが、これに換えて、Ｌ＊ａ＊ｂ＊表示系（ＣＩＥ１９７６）におけるＬ＊を使うようにしてもよい。すなわち、明度指数Ｌ＊を求めて、この明度指数Ｌ＊についてのヒスグラムを算出して、そのヒストグラムから累積ヒストグラムを算出するというようにしてもよい。輝度Ｙおよび明度指数Ｌ＊以外にも、ＨＳＢ表色系におけるＢやＨＳＶ表色系におけるＶ等の明るさを表わす指数ならどのようなものにも本発明は適用することができる。

（３）前記実施例では、累積ヒストグラム算出部３３を、画像データから輝度ヒストグラムを算出して、その算出された輝度ヒストグラムから累積ヒストグラムを算出する構成としていたが、これに換えて、輝度ヒストグラムを算出することなしに、階調値算出部３２により算出された輝度の階調値に基づいて直接、累積ヒストグラムを算出する構成としてもよい。

（４）前記実施例では、逆光画像の判定や逆光の度合いの算出を行なっているが、逆光画像以外にも夜間のストロボ撮影画像等でも逆光画像と同様な暗部が発生する。このため、この実施例では、こうしたストロボ撮影画像についても、判定やその度合いの算出がなされることになる。

（５）前記実施例では、暗部を補正する対象としての入力画像データＤｐは、デジタルカメラ２６により撮影したものとしたが、これに替えて、カラースキャナ等を用いて獲得した銀塩写真の画像データであってもよい。要は、なんらかの撮影装置（例えば、静止画の撮影機能を持ったビデオカメラ）で撮影して得られた撮影画像を獲得する構成であれば、どのような構成であってもよい。例えば、ＨＤＤ１５等の記憶装置に予め用意したものに換えて、ネットワークを介して外部から取り込んだものであってもよい。また、必ずしもカラーの画像データである必要もなく、白黒の画像データに適用することもできる。

本発明の一実施例を適用するコンピュータシステムの概略構成を示す説明図である。アプリケーションウィンドウＷＤの一例を示す説明図である。ＣＰＵ１１により実行される暗部補正処理を示すフローチャートである。ステップＳ１１０で算出された輝度ヒストグラムを示すグラフである。ステップＳ１２０で算出された累積ヒストグラムを示すグラフである。逆光画像の判定処理の詳細を示すフローチャートである。逆光度合い係数算出処理の詳細を示すフローチャートである。６種類のトーンカーブＴ０〜Ｔ５をまとめて表わすグラフである。

符号の説明

１０...パーソナルコンピュータ
１１...ＣＰＵ
１２...バス
１３...メモリ
１４...表示画像メモリ
１５...ハードディスクドライブ
１６...入力制御ユニット
１７...表示制御ユニット
１８...出力制御ユニット
２０...ディスプレイ
２２...キーボード
２４...マウス
２６...デジタルカメラ
２８...ＣＤドライブ
２９...プリンタ
３１...画像データ取得部
３２...階調値算出部
３３...累積ヒストグラム算出部
３４...判定部
３５...逆光度算出部
３６...明るさ補正部
Ｄｐ...入力画像データ
Ｐｒ...コンピュータプログラム
ＷＤ...アプリケーションウィンドウ
Ｔ０〜Ｔ５...トーンカーブ

Claims

撮影画像が逆光画像であるか否かを判定する逆光画像判定装置であって、
前記撮影画像を表わす画像データを取得する画像データ取得手段と、
前記取得された画像データから、前記画像データを構成する画素毎の明るさを示す階調値を算出する階調値算出手段と、
前記算出された画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出する累積ヒストグラム算出手段と、
前記算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像が逆光画像であるか否かの判定を行なう判定手段と
を備える逆光画像判定装置。
請求項１に記載の逆光画像判定装置であって、
前記階調値算出手段は、
前記画素毎の輝度についての階調値を、前記明るさを示す階調値として算出する構成である
逆光画像判定装置。
請求項１または２に記載の逆光画像判定装置であって、
前記判定手段は、
前記累積ヒストグラムにおける明るさの高い領域と低い領域との間の中間領域に注目して、前記中間領域における階調値に対する累積度数の上昇率を検出する上昇率検出手段と、
前記検出された上昇率が、予め定められた所定値を超えるか否かを判定する上昇率判定手段と、
前記上昇率判定手段の判定結果に基づいて、前記撮影画像が逆光画像であるか否かの判定を行なう手段と
を備える逆光画像判定装置。
請求項３に記載の逆光画像判定装置であって、
前記上昇率検出手段は、
前記中間領域に階調値の幅が所定値である対象区間を指定して、前記対象区間の始まりと終わりの累積度数の差分を前記上昇率として算出する差分算出手段と、
前記中間領域の階調値の低い側から高い側へ前記対象区間を移動する対象区間移動手段と
を備える逆光画像判定装置。
請求項４に記載の逆光画像判定装置であって、
前記中間領域は、前記累積ヒストグラムにおける前記階調値の取り得る範囲を４等分したときの内側の２つの部分に相当し、
前記対象区間は、前記４等分によって得られる１つの部分と等しい幅である
逆光画像判定装置。
撮影画像の暗部を補正する暗部補正装置であって、
前記撮影画像を表わす画像データを取得する画像データ取得手段と、
前記取得された画像データから、前記画像データを構成する画素毎の明るさを示す階調値を算出する階調値算出手段と、
前記算出された画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出する累積ヒストグラム算出手段と、
前記算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像の逆光の度合いを算出する逆光度算出手段と、
前記画像データを構成する各画素の明るさを、前記算出された逆光の度合いに基づいて補正する明るさ補正手段と
を備える暗部補正装置。
請求項６に記載の暗部補正装置であって、
前記階調値算出手段は、
前記画素毎の輝度についての階調値を、前記明るさを示す階調値として算出する構成である
暗部補正装置。
請求項６または７に記載の暗部補正装置であって、
前記逆光度算出手段は、
前記累積ヒストグラムにおける明るさの高い領域と低い領域との間の中間領域に注目して、前記中間領域における階調値に対する累積度数の上昇率を検出する上昇率検出手段と、
前記検出された上昇率に基づいて、前記逆光の度合いを算出する手段と
を備える暗部補正装置。
請求項６ないし８のいずれかに記載の暗部補正装置であって、
前記累積ヒストグラム算出手段により算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像が逆光画像であるか否かの判定を行なう判定手段
を備え、前記判定手段により前記撮影画像が逆光画像であると判定されたときに限り、前記逆光度算出手段と明るさ補正手段とを実行させるよう構成した暗部補正装置。
撮影画像が逆光画像であるか否かを判定する逆光画像判定方法であって、
前記撮影画像を表わす画像データを取得して、
前記取得された画像データから、前記画像データを構成する画素毎の明るさを示す階調値を算出して、
前記算出された画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出して、
前記算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像が逆光画像であるか否かの判定を行なう
逆光画像判定方法。
撮影画像の暗部を補正する暗部補正方法であって、
前記撮影画像を表わす画像データを取得する画像データ取得手段と、
前記撮影画像を表わす画像データを取得して、
前記取得された画像データから、前記画像データを構成する画素毎の明るさを示す階調値を算出して、
前記算出された画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出して、
前記算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像の逆光の度合いを算出して、
前記画像データを構成する各画素の明るさを、前記算出された逆光の度合いに基づいて補正する
暗部補正方法。
撮影画像が逆光画像であるか否かを判定するためのコンピュータプログラムであって、
前記撮影画像を表わす画像データを取得する機能と、
前記取得された画像データから、前記画像データを構成する画素毎の明るさを示す階調値を算出する階調値算出手段と、
前記算出された画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出する機能と、
前記算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像が逆光画像であるか否かの判定を行なう機能と、
をコンピュータに実現させるためのコンピュータプログラム。
請求項１２に記載のコンピュータプログラムであって、
前記階調値を算出する機能は、
前記画素毎の輝度についての階調値を、前記明るさを示す階調値として算出する構成である
コンピュータプログラム。
請求項１２または１３に記載のコンピュータプログラムであって、
前記撮影画像が逆光画像であるか否かの判定を行なう機能は、
前記累積ヒストグラムにおける明るさの高い領域と低い領域との間の中間領域に注目して、前記中間領域における階調値に対する累積度数の上昇率を検出する機能と、
前記検出された上昇率が、予め定められた所定値を超えるか否かを判定する機能と、
前記上昇率が所定値を超えるか否かの判定結果に基づいて、前記撮影画像が逆光画像であるか否かの判定を行なう機能と
を備えるコンピュータプログラム。
請求項１４に記載のコンピュータプログラムであって、
前記上昇率を検出する機能は、
前記中間領域に輝度の幅が所定値である対象区間を指定して、前記対象区間の始まりと終わりの累積度数の差分を前記上昇率として算出する機能と、
前記中間領域の輝度の低い側から高い側へ前記対象区間を移動する機能と
を備えるコンピュータプログラム。
撮影画像の暗部を補正するコンピュータプログラムであって、
前記撮影画像を表わす画像データを取得する機能と、
前記取得された画像データから、前記画像データを構成する画素毎の明るさを示す階調値を算出する階調値算出手段と、
前記算出された画素毎の階調値に基づいて、各階調区間における画素数の累積和を累積度数として示す累積ヒストグラムを算出する機能と、
前記算出された累積ヒストグラムにおける累積度数の変化に基づいて、前記撮影画像の逆光の度合いを算出する機能と、
前記画像データを構成する各画素の明るさを、前記算出された逆光の度合いに基づいて補正する機能と
を備えるコンピュータプログラム。
請求項１６に記載のコンピュータプログラムであって、
前記階調値を算出する機能は、
前記画素毎の輝度についての階調値を、前記明るさを示す階調値として算出する構成である
コンピュータプログラム。
請求項１６または１７に記載のコンピュータプログラムであって、
前記逆光の度合いを算出する機能は、
前記累積ヒストグラムにおける明るさの高い領域と低い領域との間の中間領域に注目して、前記中間領域における階調値に対する累積度数の上昇率を検出する機能と、
前記検出された上昇率に基づいて、前記逆光の度合いを算出する機能と
を備えるコンピュータプログラム。
請求項１６ないし１８のいずれかに記載のコンピュータプログラムであって、
前記累積ヒストグラムに基づいて、前記撮影画像が逆光画像であるか否かの判定を行なう機能
を備え、前記判定を行なう機能により前記撮影画像が逆光画像であると判定されたときに限り、前記逆光の度合いを算出する機能と前記各画素の明るさを補正する機能とを実行させるよう構成したコンピュータプログラム。
請求項１２ないし請求項１９のいずれかに記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。