JP2005250725A - 逆光画像の判定 - Google Patents
逆光画像の判定 Download PDFInfo
- Publication number
- JP2005250725A JP2005250725A JP2004058495A JP2004058495A JP2005250725A JP 2005250725 A JP2005250725 A JP 2005250725A JP 2004058495 A JP2004058495 A JP 2004058495A JP 2004058495 A JP2004058495 A JP 2004058495A JP 2005250725 A JP2005250725 A JP 2005250725A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- image data
- saturation
- backlight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 196
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000001629 suppression Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000000976 ink Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 101000703681 Homo sapiens Single-minded homolog 1 Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 102100031980 Single-minded homolog 1 Human genes 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Image Processing (AREA)
Abstract
【課題】 撮影画像の画像データに対して、逆光処理を実行するか否かを適切に判定すること。
【解決手段】CPU200は、画像データを複数の画像領域A(X、Y)に分割して、画像領域A(X、Y)ごとに被写体を特定し、その結果、画像領域A(X、Y)のうち少なくとも一部が、被写体が所定の主要被写体(例えば、人物の顔部分)であると共に明度が低明度基準値以下である低明度主要被写体画像領域であり、かつ、画像領域A(X、Y)のうち少なくとも一部が、被写体が高明度被写体である高明度低彩度画像領域であり、かつ、画像領域A(X、Y)のうちに、被写体が高彩度被写体である高彩度画像領域がない場合に、画像データに対して逆光処理を実行すると判定する。
【選択図】 図11
【解決手段】CPU200は、画像データを複数の画像領域A(X、Y)に分割して、画像領域A(X、Y)ごとに被写体を特定し、その結果、画像領域A(X、Y)のうち少なくとも一部が、被写体が所定の主要被写体(例えば、人物の顔部分)であると共に明度が低明度基準値以下である低明度主要被写体画像領域であり、かつ、画像領域A(X、Y)のうち少なくとも一部が、被写体が高明度被写体である高明度低彩度画像領域であり、かつ、画像領域A(X、Y)のうちに、被写体が高彩度被写体である高彩度画像領域がない場合に、画像データに対して逆光処理を実行すると判定する。
【選択図】 図11
Description
本発明は、撮像画像の逆光処理技術に関し、特に逆光処理を実行するか否かの判定に関する。
被写体撮影が、ディジタルスチルカメラ(DSC)にて行われた場合、生成された画像データに対して比較的容易に画像処理を施すことが可能であり、画像データに対する画像処理技術は種々提案、実用化されている。これら画像処理技術では、ユーザにより選択されたコントラスト補正、明度補正、彩度補正といった既定の補正条件、または画像データの解析結果に基づいて画像データに対するコントラスト補正、明度補正、彩度補正といった画像処理(いわゆる自動画質調整)が実行される。例えば、特許文献1および特許文献2参照。
逆光条件下で人物等の近景被写体を撮影した場合、一般的に、背景の明度が高く、被写体である人物等の明度が低い画像(以下、逆光画像という。)となってしまう。この結果、撮影者が意図した画像とは異なる画像が生成された場合には、事後的に撮影画像に対して画像処理を施し、より撮影者の意図や好みに沿った画像に補正することがある。
しかしながら、逆光画像の自動画質調整においては、コンピュータが画像データを解析し、撮影画像が逆光処理を施すべき逆光画像であるか否かを適切に判定できることが要求される。従来の画像処理技術では、画像データの解析のみによって、かかる判定を適切に行うことができず、自動画質調整を行うと、撮影者の意図や好みからかけ離れた画像が生成されてしまうおそれがあった。
本発明は、上記課題を解決するためになされたものであり、撮影画像が逆光処理を施すべき逆光画像であるか否かを適切に判定することを目的とする。
上記課題を解決するために本発明の第1の態様は、撮像画像の画像データに対して逆光処理を実行するか否かを判定する画像処理装置を提供する。本発明の第1の態様に係る画像処理装置は、前記画像データを取得する画像データ取得手段と、前記画像データを複数の画像領域に分割して、前記分割した画像領域ごとに撮像された被写体を特定する被写体特定手段と、前記特定された被写体の特性に基づいて、前記画像データに対して逆光処理を実行するか否かを判定する処理判定手段であって、前記複数の画像領域のうち少なくとも一部が、前記特定された被写体として所定の主要被写体を有すると共に明度が低明度基準値以下である低明度主要被写体画像領域であり、かつ、前記複数の画像領域のうち少なくとも一部が、前記特定された被写体として高明度かつ低彩度である被写体を有する高明度低彩度画像領域であり、かつ、前記複数の画像領域のうちに、前記特定された被写体として高彩度被写体を有する高彩度画像領域が存在しない場合に、前記画像データに対して逆光処理を実行すると判定する処理判定手段と、を備えることを特徴とする。
本発明の第1の態様に係る画像処理装置によれば、撮像画像データを分割した複数の画像領域ごとに被写体を特定し、その結果、被写体として所定の主要被写体を有すると共に明度が低明度基準値以下である低明度主要被写体画像領域があり、かつ、被写体として高明度低彩度被写体を有する高明度低彩度画像領域があり、かつ、被写体として高彩度被写体を有する高彩度画像領域が存在しない場合に、撮像画像に対して逆光処理を実行すると判定するので、撮像画像に対して、逆光処理を実行するか否かを適切に判定することができる。
本発明の第1の態様に係る画像処理装置において、前記処理判定手段は、前記複数の画像領域のうちに、前記低明度主要被写体画像領域が存在しない場合、または、前記複数の画像領域のうちに、前記高明度低彩度画像領域が存在しない場合、または、前記複数の画像領域のうち少なくとも一部が、前記高彩度画像領域である場合に、前記画像データに対して逆光処理を実行しないと判定するのが好ましい。
かかる場合には、低明度主要被写体画像領域がない場合、または、高明度低彩度画像領域がない場合、または、高彩度画像領域である場合に、前記画像データに対して逆光処理を実行しないと判定するので、逆光処理を実行するべきでない画像データを逆光処理の対象から排除することができる。
本発明の第1の態様に係る画像処理装置において、前記処理判定手段は、さらに、前記高明度低彩度画像領域が前記低明度主要被写体画像領域より上方に位置する場合に、前記画像データに対して逆光処理を実行すると判定するしても良い。かかる場合には、高明度低彩度画像領域が低明度主要被写体画像領域より上方に位置することが、逆光処理を実行する条件として加わるので、逆光処理を実行するべきか否かの判定精度を高めることができる。
本発明の第1の態様に係る画像処理装置において、前記高明度低彩度画像領域は、その画像領域内に含まれる全画素データのうち、明度が高明度画素基準値以上であって彩度が低彩度画素基準値以下である高明度低彩度画素データの占める割合が、第1の所定値以上の画像領域であっても良い。かかる場合には、被写体判定において、画像領域が、高明度低彩度画像領域であるか否かを適切に判定することができる。
本発明の第1の態様に係る画像処理装置において、前記高彩度画像領域は、その画像領域内に含まれる全画素データのうち、彩度が高彩度画素基準値以上である高彩度画素データの占める割合が、第2の所定値以上の画像領域であっても良い。かかる場合には、被写体判定において、画像領域が、高彩度画像領域であるか否かを適切に判定することができる。
本発明の第2の態様は、撮像画像の画像データに対して逆光処理を実行するか否かを判定する画像処理装置を提供する。本発明の第2の態様に係る画像処理装置は、前記画像データを取得する画像データ取得手段と、前記画像データにおける主要被写体を特定し、前記特定した主要被写体が逆光処理の対象である処理対象被写体であるか否かを判定する、主要被写体判定手段と、高明度低彩度領域および高彩度領域が前記画像データ中に存在するか否かを判定する領域判定手段と、前記主要被写体が前記処理対象被写体であると判定した場合に、前記領域判定手段の判定結果に基づいて、前記画像データに対して逆光処理を実行するか否かを判定する処理判定手段であって、前記高明度低彩度領域が存在しない場合、または、前記高彩度領域が存在する場合には、前記画像データに対して逆光処理を実行しないと判定することを特徴とする。
本発明の第2の態様に係る画像処理装置によれば、特定した主要被写体が、逆光処理の対象である処理対象被写体であると判定した場合であっても、高明度低彩度領域が存在しない場合、または、高彩度領域が存在する場合に、前記撮像画像に対して逆光処理を実行しないと判定するので、撮像画像に対して、逆光処理を実行するか否かを適切に判定することができる。
本発明の第2の態様に係る画像処理装置において、前記処理判定手段は、前記高明度低彩度領域が存在し、かつ、前記高彩度領域が存在しない場合に、前記画像データに対して逆光処理を実行すると判定するのが好ましい。かかる場合には、撮像画像中に、高明度低彩度領域が存在し、かつ、高彩度領域が存在しない場合には、逆光処理を実行すると判定するので、特定した主要被写体が、逆光処理の対象である処理対象被写体であると判定した画像データのうち、逆光処理を実行するべき画像データに限って、逆光処理の対象と判定することができる。
本発明の第2の態様に係る画像処理装置は、前記処理判定手段は、さらに、前記高明度低彩度領域が存在する場合には、前記高明度低彩度領域を特定し、前記特定した高明度低彩度領域が前記主要被写体より上方に位置する場合には、前記画像データに対して逆光処理を実行すると判定しても良い。かかる場合には、高明度低彩度領域が主要被写体より上方に位置することが、逆光処理を実行する条件として加わるので、逆光処理を実行するべきか否かの判定精度を高めることができる。
本発明の第2の態様に係る画像処理装置において、前記主要被写体判定手段は、前記主要被写体が、所定の主要被写体であって、かつ、明度が低明度基準値以下である低明度被写体である場合に、前記主要被写体は逆光処理の対象である処理対象被写体であると判定するのが好ましい。かかる場合には、明度が低明度基準以下である所定の主要被写体が存在する画像に限って、逆光処理の対象と判定することができる。
本発明の第2の態様に係る画像処理装置において、前記高明度低彩度領域は、明度が高明度基準値以上であって、かつ、彩度が低彩度基準値以下である領域であっても良い。かかる場合には、高明度低彩度領域が存在するか否かの判定をより適切に実行できるので、逆光処理を実行するか否かの判定精度を高めることができる。
本発明の第2の態様に係る画像処理装置において、前記高彩度領域は、彩度が高彩度基準値以上である領域であっても良い。かかる場合には、高彩度領域が存在するか否かの判定をより適切に実行できるので、逆光処理を実行するか否かの判定精度を高めることができる。
上述した態様に係る画像処理装置において、前記所定の主要被写体は、人物の顔部分であってもよい。かかる場合には、逆光処理の主な対象である人物の顔部分を含む撮像画像に対して、逆光処理を実行するか否かの適切に判定することができる。
上述した態様に係る画像処理装置は、さらに、前記取得した画像データの明度分布特性を求める明度分布特性算出手段を備え、前記処理判定手段は、さらに、前記求めた明度分布特性と予め用意された逆光画像特定用の明度分布特性とを対比し、前記求めた明度分布特性と前記逆光画像特定用の明度分布特性とが類似する場合に、前記画像データに対して逆光処理を実行すると判定しても良い。かかる場合には、画像データの明度分布特性と、逆光画像特定用の明度分布特性とが類似することが、逆光処理を実行すると判定する条件に加わるので、撮像画像に対して逆光処理を実行するか否かの判定精度を高めることができる。
上述した態様に係る画像処理装置は、さらに、前記画像データに対して、画質調整処理を実行する画質調整手段であって、前記画像データに対して逆光処理を実行すると判定された場合には、前記被写体特定手段による被写体特定の結果または前記被写体特定の過程で得られた情報を用いて前記逆光処理を実行する画質調整手段を備えても良い。
かかる場合には、逆光処理を実行する際に、被写体特定の結果または被写体特定の過程で得られた情報を用いるので、画像データに対して、適切な逆光処理を実行することができる。
上述した態様に係る画像処理装置において、前記画質調整手段は、さらに、前記被写体特定手段による被写体特定の結果または前記被写体特定の過程で得られた情報を用いて、前記画像データに対して前記逆光処理以外の画質調整処理を実行しても良い。
かかる場合には、被写体を特定した結果や特定の過程において得られた情報を用いて、逆光処理以外の画質調整処理を実行するので、逆光処理(実行するか否かの判定を含む)と、逆光処理以外の画質調整処理との間で、被写体特定の結果または被写体特定の過程で得られた情報を共用できる。その結果、画像処理全体として処理速度を向上できると共に、画質調整処理に必要なメモリ領域を低減することができる。
本発明の第3の態様は、撮像画像の画像データに対して逆光処理を実行するか否かを判定する画像判定方法を提供する。本発明の第3の態様に係る画像判定方法は、前記画像データを取得し、前記画像データを複数の画像領域に分割して、前記分割した画像領域ごとに撮像された被写体を特定し、前記複数の画像領域のうち少なくとも一部が、前記特定された被写体として所定の主要被写体を有すると共に明度が低明度基準値以下である低明度主要被写体画像領域であり、かつ、前記複数の画像領域のうち少なくとも一部が、前記特定された被写体として高明度かつ低彩度である被写体を有する高明度低彩度画像領域であり、かつ、前記複数の画像領域のうちに、前記特定された被写体として高彩度被写体を有する高彩度画像領域が存在しない場合に、前記画像データに対して逆光処理を実行すると判定することを特徴とする。
本発明の第3の態様に係る画像判定方法によれば、本発明の第1の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第3の態様に係る画像判定方法は本発明の第1の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。
本発明の第4の態様は、撮像画像の画像データに対して逆光処理を実行するか否かを判定する画像判定方法を提供する。本発明の第4の態様に係る画像判定方法は、前記画像データを取得し、前記画像データにおける主要被写体を特定し、前記特定した主要被写体が逆光処理の対象である処理対象被写体であるか否かを判定し、前記主要被写体が前記処理対象被写体であると判定した場合には、高明度低彩度領域が前記画像データ中に存在するか否かを判定し、高彩度領域が前記画像データ中に存在するか否かを判定し、前記高明度低彩度領域が存在しない場合、または、前記高彩度領域が存在する場合には、前記画像データに対して逆光処理を実行しないと判定することを特徴とする。
本発明の第4の態様に係る画像判定方法によれば、本発明の第2の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第4の態様に係る画像判定方法は本発明の第2の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。
本発明の第3または第4の態様に係る画像判定方法は、この他にも、判定プログラムおよび判定プログラムが記録された記録媒体としても実現され得る。
以下、本発明にかかる画像処理装置および画像判定方法について、図面を参照しつつ、実施例に基づいて、説明する。
・画像処理システムの構成:
本発明の実施例に係る画像処理装置を適用可能な画像処理システムの構成について図1を参照して説明する。図1は、本実施例に係る画像処理装置としてのパーソナルコンピュータを含む画像処理システムの一例を示す説明図である。
本発明の実施例に係る画像処理装置を適用可能な画像処理システムの構成について図1を参照して説明する。図1は、本実施例に係る画像処理装置としてのパーソナルコンピュータを含む画像処理システムの一例を示す説明図である。
画像処理システムは、画像データを生成する入力装置としてのディジタルスチルカメラ10、ディジタルスチルカメラ10にて生成された画像データに対して、逆光処理を実行するか否かを判定する逆光画像判定処理を含む画像処理を実行し、印刷用画像データを出力する画像処理装置としてのパーソナルコンピュータ20、印刷用画像データを用いて画像を出力する出力装置としてのカラープリンタ30を備えている。なお、カラープリンタ30は、パーソナルコンピュータ20が備える画像処理機能を備えていても良く、かかる場合には、スタンドアローンにて画像処理、画像出力を実行することができる。また、出力装置としては、プリンタ30の他に、CRTディスプレイ、LCDディスプレイ等のモニタ25、プロジェクタ等が用いられ得る。以下の説明では、パーソナルコンピュータ20と接続されて用いられるカラープリンタ30を出力装置として用いるものとする。
パーソナルコンピュータ20は、一般的に用いられるタイプのコンピュータであり、逆光画像判定処理を含む画像処理プログラムを実行するCPU200、CPU200における演算結果、画像データ等を一時的に格納するRAM201、画像処理プログラムを格納するハードディスクドライブ(HDD)202を備えている。パーソナルコンピュータ20は、メモリカードMCを装着するためのカードスロット203、ディジタルスチルカメラ10等からの接続ケーブルを接続するための入出力端子204を備えている。
ディジタルスチルカメラ10は、光の情報をディジタルデバイス(CCDや光電子倍増管)に結像させることにより画像を取得するカメラであり、光情報を電気情報に変換するためのCCD等を備える光電変換回路、光電変換回路を制御して画像を取得するための画像取得回路、取得したディジタル画像を加工処理するための画像処理回路等を備えている。ディジタルスチルカメラ10は、取得した画像をディジタルデータとして記憶装置としてのメモリカードMCに保存する。ディジタルスチルカメラ10における画像データの保存形式としては、非可逆圧縮保存方式としてJPEGデータ形式、可逆圧縮保存方式としてTIFFデータ形式が一般的であるが、この他にもRAWデータ形式、GIFデータ形式、BMPデータ形式等の保存形式が用いられ得る。
カラープリンタ30は、カラー画像の出力が可能なプリンタであり、例えば、シアン、マゼンタ、イエロー、ブラックの4色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記4色に加えて、ライトシアン(薄いシアン)、ライトマゼンタ(薄いマゼンタ)、レッド、ブルーを用いても良い。
以下の説明では、ディジタルスチルカメラ10で生成された画像データが、パーソナルコンピュータ20に送出され、画像データに対する画像処理がパーソナルコンピュータ20にて実行され、処理済みの画像データがカラープリンタ30に対して出力される場合について説明する。
・パーソナルコンピュータ20の機能的構成:
図2を参照してパーソナルコンピュータ20(CPU200)の機能的構成の概要について説明する。図2は、本実施例に係るパーソナルコンピュータ20(CPU200)の機能ブロック図である。
図2を参照してパーソナルコンピュータ20(CPU200)の機能的構成の概要について説明する。図2は、本実施例に係るパーソナルコンピュータ20(CPU200)の機能ブロック図である。
画像データ取得部M1は、撮像画像の画像データを取得する。画像データ取得部M1は、取得した画像データを被写体特定部M2、明度分布特性算出部M3、画質調整部M5へと送る。
被写体特定部M2は、画像データ取得部M1から得られた画像データを、複数の画像領域に分割して、画像領域ごとに対応する画像データを解析して、被写体を特定する。被写体特定部M2は、被写体特定の結果、および、必要な場合には、被写体特定を実行する過程で得られた情報を処理判定部M4および画質調整部M5に送る。
明度分布特性算出部M3は、画像データ取得部M1から得られた画像データ(RGBデータ)を解析して、画像データの明度分布特性を簡略化した明度分布ヒストグラムH(j)を算出する。明度分布特性算出部M3は、算出した明度分布ヒストグラムH(j)を、処理判定部M4に送る。
処理判定部M4は、被写体特定部M2から得られた被写体特定結果や明度分布特性算出部M3から得られた明度分布ヒストグラムH(j)等に基づいて、画質調整処理を実行するか否かを判定する。判定する画質調整処理には、逆光処理、高明度抑制補正、肌色補正等が含まれる。処理判定部M4は、判定結果を画質調整部M5に送る。
画質調整部M5は、処理判定部M4から得られた判定結果にしたがって、実行すべき画質調整処理を、画像データ取得部M1から得られた画像データに対して実行する。画質調整部M5は、画質調整処理を実行する際、被写体特定部M2から得られた被写体特定結果等を用い得る。画質調整部M5は、画質調整処理を施した画像データを出力データ生成部M6に送る。
出力データ生成部M6は、プリンタドライバ等に相当し、画質調整部M5から得られた画像データを、出力装置用データに変換して、出力装置(プリンタ30等)に出力する。
なお、主要被写体判定手段は、被写体特定部M2と、処理判定部M4とによって構成される。領域判定手段には、被写体特定部M2が相当する。
・画像処理の第1の実施例:
図3〜図14を参照してパーソナルコンピュータ20において実行される画像処理の第1の実施例について説明する。図3は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。図4は、メモリ上に展開された画像データの領域分割処理を概念的に示す説明図である。図5は、本実施例に係る被写体特定処理の処理ルーチンを示すフローチャートである。図6は、画像データGD1によって表される画像を示す概略図である。図7は、画像データGD1に対して、被写体特定処理を実行した場合にナンバリングされた顔領域特定用メモリ領域NM1を概念的に示す説明図である。図8は、画像データGD1に対して、被写体特定処理を実行した場合にナンバリングされた高明度低彩度領域特定用メモリ領域NM2を概念的に示す説明図である。図9は、画像データGD1に対する最終特定処理を概念的に示す説明図である。図10は、画像データGD1に対して、被写体特定処理を実行した場合の最終的な特定結果を概念的に示す説明図である。図11は、本実施例に係る逆光処理判定処理の処理ルーチンを示すフローチャートである。図12は、明度分布特性を用いた画像データの類似度判定の内容を示す説明図である。図13は、画像データGD2によって表される画像を示す概略図である。図14は、画像データGD2に対して、被写体特定処理を実行した場合の最終的な特定結果を概念的に示す説明図である。
図3〜図14を参照してパーソナルコンピュータ20において実行される画像処理の第1の実施例について説明する。図3は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。図4は、メモリ上に展開された画像データの領域分割処理を概念的に示す説明図である。図5は、本実施例に係る被写体特定処理の処理ルーチンを示すフローチャートである。図6は、画像データGD1によって表される画像を示す概略図である。図7は、画像データGD1に対して、被写体特定処理を実行した場合にナンバリングされた顔領域特定用メモリ領域NM1を概念的に示す説明図である。図8は、画像データGD1に対して、被写体特定処理を実行した場合にナンバリングされた高明度低彩度領域特定用メモリ領域NM2を概念的に示す説明図である。図9は、画像データGD1に対する最終特定処理を概念的に示す説明図である。図10は、画像データGD1に対して、被写体特定処理を実行した場合の最終的な特定結果を概念的に示す説明図である。図11は、本実施例に係る逆光処理判定処理の処理ルーチンを示すフローチャートである。図12は、明度分布特性を用いた画像データの類似度判定の内容を示す説明図である。図13は、画像データGD2によって表される画像を示す概略図である。図14は、画像データGD2に対して、被写体特定処理を実行した場合の最終的な特定結果を概念的に示す説明図である。
パーソナルコンピュータ20(CPU200)は、スロット203にメモリカードMCが差し込まれると、あるいは、ディジタルスチルカメラ10に接続されている接続ケーブルCVが入出力端子204に接続されると本画像処理のプログラムを起動する。CPU200は、ユーザの指示に従ってメモリカードMCから画像データを取得し(読み出し)、取得した画像データをRAM201に一時的に格納する(ステップS110)。
CPU200は、画像データの伸長、色変換処理を実行する(ステップS120)。本実施例において用いられる画像データGDは、JPEG画像データを格納しており、JPEGデータはYCbCrデータを圧縮したデータである。CPU200は、かかる圧縮データを、パーソナルコンピュータによる画像処理において一般的に用いられているRGBデータに変換する。すなわち、CPU200は、画像データGDを伸張し、伸張した画像データGDに対してマトリクスSを用いたマトリクス演算を実行してYCbCr−RGB色変換処理を実行する。
マトリクスSは、JFIF規格において、YCbCrデータをRGBデータへと変換する際に一般的に用いられるマトリクスであり、当業者にとって周知のマトリクスであるから詳細な説明は省略する。
CPU200は、撮像画像に撮影されている被写体を画像データに基づいて特定する被写体特定処理を実行する(ステップS130)。
CPU200は、撮像画像を適当な大きさに分割した画像領域ごとに、画像領域に対応する画像データを解析して、被写体を特定する。本実施例では、図4に示すように、縦16×横16に等分割した画像領域を用いる。説明の便宜のため、以後の説明では、分割した画像領域のうち、撮影画像の左端からX番目で、上端からY番目に位置する画像領域をA(X、Y)と表す(X、Yは1から16までの整数)。
CPU200は、図5に示すように、まず、被写体特定を実行する着目画像領域A(X、Y)を設定する(ステップS202)。本実施例では、図4において上左端に位置する画像領域A(1、1)から、被写体特定を実行していく。
CPU200は、着目する画像領域A(X、Y)内に位置する画素データを解析して、予め用意された特定基準を満たすか否かによって、画像領域A(X、Y)の被写体が人物の顔部分、高明度低彩度領域、高彩度領域、その他、のいずれであるかを特定する(ステップS204)。
人物の顔部分は、逆光処理の対象として想定されている被写体である。本実施例において、画像領域A(X、Y)内の全画素データに対して、HSB色空間において肌色を表す所定の色域C1に属する画素データ(以下、肌色画素データという。)の占める割合が、所定の割合R1以上である場合に、画像領域A(X、Y)は、人物の顔部分を被写体とする画像領域(以下、顔画像領域という。)であると特定される。
高明度低彩度領域は、撮影時の露出設定が、領域内の被写体に合っていないために、被写体に対応する画像データの明度が高くなり、彩度が低く(白っぽく)なっている領域である(いわゆる白飛び領域)。本実施例において、画像領域A(X、Y)内の全画素データに対して、HSB色空間において、明度(B:Brightness)が高明度基準値BHref以上であって、かつ、彩度(S:Saturation)が低彩度基準値SLref以下である高明度低彩度画素データの占める割合が、所定の割合R2以上である場合に、画像領域A(X、Y)は、高明度低彩度領域を被写体とする画像領域(以下、高明度低彩度画像領域という。)であると特定される。
高彩度領域は、撮影時の露出設定が、領域内の被写体に合っており、被写体に対応する画素データの彩度が高くなっている(被写体本来の彩度を適切に再現している)領域である。本実施例において、画像領域A(X、Y)内の全画素データに対して、HSB色空間において、彩度(S)が、高彩度基準値SHref以上である高彩度画素データの占める割合が、所定の割合R3以上である場合に、画像領域A(X、Y)は、高彩度領域を被写体とする画像領域(以下、高彩度画像領域という。)であると特定される。
上述した割合R1、R2、R3、高明度基準値BHref、高彩度基準値SHref、低彩度基準値SLrefの数値、および、肌色の色域C1の範囲は、画像サンプルの分析等により経験的に最適値を求めることによって決定される。
CPU200は、上述した画像領域A(X、Y)の特定結果に基づいて、画像領域A(X、Y)のナンバリングを実行する(ステップS206)。具体的には、CPU200は、画像上の縦16×横16の領域に対応する3種類のナンバリング用メモリ領域、すなわち、顔領域特定用メモリ領域NM1(図7参照)、高明度低彩度領域特定用メモリ領域NM2(図8参照)、高彩度領域特定用メモリ領域(図示しない。)をRAM201上に作成する。CPU200は、それぞれのメモリ領域中の画像領域A(X、Y)に対応する領域にナンバリングして行く。
CPU200は、ナンバリング処理を終えると、16×16の全ての画像領域について、ナンバリング処理を終了したか否かを判断する(ステップS208)。この結果、終了していないと判断した場合(ステップS208:NO)には、CPU200は、ステップS202に戻り、ナンバリング処理が実行されていない画像領域を新たな着目画像領域A(X、Y)に設定する。例えば、直前の着目画像領域の右側に隣接する画像領域を、新たな着目画像領域に設定し、右側に隣接した画像領域が無い場合には、一段下の列の左端を新たな着目画像領域に設定しても良い。すなわち、図5において、矢印(実線および破線)で示される順番で設定しても良い。
CPU200は、設定した着目画像領域A(X、Y)について、上述した特定、および、ナンバリングを実行する。CPU200は、かかる処理(ステップS202〜S208:以下、後述する最終特定処理との関係で、一次特定処理ともいう。)を繰り返し、全画像領域についてナンバリング処理が終了した場合(ステップS208:YES)には、最終特定処理(ステップS210)の実行に移る。
上述したナンバリング処理について、図6に示す画像データGD1に対して実行した場合(以下、第1の具体例と言う。)を例として、詳しく説明する。画像データGD1は、図6に示すように、砂浜Sに立つ、顔部分Fを含む人物を、光源Bを背にして撮影された撮像画像を表すデータである。いわゆる典型的な、逆光画像を表す画像データであり、顔部分Fは十分暗く、画像中には、露出が合っている高彩度領域はない。
ナンバリング処理において、CPU200は、特定対象である領域(例えば、顔画像領域)ではないとされた画像領域については、0を付し、特定対象である領域であるとされた画像領域(以下、特定画像領域とも言う)については、特定された順に番号を付していく。ただし、CPU200は、特定画像領域であって、互いに隣接しあう画像領域については、同じ番号が付されるように調整する。
この結果、第1の具体例では、顔画像領域特定用メモリ領域NM1上において、図7に示すように、顔画像領域であると特定され互いに隣接しあう画像領域によって構成される顔画像領域群FA1、FA2、FA3が特定される。この一次特定処理では、肌色画素の割合を考慮しているのみであるので、正確な特定は困難であり、誤った特定がなされる場合も起こり得る。第1の具体例では、実際に顔部分Fを被写体に持つ画像領域群FA1以外に、砂浜Sを被写体に持つ画像領域群FA2、FA3も所定の割合R1以上の肌色画素を有するため、誤って顔画像領域群として特定されている。
同様のナンバリング処理によって、高明度低彩度領域特定用メモリ領域NM2上において、光源Bの周辺に対応する画像領域群BA1が、高明度低彩度画像領域BAから構成される高明度低彩度画像領域群として特定される。一方で、画像データGD1には、高彩度領域はないので、高彩度領域特定用メモリ領域には全ての領域について、0が付され、高彩度画像領域(群)は特定されないことになる(図示は省略する。)
CPU200は、続いて、上述した一次特定処理の結果を用いて、最終特定処理を実行する(ステップS210)。最終特定処理では、CPU200は、一次特定処理において特定画像領域(例えば、顔画像領域)として特定された画像領域群について、さらに、所定の最終特定基準を満たすか否かを判定する。
本実施例において、一次特定処理において特定された顔画像領域群(FA1〜FA3)に対する最終特定基準は、特定された顔画像領域群が画像の左端または右端に接していないことである。一般に、人物を主要被写体として撮像された画像では、人物の顔部分が画像の中央付近に位置する傾向があり、左右の端に接する(すなわち、顔部分が画像の端で切れている状態)ことはほとんど無いからである。画像の左右の端に接している領域は、顔と同様の色域(肌色)を有していても顔以外の被写体(例えば、砂浜S)である可能性が高い。第1の具体例では、図9に示すように、一次特定処理において特定された顔画像領域群FA1〜FA3のうち、FA2とFA3は、画像の左右の端に接している画像領域(図9において、ハッチングされている画像領域)を含むので、最終的に顔画像領域ではないと判断される。一方、FA1は、画像の左右の端に接していないので、顔画像領域であると最終的に判断される。
最終特定基準としては、更に特定精度を高めるために、他の特定基準をさらに設定しても良い。例えば、特定された顔画像領域群が、所定数以上の画像領域から構成されること(所定値以上の大きさを持つこと)、顔画像領域群のなかに、彩度の低い領域が含まれること(目や鼻の影といった顔のパーツに対応する画素は一般に彩度が低いため)等を特定基準として設定しても良い。
本実施例においては、高明度低彩度画像領域群、高彩度画像領域群については、最終特定基準を設けておらず、最終特定処理は実行しないため、一次特定の結果が、最終的な特定結果となる。もちろん、何等かの最終特定基準を設定して、特定精度を高めても良い。
この結果、第1の具体例では、最終的な被写体特定の結果として、図10に示すように、実際の画像における人物の顔部分Fに対応する顔画像領域群FA1と、光源Bに対応する高明度低彩度画像領域BA1が特定されることとなる。
CPU200は、続いて、被写体特定処理(ステップS130)の結果に基づいて、画像データに対して、逆光処理を実行するか否かを判定する逆光処理判定処理を実行する(ステップS140)。図11に示すように、CPU200は、顔画像領域FAがあるか否かを判定する(ステップS302)。顔画像領域FAが、被写体特定処理において特定されていないときは、CPU200は、顔画像領域FAがないと判断(ステップS302:NO)し、逆光処理を実行しないと判定する(ステップS316)。本実施例では、人物を被写体とする逆光画像に対する逆光処理を前提とするため、顔画像領域が存在しない画像を逆光処理の対象から除くためである。人物以外の被写体(例えば、動物)等を逆光処理の対象とする場合には、何等かの特定条件を設定して上述した被写体特定処理においてかかる被写体を特定し、その被写体領域の有無を判定条件としても良い。顔画像領域FAが、被写体特定処理において特定されているときは、CPU200は、顔画像領域FAがあると判断(ステップS302:YES)し、次の判定ステップへ移る。
CPU200は、顔画像領域FAがあると判断した場合(ステップS302:YES)には、次に、顔画像領域FAの平均明度FY_aveを求めて、FY_aveが、予め設定された低明度基準値FY_refより小さいか否かを判断する(ステップS304)。平均明度FY_aveは、例えば、被写体特定処理において、特定された全ての顔画像領域FAに対応する全画素データについての明度値の平均値や、肌色画素の画素データについての明度値の平均値を用いることができる。
FY_aveが、FY_refより大きい場合(ステップS304:NO)は、CPU200は、逆光処理を実行しないと判定する(ステップS316)。逆光処理は、逆光条件下で撮像されたために、主要被写体(本実施例においては、人物の顔部分)の明度が低くなり、撮影者の意図と離れた画像を表す画像データに対して、明度を適正化するために実行される処理であるため、顔画像領域FAが明るい場合には、逆光処理の必要はないからである。
FY_aveが、FY_refより小さい場合(ステップS304:YES)は、CPU200は、高明度低彩度画像領域BAがあるか否かを判定する(ステップS306)。高明度低彩度画像領域BAが、被写体特定処理において特定されていないときは、CPU200は、高明度低彩度画像領域BAがないと判断(ステップS306:NO)し、逆光処理を実行しないと判定する(ステップS316)。逆光画像は、明るい背景と、暗い主要被写体を有するので、画像データ中に高明度低彩度画像領域がない場合には、逆光処理の対象とするべきでないからである。本判定によって、例えば、暗い人物像を主要被写体とし、背景が夜景である画像は逆光処理の対象から除外される。高明度低彩度画像領域BAが、被写体特定処理において特定されているときは、CPU200は、高明度低彩度画像領域BAがあると判定(ステップS306:YES)し、次の判定ステップへ移る。
CPU200は、高明度低彩度画像領域BAがあると判定した場合(ステップS306:YES)は、高明度低彩度画像領域BAが、顔画像領域FAの上方に存在するか否かを判定する(ステップS308)。被写体特定処理時に、複数に分割された画像領域A(X、Y)は、画像中における位置情報(X、Y)を有しているので、容易にかかる判定が可能である。特定された高明度低彩度画像領域BAのうちに、顔画像領域FAよりも上方に位置している画像領域が無い場合(ステップS308:NO)には、CPU200は、逆光処理を実行しないと判定する(ステップS316)。逆光画像において、主要被写体の後方に存在する光源は、屋外撮影時における太陽、あるいは、室内撮影時における照明器具のように、一般的に主要被写体より上方に位置するため、高明度低彩度領域は、一般的に、主要被写体の上方に存在する。かかる逆光画像の一般的特徴を備えない場合は、一般的な逆光条件下で撮像された画像データではなく、逆光処理の対象とすべきではない可能性が高いと考えられる。
特定された高明度低彩度画像領域BAのうち少なくとも一部が、顔画像領域FAより上方に位置する場合(ステップS308:YES)には、CPU200は、高彩度画像領域VAがあるか否かを判定する(ステップS310)。高彩度画像領域VAが、被写体特定処理において特定されているときは、CPU200は、高彩度画像領域BAがあると判断(ステップS310:NO)し、逆光処理を実行しないと判定する(ステップS316)。高彩度領域が存在する画像は、かかる領域に対しては、適切な露光条件で撮影されているといえる。したがって、高彩度領域が存在する画像は、撮影者が高彩度領域に対応する被写体を美しく撮影する意図を持って撮影した画像であり、撮影者の意図通りに撮影された画像である可能性が高いからである。高彩度画像領域VAが、被写体特定処理において特定されていないときは、CPU200は、高彩度画像領域BAがあると判定(ステップS310:YES)し、次の判定ステップへ移る。
CPU200は、高彩度画像領域BAがあると判定した場合(ステップS310:YES)は、画像データの明度分布特性と、代表的な逆光画像の明度分布特性(以下、基準明度分布特性という。)とが類似するか否かを判定する(ステップS312)。この類似度判定は、被写体特定結果に基づく判定(ステップS302〜ステップS310における判定)の結果、逆光処理を実行すると判定された(逆光処理を実行しないと判定されなかった)画像データについて、明度分特性を用いて、逆光処理を実行するか否かを最終判定する処理である。具体的には、例えば、図12(a)に示す明度分布特性Hを有する画像データに対して、明度分布特性を簡略化した明度分布ヒストグラムH(j)(図21(b)参照)を算出する。明度分布ヒストグラムH(j)(jは1〜5)は、横軸の明度値の範囲を5つの区分D1〜D5に区分し、各区分に属する画素数を求めることによって得られたものである。
HDD202には、基準明度分布特性を簡略化した参照ヒストグラムG(j)(図12(c)参照)が予め記憶されており、CPU200は、作成した明度分布ヒストグラムH(j)と、参照ヒストグラムG(j)との類似度を算出する。参照ヒストグラムG(j)は、算出された明度分布ヒストグラムH(j)と同じ形式を有している。すなわち、参照ヒストグラムG(j)も、5つの区分毎に画素数(画素値の出現頻度)が設定されている。2つのヒストグラムH(j),G(j)の類似度SIMは、例えば以下の式で与えられる。
この式において、H(j),G(j)は、図21(b),(c)に示す2つのヒストグラムH(j),G(j)で構成されるj次元のベクトルである(本実施例においては5次元)。式から解るように、この類似度SIM1は、2つのベクトルH(j),G(j)のなす角度θの余弦である。
そして、CPU200は、算出した類似度SIMが、判定基準類似度SIM_refよりも小さいときは、CPU200は、画像データの明度分布特性が、基準明度分布特性に類似していないと判断(ステップS312:NO)し、逆光処理を実行しないと判定する(ステップS316)。一方、算出した類似度SIMが、判定基準類似度SIM_refよりも大きいときは、CPU200は、画像データの明度分布特性が、基準明度分布特性に類似すると判断(ステップS312:YES)し、最終的に、画像データに対して逆光処理を実行すると判定する(ステップS314)。逆光人物画像データは、一般的に、明るい背景領域と暗い被写体(人物)領域とに大別されるため、典型的な逆光人物画像(画像データ)の明度分布特性は、明度の暗い部分と明るい部分とで2つのピークを有するという特徴を示す。したがって、かかる明度分布特性上の特徴を有する画像データが、最終判定において逆光処理を実行すると判定される。
ここで、上述した逆光処理判定処理の具体例を2つ示す。1つ目は、逆光処理を実行すると判定される例として、上述した画像データGD1に対して実行した場合(第1の具体例)の逆光処理判定処理を示す。画像データGD1は、上述したとおり、典型的な逆光画像を表す画像データであり、逆光処理を実行するべき画像である。(図6参照)。画像データGD1に対して、被写体特定処理を実行した最終結果は、上述したように、図10に示すとおりである。かかる最終結果に基づいて、逆行処理判定処理を実行すると、顔画像領域群FA1があり、顔画像領域は十分暗く、高明度低彩度画像領域群BA1が、顔画像領域群FA1の上方にある。さらに、高彩度画像領域はない。
この結果、CPU200は、画像データGD1は、被写体判定結果に基づく判定において、逆行処理を実行すると判定する。そして、画像データGD1は典型的な逆行画像であり、明度分布特性が基準明度分布特性と類似しているため、CPU200は、最終的に画像データGD1に対して逆行処理を実行すると適切に判定することができる(ステップS314)。
2つめは、逆行処理を実行しないと判定される例として、画像データGD2に対して実行した場合(以下、第2の具体例ともいう。)の逆行処理判定処理を示す。画像データGD2は、画像データGD1と同様、顔部分Fを含む人物を、光源Bを背にして撮像された逆光画像を表す画像データであるが、画像データGD1と異なり、高彩度被写体Vとして夕焼けを含む画像を表す画像データである(図13参照)。画像データGD2は、逆光条件下で撮像されているが、撮影者は、夕焼けを美しく撮影することを意図しており、人物が暗くなることを意図している可能性がある。したがって、画像データGD2は、逆光処理を実行し、人物の明度を高くすると、却って撮影者の意図に反することになり得るため、逆光処理を実行すべきではない画像データであるといえる。
画像データGD2に対して、被写体特定処理を実行した最終結果は、図14に示す通りである。かかる最終結果に基づいて、逆行処理判定処理を実行すると、顔画像領域群FA1があり、顔画像領域は十分暗い。そして、高明度低彩度画像領域群BA1が、顔画像領域群FA1の上方にある。しかし、高彩度画像領域VA1があるため、CPU200は、画像データGD2に対して逆光処理を実行しないと適切に判定することができる。
図3に戻り説明を続ける。逆光処理判定処理(ステップS140)を終了すると、CPU200は、画像データに対して逆光処理を実行すると判定した場合には、少なくとも一部の画素データの明度を高くする逆光処理を実行する(ステップS150)。例えば、CPU200は、被写体特定処理において算出した顔画像領域の平均明度FY_aveを入力値とした場合における出力値が、所定の狙い値FY_aimとなるトーンカーブを得る。そして、CPU200は、画像データを構成する全画素データに対して、あるいは、特定した顔画像領域内の画素に対応する画素データに対して、得られたトーンカーブを用いて、明度補正(入力明度値に対する出力明度値の変更)を実行しても良い。
CPU200は、続いて、画像データをプリンタドライバに出力して(ステップS160)、本処理ルーチンを終了する。プリンタドライバでは、画像データをCMYKデータに変換する色変換処理を実行する。すなわち、画像データの表色系をカラープリンタ30が印刷処理を実行する際に用いる表色系であるCMYK表色系に変換する。具体的には、HDD202(または、ROM)に格納されているRGB表色系とCMYK表色系とを対応付けたルックアップデーブルを用いて実行される。また、ハーフトーン処理、解像度変換処理が実行され、印刷用のラスタデータとしてカラープリンタ30に出力される。
以上説明したように、第1の実施例に係る画像処理装置および画像判定方法によれば、撮像画像を表す画像データが逆光処理を実行すべき画像データであるか否かを、適切に判定することができる。すなわち、被写体を特定し、撮像画像中に、逆光処理の対象である所定の主要被写体(例えば、人物の顔部分)が存在することを逆光処理を実行すると判定する条件とするので、逆行処理が対象とする被写体を有する撮像画像の画像データのみを適切に逆光処理の対象と判定することができる。
また、被写体特定処理によって特定した所定の主要被写体を構成する画素データ(例えば、顔画像領域内の肌色画素)の明度平均値FY_aveが、低明度基準値FY_refより小さいことを、逆光処理を実行すると判定する条件とするので、被写体を特定しない従来技術に比べて、逆光処理の対象となる主要被写体の明るさを正確に認識でき、画像データにおける主要被写体が十分暗いか否かを正確に判定することができる。この結果、十分暗い主要被写体を有する画像データを対象とする逆光処理を実行するか否かの判定精度を高めることができる。
また、被写体特定処理によって高明度低彩度画像領域を特定し、高明度低彩度画像領域が存在することを逆光処理を実行する条件とするので、暗い主要被写体領域と共に高明度かつ低彩度である背景の領域(いわゆる白飛び領域)を有するという逆光画像の特徴を備えない撮像画像を逆光処理の対象画像から排除し、逆光処理を実行するか否かを適切に判定することができる。
さらに、撮像画像を縦16×横16に等分割した画像領域ごとに、被写体特定を行うことで、被写体の撮像画像における位置を特定できるので、この位置情報を用いて、逆光処理判定を行うことができる。すなわち、高明度低彩度画像領域が、主要被写体領域より上方に存在することを、逆光処理を実行する条件とするので、主要被写体の上方に背後からの光源(例えば、太陽)が位置する逆光画像の特徴を備えない撮像画像を逆光処理の対象画像から排除し、逆光処理を実行するか否かを適切に判定することができる。
また、被写体特定処理によって高彩度画像領域を特定し、高彩度画像領域がある場合には、逆光処理を実行しないと判定するので、たとえ、逆光条件下で撮像された画像であっても、撮影者の意図どおりに撮像されている可能性が高い被写体(露出があっているため、対応する画素データの彩度が高い被写体)を有する画像を逆光処理の対象から排除することができる。この結果、撮影者の意図どおりに撮像された画像データに逆光処理を施して、撮像者の意図とかけ離れた画像データを生成するのを回避できる。
さらに、判定対象の画像データの明度分布特性が、基準明度分布特性と類似することを逆光処理を実行する条件に加えるため、より精度の高い逆光処理判定が可能である。
以上、説明した全ての条件を満たした画像データに対してのみ、逆光処理を実行すると判定するため、逆光処理を実行するべき画像データと、実行すべきでない画像データとを的確に判別することができる。
・画像処理の第2の実施例:
図15を参照して、画像処理の第2の実施例について説明する。図15は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。以下の説明では、図15に示すステップのうち、図3を参照して説明した画像処理の第1の実施例のステップと同一のステップについては、同一のステップ番号を付して、その説明を省略する。
図15を参照して、画像処理の第2の実施例について説明する。図15は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。以下の説明では、図15に示すステップのうち、図3を参照して説明した画像処理の第1の実施例のステップと同一のステップについては、同一のステップ番号を付して、その説明を省略する。
第2の実施例に係る画像処理では、逆光処理判定(ステップS140)に続いて、CPU200は、人物の顔画像の肌色を一般的に好まれる肌色に近づける肌色補正を実行するか否かを判定する肌色補正判定(ステップS142)と、高明度画素の明度を抑えて画像の見栄えを改善する明度抑制補正を実行するか否かを判定する明度抑制補正判定(ステップS144)を実行する。かかる判定は、被写体特定処理による特定結果または特定の過程で得られた情報を用いて実行することができる。例えば、被写体特定処理において、顔画像領域FAが特定されている場合には、肌色補正を実行すると判定し、高明度低彩度画像領域BAが特定されている場合には、明度抑制補正を実行すると判定しても良い。
続いて、CPU200は、ここまでの判定結果に基づいて画像データに対して、画質調整処理を実行する(ステップS152)。画質調整処理には、逆光処理に加えて、肌色補正や、明度抑制補正等の逆光処理以外の画質調整処理が含まれる。すなわち、CPU200は、先に実行したいくつかの判定(ステップS140〜S144)の結果、実行すると判定された画質調整処理を、画像データに対して実行する。肌色補正や明度抑制補正は、被写体特定の結果や、被写体特定処理の過程で得られた情報を用いて実行することができる。例えば、被写体特定処理において特定された顔画像領域FAや高明度低彩度画像領域BA内の画素データを解析して補正量を調整しても良く、あるいは、顔画像領域FAや高明度低彩度画像領域BA内の画素データのみに対して、補正を実行しても良い。
第2の実施例に係る画像処理装置によれば、第1の実施例と同様の効果に加えて、以下の効果を有する。
逆光処理を含む複数の画質調整処理のそれぞれを実行するか否かの判定する際に、同じ被写体特定結果を用いるので、それぞれの画質調整処理判定(ステップS140〜S144)間で、被写体特定の結果や、被写体特定処理において得られた情報を共有することができる。すなわち、判定に必要な統計値の算出等の画像データの解析を、個々の画質調整処理判定ごとに行う従来技術と比較して、画像処理全体として処理速度を向上できると共に、画像処理に必要なメモリ領域を低減することができる。
また、逆光処理を含む複数の画質調整処理を実行する際に、被写体特定結果や、被写体特定処理の過程で得られた情報を用いる場合には、画質調整処理においても、被写体特定結果や、被写体特定処理の過程で得られた情報を共有することができる。
・変形例:
上記実施例に係る逆光処理判定処理(ステップS140)において、それぞれの条件について判定する順序は一例であって、順序は適宜変更することができる。例えば、上記実施例では、被写体特定結果に基づく判定(ステップS302〜S310)の後に、最終判定として明度分布特性の類似度による判定(ステップS312)を実行しているが、明度分布特性の類似度による判定を先に実行して、類似と判定された画像データに対してのみ最終判定として、被写体特定結果に基づく判定を実行しても良い。
上記実施例に係る被写体特定処理(ステップS130)では、顔画像領域FA、高明度低彩度画像領域BA、高彩度画像領域VAの全てを特定した後、逆光処理判定(ステップS140)を実行しているが、逆光処理判定において、必要がある場合に、必要な被写体特定処理を実行しても良い。すなわち、逆光処理判定において、顔画像領域FAがあるか否かを判定する際(ステップS302)に、顔画像領域FAを特定する処理を実行し、高明度低彩度画像領域BAがあるか否かを判定する際(ステップS306)に、高明度低彩度領域BAを特定する処理を実行するようにしても良い。
上記実施例に係る画像処理では、逆光処理判定処理に用いる、人物の顔部分、高明度低彩度領域、高彩度領域のみについて被写体特定処理(ステップS130)を実行しているが、逆光処理判定処理とは無関係の被写体(例えば、空)についても、同時に被写体特定処理を実行して、係る被写体特定結果に基づいて、他の画質調整処理(例えば、空の色調を一般的に好まれる色調に合わせる補正)等を実行しても良いことは、もちろんである。
また、画像データGDを含むファイルに、画像データと関連づけられた画像生成履歴情報が含まれている場合には、CPU200は、この画像生成履歴情報を取得して、上記実施例に係る画像処理において適宜利用しても良い。画像生成履歴情報とは、例えば、画像データがExifファイル形式で保存されている場合にExifデータ領域に記録されている情報をいい、具体的には、被写体位置情報や、被写体距離情報等が含まれ得る。
CPU200が実行する画質調整処理では、コントラスト、色彩、シャープネスの調整等、一般的な画質調整処理が行われ得ることは言うまでもない。
上記実施例では、画像処理装置として、パーソナルコンピュータ20を用いて画像処理を実行しているが、このほかにも、例えば、画像処理機能を備えるスタンドアローン型のプリンタを画像処理装置として用いても良い。かかる場合にはプリンタにおいて上記画像処理が実行される。また、画像処理装置等のハードウェア構成を伴うことなく、プリンタドライバ、画像処理アプリケーション(プログラム)としても実現され得る。
以上、実施例に基づき本発明に係る画像処理装置、逆光人物画像判定方法および判定プログラムを説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。
10…ディジタルスチルカメラ(DSC)
20…パーソナルコンピュータ
200…中央演算装置(CPU)
201…ランダムアクセスメモリ(RAM)
202…ハードディスク(HDD)
203…カードスロット
204…入出力端子
25…モニタ
30…プリンタ
MC…メモリカード
M1…画像データ取得部
M2…被写体特定部
M3…明度分布特性算出部
M4…処理判定部
M5…画質調整部
M6…出力データ生成部
20…パーソナルコンピュータ
200…中央演算装置(CPU)
201…ランダムアクセスメモリ(RAM)
202…ハードディスク(HDD)
203…カードスロット
204…入出力端子
25…モニタ
30…プリンタ
MC…メモリカード
M1…画像データ取得部
M2…被写体特定部
M3…明度分布特性算出部
M4…処理判定部
M5…画質調整部
M6…出力データ生成部
Claims (17)
- 撮像画像の画像データに対して逆光処理を実行するか否かを判定する画像処理装置であって、
前記画像データを取得する画像データ取得手段と、
前記画像データを複数の画像領域に分割して、前記分割した画像領域ごとに撮像された被写体を特定する被写体特定手段と、
前記特定された被写体の特性に基づいて、前記画像データに対して逆光処理を実行するか否かを判定する処理判定手段であって、前記複数の画像領域のうち少なくとも一部が、前記特定された被写体として所定の主要被写体を有すると共に明度が低明度基準値以下である低明度主要被写体画像領域であり、かつ、前記複数の画像領域のうち少なくとも一部が、前記特定された被写体として高明度かつ低彩度である被写体を有する高明度低彩度画像領域であり、かつ、前記複数の画像領域のうちに、前記特定された被写体として高彩度被写体を有する高彩度画像領域が存在しない場合に、前記画像データに対して逆光処理を実行すると判定する処理判定手段と、
を備える画像処理装置。 - 請求項2に記載の画像処理装置において、
前記処理判定手段は、
前記複数の画像領域のうちに、前記低明度主要被写体画像領域が存在しない場合、
または、前記複数の画像領域のうちに、前記高明度低彩度画像領域が存在しない場合、
または、前記複数の画像領域のうち少なくとも一部が、前記高彩度画像領域である場合に、前記画像データに対して逆光処理を実行しないと判定する画像処理装置。 - 請求項1または請求項2に記載の画像処理装置において、
前記処理判定手段は、さらに、
前記高明度低彩度画像領域が前記低明度主要被写体画像領域より上方に位置する場合に、前記画像データに対して逆光処理を実行すると判定する画像処理装置。 - 請求項1ないし請求項3のいずれかに記載の画像処理装置において、
前記高明度低彩度画像領域は、
その画像領域内に含まれる全画素データのうち、明度が高明度画素基準値以上であって彩度が低彩度画素基準値以下である高明度低彩度画素データの占める割合が、第1の所定値以上である画像領域である画像処理装置。 - 請求項1ないし請求項4のいずれかに記載の画像処理装置において、
前記高彩度画像領域は、
その画像領域内に含まれる全画素データのうち、彩度が高彩度画素基準値以上である高彩度画素データの占める割合が、第2の所定値以上である画像領域である画像処理装置。 - 撮像画像の画像データに対して逆光処理を実行するか否かを判定する画像処理装置であって、
前記画像データを取得する画像データ取得手段と、
前記画像データにおける主要被写体を特定し、前記特定した主要被写体が逆光処理の対象である処理対象被写体であるか否かを判定する、主要被写体判定手段と、
高明度低彩度領域および高彩度領域が前記画像データ中に存在するか否かを判定する領域判定手段と、
前記主要被写体が前記処理対象被写体であると判定した場合に、前記領域判定手段の判定結果に基づいて、前記画像データに対して逆光処理を実行するか否かを判定する処理判定手段であって、前記高明度低彩度領域が存在しない場合、または、前記高彩度領域が存在する場合には、前記画像データに対して逆光処理を実行しないと判定する処理判定手段と、
を備える画像処理装置。 - 請求項6に記載の画像処理装置において、
前記処理判定手段は、
前記高明度低彩度領域が存在し、かつ、前記高彩度領域が存在しない場合に、前記画像データに対して逆光処理を実行すると判定する画像処理装置。 - 請求項6または請求項7に記載の画像処理装置において、
前記処理判定手段は、さらに、
前記高明度低彩度領域が存在する場合には、前記高明度低彩度領域を特定し、
前記特定した高明度低彩度領域が前記主要被写体より上方に位置する場合には、前記画像データに対して逆光処理を実行すると判定する画像処理装置。 - 請求項6ないし請求項8のいずれかに記載の画像処理装置において、
前記主要被写体判定手段は、
前記主要被写体が、所定の主要被写体であって、かつ、明度が低明度基準値以下である低明度被写体である場合に、前記主要被写体は逆光処理の対象である処理対象被写体であると判定する画像処理装置。 - 請求項6ないし請求項9のいずれかに記載の画像処理装置において、
前記高明度低彩度領域は、
明度が高明度基準値以上であって、かつ、彩度が低彩度基準値以下である領域である画像処理装置。 - 請求項6ないし請求項10のいずれかに記載の画像処理装置において、
前記高彩度領域は、
彩度が高彩度基準値以上である領域である画像処理装置。 - 請求項1ないし請求項11のいずれかに記載の画像処理装置において、
前記所定の主要被写体は、人物の顔部分である画像処理装置。 - 請求項1ないし請求項12のいずれかに記載の画像処理装置は、さらに、
前記取得した画像データの明度分布特性を求める明度分布特性算出手段を備え、
前記処理判定手段は、さらに、
前記求めた明度分布特性と予め用意された逆光画像特定用の明度分布特性とを対比し、
前記求めた明度分布特性と前記逆光画像特定用の明度分布特性とが類似する場合に、前記画像データに対して逆光処理を実行すると判定する画像処理装置。 - 請求項1ないし請求項13のいずれかに記載の画像処理装置は、さらに、
前記画像データに対して、画質調整処理を実行する画質調整手段であって、
前記画像データに対して逆光処理を実行すると判定された場合には、前記被写体特定手段による被写体の特定結果または特定の過程で得られた情報を用いて前記逆光処理を実行する画質調整手段を備える画像処理装置。 - 請求項14に記載の画像処理装置において、
前記画質調整手段は、さらに、
前記被写体特定手段による被写体の特定結果または特定の過程で得られた情報を用いて、前記画像データに対して前記逆光処理以外の画質調整処理を実行する画像処理装置。 - 撮像画像の画像データに対して逆光処理を実行するか否かを判定する画像判定方法であって、
前記画像データを取得し、
前記画像データを複数の画像領域に分割して、前記分割した画像領域ごとに撮像された被写体を特定し、
前記複数の画像領域のうち少なくとも一部が、前記特定された被写体として所定の主要被写体を有すると共に明度が低明度基準値以下である低明度主要被写体画像領域であり、
かつ、前記複数の画像領域のうち少なくとも一部が、前記特定された被写体として高明度かつ低彩度である被写体を有する高明度低彩度画像領域であり、
かつ、前記複数の画像領域のうちに、前記特定された被写体として高彩度被写体を有する高彩度画像領域が存在しない場合に、
前記画像データに対して逆光処理を実行すると判定する画像判定方法。 - 撮像画像の画像データに対して逆光処理を実行するか否かを判定する画像判定方法であって、
前記画像データを取得し、
前記画像データにおける主要被写体を特定し、
前記特定した主要被写体が逆光処理の対象である処理対象被写体であるか否かを判定し、
前記主要被写体が前記処理対象被写体であると判定した場合には、
高明度低彩度領域が前記画像データ中に存在するか否かを判定し、
高彩度領域が前記画像データ中に存在するか否かを判定し、
前記高明度低彩度領域が存在しない場合、または、前記高彩度領域が存在する場合には、前記画像データに対して逆光処理を実行しないと判定する画像判定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004058495A JP2005250725A (ja) | 2004-03-03 | 2004-03-03 | 逆光画像の判定 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004058495A JP2005250725A (ja) | 2004-03-03 | 2004-03-03 | 逆光画像の判定 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005250725A true JP2005250725A (ja) | 2005-09-15 |
Family
ID=35031159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004058495A Pending JP2005250725A (ja) | 2004-03-03 | 2004-03-03 | 逆光画像の判定 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005250725A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015138448A (ja) * | 2014-01-23 | 2015-07-30 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN107454315A (zh) * | 2017-07-10 | 2017-12-08 | 广东欧珀移动通信有限公司 | 逆光场景的人脸区域处理方法和装置 |
-
2004
- 2004-03-03 JP JP2004058495A patent/JP2005250725A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015138448A (ja) * | 2014-01-23 | 2015-07-30 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN107454315A (zh) * | 2017-07-10 | 2017-12-08 | 广东欧珀移动通信有限公司 | 逆光场景的人脸区域处理方法和装置 |
WO2019011110A1 (zh) * | 2017-07-10 | 2019-01-17 | Oppo广东移动通信有限公司 | 逆光场景的人脸区域处理方法和装置 |
CN107454315B (zh) * | 2017-07-10 | 2019-08-02 | Oppo广东移动通信有限公司 | 逆光场景的人脸区域处理方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7945109B2 (en) | Image processing based on object information | |
US7375848B2 (en) | Output image adjustment method, apparatus and computer program product for graphics files | |
US7884863B2 (en) | Image noise reduction device and image noise reduction method | |
US7929763B2 (en) | Determination of portrait against back light | |
US8391646B2 (en) | Image processing device and method that performs image quality adjustment and resize processing on image data | |
JP2004341889A (ja) | 画像の明度補正処理 | |
JP2005318523A (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
KR20030022072A (ko) | 촬영 화상을 인쇄 처리하기 위한 화상 처리 장치 | |
JPWO2004030373A1 (ja) | 画像データの出力画像調整 | |
US20090160967A1 (en) | Determination of shooting scene and image processing for the determined scene | |
JP2001148780A (ja) | 赤目修正対象領域の設定方法および赤目修正方法 | |
JP4036156B2 (ja) | 逆光画像の判定 | |
JP2000196890A (ja) | 画像処理方法および装置並びに記録媒体 | |
JP4492706B2 (ja) | 撮影場面の判定および撮影場面に応じた画像処理 | |
JP4007368B2 (ja) | 画像データの出力画像調整 | |
JP4859938B2 (ja) | 被写体情報を用いた画像処理 | |
JP4581999B2 (ja) | 画像処理装置および画像処理方法 | |
JP2002368982A (ja) | 画像処理装置および画像処理方法および記録媒体 | |
JP2009070099A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP2005250725A (ja) | 逆光画像の判定 | |
JP2002369004A (ja) | 画像処理装置と画像出力装置と画像処理方法及び記憶媒体 | |
JP2004222078A (ja) | 画像処理装置、画像処理方法、およびそのプログラム | |
JP4096989B2 (ja) | 撮影場面の判定および撮影場面に応じた画像処理 | |
JP2008278519A (ja) | 画像ファイルの出力画像調整 | |
JP2004343610A (ja) | 暗背景画像に対する画像処理 |