JP2005159388A - コントラスト調整方法及びこの方法を実施するコントラスト調整装置 - Google Patents

Abstract

【課題】顔領域を含む撮影画像データの濃度補正に用いられる濃度特性曲線における顔領域のコントラストを適正に調整するコントラスト調整技術を提供する。
【解決手段】撮影画像データから顔領域を検出する顔検出ユニット40と、撮影画像データに基づいて適正濃度特性曲線と適正濃度補正値を決定する適正補正モジュール60と、撮影画像データのベース濃度値を算出するベース濃度算出部72と、顔平均濃度とベース濃度値の差から顔コントラスト係数を算出する顔コントラスト係数算出部73と、顔領域の最大・最小濃度値と顔コントラスト係数と適正濃度補正値によって顔コントラストを決定する顔コントラスト決定部74と、顔コントラストを前記適正濃度特性曲線に組み合わせることで適正濃度特性曲線における顔領域のコントラストを調整する濃度特性曲線決定モジュール80とからなるコントラスト調整装置。
【選択図】 図１０

Description

本発明は、顔領域を含む撮影画像データの濃度補正に用いられる濃度特性曲線における顔領域のコントラストを調整する方法、プログラム、装置に関する。

現在、写真プリント業界では、写真フィルムに形成された撮影画像をフィルムスキャナを用いてデジタル化して得られた撮影画像データや、デジタルカメラなどのデジタル撮影機器によって直接撮影画像をデジタル化して得られた撮影画像データに濃度補正や色補正などの画像処理を施した後これをプリントデータに変換し、このプリントデータに基づいてプリント露光ユニットを駆動して、撮影画像を感光材料（印画紙）に焼き付けるデジタル写真処理技術が、主流である。

このようなデジタル写真処理技術の分野では、例えば、撮像素子により写真フィルムを測光して得られるコマごとのＲ（赤）・Ｇ（緑）・Ｂ（青）の撮影画像データに基づいて画質の良好な画像を印画紙に焼き付けるため、入力された撮影画像データの濃度を補正する処理が行われている。濃度補正方法としては、濃度特性曲線（ガンマ特性）による濃度補正が一般的である。つまり、入力画像データの濃度階調に対して印画紙が発色する濃度階調は一致しないので、印画紙が発色する濃度階調が人間の視覚特性に適したものになるように設定された濃度特性曲線を用いて入力画像データを補正し、この補正された出力画像データに基づいて最終的に得られる写真プリント（印画紙）上で発色している濃度階調が人間の視覚特性に応じたものになるようにしている。濃度特性曲線としては、理論的かつ経験的の知識に基づいて作成された基本的な濃度特性曲線がよく知られており、以前からこのような基本的な濃度特性曲線が利用されている。しかしながら、撮影画像の被写体状況や撮影環境状況は千差万別であり、基本的な濃度特性曲線では、入力された撮影画像データの撮像シーンによっては、適切な出力画像データを得られないという問題が生じている。例えば、オーバー／アンダー露出（露光過多／露光過少）で撮影された写真フィルムから取り込んだ撮影画像データを補正する場合は、撮影画像データを構成する各画素の輝度が低輝度（シャドウ部）または高輝度（ハイライト部）に偏り過ぎているのに対して、基本的な濃度特性曲線におけるシャドウ部およびハイライト部の傾斜率は緩やかになっているため、入力濃度に対して出力濃度が極めて弱くなるように補正されてしまう。

上述の問題を解決するため、基本濃度特性曲線を出力側基準で複数の領域に分割し、画像の濃度の代表値に対して、基本濃度特性曲線がとり得る入力輝度の範囲を変更するための調整率を定めたデータテーブルを上記領域別に設定し、入力画像を構成する各画素の濃度から、入力画像の濃度の代表値を求め、求めた代表値と上記データテーブルとから、入力画像に応じた調整率を領域ごとに検出し、領域ごとで、基準となるガンマカーブのとり得る出力輝度の範囲は一定としつつ、基本濃度特性曲線がとり得る入力濃度の範囲に入力画像に応じた調整率をかけることで、基本濃度特性曲線を修正し、その修正された濃度特性曲線で入力撮影画像データを濃度補正するものがある（特許文献１参照。）。このように修正された濃度特性曲線を用いて濃度補正することにより、上述の問題はある程度改善されるが、なお、特定の撮影画像、例えば人物写真などではその効果は十分ではない。

人物撮影画像に対する適正な濃度補正を行うために、人物の肌色に相当する色相を有する画素のＲＧＢデータの特徴量と人物が含まれている可能性の高い領域の画素のＲＧＢデータの特徴量とに基づいて濃度特性曲線を修正することにより、人物の濃度が適正に補正されるように工夫されたものもある（特許文献２参照。）。この技術では、ある程度の確率をもって人物撮影画像の改善が得られるが、肌色画素が一義的に人物を規定するものではないので、被写体によっては不適当な濃度補正が施されることになる。

撮影画像データからオペレータが顔領域を指定して、その顔領域に基づいた濃度補正を行う技術も知られているが（例えば特許文献３、特許文献４参照。）、単純に人物の顔に濃度を合わせるような修正を基本濃度特性曲線に施して、濃度補正した場合、逆光撮影画像やストロボ撮影画像では過剰補正となって、やはり不自然な写真プリントを作製してしまうことも少なくない。

また、濃度特性曲線を所定点周りで、一般には中央の濃度値（濃度ヒストグラム中心）となる濃度特性曲線上の点周りで回転させることで、コントラストが補正されるが、このようなコントラスト補正では、濃度の高い領域と濃度の低い領域とで同じコントラスト補正を行うことになり、特に逆光撮影画像やストロボ撮影画像の場合、必ずしも満足できる品質をもった画像を作り出すことができないという問題点がある。この問題を解決するために、コントラスト補正のために濃度特性曲線を回転させる点に関して高濃度側と低濃度側で回転させる角度を変えたり、コントラスト補正のために濃度特性曲線を回転させる点を複数（例えば濃度ヒストグラムの複数のピーク点）設定したりして、複数の領域で異なるコントラスト補正を行う技術がある（例えば、特許文献５）。このようなコントラスト補正では濃度領域別のコントラスト補正が可能であるが、人物写真などでは区分けすべき領域、つまり特定のコントラスト補正をすべき濃度領域の設定が難しく、これを間違うとかえって不適切なコントラスト補正となってしまう。

特開２００３−３０４３９８号公報（段落番号０００８、００２１、第１図） 特開２００２−３６９０２０号公報（段落番号０００４−０００８、第５図） 特開平６−５９３５３ 号公報（段落番号００２４、００４８、第３図） 特開２００１−２１８０４７ 号公報（段落番号０００９−００１０、００２４−００２８、第２図） 特開２００２−１２５１１３０号公報（段落番号００９４−０１１３、第４−５図）

上記実状に鑑み、本発明の課題は、顔領域を含む撮影画像データの濃度補正に用いられる濃度特性曲線における顔領域のコントラストを適正に調整するコントラスト調整技術を提供することである。

上記課題を解決するため、顔領域を含む撮影画像データの濃度補正に用いられる濃度特性曲線における顔領域のコントラストを調整する、本発明によるコントラスト調整方法は、前記撮影画像データから顔領域を検出するステップと、前記撮影画像データに基づいて適正濃度特性曲線とこの適正濃度特性曲線を規定する適正濃度補正値を決定するステップと、前記撮影画像データの前記顔領域から顔平均濃度値を算出するステップと、前記撮影画像データのベース濃度値を算出するステップと、前記顔平均濃度と前記ベース濃度値の差をパラメータとして顔領域の濃度特性曲線の傾きを示す顔コントラスト係数を算出するステップと、前記顔コントラスト係数と前記適正濃度補正値によって顔コントラストを決定するステップと、前記顔コントラストを前記適正濃度特性曲線に組み合わせることで前記適正濃度特性曲線における顔領域のコントラストを調整するステップとからなる。この方法では、撮影画像データに基づいて決定される適正濃度特性曲線に対して、検出された顔領域の顔平均濃度と撮影画像データのベース濃度値との差をパラメータとして、顔領域の濃度特性曲線の傾きを示す顔コントラスト係数を算出し、この顔コントラスト係数と適正濃度特性曲線を規定する適正濃度補正値によって決定される顔コントラストを適正濃度特性曲線に組み合わせるので、最終的な適正濃度特性曲線は顔領域においては顔に適したコントラストを有するとともにそれ以外の領域では一般的な被写体に適したコントラストを有することになる。この方法で調整された適正濃度補正曲線を用いて濃度補正およびコントラスト補正された撮影画像データは、撮影画像の顔領域と背景等の濃度バランスが適正な写真プリントを出力することが可能である。ここでいう、適正濃度特性曲線を規定する適正濃度補正値は、この適正濃度補正値を入力濃度値とした場合その出力濃度値としてニュートラルグレイと呼ばれる濃度値が出力されるものであると理解してもよい。また、ベース濃度値とは、一般的には、撮影画像データのソースが写真フィルムの場合写真フィルムの素抜け部の濃度値であり、撮影画像データのソースがデジタルカメラ等の場合光学的黒レベルに関係づけられた濃度値であり、いわゆる被写体から独立した濃度値である。

上述した顔コントラストが有効な顔領域として、検出された顔領域における最大濃度値と最小濃度値によって規定される領域を採用することが処理の容易さからも好都合である。従って、本発明の好適な実施形態の１つでは、前記顔領域の撮影画像データから顔最大濃度値と顔最小濃度値を算出するステップが含まれ、かつ前記コントラストの決定ステップにおいて、前記顔最大濃度値と前記顔最小濃度値の範囲内で前記顔コントラスト係数を傾きとし前記適正濃度補正値によって規定される直線を顔コントラストとして決定することが提案されている。つまり、入力濃度値が顔最大濃度値と顔最小濃度値の範囲内で、顔コントラスト係数を傾きとし適正濃度補正値を入力濃度値とした場合にニュートラルグレイが出力濃度値となる直線を顔コントラストとするわけである。

顔最大濃度値（顔領域の最大濃度値）と顔最小濃度値（顔領域の最小濃度値）によって規定される領域を顔コントラストの有効領域とする代わりに、顔平均濃度（顔領域の平均濃度値）から所定値だけ離れた領域を有効領域としてもよい。この所定値は入力された撮影画像データから統計的に得られる濃度特性に基づいて決定してもよいし、予め設定しておいてもよい。

なお、前記適正濃度特性曲線と前記適正濃度補正値を決定するアルゴルズムは種々のものが知られているが、ここでは人物写真に適合させるために、前記適正濃度特性曲線が前記撮影画像データに基づいて算出される基本補正値に基づいて生成された基本濃度特性曲線と、前記撮影画像データから検出された顔領域の平均濃度値に基づいて生成された顔依存濃度特性曲線と間に、前記適正濃度特性曲線が位置するように設定されたアルゴリズムが採用されている。

また、本発明は、上述したような、顔領域を含む撮影画像データの濃度補正に用いられる濃度特性曲線における顔領域のコントラストを調整する方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものである。

本発明では、さらに、上述した方法を採用した装置も権利の対象としており、顔領域を含む撮影画像データの濃度補正に用いられる濃度特性曲線における顔領域のコントラストを調整する、本発明によるコントラスト調整装置では、前記撮影画像データから顔領域を検出する顔検出ユニットと、前記撮影画像データに基づいて適正濃度特性曲線とこの適正濃度特性曲線を規定する適正濃度補正値を決定する適正補正モジュールと、前記撮影画像データの前記顔領域から顔平均濃度値を算出する顔濃度算出部と、前記撮影画像データのベース濃度値を算出するベース濃度算出部と、前記顔平均濃度と前記ベース濃度値の差をパラメータとして顔領域の濃度特性曲線の傾きを示す顔コントラスト係数を算出する顔コントラスト係数算出部と、前記顔コントラスト係数と前記適正濃度補正値によって顔コントラストを決定する顔コントラスト決定部と、前記顔コントラストを前記適正濃度特性曲線に組み合わせることで前記適正濃度特性曲線における顔領域のコントラストを調整する濃度特性曲線決定モジュールとから構成されている。当然ながら、このようなコントラスト調整装置も上述した方法におけるすべての作用効果を得ることができるとともに、このコントラスト調整装置で調整された濃度特性曲線を用いて濃度補正とコントラスト補正された撮影画像データに基づく写真プリントは、撮影画像の顔領域と背景等の両者において濃度バランスとコントラストバランスが良好なものとなる。

なお、ここで使われている濃度特性曲線ないしコントラスト調整された濃度特性曲線は数学的な特性曲線に限定して解釈されるのでのではなく、その実体は、離散的な特性曲線であってもよいし、ソフトウエアにおいてよく用いられるテーブル化された抽出可能なデータ群で定義されるものであってもよいし、ソフトウエア的に又はハードウエア的にあるいはその両方の意味において入力濃度を出力濃度に変換する濃度特性を特定する全てのデータ構造体を意味するものである。

本発明によるコントラスト調整技術の実施形態について、図面に基づいて説明する。
図１は本発明によるコントラスト調整技術を組み込んでいる写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図２からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図１参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に画像データと略称する）を取得するフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される撮影画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから画像データを取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用されるポインティングデバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図３に示されているように、本発明に特に関係する機能部としては、スキャナ２０やメディアリーダ２１によって読み取られた画像データを取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された画像データに対する画像処理等を行う画像管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み画像データに基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の画像データや画像処理が完了した処理済み画像データなどをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ画像データにサムネイル画像データ（低解像度データ）が含まれている場合はこのデータをモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出して低解像度画像データとしてメモリ３０に送り込む。

画像管理部３２は、メモリ３０に展開された低解像度の画像データから顔検出アルゴリズムを用いて顔検出領域データを含む顔検出情報を出力する顔検出ユニット４０、メモリ３０に展開された高解像度の画像データに対して濃度補正を施す濃度補正ユニット５０、この濃度補正ユニット５０が用いる濃度特性曲線を画像データの画像特性に基づいて設定調整する濃度補正管理ユニット１００、画像データに対して色補正やフィルタリング（ぼかしやシャープネスなど）などの画像処理を施す画像処理ユニット２００を備えている。

顔検出ユニット４０は汎用的なものを使用することが可能であり、ここでは、顔検出アルゴリズムに基づいて画像データ中の顔と見なされる領域を検出し、その顔位置とサイズ（顔位置を基点とした矩形画素領域の縦横サイズ）からなる顔検出領域データ、顔の向き、顔検出時に算定された信頼度が顔検出情報として出力するものが使われている。画像データから顔を検出する顔検出アルゴリズムは数多く知られているが、例えば、特開平１１−３３９０８４号公報、特開２０００−９９７２２号公報、特開２０００−２２９２９号公報が参照される。また、この顔検出を自動的に行うのではなく、オペレータによって手動で行ってもよく、この場合顔検出ユニット４０は顔検出アルゴリズムは持たず、オペレータの操作入力に基づく顔検出情報を出力するだけの構成となる。

図４に示すように、濃度補正ユニット５０は、濃度特性曲線を画像データの画像特性に基づいて濃度補正管理ユニット１００によって設定調整された適正な濃度特性曲線を格納している濃度特性曲線テーブル５２を用いて高解像度の画像データに対する濃度補正を実行する濃度補正部５１からなる。一般的に、濃度補正部５１はプログラムによって実現されており、濃度特性曲線テーブル５２はルックアップテーブルといったデータ構造体によって実現されるが、本発明はこれに限定しているわけではない。

同様に図４に示すように、濃度補正管理ユニット１００も、プログラムによって実現されているが、適正補正値を決定する適正補正モジュール６０と、顔領域のコントラストである顔コントラストを決定する顔コントラスト修正モジュール７０と、前記適正補正値に基づいて適正濃度補正曲線を生成するとともにこの適正濃度補正曲線を顔コントラストに基づいて修正する濃度特性曲線設定モジュール８０から構成されている。

適正補正モジュールは、図５に示されているように、第１補正サブモジュール６０Ａと第２補正サブモジュール６０Ｂとにわけることができる。第１補正サブモジュール６０Ａは、顔検出評価部６１と顔平均濃度算出部６２と顔依存濃度特性曲線生成部６３と基本濃度特性曲線生成部６４と第１補正値決定部６５を備えている。顔検出評価部６１は、顔検出ユニット４０から出力された顔検出情報によって規定される顔領域の画像情報から以後の処理に利用するに適した顔であるかどうかを判別する判別機能と、ここで適すると判別された顔が数個ある場合さらにその数を絞り込む選別機能を持つ。その際用いられる判別条件には、顔領域における肌色画素の割合や顔検出情報に含まれている信頼度が用いられ、選別条件には顔の位置やサイズや向き、顔領域の濃度などが用いられる。

顔平均濃度算出部６２は、顔検出評価部６１によって選別された顔領域（単一でも複数でもよい）の平均濃度値を、各画素を構成するＲ・Ｇ・Ｂ濃度値の算術平均値を要素としてさらに顔領域全体を算術平均することにより算出する。

基本濃度特性曲線生成部６４は、予め定められている基準となる特性（形状）を有する濃度特性曲線を基本補正値によって入力濃度を横軸、出力濃度を縦軸においた座標面上に位置決め（シフト）することで基本濃度特性曲線を生成する機能を有する。なお、濃度特性曲線を生成するといっても、一般的には直接濃度特性曲線を作り出すのではなく、この特性曲線の位置決めのためのパラメータを算出しているだけである。このことは、後述する各種濃度特性曲線の生成においてもいえる。つまり、図６から明らかなように、基本補正値を入力濃度値とした場合にニュートラルグレーである出力濃度値（１６ビットデータで９５×２５６）になるように、基準となる特性を有する濃度特性曲線をシフトさせることで生成された濃度特性曲線が基本濃度特性曲線である。基本補正値を算出するアルゴリズムは種々のものが知られているが、ここでは入力された画像データの各種画像特性を説明変数として重回帰分析で得られる値を採用している。

顔依存濃度特性曲線生成部６３は、前述した基本濃度特性曲線生成部６４と類似する機能を有しており、ここでは基本補正値の代わりに顔平均濃度算出部６２で算出した顔平均濃度値を用いる。つまり、図７から明らかなように、顔平均濃度値を入力濃度値とした場合に最も顔が美しく表現されるとみなされている濃度値が出力濃度値（１６ビットデータで１６０×２５６）になるように、基準となる特性を有する濃度特性曲線をシフトさせることで生成された濃度特性曲線が顔依存濃度特性曲線となる。

顔も顔以外の背景もバランス良く仕上げるためには、実際に濃度補正部５１で用いられる適正濃度特性曲線を前述した基本濃度特性曲線と顔依存濃度特性曲線の間であって処理対象となる画像データの濃度補正に適した位置に設定することが重要である。このため、第１補正値決定部６５は、基本濃度特性曲線と顔依存濃度特性曲線との差である第１差分値ΔＤ1を求め、この第１差分値ΔＤ1を次の判別条件にかけることにより、第１補正値：ε1を決定する（ここで濃度は１６ビットデータで表現されているとする）；
(1)ΔＤ1＜-6000の場合ε1＝v1(負の数）であり、
(2)ΔＤ1＞12000の場合ε1＝v2（正の数）であり、
(3)0＜＝ΔＤ1＜＝1000の場合ε1＝v3（v1＜＜v3＜＜v2）であり、
(4)前記(1)〜(3)以外の場合ε1＝ΔＤ1×0.5である、
この第１差分値ΔＤ1は、同一の出力濃度値をもたらすそれぞれの入力濃度値の差で表されており、全域にわたる両濃度特性曲線間の平均差として求められてもよいし、又は、顔領域にわたる両濃度特性曲間の平均差として求められてもよいし、又は特定出力値における両濃度特性曲線間の差として求められてもよい。もちろん、そのような差を求める複数のサブプログラムを用意しておき、選択的に切り換えるような構成を採用してもよい。

濃度特性曲線設定モジュール８０は、このようにして決定された第１補正値ε1を基本補正値に加えた濃度値を入力濃度値とした場合にニュートラルグレーである出力濃度値（１６ビットデータで９５×２５６）になるように、基準となるように濃度特性曲線をシフトさせることで濃度補正部５１で用いられる適正濃度特性曲線を生成する（図８参照）。

しかしながら、この第１補正値ε1で適正濃度特性曲線を設定した場合画像全体の平均濃度と顔領域の平均濃度の差が少ない撮影画像では顔領域を重視しすぎるような表現になりがちなので、この実施形態では、第１補正値ε1に加えて画像全体の平均濃度値も考慮して決定された第２補正値ε2によって最終的な適正濃度特性曲線を設定する。この第２補正値は第２補正サブモジュール６０Ｂによって出力される。このため、第２補正サブモジュール６０Ｂは、メモリ３０に展開された低解像度の画像データの全領域を構成する画素の平均濃度値である画像濃度値を算出する画像平均濃度算出部６７と第２補正値決定部６８を備えている。第２補正値決定部６８は、前述した顔平均濃度算出部６２で算出された顔平均濃度値と前記画像平均濃度算出部６７で算出された画像平均濃度値との差である第２差分値から調整率を決定するとともにこの第１補正値ε1と前記調整率から第２補正値ε2を決定する。その際、第２差分値ΔＤ2と第１補正値ε1を用いて（ここでも濃度は１６ビットデータで表現されているとする）、調整率ξは、以下の判別条件から決定される；
(1)（-3000＜＝ΔＤ2＜-2000）かつ（ε1＞＝0）の場合ξ＝w1であり、
(2)（-2000＜＝ΔＤ2＜-1000）かつ（ε1＞＝0）の場合ξ＝w2であり、
(3)（-1000＜＝ΔＤ2＜1000）かつ（ε1＞＝0）の場合ξ＝w3であり、
(4)（1000＜＝ΔＤ2＜2000）かつ（ε1＞＝0）の場合ξ＝w4であり、
(5)（2000＜＝ΔＤ2＜3000）かつ（ε1＞＝0）の場合ξ＝w5であり、
(6)（-2000＜＝ΔＤ2＜-1000）かつ（ε1＜0）の場合ξ＝w6であり、
(7)（-1000＜＝ΔＤ2＜1000）かつ（ε1＜0）の場合ξ＝w7であり、
(8)（1000＜＝ΔＤ2＜2000）かつ（ε1＜0）の場合ξ＝w8であり、
(9)前記(1)〜(8)以外の場合ξ＝w9で、
その際上記w1,w2,w3,w3,w5は1.0を越える正の数でかつw1＜w2＜w3、w5＜w4＜w3であり、w6,w7,w8は1.0を下回る正の数でかつw7＜w8、w7＜w6であり、w9はw1＜w9＜w7の関係をもっている。
このようにして決定された調整率ξを第１補正値ε1に乗算することにより第２補正値ε2が求まる（ε2＝ε1×ξ）。濃度特性曲線設定モジュール８０は、このようにして決定された第２補正値ε2を基本補正値に加えた濃度値を入力濃度値とした場合にニュートラルグレーである出力濃度値（１６ビットデータで９５×２５６）になるように、基準となるように濃度特性曲線をシフトさせることで濃度補正部５１で用いられる適正濃度特性曲線を生成する（図９参照）。第２補正値ε2を基本補正値に加えた濃度値をここでは適正補正値と呼ぶことにする。

次に、適正補正モジュール６０によって決定された適正濃度特性曲線における顔領域のコントラストを補正する顔コントラスト修正モジュールを説明する。この顔コントラスト修正モジュール７０は、図１０に示されるように、上述した顔検出評価部６１で選別された顔領域における、好ましくはその顔領域における肌色領域における平均濃度値（顔平均濃度値）や最大濃度値や最小濃度値を算出する顔濃度算出部７１と、写真フィルムの素抜け部の濃度値であるフィルムベース濃度や光学的黒レベルに関係づけられた濃度値である画像ベース濃度をベース濃度として算出するベース濃度算出部７２と、顔平均濃度値とベース濃度値の差をパラメータとして顔領域の濃度特性曲線の傾きを示す顔コントラスト係数を算出する顔コントラスト係数算出部７３と、顔最大濃度値と顔最小濃度値と顔コントラスト係数と適正補正モジュール６０によって決定された適正濃度補正値とによって顔コントラストを決定する顔コントラスト決定部７４とを備えている。この実施形態では、顔平均濃度値は適正補正モジュール６０の顔平均濃度算出部６２で算出されているので、それを利用することも可能であるし、顔平均濃度算出６２で顔平均濃度値だけでなく顔最大濃度値と顔最小濃度値も算出して記憶させておくことで、顔濃度算出部７１を省くことも可能である。

顔コントラスト係数算出部７３における顔コントラスト係数の算出プロセスでは、図１１に示されているように、まずベース濃度（図中bＤで示されいる）と顔平均濃度（図中fＤaveで示されている）の間の差（濃度距離）ａが求められ、この濃度距離ａを関数ｆに代入することでコントラスト係数（傾き）αを得る。この関数ｆは濃度距離ａをパラメータとしてコントラスト係数αを求めるものであり、予め実験的に求められている。図１１に暗示されているように、次のプロセスで求められる顔コントラストは、顔最小濃度値（図中fＤminで示されている）と顔最大濃度値（図中fＤmaxで示されている）との間の領域で傾きαを有する無数の直線の１つである。

次に顔コントラスト決定部７４における顔コントラストの決定プロセスでは、図１２に示されているように、適正補正モジュール６０で決定された適正補正値を入力濃度とした場合にその出力濃度値が最も顔が美しく表現されるとみなされている濃度値１６０×２５６（１６ビットデータ）になる点が決定され、さらに顔コントラスト係数算出部７３で規定される無数の直線（図１１参照）の内でこの点を通過する直線を特定し、この直線を顔コントラストとして決定する。

濃度特性曲線決定モジュール８０は、図１３で模式的に示されているように、この決定された顔コントラストを適正補正モジュール６０によって決定された適正濃度特性曲線に組み合わせることで顔領域のコントラストが調整された適正濃度特性曲線を生成する。つまり、調整された適正濃度特性曲線では、顔領域における部分が顔コントラスト決定部７４で決定された顔コントラストに置き換わっている。

このように構成された濃度補正管理ユニット１００による適正濃度特性曲線の設定とその顔領域のコントラスト補正の処理手順を説明する。適正補正モジュール６０における適正濃度特性曲線の決定処理が図１４に示されている。まずメモリ３０に展開されている低解像度画像データから重回帰式を用いて得られた基本補正値から図６に示されているような基本濃度特性曲線を生成する（＃０１）。同時に顔検出ユニット４０から出力された顔検出情報から顔が検出されたかどうかがチェックされ（＃０２）、顔が検出されていない場合（＃０２No分岐）、ステップ＃０１で生成された基本濃度特性曲線が濃度補正部５１で用いられる適正濃度特性曲線として濃度特性曲線テーブル５２に設定される（＃０３）。もし顔検出ユニット４０で１つ以上の顔が検出されている場合（＃０２Yes分岐）、顔検出情報を参照して算出される顔画素の数に対する肌色画素の数の割合である肌割合に基づいて前選別されるとともに必要に応じてこの前選別された顔からさらに顔検出情報に含まれている顔位置と顔サイズに基づいて求められた最適な理想顔を基準顔としてこの基準顔から所定の乖離度内に入る顔だけを以後の処理のために選別する選別処理が行われる（＃０４）。選別された顔の顔領域、好ましくは顔領域の内の肌色領域の平均濃度が顔平均濃度値として算出される（＃０５）。算出された顔平均濃度値から図７に示されているような顔依存濃度特性曲線を生成する（＃０６）。顔依存濃度特性曲線と基本濃度特性曲線の入力濃度軸方向の差である第１差分値を求める（＃０７）。第１差分値から上述した判別条件を用いて第１補正値を決定する（＃０８）。第１補正値を用いて図８に示されているような適正濃度特性曲線を生成する（＃０９）。

次に、メモリ３０に展開されている低解像度画像データから画像全体の平均濃度値を画像平均濃度値として算出する（＃１０）。続いて、この画像平均濃度値とステップ＃０５で算出した顔平均濃度値との差を第２差分値として算出し（＃１１）、さらにこの第２差分値とステップ＃８で決定した第１補正値から上述した判別条件を用いて修正率を決定する（＃１２）。第１補正値と修正率を乗算して第２補正値を得る（＃１３）。第２補正値を用いて図８に示されているような適正濃度特性曲線を生成する（＃１４）。以上の処理により、適正濃度特性曲線及び第２補正値ε2を基本補正値に加えた濃度値である適正補正値が得られたことになる。

この適正濃度特性曲線の顔領域におけるコントラスト補正の処理が図１５に示されている。まず、顔平均濃度値と顔最大濃度値と顔最小濃度値と求めるともに（＃３１）、ベース濃度値を求める（＃３２）。ベース濃度値と顔平均濃度値の差である濃度距離ａを算出する（＃３３）。濃度距離値ａから関数ｆ（ルックアップテーブルとして構成することが好ましい）を用いてコントラスト係数αを決定する（＃３４）。適正補正値を（＃３５）。適正補正モジュール６０から取得する適正補正値と顔最大濃度値と顔最小濃度値とコントラスト係数とから顔コントラストを決定する（図１２参照、＃３６）。濃度特性曲線設定モジュール８０が顔コントラスト修正モジュール７０から出力される顔コントラストと適正補正モジュール６０から出力されるする適正濃度特性曲線から顔領域のコントラストが修正された新たな適正濃度特性曲線を生成する（図１３参照、＃３７）。このようにして最終的に生成された適正濃度特性曲線を濃度特性曲線テーブル５２に設定する（＃３８）。以上の手順を経て、濃度特性曲線テーブル５２にはメモリ３０に展開されている顔を含む低解像度画像データに最適な濃度特性曲線が設定されたことになるので、次に、濃度補正ユニット５０はメモリ３に展開される対応する高解像度画像データに対して濃度補正処理を行う。これにより、プリントに使用される高解像度画像データは顔領域のコントラストも最適に調整されることになり、結果的に顔が美しく表現された写真プリントを出力することができる。

上述した実施の形態では、プリントステーション１Ｂは、印画紙Ｐに対し、露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明におけるプリントステーション１Ｂは、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を採用することができる。

本発明は、撮影画像データから検出された顔の画像特性を利用して顔領域のコントラストが最適に調整された濃度特性曲線を生成する技術分野、特に撮影画像データから写真プリントを作成する写真プリント装置へ組み込まれるコントラスト調整モジュールとして広く利用することができる。

本発明による濃度補正管理技術を採用した写真プリント装置の外観図 写真プリント装置のプリントステーションの構成を模式的に示す模式図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 濃度補正補正管理ユニットの機能構成を示す機能ブロック図 適正補正モジュールの機能構成を示す機能ブロック図 基本濃度特性曲線の生成を説明する模式図 顔依存濃度特性曲線の生成を説明する模式図 濃度補正管理ユニットの第１実施形態における適正濃度特性曲線の生成を説明する模式図 濃度補正管理ユニットの第２実施形態における適正濃度特性曲線の生成を説明する模式図 顔コントラスト修正モジュールの機能構成を示す機能ブロック図 コントラスト係数の算出手順を説明する模式図 顔コントラストの決定手順を説明する模式図 顔領域における顔コントラストが修正された適正濃度特性曲線を生成する模式図 適正濃度特性曲線を生成する処理の流れを示すフローチャート 顔領域における顔コントラストが修正された適正濃度特性曲線を生成する処理の流れを示すフローチャート

符号の説明

３０：メモリ
４０：顔検出ユニット
５０：濃度補正ユニット
５１：濃度補正部
５２：濃度特性曲線テーブル
６０：適正補正モジュール
６０Ａ：第１補正サブモジュール
６０Ｂ：第２補正サブモジュール
６１：顔検出評価部
６２：顔平均濃度算出部
６３：顔依存濃度特性曲線生成部
６４：基本濃度特性曲線生成部
６５：第１補正値決定部
６７：画像平均濃度算出部
６８：第２補正値決定部
７０：顔コントラスト修正モジュール
７１：顔濃度算出部
７２：ベース濃度算出部
７３：顔コントラスト係数算出部
７４：顔コントラスト決定部
８０：濃度特性曲線設定モジュール
１００：濃度補正管理ユニット
２００：画像処理ユニット

Claims (6)

1. 顔領域を含む撮影画像データの濃度補正に用いられる濃度特性曲線における顔領域のコントラストを調整するコントラスト調整方法において、
   前記撮影画像データから顔領域を検出するステップと、
   前記撮影画像データに基づいて適正濃度特性曲線とこの適正濃度特性曲線を規定する適正濃度補正値を決定するステップと、
   前記撮影画像データの前記顔領域から顔平均濃度値を算出するステップと、
   前記撮影画像データのベース濃度値を算出するステップと、
   前記顔平均濃度と前記ベース濃度値の差をパラメータとして顔領域の濃度特性曲線の傾きを示す顔コントラスト係数を算出するステップと、
   前記顔コントラスト係数と前記適正濃度補正値によって顔コントラストを決定するステップと、
   前記顔コントラストを前記適正濃度特性曲線に組み合わせることで前記適正濃度特性曲線における顔領域のコントラストを調整するステップと、
   からなることを特徴とするコントラスト調整方法。
2. 前記顔領域の撮影画像データから顔最大濃度値と顔最小濃度値を算出するステップが含まれ、かつ前記コントラストの決定ステップにおいて、前記顔最大濃度値と前記顔最小濃度値の範囲内で前記顔コントラスト係数を傾きとし前記適正濃度補正値によって規定される直線を顔コントラストとして決定することを特徴とする請求項１に記載のコントラスト調整方法。
3. 前記適正濃度特性曲線が前記撮影画像データに基づいて算出される基本補正値に基づいて生成された基本濃度特性曲線と、前記撮影画像データから検出された顔領域の平均濃度値に基づいて生成された顔依存濃度特性曲線と間に位置するように、前記適正濃度特性曲線と前記適正濃度補正値を決定することを特徴とする請求項１又は請求項２に記載のコントラスト調整方法。
4. 前記請求項１〜３のいずれかに記載のコントラスト調整方法をコンピュータに実行させるためのプログラム。
5. 顔領域を含む撮影画像データの濃度補正に用いられる濃度特性曲線における顔領域のコントラストを調整するコントラスト調整装置において、
   前記撮影画像データから顔領域を検出する顔検出ユニットと、
   前記撮影画像データに基づいて適正濃度特性曲線とこの適正濃度特性曲線を規定する適正濃度補正値を決定する適正補正モジュールと、
   前記撮影画像データの前記顔領域から顔平均濃度値を算出する顔濃度算出部と、
   前記撮影画像データのベース濃度値を算出するベース濃度算出部と、
   前記顔平均濃度と前記ベース濃度値の差をパラメータとして顔領域の濃度特性曲線の傾きを示す顔コントラスト係数を算出する顔コントラスト係数算出部と、
   前記顔コントラスト係数と前記適正濃度補正値によって顔コントラストを決定する顔コントラスト決定部と、
   前記顔コントラストを前記適正濃度特性曲線に組み合わせることで前記適正濃度特性曲線における顔領域のコントラストを調整する濃度特性曲線決定モジュールと、
   からなることを特徴とするコントラスト調整装置。
6. 前記顔濃度算出部が前記顔領域の撮影画像データから顔最大濃度値と顔最小濃度値を算出し、かつ前記顔コントラスト決定部が前記顔最大濃度値と前記顔最小濃度値の範囲内で前記顔コントラスト係数を傾きとし前記適正濃度補正値によって規定される直線を顔コントラストとして決定することを特徴とする請求項５に記載のコントラスト調整装置。

Images