JP2005148915A - 適正顔判別方法及びこの方法を実施する装置 - Google Patents

Abstract

【課題】一般的な顔検出アルゴリズムを利用しながらも写真プリント目的の撮影画像データの補正処理に特に適した顔を判別する技術、及びこの技術を採用した画像処理技術を提供する。
【解決手段】顔検出ユニット４０から出力された顔検出情報に含まれている顔検出領域データを参照しながら前記撮影画像データから各顔検出領域に含まれている肌色画素を検出する肌色画素検出部６１と、前記各顔検出領域を構成する顔画素の数に対する前記肌色画素の数の割合を肌割合として算出する肌割合算出部６２と、前記算出された肌割合を適正顔判定条件として用いる判別部６３と、前記判別部で判定された適正顔の画像情報に基づいて変更される補正パラメータを用いて前記撮影画像データを濃度補正する濃度補正部７０とから構成される画像処理装置。
【選択図】 図４

Description

本発明は、入力された撮影画像データから顔検出アルゴリズムを用いて取得された顔検出情報に基づいて重要被写体として適正な顔を判別する適正顔判別方法、適正顔判別プログラム、及びこの方法を採用して得られた適正顔の画像情報に基づいて補正パラメータを設定して前記撮影画像データを濃度補正する画像処理装置に関する。

現在、写真プリント業界では、写真フィルムに形成された撮影画像をフィルムスキャナを用いてデジタル化して得られた撮影画像データや、デジタルカメラなどのデジタル撮影機器によって直接撮影画像をデジタル化して得られた撮影画像データに濃度補正や色補正などの画像処理を施した後これをプリントデータに変換し、プリント露光ユニットを駆動して、撮影画像を感光材料（印画紙）に焼き付ける技術が、主流である。

このようなデジタル式の写真プリント装置では、画像入力機器と画像出力機器との間に異なる機器特性（ガンマ特性など）が存在するので、優れた画質の写真プリント出力は画像データを適切に補正することで可能となる。このため、入力された撮影画像データに対して、濃度補正、階調調整、カラーバランス調整、シャープネス（鮮鋭化）処理等を最適に行う画像処理技術が重要となる。

もちろん、そのような画像処理技術はフィルム画像を印画紙に直接投影して露光するいわゆるアナログ式の写真プリント装置においても採用されており、人物の顔、人物、動物、花などの一つの被写体を原画中の主要部として指定し、この主要部をイメージセンサ等により測光してこの測光値を用いて、この測光値単独であるいは原画全体の平均透過濃度と組み合わせて露光制御することが知られている。例えば、ネガフィルムなどの原画フィルムの画像情報を画素に分割して検出する検出装置と、ネガフィルムの主要部を指定し、さらに絵柄情報を入力することにより、検出装置によって検出された画像情報から得られた基本再現画像濃度に対する再現画像濃度補正量を求める補正装置と、検出装置によって検出された画素測光値から大面積平均透過濃度を演算処理し、次いで、この大面積平均透過濃度に基づいて前記基本再現画像濃度を求めるとともに、補正装置からの再現画像濃度補正量を受けて主要部や絵柄情報を考慮した適正露光条件を設定しかつ露光制御する露光条件制御部と、この露光条件制御部によって設定された適正露光条件に基づいて色および濃度のマニュアル補正を指示することのできる操作部とを有する写真プリント装置が知られている（特許文献１参照。）。ここでは、主要部としての顔領域はマウスなどのポインティングデバイスによってＣＲＴの画面に表示された原画像の主要部の対角線上の２点を指定することにより主要部の位置と大きさが入力される。

また、画像データ供給源から供給された画像データを解析してこの画像データの画像処理条件を設定する条件設定部と、前記条件設定部が設定した画像処理条件に応じて画像データに画像処理を施す画像処理部と、作業目的に応じた複数の動作モード、つまり不適性プリントを低減する動作モード、画質を重視する動作モード、１件のバラツキを低減する動作モード、生産速度を重視する動作モードが備えられ、その際前記不適性プリントを低減する動作モードでは人物の顔領域に基づいた濃度制御あるいはさらに階調の軟調化が行われ、前記画質を重視する動作モードでは撮影シーンやフィルム露出およびフィルム種の少なくとも１つに応じたグレー／色階調コントロールが行われ、前記１件のバラツキを低減する動作モードでは１件分の画像データを全て用いて画像処理条件が設定され、前記生産速度を重視する動作モードでは、グレーバランス補正および濃度補正される画像処理装置も提案されている（特許文献２参照。）。この装置は、プレスキャンデータを用いて、画像の濃度ヒストグラムの作成、および、最低濃度や最高濃度、平均濃度などの画像特徴量の算出、主要被写体（顔領域）の抽出を行うセットアップ部、及び顔抽出結果に応じて人物の顔を適正な肌色に仕上げるように顔領域の濃度を調整する顔領域濃度補正部を備えているが、セットアップ部における顔抽出の仕組みは開示されていないが、セットアップ部で抽出された主要被写体（顔領域）はそのまま利用されるので顔抽出アルゴリズムに非常な正確さが要求され、このことは、最新技術をもってしても、コストと処理速度に関するマイナスの要因となる。

特開平６−５９３５３ 号公報（段落番号００２４、００４８、第３図） 特開２００１−２１８０４７ 号公報（段落番号０００９−００１０、００２４−００２８、第２図）

重要な被写体部として顔領域を抽出し、顔領域の色合いを良好にするような画像処理を撮影画像データに施すことは高品質の写真プリントを出力するためには重要であるが、現状の顔検出アルゴリズムは写真プリントのために最適化されているわけではなく、そのまま採用すると誤認識や不適正な顔の検出のためかえって望ましくない画像処理が施されたり、ご認識を避けるためにその信頼度を上げようとすると全く顔が検出されなかったり、異常に処理速度が遅くなったりといった別な問題が生じてしまう。

上記実状に鑑み、本発明の課題は、一般的な顔検出アルゴリズムを利用しながらも写真プリント目的の撮影画像データの補正処理に特に適した顔を判別する技術、及びこの技術を採用した画像処理技術を提供することである。

上記課題を解決するため、入力された撮影画像データから顔検出アルゴリズムを用いて取得された顔検出情報に基づいて重要被写体として適正な顔を判別する、本発明による適正顔判別方法は、前記顔検出情報に含まれている顔検出領域データを参照しながら前記撮影画像データから各顔検出領域に含まれている肌色画素を検出し、前記各顔検出領域を構成する顔画素の数に対する前記肌色画素の数の割合を肌割合として算出し、前記算出された肌割合が適正顔判定条件として用いられる。

この方法では、汎用的な顔検出アルゴリズムを用いて検出された顔の選別を検出された顔領域における肌色画素の検出に基づく肌色割合を判定条件として行うので、撮影画像処理上重要な肌色を表している顔だけが、濃度補正のパラメータ設定（濃度特性曲線の修正）等のために選別されることになり、結果的に、入力撮影画像データを一般的な写真プリントにおいて要望されている、顔の肌色を美しく表現した撮影画像データに変換することが可能となる。また、顔検出アルゴリズムを用いて検出された顔からさらに肌割合を用いて適正な顔を判別することになるので、顔検出アルゴリズム自体にはコスト高や処理速度の遅延化を導くような高精度な仕様を要求する必要がなくなる。

一般的な顔検出アルゴリズムでは、統計的パターン認識手法、例えば正規化相互相関式が利用されたり（特開２０００−２２９２９号公報参照）、その検出プロセスにおいて信頼度を算出するもの（特開２０００−９９７２２号公報参照）が多く、その演算結果としての各顔検出情報には信頼度が付加されているかあるいは付加することができる。それゆえ、本発明の好適な実施形態の１つでは、前記顔検出情報に信頼度が含まれるような顔検出アルゴリズムが利用されることを前提とし、前記肌割合に加えて前記信頼度が前記適正顔判定条件として用いられるように構成されている。これにより、撮影画像中の顔でない部分を顔と見なしてしまうことがさらに減少する。顔の誤認識をできるだけ回避しようとするこのような方策は、本発明の方法により適正と判別された顔領域の画像情報に基づいて濃度特性曲線の形状を修正するための濃度補正用パラメータを設定するといった応用例に特に効果的である。

また、本発明は、上述した適正顔判別方法をコンピュータに実行させるプログラムやそのプログラムを記録した媒体も権利の対象とするものである。

本発明では、さらに、上述した適正顔判別方法を採用した画像処理装置も権利の対象としており、入力された撮影画像データにおける重要被写体としての適正な顔の画像情報に基づいて濃度補正を行う、本発明による画像処理装置は、前記撮影画像データから顔検出アルゴリズムを用いて顔検出情報を出力する顔検出ユニットと、前記顔検出情報に含まれている顔検出領域データを参照しながら前記撮影画像データから各顔検出領域に含まれている肌色画素を検出する肌色画素検出部と、前記各顔検出領域を構成する顔画素の数に対する前記肌色画素の数の割合を肌割合として算出する肌割合算出部と、前記算出された肌割合を適正顔判定条件として用いる判別部と、前記判別部で判定された適正顔の画像情報に基づいて変更される補正パラメータを用いて前記撮影画像データを濃度補正する濃度補正部とを備えている。当然ながら、このような画像処理装置も上述した適正顔判別方法におけるすべての作用効果を得ることができるとともに、選別された適正顔の画像情報を利用した濃度補正により、顔を肌色が美しく表現された写真プリントを出力するための撮影画像データを生成することが期待できる。もちろん、ここでも、判別部で用いられる適正顔判定条件を前述した肌色割合と信頼度とから構成することもさらに効果的である。

適正顔判別処理の負担を減らすために、処理対象となる撮影画像データの容量は結果に悪影響を与えない限りにおいて少ないことが望ましい。そのため、入力される前記撮影画像データは高解像度データと低解像度データに分けておき、前記適正顔の判別には低解像度データが用いられ、この低解像度データに基づいて変更された前記補正パラメータを用いて前記濃度補正部は高解像度データを濃度補正すると好都合である。撮影画像が写真フィルムに形成されている場合は、フィルムスキャニング処理を高解像度の本スキャンと低解像度のプレスキャンに分ける方式で行えばよいし、デジタルカメラ等による撮影画像データでは、サムネイル画像データと本画像データにそれらの役割を与えるとよい。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。

本発明の実施の形態について、図面に基づいて説明する。
図１は本発明による適正顔判別方法を採用した画像処理技術を組み込んでいる写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図２からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図１参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に画像データと略称する）を取得するフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される撮影画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから画像データを取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図３に示されているように、本発明に特に関係する機能部としては、スキャナ２０やメディアリーダ２１によって読み取られた画像データを取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された画像データに対する画像処理等を行う画像管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み画像データに基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の画像データや画像処理が完了した処理済み画像データなどをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ画像データにサムネイル画像データ（低解像度データ）が含まれている場合はこのデータをモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出して低解像度画像データとしてメモリ３０に送り込む。

画像管理部３２は、メモリ３０に展開された低解像度の画像データから顔検出アルゴリズムを用いて顔検出領域データを含む顔検出情報を出力する顔検出ユニット４０と、入力された画像データに対して濃度補正や色補正やフィルタリング（ぼかしやシャープネスなど）などの画像処理を施す画像処理ユニット５０を備えている。

顔検出ユニット４０は汎用的なものを使用することが可能であるが、ここでは、写真撮影画像に限定されたものではなく、顔検出アルゴリズムに基づいて画像データ中の顔と見なされる領域を検出し、その顔位置とサイズ（顔位置を基点とした矩形画素領域の縦横サイズ）からなる顔検出領域データ、顔の正立・倒立関係を規定している顔の向き、顔検出時に算定された信頼度）が顔検出情報として出力されるものが使われている。画像データから顔を検出する顔検出アルゴリズムは数多く知られているが、例えば、特開平１１−３３９０８４号公報、特開２０００−９９７２２号公報、特開２０００−２２９２９号公報が参照される。

画像処理ユニット５０には、本発明による技術を採用した顔検出情報評価手段６０と、この顔検出情報評価手段６０によって選別された顔検出情報に基づいて決定される画像データの顔領域や画像データ全体の濃度特性に基づいて濃度補正用パラメータを設定し、濃度補正用パラメータを用いて修正された濃度特性曲線を用いてこの高解像度の画像データを濃度補正する濃度補正部７０が含まれている。

顔検出情報評価手段６０は、顔検出ユニット４０から出力された顔検出情報によって規定される顔領域から濃度補正用パラメータの調整に利用することが好ましい適正な顔（顔検出情報）を判別する適正顔判別部６０Ａと、もしこの適正顔判別部６０Ａが複数の適正顔を選別した場合さらにその中からより適正な理想顔（複数でもよい）を選別する理想顔選別部６０Ｂに分けられている。適正顔判別部６０Ａが単一の適正顔を選別した場合にはその適正顔の濃度特性が濃度補正部７０における濃度補正用パラメータの調整に利用される。

適正顔判別部６０Ａは、図４に示すように、顔検出ユニット４０から出力されてきた顔検出情報に含まれている顔検出領域データを参照しながらメモリ３０に展開されている低解像度の画像データから顔検出領域毎に含まれている肌色画素を検出する肌色画素検出部６１と、前記顔検出領域を構成する顔画素の数に対する前記肌色画素の数の割合を肌割合として算出する肌割合算出部６２と、この算出された肌割合と顔検出情報に含まれている信頼度が所定の適正顔判定条件を満たしているかどうかチェックして判定条件を満たすものだけを適正顔として以後の処理に採用する判別部６３とから構成されている。

肌色画素検出部６１に用いられる肌色検出条件は、写真処理技術において種々のものが知られているが、ここでは以下の肌色検出条件が用いられているが本発明はこの肌色検出条件に限定されるわけではない。この肌色検出条件は、注目画素のＲ・Ｇ・Ｂ濃度値をそれぞれR、G、Bとし、かつ(R＋G＋B)/3=Iとすると、
［fs_gb_lo<G-B<fs_gb_hi］、かつ
［fs_rg_lo<R-G<fs_rg_hi］、かつ
［fs_br_lo<B-R<fs_br_hi］、かつ
［I>fs_I］、
で表されている。この４つの条件からなる肌色判定条件を満たしている注目画素が肌色とみなされる。ここで、Ｒ・Ｇ・Ｂ濃度値が８ビットカラーデータ（０〜２５５）である場合、上記各定数は以下の通りに設定することができる（以下Ｒ・Ｇ・Ｂ濃度値は８ビットカラーデータとする）；
fs_gb_lo=-24、fs_gb_hi=16、fs_rg_lo=-16、fs_rg_hi=64、
fs_br_lo=-88、fs_br_hi=8、fs_I=104。
肌色画素検出部６１は、処理対象となる顔検出領域毎に、注目画素の画素値であるＲ・Ｇ・Ｂ濃度値を取り込み、上記肌色判定条件を満たすかどうかをチェックし、この肌色判定条件を満たした注目画素を肌色画素としてカウントしていく。これにより、全ての顔検出領域における肌色画素の数が算出される。

肌割合算出部６２は、顔検出情報に含まれているその顔位置とその顔位置を基点とした矩形画素領域の縦横サイズから規定される顔検出領域の画素数を顔画素数として算出し、肌色画素検出部６１で算出された肌色画素数を顔画素数で割ることにより肌割合を算出する。

判別部６３は、この実施形態では、肌割合に加えて顔検出情報に含まれている各検出顔の信頼度（０から１の値をとり、１が最大信頼度である）も適正顔の判別条件要素としている。つまり、ここで用いられている適正顔判別条件は、前記肌割合が０.５以上でかつ前記信頼度が０.３以上であるが本発明はこの条件に限定されるわけではなく、顔検出アルゴリズムの信頼度により重きをおく場合は信頼度を０.５以上としてもよい。いずれにしても、この判別条件は実験的かつ統計学的に決定されるとよい。この判別条件を満たした顔が適正顔として次の処理に利用される。

上述した方法で適正顔判別部６０Ａが選別した適正顔が複数存在する場合さらにその中からより適正な理想顔（複数でもよい）を選別する理想顔選別部６０Ｂは、各適正顔の属性値、つまり顔検出情報に含まれている位置、サイズ、信頼度、向きなどのデータに基づいて最も理想的な顔を基準顔として決定する基準顔決定部６４と、適正顔判別部６０Ａが選別した適正顔から前記基準顔に対して所定範囲の画像特性的乖離度に留まっている適正顔をも理想顔として選別する選別部６５を備えている。

基準顔決定部６４において基準顔を決定するために、この実施形態では、顔位置：ｐとサイズ：ｓと信頼度：ｒが採用されており、できるだけ画像中心に顔位置が位置するのが好ましく、そのサイズは大きいほど好ましく、当然信頼度が高いことが好ましいという観点から、前もって行われたテストを通じて統計的に求められた評価値決定式：Γ（ｐ,ｓ,ｒ）が用いられる。この評価値決定式：Γ（ｐ,ｓ,ｒ）で求められた評価値の最大をもつものが基準顔とみなされる。

選別部６５で定義されている基準顔に対する画像特性的乖離度は、基準顔に対するその他の適正顔に属する平均濃度：ｄ、方向：ｖ、顔位置：ｐの差で決定することができる。例えば、平均濃度差分値Δｄが小さいほど基準顔と同様な配慮をもって撮影された集合写真のもう１つの顔とみなすことができるし、顔が倒立方向・正立方向・横方向：であるかどうかを規定している方向ｖの差分値Δｖは基準値の一致していないかぎり、つまり差分値が０でない限り、選別すべき顔と判定する必要がないし、顔位置差分値Δｐが小さいほど基準顔の近くに位置する集合写真のもう１つの顔とみなすことができるからである。このような乖離度を求める式：Ｇ（Δｄ,Δｖ,Δｐ）もやはり前もって行われたテストを通じて統計的に求めることができるが、乖離度を求める式のパラメータとしては平均濃度差分値Δｄと方向差分値Δｖと顔位置差分値Δｐに限定されるわけではない。

このように構成された顔検出情報評価手段６０による顔検出情報評価周辺の処理手順を以下に説明する。全体的な流れは図５に示されたフローチャートに示されているが、まずメモリ３０に展開されている低解像度画像データに対して顔検出ユニット４０による顔検出処理が行われ、検出顔情報が出力される（＃１０）。もし顔検出ユニット４０で顔が検出されなかった場合（＃２０No分岐）、このフローは中断され、濃度補正部７０において顔領域の濃度特性を用いた濃度補正用パラメータの調整はされずに、一般的な画像全体の濃度特性を用いた濃度補正用パラメータの調整が行われる。もし顔検出ユニット４０で１つ以上の顔が検出された場合（＃２０Yes分岐）、後述する適正顔判別部６０Ａによる適正顔判別ルーチンに入る（＃３０）。この適正顔判別ルーチンにおいて適正と判別された顔が１つのみであった場合（＃５０No分岐）このフローは中断されるが、その際適正と判別された顔が１つの場合唯一の適正顔の画像情報が濃度補正部７０に渡され、この顔領域の濃度特性を用いた濃度補正用パラメータの調整（濃度特性曲線の修正）が濃度補正部７０で行われ、適正と判別された顔がなかった場合顔領域の濃度特性を用いた濃度補正用パラメータの調整はされずに、一般的な画像全体の濃度特性を用いた濃度補正用パラメータの調整が濃度補正部７０で行われる。適正顔判別ルーチンにおいて適正と判別された顔が複数であった場合（＃５０Yes分岐）、後述する理想顔選別部６０Ｂによる理想顔選別ルーチンに入って、複数の適正顔からさらに濃度補正用パラメータの調整に適した理想顔が選別されて、その理想顔の画像情報が濃度補正部７０に渡される（＃６０）。

適正顔判別部６０Ａによる適正顔判別ルーチンは、図６に示されているように、まず顔検出情報に含まれている検出顔の１つを処理対象顔として指定し（＃３１）、その指定された検出顔の領域データを参照して、肌色画素検出部６１がその顔領域内の肌色画素数を算出する（＃３２）。続いて、肌割合算出部６２が顔領域の画素数（顔画素数）を算出するとともに（＃３３）、顔画素数に対する肌画素数の割合である肌割合を算出する（＃３４）。算出された肌割合と顔検出情報に含まれている処理対象顔の信頼度を前述した適正顔判定条件にかけて、処理対象顔が適正顔とみなされた場合だけ（＃３５Yes分岐）、この処理対象顔の情報を適正顔マップに書き込んでおく（＃３６）。次に処理すべき検出顔が残っているかどうかチェックされ（＃３７）、処理対象顔が残っている限りステップ＃３１から＃３７の処理が繰り返され、適正と判定された検出顔が適正顔マップに書き込まれていく。従って、後の処理においてはこの適正顔マップを読み込むことで、適正顔のリストが得られることになる。

理想顔選別部６０Ｂによる理想顔選別ルーチンは、図７に示されているように、まず適正顔マップを読み込んで、適正顔のリストから処理対象顔を指定し（＃６１）、その指定された処理対象顔に属する情報、顔位置：ｐとサイズ：ｓと信頼度：ｒを取り込んで、前設定された評価値決定式：Γ（ｐ,ｓ,ｒ）を用いて評価値を算出し（＃６２）、その評価値を評価値マップに書き込む（＃６３）。次に処理すべき適正顔が適正顔マップに残っているかどうかチェックしながら（＃６４）、適正顔マップにリストされた全ての適正顔の評価値を評価値マップに書き込む。全ての適正顔の評価値が算出されると、基準値決定部６４が評価値マップを参照して最大の評価値をもつ適正顔を基準顔と決定し、理想顔マップに書き込む（＃６５）。

決定された基準顔に対して所定の範囲の画像特性的乖離度をもつ適正顔をも理想顔として選別する処理が続いて選別部６５によって行われる。つまり、適正顔マップを参照して適正顔のリストから理想顔となる次候補としての処理対象顔を指定し（＃６６）、その指定された処理対象顔に属する情報、平均濃度：ｄ、方向：ｖ、顔位置：ｐを取り込んで、基準顔との差分値である平均濃度差分値Δｄと方向差分値Δｖと顔位置差分値Δｐを求め、前設定された乖離度決定式：Ｇ（Δｄ,Δｖ,Δｐ）を用いてその乖離度を算出する（＃６７）。算出された乖離度を所定の閾値にかけて、処理対象顔が基準顔に相当する理想顔とみなされた場合だけ（＃６８Yes分岐）、この処理対象顔の情報を理想顔マップに書き込んでおく（＃６９）。次に処理すべき検出顔が残っているかどうかチェックされ（＃７０）、処理対象顔が残っている限りステップ＃６６から＃７０の処理が繰り返され、理想顔と判定された適正顔が順次理想顔マップに書き込まれていく。従って、後の処理においてはこの理想顔マップを読み込むことで、顔検出ユニット４０よって検出された検出顔に中から顔検出情報評価手段６０によって選別された検出顔だけのリストが得られることになる。

上述した実施の形態では、プリントステーション１Ｂは、印画紙Ｐに対し、露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明におけるプリントステーション１Ｂは、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を採用することができる。

本発明は、顔検出アルゴリズムを用いて取得された検出顔から写真画像的に適したものだけをさらに選別する技術、特に撮影画像データから写真プリントを作成する写真プリント装置への顔領域濃度による濃度補正調整用組み込みモジュールとして広く利用することができる。

本発明による適正顔判別技術を採用した写真プリント装置の外観図 写真プリント装置のプリントステーションの構成を模式的に示す模式図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 顔検出情報評価手段の機能構成を示す機能ブロック図 顔検出情報評価の全体の流れを示すフローチャート 適正顔判別ルーチン 理想顔選別ルーチン

符号の説明

３０：メモリ
４０：顔検出ユニット
５０：画像処理ユニット
６０：顔検出情報評価手段
６０Ａ：適正顔判別部
６０Ｂ：理想顔選別部
６１：肌色画素検出部
６２：肌割合算出部
６３：判別部
６４：基準顔決定部
６５：選別部
７０：濃度補正部

Claims (6)

1. 入力された撮影画像データから顔検出アルゴリズムを用いて取得された顔検出情報に基づいて重要被写体として適正な顔を判別する適正顔判別方法において、
   前記顔検出情報に含まれている顔検出領域データを参照しながら前記撮影画像データから各顔検出領域に含まれている肌色画素を検出し、
   前記各顔検出領域を構成する顔画素の数に対する前記肌色画素の数の割合を肌割合として算出し、
   前記算出された肌割合が適正顔判定条件として用いられることを特徴とする適正顔判別方法。
2. 前記顔検出情報に前記顔検出アルゴリズムによる顔検出プロセスにおいて用いられた信頼度が含まれており、前記肌割合に加えて前記信頼度が前記適正顔判定条件として用いられることを特徴とする請求項１に記載の適正顔判別方法。
3. 入力された撮影画像データから顔検出アルゴリズムを用いて取得された顔検出情報に基づいて重要被写体として適正な顔を判別するために、
   前記顔検出情報に含まれている顔検出領域データを参照しながら前記撮影画像データから各顔検出領域に含まれている肌色画素を検出する機能と、
   前記各顔検出領域を構成する顔画素の数に対する前記肌色画素の数の割合を肌割合として算出する機能と、
   前記算出された肌割合を適正顔判定条件として用いることで検出された顔から前記適正な顔を判別する機能とをコンピュータに実行させるプログラム。
4. 入力された撮影画像データにおける重要被写体としての適正な顔の画像情報に基づいて濃度補正を行う画像処理装置において、
   前記撮影画像データから顔検出アルゴリズムを用いて顔検出情報を出力する顔検出ユニットと、
   前記顔検出情報に含まれている顔検出領域データを参照しながら前記撮影画像データから各顔検出領域に含まれている肌色画素を検出する肌色画素検出部と、
   前記各顔検出領域を構成する顔画素の数に対する前記肌色画素の数の割合を肌割合として算出する肌割合算出部と、
   前記算出された肌割合を適正顔判定条件として用いる判別部と、
   前記判別部で判定された適正顔の画像情報に基づいて変更される補正パラメータを用いて前記撮影画像データを濃度補正する濃度補正部と、
   から構成されることを特徴とする画像処理装置。
5. 前記顔検出ユニットによって出力される顔検出情報には前記顔検出アルゴリズムによる顔検出プロセスにおいて用いられた信頼度が含まれており、前記判別部は前記肌割合に加えて前記信頼度も前記適正顔判定条件として用いることを特徴とする請求項４に記載の画像処理装置。
6. 前記撮影画像データは高解像度データと低解像度データからなり、前記適正顔の判別には低解像度データが用いられ、この低解像度データに基づいて変更された前記補正パラメータを用いて前記濃度補正部は高解像度データを濃度補正することを特徴とする請求項４又は５に記載の画像処理装置。

Images