JP2007094840A - 画像処理装置、及び画像処理方法 - Google Patents

Abstract

【課題】画像データに対して、好まれる色再現性に合わせた画像処理を自動的に行う。
【解決手段】画像データから得られる静止画像に対して、顔領域を検出し、顔領域を含む四角形領域を顔画像として抽出する。抽出された顔画像から特徴量を抽出した後、抽出された特徴量に基づいて、人種判別が行われる。この人種判別によって特定された人種に基づいた肌色を、肌色テーブルから選択する。顔画像から得られる肌色と、肌色テーブルから選択された肌色とから、色調補正における補正量を算出する。そして、算出された補正量に基づいて、被写体人物における色調補正を該当する画像データに対して実行する。
【選択図】 図２

Description

本発明は、例えば被写体人物が被写体となる静止画像に対して、被写体人物に合わせた画像処理を行う画像処理装置、及び画像処理方法に関するものである。

デジタルカメラによって得られる画像データ、或いは現像処理された写真フイルムに露光された画像を読み取ることで得られる画像データに対して画像処理を行った後、画像処理された画像データを使用したプリント処理が行われることで、写真画像を得ることが一般に行われている。例えば被写体人物が被写体となる画像データの場合、画像データに基づく静止画像から肌色領域を抽出し、抽出された肌色領域の肌色を予め設けられた肌色補正目標値に近づけるように肌色領域を色調補正することが考えられる（例えば特許文献１）。この場合、抽出された肌色領域の肌色と予め設けられた肌色補正目標値とから肌色補正値を算出し、該肌色補正値を用いて画像データの色調補正が行われることで、良好な肌色再現を行うことが可能となる。

また、この他に、色空間変換された画像データに対して、色再現性に対応した出力カラーテーブルを用いて画像処理を行うことが考えられる（例えば特許文献２）。この場合、忠実な色再現への補正を行うか否かを選択を行って、忠実な色再現への補正を行う場合には、プリンタが出力される写真画像が使用される地域、或いは人種の好みの色再現に応じた出力カラーテーブルが選択され、この出力カラーテーブルに基づいた画像処理が行われる。
特開２００１−１８６３２３号公報 特開２００１−２１８０７５号公報

しかしながら、静止画像から肌色領域を抽出し、抽出された肌色領域の肌色を予め設けられた肌色補正目標値に近づけるように肌色領域を色調補正する場合、人種によって肌色が異なるため、例えば多様な人種が生活する場所においては、肌色と認識させる色の範囲が広くなり、静止画像像から肌色を抽出することが困難となり、結果的に画像処理が困難になるという問題がある。また、この他に、人種によっては、好まれる色再現性が異なるために、適切な画像処理を求めるのが難しいという問題もある。

一方、色空間変換された画像データに対して、色再現性に対応した出力カラーテーブルを用いて画像処理を行う場合、予め静止画像が使用される地域や人種を入力するため、好まれる色再現性に合わせた画像処理が行われるという利点があるが、予め写真画像が使用される地域や人種を入力する必要があり、画像処理に対して手間がかかるという問題がある。

本発明は、上記課題を解決するためになされたものであり、入力された画像データに対して、好まれる色再現性に合わせた画像処理を自動的に行うことができるようにした画像処理装置、及び画像処理方法を提供するものである。

本発明の画像処理装置は、画像を解析することにより、被写体人物の顔を検出する顔検出手段と、前記顔検出手段によって検出された被写体人物の顔の数をカウントするカウント手段と、前記顔検出手段によって検出された被写体人物の顔から、その特徴量を取得する特徴量取得手段と、人種における特徴量が複数蓄積されたデータベースを参照して、前記特徴量取得手段によって取得された特徴量に基づいた人種を特定する人種特定手段と、特定された人種に基づいた画像処理を、前記画像に対して実行する画像処理手段と、を備えたことを特徴とする。なお、被写体人物の特徴としては、例えば顔の輪郭形状、目、鼻、口、耳等の形状や位置、或いは目の虹彩の色などが挙げられる。

この場合、前記被写体人物の顔を解析することによって顔の肌色を検出する肌色検出手段を備えており、前記画像処理手段は、前記人種特定手段によって特定された人種に基づいた肌色に近づけるように、前記被写体人物の肌色に対する画像処理を行うことを特徴とする。

また、前記カウント手段におけるカウント数が２以上となる場合、前記画像処理手段は、特定された複数の人種のいずれかの人種を選択し、選択された人種に基づいた肌色に近づけるように、被写体人物に対する画像処理を実行することを特徴とする。

また、前記画像を使用する人物が登録されている場合には、その人物の人種に基づいた画像処理が実行されることを特徴とする。

前記データベースは、前記人種特定手段によって被写体人物の人種が特定される度に、前記特徴量取得手段によって取得された特徴量と、その特徴量に該当する人種とを関連付けて蓄積していくことを特徴とする。

また、本発明の画像処理方法は、画像を解析することにより、被写体人物の顔を検出するステップと、検出された被写体人物の顔の数をカウントするステップと、検出された被写体人物の顔から、その特徴量を取得するステップと、人種における特徴量が複数蓄積されたデータベースを参照して、取得された特徴量に基づいた人種を特定するステップと、特定された人種に基づいた画像処理を、前記画像に対して実行するステップと、を備えたことを特徴とする。

本発明の画像作成装置によれば、画像を解析することにより、被写体人物の顔を検出する顔検出手段と、前記顔検出手段によって検出された被写体人物の顔の数をカウントするカウント手段と、前記顔検出手段によって検出された被写体人物の顔から、その特徴量を取得する特徴量取得手段と、人種における特徴量が複数蓄積されたデータベースを参照して、前記特徴量取得手段によって取得された特徴量に基づいた人種を特定する人種特定手段と、特定された人種に基づいた画像処理を、前記画像に対して実行する画像処理手段と、を備えたから、画像の被写体人物に応じた色再現性、或いは人種によって好まれる色再現性に基づいた画像処理を自動的に行うことができる。

また、前記被写体人物の顔を解析することによって顔の肌色を検出する肌色検出手段を備えており、前記画像処理手段は、前記人種特定手段によって特定された人種に基づいた肌色に近づけるように、前記被写体人物の肌色に対する画像処理を行うから、画像処理において、被写体人物の人種に忠実な色再現を行うことができる。

また、前記カウント手段におけるカウント数が２以上となる場合、前記画像処理手段は、特定された複数の人種のいずれかの人種を選択し、選択された人種に基づいた肌色に近づけるように、被写体人物に対する画像処理を実行するから、人種によって好まれる色調に基づいた画像処理を自動的に行うことができる。

また、前記画像を使用する人物が登録されている場合には、その人物の人種に基づいた画像処理が実行されるから、登録された人物の好みの色調に基づいた画像処理を行うことができる。

前記データベースは、前記人種特定手段によって被写体人物の人種が特定される度に、前記特徴量取得手段によって取得された特徴量と、その特徴量に該当する人種とを関連付けて蓄積していくから、人種判別の精度を高めることができる。

図１は、画像処理装置の構成の一例を示す機能ブロック図である。この画像処理装置１０は、データ読み取り部１１、データ書き込み部１２を備えている。データ読み取り部１１には、例えば磁気ディスクや、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）等の光ディスクからなる記憶媒体１３がセットされ、この記憶媒体１２に記憶された画像データを読み取る。このデータ読み取り部１１において読み取られた画像データはＲＡＭ１７に作成された画像フォルダＰＦに記憶され、ＣＰＵ１５において、画像処理プログラムＰＧ１が実行されたときに、画像フォルダＰＦから画像データが読み出される。また、データ書き込み部１２は、データ読み取り部１１と同様に、例えば磁気ディスクや、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）等の光ディスクからなる記憶媒体１４がセットされ、画像処理部２６によって画像処理された画像データを書き込む。なお、画像データとしては、デジタルカメラやカメラ付き携帯電話などの撮像装置により得られた画像データが挙げられる他に、写真フイルム、印画紙に記録された画像を光電的に読み取ることにより取得された画像データを含むものとする。

画像処理装置１０は、ＣＰＵ１５、ＲＯＭ１６、ＲＡＭ１７を主要部とし、ＣＰＵ１５は、ＲＯＭ１６に記憶された画像処理プログラムＰＧ１を実行することにより、制御部２０、顔検出部２１、カウンタ２２、肌色検出部２３、特徴量取得部２４、人種特定部２５、画像処理部２６として機能する。

顔検出部２１は、ＲＯＭ１６に記憶された顔検出プログラムＰＧ２に従って、静止画像から顔領域を検出する。静止画像から顔領域を検出する場合、静止画像が予め用意された顔パターン画像と照合され、静止画像の中から顔パターン画像と類似している部分が顔領域として検出される。なお、顔領域の検出が行われると、検出された顔領域を含む四角形領域を顔画像として抽出する。そして、抽出された顔画像に基づく顔画像データを作成し、作成された顔画像データをＲＡＭ１７に記憶する。例えば複数の被写体人物からなる静止画像の場合、各被写体人物について顔領域の検出が行われ、抽出された複数の顔画像を顔画像データとしてＲＡＭ１７に記憶する。なお、顔画像データを作成する代わりに、顔領域の位置を示す位置データを作成し、この位置データをＲＡＭ１７に記憶させておくことも可能である。また、カウンタ２２は、顔検出部２１によって作成された顔画像データの数をカウントするために設けられている。

肌色検出部２３は、顔画像データから肌色を検出するために設けられている。例えば、顔検出部２１によって得られた顔画像データは、ＲＧＢ表色系を用いたカラー画像データからなるので、このカラー画像データを、ＨＳＶ表色系のカラー画像データに変換する。なお、ＨＳＶ表色系とは、色を色相、明度、彩度で示す表色系である。例えばＨＳＶ表色系の場合、肌色を示す色相は、色相環の所定範囲（例えば、色相間の赤を示す位置を０°とした場合、６〜３８°の範囲）内となるので、ＨＳＶ表色系のカラー画像データに変換された顔画像データの各画素の色相が、上述した色相環の所定範囲内となるか否かを判定していく。そして、色相環の所定範囲内であると判定された画素の色相を、肌色を示す色相であると判定し、肌色を示す色相であると判定された画素を記録していく。そして、肌色を示す色相であると判定された画素全ての画素から、Ｒ（赤）色、Ｇ（緑）色、Ｂ（青）色の階調値における、それぞれの平均値を算出し、算出されたＲ色、Ｇ色、Ｂ色の階調値を組み合わせた色を、顔画像データにおける肌色としてＲＡＭ１７に記憶する。なお、顔検出部２１において複数の顔画像データが作成されている場合、肌色検出部２３においては、全ての顔画像データについて肌色の検出を行うことになる。

特徴量抽出部２４は、作成された顔画像データに基づく顔画像から、目、鼻、鼻孔、口、眉、顎、額等の顔を構成する器官を検出する。顔の器官の検出が行われた後、顔画像をグレースケールの画像に変換し、検出された顔の器官の位置関係に基づいて、検出された顔画像の角度正規化や、サイズ正規化を実施する。これら処理が行われた後、検出された顔の器官の位置に基づいた特徴点の位置が設定される。例えば、この特徴点の設定は、器官の中心位置に近いほど密に、器官の中心位置から離れるほど粗になるように設定される。この特徴点の設定の後、特徴量取得処理が実行される。特徴量取得処理は、設定された各特徴点に対して、例えばガボールウェーブレット変換を用いて行われる。このガボールウェーブレット変換を行うことで、特徴点周辺における濃淡特徴の周期性と方向性とが特徴量として抽出される。

人種特定部２５は、特徴量抽出部２４によって取得された顔画像の特徴量から、被写体人物の人種を特定する。この人物特定部は、例えばパターン認識の識別器として使用されるサポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｓｈｉｎｅ：ＳＶＭ）を複数有している。このＳＶＭは、２つのクラスに属する学習データの真ん中を通る徴兵面を識別の境界面とし、入力される全特徴点における特徴量が２つのクラスのいずれかに属するかを推定する。なお、ＳＶＭについては周知であるから、ここではその詳細を省略する。また、ＳＶＭを利用する代わりに、パターンマッチング等によって人種を特定することも可能である。

例えば人種がコーカソイド、ネグロイド、モンゴロイドのいずれかからなる場合には、特徴点の特徴量が得られた被写体人物が、いずれかに該当するのかを特定する。つまり、まず被写体人物がコーカソイドであるか否かについて推定された後、被写体人物がコーカソイドでない場合には、ネグロイドであるか否かについて推定される。このＳＶＭによって推定された結果に基づいて、人種特定部２５は、被写体人物の人種を特定する。なお、このＳＶＭに使用されるデータは、データベース３０に記憶されており、人物特定の際に使用された顔画像の特徴量は、人種特定の後にデータベース３０に記憶される。この人種特定部２５によって特定された人種の情報はＲＡＭ１７に記憶される。なお、データベース３０は、本実施形態の画像処理装置と１対１対応で接続されるデータベースであってもよいし、本実施形態の画像処理装置がインターネット経由で複数接続されるデータベースであってもよい。

画像処理部２６は、画像データに対して画像処理を行うために設けられている。この画像処理としては、オートホワイトバランス（ＡＷＢ）処理や、オートエクスポージャ（ＡＥ）処理、或いは階調変換処理等の静止画像全体における画像処理が行われる。なお、ＡＷＢ処理、ＡＥ処理は、ともに被写体人物の肌色の見栄えがよくなるように調整する処理であり、ＡＷＢ処理は、画像全体の色合いの調整を、ＡＥ処理は、画像全体の明るさや階調を調整する際の処理である。この他に、被写体人物に対する色調補正や、赤目補正や、ストロボ光による顔飛びや、逆光撮影による顔つぶれに対する修正等の静止画像の部分的な画像処理が行われる。

上述した処理のうち、被写体人物に対する色調補正は、次のようにして行われる。まず、ＲＯＭ１６に記憶された肌色テーブル２７を用いて、人種特定部２５によって特定された人種に対応する肌色を選択する。この肌色テーブル２７は、複数の人種と、そのそれぞれの人種の肌色とが対応付けられたデーブルデータから構成されている。なお、人種の肌色とは、Ｒ色、Ｇ色、Ｂ色の階調値からなる。このとき、顧客が顧客データとしてデータベース３０に登録されている場合には、操作パネル３２によって、その顧客の氏名、或いは電話番号等の個人情報を入力して、氏名、住所、人種等の顧客データを読み出す。この場合、その顧客データに人種を示すデータが記憶されているから、画像処理部２６は、その人種を示すデータに基づいて、色調補正に使用する肌色を肌色テーブル２７から選択する。また、顧客データに登録されていない場合には、画像処理を行う前に、その顧客の顧客データを新規に登録すれば、同様にして、登録された顧客の人種を示すデータに基づいて、色調補正に使用する肌色を肌色テーブル２７から選択する。

一方、データベース３０に顧客データを登録しない場合には、以下の示す手順で肌色テーブルから肌色が選択される。まず、画像処理部２６は、カウンタ２２のカウント値を参照して、被写体人物の数を確認する。カウンタ２２のカウント値が１となる場合には、人種特定部２５で特定された人種に対応付けられた肌色を肌色テーブル２７から選択する。被写体人物の数が２以上となり、これら被写体人物が同一の人種となる場合にも、特定された人種と対応付けられた肌色を肌色テーブル２７から選択する。一方、被写体人物が２以上であり、また、これら被写体人物が異なる人種となる場合には、１つの画像に占める領域が広い被写体人物の人種を用いて、対応する肌色を選択する。

肌色テーブル２７を用いることで特定された人種に対する肌色が選択されると、画像処理部２６は、補正量算出プログラムＰＧ３を読み出して、肌色検出部２３によって検出された顔画像の肌色と選択された肌色とから、色調補正における補正量を算出する。そして、算出された補正量に基づいて、該当する被写体人物の肌色に対する色調補正を画像に対して実行する。

画像表示部３１は、例えば液晶パネルを備え、画像処理を実行する際の入力表示、データ読み取り部１１によって読み取られた写真画像表示、或いは画像処理された画像データのプレビュー画像の表示が行われる。操作パネル３２は、キーボードやマウス、タッチパネルなどからなり、顧客データの登録や画像処理時の入力操作や、プレビュー画像に基づいた修正を行う際に操作される。プリンタ３３は、画像表示部３１に表示されたプレビュー画像を印刷するために設けられている。

次に、本実施形態の作用について、図２のフローチャート、或いは図３に基づいて説明する。データ読み取り部１１において、記憶媒体１３から画像データの読み取りが行われると、ＣＰＵ１５は、読み取られた画像データをＲＡＭ１７に設けられた画像フォルダＰＦに書き込む。同時に、ＣＰＵ１５は、ＲＯＭ１６から画像処理プログラムＰＧ１を読み出して、該プログラムを実行する。この画像処理プログラムＰＧ１が実行されると、顔検出部２１は、ＲＯＭ１６に記憶された顔検出プログラムＰＧ２を読み出し、該プログラムを実行する。

この顔検出プログラムＰＧ２が実行されると、顔検出部２１において、ＲＡＭ１７の画像フォルダＰＦに記憶された画像データに基づく静止画像と、予め用意された顔パターン画像とが照合される。そして、静止画像Ｐ１の中から顔パターン画像と類似している部分が顔領域として検出され、検出された顔領域を含む四角形領域を、静止画像から顔画像ＰＦ１、ＰＦ２としてそれぞれ抽出し、顔画像データとしてＲＡＭ１７に記憶する。このとき、顔画像が抽出される毎にカウンタ２２のカウント値が１インクリメントされる。例えば静止画像から、顔画像ＰＦ１、ＰＦ２が検出された場合には、カウンタ２２のカウント値は２となる。

顔画像データがＲＡＭ１７に記憶されると、肌色検出部２３における肌色の検出処理が行われる。まず、顔画像データに基づくＲＧＢ表色系で示される顔画像ＰＦ１、ＰＦ２を、ＨＳＶ表色系で示される顔画像ＰＦ１’、ＰＦ２’に変換する。肌色検出部２３は、これら顔画像ＰＦ１’、ＰＦ２’の各画素が示す色相が、例えば色相環の６〜３８°の範囲内であるか否かを判定し、色相環の６〜３８°の範囲内であると判定された画素の色相を、肌色を示す色相とする。そして、肌色を示す色相であると判定された画素を記録していく。この処理を全画素に対して行った後、肌色を示す色相であると判定された画素における、Ｒ色、Ｇ色、Ｂ色の各階調値の平均となる階調値を算出する。この算出されたＲ色、Ｇ色、Ｂ色の階調値を組み合わせることで得られる肌色を、顔画像における肌色としてＲＡＭ１７に記憶する。

肌色検出が終了すると、特徴量抽出部２４によって、顔画像ＰＦ１、ＰＦ２から、目、鼻、鼻孔、口、眉、顎、額等の顔を構成する器官が検出される。そして、顔画像ＰＦ１、ＰＦ２をグレースケールの画像に変換し、検出された顔の器官の位置関係に基づいて、検出された顔画像の角度正規化や、サイズ正規化を実施する。これら処理が行われた後、検出された顔の器官の位置に基づいた特徴点の位置が設定される。この特徴点の設定の後、特徴量取得処理が実行され特徴点周辺における濃淡特徴の周期性と方向性とが特徴量として抽出される。特徴量が抽出されると、これら顔画像ＰＦ１、ＰＦ２の特徴量は人種特定部２５に送られ、人種特定部２５において、抽出された特徴量を用いた人種の特定が行われる。

人種特定部２５は、送られてきた顔画像ＰＦ１、ＰＦ２に対する特徴量から、ＳＶＭを利用して、人種特定を行う。例えば人種がコーカソイド、ネグロイド、モンゴロイドのいずれかからなる場合には、特徴点の特徴量が得られた被写体人物が、いずれかに該当するのかを特定する。つまり、まず被写体人物がコーカソイドであるか否かについて推定された後、被写体人物がコーカソイドでない場合には、ネグロイドであるか否かについて推定される。このＳＶＭによって推定された結果に基づいて、人種特定部２５は、被写体人物の人種を特定する。なお、このＳＶＭに使用されるデータは、データベース３０に記憶されており、人物特定の際に使用された顔画像の特徴量は、人種特定の後にデータベース３０に記憶される。この人種特定部２５によって特定された人種の情報はＲＡＭ１７に記憶される。なお、特定された人種は、ＲＡＭ１７に記憶される。また、顔画像から得られた特徴量は、特定された人種と関連付けられた状態でデータベース３０に蓄積される。これにより、人種判別を行った上で画像処理を行う回数が多くなるほど、人種判別における精度を高めることができる。

画像処理部２６では、オートホワイトバランス（ＡＷＢ）処理や、オートエクスポージャ（ＡＥ）処理、或いは階調変換処理等の静止画像全体における画像処理を実行する。この画像処理の後、例えば被写体人物における色調補正、赤目補正、ストロボ光による顔飛びや、逆光撮影による顔つぶれに対する修正等の静止画像の部分的な画像処理が行われる。この被写体人物の色調補正の際には、画像処理部２６は、顔画像ＰＦ１、ＰＦ２に対する特徴量から、被写体人物がそれぞれモンゴロイドであると特定された場合、画像処理部２６は、肌色テーブル２７から、モンゴロイドに対応する肌色を抽出する。その後、ＲＯＭ１６から補正量算出プログラムＰＧ３を実行する。この補正量算出プログラムＰＧ３が実行されると、顔画像ＰＦ１、ＰＦ２のそれぞれから検出された肌色と、モンゴロイドに対応する肌色とを用いて、色調補正時の補正量が算出される。これにより、被写体像の人種に合わせた色調補正を行うことが可能となる。

一方、顔画像ＰＦ１、ＰＦ２から得られる特徴量から得られる被写体人物の人種が異なる場合がある。この場合、静止画像Ｐ１に占める被写体人物の割合が大きい被写体人物の人種を選択し、その被写体人物の人種に対する肌色が肌色テーブル２７から選択される。選択された肌色と、被写体人物の肌色とから、色調補正における補正量が算出される。例えば、顔画像ＰＦ１から特定される被写体人物の人種がモンゴロイドと特定され、顔画像ＰＦ２から特定される被写体人物の人種がネグロイドと特定され、また、顔画像ＰＦ１から特定される被写体人物の占める割合が大きい場合には、人種としてネグロイドが選択される。この場合、顔画像ＰＦ２から得られた肌色と、肌色テーブル２７から選択されたネグロイドの肌色とから、色調補正時の補正量が算出され、静止画像に対して色調補正が行われる。これにより、被写体像の人種に合わせた色調補正を行うことが可能となる。

なお、データ読み取り部１１において複数の画像データが読み取られている場合には、全ての画像データに対して上述した処理が行われる。そして、画像処理された画像データは、画像表示部３１に静止画像として表示された後、例えばプリンタ３３に転送されることによって写真画像の印刷、画像データを利用したアルバム画像データの作成、画像データの記憶媒体１４への書き込みなど、適宜の処理が施される。

また、この他に、顧客データがデータベースに登録されている場合がある。この場合、上述した方法で画像処理を行うこともできる他に、次のような方法で、画像処理を行わせることもできる。顧客データに登録されている場合、操作パネル３２によって顧客の氏名、電話番号等を入力し、データベース３０から、その顧客データを読み出す。この顧客データには、氏名、住所、人種等から構成されているので、この顧客データを読み出して、肌色テーブル２７から、顧客データに記録された人種に該当する肌色を読み出す。なお、静止画像から顔画像における肌色検出等が実行されているので、読み出された肌色と、顔画像から検出された肌色とを用いて色調補正における補正量を算出する。この算出された補正量を用いて、静止画像における色調補正が行われる。この場合、顧客の好みに合わせた色調補正を行うことができる。また、予め、以前に顧客が所有する画像データに対して画像処理を行った際の補正量、つまり、顧客の好みの色合いを顧客データに添付してデータベース３０に登録しておき、この補正量を次の色調補正の際に用いることも可能である。これにより、顧客の好みの色みに合わせて色調補正を行うことが可能となる。

本実施形態では、被写体人物が複数となる場合、静止画像における占有面積が広い被写体人物を選択するようにしたが、これに限定する必要はなく、被写体人物のそれぞれを個々に色調補正することも可能である。

本実施形態では、被写体人物の特徴をデータベースに蓄積されたデータに照合させることで、被写体人物の人種を特定するようにしたが、この特定を行った際に、画像表示部に、特定された人種の確からしさ示す確率（信頼度）を表示するようにしてもよい。

本実施形態では、ある特定の人種のみが居住する地域に対しては有効であるが、複数の人種が居住する地域に対しては、例えば静止画像の撮影条件によっては、他の人種として特定される場合がある。この場合、例えば、人種特定部において、被写体人物の特徴から得られる人種に対して、ある特定の人種として特定される確率を修正できるようにする。つまり、コーカソイドとモンゴロイドとの比率が２：１となる地域の場合には、人物特定部においてコーカソイドが特定される確率を、上述した比率に近くなるように設定することができるようにする。

本実施形態では、被写体人物の肌色について色調補正を行うようにしたが、この他に、被写体人物から得られる瞳の色の色調補正も行うことが可能である。例えば夜間でストロボ撮影を行った際に、得られた静止画像の被写体人物において、瞳が赤くなる、いわゆる赤目となる場合がある。この場合、この赤目を修正する際に、虹彩の色が人種によって異なるので、静止画像の被写体人物の人種を特定することで、虹彩の色に合わせた色調補正を行うことができる。この際、例えば、顔画像から人種が特定された場合であっても、撮影条件が異なることで、虹彩の色が異なる場合（例えば同一の人物を撮影したとしても、虹彩が青色、或いは緑色となる）がある。この場合、虹彩の色を青色とした場合と、虹彩の色を緑色とした場合との両方の場合について補正を行った画像を画像表示部に表示するようにして、顧客が選択できるようにしてもよい。

本実施形態では、被写体人物の特徴量から被写体人物の人種を特定し、特定された人種に合わせたテーブルを使用して、被写体人物における色調補正を行うようにしたが、これに限定する必要はなく、静止画像全体の色を特定し、静止画層全体の色と、人種とからテーブルを選択し、静止画像における色調補正を行わせることも可能である。

本実施形態では、画像処理装置を取り上げて説明したが、これに限定する必要はなく、例えばプリンタ装置に本発明の画像処理機能を搭載させることも可能である。

本発明の画像処理装置の構成を示す機能ブロック図である。 画像処理の流れを示すフローチャートである。 静止画像の被写体人物における人種の特定、及び画像処理までの流れを示す説明図である。

符号の説明

１０ 画像処理装置
１１ 画像データ読み取り部
１５ ＣＰＵ
１６ ＲＯＭ
１７ ＲＡＭ
２１ 顔検出部
２２ カウンタ
２３ 肌色検出部
２４ 特徴取得部
２５ 人種特定部
２６ 画像処理部
３０ データベース

Claims (6)

1. 画像を解析することにより、被写体人物の顔を検出する顔検出手段と、
   前記顔検出手段によって検出された被写体人物の顔の数をカウントするカウント手段と、
   前記顔検出手段によって検出された被写体人物の顔から、その特徴量を取得する特徴量取得手段と、
   人種における特徴量が複数蓄積されたデータベースを参照して、前記特徴量取得手段によって取得された特徴量に基づいた人種を特定する人種特定手段と、
   特定された人種に基づいた画像処理を、前記画像に対して実行する画像処理手段と、を備えたことを特徴とする画像処理装置。
2. 前記被写体人物の顔を解析することによって顔の肌色を検出する肌色検出手段を備えており、前記画像処理手段は、前記人種特定手段によって特定された人種に基づいた肌色に近づけるように、前記被写体人物の肌色に対する画像処理を行うことを特徴とする請求項１記載の画像処理装置。
3. 前記カウント手段におけるカウント数が２以上となる場合、前記画像処理手段は、特定された複数の人種のいずれかの人種を選択し、選択された人種に基づいた肌色に近づけるように、被写体人物に対する画像処理を実行することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記画像を使用する人物が登録されている場合には、その人物の人種に基づいた画像処理が実行されることを特徴とする請求項１〜３いずれか記載の画像処理装置。
5. 前記データベースは、前記人種特定手段によって被写体人物の人種が特定される度に、前記特徴量取得手段によって取得された特徴量と、その特徴量に該当する人種とを関連付けて蓄積していくことを特徴とする請求項１〜４いずれか記載の画像処理装置。
6. 画像を解析することにより、被写体人物の顔を検出するステップと、
   検出された被写体人物の顔の数をカウントするステップと、
   検出された被写体人物の顔から、その特徴量を取得するステップと、
   人種における特徴量が複数蓄積されたデータベースを参照して、取得された特徴量に基づいた人種を特定するステップと、
   特定された人種に基づいた画像処理を、前記画像に対して実行するステップと、を備えたことを特徴とする画像処理方法。
   
   

Images