JP2006023949A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】容易に、かつ、不自然さを残さず違和感のない、被写体に最適な高画質な補正画像を得る。
【解決手段】個人の身体的な部位の特徴量を登録する登録装置と、画像情報を入力する入力手段と、入力画像中に撮影されている被写体の人物を特定する特定手段と、前記被写体の画像中の画像欠陥部を検出する検出手段と、前記登録装置から前記特定人物の登録情報を検索する検索手段と、前記検索した登録情報を基に、前記画像欠陥部を補正する補正手段と、を有することを特徴とする画像処理装置。
【選択図】 図１

Description

本発明は、入力した画像情報、特に人物が撮影されている画像情報に対して、補正、及び加工処理をするデジタル画像処理装置及び画像処理方法に関する。

近年、デジタルカメラによる画像入力、及びプリンタによる画像出力が盛んに行われているが、撮影した多数の写真の中には、撮影者の期待通りの写真ばかりではなく、様々な失敗写真が存在する。失敗写真は、例えば撮影時の撮影失敗により手ブレや焦点ぼけを起こしたりする撮影者や被写体に起因するものと、また、使用したデジタルカメラの特性によりノイズが増感されたり、階調特性や解像性が減少したり等の入力デバイスの特性に起因するものとに分類できる。このような失敗写真の画質を向上させるために、古くより、入力した画像情報に対して、様々なデジタル画像補正処理、デジタル加工処理の提案がされている。

今、失敗写真の一例として、フラッシュを発光して撮影した写真に度々起こる赤目現象について例を挙げる。

赤目現象は、暗い周囲の環境下での人物撮影において、フラッシュ光が被写体の眼球内の血管等で反射してカメラ側に帰来することにより、開いた瞳孔が赤く撮影されてしまう現象のことをいう。

赤目現象は、撮影時にフラッシュ発光のタイミングをずらすことによって、ある程度は回避することが可能である。しかし、カメラ側に特殊な機構が必要になること、フラッシュを事前に発光することにより被写体の自然な表情に変化を及ぼすこと等が課題となっている。その為、撮影機器の改良により赤目発生を防止する技術よりも、既に赤目現象が発生した画像の中から、赤目部分を検出して、自然な色合いの瞳孔色に補正する技術の提案が重要になってきている。

特許文献１では、赤目の発生した瞳孔色を別の色に置き換えたり、ＬＵＴを用いて赤目部分の明度あるいは彩度を落とす方向に画像データを変換する方法が開示されている。

特許文献２では、入力画像の種別、画像の形式、スキャン条件等に基づいて、赤目部分を検出するパラメータや、赤目修正のパラメータを変更させる方法が開示されている。

特許文献３では、本人もしくは別人の赤目が発生していない参照画像の目の部分画像を切り出し、切り出した目の部分画像を拡大縮小して、赤目の発生している修正すべき画像の目の部分に合成することにより、赤目を違和感のなく修正する方法が開示されている。
特許第２６３４５１１号公報 特開２００３−２８３８４９号公報 特開平１１−３４１２７９号公報

しかし、前述した技術は、画像欠陥を補正する補正画質、及び、補正画像を得るための操作方法に問題点がある。

特許第２６３４５１１号公報では、赤目部分を他の色に置き換えたり、明度もしくは彩度を落とす方向に画像データを変換する方法であるが、被写体、特に目周辺の情報は個人差が大きく、単純に赤目の部分を単色に置き換えたり、明度、彩度を減少させる方法では、本人とは適合しない違和感の大きな補正画質になってしまう。

特開２００３−２８３８４９号公報では、入力画像の種別、スキャン条件に基づいて赤目修正のパラメータを変更させる方法であるが、入力画像の被写体に応じての条件切り替えについては言及していない。つまり、被写体毎の個人差のある補正には対応していない。

特開平１１−３４１２７９号公報では、他の従来技術とは異なり、被写体の個人差を吸収することが可能になり良好な補正が期待できる。しかし、参照画像と修正画像とがかなり類似した画像である必要がある。すなわち、被写体の画素数が大きく異なっていた場合には、参照画像の目の部分画像を拡大縮小処理した後に合成する必要があるが、単に合成する目の大きさを合わせただけでは、局所的に解像感の異なる画像が嵌め込まれた違和感の大きな画質になる。例えば、参照画像の目の部分画像の画素数が少ない場合には、合成した目の部分だけがジャギーの目立つ画質になり、いかにも異なる画像を貼り付けた印象を払拭できない。また、例えば、修正画像の被写体が斜めを向いていて、かつ、合成する参照画像が正面を向いていた場合には、正面を向いた目の部分画像が斜めに向いた顔の目の位置に合成されることになり、自然な表情を持った人物写真の補正画質を得ることは不可能である。

また、参照画像を用意して部分画像を修正画像に合成する方法は、熟練したオペレータが介在することによって実現するのであって、機器に慣れていない初心者が容易にできるものではない。

また、局所的に画像を入れ替える方法では、赤目補正の瞳孔部分を入れ替えるという程度の微細な変更が限度であり、例えば、くすんで撮影されてしまった顔色を変化させるような補正は不可能である。

本発明は、以上の点に着目して成されたもので、容易に、かつ、不自然さを残さず違和感のない、被写体に最適な高画質な補正画像を得る画像処理装置及び画像処理方法を提供することを目的とする。

この発明は下記の構成を備えることにより上記課題を解決できるものである。

（１）個人の身体的な部位の特徴量を登録する登録装置と、画像情報を入力する入力手段と、入力画像中に撮影されている被写体の人物を特定する特定手段と、前記被写体の画像中の画像欠陥部を検出する検出手段と、前記登録装置から前記特定人物の登録情報を検索する検索手段と、前記検索した登録情報を基に、前記画像欠陥部を補正する補正手段と、を有することを特徴とする画像処理装置。

（２）前記登録装置は、前記被写体が写っている画像を入力する入力手段と、前記画像から顔部を検出する検出手段と、顔部中の対象領域を抽出する抽出手段と、抽出内の領域から画像の特徴量を算出する手段と、前記特徴量を登録する登録手段と、を有することを特徴とする前記（１）記載の画像処理装置。

（３）前記登録装置は、前記被写体が写っている画像を入力する入力手段と、前記画像から使用者の指定に基づき顔部中の対象領域を抽出する抽出手段と、抽出内の領域から画像の特徴量を算出する手段と、前記特徴量を登録する登録手段と、を有することを特徴とする前記（１）記載の画像処理装置。

（４）前記特定手段は、前記画像から顔部を検出する顔部検出手段と、顔部中の器官を検出する器官検出手段と、を有し、前記器官、及び前記器官同士の相対位置関係を基に特定することを特徴とする前記（１）記載の画像処理装置。

（５）前記特定手段は、使用者の指定により特定することを特徴とする前記（１）記載の画像処理装置。

（６）前記画像欠陥部は、赤目画像領域であることを特徴とする前記（１）記載の画像処理装置。

（７）前記画像欠陥部は、顔色の再現性劣化領域であることを特徴とする前記（１）記載の画像処理装置。

（８）前記特徴量は、対象領域の平均値であることを特徴とする前記（２）または（３）記載の画像処理装置。

（９）前記特徴量は、対象領域の標準偏差であることを特徴とする前記（２）または（３）記載の画像処理装置。

（１０）前記補正手段は、前記画像欠陥部の平均値から前記特徴量である前記対象領域の平均値を減じた差分値を、前記画像欠陥部の各画素から減じることを特徴とする前記（８）記載の画像処理装置。

（１１）個人の身体的な部位の特徴量を登録する登録工程と、画像情報を入力する入力工程と、入力画像中に撮影されている被写体の人物を特定する特定工程と、前記被写体の画像中の画像欠陥部を検出する検出工程と、前記登録工程から前記特定人物の登録情報を検索する検索工程と、前記検索した登録情報を基に、前記画像欠陥部を補正する補正工程と、を有することを特徴とする画像処理方法。

本発明によれば、被写体の個々の顔、及び、顔器官情報の特徴量を登録し、その登録情報を画像補正に利用することによって、従来方法よりも更に容易に、かつ、不自然さを残さず違和感のない、被写体に最適な高画質の補正画像を得ることが可能である。

以下、図面を参照して本発明に係る好適な実施例を詳細に説明する。

図１のブロック図に沿って本実施例の動作手順を説明していく。図１は、本発明に係る第１の実施例を示すブロック図である。１００は入力端子を示し、撮影に失敗した画像情報が入力される。１０１は顔検出手段を示し、入力画像情報の中から人物の顔部を検出する手段である。顔領域の検出方法は特定しないが、例えば特開平８−６３５９７号公報記載にあるように肌色領域を抽出した後に、エッジ検出、テンプレートマッチングを施して顔領域を検出する方法、特表２００２−５３２８０７号公報記載にあるように、皮膚色境界を検出し、連結成分を分類して顔を含む画像か否かを判断する方法等がある。１０１にて顔を検出した後に、対象人物特定手段１０２において、撮影されている被写体が誰であるかの対象人物の特定を行う。対象人物の特定方法は、予め登録してある登録装置（以下、データベースと称す）の中から、顔部内の各器官の相対位置情報を基にパターンマッチングの評価を行い、最も評価値の高い登録者を被写体となっている対象人物であると判断する。図中、破線で囲んだ部分がデータベースである。

１０３は、赤目検出手段を示し、検出した顔器官の中で眼部中の瞳孔部分が赤く光っている領域を検出する手段である。１０４は、登録情報検索手段であり、同様にデータベースに予め登録してある対象人物の特徴量の中から、補正に必要な情報を検索してくる手段である。

図２に、予め登録してあるデータベースの一部の例を示す。データベースでは、複数の登録者に対し、虹彩色、瞳孔色、皮膚色各々の平均値と標準偏差の輝度値が登録されている。表示している平均値は、ＲＧＢ各色８ビットのデジタルデータの例を示しているが、他の色成分、例えば、ＹＣｒＣｂやＬａｂ等に分解した情報でも構わない。また、登録情報は、表示項目以外にも、髪の毛の色、顔器官やホクロやシミ等の特徴点の色や座標等の個人の顔の特徴的な情報が格納されている。データベースへの登録は、被写体が鮮明で、かつ、高解像情報で撮影されている代表的な画像を使用者が選択して、データベースに予め登録しておく。

図３は、データベース登録装置のブロック図を示す。図中、３００は、登録に要する画像情報を入力する入力端子である。３０１は顔検出手段、３０２は顔器官検出手段を示し、入力画像中から顔部、及び、目、口等の顔器官を検出する手段である。顔検出、顔器官検出は公知の方法で十分である。３０３は検出した顔器官を基にして、所望の対象領域を抽出する抽出手段である。対象領域は、目（瞳孔、虹彩）、頬、唇、鼻等が考えられる。３０４は、抽出した各顔器官内の領域内のヒストグラムを算出する手段である。３０５は、算出したヒストグラムに基づいて、領域内の平均値、標準偏差（または分散値）を算出し、対象被写体の登録情報としてデータベースに格納する手段である。

図３は、使用者の操作を省いた自動的な情報登録装置の例を示したが、当然、情報の登録は使用者の手動によるものでも良い。図４は、手動での登録操作についての例を示す。４００は、入力したデジタル画像をモニタ等の表示装置にて表示したウインドウを示す。使用者は、被写体の顔部の画像を拡大表示し、登録したい所望の顔器官上にマウスカーソルを移動させて領域指定をする。図中４０１は、皮膚色の情報を取り出すための領域を、４０２は、目の情報を取り出すための領域の例を示す。４０２の領域指定では、更に目の部分が拡大表示され、使用者は、瞳孔色の領域４０３、虹彩色の領域４０４の各々の領域に対して矩形を指定をすることにより領域内情報の登録作業を行う。このような情報登録装置はコンピュータを用いて行うのが、データベース管理、情報検索、記憶容量の観点からも好ましい。

図１において、今、赤目補正に必要な登録情報が瞳孔色、虹彩色である場合には、登録情報検索手段１０４にて、既に登録済みの対象者の瞳孔色、虹彩色の登録情報を検索し、赤目補正手段１０５にて、赤目補正を行う。

図５は、赤目補正手段１０５の動作手順を示すフローチャートである。

Ｓ５０１は、検出した目の領域の中から、赤目になった瞳孔領域の検出を行う工程である。瞳孔領域の検出が完了したら、Ｓ５０２において、瞳孔領域と判定された各画素の各色成分の輝度値を加算し、加算した総画素数で除算することによって、瞳孔領域の平均値を算出する。続いてＳ５０３において、算出した瞳孔領域の平均値と、登録情報から検索した被写体の登録瞳孔平均値との差分値を算出する。例えば、赤目瞳孔のＲＧＢ各色平均値が、Ｐｕｐｉｌｓ＿Ｒａｖｅ、Ｐｕｐｉｌｓ＿Ｇａｖｅ、Ｐｕｐｉｌｓ＿Ｂａｖｅ、また、登録瞳孔のＲＧＢ各色平均値がＰｕｐｉｌｓ＿Ｒｄａｔａ、Ｐｕｐｉｌｓ＿Ｇｄａｔａ、Ｐｕｐｉｌｓ＿Ｂｄａｔａ、算出する差分値のＲＧＢ各色成分値を、Ｐｕｐｉｌｓ＿Ｒｄｉｆｆ、Ｐｕｐｉｌｓ＿Ｇｄｉｆｆ、Ｐｕｐｉｌｓ＿Ｂｄｉｆｆとすると、以下の式により差分値を算出する。

Ｐｕｐｉｌｓ＿Ｒｄｉｆｆ＝Ｐｕｐｉｌｓ＿Ｒａｖｅ−Ｐｕｐｉｌｓ＿Ｒｄａｔａ
Ｐｕｐｉｌｓ＿Ｇｄｉｆｆ＝Ｐｕｐｉｌｓ＿Ｇａｖｅ−Ｐｕｐｉｌｓ＿Ｇｄａｔａ
Ｐｕｐｉｌｓ＿Ｂｄｉｆｆ＝Ｐｕｐｉｌｓ＿Ｂａｖｅ−Ｐｕｐｉｌｓ＿Ｂｄａｔａ
・・・ 式１

続いて、Ｓ５０４において、赤目瞳孔領域の各画素に対して、算出した差分値を減算する。例えば、座標（ｉ，ｊ）における入力画素値を（Ｐｕｐｉｌｓ＿Ｒｉｎ（ｉ，ｊ）、Ｐｕｐｉｌｓ＿Ｇｉｎ（ｉ，ｊ）、Ｐｕｐｉｌｓ＿Ｂｉｎ（ｉ，ｊ））、補正後の変換値を（Ｐｕｐｉｌｓ＿Ｒｏｕｔ（ｉ，ｊ）、Ｐｕｐｉｌｓ＿Ｇｏｕｔ（ｉ，ｊ）、Ｐｕｐｉｌｓ＿Ｂｏｕｔ（ｉ，ｊ））とすると、以下の式により変換値を算出する。

Ｐｕｐｉｌｓ＿Ｒｏｕｔ（ｉ，ｊ）＝Ｐｕｐｉｌｓ＿Ｒｉｎ（ｉ，ｊ）−Ｐｕｐｉｌｓ＿Ｒｄｉｆｆ
Ｐｕｐｉｌｓ＿Ｇｏｕｔ（ｉ，ｊ）＝Ｐｕｐｉｌｓ＿Ｇｉｎ（ｉ，ｊ）−Ｐｕｐｉｌｓ＿Ｇｄｉｆｆ
Ｐｕｐｉｌｓ＿Ｂｏｕｔ（ｉ，ｊ）＝Ｐｕｐｉｌｓ＿Ｂｉｎ（ｉ，ｊ）−Ｐｕｐｉｌｓ＿Ｂｄｉｆｆ
・・・ 式２

この場合に、変換値が負の値になったりオーバーフローしたりしないように所定レベルでクリップさせるのは勿論である。

続いてＳ５０５にて瞳孔領域に存在する全ての画素に対して減算処理をしたか否かを判定し、否の場合には、Ｓ５０６にて注目画素を移動してＳ５０４の工程を繰り返し行う。

続いてＳ５０７以降は、虹彩部分に処理を移す。

Ｓ５０７は、検出した目の領域の中から、赤目の周囲を取り囲む虹彩領域の検出を行う工程である。虹彩領域の検出が完了したら、Ｓ５０８において、虹彩領域と判定された各画素の各色成分の輝度値を加算し、加算した総画素数で除算することによって、虹彩領域の平均値を算出する。続いてＳ５０９において、算出した虹彩領域の平均値と、登録情報から検索した被写体の登録虹彩平均値との差分値を算出する。例えば、赤目瞳孔周囲の虹彩のＲＧＢ各色平均値が、Ｉｒｉｓ＿Ｒａｖｅ、Ｉｒｉｓ＿Ｇａｖｅ、Ｉｒｉｓ＿Ｂａｖｅ、また、登録虹彩のＲＧＢ各色平均値がＩｒｉｓ＿Ｒｄａｔａ、Ｉｒｉｓ＿Ｇｄａｔａ、Ｉｒｉｓ＿Ｂｄａｔａ、算出する差分値のＲＧＢ各色成分値を、Ｉｒｉｓ＿Ｒｄｉｆｆ、Ｉｒｉｓ＿Ｇｄｉｆｆ、Ｉｒｉｓ＿Ｂｄｉｆｆとすると、以下の式により差分値を算出する。

Ｉｒｉｓ＿Ｒｄｉｆｆ＝Ｉｒｉｓ＿Ｒａｖｅ−Ｉｒｉｓ＿Ｒｄａｔａ
Ｉｒｉｓ＿Ｇｄｉｆｆ＝Ｉｒｉｓ＿Ｇａｖｅ−Ｉｒｉｓ＿Ｇｄａｔａ
Ｉｒｉｓ＿Ｂｄｉｆｆ＝Ｉｒｉｓ＿Ｂａｖｅ−Ｉｒｉｓ＿Ｂｄａｔａ ・・・ 式３

続いて、Ｓ５１０において、赤目周囲の虹彩領域の各画素に対して、算出した差分値を減算する。例えば、座標（ｉ，ｊ）における入力画素値を（Ｉｒｉｓ＿Ｒｉｎ（ｉ，ｊ）、Ｉｒｉｓ＿Ｇｉｎ（ｉ，ｊ）、Ｉｒｉｓ＿Ｂｉｎ（ｉ，ｊ））、補正後の変換値を（Ｉｒｉｓ＿Ｒｏｕｔ（ｉ，ｊ）、Ｉｒｉｓ＿Ｇｏｕｔ（ｉ，ｊ）、Ｉｒｉｓ＿Ｂｏｕｔ（ｉ，ｊ））とすると、以下の式により変換値を算出する。

Ｉｒｉｓ＿Ｒｏｕｔ（ｉ，ｊ）＝Ｉｒｉｓ＿Ｒｉｎ（ｉ，ｊ）−Ｉｒｉｓ＿Ｒｄｉｆｆ
Ｉｒｉｓ＿Ｇｏｕｔ（ｉ，ｊ）＝Ｉｒｉｓ＿Ｇｉｎ（ｉ，ｊ）−Ｉｒｉｓ＿Ｇｄｉｆｆ
Ｉｒｉｓ＿Ｂｏｕｔ（ｉ，ｊ）＝Ｉｒｉｓ＿Ｂｉｎ（ｉ，ｊ）−Ｉｒｉｓ＿Ｂｄｉｆｆ
・・・ 式４

この場合に、変換値が負の値になったりオーバーフローしたりしないように所定レベルでクリップさせるのは勿論である。

続いてＳ５１１にて虹彩領域に存在する全ての画素に対して減算処理をしたか否かを判定し、否の場合には、Ｓ５１２にて注目画素を移動してＳ５１０の工程を繰り返し行う。

本実施例では、瞳孔のみではなく、虹彩部も登録情報に基づいて変換処理をすることにより、被写体の対象者に適合した良好な赤目補正が実現できる。

以上、登録情報を基にした画像補正を説明したが、補正方法は式１〜式４に記載した方法以外にも考えられる。また、登録情報も瞳孔部、虹彩部の平均値を用いて変換したが、より詳細な特徴量を登録しておいても良い。例えば、瞳孔部、虹彩部に相当する複数画素の画素値や、瞳孔部、虹彩部の高解像のビットマップ情報を登録しておいて、登録情報を拡大縮小処理を施すことにより補正することも可能である。また、登録情報の平均値だけでなく、標準偏差を用いて、標準偏差値に応じた変換式を用いても良い。

［他の実施例］
前述した実施例では、赤目補正に瞳孔色、虹彩色を用いた例を説明したが、様々な個人的な被写体情報を登録することによって、補正処理の応用範囲は広がる。図６は、本発明他の実施例を示す要部ブロック図である。本実施例は、登録情報による失敗画像の補正として前述した赤目補正ではなく、肌色補正に応用する例である。図中、図１の実施例と同一ブロックには同一番号を付している。

１００は入力端子を示し、撮影に失敗した画像情報が入力される。１０１は顔検出手段を示し、入力画像情報の中から人物の顔部を検出する手段である。１０１にて顔を検出した後に、１０２対象人物特定手段にて、撮影されている被写体が誰であるかの対象人物の特定を行う。対象人物の特定方法は、予め登録してあるデータベースの中から、顔部内の各器官の相対位置情報を基にパターンマッチングの評価を行い、最も評価値の高い登録者を被写体となっている対象人物であると判断する。

６０１は、肌領域抽出手段を示し、顔検出手段１０１により検出した顔位置の中から、肌に近い色の画素を抜き出すことによって、忠実に顔を構成している画素を抽出する手段である。１０４は、登録情報検索手段であり、予め登録してある対象人物の特徴量の中から、補正に必要な情報を検索してくる手段である。本実施例では、肌色を補正するために、特定した被写体の皮膚色の情報を用いる。６０２は肌色補正手段を示し、登録皮膚色の情報を基に入力画像を補正する。

図７は、肌色補正手段６０２の動作手順を示すフローチャートである。

Ｓ７０１は、肌色領域の抽出を行う工程（図６の６０１に相当）である。肌色領域の抽出が完了したら、Ｓ７０２において、肌色領域と判定された各画素の各色成分の輝度値を加算し、加算した総画素数で除算することによって、肌色領域の平均値を算出する。続いてＳ７０３において、算出した肌色領域の平均値と、登録情報から検索した被写体の登録肌色平均値との差分値を算出する。例えば、抽出した肌色のＲＧＢ各色平均値が、Ｓｋｉｎ＿Ｒａｖｅ、Ｓｋｉｎ＿Ｇａｖｅ、Ｓｋｉｎ＿Ｂａｖｅ、また、登録肌色のＲＧＢ各色平均値がＳｋｉｎ＿Ｒｄａｔａ、Ｓｋｉｎ＿Ｇｄａｔａ、Ｓｋｉｎ＿Ｂｄａｔａ、算出する差分値のＲＧＢ各色成分値を、Ｓｋｉｎ＿Ｒｄｉｆｆ、Ｓｋｉｎ＿Ｇｄｉｆｆ、Ｓｋｉｎ＿Ｂｄｉｆｆとすると、以下の式により差分値を算出する。

Ｓｋｉｎ＿Ｒｄｉｆｆ＝Ｓｋｉｎ＿Ｒａｖｅ−Ｓｋｉｎ＿Ｒｄａｔａ
Ｓｋｉｎ＿Ｇｄｉｆｆ＝Ｓｋｉｎ＿Ｇａｖｅ−Ｓｋｉｎ＿Ｇｄａｔａ
Ｓｋｉｎ＿Ｂｄｉｆｆ＝Ｓｋｉｎ＿Ｂａｖｅ−Ｓｋｉｎ＿Ｂｄａｔａ ・・・ 式５

続いて、Ｓ７０４において、抽出肌色領域の各画素に対して、算出した差分値を減算する。例えば、座標（ｉ，ｊ）における入力画素値を（Ｓｋｉｎ＿Ｒｉｎ（ｉ，ｊ）、Ｓｋｉｎ＿Ｇｉｎ（ｉ，ｊ）、Ｓｋｉｎ＿Ｂｉｎ（ｉ，ｊ））、補正後の変換値を（Ｓｋｉｎ＿Ｒｏｕｔ（ｉ，ｊ）、Ｓｋｉｎ＿Ｇｏｕｔ（ｉ，ｊ）、Ｓｋｉｎ＿Ｂｏｕｔ（ｉ，ｊ））とすると、以下の式により変換値を算出する。

Ｓｋｉｎ＿Ｒｏｕｔ（ｉ，ｊ）＝Ｓｋｉｎ＿Ｒｉｎ（ｉ，ｊ）−Ｓｋｉｎ＿Ｒｄｉｆｆ
Ｓｋｉｎ＿Ｇｏｕｔ（ｉ，ｊ）＝Ｓｋｉｎ＿Ｇｉｎ（ｉ，ｊ）−Ｓｋｉｎ＿Ｇｄｉｆｆ
Ｓｋｉｎ＿Ｂｏｕｔ（ｉ，ｊ）＝Ｓｋｉｎ＿Ｂｉｎ（ｉ，ｊ）−Ｓｋｉｎ＿Ｂｄｉｆｆ
・・・ 式６

この場合に、変換値が負の値になったりオーバーフローしたりしないように所定レベルでクリップさせるのは勿論である。

続いてＳ７０５にて抽出領域に存在する全ての画素に対して減算処理をしたか否かを判定し、否の場合には、Ｓ７０６にて注目画素を移動してＳ７０４の工程を繰り返し行う。

以上の処理により、くすんだ顔色を最適な肌色に補正する肌色補正や、逆光により暗く撮影された顔色を補正する逆光補正等が容易に実現できる。

以上、赤目補正、肌色補正を例にして説明してきたが、被写体の登録情報を利用する補正方法は様々な応用が考えられる。例えば、顔部中の傷、シミ、ホクロの修正や、目をとじた被写体の加工、髪の毛の色の再生、顔輪郭の修正等が考えられる。

また、前述した実施例では、被写体の人物特定を顔器官の特徴量を基にして自動的に特定する構成を示したが、被写体の人物特定は使用者が手動で指定する構成も考えられる。近年、インクジェットプリンタは家庭内で写真印刷に使用される用途が増えてきているが、家庭用の写真印刷においては、被写体が家族である場合が多い。被写体の登録者数が少ない場合には、被写体が誰であるかを指定することは使用者にとってさほど苦労することではない。すなわち、使用用途や使用対象によっては、人物特定手段を手動指定した方が使い勝手の良い場合がある。その為、人物特定手段を手動指定にするか、自動的に特定するかを、本発明の画像処理装置を搭載するコンピュータの能力や、被写体の登録者数に応じて、自在に切り替える構成にしても良い。

以上説明した本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明第１の実施例を示す要部ブロック図 登録情報の一例を示す図 情報登録装置の要部ブロック図 手動による情報登録の例を説明する図 図１の赤目補正手段の動作手順を示すフローチャート 本発明第２の実施例を示す要部ブロック図 図６の肌色補正手段の動作手順を示すフローチャート

符号の説明

１００ 入力端子
１０１ 顔検出手段
１０２ 対象人物特定手段
１０３ 赤目検出手段
１０４ 登録情報検索手段
１０５ 赤目補正手段
３００ 入力端子
３０１ 顔検出手段
３０２ 顔器官検出手段
３０３ 対象領域抽出手段
３０４ 領域内ヒストグラム算出手段
３０５ 平均値、標準偏差登録手段
４００ ウインドウ
４０１，４０２ 領域
４０３ 瞳孔色の領域
４０４ 虹彩色の領域
６０１ 肌領域抽出手段
６０２ 肌色補正手段

Claims (11)

1. 個人の身体的な部位の特徴量を登録する登録装置と、
   画像情報を入力する入力手段と、
   入力画像中に撮影されている被写体の人物を特定する特定手段と、
   前記被写体の画像中の画像欠陥部を検出する検出手段と、
   前記登録装置から前記特定人物の登録情報を検索する検索手段と、
   前記検索した登録情報を基に、前記画像欠陥部を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記登録装置は、前記被写体が写っている画像を入力する入力手段と、
   前記画像から顔部を検出する検出手段と、
   顔部中の対象領域を抽出する抽出手段と、
   抽出内の領域から画像の特徴量を算出する手段と、
   前記特徴量を登録する登録手段と、
   を有することを特徴とする請求項１記載の画像処理装置。
3. 前記登録装置は、前記被写体が写っている画像を入力する入力手段と、
   前記画像から使用者の指定に基づき顔部中の対象領域を抽出する抽出手段と、
   抽出内の領域から画像の特徴量を算出する手段と、
   前記特徴量を登録する登録手段と、
   を有することを特徴とする請求項１記載の画像処理装置。
4. 前記特定手段は、前記画像から顔部を検出する顔部検出手段と、
   顔部中の器官を検出する器官検出手段と、
   を有し、前記器官、及び前記器官同士の相対位置関係を基に特定することを特徴とする請求項１記載の画像処理装置。
5. 前記特定手段は、使用者の指定により特定することを特徴とする請求項１記載の画像処理装置。
6. 前記画像欠陥部は、赤目画像領域であることを特徴とする請求項１記載の画像処理装置。
7. 前記画像欠陥部は、顔色の再現性劣化領域であることを特徴とする請求項１記載の画像処理装置。
8. 前記特徴量は、対象領域の平均値であることを特徴とする請求項２または請求項３記載の画像処理装置。
9. 前記特徴量は、対象領域の標準偏差であることを特徴とする請求項２または請求項３記載の画像処理装置。
10. 前記補正手段は、前記画像欠陥部の平均値から前記特徴量である前記対象領域の平均値を減じた差分値を、前記画像欠陥部の各画素から減じることを特徴とする請求項８記載の画像処理装置。
11. 個人の身体的な部位の特徴量を登録する登録工程と、
    画像情報を入力する入力工程と、
    入力画像中に撮影されている被写体の人物を特定する特定工程と、
    前記被写体の画像中の画像欠陥部を検出する検出工程と、
    前記登録工程から前記特定人物の登録情報を検索する検索工程と、
    前記検索した登録情報を基に、前記画像欠陥部を補正する補正工程と、
    を有することを特徴とする画像処理方法。

Images