JP2007281798A - 赤目補正装置、赤目補正方法、および赤目補正プログラム - Google Patents

Abstract

【課題】赤目を検出するときに用いた赤目検出方法の種類に応じて赤目修正処理の内容を自動的に選択して、赤目に対して最適な赤目修正処理を施す。
【解決手段】本発明に係る赤目補正装置は、画像内で赤目を探索して赤目候補を検出する赤目候補検出部と、画像から複数の異なる種類の顔をそれぞれ検出する複数の種類の顔検出部と、赤目候補検出部が検出した赤目候補の位置が、複数の顔検出部が検出した複数の顔における所定の位置にある赤目候補を赤目修正の対象として選択する赤目修正判断部と、複数の顔検出部の種類に対応づけて、赤目修正の修正方法を予め格納する修正方法格納部と、赤目修正判断部が赤目修正の対象として選択した赤目候補を含む顔を検出した顔検出部の種類に対応づけて修正方法格納部が格納している赤目修正の修正方法で画像に赤目修正処理を施す赤目修正部を備える。
【選択図】図１

Description

本発明は、赤目補正装置、赤目補正方法、および赤目補正プログラムに関する。特に、本発明は、顔の検出方法によって赤目修正方法を切り替える赤目補正装置、赤目補正方法、および赤目補正プログラムに関する。

撮像時にストロボを用いる場合には、人物の瞳孔が赤色に写る赤目現象または金色に写る金目現象が起こる場合がある。赤目現象または金目現象が発生すると、撮像された被写体の写り栄えがよいとはいえないので、これら赤目または金目を、自然な瞳孔の色に修正する様々な画像処理方法が提案されている。例えば、ユーザに色調不良となった目の画像を含む処理対象領域を指定させ、指定された処理対象領域の色相、彩度、および明度から得られる色の値に基づいて、目の瞳部分に赤目修正処理を施す方法が提案されている（例えば、特許文献１参照。）。また、撮像した画像にストロボ情報、Ｅｖ値、シャッター速度、および絞り値等の撮影情報を付加しておき、赤目が発生している可能性があると判断された画像についてだけ赤目修正処理を施す方法が提案されている（例えば、特許文献４参照。）。

なお、画像から人物の顔が含まれる候補領域を抽出した後に、抽出した候補領域を複数の小領域に分割して、複数の小領域の特徴量を予め設定した顔領域パターンと照合することにより顔領域を抽出する方法（例えば、特許文献２参照。）、画像から人物の顔領域を抽出して、抽出した顔領域の色の濃度が所定の閾値に対応する場合に、人物の胴体の候補となる領域を抽出して、顔、または胴体の領域の濃度および彩度を用いて顔領域の確度（抽出した領域が顔画像であることの確からしさ）を評価することにより、顔領域を抽出する方法（例えば、特許文献３参照。）、および画像から複数の顔候補領域を抽出して、抽出した複数の顔候補領域の重複度から確度を評価して顔領域を抽出する方法が提案されている（例えば、特許文献５参照。）。
特開２０００−７６４２７号公報 特開２０００−１３７７８８号公報 特開２０００−１４８９８０号公報 特開２００４−１４５２８７号公報 特開２０００−１４９０１８号公報

しかしながら、特許文献１に記載の発明、および特許文献４に記載の発明においては、画像内から検出された赤目修正対象に対して同一の赤目修正処理を施す。したがって、人物の両目が赤目として写っているにもかかわらず、一方の目だけ赤目として検出した場合には、一方の目だけについて赤目修正処理を施すので、赤目修正処理後の画像はユーザにとって違和感のある画像となる場合がある。また、人物の目ではない部分、例えば、電飾等を誤って赤目として検出した場合においても、誤って検出した赤色部分について赤目修正処理を施す場合がある。なお、撮像画像から人物の顔を検出する方法は、特許文献２、特許文献３、および特許文献５において開示されている。

そこで本発明は、上記課題を解決することができる赤目補正装置、赤目補正方法、および赤目補正プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組合せにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、赤目補正装置であって、画像内で赤目を探索して赤目候補を検出する赤目候補検出部と、画像から複数の異なる種類の顔をそれぞれ検出する複数の種類の顔検出部と、赤目候補検出部が検出した赤目候補の位置が、複数の顔検出部が検出した複数の顔における所定の位置にある赤目候補を赤目修正の対象として選択する赤目修正判断部と、複数の顔検出部の種類に対応づけて、赤目修正の修正方法を予め格納する修正方法格納部と、赤目修正判断部が赤目修正の対象として選択した赤目候補を含む顔を検出した顔検出部の種類に対応づけて修正方法格納部が格納している赤目修正の修正方法で画像に赤目修正処理を施す赤目修正部を備える。

また、複数の顔検出部は、画像に対して正面を向いている顔である正面顔を検出する正面顔検出部を有し、修正方法格納部は、正面顔検出部を識別する情報に対応づけて、赤目修正判断部が正面顔において所定の位置にあると判断した赤目候補が片目の場合には、赤目修正処理を施さず、赤目修正判断部が正面顔において所定の位置にあると判断した赤目候補が両目の場合には、赤目修正処理を施すことを示す修正方法を格納してもよい。更に、画像内で黒目を探索して検出する黒目検出部を備え、複数の顔検出部は、画像に対して正面を向いている顔である正面顔を検出する正面顔検出部を有し、黒目検出部は、赤目修正判断部が正面顔において所定の位置にあると判断した赤目候補が片目の場合に、片目と異なる側の片目を検出し、修正方法格納部は、正面顔検出部を識別する情報に対応づけて、赤目修正判断部が正面顔において所定の位置にあると判断した赤目候補が片目の場合に、赤目修正判断部が赤目修正の対象として選択した赤目候補の瞳の色を、黒目検出部が検出した片目の瞳の色と同一の色に修正することを示す修正方法を格納してもよい。

更に、画像内で黒目を探索して検出する黒目検出部を備え、複数の顔検出部は、画像に対して正面を向いている顔である正面顔を検出する正面顔検出部を有し、黒目検出部は、赤目修正判断部が正面顔において所定の位置にあると判断した赤目候補が片目の場合に、片目と異なる側の片目を検出し、修正方法格納部は、正面顔検出部を識別する情報に対応づけて、赤目修正判断部が正面顔において所定の位置にあると判断した赤目候補が片目の場合に、赤目修正判断部が赤目修正の対象として選択した赤目候補に赤目修正処理を施し、黒目検出部が検出した片目の瞳の色を、赤目修正処理が施された片目の瞳の色と同一の色に修正することを示す修正方法を格納してもよい。

そして、複数の顔検出部は、画像に対して横を向いている顔である横顔を検出する横顔検出部を有し、修正方法格納部は、横顔検出部を識別する情報に対応づけて、赤目修正判断部が横顔において所定の位置にあると判断した赤目候補が片目の場合には、赤目修正処理を施し、赤目修正判断部が横顔において所定の位置にあると判断した赤目候補が両目の場合には、赤目修正処理を施さないことを示す修正方法を格納してもよい。

また、複数の顔検出部は、眼鏡をかけた顔である眼鏡顔を検出する眼鏡顔検出部を有し、修正方法格納部は、眼鏡顔検出部を識別する情報に対応づけて、赤目修正判断部が眼鏡顔において所定の位置にあると判断した赤目候補に赤目修正処理を施すとともに、眼鏡顔の赤目候補の色味を、眼鏡顔の赤目候補の領域の周囲の領域の色味に近づける色修正を施すことを示す修正方法を格納してもよく、赤目修正部は、画像が含む複数の画素の最も小さい輝度より大きい輝度の範囲で画素の輝度を変更して画像に赤目修正処理を施してもよい。

また、本発明の第２の形態においては、赤目補正方法であって、画像内で赤目を探索して赤目候補を検出する赤目候補検出段階と、画像から複数の異なる種類の顔を、複数の種類の顔検出部においてそれぞれ検出する顔検出段階と、赤目候補検出段階において検出された赤目候補の位置が、複数の顔検出段階において検出された複数の顔における所定の位置にある赤目候補を赤目修正の対象として選択する赤目修正判断段階と、赤目修正判断段階において赤目修正の対象として選択された赤目候補を含む顔を検出した顔検出部の種類に対応づけて修正方法格納部が格納している赤目修正の修正方法で画像に赤目修正処理を施す赤目修正段階を備える。

また、本発明の第３の形態においては、画像に赤目補正を施す赤目補正装置用の赤目補正プログラムであって、赤目補正装置を、画像内で赤目を探索して赤目候補を検出する赤目候補検出部、画像から複数の異なる種類の顔をそれぞれ検出する複数の種類の顔検出部、赤目候補検出部が検出した赤目候補の位置が、複数の顔検出部が検出した複数の顔における所定の位置にある赤目候補を赤目修正の対象として選択する赤目修正判断部、複数の顔検出部の種類に対応づけて、赤目修正の修正方法を予め格納する修正方法格納部、赤目修正判断部が赤目修正の対象として選択した赤目候補を含む顔を検出した顔検出部の種類に対応づけて修正方法格納部が格納している赤目修正の修正方法で画像に赤目修正処理を施す赤目修正部として機能させる赤目補正プログラム。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、赤目を検出するときに用いた顔の検出方法に応じて赤目修正処理の内容を自動的に選択することができるので、画像に含まれる赤目に対して適切な赤目修正処理を施すことができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る赤目補正装置１０の機能構成の一例を示す。赤目補正装置１０は、画像入力部１００、修正方法格納部１１０、顔検出部１２０、黒目検出部１２６、赤目候補検出部１３０、赤目修正判断部１４０、赤目修正部１５０、出力部１６２、および出力制御部１６４を備える。また、図２は、本実施形態に係る顔検出部１２０の機能構成の一例を示す。顔検出部１２０は、正面顔検出部１２１、横顔検出部１２２、顔部品検出部１２３、眼鏡顔検出部１２４、および低解像度顔検出部１２５を有する。本実施形態に係る赤目補正装置１０は、赤目を検出するときに用いた顔検出部１２０の種類に応じて赤目修正処理の内容を自動的に選択することにより、画像に含まれる赤目に対して適切な赤目修正処理を施すことを目的とする。

画像入力部１００は、画像を外部から入力する。画像入力部１００は、写真、および紙媒体等に印刷された画像を読み取ることにより画像を画像データとして外部から入力する。また、画像入力部１００は、半導体メモリ等の記憶媒体、または、ＬＡＮ、およびインターネット等のネットワークを介して画像データを入力してよい。画像入力部１００は入力した画像データを、顔検出部１２０、黒目検出部１２６、赤目候補検出部１３０、赤目修正部１５０、および出力制御部１６４に供給する。出力制御部１６４は、画像入力部１００、または、赤目修正部１５０から受け取った情報に基づいて、画像データ、または画像データに所定の画像処理を施した後の画像データを出力部１６２に出力させる。出力部１６２は、出力制御部１６４の制御に基づいて、当該画像データを出力する。なお、画像データを表示するモニタ等の画像表示装置、ＤＶＤ等の記録媒体に画像データを書き込む書き込み装置、および他の画像処理装置等に画像データを送信する通信部等は、出力部１６２の一例である。また、出力部１６２がモニタ等である場合には、出力制御部１６４は、受け取った画像データを視認可能な画像に変換して出力部１６２に表示させる。

赤目候補検出部１３０は、画像入力部１００から受け取った画像データが示す画像内に含まれる赤目候補を検出する。具体的には、赤目候補検出部１３０は、赤色を検出する予め定められた検出閾値を用いて、予め定められた色範囲に含まれる赤色を有する赤目候補を、画像入力部１００から受け取った画像から検出する。なお、係る場合において、赤色の色範囲は、画像に含まれる赤目を適切に検出することができる範囲に設定してよい。また、赤目候補検出部１３０は、機械学習により赤色の色範囲を設定してもよい。更に、赤目候補検出部１３０は、予め定められた色範囲の色を有する、所定形状および大きさの赤目のテンプレート画像を用いてマッチングすることにより赤目候補を画像から探索してもよい。なお、赤目には赤目、または金目が含まれていてよい。

ここで、赤目候補検出部１３０は、赤目を探索するときには、少なくとも１つの種類のパラメータに基づいて赤目を探索してよい。例えば、赤目候補検出部１３０は、赤目の探索条件として、赤目検出をするときに用いる複数の異なる大きさの赤目のテンプレート画像、複数の異なる形状を有する赤目のテンプレート画像、複数の異なる種類の色相を有する赤目のテンプレート画像を用いて赤目候補を検出してよい。また、赤目候補検出部１３０は、赤目のテンプレート画像を画像上で予め定められたピッチ幅で移動させてよい。赤目候補検出部１３０は、赤目のテンプレート画像を画像上で移動させるときの複数の異なるピッチ幅、および赤目のテンプレート画像を画像上で移動させるときの複数の異なる移動開始位置等に関する情報を予め有していてもよい。例えば、赤目候補検出部１３０は、複数のパラメータを順次変化させて、画像内から赤目候補を検出してもよい。

具体的には、赤目候補検出部１３０は、第１のパラメータを用いて、画像内の赤目を探索して赤目候補の検出を試みる。赤目候補検出部１３０は、第１のパラメータを用いて赤目候補を検出できなかった場合には、第１のパラメータを第２のパラメータに変更して赤目候補の検出を試みる。例えば、赤目候補検出部１３０は、画像内において赤目のテンプレート画像を第１の画素ピッチで探索位置を移動させながら赤目を探索して、赤目候補を検出する。赤目候補検出部１３０は、第１の画素ピッチで赤目候補を検出できなかった場合には、第１の画素ピッチとは異なる第２の画素ピッチで赤目のテンプレート画像を移動させながら赤目候補を検出する。赤目候補検出部１３０は、赤目候補が検出されるまで、画素ピッチを順次変更して赤目のテンプレート画像を移動させてもよい。なお、赤目候補検出部１３０は、第１の画素ピッチで探索した探索位置と、第２の画素ピッチで探索する探索位置とが重複することがない画素ピッチを用いてよい。

また、赤目候補検出部１３０は、検出した複数の赤目候補の位置が、顔に含まれるか否かを判断してもよい。具体的には、赤目候補検出部１３０は、検出した赤目候補の周囲に顔が存在するか否かを検出する。例えば、顔に含まれる、眉、鼻、口、耳、ひげ、および顔の輪郭等の各部位の位置と、赤目候補との位置関係に基づいて、赤目候補が顔の中で目に相当する位置に存在しているか否かを判断する。また、赤目候補検出部１３０は、検出した赤目候補の周囲に存在する被写体の画像を回転させて、当該被写体の画像が対称的な形を有している場合に当該被写体の画像が顔の画像であると判断してもよい。そして、赤目候補検出部１３０は、顔の中の目の位置に存在すると判断された赤目候補を、赤目修正対象である赤目候補として選択してよい。赤目候補検出部１３０は、検出した赤目候補の位置を示す情報を赤目修正判断部１４０に供給する。

顔検出部１２０は、画像入力部１００から受け取った画像データが示す画像から、複数の異なる種類の顔をそれぞれ検出する。また、顔検出部１２０は、複数の異なる種類の顔の画像における位置、および画像において顔の領域が占める範囲をそれぞれ検出してもよい。顔検出部１２０は、複数の種類の顔検出部、例えば、正面顔検出部１２１、横顔検出部１２２、顔部品検出部１２３、眼鏡顔検出部１２４、および低解像度顔検出部１２５を有していてよい。なお、顔検出部１２０が有する顔検出部は上記種々の顔検出部には限られず、他の種類の顔検出部を有していてもよい。

具体的には、正面顔検出部１２１は、画像に対して正面を向いている顔である正面顔を検出する。正面顔検出部１２１は、画像に含まれる顔画像に、顔の複数の部位、例えば、目、鼻、口、および耳等の所定の部位が含まれていると判断した場合に、当該顔画像が示す顔が正面顔であると判断する。また、正面顔検出部１２１は、画像に含まれる顔画像が予め定められた対称性を有する場合に、当該顔画像が示す顔が正面顔であると判断してもよい。また、横顔検出部１２２は、画像に対して横を向いている顔である横顔を検出する。例えば、横顔検出部１２２は、顔の輪郭が予め定められた対称性を有さない場合に、当該顔画像を横顔として検出してよい。また、横顔検出部１２２は、横顔に特徴的な顔の輪郭である、鼻の部分の輪郭に基づいて横顔を検出してもよい。

顔部品検出部１２３は、画像に含まれる顔の領域内の、顔部品を検出する。顔部品検出部１２３が検出する顔部品は、例えば、眉、目、鼻、口、耳、ひげ、および顔の輪郭等であってよい。顔部品検出部１２３は、顔部品のテンプレート画像を用いて顔部品を検出してよい。眼鏡顔検出部１２４は、画像に含まれる眼鏡をかけた顔である眼鏡顔を検出する。例えば、眼鏡顔検出部１２４は、眼鏡のテンプレート画像を用いて眼鏡顔を検出する。眼鏡顔検出部１２４は、画像に対して正面を向いている顔が眼鏡をかけている場合における眼鏡のテンプレート画像、および画像に対して横を向いている顔が眼鏡をかけている場合における眼鏡のテンプレート画像をそれぞれ用いてよい。

低解像度顔検出部１２５は、画像に含まれる低解像度の顔である低解像度顔を検出する。例えば、低解像度顔検出部１２５は、画像に含まれる顔の領域の空間周波数成分が、予め定められたレベル以下の場合に、当該顔の領域を低解像度顔として検出する。顔検出部１２０は、画像に対して顔が存在する位置に関する情報を、赤目修正判断部１４０に供給する。また、顔検出部１２０は、画像から顔を検出した場合に用いた顔検出部の種類を識別する情報を赤目修正部１５０に供給する。なお、顔検出部１２０が有する複数の種類の顔検出部は、それぞれ、機械学習をする顔検出部であってよい。機械学習には、教師あり学習、教師なし学習、および強化学習等の種々のアルゴリズムを用いてよい。

赤目修正判断部１４０は、赤目候補検出部１３０が検出した赤目候補の位置が、複数の顔検出部１２０によって検出された顔の所定の位置にある場合に、当該赤目候補を赤目修正の対象として選択する。具体的には、赤目修正判断部１４０は、赤目候補の位置と顔の位置とを比較して、赤目候補検出部１３０が検出した赤目候補が、顔の中における目の位置にあるか否かを判断する。赤目修正判断部１４０は、赤目候補検出部１３０が検出した赤目候補の位置と、予め定められた顔部品との位置関係に基づいて、当該赤目候補が顔の中における目の位置にあるか否かを判断してもよい。そして、赤目候補検出部１３０は、赤目候補検出部１３０が検出した赤目候補の位置が、顔の中における目の位置に存在すると判断した場合に、当該赤目候補を赤目修正の対象として選択する。赤目修正判断部１４０は、赤目修正の対象として選択した赤目候補の位置に関する情報を、顔を検出した顔検出部の種類に対応づけて黒目検出部１２６、および赤目修正部１５０に供給する。

黒目検出部１２６は、画像入力部１００から受け取った画像データが示す画像から黒目を探索して検出する。黒目検出部１２６は、予め定められた黒目が示す色の範囲に含まれる黒目が顔の中で占める位置、および黒目の瞳の色を検出する。具体的には、黒目検出部１２６は、赤目修正判断部１４０が正面顔において所定の位置にあると判断した赤目候補が片目の場合に、当該片目とは異なる側の片目を検出する。黒目検出部１２６は、検出した黒目の顔の中で占める位置を示す情報、および黒目の瞳の色を示す情報を赤目修正部１５０に供給する。

修正方法格納部１１０は、複数の顔検出部の種類に対応づけて、赤目修正の修正方法を予め格納している。具体的には、修正方法格納部１１０は、正面顔検出部１２１を識別する情報に対応づけて、正面顔検出部１２１が正面顔を検出した場合における赤目補正方法の修正方法を格納する。なお、修正方法格納部１１０が異なる複数の種類の顔検出部を識別する情報に対応づけて格納している修正方法は少なくとも一つであってよく、複数の修正方法を格納してもよい。例えば、修正方法格納部１１０は、正面顔検出部１２１を識別する情報に対応づけて、赤目修正判断部１４０が正面顔において所定の位置にあると判断した赤目候補が片目の場合には、赤目修正処理を施さない旨の修正方法を格納する。また、修正方法格納部１１０は、正面顔検出部１２１を識別する情報に対応づけて、赤目修正判断部１４０が正面顔において所定の位置にあると判断した赤目候補が両目の場合には、赤目修正処理を施すことを示す修正方法を格納する。

これにより、画像に含まれる顔が正面顔の場合において、両目が赤目であるにもかかわらず赤目候補が片目しか見つからなかった場合には赤目候補に赤目修正処理を施さない。したがって、両目が赤目である場合に片目だけに赤目修正処理を施すことがないので、ユーザに違和感を覚えさせる画像の生成を抑制できる。

また、修正方法格納部１１０は、横顔検出部１２２を識別する情報に対応づけて、横顔検出部１２２が横顔を検出した場合における赤目補正方法の修正方法を格納する。例えば、修正方法格納部１１０は、横顔検出部１２２を識別する情報に対応づけて、赤目修正判断部１４０が横顔において所定の位置にあると判断した赤目候補が片目の場合には、赤目修正処理を施す旨の修正方法を格納する。更に、修正方法格納部１１０は、横顔検出部１２２を識別する情報に対応づけて、赤目修正判断部１４０が横顔において所定の位置にあると判断した赤目候補が両目の場合、即ち複数の赤目候補を検出した場合には、赤目修正処理を施さないことを示す修正方法を格納する。

これにより、画像に含まれる顔が横顔の場合において、赤目が１つしか含まれ得ないにもかかわらず、赤目候補が複数検出された場合には赤目候補に赤目修正処理を施さない。したがって、ユーザに違和感を覚えさせる画像の修正を抑制できる。

また、修正方法格納部１１０は、眼鏡顔検出部１２４を識別する情報に対応づけて、赤目修正判断部１４０が眼鏡顔において所定の位置にあると判断した赤目候補に赤目修正処理を施す旨を示す修正方法を格納する。具体的には、まず、眼鏡顔検出部１２４が、画像において眼鏡の領域の位置を検出する。そして、赤目修正部１５０は、眼鏡顔検出部１２４から画像における眼鏡の領域の位置を示す情報を受け取る。更に、赤目修正部１５０は、赤目修正判断部１４０から、赤目修正の対象として選択された赤目候補の画像における位置を示す情報を受け取る。続いて、赤目修正部１５０は、画像における眼鏡の領域の位置と、赤目修正の対象として選択された赤目候補の画像における位置とを比較して、赤目修正対象である赤目候補が眼鏡の領域に含まれるか否かを判断する。

そして、赤目修正部１５０は、赤目修正対象である赤目候補が眼鏡の領域に含まれていると判断した場合に、修正方法格納部１１０から、眼鏡顔検出部１２４を識別する情報に対応づけて格納している修正方法を抽出する。係る場合において、修正方法格納部１１０は、眼鏡顔検出部１２４を識別する情報に対応づけて、眼鏡顔の赤目候補の色味を、眼鏡顔の赤目候補の領域の周囲の領域の色味に近づける色修正を施すことを示す修正方法を格納する。また、修正方法格納部１１０は、眼鏡顔検出部１２４を識別する情報に対応づけて、赤目修正の修正度合を、眼鏡顔でない場合（例えば、正面顔の場合）に比べてより小さい度合いで赤目修正を施す旨を示す修正方法を格納してもよい。更に、修正方法格納部１１０は、赤目修正判断部１４０が赤目修正の対象として選択した赤目候補の領域の色の成分から、赤目候補の領域を除く眼鏡部分の画素の色の成分を取り除いてから赤目候補の領域を赤目修正して、赤目修正後の赤目候補の領域に赤目候補の領域を除く眼鏡部分の画素の色の成分を加える修正方法を、眼鏡顔検出部１２４を識別する情報に対応づけて格納していてもよい。

これにより、人物が眼鏡をかけている場合に赤目が撮像された場合でも、眼鏡の色を考慮して赤目修正処理を施すことができる。したがって、眼鏡の色を考慮せずに赤目修正処理をした場合とは異なり、目の瞳部分が眼鏡から浮き上がって見える画像とはならず、ユーザに違和感を覚えさせることがなくなる。

更に、修正方法格納部１１０は、低解像度顔検出部１２５を識別する情報に対応づけて、赤目候補に施す修正方法を格納する。例えば、修正方法格納部１１０は、低解像度顔検出部１２５を識別する情報に対応づけて、赤目修正を施す領域を所定の量だけぼかしてから修正する修正方法を格納する。また、修正方法格納部１１０は、低解像度顔検出部１２５を識別する情報に対応づけて、赤目修正を施す領域の明度および彩度の修正量を、予め定められた解像度よりも高い解像度を示す顔に対して施す赤目修正処理の場合に比べて小さくした修正方法を格納してもよい。

これにより、画像が低解像度画像である場合等、人物の顔にピントが合っていない画像に対して、赤目候補だけが明瞭となる赤目修正を施すことがなくなる。したがって、目の瞳部分だけが浮き出て見える画像へ修正されることを抑制できる。

なお、修正方法格納部１１０は、顔部品検出部１２３を識別する情報に対応づけて、赤目候補に施す修正方法を格納してもよい。また、修正方法格納部１１０は、正面顔検出部１２１を識別する情報に対応づけて、赤目修正判断部１４０が正面顔において所定の位置にあると判断した赤目候補が片目の場合に、赤目修正判断部１４０赤目修正の対象として選択した赤目候補の瞳の色を、黒目検出部１２６から受け取った片目の瞳の色と同一の色に修正することを示す修正方法を格納してもよい。

これにより、片目が赤目現象を起こしており、もう一方の片目が黒目の場合には、黒目の色を用いて赤目に赤目修正を施すことができる。

更に、修正方法格納部１１０は、正面顔検出部１２１を識別する情報に対応づけて、赤目修正判断部１４０が正面顔において所定の位置にあると判断した赤目候補が片目の場合に、赤目修正判断部１４０が赤目修正対象として選択した赤目候補に赤目修正処理を施して、黒目検出部１２６が検出した片目の瞳の色を、赤目修正処理が施された片目の瞳の色と同一の色に修正することを示す修正方法を格納してもよい。

これにより、赤目修正後の片目の瞳の色と、赤目修正をされていない片目の瞳の色とを同一の色に修正できる。したがって、赤目修正をした片目の瞳の色と、赤目修正をされていない目の瞳の色とが異なる色となる赤目修正処理を画像に施すことがなくなるので、ユーザに違和感を覚えさせることがなくなる。

なお、修正方法格納部１１０が格納している赤目修正の修正方法のパラメータとしては、赤目修正判断部１４０が赤目修正対象として選択した赤目候補が片目の場合に赤目修正処理を施すか施さないかを示す情報、および、赤目修正処理を施す場合における明度、彩度、色味、並びに輝度等の調整量を示す情報であってよい。また、修正方法格納部１１０は、複数の種類の顔検出部の組み合わせに対応づけて、修正方法を格納してもよい。例えば、正面顔検出部１２１が正面顔を検出すると共に、眼鏡顔検出部１２４が眼鏡顔を検出した場合における修正方法、または、横顔検出部１２２が横顔を検出すると共に、眼鏡顔検出部１２４が眼鏡顔を検出した場合における修正方法、若しくは、正面顔検出部１２１が正面顔を検出すると共に、低解像度顔検出部１２５が低解像度顔を検出した場合における修正方法等のそれぞれに対応づけて、赤目修正の修正方法を予め格納していてもよい。

赤目修正部１５０は、赤目修正判断部１４０から受け取った顔を検出した顔検出部の種類を識別する情報に対応づけて修正方法格納部１１０が格納している修正方法を抽出する。そして、赤目修正部１５０は、抽出した赤目修正の修正方法で、画像に赤目修正処理を施す。また、赤目修正部１５０は、画像が含む複数の画素の最も小さい輝度より大きい輝度の範囲で画素の輝度を変更して、画像に赤目修正処理を施してもよい。赤目修正部１５０は、赤目修正処理を施した画像データを出力制御部１６４に供給する。

本実施形態に係る赤目補正装置１０によれば、赤目を検出するときに用いた顔検出部１２０の種類を取得して、取得した顔検出部１２０の種類に応じて赤目修正処理の内容を自動的に選択することができる。これにより、画像に含まれる赤目に対して予め定められた赤目修正処理だけを施す場合に比べて、ユーザに違和感を覚えさせることのない赤目修正処理を施すことができる。

図３は、本実施形態に係る赤目補正装置１０における処理の流れの一例を示す。まず赤目候補検出部１３０は、画像内から赤目を探索して赤目候補を自動的に検出する（Ｓ１０００）。係る場合において、顔検出部１２０は、画像から複数の異なる種類の顔をそれぞれ検出して、検出に用いた種類の顔検出部を識別する情報を取得する（Ｓ１０１０）。なお、検出エンジンは、顔検出部１２０の一例である。続いて、赤目修正判断部１４０は、赤目候補検出部１３０が検出した赤目候補の位置が、複数の顔検出部１２０が検出した複数の顔における所定の位置にある赤目候補を赤目修正対象として選択する。

係る場合において、赤目修正判断部１４０が選択した赤目候補が片目の場合には（Ｓ１０２０：Ｙｅｓ）、赤目修正部１５０は、顔の検出に用いた顔検出部の種類に対応づけて修正方法格納部１１０が格納している修正方法であって、赤目候補が片目の場合の修正方法を修正方法格納部１１０から抽出する（Ｓ１０３２）。そして、赤目修正部１５０は抽出した修正方法に基づいて、赤目修正処理をするか否かを決定する（Ｓ１０５０、Ｓ１０５２、およびＳ１０５４）。例えば、顔の検出に用いた顔検出部１２０が横顔検出部１２２であった場合には、赤目修正部１５０は、赤目修正処理をする旨を決定する。

一方、赤目修正判断部１４０が選択した赤目候補が両目の場合には（Ｓ１０２０：Ｎｏ）、赤目修正部１５０は、顔の検出に用いた顔検出部の種類に対応づけて修正方法格納部１１０が格納している修正方法であって、赤目候補が両目の場合の修正方法を修正方法格納部１１０から抽出する（Ｓ１０３０）。赤目修正部１５０は、顔の検出に用いた複数の顔検出部のそれぞれの種類に対応づけて修正方法格納部１１０が格納している修正方法を抽出してよい。なお、顔検出部１２０は、複数の顔検出部を有していてよい。そして、赤目修正部１５０は抽出した修正方法に基づいて、赤目修正処理をすること決定する（Ｓ１０４０、Ｓ１０４２、およびＳ１０４４）。

本実施形態に係る赤目補正装置１０によれば、画像から顔を検出したときに用いられた顔検出部の種類に応じて赤目修正処理を画像に施すか否かを決定できる。したがって、赤目修正処理を施すべきではない画像には赤目修正処理を施さない旨を自動的に決定できるので、不適切な赤目修正処理が画像に施されることを防止できる。

例えば、本実施形態に係る赤目補正装置１０によれば、画像から正面顔を検出した場合であって、両目とも赤目の場合に赤目修正対象として両目を赤目修正対象である赤目候補として検出できなかった場合には、赤目修正処理を施さないので、赤目候補の語検出の場合に赤目修正処理を画像に施すことによりユーザに違和感を覚えさせる画像を生成することがなくなる。そして、赤目補正装置１０は、画像から顔を検出したときの顔検出部の種類に応じて赤目修正処理を画像に施すか否かを自動的に決定できる。したがって、赤目補正装置１０に入力された画像の全てに一律に赤目修正処理を施す場合に比べて、より適切な赤目修正処理を画像に施すことができる。

図４は、本実施形態に係る赤目補正装置１０における処理の流れの一例を示す。まず赤目候補検出部１３０は、画像内から赤目を探索して赤目候補を自動的に検出する（Ｓ１１００）。係る場合において、顔検出部１２０は、画像から複数の異なる種類の顔をそれぞれ検出して、検出に用いた顔検出部の種類を識別する情報を取得する（Ｓ１１１０）。また、顔検出部１２０は、検出した顔の画像における位置、画像に対して検出した顔が占める領域の大きさも取得する（Ｓ１１１０）。さらに、赤目修正判断部１４０は、検出した赤目候補が赤目修正処理を施すべき赤目であるか否かを示す赤目信頼度を算出してもよい。

続いて、赤目修正部１５０は、顔検出部１２０から受け取った顔検出部の種類を識別する情報から、画像から顔を検出するときに用いられた顔検出部の種類を判断する。そして、赤目修正部１５０は、画像から顔を検出するときに用いられた顔検出部の種類を識別する情報に対応づけて修正方法格納部１１０が格納している修正方法を抽出する（Ｓ１１２０）。赤目修正部１５０は、抽出した修正方法を用いて、画像に赤目修正処理を施す（Ｓ１１３０、Ｓ１１３２、Ｓ１１３４、およびＳ１１３６）。これにより、赤目修正部１５０は、画像から顔を検出したときに用いられた顔検出部の種類に応じて、修正方法を切替えて画像に画像処理を施すことができる。

また、赤目修正部１５０は、顔検出部１２０から複数の顔検出部の種類を識別する情報を受け取った場合には、予め定められた優先順位に従って、赤目修正の修正方法を修正方法格納部１１０から抽出してよい。即ち、赤目修正部１５０は、正面顔検出部１２１、横顔検出部１２２、顔部品検出部１２３、眼鏡顔検出部１２４、および低解像度顔検出部１２５の少なくとも２つを含む顔検出部の組み合わせに応じて、赤目修正に用いる修正方法に優先順位を予め決定していてよい。例えば、赤目修正部１５０が、顔検出部１２０から正面顔検出部１２１および眼鏡顔検出部１２４を識別する情報を受け取った場合を考える。係る場合には、眼鏡顔の方が正面顔よりも特徴的な顔であるので、赤目修正部１５０は、眼鏡顔検出部１２４を識別する情報に対応づけて修正方法格納部１１０が格納している修正方法を抽出してよい。

また、赤目修正部１５０は、横顔検出部１２２および眼鏡顔検出部１２４を識別する情報を受け取った場合においても、眼鏡顔検出部１２４を識別する情報に対応づけて修正方法格納部１１０が格納している修正方法を抽出してよい。更に、赤目修正部１５０は、正面顔検出部１２１および低解像度顔検出部１２５を識別する情報を受け取った場合、または、横顔検出部１２２および低解像度顔検出部１２５を識別する情報を受け取った場合、若しくは、眼鏡顔検出部１２４および低解像度顔検出部１２５を識別する情報を受け取った場合等のそれぞれについて、修正方法格納部１１０から抽出する修正方法の優先順位を予め決定していてよい。

図５は、本実施形態に係る赤目補正装置１０のハードウェア構成の一例を示す。本実施形態に係る赤目補正装置１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、赤目補正装置１０内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、赤目補正装置１０が起動時に実行するブート・プログラム、赤目補正装置１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される赤目補正プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。赤目補正プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して赤目補正装置１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。赤目補正装置１０にインストールされて実行される赤目補正プログラムは、ＣＰＵ１５０５等に働きかけて、赤目補正装置１０を、図１から図４にかけて説明した赤目補正装置１０は、画像入力部１００、修正方法格納部１１０、顔検出部１２０、正面顔検出部１２１、横顔検出部１２２、顔部品検出部１２３、眼鏡顔検出部１２４、低解像度顔検出部１２５、黒目検出部１２６、赤目候補検出部１３０、赤目修正判断部１４０、赤目修正部１５０、出力部１６２、および出力制御部１６４として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

赤目補正装置１０の機能構成を示すブロック図である。 顔検出部１２０の機能構成を示すブロック図である。 赤目補正装置１０の処理の流れを示すフロー図である。 赤目補正装置１０の処理の流れを示すフロー図である。 赤目補正装置１０のハードウェア構成を示すブロック図である。

符号の説明

１０ 赤目補正装置
１００ 画像入力部
１１０ 修正方法格納部
１２０ 顔検出部
１２１ 正面顔検出部
１２２ 横顔検出部
１２３ 顔部品検出部
１２４ 眼鏡顔検出部
１２５ 低解像度顔検出部
１２６ 黒目検出部
１３０ 赤目候補検出部
１４０ 赤目修正判断部
１５０ 赤目修正部
１６２ 出力部
１６４ 出力制御部
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (9)

1. 画像内で赤目を探索して赤目候補を検出する赤目候補検出部と、
   前記画像から複数の異なる種類の顔をそれぞれ検出する複数の種類の顔検出部と、
   前記赤目候補検出部が検出した赤目候補の位置が、前記複数の顔検出部が検出した複数の顔における所定の位置にある赤目候補を赤目修正の対象として選択する赤目修正判断部と、
   前記複数の顔検出部の種類に対応づけて、赤目修正の修正方法を予め格納する修正方法格納部と、
   前記赤目修正判断部が赤目修正の対象として選択した赤目候補を含む顔を検出した前記顔検出部の種類に対応づけて前記修正方法格納部が格納している赤目修正の修正方法で前記画像に赤目修正処理を施す赤目修正部
   を備える赤目補正装置。
2. 前記複数の顔検出部は、
   前記画像に対して正面を向いている顔である正面顔を検出する正面顔検出部
   を有し、
   前記修正方法格納部は、前記正面顔検出部を識別する情報に対応づけて、前記赤目修正判断部が正面顔において所定の位置にあると判断した赤目候補が片目の場合には、赤目修正処理を施さず、前記赤目修正判断部が正面顔において所定の位置にあると判断した赤目候補が両目の場合には、赤目修正処理を施すことを示す修正方法を格納する
   請求項１に記載の赤目補正装置。
3. 前記画像内で黒目を探索して検出する黒目検出部
   を更に備え、
   前記複数の顔検出部は、
   前記画像に対して正面を向いている顔である正面顔を検出する正面顔検出部
   を有し、
   前記黒目検出部は、前記赤目修正判断部が正面顔において所定の位置にあると判断した赤目候補が片目の場合に、前記片目と異なる側の片目を検出し、
   前記修正方法格納部は、前記正面顔検出部を識別する情報に対応づけて、前記赤目修正判断部が正面顔において所定の位置にあると判断した赤目候補が片目の場合に、前記赤目修正判断部が赤目修正の対象として選択した赤目候補の瞳の色を、前記黒目検出部が検出した片目の瞳の色と同一の色に修正することを示す修正方法を格納する
   請求項１に記載の赤目補正装置。
4. 前記画像内で黒目を探索して検出する黒目検出部
   を更に備え、
   前記複数の顔検出部は、
   前記画像に対して正面を向いている顔である正面顔を検出する正面顔検出部
   を有し、
   前記黒目検出部は、前記赤目修正判断部が正面顔において所定の位置にあると判断した赤目候補が片目の場合に、前記片目と異なる側の片目を検出し、
   前記修正方法格納部は、前記正面顔検出部を識別する情報に対応づけて、前記赤目修正判断部が正面顔において所定の位置にあると判断した赤目候補が片目の場合に、前記赤目修正判断部が赤目修正の対象として選択した赤目候補に赤目修正処理を施し、前記黒目検出部が検出した片目の瞳の色を、前記赤目修正処理が施された片目の瞳の色と同一の色に修正することを示す修正方法を格納する
   請求項１に記載の赤目補正装置。
5. 前記複数の顔検出部は、
   前記画像に対して横を向いている顔である横顔を検出する横顔検出部
   を有し、
   前記修正方法格納部は、前記横顔検出部を識別する情報に対応づけて、前記赤目修正判断部が横顔において所定の位置にあると判断した赤目候補が片目の場合には、赤目修正処理を施し、前記赤目修正判断部が横顔において所定の位置にあると判断した赤目候補が両目の場合には、赤目修正処理を施さないことを示す修正方法を格納する
   請求項１に記載の赤目補正装置。
6. 前記複数の顔検出部は、
   眼鏡をかけた顔である眼鏡顔を検出する眼鏡顔検出部
   を有し、
   前記修正方法格納部は、前記眼鏡顔検出部を識別する情報に対応づけて、前記赤目修正判断部が眼鏡顔において所定の位置にあると判断した赤目候補に赤目修正処理を施すとともに、前記眼鏡顔の赤目候補の色味を、前記眼鏡顔の赤目候補の領域の周囲の領域の色味に近づける色修正を施すことを示す修正方法を格納する
   請求項１に記載の赤目補正装置。
7. 前記赤目修正部は、前記画像が含む複数の画素の最も小さい輝度より大きい輝度の範囲で画素の輝度を変更して前記画像に赤目修正処理を施す
   請求項１に記載の赤目補正装置。
8. 画像内で赤目を探索して赤目候補を検出する赤目候補検出段階と、
   前記画像から複数の異なる種類の顔を、複数の種類の顔検出部においてそれぞれ検出する顔検出段階と、
   前記赤目候補検出段階において検出された赤目候補の位置が、前記複数の顔検出段階において検出された複数の顔における所定の位置にある赤目候補を赤目修正の対象として選択する赤目修正判断段階と、
   前記赤目修正判断段階において赤目修正の対象として選択された赤目候補を含む顔を検出した前記顔検出部の種類に対応づけて修正方法格納部が格納している赤目修正の修正方法で前記画像に赤目修正処理を施す赤目修正段階
   を備える赤目補正方法。
9. 画像に赤目補正を施す赤目補正装置用の赤目補正プログラムであって、前記赤目補正装置を、
   画像内で赤目を探索して赤目候補を検出する赤目候補検出部、
   前記画像から複数の異なる種類の顔をそれぞれ検出する複数の種類の顔検出部、
   前記赤目候補検出部が検出した赤目候補の位置が、前記複数の顔検出部が検出した複数の顔における所定の位置にある赤目候補を赤目修正の対象として選択する赤目修正判断部、
   前記複数の顔検出部の種類に対応づけて、赤目修正の修正方法を予め格納する修正方法格納部、
   前記赤目修正判断部が赤目修正の対象として選択した赤目候補を含む顔を検出した前記顔検出部の種類に対応づけて前記修正方法格納部が格納している赤目修正の修正方法で前記画像に赤目修正処理を施す赤目修正部
   として機能させる赤目補正プログラム。
   

Images