JP2007274197A - 赤目検出装置、赤目検出方法、および赤目検出プログラム - Google Patents

Abstract

【課題】ユーザが厳密に赤目領域を指定しなくても、複数の赤目を探索する領域を自動的に決定して、決定した複数の領域内で赤目を探索することにより、確実に赤目修正処理対象である赤目を検出する。
【解決手段】本発明に係る赤目検出装置は、画像の赤目領域をユーザに指定させて指定赤目領域を取得する赤目領域指定部と、赤目領域指定部が取得した指定赤目領域を含む赤目探索領域を決定する赤目探索領域決定部と、赤目探索領域決定部が決定した赤目探索領域内で赤目を探索して赤目候補を検出する赤目候補検出部と、赤目探索領域決定部が決定した赤目探索領域内で、目以外の顔の部位の位置または顔の位置を検出する顔位置検出部と、赤目候補検出部が検出した赤目候補の位置が、顔位置検出部が検出した位置に対して予め定められた位置にある赤目候補を赤目修正の対象として選択する赤目位置判断部とを備える。
【選択図】図１

Description

本発明は、赤目検出装置、赤目検出方法、および赤目検出プログラムに関する。特に、本発明は、画像に含まれる赤目を検出する赤目検出装置、赤目検出方法、および赤目検出プログラムに関する。

撮像時にストロボを用いる場合には、人物の瞳孔が赤色に写る赤目現象または金色に写る金目現象が起こる場合がある。赤目現象または金目現象が発生すると、撮像された被写体の写り栄えがよいとはいえないので、これら赤目または金目を、自然な瞳孔の色に修正する様々な画像処理方法が提案されている。例えば、ユーザに色調不良となった目の画像を含む処理対象領域を指定させ、指定された処理対象領域の色相、彩度、および明度から得られる色の値に基づいて、目の瞳部分に赤目修正処理を施す方法が提案されている（例えば、特許文献１参照。）。また、撮像した画像にストロボ情報、Ｅｖ値、シャッター速度、および絞り値等の撮影情報を付加しておき、赤目が発生している可能性があると判断された画像についてだけ赤目修正処理を施す方法が提案されている（例えば、特許文献４参照。）。

なお、画像から人物の顔が含まれる候補領域を抽出した後に、抽出した候補領域を複数の小領域に分割して、複数の小領域の特徴量を予め設定した顔領域パターンと照合することにより顔領域を抽出する方法（例えば、特許文献２参照。）、画像から人物の顔領域を抽出して、抽出した顔領域の色の濃度が所定の閾値に対応する場合に、人物の胴体の候補となる領域を抽出して、顔、または胴体の領域の濃度および彩度を用いて顔領域の確度（抽出した領域が顔画像であることの確からしさ）を評価することにより、顔領域を抽出する方法（例えば、特許文献３参照。）、および画像から複数の顔候補領域を抽出して、抽出した複数の顔候補領域の重複度から確度を評価して顔領域を抽出する方法が提案されている（例えば、特許文献５参照。）。
特開２０００−７６４２７号公報 特開２０００−１３７７８８号公報 特開２０００−１４８９８０号公報 特開２００４−１４５２８７号公報 特開２０００−１４９０１８号公報

しかしながら、特許文献１に記載の発明においては、両目の瞳の中心部を指定する、または、赤目に外接する枠で囲う等により、人物の赤目が含まれる処理対象領域を、ユーザがマウス、またはキーボード等により正確に指定しなければならない。したがって、特許文献１に記載の発明においては、ユーザは慎重に赤目を含む領域を指定しなければならず、多数の画像に対して赤目修正処理を施す場合に、ユーザに要求される作業負荷が大きくなる。また、特許文献１に記載の発明においては、赤目を含む領域の指定に冗長な作業が要求されるので、赤目修正処理に要する処理時間が長くなる場合がある。更に、特許文献１に記載の発明においては、画像内において赤色が集中している部分を自動的に抽出して赤目修正処理をすることもできる。しかしながら、当該赤色の部分が画像に含まれる電飾等、人物の赤目ではない場合にも、当該赤色の部分について赤目修正処理を施してしまう場合がある。

また、特許文献４に記載の発明においては、撮影情報から赤目が発生している画像だけを抽出して赤目修正処理をすることができる。しかしながら、特許文献４に記載の発明においては、抽出した画像から人物の顔を特定して特定した顔領域から赤目を検出しなければならない。したがって、特許文献４に記載の発明に係る画像処理方法は、撮像した画像全体に対して画像処理の負荷が大きい顔抽出処理を施すことを要するので、赤目修正処理の処理効率向上を図ることが困難な場合がある。なお、撮像画像から人物の顔を検出する方法は、特許文献２、特許文献３、および特許文献５において開示されている。

そこで本発明は、上記課題を解決することができる赤目検出装置、赤目検出方法、および赤目検出プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、赤目検出装置であって、画像の赤目領域をユーザに指定させて指定赤目領域を取得する赤目領域指定部と、赤目領域指定部が取得した指定赤目領域を含む赤目探索領域を決定する赤目探索領域決定部と、赤目探索領域決定部が決定した赤目探索領域内で赤目を探索して赤目候補を検出する赤目候補検出部と、赤目探索領域決定部が決定した赤目探索領域内で、目以外の顔の部位の位置または顔の位置を検出する顔位置検出部と、赤目候補検出部が検出した赤目候補の位置が、顔位置検出部が検出した位置に対して予め定められた位置にある赤目候補を赤目修正の対象として選択する赤目位置判断部とを備える。

また、赤目位置判断部が赤目修正の対象として選択した赤目候補に赤目修正処理を施す赤目修正部を更に備えてもよく、赤目探索領域決定部は、赤目領域指定部が取得した指定赤目領域を含む複数の赤目探索領域を決定し、赤目候補検出部は、赤目探索領域決定部が決定した複数の赤目探索領域のそれぞれの範囲内で赤目を探索して赤目候補を検出し、顔位置検出部は、赤目探索領域決定部が決定した複数の赤目探索領域のそれぞれの範囲内で、顔の位置または顔の部位の位置を検出してもよい。そして、赤目探索領域決定部は、赤目領域指定部が取得した指定赤目領域と略同一のアスペクト比を有する赤目探索領域を決定してもよく、大きさまたは形状が異なる複数の赤目探索領域を格納する探索領域格納部を更に備え、赤目探索領域決定部は、探索領域格納部が格納している大きさまたは形状であって、赤目領域指定部が取得した指定赤目領域を含む複数の赤目探索領域を決定してもよい。これにより、ユーザは赤目を含む領域の指定に冗長な作業をする必要がなくなる。

そして、異なる複数のアスペクト比を格納するアスペクト比格納部を更に備え、赤目探索領域決定部は、アスペクト比格納部が格納している複数のアスペクト比のそれぞれを有し、赤目領域指定部が取得した指定赤目領域を含む複数の赤目探索領域のそれぞれを決定してもよい。また、赤目位置判断部は、顔位置検出部が検出した複数の顔の位置または顔の部位の位置のそれぞれに対して予め定められた位置にあると判断した複数の赤目候補のうち、画像における位置が最も重複する赤目候補を赤目修正の対象として選択してもよく、赤目候補検出部は、第１のパラメータを用いて赤目探索領域内で赤目を探索して赤目候補を検出する第１赤目探索部と、第１赤目探索部が赤目探索領域内で赤目候補を検出できなかった場合に、第１のパラメータとは異なる第２のパラメータを用いて赤目探索領域内で赤目を探索して赤目候補を検出する第２赤目探索部とを有してもよい。

更に、第１赤目探索部は、赤目探索領域内において第１の画素ピッチで探索位置を移動させながら赤目を探索して赤目候補を検出し、第２赤目探索部は、赤目探索領域内において第１の画素ピッチとは異なる第２の画素ピッチで探索位置を移動させながら赤目を探索して赤目候補を検出してもよく、赤目探索領域決定部は、赤目領域指定部が取得した指定赤目領域から両目の位置関係を検出する目検出部と、目検出部が検出した両目の位置関係に基づいて顔の領域を特定する顔領域特定部とを有し、赤目探索領域決定部は、顔領域特定部が特定した顔の領域を含む赤目探索領域を決定してもよい。そして、赤目探索領域決定部は、赤目領域指定部が取得した指定赤目領域から目の大きさを検出する目検出部と、目検出部が検出した目の大きさに基づいて顔の領域を特定する顔領域特定部とを有し、赤目探索領域決定部は、顔領域特定部が特定した顔の領域を含む赤目探索領域を決定してもよい。

また、本発明の第２の形態においては、赤目検出方法であって、画像の赤目領域をユーザに指定させて指定赤目領域を取得する赤目領域指定段階と、赤目領域指定段階において取得された指定赤目領域を含む赤目探索領域を決定する赤目探索領域決定段階と、赤目探索領域決定段階において決定された赤目探索領域内で赤目を探索して赤目候補を検出する赤目候補検出段階と、赤目探索領域決定段階において決定された赤目探索領域内で、目以外の顔の部位の位置または顔の位置を検出する顔位置検出段階と、赤目候補検出段階において検出された赤目候補の位置が、顔位置検出段階において検出された位置に対して予め定められた位置にある赤目候補を赤目修正の対象として選択する赤目位置判断段階とを備える。

また、本発明の第３の形態においては、画像に含まれる赤目を検出する赤目検出装置用の赤目検出プログラムであって、赤目検出装置を、画像の赤目領域をユーザに指定させて指定赤目領域を取得する赤目領域指定部、赤目領域指定部が取得した指定赤目領域を含む赤目探索領域を決定する赤目探索領域決定部、赤目探索領域決定部が決定した赤目探索領域内で赤目を探索して赤目候補を検出する赤目候補検出部、赤目探索領域決定部が決定した赤目探索領域内で、目以外の顔の部位の位置または顔の位置を検出する顔位置検出部、赤目候補検出部が検出した赤目候補の位置が、顔位置検出部が検出した位置に対して予め定められた位置にある赤目候補を赤目修正の対象として選択する赤目位置判断部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、ユーザが厳密に赤目領域を指定しなくても、確実に赤目修正処理対象である赤目を検出することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る赤目検出装置１０の機能構成の一例を示す。赤目検出装置１０は、画像入力部１００、赤目領域指定部１０２、赤目探索領域決定部１１０、顔位置検出部１２０、赤目候補検出部１３０、赤目位置判断部１４０、赤目修正部１５０、出力制御部１６０、出力部１６２、探索領域格納部１７０、アスペクト比格納部１７２、および検出パラメータ格納部１７４を備える。また、赤目探索領域決定部１１０は、目検出部１１２および顔領域特定部１１４を有する。更に、赤目候補検出部１３０は、第１赤目探索部１３２および第２赤目探索部１３４を有する。本実施形態に係る赤目検出装置１０は、ユーザが厳密に赤目修正対象の赤目候補を指定しなくても、ユーザが指定した画像の赤目領域を一部に含む赤目探索領域を自動的に決定して、決定した赤目探索領域内で赤目修正処理の対象である赤目を自動的、かつ高精度で検出することを目的とする。

画像入力部１００は、画像を外部から入力する。画像入力部１００は、写真、および紙媒体等に印刷された画像を読み取ることにより画像を画像データとして外部から入力する。また、画像入力部１００は、半導体メモリ等の記憶媒体、または、ＬＡＮ、およびインターネット等のネットワークを介して画像データを入力してよい。画像入力部１００は入力した画像データを、赤目探索領域決定部１１０、赤目修正部１５０、および出力制御部１６０に供給する。

出力制御部１６０は、画像入力部１００、または、赤目領域指定部１０２、若しくは、赤目修正部１５０から受け取った情報に基づいて、画像データ、または画像データに所定の画像処理を施した後の画像データを出力部１６２に出力させる。出力部１６２は、出力制御部１６０の制御に基づいて、当該画像データを出力する。なお、画像データを表示するモニタ等の画像表示装置、ＤＶＤ等の記録媒体に画像データを書込む書込み装置、および他の画像処理装置等に画像データを送信する通信部等は、出力部１６２の一例である。また、出力部１６２がモニタ等である場合には、出力制御部１６０は、受け取った画像データを視認可能な画像に変換して出力部１６２に表示させる。

赤目領域指定部１０２は、画像の赤目領域をユーザに指定させて指定赤目領域を取得する。なお、指定赤目領域とは、画像入力部１００が入力した画像の少なくとも一部を含む領域であって、ユーザが赤目を含んでいると判断した画像の領域であってよい。そして、指定赤目領域の形状は、矩形、または略矩形であってもよい。赤目領域指定部１０２は取得した指定赤目領域を示す情報を、赤目探索領域決定部１１０および出力制御部１６０に供給する。なお、赤目は赤目、または金目を含んでいてよい。

赤目探索領域決定部１１０は、赤目領域指定部１０２から受け取った指定赤目領域を含む赤目探索領域を決定する。赤目探索領域決定部１１０は、指定赤目領域を含む複数の赤目探索領域を決定してよい。また、赤目探索領域決定部１１０は、赤目領域指定部１０２から受け取った指定赤目領域を示す情報から、ユーザが指定した指定赤目領域のアスペクト比を取得して、当該アスペクト比と略同一、または同一のアスペクト比を有する複数の赤目探索領域を決定してもよい。ここで、探索領域格納部１７０は、大きさまたは形状が異なる複数の赤目探索領域を格納している。探索領域格納部１７０は、アスペクト比が異なる複数の赤目探索領域を格納してよい。

そして、赤目探索領域決定部１１０は、探索領域格納部１７０が格納している大きさまたは形状であって、赤目領域指定部１０２から受け取った指定赤目領域を含む複数の赤目探索領域を決定してもよい。また、アスペクト比格納部１７２は、異なる複数のアスペクト比を格納している。アスペクト比格納部１７２は、人物の顔から統計的に算出されるアスペクト比を格納していてよい。そして、赤目探索領域決定部１１０は、指定赤目領域を含む領域であって、アスペクト比格納部１７２が格納している複数のアスペクト比で規定される、複数の赤目探索領域を決定してもよい。

更に、赤目探索領域決定部１１０は、指定赤目領域を含む第１の赤目探索領域を決定した場合に、第１の赤目探索領域の画像における位置を、赤目候補検出部１３０において用いられる赤目テンプレート画像の直径以下の所定の距離だけずらした第２の赤目探索領域を更に決定してもよい。赤目探索領域決定部１１０は、赤目候補検出部１３０において用いられる赤目テンプレート画像の直径以下となる複数の距離を決定して、決定した複数の距離のそれぞれを用いて、複数の赤目探索領域を更に決定してもよい。なお、指定赤目領域を含む赤目探索領域をずらす方向は、赤目探索領域の長手方向、または短手方向、若しくは対角線の延長方向であってよい。

また、赤目探索領域決定部１１０が有する目検出部１１２は、赤目領域指定部１０２から受け取った指定赤目領域から両目の位置関係または目の大きさを検出する。目検出部１１２が検出する両目の位置関係は、一方の目と他方の目との間隔、および両目と顔の中の目以外の部位との配置関係であってよい。例えば、目検出部１１２は、複数の種類の目のテンプレート画像を用いてマッチングすることにより、指定赤目領域内における目の位置を検出する。そして、目検出部１１２は、検出した目の位置に基づいて両目の間隔を算出する。また、目検出部１１２は、同様に複数の大きさの目のテンプレート画像を用いてマッチングすることにより、指定赤目領域に含まれる目の大きさを検出する。目検出部１１２は検出した両目の間隔、または目の大きさを顔領域特定部１１４に供給する。

顔領域特定部１１４は、目検出部１１２から受け取った両目の間隔、または目の大きさに基づいて顔の領域を特定する。具体的には、顔領域特定部１１４は、目検出部１１２から受け取った両目の間隔、または目の大きさから、統計的に決定される顔の大きさに基づいて、顔の領域を特定する。例えば、両目の間隔に対する顔の大きさ、または、目の大きさに対する顔の大きさを予め統計的に決定しておき、顔領域特定部１１４は、決定された顔の大きさに関する情報を有していてよい。そして、赤目探索領域決定部１１０は、顔領域特定部１１４が特定した顔の領域を含む赤目探索領域を決定する。赤目探索領域決定部１１０は、決定した赤目探索領域を示す情報を顔位置検出部１２０および赤目候補検出部１３０に供給する。顔位置検出部１２０は、赤目探索領域決定部１１０から受け取った赤目探索領域内で、目以外の顔の部位の位置または顔の位置を検出する。顔位置検出部１２０は、赤目探索領域決定部１１０から複数の赤目探索領域を受け取った場合には、受け取った複数の赤目探索領域のそれぞれの範囲内で、顔の位置または目以外の顔の部位の位置を検出する。顔位置検出部１２０は、検出した顔の位置または目以外の顔の部位の位置を示す情報を、画像に対応づけて赤目位置判断部１４０に供給する。

赤目候補検出部１３０は、赤目探索領域決定部１１０から受け取った赤目探索領域内で赤目を探索して赤目候補を検出する。赤目候補検出部１３０は、赤目探索領域決定部１１０から複数の赤目探索領域を受け取った場合には、受け取った複数の赤目探索領域のそれぞれの範囲内で赤目を探索して赤目候補を検出する。具体的に、赤目候補検出部１３０は、予め定められた色範囲の色を有する、所定形状の赤目のテンプレート画像を用いてマッチングにより赤目候補を探索する。ここで、検出パラメータ格納部１７４は、赤目候補検出部１３０が赤目を探索するときの、複数の種類の探索条件を格納している。例えば、検出パラメータ格納部１７４は、赤目の探索条件として、赤目検出をするときに用いる複数の異なる大きさの赤目のテンプレート画像、複数の異なる形状の赤目のテンプレート画像、および複数の異なる種類の色相を有する赤目のテンプレート画像等を格納している。また、赤目候補検出部１３０は、赤目のテンプレート画像を画像上で予め定められたピッチ幅で移動させてよい。そして、検出パラメータ格納部１７４は、赤目のテンプレート画像を画像上で移動させるときの複数の異なるピッチ幅、および赤目のテンプレート画像を画像上で移動させるときの複数の異なる移動開始位置等を格納している。

ここで、第１赤目探索部１３２は、検出パラメータ格納部１７４が格納している第１のパラメータを用いて、赤目探索領域内で赤目を探索して赤目候補の検出を試みる。一方、第２赤目探索部１３４は、第１のパラメータとは異なる第２のパラメータを検出パラメータ格納部１７４から抽出する。そして、第２赤目探索部１３４は、抽出した第２のパラメータを用いて赤目探索領域内で赤目を探索して、赤目候補の検出を試みる。例えば、第１赤目探索部１３２は、赤目探索領域内において検出パラメータ格納部１７４から抽出した第１の画素ピッチで探索位置を移動させながら赤目を探索して、赤目を検出する。続いて、第２赤目探索部１３４は、赤目探索領域内において検出パラメータ格納部１７４から抽出した第１の画素ピッチとは異なる第２の画素ピッチで探索位置を移動させながら赤目を探索して、赤目を検出する。なお、第２赤目探索部１３４は、第１赤目探索部１３２が探索した探索位置と、第２赤目探索部１３４が探索する探索位置とが重複することがない第２の画素ピッチを、検出パラメータ格納部１７４から抽出してよい。赤目候補検出部１３０は、検出した赤目候補の位置を示す情報を赤目位置判断部１４０に供給する。

赤目位置判断部１４０は、赤目候補検出部１３０から受け取った赤目候補の位置が、顔位置検出部１２０が検出した位置に対して予め定められた位置にある赤目候補を、赤目修正の対象として選択する。具体的に、赤目位置判断部１４０が顔位置検出部１２０から赤目探索領域内における顔の位置を示す情報を受け取っていた場合には、赤目位置判断部１４０は以下に示す方法で赤目修正対象である赤目候補を選択する。すなわち、赤目位置判断部１４０は、顔に対する目の位置を統計的に算出した結果を予め有する。そして、赤目位置判断部１４０は、統計的に算出した眼の位置にある赤目候補を赤目修正対象として選択する。また、赤目位置判断部１４０は、顔位置検出部１２０から受け取った複数の顔の位置または顔の部位の位置のそれぞれに対して予め定められた位置にあると判断した複数の赤目候補のうち、画像における位置が最も重複する赤目候補を赤目修正の対象として選択してもよい。これにより、赤目位置判断部１４０は、赤目修正対象として、例えば、目頭、目じり、およびにきび等の赤目ではない部分を除外して、確実に赤目候補を選択することができる。

赤目位置判断部１４０は、赤目修正の対象として選択した赤目候補の画像における位置を示す情報を赤目修正部１５０に供給する。なお、赤目位置判断部１４０は、本実施形態に係る赤目検出装置１０とは異なる画像処理装置に、赤目修正の対象として選択した赤目候補の位置を示す情報を画像に対応づけて供給してもよい。そして、当該画像処理装置は、本実施形態に係る赤目検出装置１０から受け取った画像に対して、当該画像に対応づけられている赤目修正対象として選択された赤目候補の位置を示す情報を読み取って、当該画像に赤目修正処理を施してもよい。赤目修正部１５０は、赤目位置判断部１４０から受け取った赤目候補の位置に基づいて、画像入力部１００から受け取った画像に含まれる赤目候補に赤目修正処理を施す。赤目修正部１５０は、赤目修正処理を施した画像データを出力制御部１６０に供給する。

本実施形態に係る赤目検出装置１０によれば、ユーザが指定した指定赤目領域が含まれる赤目探索領域を自動的に決定して、決定した赤目探索領域内で赤目候補を検出することができる。これにより、赤目検出装置１０は、高いスキルを要する赤目修正対象の厳密な指定および冗長な作業をユーザにさせることなしに、ユーザが簡便に所定の領域を指定するだけで、自動的に赤目修正対象である赤目候補の検出をすることができる。即ち、本実施形態に係る赤目検出装置１０によれば、ユーザのスキルの高低にかかわらず、確実に赤目修正対象である赤目候補を検出できる。

また、本実施形態に係る赤目検出装置１０によれば、ユーザが指定した指定赤目領域が含まれる複数の赤目探索領域を自動的に決定して、決定した複数の赤目探索領域において赤目候補を探索する。これにより、赤目検出装置１０は、ユーザが指定赤目領域を一度指定するだけで、自動的に複数の赤目探索領域を決定して赤目候補を探索できるので、所定の赤目探索領域において赤目候補が検出できなかった場合でも、当該赤目探索領域とは異なる赤目探索領域を用いて赤目候補を検出できる。したがって、赤目修正対象である赤目候補を確実に検出することができる。

図２は、本実施形態に係る赤目領域指定部１０２が取得した指定赤目領域の一例を示す。赤目領域指定部１０２は、画像に含まれる人物の顔の赤目領域をユーザに指定させる。そして、赤目領域指定部１０２は、ユーザが指定した赤目領域である指定赤目領域を取得する。具体的には、まず出力制御部１６０が、出力部１６２に画像入力部１００から受け取った画像データを画像に変換して表示させる。そして、赤目領域指定部１０２は、ユーザに、出力部１６２に表示された画像に含まれる赤目領域を指定させる。具体的には、赤目領域指定部１０２は、マウス、タブレット、およびキーボード等の入力デバイスを有していてよい。そして、赤目領域指定部１０２は、入力デバイスを介して、ユーザに赤目領域を指定させて指定赤目領域を取得する。

例えば、赤目領域指定部１０２は、画像に含まれる顔４００の赤目４０２が含まれる赤目領域をユーザに指定させて、指定赤目領域４０８、指定赤目領域４１８、または指定赤目領域４２８を取得する。赤目領域指定部１０２が取得する指定赤目領域は矩形、または略矩形であってよい。また、赤目領域指定部１０２が取得する指定赤目領域の大きさは、ユーザが任意に決定してよい。更に、赤目領域指定部１０２は、例えば、ユーザがマウス、またはタブレット等の入力デバイスで赤目領域をフリーハンドで指定した場合、または、多角形、若しくは略多角形の形状を赤目領域として指定した場合には、ユーザが指定した赤目領域を略矩形に変換して、変換した領域を指定赤目領域として取得してもよい。具体的には、赤目領域指定部１０２は、ユーザが指定した領域に外接する略矩形領域、または矩形領域を、指定赤目領域として取得してよい。

図３は、本実施形態に係る赤目探索領域決定部１１０の動作の一例を示す図である。赤目探索領域決定部１１０は、赤目領域指定部１０２が取得した人物の顔５００に含まれる指定赤目領域５０２を含む赤目探索領域５１２、または赤目探索領域５２２を決定する。具体的には、赤目探索領域決定部１１０は、指定赤目領域５０２が有するアスペクト比と略同一、または同一のアスペクト比を有する領域であって、指定赤目領域５０２を含む大きさの赤目探索領域５１２、または赤目探索領域５２２を決定する。例えば、赤目探索領域決定部１１０は、指定赤目領域５０２が示す矩形の重心の位置を基点として、指定赤目領域５０２を、重心の位置から矩形の外に向かう方向に予め定められた拡大率で拡大する。そして、赤目探索領域決定部１１０は、赤目探索領域５１２、または赤目探索領域５２２を決定してよい。なお、赤目探索領域決定部１１０は、指定赤目領域５０２を拡大するときの拡大率を、探索領域格納部１７０から抽出してもよい。

ここで、赤目探索領域決定部１１０が決定する複数の赤目探索領域５１２、赤目探索領域５２２は、それぞれが異なった大きさであってよい。また、赤目探索領域決定部１１０が決定する赤目探索領域５１２、または赤目探索領域５２２は、指定赤目領域の位置を基準として、指定赤目領域のアスペクト比と略同一、または同一のアスペクト比で大きさを変化させた領域であってよい。更に、赤目探索領域決定部１１０は、赤目検出装置１０の処理能力（例えば、メモリリソース、赤目修正処理に要する時間、およびＣＰＵの使用率等）に応じて複数の赤目探索領域を生成してもよい。具体的には、赤目探索領域決定部１１０は、赤目検出装置１０の処理能力が所定の処理能力よりも高い場合に、所定の処理能力よりも低い場合に比べて赤目探索領域の決定回数を多くしてよい。

図４は、本実施形態に係る赤目探索領域決定部１１０の動作の一例を示す図である。赤目探索領域決定部１１０は、赤目領域指定部１０２が取得した人物の顔６００の指定赤目領域６０２を含む赤目探索領域６１２、または赤目探索領域６２２を決定する。具体的には、赤目探索領域決定部１１０は、指定赤目領域６０２が有するアスペクト比とは異なるアスペクト比を有する領域であって、指定赤目領域６０２を含む大きさの赤目探索領域６１２、または赤目探索領域６２２を決定する。例えば、赤目探索領域決定部１１０は、アスペクト比格納部１７２が格納している異なる複数のアスペクト比の中から、赤目検出装置１０の処理性能に応じた数の複数のアスペクト比を抽出する。具体的には、赤目探索領域決定部１１０は、赤目検出装置１０のメモリリソースが予め定められた閾値よりも多く存在している場合に、当該閾値よりもメモリリソースが少ない場合に比べて、より多くの数のアスペクト比を抽出する。そして、赤目探索領域決定部１１０は、抽出したアスペクト比を用いて指定赤目領域６０２の縦方向の長さおよび横方向の長さを拡大または縮小して、赤目探索領域６１２、または赤目探索領域６２２を決定する。

図５は、本実施形態に係る赤目候補検出部１３０の動作の一例を示す図である。赤目候補検出部１３０は、赤目探索領域決定部１１０が決定した赤目探索領域内で赤目を探索して赤目候補を検出する。例えば、赤目候補検出部１３０は、赤目探索領域内で赤目探索領域の端から、所定の画素ピッチで赤目のテンプレート画像を移動させる。そして、赤目候補検出部１３０は、マッチングにより赤目候補を検出してよい。係る場合において、赤目候補検出部１３０は、実際には赤目候補が存在しているにもかかわらず、画素ピッチが適切でないために当該テンプレート画像と赤目候補とが一致しないことを防止するために、複数の異なる画素ピッチでマッチングする。

具体的には、赤目候補検出部１３０は、赤目探索領域７００において第１の画素ピッチ７０６で赤目テンプレート画像７０２を移動させながら赤目を探索して赤目候補を検出する。続いて、赤目候補検出部１３０は、第１の画素ピッチ７０６で赤目候補を検出できなかった場合には、赤目探索領域７００において、第１の画素ピッチ７０６とは異なる第２の画素ピッチ７０８で赤目テンプレート画像７０２を移動させながら赤目を探索して赤目候補を検出する。赤目候補検出部１３０は、赤目候補を検出するまで画素ピッチを順次変更して、赤目探索領域７００から赤目候補の検出を試みてよい。例えば、赤目候補検出部１３０は、第１の画素ピッチ７０６でマッチングした後に、赤目テンプレート画像７０２の直径以下の幅でピッチを変更した、第２の画素ピッチ７０８でマッチングする。赤目候補検出部１３０は、赤目テンプレート画像７０２の直径以下の幅で複数のピッチ幅を決定して、複数のピッチで赤目候補が検出されるまでそれぞれマッチングしてもよい。

更に、赤目候補検出部１３０は、第１の赤目テンプレート画像を用いて赤目候補を検出できなかった場合には、第１の赤目テンプレート画像とは異なるパラメータを有する第２の赤目テンプレート画像を用いて赤目候補の検出を試みてもよい。ここで、赤目テンプレート画像のパラメータは、赤目テンプレート画像の大きさ、形状、または色のうち少なくとも１つであってよい。例えば、赤目候補検出部１３０は、第１の赤目テンプレート画像を用いて赤目候補の検出ができなかった場合には、第１の赤目テンプレート画像の色とは異なる色を有する第２の赤目テンプレート画像を用いて赤目候補の検出を試みる。そして、赤目候補検出部１３０は、赤目候補を検出するまで赤目テンプレート画像のパラメータを順次変更して、赤目探索領域から赤目候補の検出を試みてよい。

また、赤目候補検出部１３０は、赤目テンプレート画像７０２を用いて、赤目探索領域内の予め定められた第１の移動開始位置から赤目テンプレート画像７０２を移動させてマッチングを開始する。例えば、赤目候補検出部１３０は、赤目テンプレート画像７０２と接する赤目探索領域７００の端を第１の移動開始位置として、第１の移動開始位置から赤目テンプレート画像７０２を移動させながら赤目候補を検出する。そして、赤目候補検出部１３０は、赤目候補を検出できなかった場合には、赤目探索領域７００の端から、赤目テンプレート画像７０２のピッチ幅、例えば、第１の画素ピッチ７０６よりも短い所定の距離だけずらした位置を第２の移動開始位置と決定する。

具体的には、赤目候補検出部１３０が決定する第２の移動開始位置は、赤目探索領域７００の端から赤目テンプレート画像７０２を移動させるときの画素ピッチ７０６以下の予め定められた距離だけずらした位置であってよい。そして、赤目候補検出部１３０は、第２の移動開始位置から、再び赤目テンプレート画像７０２を移動させながら赤目候補を検出する。赤目候補検出部１３０は、赤目候補が検出されるまで、赤目テンプレート画像７０２の移動開始位置を、第１の画素ピッチ７０６が示すピッチ幅の範囲内で順次変更してマッチングしてよい。なお、赤目候補検出部１３０は、赤目テンプレート画像７０２の移動開始位置を、１画素ずつずらしてもよい。これにより、本実施形態に係る赤目候補検出部１３０は、画像から確実に赤目候補を検出できる。

図６は、本実施形態に係る赤目検出装置１０における処理の流れの一例を示す。まず、赤目領域指定部１０２は、ユーザに赤目補正領域を指定させる（Ｓ１０００）。赤目領域指定部１０２は、ユーザが指定した赤目補正領域を赤目探索領域決定部１１０に供給する。なお、赤目補正領域は、指定赤目領域の一例である。赤目領域指定部１０２は、ユーザが赤目補正領域を指定した場合に（Ｓ１０００）、ユーザが指定した赤目補正領域の領域に関する領域情報を取得する（Ｓ１０１０）。赤目補正領域の領域に関する領域情報は、例えば、赤目補正領域が画像に対して占める位置を示す情報等であってよい。

続いて、赤目位置判断部１４０において赤目修正対象の赤目候補が検出されるまで、または予め定められた回数（例えば、Ｎ回）だけ赤目検出処理が繰り返される（Ｓ１０２０）。即ち、まず、赤目探索領域決定部１１０は、赤目領域指定部１０２から受け取った赤目補正領域を含む赤目探索領域を、探索領域格納部１７０、またはアスペクト比格納部１７２が格納している所定の条件に基づいて算出する（Ｓ１０３０）。なお、赤目検出処理が繰り返される場合には、赤目探索領域決定部１１０は、前回とは異なる条件に基づいて赤目探索領域を算出する（Ｓ１０３０）。

そして、赤目探索領域決定部１１０は、算出した赤目探索領域から赤目探索領域を生成する（Ｓ１０３２）。赤目探索領域決定部１１０は、生成した赤目探索領域を、探索領域画像として取得してよい（Ｓ１０３４）。赤目探索領域決定部１１０は探索領域画像を赤目候補検出部１３０、および顔位置検出部１２０に供給する。顔位置検出部１２０は、探索領域画像内で、目以外の顔の部位の位置または顔の位置を検出する。そして、顔位置検出部１２０は検出した顔の位置または目以外の顔の部位の位置を赤目位置判断部１４０に供給する。

一方、赤目候補検出部１３０は、探索領域画像内で赤目候補を検出する。例えば、赤目候補検出部１３０は、赤目のテンプレート画像を用いてマッチングにより赤目候補を検出する場合には、第１の赤目テンプレート画像を用いて赤目候補を探索する。そして、赤目候補検出部１３０は、赤目候補を検出できなかった場合には、第１の赤目テンプレート画像が有するパラメータとは異なるパラメータを有する第２の赤目のテンプレート画像を用いて赤目候補の探索をする。赤目候補検出部１３０は、赤目候補が検出されるまで、赤目のテンプレート画像のパラメータを異なるパラメータに順次変更して赤目候補を検出してよい。赤目候補検出部１３０は検出した赤目候補の位置を示す情報を赤目位置判断部１４０に供給する。そして、赤目位置判断部１４０は、画像に含まれる赤目候補から赤目修正をすべき赤目候補を検出する（Ｓ１０３６）。赤目位置判断部１４０が赤目修正をすべき赤目候補を検出した場合には、赤目検出処理のループが終了する（Ｓ１０２２）。

続いて、赤目修正部１５０は、赤目位置判断部１４０が選択した赤目修正をすべき赤目候補に対して、赤目自動修正処理を施す（Ｓ１０４０）。そして、赤目検出装置１０は、赤目修正処理を施された赤目修正画像を画像データとして取得する（Ｓ１０５０）。なお、赤目検出装置１０は、赤目位置判断部１４０において赤目修正をすべき赤目候補を検出した場合には、検出した赤目候補の画像における位置を当該画像に対応づけて画像データとして記録してよい。そして、赤目位置判断部１４０は、出力制御部１６０を介して当該画像データを出力部１６２から出力させてもよい。例えば、出力部１６２は、メモリ等の記録媒体に当該画像データを記録してよい。また、出力部１６２は、他の画像処理装置に当該画像データを供給して、当該他の画像処理装置に当該画像データに対して赤目修正処理を施させてもよい。

図７は、本実施形態に係る赤目検出装置１０における処理の流れの一例を示す。図７において図６と同一の符号を付したステップは、図６の上記説明と略同一の動作をするので、詳細な説明は省略する。赤目位置判断部１４０は、予め定められた回数（例えば、Ｎ回）だけ赤目検出処理を繰り返す（Ｓ１１２０）。そして、赤目位置判断部１４０は、予め定められた回数だけ赤目修正対象となる赤目候補の検出を試みて、予め定められた回数の赤目検出処理が終了した場合に（Ｓ１１２２）、赤目修正対象となる赤目候補が検出されたか否かを判断する（Ｓ１１３０）。赤目位置判断部１４０は、赤目修正対象となる赤目候補が検出できなかったと判断した場合には（Ｓ１１３０：Ｎｏ）、処理を終了する。

一方、赤目位置判断部１４０は、赤目修正対象となる複数の赤目候補を検出した場合には（Ｓ１１３０：Ｙｅｓ）、検出した複数の結果をマージ処理する（Ｓ１１４０）。例えば、赤目位置判断部１４０は、検出された複数の赤目候補のうち、画像における位置が最も重複する赤目候補を赤目修正対象として選択する。また、赤目位置判断部１４０は、複数の赤目候補と、顔位置検出部１２０が検出した目以外の顔の部位との位置関係に基づいて、赤目修正の対象となる赤目候補を選択してもよい。そして、赤目修正部１５０は、赤目修正対象として赤目位置判断部１４０が選択した赤目候補に対して、赤目修正処理を施す（Ｓ１０４０）。

図８は、本実施形態に係る赤目検出装置１０のハードウェア構成の一例を示す。本実施形態に係る赤目検出装置１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、赤目検出装置１０内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、赤目検出装置１０が起動時に実行するブート・プログラム、赤目検出装置１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される赤目検出プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。赤目検出プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して赤目検出装置１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。赤目検出装置１０にインストールされて実行される赤目検出プログラムは、ＣＰＵ１５０５等に働きかけて、赤目検出装置１０を、図１から図７にかけて説明した画像入力部１００、赤目領域指定部１０２、赤目探索領域決定部１１０、目検出部１１２、顔領域特定部１１４、顔位置検出部１２０、赤目候補検出部１３０、第１赤目探索部１３２、第２赤目探索部１３４、赤目位置判断部１４０、赤目修正部１５０、出力制御部１６０、出力部１６２、探索領域格納部１７０、アスペクト比格納部１７２、および検出パラメータ格納部１７４として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

赤目検出装置１０の機能構成を示すブロック図である。 赤目領域指定部１０２が取得した指定赤目領域を示す図である。 赤目探索領域決定部１１０の動作を示す図である。 赤目探索領域決定部１１０の動作を示す図である。 赤目候補検出部１３０の動作を示す図である。 赤目検出装置１０の処理の流れを示すフロー図である。 赤目検出装置１０の処理の流れを示すフロー図である。 赤目検出装置１０のハードウェア構成を示すブロック図である。

符号の説明

１０ 赤目検出装置
１００ 画像入力部
１０２ 赤目領域指定部
１１０ 赤目探索領域決定部
１１２ 目検出部
１１４ 顔領域特定部
１２０ 顔位置検出部
１３０ 赤目候補検出部
１３２ 第１赤目探索部
１３４ 第２赤目探索部
１４０ 赤目位置判断部
１５０ 赤目修正部
１６０ 出力制御部
１６２ 出力部
１７０ 探索領域格納部
１７２ アスペクト比格納部
１７４ 検出パラメータ格納部
４００、５００、６００ 顔
４０２ 赤目
４０８、４１８、４２８ 指定赤目領域
５０２、６０２ 指定赤目領域
５１２、５２２、６１２、６２２ 赤目探索領域
７００ 赤目探索領域
７０２、７０４ 赤目テンプレート画像
７０６、７０８ 画素ピッチ
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (13)

1. 画像の赤目領域をユーザに指定させて指定赤目領域を取得する赤目領域指定部と、
   前記赤目領域指定部が取得した指定赤目領域を含む赤目探索領域を決定する赤目探索領域決定部と、
   前記赤目探索領域決定部が決定した赤目探索領域内で赤目を探索して赤目候補を検出する赤目候補検出部と、
   前記赤目探索領域決定部が決定した赤目探索領域内で、目以外の顔の部位の位置または顔の位置を検出する顔位置検出部と、
   前記赤目候補検出部が検出した赤目候補の位置が、前記顔位置検出部が検出した位置に対して予め定められた位置にある赤目候補を赤目修正の対象として選択する赤目位置判断部と
   を備える赤目検出装置。
2. 前記赤目位置判断部が赤目修正の対象として選択した赤目候補に赤目修正処理を施す赤目修正部
   を更に備える
   請求項１に記載の赤目検出装置。
3. 前記赤目探索領域決定部は、前記赤目領域指定部が取得した指定赤目領域を含む複数の赤目探索領域を決定し、
   前記赤目候補検出部は、前記赤目探索領域決定部が決定した複数の赤目探索領域のそれぞれの範囲内で赤目を探索して赤目候補を検出し、
   前記顔位置検出部は、前記赤目探索領域決定部が決定した複数の赤目探索領域のそれぞれの範囲内で、顔の位置または顔の部位の位置を検出する
   請求項１に記載の赤目検出装置。
4. 前記赤目探索領域決定部は、前記赤目領域指定部が取得した指定赤目領域と略同一のアスペクト比を有する赤目探索領域を決定する
   請求項３に記載の赤目検出装置。
5. 大きさまたは形状が異なる複数の赤目探索領域を格納する探索領域格納部
   を更に備え、
   前記赤目探索領域決定部は、前記探索領域格納部が格納している大きさまたは形状であって、前記赤目領域指定部が取得した指定赤目領域を含む複数の赤目探索領域を決定する
   請求項３に記載の赤目検出装置。
6. 異なる複数のアスペクト比を格納するアスペクト比格納部
   を更に備え、
   前記赤目探索領域決定部は、前記アスペクト比格納部が格納している複数のアスペクト比のそれぞれを有し、前記赤目領域指定部が取得した指定赤目領域を含む複数の赤目探索領域のそれぞれを決定する
   請求項３に記載の赤目検出装置。
7. 前記赤目位置判断部は、前記顔位置検出部が検出した複数の顔の位置または顔の部位の位置のそれぞれに対して予め定められた位置にあると判断した複数の赤目候補のうち、画像における位置が最も重複する赤目候補を赤目修正の対象として選択する
   請求項３に記載の赤目検出装置。
8. 前記赤目候補検出部は、
   第１のパラメータを用いて前記赤目探索領域内で赤目を探索して赤目候補を検出する第１赤目探索部と、
   前記第１赤目探索部が前記赤目探索領域内で赤目候補を検出できなかった場合に、前記第１のパラメータとは異なる第２のパラメータを用いて前記赤目探索領域内で赤目を探索して赤目候補を検出する第２赤目探索部と
   を有する
   請求項１に記載の赤目検出装置。
9. 前記第１赤目探索部は、前記赤目探索領域内において第１の画素ピッチで探索位置を移動させながら赤目を探索して赤目候補を検出し、
   前記第２赤目探索部は、前記赤目探索領域内において前記第１の画素ピッチとは異なる第２の画素ピッチで探索位置を移動させながら赤目を探索して赤目候補を検出する
   請求項８に記載の赤目検出装置。
10. 前記赤目探索領域決定部は、
    前記赤目領域指定部が取得した指定赤目領域から両目の位置関係を検出する目検出部と、
    前記目検出部が検出した両目の位置関係に基づいて顔の領域を特定する顔領域特定部と
    を有し、
    前記赤目探索領域決定部は、前記顔領域特定部が特定した顔の領域を含む赤目探索領域を決定する
    請求項１に記載の赤目検出装置。
11. 前記赤目探索領域決定部は、
    前記赤目領域指定部が取得した指定赤目領域から目の大きさを検出する目検出部と、
    前記目検出部が検出した目の大きさに基づいて顔の領域を特定する顔領域特定部と
    を有し、
    前記赤目探索領域決定部は、前記顔領域特定部が特定した顔の領域を含む赤目探索領域を決定する
    請求項１に記載の赤目検出装置。
12. 画像の赤目領域をユーザに指定させて指定赤目領域を取得する赤目領域指定段階と、
    前記赤目領域指定段階において取得された指定赤目領域を含む赤目探索領域を決定する赤目探索領域決定段階と、
    前記赤目探索領域決定段階において決定された赤目探索領域内で赤目を探索して赤目候補を検出する赤目候補検出段階と、
    前記赤目探索領域決定段階において決定された赤目探索領域内で、目以外の顔の部位の位置または顔の位置を検出する顔位置検出段階と、
    前記赤目候補検出段階において検出された赤目候補の位置が、前記顔位置検出段階において検出された位置に対して予め定められた位置にある赤目候補を赤目修正の対象として選択する赤目位置判断段階と
    を備える赤目検出方法。
13. 画像に含まれる赤目を検出する赤目検出装置用の赤目検出プログラムであって、前記赤目検出装置を、
    画像の赤目領域をユーザに指定させて指定赤目領域を取得する赤目領域指定部、
    前記赤目領域指定部が取得した指定赤目領域を含む赤目探索領域を決定する赤目探索領域決定部、
    前記赤目探索領域決定部が決定した赤目探索領域内で赤目を探索して赤目候補を検出する赤目候補検出部、
    前記赤目探索領域決定部が決定した赤目探索領域内で、目以外の顔の部位の位置または顔の位置を検出する顔位置検出部、
    前記赤目候補検出部が検出した赤目候補の位置が、前記顔位置検出部が検出した位置に対して予め定められた位置にある赤目候補を赤目修正の対象として選択する赤目位置判断部
    として機能させる赤目検出プログラム。
    

Images