JP2007011970A - 画像処理装置および画像処理方法ならびにプログラム - Google Patents

Abstract

【課題】光学的に撮影された画像から、ストロボ撮影に起因する動物の赤目や金目などの異常目を検出する。
【解決手段】動物の顔情報および異常目情報を対応付けして記憶するデータベースと、顔情報を用いて動物の顔を検出する顔検出手段と異常目情報を用いて異常な目を検出する異常目検出手段とを有し、顔検出手段によって画像中から動物の顔を検出し、この検出した動物の顔に対応する異常目情報を用いて、前記顔検出手段が検出した顔の中で前記異常目検出手段によって動物の異常な目を検出することにより、前記課題を解決する。
【選択図】図１

Description

本発明は、犬や猫などのペット等の各種の動物の画像から、ストロボ撮影に起因する赤目や金目等の異常な目を検出し、あるいはさらに補正する画像処理装置および画像処理方法、ならびに、この画像処理方法をコンピュータに実施させるプログラムに関する。

近年、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を露光してプリントとして出力するデジタルフォトプリンタが実用化されている。
デジタルフォトプリンタでは、フィルムに撮影された画像を光電的に読み取って、画像をデジタルの画像データとして、画像の処理や感光材料の露光を行う。そのため、フィルムに撮影された画像のみならず、デジタルカメラ等で撮影された画像（画像データ）からも、プリントの作成を行うことができる。

ところで、ポートレート等の人物を含む画像において、画質を左右する最も重要な要素は人物の仕上りである。従って、撮影時のストロボ発光の影響によって、人物の目（瞳）が赤くなる赤目現象は、重大な問題となる。
従来のフィルムから直接的に露光を行うフォトプリンタでは、赤目の補正は非常に困難である。しかしながら、デジタルフォトプリンタ等のデジタルの画像処理であれば、画像処理（画像解析）によって赤目を検出し、この赤目領域の輝度や彩度を補正することによって、赤目の修正を行うことができる。

このような赤目補正処理を行うに際し、画像中から赤目を検出する方法としては、例えば、画像データの解析によって画像中から顔を検出し、次いで、検出した顔の中から目の検出や赤い丸の検出を行う方法が例示される。
また、特許文献１には、画像データを解析することで画像中の目を検出し、さらに、検出した目が正常な黒目であるか、赤目や金目等の不具合が生じている目であるかなど、各目の状態を検出して、正常な黒目を参照して、赤目等の不具合を生じている目を修正することが開示されている。

特開２００４−１１８３２０号公報

ところで、近年のペットブームに伴い、愛犬や愛猫の写真や、愛犬や愛猫と共に写真を撮影する人が増加している。ここで、赤目のような異常目は、人物のみならず、各種の動物をストロボ撮影した際にも発生する現象である。
人物のみならず、ペットを移した写真でも、赤目のような異常目は好まれず、異常目が生じてしまった場合には、修正することが望まれる。しかしながら、動物の異常目の検出および補正は、人物に比して、非常に難しい。

動物には色々な種類があり、異なる動物種であれば、顔が全く異なり、さらに、同じ動物種であっても、品種によって顔が異なる。
しかも、同じ動物種であっても、動物種によっては、品種が異なれば異常目の発生状態が異なる。

例えば、猫は夜行性であるため、夜の視力が良好な必要がある。そのため、猫の目は特殊な構造をしており、網膜の裏に光反射層（タペータム）を有している。猫は、このタペータムで反射した光を、再度、網膜で感じることにより、夜（低光量時）における視力を高めている。このような目の構造は、他の夜行性の動物でも同様である。
ところが、このような構成を有するがために、猫の異常目は、品種等によって異なり、赤や金のみならず、黄緑色等の様々な状態となる。しかも、撮影条件によっては、同じ品種や同じ猫であっても、異常目の状態が変動する。

また、目の赤い品種の兎など、動物種や品種によっては、人物や他の動物では異常目となる目が正常な目である場合も多く、これを異常目として検出して、黒目に補正してしまうと、逆に不適正な写真となってしまう。

すなわち、動物の異常目の検出は、非常に様々な状態に対応する必要がある。
そのため、動物の異常目の適正な検出は、人物の赤目検出に対して極めて困難であり、現状では、動物の異常目を自動的に検出して、あるいはさらに補正することは、実現されていない。

本発明の目的は、前記従来技術の問題点を解決することにあり、写真撮影された画像において、ストロボ撮影によって動物の異常目が生じても、画像中（画像データ中）から、動物の異常目を適正に検出して、あるいはさらに補正することができる画像処理装置および画像処理方法、ならびに、この画像処理方法をコンピュータに実施させるプログラムを提供することにある。

前記目的を達成するために、本発明の画像処理装置は、動物の顔情報、および、動物の異常な目の情報である異常目情報を対応付けして記憶する動物画像データベースと、前記動物画像データベースの顔情報を用いて、画像から動物の顔を検出する顔検出手段と、前記動物画像データベースの異常目情報を用いて、画像から動物の異常な目を検出する異常目検出手段とを有し、前記顔検出手段によって画像から動物の顔を検出し、次いで、この検出した動物の顔に対応する異常目情報を用いて、前記顔検出手段が検出した顔の中で前記異常目検出手段によって動物の異常な目を検出する、もしくは、前記異常目検出手段によって画像から動物の異常な目を検出して異常目候補とし、この異常目候補に対応する動物の顔情報を用いて、前記異常目検出手段が検出した異常目候補を含む領域で前記顔検出手段で顔検出を行い、自身を含む領域で顔が検出できた異常目候補を動物の異常な目として検出することを特徴とする画像処理装置を提供する。

このような本発明の画像処理装置において、前記動物画像データベースが、前記顔情報に対応付けして動物の正常な目の情報である正常目情報を記憶しており、さらに、前記正常目情報を用いて画像を修正する修正手段を有し、前記動物の異常な目を検出した後、前記正常目情報を用いて修正手段によって検出した動物の異常な目を修正するのが好ましく、さらに、動物の指定手段を有し、この指定手段で指定された動物の情報を用いて、前記顔検出手段による顔検出、および、前記異常目検出手段による異常目の検出の少なくとも一方を行なうのが好ましい。

また、本発明の画像処理方法の第１の態様は、複数の動物の顔情報、および、複数の動物の異常な目の情報である異常目情報を対応付けして記憶する動物画像データベースから、前記動物の顔情報を読み出して、画像から動物の顔検出を行い、次いで、前記動物画像データベースから、前記検出した動物の顔に対応する異常目情報を読み出し、この異常目情報を用いて、前記検出した動物の顔の中から動物の異常な目を検出することを特徴とする画像処理方法を提供する。
このような本発明の画像処理方法の第１の態様において、指定された動物に対応する前記顔情報を動物画像データベースから読み出して、前記画像からの動物の顔検出を行なうのが好ましい。

さらに、本発明の画像処理方法の第２の態様は、複数の動物の顔情報、および、複数の動物の異常な目の情報である異常目情報を対応付けして記憶する動物画像データベースから、前記異常目情報を読み出して、画像から動物の異常な目を検出して異常目候補とし、次いで、前記動物画像データベースから、検出した異常目候補に対応する顔情報を読み出し、この顔情報を用いて、前記検出した異常目候補を含む領域で動物の顔検出を行い、自身を含む領域で顔が検出できた異常目候補を動物の異常な目として検出することを特徴とする画像処理方法を提供する。
このような本発明の画像処理方法の第２の態様において、指定された動物に対応する前記異常目情報を動物画像データベースから読み出して、前記画像からの異常目候補の検出を行なうのが好ましい。

また、このような本発明の画像処理方法において、前記動物画像データベースが、前記顔情報に対応付けして、動物の正常な目の情報である正常目情報を記憶しており、前記動物の異常な目を検出した後、この正常目情報を用いて検出した動物の異常な目を補正するのが好ましい。

また、本発明のプログラムの第１の態様は、複数の動物の顔情報、および、複数の動物の異常な目の情報である異常目情報を対応付けして記憶する動物画像データベースから、前記動物の顔情報を読み出して、この顔情報を用いて画像から動物の顔検出を行なうステップ、前記動物画像データベースから、前記検出した動物の顔に対応する異常目情報を読み出して、この読み出した異常目情報を用いて、前記検出した動物の顔の中から動物の異常な目を検出するステップを、コンピュータに実施させるプログラムを提供する。
このような本発明の第１の態様のプログラムにおいて、前記顔検出を行なうステップでは、指定された動物に対応する前記顔情報を動物画像データベースから読み出して、前記画像からの動物の顔検出を行なうのが好ましい。

また、本発明のプログラムの第２の態様は、複数の動物の顔情報、および、複数の動物の異常な目の情報である異常目情報を対応付けして記憶する動物画像データベースから、前記異常目情報を読み出して、画像から動物の異常な目を検出して異常目候補とするステップ、および、前記動物画像データベースから、検出した異常目候補に対応する顔情報を読み出し、この顔情報を用いて、前記検出した異常目候補を含む領域で動物の顔検出を行い、自身を含む領域で顔が検出できた異常目候補を動物の異常な目として検出するステップをコンピュータに実施させるプログラムを提供する。
このような本発明の第２の態様のプログラムにおいて、前記異常目候補とするステップでは、指定された動物に対応する前記異常目情報を動物画像データベースから読み出して、前記画像からの異常目候補の検出を行なうのが好ましい。

さらに、このような本発明のプログラムにおいて、前記動物画像データベースから前記顔情報に対応付けされた動物の正常な目の情報である正常目情報を読み出し、この正常目情報を用いて検出した動物の異常な目を補正するステップを実施させるのが好ましい。

上記構成を有する本発明によれば、デジタルカメラや写真フィルムを用いて撮影された画像（画像データ）から、ストロボ撮影に起因する犬や猫などの動物の赤目、金目、黄緑色の目などの異常目を適正に検出して、さらに修正することができる。

以下、本発明の画像処理装置、画像処理方法、およびプログラムについて、添付の図面に示される好適実施例を基に詳細に説明する。

図１に、本発明の画像処理方法を実施する本発明の画像処理装置の一例をブロック図で概念的に示す。

図１に示す画像処理装置１０は、動物の異常目を補正するために供給（入力）された画像（対象画像）から、動物の異常目を検出して、修正して、修正済画像として出力するもので、一例として、動物画像データベース（動物画像ＤＢ）１２と、検出部１４と、修正部１６と、指定手段１８とを有して構成される。
また、画像処理装置１０は、これ以外にも、記憶媒体を読み取るドライバや、インターネット等の通信ネットワークとの接続手段等を有している。

このような画像処理装置１０（以下、処理装置１０とする）は、一例として、パーソナルコンピュータ、ワークステーションなどのコンピュータや、ＤＳＰ（Digital Signal Processor）等を利用して構成される。また、処理装置１０は、色／濃度補正、階調補正、電子変倍処理、シャープネス処理等の各種の画像処理を行う画像処理装置（手段）や、各種のプリンタ等に組み込まれるものであってもよい。

本発明の処理装置１０において、動物の異常目の修正を行う対象画像は、カラー画像であれば特に限定はない。例えば、カメラによってネガもしくはポジの写真フィルムに撮影された画像（画像を撮影された写真フィルムを光電的に読み取って得られた画像データ）でも、デジタルカメラで撮影された画像（画像データ）でも、写真プリントをスキャナで読み取った画像（画像データ）でもよい。また、対象画像は、撮影された画像そのものではなく、必要に応じて各種の画像処理を施された画像（画像データ）であってもよいのは、もちろんである。
また、処理装置１０において、対象画像の取得（外部からの供給）方法も、限定はなく、記憶媒体からの読み取り、通信ネットワークからの転送（ダウンロード）等、コンピュータ等で行なわれている公知の情報取得方法が全て利用可能である。

動物画像データベース１２は、各種の動物の顔情報、各種の動物の異常な目（以下、異常目とする）の情報である異常目情報、および、各種の動物の正常な目（以下、正常目とする）の情報である正常目情報を、何の動物の情報かに対応付けして記憶するデータベースである。

動物の顔情報とは、各種の動物に対応して、顔検出を行なうための動物の顔の情報である。図示例においては、一例として、動物の顔から作成した動物顔のテンプレート（顔テンプレート）を顔情報として記憶している。
なお、本発明において、顔情報は、顔テンプレートに限定はされず、顔テンプレート以外にも、顔の輪郭情報、目や鼻や口や耳などの顔の構成要素の位置情報、同構成要素の形状情報、平均濃度／最低濃度／最高濃度／濃度ヒストグラムなど等の画像特徴量等、人物の顔検出に準じて、顔検出に利用される各種の情報が利用可能である。また、顔テンプレートと画像特徴量など、これらの情報を２以上、適宜、組み合わせて顔情報として記憶しておいてもよい。

動物の顔情報は、犬や猫や兎などの各動物種毎の多数の画像から作成した、各動物種毎の平均顔（平均的な顔）の情報であってもよく、チワワやシェパードのような犬種などの各動物種の品種別の多数の画像から作成した各品種毎の平均顔の情報であってもよく、顧客から提供されたペットの写真等から作成した、個々の動物（すなわち、処理装置１０に登録された動物）に固有の顔の情報であってもよい。
また、処理装置１０の動物顔データベース１２が記憶するのは、動物種毎の顔情報、品種毎の顔情報、および、登録された動物の顔情報の全てであってもよく、あるいは、これらの３つの顔情報のうちの１つのみであってもよく、あるいは、これらの３つの顔情報のうちの２つであってもよい。
さらに、これらに変えてもしくは加えて、草食動物の平均顔や肉食動物の平均顔、ペットとして人気の有る顔の平均顔等を、顔情報として有してもよい。なお、この点に関しては、後述する異常目情報に関しても同様である。

異常目情報とは、動物をストロボ撮影した際に生じる赤目や金目や黄緑色の目などの動物の異常目の情報である。前述のように、動物の異常目は、色や濃度などが動物種や品種に応じて異なる場合が多く、人間の赤目のように比較的一義的な色を有している訳ではない無い。これに応じて、動物画像データベース１２は、多数の動物の異常目情報を記憶している。動物の異常目情報としては、異常目の色／濃度情報が例示される。
また、正常目情報とは、各種の動物の正常目の情報であり、同様に、正常目の色／濃度情報が例示される。
さらに、異常目および正常目の情報として、顔に対する目の面積比率の情報や形状情報等を有してもよい。

異常目情報および正常目情報は、顔情報が記憶される動物に応じて記憶されるものである。従って、異常目情報および正常目情報も、顔情報と同様、動物種毎の平均的な情報、品種毎の平均的な情報、登録された動物に固有の情報が例示され、動物顔データベース１２は、これら全ての情報を有してもよく、あるいは、適宜、選択された１以上の情報を有してもよい。

本発明の処理装置１０においては、動物画像データベース１２は、顔情報と異常目情報と正常目情報とを、何の動物の情報かに対応付けして記憶することにより、互いに対応付けして記憶している。
なお、この情報の対応付けは、動物種に対応付けするものでも、品種に対応付けするものでも、登録された動物に対応付けするものでもよく、あるいは、動物種と品種等、複数に対応付けされるものであってもよい。

動物種は多数であり、さらに、品種も多用であるため、動物画像データベース１２が記憶している顔情報は、多くの数になる。また、登録された動物の顔情報を有している場合にも、多数の顔情報を有する結果となる。さらに、前述のように、人物の赤目とは異なり、動物の異常目は、動物種や品種に応じて様々であり、やはり、動物画像データベース１２には、多数の異常目情報を有する結果となる。
画像の中から動物の異常目を適正に検出するためには、後述する検出部１４において、全ての顔情報を用いて顔検出を行い、また、全ての異常目情報を用いて異常目（異常目候補）を検出する必要がある。しかしながら、これでは、対象画像からの異常目の検出に、非常に多くの演算量と時間が必要となってしまう。

ここで、後述する検出部１４においては、異常目情報を用いて異常目候補を検出した後に、その周辺で顔情報を用いて顔検出を行い、周辺で顔が検出できた異常目候補を異常目として検出し、もしくは、顔情報を用いて顔検出を行なった後に、顔領域内で異常目情報を用いて異常目の検出を行なう。
従って、顔情報および異常目情報を何の動物の情報か対応付けしておき、例えば、異常目情報を用いて異常目候補を検出した後、異常目候補を検出できた異常目情報が何の動物に対応するかに応じて、この動物に対応する顔情報のみを用いて顔検出を行なうことにより、検出に用いる情報の数を大幅に少なくして、演算量の低減等を計って、迅速な異常目検出を行なうことが可能となる。同様に、顔情報を用いて顔検出を行なった後、顔が検出できた顔情報が何の動物に対応するかに応じて、この動物に対応する異常目情報のみを用いて異常目検出を行なうことにより、検出に用いる情報の数を大幅に少なくして、演算量の低減等を計って、迅速な異常目検出を行なうことが可能となる。

また、動物の正常目も、やはり、動物種毎、詳細には品種毎、より詳細には個々の動物毎で異なる。従って、何の動物の情報であるかに対応付けして正常目情報を記憶しておき、異常目が検出できた異常目情報（もしくは顔情報）が対応する動物の正常目情報を用いて、異常目を修正することにより、適正な異常目の修正を安定して行なうことができる。

ここで、前述のように、動物の異常目は、動物種が一緒でも品種によって異なる。また、同じ品種の動物や、登録された固有の動物であっても、撮影条件等によって異常目の状態が異なる。また、正常目も、動物によって赤であったり黒であったり、様々である。
従って、異常目情報および正常目情報は、複数の動物に対応付けされるものも有る。

なお、本発明は、顔情報、異常目情報、および正常目情報を、何の動物の情報かに対応付けすることで互いに対応付けするのに限定はされず、例えば、顔情報、異常目情報、および正常目情報を互いに直接的に対応付けして記憶してもよい。
また、前述のように、異常目は、動物種が一緒でも品種等によって異なるので、顔情報と異常目情報との対応付けは、１対１には限らず、動物種、品種、および登録された動物に応じて、１対１、１対多数、多数対１、多数対多数の、各種の形態が存在する。

検出部１４は、対象画像から動物の異常目を検出し、検出した異常目の情報（対象画像中における異常目の位置情報および／または領域情報）と、指定された動物の情報、および／または、異常目を検出できた顔情報の情報を修正部１６に供給するものであり、異常目検出手段２２および顔検出手段２４を有して構成される。

異常目検出手段２２は、前述の異常目情報を用いて、対象画像から動物の異常目（異常目候補）を検出するものである。
異常目検出手段２２における異常目の検出方法には、特に限定はなく、例えば、公知の画像からの人物の赤目検出方法に準じた方法が例示される。一例として、対象画像を走査（サーチ）して、円形（あるいは、目の形状情報を利用しても可）で、かつ、異常目情報に対応する色／濃度の領域を抽出することで、異常目の領域を検出する。

他方、顔検出手段２４は、前述の顔情報を用いて、対象画像から動物の顔を検出するものである。
顔検出手段２４による対象画像からの顔検出方法には、特に限定はなく、動物画像データベースが記憶している顔情報に応じて、同様に、公知の画像からの人物の顔検出方法に準じた方法が例示される。

前述のように、動物画像データベース１２は、顔情報として動物の顔テンプレートを記憶しているので、公知のテンプレートマッチングによる人物顔検出などの対象物検出に準じて、動物の顔検出を行なえばよい。
一例として、対象画像を走査して、顔テンプレートと一致する領域を検索して、特徴量のスコアへの換算、スコアの集計などを行なって、所定の判断基準以上に一致した領域を、顔領域として検出する。この走査で顔領域を検出できない場合には、顔テンプレートの角度（平面方向の向き）を変更（例えば３０°）して、再度、顔テンプレートと一致する領域を検索して、特徴量のスコアへの換算、スコアの集計などを行なって検出を行い、これでも検出できない場合には、さらに角度を変更して検出を行うことを繰り返す。全ての設定角度で検出できない場合には、顔テンプレートのサイズ変更（拡大／縮小）して、顔テンプレートの角度を０°に戻して検出を行い、以降、同様の顔テンプレートの角度変更およびサイズ変更を順次行なって、顔が検出できるまで、同様の検出を行なう。また、画像の天地が判明していない場合は、上下左右の４方向に対して、同様の検出を行なう。全ての条件で動物の顔が検出できなかった場合には、この顔テンプレートに対応ずる動物の顔は存在しないと判断する。

図１に示す処理装置１０において、検出部１４における動物の異常目検出の方法として、２つの検出モードが設定され、選択可能になっている。なお、検出モードの選択は、後述する指定手段１８を利用して、公知の方法で行なえばよい。
１つは、異常目情報を用いて対象画像から異常目を検出して、検出できた異常目を異常目候補とし、次いで、この異常目候補を含む所定領域で顔検出を行い、自身を含む領域で顔が検出できた異常目候補を異常目として検出するモード（第１検出モード）である。他方は、顔情報を用いて対象画像から動物の顔を検出して、検出できた顔領域内において異常目検出を行なって、異常目を検出するモード（第２検出モード）である。
両検出モードに関しては、後に詳述する。

なお、本発明の処理装置１０は、第１検出モードおよび第２検出モードが設定され、選択可能であるのに限定はされず、第１検出モードおよび第２検出モードのいずれか一方のみを行なうものであってもよい。また、両モードが設定され、いずれかを選択するのではなく、後述する指示手段１８で指示された動物に応じて、適宜、設定された、いずれかの検出モードで異常目検出を行なうものであってもよい。

指定手段１８は、対象画像からの異常目の検出を行なう動物を指定するものである。
前述のように、動物画像データベース１２には、多数の顔情報および異常目情報が記憶されており、また、基本的に、記憶している全ての顔情報（もしくは異常目情報）で顔検出を行なった後、顔を検索できた顔情報の動物に対応する全ての異常目情報（もしくは顔情報）で異常目検出を行なう。
そのため、前述の情報の対応付けによって演算量や処理時間を減らしているとはいえ、やはり、異常目検出は負担のかかる処理である。

それに対し、図示例においては、好ましい態様として、対象画像からの異常目検出の対象となる動物を指定する指定手段１８を有し、例えば、オペレータや顧客の指定（入力）に応じて、指定された動物に対応する顔情報もしくは異常目情報のみを用いて最初の検出を行い、あるいはさらに、次の検出も指定された動物に対応する情報を利用することにより、より迅速かつ正確な対象画像からの動物の異常目の検出を行なうことができる。

指定する動物は、犬や猫等の動物種であってもよく、チワワやシェパードのような犬種などの動物の品種であってもよい。また、顧客からの動物の登録を受け付けている場合には、動物ＩＤなどの登録された動物の個々を識別する識別情報で動物を指定してもよい。
なお、指定された動物に対応する顔情報や異常目情報が無かった場合には、指定された動物が属する種の動物の情報を用いて検出を行なえばよい。例えば、チワワと指定されて、チワワに対応する顔情報が無かった場合には、全ての犬の顔情報を用いて検出を行なえばよい。

このような指定手段１８は、ディスプレイ、マウス、キーボードなどを用いた、ＧＵＩ(Graphical User Interface)等による操作手段等、コンピュータ等で利用される公知の操作方法を利用すればよい。

本発明において、動物の指定方法は、これ以外にも、各種の方法が利用可能である。
例えば、ペットの首輪にＩＣタグを取り付けて識別情報（動物種、品種、登録された個々のいずれの識別情報でも可 動物と品種等の複数でも可）を記憶し、かつ、デジタルカメラ等の撮影手段にＩＣタグリーダを設ける。撮影時にデジタルカメラのＩＣタグリーダで首輪のＩＣタグを読み取り、画像ファイルのヘッダ等に識別情報を添付する。処理装置１０においては、対象画像としてこの画像を取得した際に、識別情報を読み取り、この識別情報に対応する動物を指定された動物として、対象画像からの異常目の検出を行なう。

修正部１６は、検出部１４による異常目の検出結果を用いて、対象画像における動物の異常目を修正するものである。
前述のように、検出部１４は、対象画像から異常目を検出すると、異常目の情報と、指定された動物の情報および／または異常目を検出できた顔情報の情報とを修正部１６に送る。修正部１６は、供給された情報を用いて、動物画像データベース１２から対応する正常目情報を読み出し、異常目の情報に応じて、正常目情報を用いて対処画像中の異常目を修正する。
なお、異常目の修正方法には、特に限定はなく、異常目の領域の画像（画素）を正常目情報の色／濃度に変換する方法、正常目情報の色／濃度になるように、異常目の領域の色／濃度補正を行なう方法等、公知の各種の部分的な画像修正方法が利用可能である。

以下、図２のフローチャートを参照して処理装置１０の作用を説明することにより、本発明の画像処理方法および画像処理装置について、より詳細に説明する。また、本発明のプログラムは、以下の作用をコンピュータに実行させるプログラムである。

処理装置１０において、例えば記憶媒体が所定の装填位置に装填されることにより、動物の異常目を検出する対象画像を取得し、好ましい態様として、指定手段１８を用いて、動物（動物種、品種、登録された動物のいずれか）が指定される。

前述のように、図示例の処理装置１０は、第１検出モードと第２検出モードの２つの検出モードを有し、いずれかを選択可能となっている。
一例として、第１検出モードが選択されたとして、検出部１４は、指定された動物に対応する全ての異常目情報を動物画像データベース１２から読み出す。次いで、異常目検出手段２２によって、読み出した異常目情報を用いて、取得した対象画像から異常目検出を行い、検出できた異常目を異常目候補とする（異常目候補検出）。
例えば、対象画像が図３に示すような異常目となっている犬の画像で、動物として「犬」が指定された場合であれば、動物画像データベース１２から犬の異常目情報を全て読み出して、これを用いて異常目の検出を行なう。その結果、犬の異常目であるａおよびｂに加え、犬の異常目に類似する背景の光源ｃおよびｄ等も、異常目候補として検出される。

なお、動物の指定が無い場合には、全ての異常目情報を用いて検出を行なう。また、指定された動物に対応する情報（異常目情報および顔情報）の読み出しは、一度に全てを読み出してもよく、あるいは、順次、読み出してもよい。
また、１つの異常目（候補）について、複数の異常目情報で検出できた場合には、どの異常目情報に最も類似しているかを閾値処理等で判断して、最も類似する異常目情報で検出できたものとする。
この点に関しては、動物の顔の検出でも、後述する第２検出モードでも同様である。

次いで、検出部１４は、指定された動物に対応する顔情報、もしくは、異常目が検出できた異常目情報が対応する動物に対応する顔情報を、動物画像データベース１２から全て読み出す。さらに、顔検出手段２４において、異常目検出手段２２が検出した各異常目候補に対応して、異常目候補を含む所定領域で読み出した顔情報を用いて動物の顔検出を行なう（顔検出）。図３に示す例であれば、動物画像データベース１２から犬の顔情報を全て読み出し、異常目候補ａ〜ｄを含む所定領域で、読み出した犬の顔情報を用いて顔検出を行なう。
なお、動物が指定されなかった場合には、異常目が検出できた異常目情報が対応する動物に応じて、この動物に対応する顔情報を読み出し、同様に顔検出を行なう。
検出部１４においては、この顔検出で、自身を含む顔が検出できた異常目候補を動物の異常目として検出する。図３に示す例であれば、異常目候補ａおよびｂを含む所定領域では図中点線内の犬の顔が検出でき、異常目候補ｃおよびｄを含む所定領域では、犬の顔が検出できないので、異常目候補ａおよびｂを異常目として検出する。

他方、第２検出モードが選択された場合には、検出部１４は、指定された動物に対応する全ての顔情報を動物画像データベース１２から読み出す。次いで、顔手段２４によって、読み出した顔情報を用いて、取得した対象画像から顔検出を行う（顔検出）。
同様に、対象画像が図３に示す画像で動物として「犬」が指定された場合であれば、動物画像データベース１２から犬の顔情報を全て読み出し、これを用いて顔検出を行なう。その結果、図中点線内で犬の顔が検出される。なお、動物が指定されなかった場合には、全ての顔情報を用いて顔検出を行なう。
次いで、検出部１４は、指定された動物に対応する異常目顔情報、もしくは、顔が検出できた顔情報が対応する動物に対応する異常目情報を、動物画像データベース１２から全て読み出す。さらに、異常目検出手段２２において、読み出した異常目情報を用いて。顔検出手段２４が検出した顔内部で異常目検出を行い、異常目を検出する（異常目検出）。 図３に示す例であれば、動物画像データベース１２から犬の異常目情報を全て読み出し、図中点線内の犬の顔の内部で、読み出した異常目情報を用いて異常目検出を行う。その結果、異常目ａおよびｂが検出される。
なお、動物が指定されなかった場合には、顔が検出できた顔情報が対応する動物に応じて、この動物に対応する異常目情報を読み出し、同様に異常目の検出を行なう。

ここで、検出部１４では、このようにして対象画像から動物の異常目を検出した結果を、異常目検出結果としてもよい。しかしながら、好ましくは、このようにして対象画像から動物の異常目を検出したした後、検出した異常目が、本当に動物の異常目であるか否かの確定処理（異常目確定）を行なって、異常目検出結果とする。
確定処理の方法には、特に限定はない。一例として、顔や異常目として判断する閾値を高くして（すなわち検出条件を厳しくして）、再度、動物の顔および／または異常目を検出し、これで検出できた異常目を、動物の異常目として確定する方法が例示される。あるいは、先に異常目検出手段２２および顔検出手段２４で行なった検出方法とは、異なる検出方法で動物の顔および／または異常目を検出し、これで検出できた異常目を、動物の異常目として確定する方法も、利用可能である。また、この両方法を実施して、確定処理を行なってもよい。

検出部１４は、このようにして対象画像から動物の異常目を検出したら、検出した異常目の情報（対象画像中の異常目の位置および／または領域）と、指定された動物の情報および／または異常目を検出できた顔情報の情報を修正部１６に供給する。
修正部１６は、指定された動物に対応する正常目情報を動物画像データベース１２から読み出し、前述のように、正常目情報に応じて、検出部１４が検出した対象画像の異常目の領域を修正し（異常目修正）、修正済画像とする。図３に示す例であれば、犬の正常目情報を読み出して、これを用いて異常目ａおよびｂの修正を行ない、修正済画像とする。
あるいは、異常目を検出できた顔情報が対応する動物に対応する正常目情報を読み出し、同様に、対象画像の異常目の領域を修正して、修正済画像とする。

以上の説明より明らかなように、本発明によれば、従来は演算量や演算時間が多大過ぎて実施できなかった、画像からのストロボ撮影に起因する動物の異常目の検出あるいはさらに修正を、適正に行なうことができる。

以上、本発明の画像処理装置、画像処理方法、およびプログラムについて、詳細に説明したが、本発明は、上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行なってもよいのは、もちろんである。

本発明の画像処理方法を実施する本発明の画像処理装置の一例を概念的に示すブロック図である。 図１に示す画像処理装置の作用を説明するためのフローチャートである。 図１に示す画像処理装置の作用を説明するための画像の一例の概念図である。

符号の説明

１０ （画像）処理装置
１２ 動物画像データベース（ＤＢ）
１４ 検出部
１６ 修正部
１８ 指定手段
２２ 異常目検出手段
２４ 顔検出手段

Claims (13)

1. 動物の顔情報、および、動物の異常な目の情報である異常目情報を対応付けして記憶する動物画像データベースと、
   前記動物画像データベースの顔情報を用いて、画像から動物の顔を検出する顔検出手段と、
   前記動物画像データベースの異常目情報を用いて、画像から動物の異常な目を検出する異常目検出手段とを有し、
   前記顔検出手段によって画像から動物の顔を検出し、次いで、この検出した動物の顔に対応する異常目情報を用いて、前記顔検出手段が検出した顔の中で前記異常目検出手段によって動物の異常な目を検出する、もしくは、前記異常目検出手段によって画像から動物の異常な目を検出して異常目候補とし、この異常目候補に対応する動物の顔情報を用いて、前記異常目検出手段が検出した異常目候補を含む領域で前記顔検出手段で顔検出を行い、自身を含む領域で顔が検出できた異常目候補を動物の異常な目として検出することを特徴とする画像処理装置。
2. 前記動物画像データベースが、前記顔情報に対応付けして動物の正常な目の情報である正常目情報を記憶しており、さらに、前記正常目情報を用いて画像を修正する修正手段を有し、
   前記動物の異常な目を検出した後、前記正常目情報を用いて修正手段によって検出した動物の異常な目を修正する請求項１に記載の画像処理装置。
3. 動物の指定手段を有し、この指定手段で指定された動物の情報を用いて、前記顔検出手段による顔検出、および、前記異常目検出手段による異常目の検出の少なくとも一方を行なう請求項１または２に記載の画像処理装置。
4. 複数の動物の顔情報、および、複数の動物の異常な目の情報である異常目情報を対応付けして記憶する動物画像データベースから、前記動物の顔情報を読み出して、画像から動物の顔検出を行い、
   次いで、前記動物画像データベースから、前記検出した動物の顔に対応する異常目情報を読み出し、この異常目情報を用いて、前記検出した動物の顔の中から動物の異常な目を検出することを特徴とする画像処理方法。
5. 指定された動物に対応する前記顔情報を動物画像データベースから読み出して、前記画像からの動物の顔検出を行なう請求項４に記載の画像処理方法。
6. 複数の動物の顔情報、および、複数の動物の異常な目の情報である異常目情報を対応付けして記憶する動物画像データベースから、前記異常目情報を読み出して、画像から動物の異常な目を検出して異常目候補とし、
   次いで、前記動物画像データベースから、検出した異常目候補に対応する顔情報を読み出し、この顔情報を用いて、前記検出した異常目候補を含む領域で動物の顔検出を行い、自身を含む領域で顔が検出できた異常目候補を動物の異常な目として検出することを特徴とする画像処理方法。
7. 指定された動物に対応する前記異常目情報を動物画像データベースから読み出して、前記画像からの異常目候補の検出を行なう請求項６に記載の画像処理方法。
8. 前記動物画像データベースが、前記顔情報に対応付けして、動物の正常な目の情報である正常目情報を記憶しており、
   前記動物の異常な目を検出した後、この正常目情報を用いて検出した動物の異常な目を補正する請求項４〜７のいずれかに記載の画像処理方法。
9. 複数の動物の顔情報、および、複数の動物の異常な目の情報である異常目情報を対応付けして記憶する動物画像データベースから、前記動物の顔情報を読み出して、この顔情報を用いて画像から動物の顔検出を行なうステップ、
   前記動物画像データベースから、前記検出した動物の顔に対応する異常目情報を読み出して、この読み出した異常目情報を用いて、前記検出した動物の顔の中から動物の異常な目を検出するステップを、コンピュータに実施させるプログラム。
10. 前記顔検出を行なうステップでは、指定された動物に対応する前記顔情報を動物画像データベースから読み出して、前記画像からの動物の顔検出を行なう請求項９に記載のプログラム。
11. 複数の動物の顔情報、および、複数の動物の異常な目の情報である異常目情報を対応付けして記憶する動物画像データベースから、前記異常目情報を読み出して、画像から動物の異常な目を検出して異常目候補とするステップ、
    および、前記動物画像データベースから、検出した異常目候補に対応する顔情報を読み出し、この顔情報を用いて、前記検出した異常目候補を含む領域で動物の顔検出を行い、自身を含む領域で顔が検出できた異常目候補を動物の異常な目として検出するステップをコンピュータに実施させるプログラム。
12. 前記異常目候補とするステップでは、指定された動物に対応する前記異常目情報を動物画像データベースから読み出して、前記画像からの異常目候補の検出を行なう請求項１１に記載のプログラム。
13. さらに、前記動物画像データベースから前記顔情報に対応付けされた動物の正常な目の情報である正常目情報を読み出し、この正常目情報を用いて検出した動物の異常な目を補正するステップを実施させる請求項９〜１２のいずれかに記載のプログラム。

Images