JP2009289230A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】画像から検出対象物を検出するにあたり、検出精度及び検出速度を向上させる。
【解決手段】顔検出部２は、顔に対する耳の大きさに応じて耳先端探索部２１、顔候補探索部２２を適用する順番を決定し、先に適用する探索部を画像の全領域に対して適用し、次に適用する探索部を先に適用した探索部により検出された部位に隣接する領域に対して適用する。そして、顔検出部２は、耳先端探索部２１の探索結果と顔候補探索部２２の探索結果に基づき、顔候補探索部２２により検出された顔候補が顔であると判定する。
【選択図】図１

Description

本発明は画像から顔等の検出対象物を検出する画像処理技術に関する。

画像から人物の顔等の検出対象物を検出する技術は、デジタルカメラのＡＦ（自動焦点）やＡＥ（自動露出）や、複数の画像から検索用インデキシングを自動生成するのに用いられている。

画像から人物の顔を検出する方法としては、Viola-Jonesの方法（非特許文献１）が有力であり、この方法によれば、予め機械学習させておいた複数の識別器を画像に対して適用することで、画像から検出対象物を高速に検出することが可能である。
P. Viola and M. Jones. "Rapid Object Detection Using a Boosted Cascade of Simple Features," in Proc. of CVPR, vol.1, ppp.511-518, December, 2001

人物の顔に限らず、ペットの顔を検出したいという要求も少なからずあり、ペットの顔の検出に上記人物の顔を検出する方法を応用することが考えられる。

しかしながら、上記人物の顔を検出する方法をそのまま適用しても所望の検出精度が得られない。これは、ペットは種別が多く、顔の形や耳の大きさのバラツキが人物に比べて大きいためであると考えられる。

検出精度が低いと人物の顔を誤ってペットの顔として検出してしまうという問題が生じる。検出精度を高めてペットの顔のみを検出できるようにするには、上記識別器の数を増やしたり、別の検出器を組み合わせたりする必要があるが、この場合、検出速度の低下を招き、好ましくない。

本発明は、このような技術的課題を鑑みてなされたもので、画像から検出対象物を検出するにあたり、検出精度及び検出速度を向上させることを目的とする。

本発明のある態様は、画像から所定の検出対象物を検出する画像処理装置であって、任意の領域から前記検出対象物の付属物を探索する第１の探索部と任意の領域から前記検出対象物の候補を探索する第２の探索部を有する対象物検出部を備え、前記対象物検出部は、前記検出対象物に対する前記付属物の大きさに応じて前記第１及び第２の探索部を適用する順番を決定し、先に適用する探索部を前記画像の全領域に対して適用し、次に適用する探索部を前記先に適用した探索部により検出された部位に隣接する領域に対して適用し、前記第１の探索部の探索結果と前記第２の探索部の探索結果に基づき、前記第２の探索部により検出された前記検出対象物の候補が前記検出対象物であると判定する、ことを特徴とする画像処理装置である。

本発明の別の態様は、画像から所定の検出対象物を検出する画像処理方法であって、任意の領域から前記検出対象物の付属物を探索する第１の探索手順と任意の領域から前記検出対象物の候補を探索する第２の探索手順を有する対象物検出手順を備え、前記対象物検出手順は、前記検出対象物に対する前記付属物の大きさに応じて前記第１及び第２の探索手順を適用する順番を決定し、先に適用する探索手順を前記画像の全領域に対して適用し、次に適用する探索部を前記先に適用した探索手順により検出された部位に隣接する領域に対して適用し、前記第１の探索手順の探索結果と前記第２の探索手順の探索結果に基づき、前記第２の探索手順により検出された前記検出対象物の候補が前記検出対象物であると判定する、ことを特徴とする画像処理方法である。

本発明のさらに別の態様は、画像から所定の検出対象物を検出する処理をコンピュータに実行させる画像処理プログラムであって、任意の領域から前記検出対象物の付属物を探索する第１の探索手順と任意の領域から前記検出対象物の候補を探索する第２の探索手順を有する対象物検出手順を備え、前記対象物検出手順は、前記検出対象物に対する前記付属物の大きさに応じて前記第１及び第２の探索手順を適用する順番を決定し、先に適用する探索手順を前記画像の全領域に対して適用し、次に適用する探索部を前記先に適用した探索手順により検出された部位に隣接する領域に対して適用し、前記第１の探索手順の探索結果と前記第２の探索手順の探索結果に基づき、前記第２の探索手順により検出された前記検出対象物の候補が前記検出対象物であると判定する、ことを特徴とする画像処理プログラムである。

これら態様によれば、画像処理装置は、２つの探索部ないし探索手順を有し、検出対象物（例えば、ペットの顔）に対する付属物（例えば、頭頂部にある耳）の大きさに応じて２つの探索部ないし探索手順を適用する順序を決定する。そして、先の探索部ないし探索手順は画像の全領域に対して適用するが、次の探索部ないし探索手順は先の探索部ないし探索手順により検出された部位に隣接する領域にのみ適用する。

したがって、この画像処理装置によれば、２つの探索部ないし探索手順を用いて画像から検出対象物が検出されるので、検出対象物の検出精度が向上する。その一方で、次の探索部ないし探索手順を画像の全領域に対して適用しないので、その分、処理負担を下げることができ、検出精度と検出速度を両立させることができる。

本発明によれば、検出対象物の検出精度及び検出速度を向上させることができる。

以下、添付図面を参照しながら本発明の実施形態について説明する。なお、以下の説明では検出対象物を飼い犬、飼い猫といったペットの顔であるとして説明する。また、説明中、「頭部」は首から上の部分全体を指し、「顔」は頭部のうち耳を含まない目、鼻、口からなる頭部の中央領域を指すものする。

まず、本発明の実施形態に係る画像処理装置の全体構成について説明する。

画像処理装置はＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インターフェース等で構成され、機能ブロックで表すと、図１に示すように、入力部１と、顔検出部２（「対象物検出部」に対応する。）と、出力部３と、画像登録部４と、形状解析部５とを有している。入力部１は顔検出部２に接続し、顔検出部２は出力部３に接続する。また、画像登録部４は形状解析部５に接続し、形状解析部５は顔検出部２に接続する。

入力部１は、検出対象物の検出を行う画像（以下、「入力画像」という。）を外部より入手する。例えば、本画像処理装置をデジタルカメラのＡＦ、ＡＥに利用する場合は、入力画像は撮像部により撮像されたスルー画像である。また、本画像処理装置を画像の検索用インデキシングの自動作成に利用する場合は、検索用インデキシングを作成する複数の画像である。

画像登録部４は、検出対象物であるペットの頭部の画像を格納する（以下、この画像を「登録画像」という。）。登録画像にはペットの頭部全体がなるべく大きく含まれるようにし、かつ、ペットの頭部とその背景以外は極力含まれないようにする。例えば、本画像処理装置をデジタルカメラに適用する場合は、本撮影の前に先立ちユーザーが所定の枠内一杯にペットの頭部が含まれるように撮像しておき、この枠内の画像を登録画像として用いるようにする。あるいは、ペットの頭部が含まれるよう本撮像を行い、後述する顔候補探索部２２で実行される処理と同様の処理により撮像画像から顔候補を検出する。そして、検出された顔候補から検出対象であるペットの顔をユーザーが選択し、これを含む頭部の画像を登録画像として用いるようにしてもよい。

形状解析部５は、画像登録部４に格納されている登録画像を読み込み、顔の長さに対する耳の長さの比率を算出する。形状解析部５の処理の詳細は後述する。

顔検出部２は、耳先端探索部２１（「第１の探索部」に対応する。）と顔候補探索部２２（「第２の探索部」に対応する。）を備える。耳先端探索部２１は任意の領域から耳の先端を探索する探索部である。顔候補探索部２２は任意の領域から顔候補を探索する探索部である。２つの探索部２１、２２の処理の詳細は後述する。

顔検出部２は、形状解析部５の判定結果に応じて２つの探索部２１、２２を適用する順序を決定し、決定された順序で２つの探索部２１、２２を入力画像に対して適用する。ただし、２つの探索部２１、２２を入力画像のどの領域に対して適用するかは、２つの探索部２１、２２を適用する順序によって相違する。詳しくは後述するが、顔検出部２は、先に適用する探索部を入力画像の全領域に対して適用し、後に適用する探索部を先に適用した探索部によって検出された部位に隣接する領域に対して適用する。

２つの探索部２１、２２を入力画像に対して適用したら、顔検出部２は、２つの探索部２１、２２の探索結果を総合して、顔候補探索部２２により検出された顔候補がペットの顔であるか否かを判定する。

出力部３は、顔検出部２で検出されたペットの顔の位置と大きさを外部に出力する。例えば、本画像処理装置をデジタルカメラのＡＦ、ＡＥに用いる場合は、出力部３は検出されたペットの顔を背面液晶に矩形枠で囲んで表示するとともに、デジタルカメラのＡＦ制御部、ＡＥ制御部にペットの顔の位置、大きさを出力する。また、本画像処理装置を画像の検索用インデキシングの作成に利用する場合は、入力画像のデータに対し、ペットの顔が含まれていることを示すラベルを付加し、他の処理部や記憶装置に出力する。

続いて、上記各処理部の詳細についてさらに説明する。

図２は形状解析部５の処理内容の詳細を示したフローチャートである。この処理は入力画像から顔検出部２によりペットの顔を検出する処理を行う前に行われる。

これについて説明すると、まず、形状解析部５は入力部１から登録画像を読み込む（Ｓ１)。図３は登録画像の一例である。

次に、形状解析部５は、登録画像からペットの顔を探索する（Ｓ２）。ペットの顔の探索方法としては、後述する顔候補探索部２２と同様にViola-Jonesの方法を用いることができ、これについては後で詳しく説明する。図４は登録画像からペットの顔F1が検出された例である。

次に、形状解析部５は、探索されたペットの顔の上部領域から耳の先端を探索する（Ｓ３）。耳の先端の探索方法としては、後述する耳先端探索部２１と同様にSIFT(Scale-Invariant Feature Transform)のような特徴抽出法を用いることができ、これについては後で詳しく説明する。図４は登録画像から耳の先端E1、E2が検出された例である。

次に、形状解析部５は、耳の長さを算出する（Ｓ４）。耳の長さの算出は、まず、検出された耳の先端から耳の縁部に沿って耳の末端（耳と頭頂部の接続位置）を探索する。そして、耳の末端が検出されたら、耳の先端と耳の末端の距離Lnを算出し、それらの平均値を耳の長さLeとして算出する。なお、耳の長さの算出方法の詳細は後述する。

図４に示す例では、耳の先端E1、E2それぞれに対して耳の末端が２つ検出されているので、耳の先端と耳の末端の間の距離としてはL1〜L4が算出される。形状解析部５は、L1〜L4の平均値を耳の長さLeとして算出する。

次に、形状解析部５は、ペットの顔の長さLfに対する耳の長さLeの比率Ref(=Le / Lf)を算出する（Ｓ５）。

そして、形状解析部５は、比率Refがしきい値以上か判定し（Ｓ６）、しきい値以上のときは耳が長いと判定し（Ｓ７）、しきい値未満のときは耳が短いと判定する（Ｓ８）。しきい値は、例えば、耳の長さが概ね顔の長さの半分以上となる0.5に設定されるが、これに限定されるものではない。

なお、ここでは、形状解析部５は、先にペットの顔を探索し、検出された顔の上部領域から耳の先端を探索しているが、先に耳の先端を探索し、検出された耳の先端の下部領域からペットの顔を探索する順序でもよい。

図５は顔検出部２の処理内容の詳細を示したフローチャートである。

これについて説明すると、まず、顔検出部２は入力部１から入力画像を読み込む（Ｓ１１）。

次に、顔検出部２は、形状解析部５の解析結果に基づき耳の長さを判定し（Ｓ１２)、耳が長いときは入力画像の全領域に対して耳先端探索部２１を適用し、入力画像の全領域から耳の先端を探索する（Ｓ１３）。そして、顔検出部２は、検出された耳の先端の下部領域に対して顔候補探索部２２を適用し、当該領域から顔候補を探索する（Ｓ１４）。耳の先端、顔候補の具体的な探索方法については後述する。

一方、耳が短いときは、入力画像の全領域に対して顔候補探索部２２を適用し、当該領域から顔候補を探索する（Ｓ１５)。そして、顔検出部２は、検出された顔候補の上部領域に対して耳先端探索部２１を適用し、当該領域から耳の先端を探索する（Ｓ１６）。耳の先端、顔候補の具体的な探索方法については後述する。

そして、顔検出部２は、顔候補探索部２２により検出された顔候補の各々ついて確信度Cを算出する（Ｓ１７）。確信度Cはその顔候補が犬・猫の顔であることの確からしさを表す値であり、耳先端探索部２１で検出された耳の先端の確からしさを表す耳先端確信度Ceと顔候補探索部２２で検出された顔候補の確からしさを表す顔候補確信度Cfを所定比率で合成することにより算出される。確信度Cは、たとえば、所定比率を1:1とした場合、次式(1)により算出される。

耳先端確信度Ceは、例えば、検出された耳の先端の個数に基づき算出される。例えば、耳先端確信度Ceは、耳の先端が２つ検出されたときは1、１つ検出されたときは0.5、耳の先端が１つも検出されなかったとき、あるいは、３つ以上検出されたときは0と算出される。なお、耳先端確信度Ceの算出方法はこれに限らず、顔候補に対する位置関係、２つの耳の先端の位置関係等を加味して算出するようにしてもよい。

顔候補確信度Cfは、顔候補探索部２２により顔候補を探索する際に算出される0から1の間の値であり、これについては後述する。

そして、顔検出部２は、各顔候補について確信度Cが所定値以上か否か判定し、確信度Cが顔判定しきい値以上となる顔候補をペットの顔と判定する（Ｓ１８）。顔判定しきい値は、例えば0.7に設定されるが、これに限定されるものではない。

図６は耳先端探索部２１の処理内容の詳細を示したフローチャートである。なお、図２のＳ３における処理も同様の処理である。

これについて説明すると、まず、耳先端探索部２１は、探索対象の領域からコーナーを探索する（Ｓ２１）。

探索対象の領域は、形状解析部５で耳が長いと判定された場合は入力画像の全領域であり、耳が短いと判定された場合は顔候補探索部２２により検出された顔候補の上部領域である。コーナーの探索方法としては、公知の探索方法、例えば、Loweが提案するSIFTによる特徴点の検出方法を用いることができる。

次に、耳先端探索部２１は、検出されたコーナーが耳の先端であるか否かを判定する（Ｓ２２〜Ｓ２９)。

耳の先端であるか否かを判定には、SIFTのような特徴抽出法を用いることができ、この場合、耳先端探索部２１は、まず、探索されたコーナーの近傍領域を抽出する（Ｓ２２）。近傍領域はコーナーを中心とする矩形領域であり、その大きさは、当該領域が先端近傍を含み、少なくとも耳の末端を含まないように設定される。例えば、顔候補探索部２２により既に顔候補が検出されている場合は、近傍領域の一辺は検出された顔候補の長さの1/5〜1/10に設定される。また、顔候補探索部２２により顔候補が検出されていない場合は、Ｓ２１で特徴点を検出する際に得られる特徴点のスケールサイズに応じて設定される。図７は抽出された近傍領域の一例を示している。

次に、耳先端探索部２１は、近傍領域内の各位置(x, y)について、輝度勾配の大きさm(x, y)と輝度勾配の方向θ(x, y)を次式(2)、(3)により算出する。

ただし、座標(x, y)における輝度値をL(x, y)とした場合、

である。

輝度勾配の方向は輝度が変化する方向であり、輝度勾配の大きさはその変化の強さを表す値である。耳とその背景で輝度が異なる場合、耳の縁で輝度勾配の大きさが大きくなり、輝度勾配の方向は耳の縁の法線方向となる。図７に示す複数の短い矢印は耳の縁における輝度勾配の方向、大きさを模式的に表している。

次に、耳先端探索部２１は、算出された輝度勾配の大きさm(x, y)に対し、ガウス分布G(x, y, σ)を掛けることで、重み付けされた輝度勾配の大きさw(x, y)を次式(5)により算出する（Ｓ２４）。σは標準偏差である。

ガウス分布G(x, y, σ)を用いて重み付けするのは、検出されたコーナーが耳の先端か否かを判断するにあたり、コーナーに近い位置の輝度勾配の影響が強く反映されるようにするためである。

次に、耳先端探索部２１は、各勾配方向(θ=0〜360°)について重み付けされた輝度勾配の大きさw(x, y)の和を求め、ヒストグラムを作成する（Ｓ２５）。図７に示す近傍領域のヒストグラムを作成した場合、図８に示すように極大値を２つ持つヒストグラムが得られる。

次に、耳先端探索部２１は、ヒストグラムから、最も大きな極大値と、次に大きな極大値を探索する。そして、最も大きな極大値をとる輝度勾配の方向θ1と次に大きな極大値をとる輝度勾配の方向θ2のなす角をコーナー角度θcとして算出する（Ｓ２６）。図７に示す２つの長い矢印は極大値をとる勾配方向θ1、θ2を示しており、その間の角度がコーナー角度θcである。

次に、耳先端探索部２１は、コーナー角度θcが所定範囲内にあるか判定する（Ｓ２７）。所定範囲は、耳の先端部が通常とりうる角度、例えば、20°〜80°に設定される。そして、耳先端探索部２１は、コーナー角度θcが所定範囲内にある場合は、検出されたコーナーが耳の先端であると判定し（Ｓ２８）、そうでない場合は耳の先端ではないと判定する（Ｓ２９)。

上記処理によれば探索対象の領域から耳の先端を検出することが可能である。

なお、ここではコーナーの探索方法にSIFTによる特徴点の検出方法を用いたが、Harrisの方法、SUSANの方法等を用いることができる。また、重み付けされた輝度勾配の大きさw(x, y)からヒストグラムを作成しているが、これを簡略化し、輝度勾配の大きさm(x, y)から直接ヒストグラムを作成するようにしてもよい。

図９は図２のＳ４における耳の長さを算出する処理の詳細を示したフローチャートである。

これについて説明すると、形状解析部５は、登録画像から耳の末端（耳と頭頂部の接続位置）を探索する（Ｓ３１）。耳の末端の探索は、図１０に矢印で示すように、既に検出済みの耳の先端から、そこから延びる耳の縁に沿って別のコーナーを探索することにより行われる。

耳の縁は、公知のエッジ検出方法、例えば、輝度値を一次微分し、その変化量が大きなところをエッジとする方法により求めることができる。また、耳の末端を探索する方法としては、公知のコーナー検出方法、例えば、SIFTによる特徴点を検出方法、Harrisの方法、SUSANの方法等を用いることができる。

耳の末端が検出されたら、形状解析部５は、耳の先端と末端との距離Lnを算出する（Ｓ３２）。通常、耳の先端は２つ検出され、これらに対応する耳の末端が４つ検出されるので、耳の先端と末端との距離としてはL1〜L4が算出される。図１０にはその内のL1、L2を示してある。

形状解析部５は、算出された距離L1〜L4の平均値を耳の長さLeとして算出する（Ｓ３３）。

上記処理によれば、耳の形状にかかわらず、耳の長さを簡単に算出することができる。なお、ここでは耳の先端と末端との距離L1〜L4の平均値を耳の長さLeとして算出しているが、距離L1〜L4と耳の先端のコーナー角度θcに基づき耳の先端から頭頂部までの距離を算出し、これを耳の長さLeとして用いてもよい。

図１１は顔候補探索部２２の構成及びその処理内容を示している。

顔候補探索部２２は、図１１に示すように、非特許文献１に開示されるAdaboostアルゴリズムによって生成される複数の識別器H_k(k=1〜S)をカスケード接続した構成である。顔候補探索部２２は、探索対象の領域に対して複数の識別器H_k(k=1〜S)を適用し、全ての識別器H_k(k=1〜S)で顔候補であるとの判定がなされたとき、当該領域が顔候補であると判定する。なお、図２のＳ２における処理も同様の処理である。

探索対象の領域は、形状解析部５で耳が長いと判定された場合は、耳先端探索部２１により探索された耳の先端の下部領域である。耳の先端の下部領域は、両耳の先端が検出された場合は、両耳の先端の中間点の下方に広がる領域である。片方の耳の先端だけが検出された場合は、その耳が右耳、左耳のいずれであるかが不明であるので、耳の先端の右下及び左下に広がる領域である。

これに対し、形状解析部５で耳が短いと判定された場合は、入力画像から切り出された領域である。探索対象の領域の切り出しは、入力画像における座標を順次ずらしながら入力画像全体から行われ、また、異なる大きさの顔候補を検出できるよう、入力画像を拡大・縮小して得られる画像からも行われる。

複数の識別器H_k(k=1〜S)はいずれも探索対象の領域が顔候補であるか否かを判定する識別器である。前段の識別器で探索対象の領域が顔候補であるという判定がなされた場合に後段の識別器に進み、全ての識別器H_k(k=1〜S)で探索対象の領域が顔候補であるとの判定がなされた場合のみ、探索対象の領域が顔候補として判定される。途中の識別器で探索対象の領域が顔候補でないとの判定がなされると、直ちに処理を終了するので、高速な処理が可能である。

識別器H_kは、それぞれ複数の弱識別器を線形結合することによって構成される。弱識別器は図１２に示すような黒矩形と白矩形からなる矩形フィルタと閾値の組である。弱識別器は、矩形フィルタを探索対象の領域に重ね合わせ、黒矩形に対応する領域内の輝度値の和と白矩形に対応する領域内の輝度値の和との差が閾値よりも大きいか判定する。そして、閾値よりも大きいときは顔候補であることを示す1、小さいときは顔候補でないことを示す0を出力する。

ある探索対象の領域が識別器H_kに入力されると、識別器H_kは、識別器H_kを構成する各弱識別器の出力にその弱識別器の信頼度αを掛けた値の総和を算出し、その総和から所定の閾値Th_Tを減じて確信度C(k)を算出する（後述する式(11)）。確信度C(k)はその領域が顔候補であることの確かさを表す値である。そして、識別器H_kは、確信度C(k)の符号を判定し、符号が正の場合は当該領域が顔候補であると判定する。

図１３は識別器H_kを生成する処理の内容を示したフローチャートである。識別器H_kを構成する弱識別器の選出はAdaboostアルゴリズムにより行われ、識別器H_kが予め用意されている複数の教師画像に対して所望の精度で顔候補か否かの判定ができるようになるまで繰り返される。複数の教師画像は犬・猫の顔の画像と犬・猫の顔でない画像とで構成される。なお、以下の説明で、添え字tは識別器H_kの更新回数（弱識別器を識別器H_kに追加した回数）であり、初期値は１である。

まず、次式(6)により、各教師画像の重みを初期値W₁(i)に設定する（Ｓ４１）。Nは教師画像の総数である。iは各画像に割り当てられる通し番号であり、1〜Nの値をとる。

次に、様々な弱識別器を全教師画像に対して適用し、次式(7)により誤り率ε_tを算出する（Ｓ４２）。

次に、誤り率ε_tが最小になる弱識別器を、識別器H_kを構成する弱識別器h_tとして選出する（Ｓ４３）。そして、選出された弱識別器h_tを識別器H_kに追加し、識別器H_kを更新する。

次に、選出された弱識別器h_tの誤り率ε_tに基づき、次式(8)により選出された弱識別器h_tの信頼度α_tを算出する（Ｓ４４）。

次に、選出された弱識別器h_tの信頼度α_tに基づき、弱識別器h_tが判定を誤った教師画像の重みW_t(i)を次式(9)により増加させ、逆に、判定が正しかった教師画像の重みW_t(i)を次式(10)によって減少させる。さらに、更新後の重みW_t(i)をそれらの総和で割って重みW_t(i)を正規化する（Ｓ４５）。

次に、次式(11)により、弱識別器h_tを全教師画像に適用し、その結果に対応する信頼度α_tを掛けた値の総和から閾値Th_Tを引いて、確信度C(k)を算出する（Ｓ４６）。xは画像の輝度情報である。

次に、全教師画像について確信度C(k)の正負に応じて顔候補か否かを判定する。そして、判定が正しく行われた画像の数を教師画像の総数Nで割って、検出精度を算出する（Ｓ４７）。

次に、所望の検出精度が得られているか判定する（Ｓ４８）。所望の検出精度が得られている場合は、選出された弱識別器h_tを線形結合して識別器H_kを構成する（Ｓ４９）。

一方、所望の検出精度が得られていないと判定された場合は、更新回数ｔに１が加算され、Ｓ４２に戻って新たな弱識別器の選出及び選出した弱識別器の識別器H_kへの追加が行われる。弱識別器の追加は所望の検出精度が得られるまで繰り返し行われる。

なお、通常、カスケード処理では前段の情報を持ち越さない場合が多いが、識別器H_kにおいて１段目からk段目の確信度C(k)の総和Cs(k)を次式(12)により算出し、Cs(k)の正負によって顔候補か否かを判定するようにしてもよい。このように、前段で算出した確信度も反映させたほうが、経験上、高い検出精度を得ることができることがわかっている。

顔候補探索部２２は、探索対象の領域に対し上記複数の識別器H_k(k=1〜S)を適用し、全ての識別器H_k(k=1〜S)において顔候補と判定された場合のみ、当該領域が顔候補であると判定する。

さらに、顔候補探索部２２は、顔候補と判定した各領域について当該領域の確からしさを表す顔候補確信度Cfを次式(13)により算出する。fはシグモイド関数であり、算出される顔候補確信度Cfは0から１の間の値をとる。

以上の処理によれば、検出対象の領域が顔候補であるか否かの判定、並びに、顔候補と判定された場合は、その確からしさを表す顔候補確信度Cfの算出が行われる。

続いて上記画像処理装置の動作について説明する。

図１４Ａ、１４Ｂは画像に人物と耳の長い飼い猫が含まれており、この画像から上記画像処理装置により検出対象物である飼い猫の顔が検出される様子を示している。

飼い猫の耳が長い場合、まず、入力画像の全領域に耳先端探索部２１が適用され、入力画像の全領域から耳の先端が探索される。図１４Ａは入力画像から検出された耳の先端E11、E12を示している。

続いて、検出された耳の先端の下部領域に対して顔候補探索部２２が適用され、顔候補が探索される。入力画像には人物の顔と飼い猫の顔が含まれているが、人物の顔に対応する領域は近くに耳の先端がなく顔候補探索部２２の探索対象にならないので、飼い猫の顔のみが顔候補F10として検出される。図１４Ｂは入力画像から検出された顔候補F10を示している。

続いて、検出された顔候補F10について確信度Cが算出される。図１４Ｂに示す例では、顔候補F10に対応する耳の先端が２つ検出されているので耳先端確信度Ceは1である。また、顔候補探索部２２を構成する複数の識別器は教師画像として犬・猫の顔を用いて学習させたものであるので、顔候補確信度Cfは比較的大きな値になり、例えば0.8であったとすると、確信度Cは式(1)により0.9と算出される。したがって、顔判定しきい値を0.7とすると、確信度Cが顔判定しきい値を超え、検出された顔候補F10は飼い猫の顔であると判定される。

一方、図１５Ａ、１５Ｂは画像に人物と耳の短い飼い猫が含まれており、この画像から上記画像処理装置により検出対象物である飼い猫の顔が検出される様子を示している。

飼い猫の耳が短い場合、まず、入力画像の全領域に顔候補探索部２２が適用され、顔候補が探索される。図１５Ａは入力画像から検出された顔候補F20、F30を示している。顔候補探索部２２を構成する複数の識別器は教師画像として犬・猫の顔を用いて学習させたものであるが、犬・猫は人物に比べてバラつきが大きいため検出精度は低く、図１５Ａに示す例では、飼い猫の顔だけでなく人物の顔も検出されている。

続いて、検出された顔候補F20、F30の上部領域に対して耳先端探索部２１が適用され、耳の先端が探索される。頭頂部に耳を有するのは飼い猫のみであるので、探索の結果、耳の先端が検出されるのは顔候補F30の上部領域のみである。図１５Ｂは入力画像から検出された耳の先端E31、E32を示している。

続いて、各顔候補F20、F30について確信度Cが算出される。図１５Ｂに示す例では、人物の顔に対応する顔候補F20については耳先端が検出されていないので、耳先端確信度Ceは0である。また、顔候補探索部２２を構成する複数の識別器は教師画像として犬・猫の顔を用いて学習させたものであるため、顔候補確信度Cfは飼い猫の顔よりも低くなり、例えば、0.7となる。したがって、確信度Cは式(1)により0.35と算出され、顔候補F20は飼い猫の顔とは判定されない。

一方、飼い猫の顔に対応する顔候補F30については耳の先端が２つ検出されているので耳先端確信度Ceは1である。顔候補確信度Cfが0.8であったとすると、確信度Cは式(1)により0.9と算出され、顔候補F30は飼い猫の顔であると判定される。

このように、上記画像処理装置は、２つの探索部（耳先端探索部２１と顔候補探索部２２）を有し、検出対象物（上記例ではペットの顔）に対する付属物（上記例では耳）の大きさに応じて２つの探索部の適用順序を決定する。そして、先の探索部は入力画像の全領域に対して適用するが、次の探索部は先の探索部により探索された部位に隣接する領域にのみ適用する。したがって、上記画像処理装置によれば、２つの探索部により検出精度を高めつつ、処理負担を下げることができ、検出精度と検出速度を両立させることができる。

また、上記画像処理装置では、検出対象物に対する付属物の大きさが大きいときは、付属物から検索するようにした。これにより、先の探索部の探索により検出対象物の候補が絞り込まれ、より一層の検出精度と検出速度の向上が期待できる。

なお、検出対象物に対する付属物の大きさの判定方法としては、長さの比率に基づく方法の他、例えば、面積の比率に基づき判定する方法や、耳の先端をSIFTによる特徴点の検出方法により検出し、検出された特徴点のスケールサイズに基づき判定する方法（スケールサイズが大きい場合は耳が大きい）等を用いてもよい。

また、検出対象物に対する付属物の大きさは、予め検出対象物と付属物を含む画像（登録画像）を用意しておき、これを解析して判定することにより正確に判定することができる。なお、検出対象物に対する付属物の大きさが判っているときは、ユーザーが２つの探索部を適用する順番を自由に選択できるようにしてもよい。

なお、上記画像処理装置は、検出対象物をペットの顔とし、その耳を検出対象物の付属物として探索する装置であるが、検出対象物、付属物はこれに限らない。

例えば、検出対象物はペットの顔に限らず、動物の頭部を含む胴体であってもよく、この場合、付属物を脚として上記処理と同様の処理が可能である。動物の脚は人物の足と異なり、胴体に対して極端に短かったり長かったりすることが多く、また、多くの動物は人物と異なり４本足で立っているという特徴を有するので、胴体と脚を分けて検出するようにすることで、上記ペットの顔を検出する例と同様、動物の胴体の検出精度を向上させることができる。

また、付属物は耳に限らず、検出対象物が動物の顔の場合、頭頂部にある角、鶏冠（とさか）、鬣（たてがみ）であってもよい。付属物は、頭頂部にある隆起部に限らず顎や頬から伸びる髭、口ばし等であってもよいし、形状を有さない頭部表面に現れる模様であってもよい。

このように、この検出方法は、ペットの顔の検出に限らず、広く動物の検出に適用できる。さらには、この検出方法は、動物の検出に限定されず、特徴的な付属物を有する人物、各種工業製品等の検出に適用することも可能である。

また、別の判別処理を追加し、検出対象物の検出精度を向上させることも可能である。上記実施形態の場合、例えば、コーナー特徴に基づき顔候補を絞り込む処理を追加することができる。この処理では、入力画像から検出された顔候補に含まれるコーナーを探索する。次に、眼、鼻に対応する領域（例えば、顔候補中央のＴ字型の領域）にはコーナーが集中しやすいので、この領域に存在するコーナーの特徴量を重み付けし、コーナーの特徴量を合計することで顔らしさのスコアを算出する。そして、この顔らしさのスコアがしきい値よりも高いか否かにより、顔候補を絞り込むことができる。

また、上記画像処理装置は、デジタルカメラ、デジタルビデオカメラ、電子内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載することが可能である。

また、上述した実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。

この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体を備える。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上記画像処理装置と同様の処理を実現させる。

ここで、コンピュータ読取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

本発明の実施形態に係る画像処理装置の機能ブロック図である。 形状解析部５の処理内容の詳細を示したフローチャートである。 登録画像の一例を示した図である。 登録画像からのペットの顔及び耳の先端の検出結果を示した図である。 顔検出部２の処理内容の詳細を示したフローチャートである。 耳先端探索部２１の処理内容の詳細を示したフローチャートである。 抽出された近傍領域の一例を示した図である。 輝度勾配の大きさのヒストグラムの一例を示した図である。 耳の長さの算出処理の詳細を示したフローチャートである。 耳の長さが算出される様子を示した図である。 顔候補探索部２２の構成及びその処理内容を示した図である。 矩形フィルタの例を示した図である。 識別器H_kを生成する処理の内容を示したフローチャートである。 検出対象物である猫の顔が検出される様子を示した図である。 検出対象物である猫の顔が検出される様子を示した図である。 検出対象物である猫の顔が検出される様子を示した図である。 検出対象物である猫の顔が検出される様子を示した図である。

符号の説明

２ 顔検出部（対象物検出部）
４ 画像登録部
５ 形状解析部
２１ 耳先端探索部（第１の探索部）
２２ 顔候補探索部（第２の探索部）

Claims (8)

1. 画像から所定の検出対象物を検出する画像処理装置であって、
   任意の領域から前記検出対象物の付属物を探索する第１の探索部と任意の領域から前記検出対象物の候補を探索する第２の探索部を有する対象物検出部を備え、
   前記対象物検出部は、
   前記検出対象物に対する前記付属物の大きさに応じて前記第１及び第２の探索部を適用する順番を決定し、
   先に適用する探索部を前記画像の全領域に対して適用し、次に適用する探索部を前記先に適用した探索部により検出された部位に隣接する領域に対して適用し、
   前記第１の探索部の探索結果と前記第２の探索部の探索結果に基づき、前記第２の探索部により検出された前記検出対象物の候補が前記検出対象物であると判定する、
   ことを特徴とする画像処理装置。
2. 前記検出対象物と前記付属物を含む画像を登録する画像登録部と、
   前記画像登録部に登録された画像から、前記検出対象物の長さに対する前記付属物の長さの比率を算出する形状解析部と、
   を備え、
   前記対象物検出部は、
   前記比率が所定値よりも大きいときは、先に前記第１の探索部を前記画像の全領域に対して適用し、次に、前記第２の探索部を前記第１の探索部により検出された前記付属物に隣接する領域に対して適用し、
   前記比率が所定値よりも小さいときは、先に前記第２の探索部を前記画像の全領域に対して適用し、次に、前記第１の探索部を前記第２の探索部により検出された前記検出対象物の候補に隣接する領域に対して適用する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記検出対象物は動物の顔であり、
   前記付属物は前記動物の頭頂部にある隆起物である、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記解析部は、
   前記画像登録部に登録された画像に含まれるコーナーを検出し、
   前記検出されたコーナーの角度が所定範囲にあるときに前記検出されたコーナーを前記隆起物の先端と判定する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記隆起物の先端と判定されたコーナーから、そこから延びるエッジに沿って進んだ先に存在する別のコーナーを前記隆起物の末端と判定し、
   前記隆起物の前記先端と前記末端との距離に基づき前記隆起物の長さを算出する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 請求項１から５のいずれか一つに記載の画像処理装置を備えたことを特徴とする電子機器。
7. 画像から所定の検出対象物を検出する画像処理方法であって、
   任意の領域から前記検出対象物の付属物を探索する第１の探索手順と任意の領域から前記検出対象物の候補を探索する第２の探索手順を有する対象物検出手順を備え、
   前記対象物検出手順は、
   前記検出対象物に対する前記付属物の大きさに応じて前記第１及び第２の探索手順を適用する順番を決定し、
   先に適用する探索手順を前記画像の全領域に対して適用し、次に適用する探索部を前記先に適用した探索手順により検出された部位に隣接する領域に対して適用し、
   前記第１の探索手順の探索結果と前記第２の探索手順の探索結果に基づき、前記第２の探索手順により検出された前記検出対象物の候補が前記検出対象物であると判定する、
   ことを特徴とする画像処理方法。
8. 画像から所定の検出対象物を検出する処理をコンピュータに実行させる画像処理プログラムであって、
   任意の領域から前記検出対象物の付属物を探索する第１の探索手順と任意の領域から前記検出対象物の候補を探索する第２の探索手順を有する対象物検出手順を備え、
   前記対象物検出手順は、
   前記検出対象物に対する前記付属物の大きさに応じて前記第１及び第２の探索手順を適用する順番を決定し、
   先に適用する探索手順を前記画像の全領域に対して適用し、次に適用する探索部を前記先に適用した探索手順により検出された部位に隣接する領域に対して適用し、
   前記第１の探索手順の探索結果と前記第２の探索手順の探索結果に基づき、前記第２の探索手順により検出された前記検出対象物の候補が前記検出対象物であると判定する、
   ことを特徴とする画像処理プログラム。