JP2006139681A - オブジェクト検出装置 - Google Patents

Abstract

【課題】 少ない処理量で迅速にオブジェクトを検出する。
【解決手段】 画像からオブジェクトを検出するオブジェクト検出装置であって、前記画像に対するクラスタリングにより前記オブジェクトが存在する領域の検索を行う顔存在スコア算出部１０４と、前記領域に対して前記検索より高い精度の検索により前記オブジェクトの検出を行う顔部品検出部１０７とを備える。
【選択図】 図１

Description

本発明は、画像からオブジェクトを検出するオブジェクト検出装置に関する。

近年、カメラ付き携帯電話やデジタルカメラの高機能化に伴い、撮影を行った端末でも直接、画像を編集、加工することが可能となってきている。特に、娯楽的な目的から、撮影した人物の顔の特徴部分を変形させたり、コミカルな装飾を合成したりして表情を変化させる技術や、モーフィングにより顔の表情を動的に変化させる技術などが実用化されている。

上記技術では、撮影した人物の顔画像から目、眉、鼻孔、口など、顔の特徴部分の位置を特定する顔部品検出処理に基づいて各種の画像処理が行われる。この顔部品検出処理は、撮影した画像全体に対して詳細な走査を行う方法が一般的であるが、画像全体を走査すると情報処理量が膨大になる。特に、高解像度の撮影で画像中に複数の顔が写っているような場合、人数分の顔部品検出が行われるため、情報処理量は人数に比例して増加する。また、携帯電話端末などの携帯端末は一般のパーソナルコンピュータと比較して情報処理能力が低い為、携帯端末で上記一般的な顔部品検出処理を行うことは適切でない。

上記事情を考慮した技術として、画像をメッシュ分割して各種処理の対象領域の絞り込みを行う携帯端末などが提案されている（例えば、特許文献１参照）。この携帯端末によれば、メッシュ分割された複数の領域の中から、顔画像を含む所望の領域を操作者が指定し、その領域について選択的に顔部品検出処理を行うことにより、画像全体を走査する手法に比べて処理量を低減することができる。

しかしながら、上記のメッシュ分割した領域のうち指定した領域のみ顔部品検出処理を行う手法では、顔画像の大きさや位置に拘わらず、所定サイズのメッシュで一律に画像が分割されるため、１つの顔画像が複数のメッシュにまたがる場合、顔の一部分を含むメッシュが多いほど顔以外の画像に対して顔部品検索処理を行うこととなり、不要な処理が増加する。

特開２００２−２３９１１号公報（第３−５頁、第１図）

本発明は、上記従来の事情に鑑みてなされたものであって、少ない処理量で迅速にオブジェクトを検出することができるオブジェクト検索装置を提供することを目的とする。

本発明のオブジェクト検出装置は、画像からオブジェクトを検出するオブジェクト検出装置であって、前記画像に対するクラスタリングにより前記オブジェクトが存在する領域の検索を行う検索手段と、前記領域に対して前記検索より高い精度の検索により前記オブジェクトの検出を行う検出手段と、を備える。また、本発明のオブジェクト検出装置は、前記検索手段が、オブジェクトの特徴量との一致率に基づくクラスタリングにより前記領域の検索を行うものである。

上記構成によれば、クラスタリングによりオブジェクトの検出対象となる領域を動的に生成できる為、オブジェクトが存在する領域のみを高い精度で検索することができる。このため、画像の内容にかかわらず固定的に設定した領域に対して高い精度の検索を行う従来の検出処理に比べて、オブジェクトが存在しない領域に対する検出処理を回避することができる為、少ない処理量で迅速にオブジェクトを検出することができる。

また、本発明のオブジェクト検出装置は、前記オブジェクトの検出対象となる領域を指定する指定手段と、前記指定手段を構成する操作キーの数に対応させて、それぞれが少なくとも１つの前記領域を含んだ状態で画像を分割する分割手段と、を備える。上記構成によれば、前記指定手段を構成する操作キーの数に対応させて、それぞれが少なくとも１つの前記領域を含んだ状態で画像を分割する分割手段を備えることにより、例えば、分割された領域のそれぞれを操作キーと一対一に割り当てれば、オブジェクトの検出対象となる領域を一回のキー操作で指定することができる為、オブジェクト検出のための操作を容易に行うことができる。

また、本発明のオブジェクト検出装置は、検出したオブジェクトに対して装飾又は変形を施す画像処理を行う装飾変形手段を備える。上記構成によれば、検出したオブジェクトに対して装飾又は変形を施す画像処理を行うことにより、少ない処理量で迅速にオブジェクトに対する装飾又は変形を施すことができる。

さらに、本発明の携帯端末は、本発明のオブジェクト検出装置を搭載した携帯端末である。上記構成によれば、固定端末に比べて処理能力が低い携帯端末であっても、少ない処理量で迅速にオブジェクトを検出できる。

本発明によれば、クラスタリングによりオブジェクトの検出対象となる領域を動的に生成できる為、オブジェクトが存在する領域のみを高い精度で検索することができる。このため、画像の内容にかかわらず固定的に設定した領域に対して高い精度の検索を行う従来の検出処理に比べて、オブジェクトが存在しない領域に対する検出処理を回避することができる為、少ない処理量で迅速にオブジェクトを検出することができる。

以下、添付図面を参照しながら本発明の一実施形態を説明するための顔部品検出装置について詳細に説明する。尚、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付与し、説明は繰り返さないこととする。

図１は、本発明の実施の形態における顔部品検出装置の内部構成を示す図である。顔部品検出装置は、画像から顔又は顔部品を検出するものであり、撮像部１０１、入力部１０２、表示部１０３、顔存在スコア算出部１０４、顔特徴データベース１０５、領域分割部１０６、顔部品検出部１０７、顔部品特徴データベース１０８、装飾・変形部１０９、装飾・変形データベース１１０、画像保存部１１１を備える。尚、入力部１０２及び表示部１０３は、操作者との間で情報の送受を行うためのユーザーインターフェース部１１２を構成する。

撮像部１０１は、画像撮影用の公知のカメラで構成され、撮影による画像データの生成を行う。入力部１０２は、キーやボタン類で構成され、操作者からの入力を受け付ける。 また、入力部１０２は、顔又は顔部品の検出対象となる領域を指定するためのものである。表示部１０３は、撮影した画像や処理を行うためのメニュー、処理途中の画像等を表示する。顔存在スコア算出部１０４は、撮像部１０１で撮影した画像の各位置において顔が存在する可能性を顔存在スコアとして数値化する。顔存在スコア算出部１０４は、算出した顔存在スコアの分布（クラスタリング結果、後述）により、顔又は顔部品が存在する領域の検索を行う。尚、顔存在スコアの算出方法は公知の手法を用いてかまわない。顔特徴データベース１０５は、顔存在スコア算出部１０４で顔存在スコアを算出するために用いる顔の特徴量データを格納する。

領域分割部１０６は、顔存在スコア算出部１０４で算出した顔存在スコアの分布に基づいて画像領域を分割する。領域分割部１０６は、入力部１０２を構成す操作キーの数に対応させて、それぞれが少なくとも１つの領域を含んだ状態で画像を分割する。顔部品検出部１０７は、画像中において顔及び、目、眉、鼻孔、口等の顔部品の検出を行う。顔部品検出部１０７は、領域分割部１０６が分割した画像領域のうち、顔存在スコアの高い領域に対して、顔存在スコア算出時の精度よりも高い精度の検索により、顔及び顔部品の検出を行う。尚、この顔部品の検出方法そのものは公知の手法を用いてかまわない。顔部品特徴データベース１０８は、顔部品検出部１０７で顔及び顔部品を検出するために用いる顔及び顔部品の特徴量データを格納する。装飾・変形部１０９は、顔部品検出部１０７で検出した各顔及び各顔部品の位置に基づいて、顔の各部や周辺の背景に装飾や変形を施す画像処理を行う。装飾・変形データベース１１０は、装飾・変形部１０９で行う装飾や変形の画像処理に用いる画像データ等を格納する。画像保存部１１１は、装飾・変形部１０９で装飾や変形を施した画像を保存する。

図２は、上記の顔部品検出装置を搭載した携帯電話端末の外観を示す図である。携帯電話端末は、筐体２００、図１の撮像部１０１に対応するカメラ部２０１、入力部１０２に対応する数字キー部２０２及び選択確定キー部２０５、表示部１０３に対応する液晶パネル２０３、スピーカ２０８、マイク２０９、などで構成される。数字キー部２０２は、テンキーや＊キー、＃キーを含む。また、選択確定キー部２０５は、画面上に表示されるカーソルを上下左右に移動させるカーソルキー２０６や、選択操作の確定を行う決定キー２０７などを含む。

次に、上記構成の顔部品検出装置の動作について説明する。

図３は、本発明の実施の形態における顔部品検出装置の、顔部品検出動作並びに検出後の画像処理動作の手順を示すフローチャートである。はじめに、携帯電話端末の操作者がカメラ部２０１で画像の撮影を行うと（ステップＳ３０１）、撮影画像が顔存在スコア算出部１０４に送出される。図４は、撮影画像例を模式的に示す図である。

顔存在スコア算出部１０４は、顔特徴データベース１０５に格納された顔の特徴量データを用いて、画像の各位置における顔の存在可能性を数値化して顔存在スコアを算出する（ステップＳ３０２）。顔存在スコアとしては、顔画像の標準的なテンプレートと画像中の領域の類似度を計算するテンプレート法における類似度や、顔の存在確率分布を規定し、画像中の候補領域に対して計算した存在確率など、公知の手法で算出される数値を用いてよい。尚、ここでは、顔の存在する可能性が高いほど顔存在スコアは高くなるものとする。

ところで、顔存在スコアは、顔部品検出部１０７で行う顔部品検出処理の対象領域を絞り込むための処理であるため、解像度を低くするなど、処理量を低減して迅速に実行できるようにしてかまわない。例えば、解像度を元の画像の１０％程度に落として顔存在スコアの算出を行っても、領域の粗検索にはそれ程の誤差が生じるとは考え難く、したがって情報処理量を大幅に低減することが可能である。また、スコア算出の計算式も、より計算量の少ない方を選択することにより情報処理量を低減し、処理速度を上昇させることが可能である。

次に、算出した顔存在スコアの画像中における分布に基づいて、領域のクラスタリングを行う（ステップＳ３０３）。クラスタリングとは、顔存在スコアを算出するための顔の特徴量の各値の組み合わせを表現するパターン空間に類似性の尺度を導入して、パターンの標本ベクトルを類似したもの同士を集めて類にする手法である。ここでは顔存在スコアの近いもの同士で類を作り領域を分割する。本実施の形態では、クラスタの数が、テンキーの数に従って９個以下となるように画像を分割する。尚、画質によっては顔存在スコアの高い位置と低い位置が離散的に検出されて領域が細分化されることも想定されるが、こうした場合には主に画像処理で行われる最大値／最小値フィルタ等を用いて極小領域の除去や、領域の穴埋め、連結を行うことで細分化を回避すればよい。

図５は、図４の撮影画像に対してクラスタリングを行った様子を示す図である。図では、濃い色であるほど顔の可能性が高いことを示している。したがって顔の周辺（領域６０３の内側）においては色が濃く、その周辺（領域６０３の外側）では徐々に薄いクラスタに分割されている。クラスタリング完了後、領域分割部１０６は、顔存在スコアの大きいクラスタから順にクラスタ領域を内包する矩形領域を設定し、それぞれが少なくとも１つのクラスタ領域を含んだ状態で画像を分割する（ステップＳ３０４）。尚、領域の形状は特に矩形である必要はなく、クラスタそのままの形状などとしてもかまわない。図６は、図５のクラスタリング結果に基づいて画像が矩形領域に分割された様子を示す図である。本実施の形態では、分割の際に、所定の閾値以下の顔存在スコアから構成されるクラスタを領域設定の対象外としている。図の例では、画像内の白色で示す領域がこれに該当する。これは、顔の存在する可能性がある程度低い領域を顔検出の候補から除外することで、顔部品検出の効率化を図るものである。

領域分割完了後、それぞれの矩形に１から９までの番号が順番に付与され、分割領域及び領域番号を合成した撮影画像が表示部１０３に表示される（ステップＳ３０５）。図７は、分割領域及び領域番号が合成された撮影画像を模式的に示す図である。画面の下段には、領域番号の選択を促す表示も行われる。尚、図では１番と２番を含む領域が４番の領域として設定されている。これは、顔存在スコアの高い複数の領域が接近している場合、それらが同一の顔画像のものであること（例えば、顔をアップで撮影した場合において照明の影響で、１つの顔が２つにクラスタリングされる）が推定されるからである。

分割した領域に対する番号付与の規則例としては、一定面積以上を持つクラスタ領域で、顔存在スコアが高い順に付与する方法がある。面積に閾値を設けるのは、画像中の顔はある程度の大きさがあると考えられることと、ノイズなどで極小領域に高いスコアが出てしまう場合、実際は関係ない領域に領域設定がされるのを防止するためである。顔存在スコアが同一の場合は、面積が大きい順に番号を付与するものとし、顔存在スコアと面積の両方が同一の場合は、画像をラスタスキャン順に見て最初に来る領域に先に番号を付与する、などのように設定してよい。また、本実施の形態では、領域設定の対象外となった領域については０番の番号を割り当てる。

クラスタの数をテンキーの数に合わせたことで、分割領域もテンキーの数以下となる。 分割領域数の上限を携帯電話端末の操作可能なキーの数に揃えることにより、操作者は１回のキー選択で領域を簡単に選択することができる。次に、操作者は、表示された領域の中から所望の領域番号をテンキーで入力する（ステップＳ３０６）。尚、分割領域内に所望の人物の顔がない場合は０番をキー入力する。

操作者のキー入力が０番であった場合（ステップＳ３０７）、領域分割部１０６で生成した分割領域内に所望の人物の顔が含まれていないということになるため、操作者が手動で領域指定を行う（ステップＳ３０８）。領域を手動で指定するには、例えば、画面上に領域選択用の矩形を１つ表示して、カーソルキーやテンキーを操作して操作者が矩形領域の位置や大きさを変えられるようにする方法がある。図８は、顔部品検出処理を行う領域を手動で設定する場合の画面表示を模式的に示す図である。本実施の形態では、図に示すように、領域選択用の矩形８０１の位置の移動はカーソルキーで行い、大きさの変更はテンキーで行う。また、領域の縦方向の拡大・縮小はテンキーの「２」及び「８」で、横方向の拡大・縮小はテンキーの「６」及び「４」で行い、領域が決定したら決定キーにより領域指定を完了するように設定している。

一方、操作者により０以外の領域番号が指定された場合（ステップＳ３０７）、顔部品検出部１０７は撮影画像を取得し、顔部品特徴データベース１０８に格納された顔及び顔部品のもつ特徴量データに基づいて、指定された番号の分割領域内で顔及び顔部品の位置検出を行う（ステップＳ３０９）。検出の手法としては、例えば、予め用意した顔及び顔部品の標準パターンと最も類似した領域を検出するテンプレート法がある。また、標準パターンを構成する要素は、画像のカラー・モノクロの画素値のほか、画像の周波数成分などが考えられる。検出する顔部品位置は、装飾・変形部１０９で以降に行われる顔の装飾や変形のための基準位置として用いられるものであり、こうした基準点として、例えば、目や口の上下左右の端点や、眉尻・眉頭などの特徴的な部位が用いられる。図９に、顔の基準点位置の例を示す。

次に、操作者が検出された顔画像に対して実行する装飾や変形などの画像処理の内容を指定する。装飾・変形部１０９が装飾や変形のメニューを表示部１０３に表示し、操作者は入力部１０２で指定を行う。図１０は、装飾に関する画像処理メニュー例を示す図である。操作者が指定した顔画像に施す装飾の内容と選択番号が表示される。また、図１１は、変形に関する画像処理メニュー例を示す図である。操作者が指定した顔画像に施す変形、即ち表情の変化の内容と選択番号が表示される。

操作者が装飾に関する所望の処理番号を入力すると、装飾・変形部１０９は、指定された番号に該当する装飾画像を装飾・変形データベース１１０より取得する。装飾画像は、まず顔部品検出部１０７で検出した顔及び顔部品のサイズ情報に基づいて適切な大きさに変更される。次に、検出した顔及び顔部品の位置情報に基づいて所定の位置に合成される。例えば、帽子を選択した場合、装飾・変形部１０９は帽子画像を装飾・変形データベース１１０より読み出し、顔部品検出部１０７で検出された顔及び顔部品の大きさに基づいて帽子画像を適切なサイズに変更し、頭部位置に合成する。このように、装飾画像が自在に拡大・縮小されるので、顔の大きさが異なる場合でも適切なサイズの装飾を施すことができる。図１２は、撮影画像に装飾画像の合成処理を行った場合の画面表示例を示す図である。

一方、操作者が変形に関する所望の処理番号を入力すると、装飾・変形部１０９は、指定された番号に該当する変形情報を装飾・変形データベース１１０より取得する。変形情報とは、変形内容に対応する顔部品の形状・配置の情報である。顔部品検出部１０７で検出された顔部品の形状・配置が、変形情報のもつ形状・配置に一致するように顔画像を変形させることで顔の表情を変化させる。例えば、図１１で３番の「むかっ」が選択された場合、装飾・変形部１０９は選択内容に該当する変形情報を装飾・変形データベース１１０より読み出す。この変形情報は目尻及び眉尻を上げるという情報なので、装飾・変形部１０９はこれに従って目尻と眉尻の位置を上方に上げる画像処理を行う。この変形により、怒ったような表情を生成することができる。図１３は、装飾処理に加えて変形処理も実行した場合の画面表示例を示す図である。以上の画像処理により装飾や変形を施した撮影画像が表示部１０３に表示される（ステップＳ３１０）。

操作者は、同一の顔画像に対する装飾・変形処理を終了するか否かを選択し（ステップＳ３１１）、継続する場合はステップＳ３１０に戻って上記の手順を繰り返す。一方、終了する場合、操作者は次に、同様の装飾・変形処理を別の顔画像に対して実行するか否かを選択する（ステップＳ３１２）。別の顔画像に対しても装飾・変形処理を実行する場合、ステップＳ０５に戻り、上記の手順を繰り返す。一方、実行しない場合、装飾・変形処理で合成した画像を画像保存部１１１に保存して処理を終了する（ステップＳ３１３）。

尚、ステップＳ３０６において、顔部品検出処理の対象領域を、操作者が領域番号の入力により指定する例を説明したが、操作者が指定する代わりに、顔存在スコアの最も高いクラスタを含む領域や、画像の中央に位置する領域等が自動選択されるように設定してもよい。

以上のように、本発明の顔部品検出装置によれば、顔存在スコアの算出結果に基づくクラスタリングにより顔又は顔部品の検出処理の対象となる領域（顔部品検出処理の対象領域）を動的に生成できる為、顔又は顔部品が存在する領域のみを高い精度で検索することができる。このため、画像の内容にかかわらず固定的に設定した領域に対して高い精度の検索を行う従来の検出処理に比べて、顔又は顔部品が存在しない領域に対する検出処理を回避することができる為、少ない処理量で迅速に顔又は顔部品を検出することができる。

また、顔部品検出処理で位置検出を行った顔や、目、眉、鼻孔、口などの顔部品の各位置に装飾や変形を的確に施すことができ、娯楽性の高い画像処理が行える。

更に、顔部品検出処理の対象領域を生成する際や、その後の装飾や変形に関わる画像処理のメニューを提示する際において、操作キーの数に対応させて、それぞれが少なくとも１つの顔部品検出処理の対象領域を含んだ状態で画像を分割することにより、分割された領域のそれぞれを操作キーと一対一に割り当てれば、オブジェクトの検出対象となる領域を一回のキー操作で指定することができる為、オブジェクト検出のための操作を容易に行うことができる。

尚、操作キーを１回操作して入力できる数字を領域に付す例を説明したが、例えばテンキーを用いて数字を入力後確定キーを操作することにより領域を指定する構成にすれば、テンキーを複数回操作して入力できる数字（例えば「１」キーを２回操作して「１１」を入力）を領域に付してもよい。

尚、上記の本実施の形態では、顔部品検出装置を搭載した携帯電話端末について説明したが、これにとらわれるものではなく、ＰＤＡやパーソナルコンピュータなどの各種情報機器に搭載可能であることは言うまでもない。このほか、本発明の趣旨を逸脱しない範囲で種々の変形実施が可能である。

本発明は、クラスタリングによりオブジェクトの検出対象となる領域を動的に生成できる為、オブジェクトが存在する領域のみを高い精度で検索することができ、このため、画像の内容にかかわらず固定的に設定した領域に対して高い精度の検索を行う従来の検出処理に比べて、オブジェクトが存在しない領域に対する検出処理を回避することができる為、少ない処理量で迅速にオブジェクトを検出することができる効果を有し、画像からオブジェクトを検出するオブジェクト検出装置等に有用である。

本発明の実施の形態における顔部品検出装置の内部構成を示す図 顔部品検出装置を搭載した携帯電話端末の外観を示す図 本発明の実施の形態における顔部品検出装置の、顔部品検出動作並びに検出後の画像処理動作の手順を示すフローチャート 撮影画像例を模式的に示す図 撮影画像に対してクラスタリングを行った様子を示す図 クラスタリング結果に基づいて画像が矩形領域に分割された様子を示す図 分割領域及び領域番号が合成された撮影画像を模式的に示す図 顔部品検出処理を行う領域を手動で設定する場合の画面表示を模式的に示す図 顔の基準点位置の例を示す図 装飾に関する画像処理メニュー例を示す図 変形に関する画像処理メニュー例を示す図 撮影画像に装飾画像の合成処理を行った場合の画面表示例を示す図 装飾処理に加えて変形処理も実行した場合の画面表示例を示す図

符号の説明

１０１ 撮像部
１０２ 入力部
１０３ 表示部
１０４ 顔存在スコア算出部
１０５ 顔特徴データベース
１０６ 領域分割部
１０７ 顔部品検出部
１０８ 顔部品特徴データベース
１０９ 装飾・変形部
１１０ 装飾・変形データベース
１１１ 画像保存部
１１２ ユーザーインターフェース部
２０１ 筐体
２０２ 液晶表示パネル
２０３ 数字キー
２０４ カメラ
２０５ 選択確定キー
２０６ カーソルキー
２０７ 決定キー
２０８ スピーカ
２０９ マイク

Claims (5)

1. 画像からオブジェクトを検出するオブジェクト検出装置であって、
   前記画像に対するクラスタリングにより前記オブジェクトが存在する領域の検索を行う検索手段と、
   前記領域に対して前記検索より高い精度の検索により前記オブジェクトの検出を行う検出手段と、
   を備えるオブジェクト検出装置。
2. 前記検索手段は、オブジェクトの特徴量との一致率に基づくクラスタリングにより前記領域の検索を行う請求項１記載のオブジェクト検出装置。
3. 前記オブジェクトの検出対象となる領域を指定する指定手段と、
   前記指定手段を構成する操作キーの数に対応させて、それぞれが少なくとも１つの前記領域を含んだ状態で画像を分割する分割手段と、
   を備える請求項１又は２記載のオブジェクト検出装置。
4. 検出したオブジェクトに対して装飾又は変形を施す画像処理を行う装飾変形手段を備える請求項１ないし３のいずれか一項記載のオブジェクト検出装置。
5. 請求項１ないし４のいずれか一項記載のオブジェクト検出装置を搭載した携帯端末。