JP2003173436A - 画像処理装置、画像処理方法及びそのプログラムをコンピュータ読み取り可能に記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 高速、高精度に画像から対象物の位置、大き
さを抽出できる技術を提供する。 【解決手段】 画像を入力してエッジ画像を生成するエ
ッジ抽出部２と、テンプレートを用いてエッジ画像上で
投票を行い投票結果を生成する投票部１０と、投票結果
における極大点を抽出し抽出結果を生成する極大点抽出
部１３と、抽出結果に基づいて対象物の位置を特定する
対象物特定部１５とを備える。エッジ抽出部は、画像に
おけるノイズの除去とエッジの抽出とを一括して行うフ
ィルタを使用するフィルタ処理部７を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置に係
り、特に、入力した画像から、対象物の位置などを、高
速かつ高精度に、自動検出する技術に関するものであ
る。

【０００２】

【従来の技術】顔は、人物の思考や感情を表す重要な意
味を持ち、瞳の中にある虹彩は、その人物が誰であるか
を特定するための指標となる。

【０００３】従って、顔や瞳などの対象物を含む画像
（静止画、動画像、コンピュータグラフィックス等）を
取り扱う画像処理の分野において、対象物が、画像のど
の位置に、どれくらいの大きさで存在しているかという
問題を、自動的に処理できるシステムがあれば、便利で
ある。このため、システム上で、画像から対象物を抽出
しようとする試みが、始まっている。

【０００４】顔抽出には、ハフ変換を用いた手法があ
る。この手法に関するものとして、非特許文献１があ
る。

【０００５】この非特許文献１には、顔を単一の円で近
似し、大きさが異なる複数の円を同心状に備えるテンプ
レートを用いて、顔を抽出する技術が開示されている。
また、円の半径毎に、異なる投票面が用意される。

【０００６】そして、画像上において、このテンプレー
トでラスタスキャンし、テンプレートの中心がエッジ点
（輪郭上の点）と重なる時、各投票面において、円を構
成する点に、投票（一定値の足し込み）を行う。

【０００７】そして、ラスタスキャンが完了したら、最
大の投票値となった点の位置を、顔位置とし、この点が
属する投票面の、円の大きさを、顔のサイズとする。

【０００８】これにより、画像上に様々な大きさの顔が
複数存在していても、１回のラスタスキャンのみで、全
ての顔の位置及びサイズを検出できるようにしている。

【０００９】また、目領域の検出について、特許文献１
があり、これには、目領域の中心位置を求める技術が開
示されている。そして、このものでは、画像からエッジ
を検出し、そのエッジ線分の曲率半径で円弧を形成し、
この円弧が最も多く交差した点を、虹彩の中心としてい
る。

【特許文献１】特開平４−２２５４７８号公報（第３−
４頁、図１）

【非特許文献１】「”ＨｅａｄＦｉｎｄｅｒ：フレーム
間差分をベースにした人物追跡”画像センシングシンポ
ジウム２０００，ｐｐ３２９−３３４」

【００１０】

【発明が解決しようとする課題】さて一般に、このよう
な対象物の検出においては、処理量と抽出精度とが、ト
レードオフの関係にある。即ち、環境条件にロバストな
抽出処理とすると、必然的に処理量が膨れ上がり、逆
に、処理量を軽くすると、特定の環境以外では精度を維
持するのが困難になる。

【００１１】さらに、虹彩認証の分野においても、目近
傍の画像から瞳や瞳孔を高速に自動抽出できれば、認証
処理として処理量削減に大きく繋がるため、高速な抽出
法が求められている。

【００１２】非特許文献１記載の技術では、複数の異な
るサイズの円をまとめてハフ投票することにより、ハフ
変換の処理量を削減している。しかしながら、この抽出
法は、フレーム間差分を基本としている。

【００１３】したがって、人物が静止した状態では、動
き差分による人物輪郭エッジが検出できない。また、背
景が動いている環境では、周囲に動き差分によるエッジ
が多数発生し、人物の輪郭エッジが埋もれてしまう。即
ち、どちらの条件でも、エッジ検出が困難であり、結
局、顔領域抽出が困難になるという問題点がある。

【００１４】特許文献１においても、目領域の画像の撮
影条件が悪いと、エッジ画像も劣化し、円弧を検出する
にも、たくさんの処理量を必要とするという問題点があ
る。

【００１５】そこで本発明は、高速、高精度に画像から
対象物の位置、大きさを抽出できる技術を提供すること
を目的とする。

【００１６】

【課題を解決するための手段】請求項１記載の画像処理
装置は、画像を入力してエッジ画像を生成するエッジ抽
出部と、テンプレートを用いてエッジ画像上で投票を行
い投票結果を生成する投票部と、投票結果における極大
点を抽出し抽出結果を生成する極大点抽出部と、抽出結
果に基づいて対象物の位置を特定する対象物特定部とを
備える。

【００１７】この構成において、投票部の前段のエッジ
抽出部で検出エッジ点を抑え、後段の極大点抽出部で高
速・高精度に対象物の抽出位置候補を絞り込むため、動
画・静止画とも、実時間で位置・大きさを抽出できる。

【００１８】請求項２記載の画像処理装置では、エッジ
抽出部は、画像におけるノイズの除去とエッジの抽出と
を一括して行うフィルタを使用するフィルタ処理部を備
える。

【００１９】この構成により、フィルタを１回ラスタス
キャンするだけで、ノイズの除去とエッジの抽出とを完
了でき、高速かつ正確なエッジ抽出を行える。

【００２０】請求項３記載の画像処理装置では、エッジ
抽出部は、フィルタ処理部によるフィルタ処理結果を細
線化する細線化部を備える。

【００２１】この構成により、フィルタ処理結果が、太
い線でエッジを描画しているような場合でも、先鋭にエ
ッジを表現できる。

【００２２】請求項４記載の画像処理装置では、フィル
タは、ガウスフィルタと単位ベクトルとを掛け合わせた
フィルタである。

【００２３】この構成により、ガウスフィルタによるぼ
かし作用と、単位ベクトルによるエッジ抽出作用とを、
一括して発揮することができる。即ち、画像の特性の如
何によらず、杓子定規的に、しかも、的確にノイズを除
去しながら、必要なエッジのみを抽出できる。

【００２４】請求項５記載の画像処理装置では、フィル
タ処理部は、ｘｙ方向についてのフィルタを使用しフィ
ルタ処理結果の他に、ｘｙ平面内のエッジベクトルを出
力する。

【００２５】この構成により、ｘｙ２方向についてのフ
ィルタを使用することにより、ｘｙ２次元のエッジベク
トルで、エッジを表現できる。

【００２６】請求項６記載の画像処理装置では、細線化
部は、注目画素と、この注目画素の隣接画素とにおける
フィルタ処理結果の大小関係と、エッジベクトルの向き
とに基づいて、フィルタ処理結果を細線化する。

【００２７】この構成により、簡単な大小比較と、エッ
ジベクトルの向きとにより、フィルタ処理結果が、太い
線でエッジを描画しているような場合でも、正確に細線
化できる。

【００２８】請求項７記載の画像処理装置では、極大点
抽出部は、中心画素の投票結果と、この中心画素の周囲
の画素の投票結果との差分に基づいて、抽出結果を生成
する。

【００２９】この構成により、投票面中で投票値が絶対
評価的に高く、かつ周囲の投票値とも相対評価的に高い
点が、探索される。即ち、投票値が高いだけではなく、
急峻に高くなっている部分のみを検出でき、この傾向に
ある、顔領域や目領域の検出に好適である。

【００３０】請求項８記載の画像処理装置では、極大点
抽出部は、中心画素の投票結果と、この中心画素の周囲
の画素の投票結果との差を求める、リングフィルタを用
いて抽出結果を生成する。

【００３１】この構成により、リングフィルタをラスタ
スキャンするだけで、投票値が高いだけではなく、急峻
に高くなっている部分のみを検出できる。

【００３２】請求項９記載の画像処理装置では、テンプ
レート、投票結果及び抽出結果は、複数のサイズ毎に区
別して設定され、対象物特定部は、対象物の位置及びサ
イズを特定する。

【００３３】この構成により、対象物の位置だけでな
く、そのサイズも、同時に検出できる。

【００３４】

【発明の実施の形態】まず、本形態そのものの説明に先
立ち、図１６を用いて、本発明者らが文献１記載の技術
を改善するために、検討した技術を説明する。この技術
では、文献１におけるフレーム差分の代わりに、通常の
静止画エッジ検出手法に従い、ソーベルフィルタを適用
し、エッジを抽出した。

【００３５】図１６（ａ）は、ソーベルフィルタによる
エッジ抽出結果の例を示している。図１６（ａ）から明
らかなように、本来抽出されるべき、顔の輪郭１０１及
び肩の輪郭１０２の他に、多数の余分なエッジ点１０３
が検出されてしまっている。これらのエッジ点１０３
は、ノイズに他ならない。

【００３６】したがって、このまま、ハフ投票を行う
と、図１６（ｂ）に示すような結果となる。即ち、テン
プレートｔ４、ｔ５のように、顔輪郭以外のノイズ（エ
ッジ点１０３）を中心とする円上にも投票が行われ、余
分な演算処理量を必要としているだけでなく、投票結果
の精度が低下する結果となる。

【００３７】ここで、ノイズであるか否かを問わず、エ
ッジ点数が増加すると、テンプレートの足し込み回数が
比例して増加し、さらに、処理量は級数的に増加してし
まう。このため、パーソナルコンピュータレベルの処理
能力では、膨大な処理時間を要し、実時間処理が困難と
なる。

【００３８】さらに、投票面からの特徴点検出は、非常
に処理量がかかり、実時間処理が困難であるため、分散
や閾値による取捨選択により高速化を図ることが考えら
れる。

【００３９】しかしながら、高速化のため、間引きや単
位ブロック毎の平均化を行うと、顔位置がノイズに埋も
れる場合や、ノイズばかりが抽出される場合も生じ、抽
出精度に問題が生じてくる。

【００４０】また、図１６（ａ）のように、一旦、エッ
ジ画像を生成した後、予め設定した閾値と比較して、小
さなノイズであるエッジ点を除去し、しかる後、ハフ投
票を行うことも考えられる。

【００４１】しかしながら、この閾値を適切に設定する
ことは、きわめて困難である。画像が入力される前に、
画像における、対象物の大きさ等を予め知ることはでき
ないから、結局、この閾値は、経験的に適当と思われる
値にせざるを得ない。そして、この閾値により、ノイズ
を除去する作用の強弱が定まる。

【００４２】ここで、ノイズ除去の作用が弱すぎると、
ノイズが多く残存して、結局、図１６（ｂ）に示した状
態と大差ないことになってしまう。逆に、ノイズ除去の
作用が強すぎると、本来残るべき、顔の輪郭１０１の全
部又は一部が、欠けたり、消えたりすることになり、投
票結果の精度が低下してしまう。

【００４３】このように、画像個々の特性に依存するよ
うな、ノイズ除去を行おうとしても、所期の目的を達成
することは困難である。

【００４４】このような点を考慮して、本発明者らは、
画像の特性の如何によらず、いわば杓子定規的に適用で
き、しかも、その結果、ノイズを的確に除去できるフィ
ルタ等を案出し、以下詳細に説明するように、本発明を
完成するに至ったものである。

【００４５】次に、図面を参照しながら、本発明の実施
の形態を説明する。図１は、本発明の一実施の形態にお
ける画像処理装置の機能ブロック図、図２は、同画像処
理装置のブロック図、図３は、同画像処理装置のフロー
チャートである。

【００４６】各部の詳細を説明する前に、図３を用い
て、本形態の画像処理装置の処理の流れを概説する。ま
ず、画像を入力し（ステップ１）、これにフィルタ処理
を施し（ステップ２）、粗く太いエッジを得る。次に、
太いエッジを細線化し（ステップ３）、テンプレートを
用いて、投票を行う（ステップ４）。

【００４７】さらに、投票結果から、極大となっている
点を抽出し（ステップ５）、対象物の位置とサイズを特
定し（ステップ６）、結果を出力する（ステップ７）。

【００４８】次に、本形態の画像処理装置の構成を説明
する。図２は、図１の要素を具体的に構成した例を示
す。即ち、図２において、ＣＰＵ（中央処理装置）２０
は、ＲＯＭ（リードオンリーメモリ）２１に格納され、
図３、図８等のフローチャートに沿う画像処理プログラ
ムを実行し、バス１９を経由し、図２に示す各要素を制
御する。

【００４９】ＲＡＭ（ランダムアクセスメモリ）２２及
びハードディスク２３には、図１に示す各記憶部１、
３、４、５、６、９、１１、１２、１４のための領域の
他、ＣＰＵ２０がその処理のために必要とする一時記憶
領域が確保されている。

【００５０】なお、図１に示す各処理部７、８、１０、
１３、１５は、ＣＰＵ２０が、ＲＯＭ２１に格納された
画像処理プログラムを実行することにより実現される。
また、このプログラムは、ハードディスク２３あるいは
ＣＤ−ＲＯＭなどの周知の記録媒体に格納することがで
きる。

【００５１】また、図２の例では、インターフェイス２
４にカメラ２５が接続され、リアルタイムで対象物を含
むであろう画像を取得できるようになっている。なお、
カメラ２５は、ＣＣＤ、ＣＭＯＳのどちらのモジュール
を用いたものであっても良く、カメラ２５は、スチルカ
メラ／ビデオカメラのいずれでも良く、携帯電話に付属
するカメラを用いることもできる。

【００５２】図１において、入力画像記憶部１には、入
力画像が格納される。本形態では、簡単のため、入力画
像は、明るさの表現として代表的な輝度Ｙ０（ｘ，ｙ）
（８ビット）を持ち、この輝度Ｙ０（ｘ，ｙ）により処
理を行うものとする。

【００５３】ここで、輝度Ｙ０（ｘ，ｙ）を、別の階調
を持つようにしても良いし、輝度ではなく別の明るさの
別の表現を用いてもよい。また、入力画像は、グレース
ケールの画像であっても良いし、カラー画像から輝度Ｙ
０（ｘ，ｙ）を分離しても良い。

【００５４】入力画像記憶部１に格納される画像のデー
タ形式は、動画／静止画のいずれでも良いが、動画の場
合はフレーム単位で処理を行う。なお、フィールド構造
を持つ動画については、奇数フィールドと偶数フィール
ドとを合わせた一枚の絵にしてから処理を行うと良い。

【００５５】また、入力画像記憶部１に格納される画像
としては、図２のカメラ２５によりリアルタイムで撮像
したものを用いても良いし、過去に撮像され、かつ、Ｒ
ＡＭ２２又はハードディスク２３等の記憶装置に格納さ
れているものでも良い。

【００５６】エッジ抽出部２は、入力画像記憶部１から
画像を入力してエッジ画像を生成する。図１に示すよう
に、エッジ抽出部２は、画像におけるノイズの除去とエ
ッジの抽出とを一括して行うフィルタを使用するフィル
タ処理部７と、フィルタ処理部７によるフィルタ処理結
果を細線化する細線化部８とを、有する。

【００５７】フィルタ記憶部３には、フィルタ処理部７
が使用するフィルタが格納されている。

【００５８】後述するように、このフィルタは、ガウス
フィルタと単位ベクトルとを掛け合わせたフィルタであ
り、フィルタ処理部７は、ｘｙ方向についてのフィルタ
を使用しフィルタ処理結果の他に、ｘｙ平面内のエッジ
ベクトルを出力する。

【００５９】また、エッジ抽出部２では、フィルタ処理
部７が、フィルタ記憶部３が記憶するフィルタＳｘ
（ｘ，ｙ）、Ｓｙ（ｘ，ｙ）により、フィルタ処理を行
い、エッジベクトル（Ｙ１ｘ（ｘ，ｙ），Ｙ１ｙ（ｘ，
ｙ））が、エッジベクトル記憶部４に格納され、フィル
タ処理結果Ｙ１（ｘ，ｙ）が、フィルタ処理結果記憶部
５に格納される。

【００６０】次に、細線化部８が、エッジベクトル（Ｙ
１ｘ（ｘ，ｙ），Ｙ１ｙ（ｘ，ｙ））と、フィルタ処理
結果Ｙ１（ｘ，ｙ）とを用いて、フィルタ処理結果Ｙ１
（ｘ，ｙ）に描かれる線の局所極大点を抽出し、細線化
をはかり、エッジ部を求める。ここで、このフィルタ処
理とは、画像とフィルタとの畳み込み演算処理である。

【００６１】次に、図４、図５を用いて、数式を示しな
がら、フィルタについて詳細に説明する。まず、図４
（ａ）は、入力画像記憶部１に格納される画像の一例を
示す。

【００６２】また、図４（ｂ）に示すように、フィルタ
の系を定義する。このフィルタＳは、縦横Ｎ画素であ
り、その中心を原点（０，０）とする。

【００６３】このとき、極座標で示したガウスフィルタ
は、σ²を分散として、次式で定義される。

【数１】 これを、ｘ−ｙ座標系で表現すると、次のようになる。

【数２】 また、大きさが「１」である単位ベクトルは、次のとお
りである。

【数３】 そして、このフィルタは、ガウスフィルタと単位ベクト
ルとを、掛け合わせたものであり、ｘ方向について、

【数４】 ｙ方向について、

【数５】 という、２つの成分を持つ。但し、（数４）、（数５）
において、−Ｎ／２≦ｘ≦Ｎ／２，−Ｎ／２≦ｙ≦Ｎ／
２である。

【００６４】このｘ方向のフィルタ成分を図示すると、
図５（ａ）のようになり、ｙ方向のフィルタ成分を図示
すると、図５（ｂ）のようになる。図５に示したフィル
タＳは、１９×１９のサイズであるが、フィルタサイズ
はもっと大きなものでも良いし、もっと小さなものでも
良く、大きくなるほど粗いエッジが検出できる。

【００６５】そして、フィルタ処理をするには、図４
（ｃ）に示すように、画像上で、フィルタＳをラスタス
キャンする。

【００６６】このスキャンの結果、エッジベクトルのｘ
成分

【数６】 と、エッジベクトルのｙ成分

【数７】 とが得られる。フィルタ処理部７は、これらの成分をエ
ッジベクトル記憶部４に格納する。

【００６７】また、フィルタ処理結果は、エッジベクト
ルの大きさに他ならず、次式で定義される。

【数８】 フィルタ処理部７は、この式で計算したフィルタ処理結
果を、フィルタ処理結果記憶部５に格納する。

【００６８】ここで、ガウスフィルタが高周波ノイズ成
分を除去し、ガウスフィルタのσのサイズにより、より
粗いエッジが検出される。なお、フィルタとしては、画
像の特性の如何によらず、杓子定規的に適用でき、ノイ
ズを的確に除去できるものであれば、種々変更して差し
支えない。

【００６９】以下、このフィルタを、画像の特性によら
ず、杓子定規的に適用できる理由について、簡単に説明
する。

【００７０】さて、一般に、画像には、いろいろなスケ
ールのエッジが存在する。ここで、この「スケール」と
いう用語は、専門用語として定着しているものである
が、日常使用されるスケール（スケールが大きいとか小
さいとかいうもの）と同じ意味である。

【００７１】例えば、ある風景の画像を入力した場合、
背景の山には、大きなエッジがあり、手前の家の窓の格
子には、小さなエッジがあることになる。また、背景の
山も全体的に見れば、なだらかであるが、よく見ると、
細部に細かな凹凸があるものである。

【００７２】このような場合、背景の山のなだらかなエ
ッジは、大きなスケールで見ることになり、格子のエッ
ジは、小さなスケールで見ることになる。

【００７３】ところで、画像中において、顔や目などの
検出物の輪郭のなだらかさは、だいたい決まっているこ
とが多く、一定のスケールで表現できる。したがって、
その輪郭を構成するエッジを最も良く抽出し、それ以外
の細々としたエッジを抽出しないスケールを予め定義し
ておけば、輪郭のみを良く抽出することができる。

【００７４】数学的にいえば、スケールが大きい大まか
なエッジは、空間周波数の低い関数項で表現できるし、
スケールが小さい細かなエッジは、空間周波数の高い関
数項で記述できる。

【００７５】したがって、適当なスケールのエッジを取
り出すには、画像に、適当なフィルタをかけて、画像を
相応にぼかし、その上で、エッジ抽出を行えばよい。

【００７６】このようなフィルタは、帯域フィルタとし
て表現できるが、同じ帯域幅でエッジの位置の精度が最
も良いのは、ガウス関数である。

【００７７】そのため、本形態のフィルタは、輪郭を最
も良く抽出するスケールで定義された帯域幅を持つガウ
ス関数に、ｘ方向とｙ方向の単位ベクトルを掛け合わせ
た構造としたものである。具体的には、スケールと帯域
幅は、フィルタのサイズに関係する。

【００７８】つまり、従来技術において、行っていた （工程１）平滑化（フィルタサイズは、経験値） （工程２）エッジ検出（フィルタサイズは、経験値） （工程３）閾値による小エッジの除去（閾値は場合毎に
調整） という、３つの工程を、本形態では、フィルタのサイズ
を、最も輪郭を抽出しやすいサイズに設定することによ
り、状況毎に閾値を調整するなどの面倒な処理を行うこ
となく、しかも、一回の処理のみで、画像によらず杓子
定規的に抽出しているのである。

【００７９】さて、図６（ａ）は、図４（ｃ）に示すス
キャンの結果得られた、フィルタ処理結果の例である。
図６（ａ）を、図４（ｃ）と比較すると明らかなよう
に、凹凸や細かなノイズが除去されている。しかも、本
来の輪郭線よりも太いエッジが検出されている。

【００８０】このように、フィルタ処理結果では、細か
なエッジやノイズが省かれ、輪郭の粗いエッジが検出さ
れるが、フィルタＳのサイズが大きいため、検出エッジ
も非常に太い。そこで、次段の細線化部８で細線化処理
を行う。

【００８１】即ち、細線化部８は、図８のフローチャー
トに従う処理を実行することにより、図６（ａ）のよう
なフィルタ処理結果を細線化し、図６（ｂ）のようなエ
ッジ画像を生成する。

【００８２】この細線化プロセスを、図７から図９を参
照しながら、説明する。簡単に述べると、細線化部８
は、注目画素と、この注目画素の隣接画素とにおけるフ
ィルタ処理結果の大小関係と、エッジベクトルの向きと
に基づいて、フィルタ処理結果を細線化する。

【００８３】まず、細線化を始める前に、フィルタ処理
結果記憶部５には、図７（ａ）に示すようにフィルタ処
理結果Ｙ１（ｘ，ｙ）が格納されており、エッジベクト
ル記憶部４には、エッジベクトル（Ｙ１ｘ（ｘ，ｙ），
Ｙ１ｙ（ｘ，ｙ））が格納されている。

【００８４】このとき、図７（ａ）に示すように、注目
画素が（ｘ，ｙ）なる座標にあるとき、その座標のフィ
ルタ処理結果をｃとし、その座標のエッジベクトルのｘ
成分Ｙ１ｘ（ｘ，ｙ）をｈとし、同ｙ成分Ｙ１ｙ（ｘ，
ｙ）をｖとする。

【００８５】また、注目画素の左、右、上及び下に、隣
接する画素のフィルタ処理結果をそれぞれ、ｌ、ｒ、
ｔ、ｂとする。なおこのとき、図７（ｄ）に示す幾何学
的関係がある。

【００８６】そして、図９（ａ）又は図９（ｂ）のいず
れかの条件を満たす場合、注目画素（ｘ，ｙ）のエッジ
画像Ｙ２（ｘ，ｙ）にｃをセット（エッジである）し、
そうでないとき、このエッジ画像Ｙ２（ｘ，ｙ）に０を
セット（エッジでない）する。

【００８７】これにより、図６（ａ）のような太いエッ
ジを、図６（ｂ）のような先鋭なエッジとすることがで
きる。

【００８８】ここで、図９（ａ）の条件とは、エッジベ
クトルの向きが、ｘ軸となす角θが−４５°≦θ≦４５
°または１３５°≦θ≦２２５°の範囲にあり、かつ、
ｌ≦ｃ≧ｒなる関係が成り立つことである。

【００８９】また、図９（ｂ）の条件とは、エッジベク
トルの向きが、ｘ軸となす角θが４５°≦θ≦１３５°
または２２５°≦θ≦３１５°の範囲にあり、かつ、ｔ
≦ｃ≧ｂなる関係が成り立つことである。

【００９０】なお、以上の数値などは、一例に過ぎず、
種々変更することができる。これにより、フィルタ処理
結果に存在する太いエッジの起伏の尾根のみを抽出して
細線化できる。これにより、投票部１０の投票に先立っ
て、ノイズを抑え、エッジ点数を減らすことができる。

【００９１】したがって、細線化部８は、図８の処理を
行う。即ち、ステップ２１にて、ｘ方向の座標カウンタ
ｉと、ｙ方向の座標カウンタｊを１に初期化し、図７を
用いて説明した値の代入を行う（ステップ２２）。

【００９２】次に、細線化部８は、ステップ２３〜ステ
ップ２６において、カウンタ（ｉ，ｊ）が示す座標に関
して、図９（ａ）又は図９（ｂ）のいずれかの条件が満
たされているかどうかチェックする。満たされていれ
ば、ステップ２７にて、カウンタ（ｉ，ｊ）が示す座標
に関するエッジ画像に、ｃをセットし、そうでなけれ
ば、ステップ２８にて、０をセットする。

【００９３】そして、ステップ２９〜ステップ３２に
て、カウンタｉ、ｊを進めながら、ステップ２２以下の
処理を繰り返す。

【００９４】この繰り返し処理が完了したら、細線化さ
れたエッジ画像が、エッジ画像記憶部６に格納されてい
ることになる。

【００９５】次に、図１、図１０、図１１を用いて、投
票部１０等について説明する。投票部１０は、テンプレ
ート記憶部９に格納されたテンプレートＴ１，Ｔ
２，．．．Ｔｎを用いて、エッジ画像記憶部６に格納さ
れた、エッジ画像上で投票を行い投票結果を生成する。

【００９６】ここで、図１０に示すように、テンプレー
ト記憶部９に格納されるテンプレートＴ１，Ｔ
２，．．．Ｔｎ、投票結果記憶部１１に格納される投票
結果Ｖ１，Ｖ２，．．．Ｖｎは、複数のサイズ毎に区別
して設定されている。

【００９７】同様に、図１において、抽出結果記憶部１
４が記憶する抽出結果Ｒ１，Ｒ２，．．．Ｒｎは、複数
のサイズ毎に区別して設定され、対象物特定部１５は、
対象物の位置及びサイズを特定する。これにより、対象
物の位置だけでなく、そのサイズも、同時に検出でき
る。

【００９８】図１１（ａ）〜（ｄ）は、顔又は目の領域
を検出するために、好適なテンプレートの例を示してい
る。即ち、図１１（ａ）に示す円、図１１（ｂ）に示す
多角形、図１１（ｃ）に示す楕円のように、閉じた線を
用いても良いし、図１１（ｄ）のように、頭と肩の部分
を模した開いた線を用いても良い。

【００９９】テンプレートは、以上のように、円、幅１
以上の円環、それ以外の楕円、正六角形などの多角形で
も差し支えない。円はテンプレート中心から形状全ての
画素までの距離が常に一定になるので、投票結果の精度
が高くなる。多角形は円ほどの精度は出ないが、形状が
単純になり、処理負担が軽減され、処理速度を向上でき
る。

【０１００】そして、投票部１０は、エッジ画像記憶部
６のエッジ画像において、図１１（ｅ）に例示している
ように、テンプレートの中心がエッジ上に存在する際、
投票結果記憶部１１の該当するサイズの投票面上におい
て、投票（一定値の足し込み）を行う。

【０１０１】投票数を増やす処理においては、単調に減
少させるようにしても差し支えない。本例では、初期値
が零で投票する毎に、該当形状の成分を１つずつ増やす
ようにした。また、本例では、ハフ投票を用いたが、類
似の投票技術を使用することもできる。

【０１０２】図１６（ａ）と同じ画像に対して、本形態
の細線化を行うと、図１２（ａ）に示すようになる。ま
た、これに対して、投票を行うと、図１２（ｂ）のよう
になる。

【０１０３】ソーベルフィルタを用いた図１６（ａ）に
対し、図１２（ａ）では、ノイズが少ないため、図１２
（ｂ）に示すように、図１６（ｂ）におけるテンプレー
トｔ４，ｔ５のような、余分な投票が行われず、余分な
演算処理がない。余分な投票が行われて真の顔位置の投
票値が埋もれ、判別しづらくなるようなこともない。演
算処理量と速度の面、判別の容易さという精度の面、こ
の２つの面において、本形態に関する図１２（ａ）の結
果は、図１６（ａ）の結果よりも、演算処理量の削減と
検出精度の向上を実現しているため優れている。

【０１０４】次に、図１、図１３〜図１５を用いて、極
大点抽出部１３等について説明する。この極大点抽出部
１３は、投票結果記憶部１１に格納された投票結果にお
ける極大点を抽出し抽出結果を生成する。

【０１０５】また、極大点抽出部１３は、中心画素の投
票結果と、この中心画素の周囲の画素の投票結果との差
を求める、リングフィルタを用いて、抽出結果を生成
し、投票結果から、局所極大であり、かつ孤立的な投票
点を検出する。

【０１０６】図１３（ａ）〜（ｃ）に例示するリングフ
ィルタが、図１に示すリングフィルタ記憶部１２に格納
されている。

【０１０７】極大点抽出部１３は、このリングフィルタ
を、図１４（ａ）に示すように、投票結果記憶部１１の
各投票面Ｖ１，Ｖ２，．．．Ｖｎ上で、走査し、リング
フィルタの評価値Ｖａｌを、該当する抽出結果記憶部１
４の抽出面Ｒ１，Ｒ２，．．．Ｒｎに格納する。

【０１０８】次に、図１３を用いて、リングフィルタの
例を説明する。図１３（ａ）のリングフィルタは、サイ
ズが３×３であり、その評価値Ｖａｌは、投票面とフィ
ルタが重なる時、中心画素の投票値Ａから、４つの周辺
画素Ｂ１、Ｂ２、Ｂ３、Ｂ４のうち最大の投票値を、引
いたものである。また、図１３（ｂ）に示すように、リ
ングフィルタの評価値Ｖａｌは、投票面とフィルタが重
なる時、中心画素の投票値Ａから、８つの周辺画素Ｂ１
〜Ｂ８のうち最大の投票値とを、引いたものとしてもよ
い。

【０１０９】さらに、図１３（ｃ）に示すように、３×
３以上のサイズとすることもできる。

【０１１０】このようなリングフィルタを用いることに
より、図１５（ａ）のような投票値の分布が得られた場
合、図１５（ａ）の左側の急峻な山のように、中心画素
Ａの投票値が局所極大であり、かつ孤立的な投票値であ
るものは、評価値Ｒが高い値となる。

【０１１１】逆に、図１５（ａ）の右側の山のように、
投票値が高くても、周囲も同様に高い値を示す孤立的で
はない点では、評価値Ｒが低くなる。

【０１１２】さらに、図１５（ｂ）の尾根のように、投
票値のたかみが横に伸びているような場合、評価値Ｒは
低くなる。

【０１１３】本形態のような、極大点抽出部１３を用い
ると、投票面の起伏を見ない投票値による単純固定閾値
では検出できない急峻な変化も、捉えることができ、顔
領域候補や目領域候補の絞り込みに適している。

【０１１４】また、図１において、対象物特定部１５
は、抽出結果記憶部１４に格納された抽出結果（各抽出
面）に基づいて、対象物の位置及びサイズを特定する。

【０１１５】具体的には、対象物特定部１５は、各抽出
面の評価値Ｒのうち、最大の評価値を持つ抽出面上の座
標を、対象物の位置とし、その面に関するテンプレート
のサイズを、対象物のサイズ（例えば、半径で表現す
る）とする。

【０１１６】ここで、本明細書にいう「プログラムをコ
ンピュータ読み取り可能に記録した記録媒体」には、複
数の記録媒体にプログラムを分散して配布する場合を含
む。また、このプログラムが、オペレーティングシステ
ムの一部であるか否かを問わず、種々のプロセスないし
スレッド（ＤＬＬ、ＯＣＸ、ＡｃｔｉｖｅＸ等（マイク
ロソフト社の商標を含む））に機能の一部を肩代わりさ
せている場合には、肩代わりさせた機能に係る部分が、
記録媒体に格納されていない場合も含む。

【０１１７】図１には、スタンドアロン形式のシステム
を例示したが、サーバー／クライアント形式にしても良
い。つまり、１つの端末機のみに、本明細書に出現する
全ての要素が含まれている場合の他、１つの端末機がク
ライアントであり、これが接続可能なサーバないしネッ
トワーク上に、全部又は一部の要素が実存していても、
差し支えない。

【０１１８】さらには、図１のほとんどの要素をサーバ
ー側で持ち、クライアント側では、例えば、ＷＷＷブラ
ウザだけにしても良い。この場合、各種の情報は、通常
サーバ上にあり、基本的にネットワークを経由してクラ
イアントに配布されるものだが、必要な情報が、サーバ
上にある時は、そのサーバの記憶装置が、ここにいう
「記録媒体」となり、クライアント上にある時は、その
クライアントの記録装置が、ここにいう「記録媒体」と
なる。

【０１１９】さらに、この「プログラム」には、コンパ
イルされて機械語になったアプリケーションの他、上述
のプロセスないしスレッドにより解釈される中間コード
として実存する場合や、少なくともリソースとソースコ
ードとが「記録媒体」上に格納され、これらから機械語
のアプリケーションを生成できるコンパイラ及びリンカ
が「記録媒体」にある場合や、少なくともリソースとソ
ースコードとが「記録媒体」上に格納され、これらから
中間コードのアプリケーションを生成できるインタープ
リタが「記録媒体」にある場合なども含む。

【０１２０】

【発明の効果】本発明では、次の効果がある。投票を行
う前に、ノイズを抑制し、エッジ点を減らすため、現状
のパーソナルコンピュータレベルの処理能力で、高速実
行でき、実時間で実行可能である。

【０１２１】エッジ検出にフレーム差分ではなく、静止
画エッジ検出を用いることにより、カメラが非固定系で
あったり、人物があまり動かない場合、背景が動いてい
る場合などのフレーム間差分では安定してエッジ検出で
きない場合においても、安定して人物を検出することが
できる。

【０１２２】エッジ抽出部により、微細なエッジは取り
除かれ、凹凸の激しいエッジはならされて単純なエッジ
になるため、エッジ点数が下がり、投票の前処理が優れ
ている。

【０１２３】投票値が高いだけではなく、急峻に高くな
っている部分のみを検出でき、顔や目などの検出に適し
ている。

【図面の簡単な説明】

【図１】本発明の一実施の形態における画像処理装置の
ブロック図

【図２】同画像処理装置のブロック図

【図３】同画像処理装置のフローチャート

【図４】（ａ）同画像の例示図 （ｂ）同フィルタの説明図 （ｃ）同ラスタスキャンの説明図

【図５】（ａ）フィルタｘ成分の説明図 （ｂ）フィルタｙ成分の説明図

【図６】（ａ）同フィルタ処理結果の例示図 （ｂ）同エッジ画像の例示図

【図７】（ａ）同細線化プロセスの説明図（フィルタ処
理結果） （ｂ）同細線化プロセスの説明図（エッジベクトルｘ成
分） （ｃ）同細線化プロセスの説明図（エッジベクトルｙ成
分）

【図８】同細線化部のフローチャート

【図９】（ａ）同細線化プロセスの説明図 （ｂ）同細線化プロセスの説明図

【図１０】同テンプレートと投票面との関係説明図

【図１１】（ａ）同テンプレートの例示図 （ｂ）同テンプレートの例示図 （ｃ）同テンプレートの例示図 （ｄ）同テンプレートの例示図 （ｅ）同投票の例示図

【図１２】（ａ）同エッジ画像の例示図（本形態） （ｂ）同投票プロセスの説明図（本形態）

【図１３】（ａ）同リングフィルタの例示図 （ｂ）同リングフィルタの例示図 （ｃ）同リングフィルタの例示図

【図１４】（ａ）同リングフィルタのスキャン説明図 （ｂ）同評価面の例示図

【図１５】（ａ）同投票値の分布例示図 （ｂ）同投票値の分布例示図

【図１６】（ａ）エッジ画像の例示図（ソーベルフィル
タ） （ｂ）投票プロセスの説明図（ソーベルフィルタ）

【符号の説明】

１ 入力画像記憶部 ２ エッジ抽出部 ３ フィルタ記憶部 ４ エッジベクトル記憶部 ５ フィルタ処理結果記憶部 ６ エッジ画像記憶部 ７ フィルタ処理部 ８ 細線化部 ９ テンプレート記憶部 １０ 投票部 １１ 投票結果記憶部 １２ リングフィルタ記憶部 １３ 極大点抽出部 １４ 抽出結果記憶部 １５ 対象物特定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高田 雄二 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 (72)発明者 今川 和幸 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 福宮 英二 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B057 CA08 CA12 CA16 CC01 CE02 CE03 CE06 CF01 CH07 CH09 CH11 CH12 DA08 DA12 DB02 DB09 DC09 DC13 DC16 5L096 AA06 EA05 FA06 FA69 GA55

Claims (21)

【特許請求の範囲】
1. 【請求項１】画像を入力してエッジ画像を生成するエッ
   ジ抽出部と、 テンプレートを用いてエッジ画像上で投票を行い投票結
   果を生成する投票部と、 投票結果における極大点を抽出し抽出結果を生成する極
   大点抽出部と、 抽出結果に基づいて対象物の位置を特定する対象物特定
   部とを備える画像処理装置。
2. 【請求項２】前記エッジ抽出部は、画像におけるノイズ
   の除去とエッジの抽出とを一括して行うフィルタを使用
   するフィルタ処理部を備える、請求項１記載の画像処理
   装置。
3. 【請求項３】前記エッジ抽出部は、前記フィルタ処理部
   によるフィルタ処理結果を細線化する細線化部を備え
   る、請求項２記載の画像処理装置。
4. 【請求項４】前記フィルタは、ガウスフィルタと単位ベ
   クトルとを掛け合わせたフィルタである、請求項２から
   ３記載の画像処理装置。
5. 【請求項５】前記フィルタ処理部は、ｘｙ方向について
   のフィルタを使用しフィルタ処理結果の他に、ｘｙ平面
   内のエッジベクトルを出力する、請求項２から４記載の
   画像処理装置。
6. 【請求項６】前記細線化部は、 注目画素と、この注目画素の隣接画素とにおけるフィル
   タ処理結果の大小関係と、 エッジベクトルの向きとに基づいて、フィルタ処理結果
   を細線化する、請求項３から５記載の画像処理装置。
7. 【請求項７】前記極大点抽出部は、 中心画素の投票結果と、 この中心画素の周囲の画素の投票結果との差分に基づい
   て、抽出結果を生成する、請求項１から６記載の画像処
   理装置。
8. 【請求項８】前記極大点抽出部は、 中心画素の投票結果と、 この中心画素の周囲の画素の投票結果との差を求める、
   リングフィルタを用いて抽出結果を生成する、請求項７
   記載の画像処理装置。
9. 【請求項９】前記テンプレート、前記投票結果及び前記
   抽出結果は、複数のサイズ毎に区別して設定され、 前記対象物特定部は、対象物の位置及びサイズを特定す
   る、請求項１から８記載の画像処理装置。
10. 【請求項１０】前記対象物は、人間の顔又は人間の目領
    域のいずれかである、請求項１から９記載の画像処理装
    置。
11. 【請求項１１】画像を入力してエッジ画像を生成するエ
    ッジ抽出ステップと、 テンプレートを用いてエッジ画像上で投票を行い投票結
    果を生成する投票ステップと、 投票結果における極大点を抽出し抽出結果を生成する極
    大点抽出ステップと、 抽出結果に基づいて対象物の位置を特定する対象物特定
    ステップとを含む画像処理方法。
12. 【請求項１２】前記エッジ抽出ステップは、画像におけ
    るノイズの除去とエッジの抽出とを一括して行うフィル
    タを使用するフィルタ処理ステップを含む、請求項１１
    記載の画像処理方法。
13. 【請求項１３】前記エッジ抽出ステップは、前記フィル
    タ処理ステップによるフィルタ処理結果を細線化する細
    線化ステップを含む、請求項１２記載の画像処理方法。
14. 【請求項１４】前記フィルタは、ガウスフィルタと単位
    ベクトルとを掛け合わせたフィルタである、請求項１２
    から１３記載の画像処理方法。
15. 【請求項１５】前記フィルタ処理ステップでは、ｘｙ方
    向についてのフィルタを使用しフィルタ処理結果の他
    に、ｘｙ平面内のエッジベクトルを出力する、請求項１
    ２から１４記載の画像処理方法。
16. 【請求項１６】前記細線化ステップでは、 注目画素と、この注目画素の隣接画素とにおけるフィル
    タ処理結果の大小関係と、 エッジベクトルの向きとに基づいて、フィルタ処理結果
    を細線化する、請求項１３から１５記載の画像処理方
    法。
17. 【請求項１７】前記極大点抽出ステップでは、 中心画素の投票結果と、 この中心画素の周囲の画素の投票結果との差分に基づい
    て、抽出結果を生成する、請求項１１から１６記載の画
    像処理方法。
18. 【請求項１８】前記極大点抽出ステップでは、 中心画素の投票結果と、 この中心画素の周囲の画素の投票結果との差を求める、
    リングフィルタを用いて抽出結果を生成する、請求項１
    ７記載の画像処理方法。
19. 【請求項１９】前記テンプレート、前記投票結果及び前
    記抽出結果は、複数のサイズ毎に区別して設定され、 前記対象物特定ステップでは、対象物の位置及びサイズ
    を特定する、請求項１１から１８記載の画像処理方法。
20. 【請求項２０】前記対象物は、人間の顔又は人間の目領
    域のいずれかである、請求項１１から１９記載の画像処
    理方法。
21. 【請求項２１】画像を入力してエッジ画像を生成するエ
    ッジ抽出ステップと、 テンプレートを用いてエッジ画像上で投票を行い投票結
    果を生成する投票ステップと、 投票結果における極大点を抽出し抽出結果を生成する極
    大点抽出ステップと、 抽出結果に基づいて対象物の位置を特定する対象物特定
    ステップとを含む、画像処理プログラムをコンピュータ
    読み取り可能に記録した記録媒体。