JP2002304627A

JP2002304627A - 画像処理方法及びその装置

Info

Publication number: JP2002304627A
Application number: JP2001120496A
Authority: JP
Inventors: Kazuyuki Imagawa; 和幸今川; Tetsuya Yoshimura; 哲也吉村; Katsuhiro Iwasa; 克博岩佐; Hideaki Matsuo; 英明松尾; Yuji Takada; 雄二高田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-02-01
Filing date: 2001-04-19
Publication date: 2002-10-18
Anticipated expiration: 2021-04-19
Also published as: EP1729244B1; CN1254769C; KR20020064212A; EP1729244A1; EP1229489A2; DE60236693D1; US7227996B2; EP1229489A3; JP3846851B2; US20020136459A1; CN1369856A

Abstract

(57)【要約】【課題】正確かつ先鋭な認識結果と処理の高速性とが
得られる画像処理方法を得る。【解決手段】テンプレート画像及び入力画像の双方に
ついて、該当画像を入力し、該当画像のエッジ法線方向
ベクトルを求め、エッジ法線方向ベクトルから評価ベク
トルを生成し、評価ベクトルを直交変換し、テンプレー
ト画像及び入力画像のそれぞれについて得た、直交変換
後の各評価ベクトルについて、対応スペクトルデータを
積和計算し、逆直交変換して、類似値のマップを生成す
る。そして、類似値の式、直交変換及び逆直交変換は、
いずれも線形性をもつ。背景部分の輝度変化で類似値の
成分が正負反転しない、パターン認識を行える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テンプレート画像
を用いて、入力画像中から対象物を検出する画像処理方
法及びその装置に関するものである。

【０００２】

【従来の技術】従来より、テンプレート画像を予め登録
し、入力画像とテンプレート画像との間で、パターンマ
ッチングを行って、テンプレート画像に類似する画像
の、入力画像における位置を検出する技術は、周知であ
る。

【０００３】しかし、テンプレート画像に類似する画像
の背景如何では、誤認識が発生しやすいため、この点を
工夫した技術が、特開平５−２８２７３号公報として、
開示されている。

【０００４】このものでは、テンプレート画像とテンプ
レート画像に対応する画像との、類似値を、次式で定義
する。

【数１】

【０００５】つまり、テンプレート画像のエッジ法線ベ
クトルと、入力画像のエッジ法線ベクトルとのなす角Θ
の、内積（ｃｏｓΘ）を類似値の成分としている。

【０００６】

【発明が解決しようとする課題】しかしながら、後に詳
しく説明するように、対象物の像の周囲で、背景部分の
輝度がばらつくと、内積の正負が逆転して、類似値が実
体に合わなくなり、誤認識が発生しやすく、良好な認識
結果が得にくいという問題点がある。

【０００７】また、入力画像及びテンプレート画像のエ
ッジ法線方向ベクトルに対して、類似値式が、非線形で
あり、テンプレート画像に係る処理と、入力画像のそれ
とを、同時に実行しなければならない。

【０００８】そして、入力画像上にテンプレート画像を
走査させ、各走査点毎に、入力画像と参照画像の相関計
算を行わざるを得ず、計算量が膨大で、事実上、実時間
処理は不可能である。

【０００９】そこで本発明は、正確かつ先鋭な認識結果
と処理の高速性とが得られる画像処理方法及びその装置
を提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明においては、テン
プレート画像と入力画像とのマッチングを、類似値のマ
ップを用いて評価する。また、テンプレート画像と入力
画像とのそれぞれについて、評価ベクトルを生成する。
しかも、これらの評価ベクトルは、該当画像のエッジ法
線方向ベクトルを、偶数倍角変換した成分を含む。

【００１１】この構成により、認識結果が正確かつ先鋭
で、処理が高速な画像処理方法が実現できる。

【００１２】

【発明の実施の形態】請求項１記載の画像処理方法で
は、テンプレート画像と入力画像とのマッチングを、類
似値のマップを用いて評価するものであり、テンプレー
ト画像と入力画像とのそれぞれについて、評価ベクトル
を生成し、しかも、これらの評価ベクトルは、該当画像
のエッジ法線方向ベクトルを、偶数倍角変換した成分を
含む。

【００１３】これにより、背景部分の輝度のばらつきに
より、テンプレート画像のエッジ法線ベクトルと、入力
画像のエッジ法線ベクトルとのなす角Θの、内積（ｃｏ
ｓΘ）の正負が反転する場合でも、類似値に影響が無
く、正当にマッチングを評価できる。

【００１４】請求項２記載の画像処理方法では、テンプ
レート画像及び入力画像の双方について、該当画像を入
力し、該当画像のエッジ法線方向ベクトルを求めるステ
ップと、エッジ法線方向ベクトルから評価ベクトルを生
成するステップと、評価ベクトルを直交変換するステッ
プとを備え、テンプレート画像及び入力画像のそれぞれ
について得た、直交変換後の各評価ベクトルについて、
対応スペクトルデータを積和計算するステップと、積和
計算結果を、逆直交変換して類似値のマップを生成する
ステップとを有し、かつ、類似値の式、直交変換及び逆
直交変換は、いずれも線形性をもつものである。

【００１５】これにより、テンプレート画像に係るフー
リエ変換値と、入力画像に係るフーリエ変換値は、同時
に求める必要はない。つまり、テンプレート画像に係る
フーリエ変換値を、入力画像のそれに先行して、求めて
おくことができ、処理負担を軽くして、一層高速化でき
る。

【００１６】請求項３記載の画像処理方法では、直交変
換後の各評価ベクトルを、圧縮して処理量を削減するス
テップを含む。

【００１７】これにより、処理対象を、有効な成分（例
えば、低周波成分）のみに削減して、さらに高速な処理
を実現できる。

【００１８】請求項４記載の画像処理方法では、テンプ
レート画像については、入力画像を入力するに先立ち、
直交変換後の評価ベクトルを圧縮するまでのステップを
行っておき、その結果を記録手段に保存しておく。

【００１９】これにより、テンプレート画像側の処理
は、記録手段から読み出すだけで良く、一層高速化でき
る。

【００２０】請求項５記載の画像処理方法では、評価ベ
クトルは、ベクトルの長さについて正規化されている。

【００２１】撮影条件により、入力画像のエッジの強度
は変化し、ベクトルの長さが変化するが、このようにす
ることにより、長さの変化を受けないようにして、パタ
ーン抽出の安定性を高めることができる。

【００２２】請求項６記載の画像処理方法では、テンプ
レート画像に係る評価ベクトルは、エッジ法線方向ベク
トルの個数で正規化されている。

【００２３】このように、ｎで割って正規化することに
より、テンプレート画像における、エッジ個数の多寡に
よらず、同じ尺度で類似度合いを評価できる。

【００２４】請求項７記載の画像処理方法では、積和計
算を行う前に、直交変換の複素共役性を利用してデータ
量を削減し、積和計算後にデータ量を復元する。

【００２５】これにより、データ量を大幅に削減して、
処理を高速化し、記憶容量を節約できる。

【００２６】請求項８記載の画像処理方法では、テンプ
レート画像を各種サイズに拡縮し、各サイズについて評
価ベクトルの加算処理を行う。

【００２７】これにより、各種サイズ毎にマッチングを
繰り返す必要がなくなり、高速化できる。

【００２８】請求項９記載の画像処理方法では、テンプ
レート画像について、評価ベクトルの加算処理を、圧縮
して処理量を削減するステップの後に行う。

【００２９】これにより、加算処理対象を削減でき、一
層高速化を図れる。

【００３０】請求項１０記載の画像処理方法では、テン
プレート画像は、顔を模式化したものである。

【００３１】これにより、顔の全体的な位置だけでな
く、目鼻口等の主要な顔部品の位置も把握できる。

【００３２】請求項１１記載の画像処理方法では、類似
値のピークを急峻にするピークパターンを用意し、この
ピークパターンのデータを直交変換したものを、積和計
算に反映させる。

【００３３】これにより、ピークパターンを反映して、
より先鋭且つ安定に、テンプレートと類似する部分を入
力画像中から検出できる。

【００３４】請求項１２記載の画像処理方法では、テン
プレート画像に依存するマスクパターンを作成し、この
マスクパターンのデータを直交変換したものを、積和計
算に反映させる。

【００３５】これにより、テンプレート画像の形状以外
の属性を加味して、より精密な検出ができる。

【００３６】請求項１３記載の画像処理方法では、マス
クパターンは、テンプレート画像における画像内部の画
素数平均を示すものである。

【００３７】これにより、簡単なマスクパターンで、テ
ンプレート画像の属性を反映できる。

【００３８】請求項１４記載の画像処理方法では、テン
プレート画像について、元のテンプレート画像の評価ベ
クトルの正負符号を処理して、元のテンプレート画像に
対し左右対称な画像の評価ベクトルを生成するステップ
を有し、生成した評価ベクトルを積和計算に反映させ
る。

【００３９】これにより、テンプレート画像の記録量を
節約でき、しかも、左右反転したテンプレート画像の評
価ベクトルを、直接的な演算なしに、生成でき、高速化
を図れる。

【００４０】請求項１５記載の画像処理方法では、抽出
した顔画像に基づいて、点双対相関係数のマップを生成
し、顔部品の位置を求める。

【００４１】これにより、顔部品の位置を、より正確に
特定できる。

【００４２】請求項１６記載の画像処理方法では、抽出
した顔画像に基づき、マスクパターンを用いてｙ方向の
投影値分布を求め、この分布から２つの極大点を求め、
この極大点間を口範囲として出力する。

【００４３】これにより、口範囲を、より正確に特定で
きる。

【００４４】請求項１７記載の画像処理方法では、抽出
した顔画像に基づいて、入力画像を、顔画像のみと、顔
画像を除いた部分とに分離し、顔画像のみに電子透かし
を埋込み、電子透かしを埋め込んだ顔画像と、顔画像を
除いた部分とを、合成して出力する。

【００４５】これにより、改ざんの対象になりやすい顔
部分に重点的に透かしデータを埋め込める。

【００４６】請求項１８記載の画像処理方法では、抽出
した顔画像に基づいて、入力画像を、顔画像のみと、顔
画像を除いた部分とに分離し、顔画像のみに編集を施
し、編集した顔画像と、顔画像を除いた部分とを、合成
して出力する。

【００４７】これにより、顔以外の部分に影響を与えず
に、顔画像のみ補正できる。

【００４８】請求項３２記載の画像処理方法では、抽出
した顔画像に基づいて、入力画像から顔画像を切り出
し、切り出した顔画像から顔内部画像を抽出し、抽出し
た顔画像に基づいて顔画像の補正に役立つ特徴を求め、
求めた特徴に基づいて補正関数を決定し、少なくとも切
り出した顔画像について、決定した補正関数に基づく画
像補正を施す。

【００４９】これにより、顔画像の補正は、顔内部画像
のみの特徴に依存し、顔画像でない画像の悪影響を受け
ないので、顔画像の見やすさを確実に向上できる。

【００５０】（実施の形態１）次に、本発明の画像処理
装置の基本形について、図１から図８を参照しながら、
説明する。

【００５１】図１に示すように、実施の形態１に係る画
像処理装置は、テンプレート画像処理部１００と、入力
画像処理部２００との２つの系統の処理部を持ち、テン
プレート画像と入力画像とのマッチングを類似値Ｌのマ
ップを用いて評価する。また、この画像処理装置では、
テンプレート画像処理部１００と入力画像処理部２００
とにおいて、それぞれ、線形性を持つ直交変換を行い、
積算した後に、逆直交変換して、類似値Ｌを求める。

【００５２】ここで、以下すべての実施の形態におい
て、このような直交変換として、ＦＦＴ（高速離散フー
リエ変換）を使用することとするが、他に、Ｈａｒｔｌ
ｅｙ変換や数論的変換などを用いることもでき、以下の
説明において、「フーリエ変換」とあるのを、これらの
変換に置き換えて適用することができる。

【００５３】また、テンプレート画像処理部１００、入
力画像処理部２００のいずれにおいても、エッジ法線方
向ベクトルの内積を利用し、エッジ法線方向ベクトルの
方向が近いほど、高い相関を出すようにしている。しか
も、この内積は、偶数倍角表現を用いて評価される。以
下簡単のため、偶数倍角の例として、２倍角の場合のみ
を説明するが、４倍角、６倍角などの、他の偶数倍角に
おいても、本発明と同様の効果がある。

【００５４】次に、テンプレート画像処理部１００につ
いて、説明する。エッジ抽出手段１は、テンプレート画
像に対して、ｘ方向、ｙ方向のそれぞれについて、微分
処理（エッジ抽出）を施し、テンプレート画像のエッジ
法線方向ベクトルを出力する。

【００５５】本例では、ｘ方向について、

【数２】なるＳｏｂｅｌフィルタを用い、ｙ方向について、

【数３】なるＳｏｂｅｌフィルタを用いている。

【００５６】これらのフィルタにより、次式で定義され
る、テンプレート画像のエッジ法線方向ベクトルが求め
られる。

【数４】

【００５７】本例では、横断歩道付近を撮影した入力画
像から、特定の姿勢をして横断歩道を歩いている人物の
像を抽出するものとする。

【００５８】このとき、人物のテンプレート画像は、例
えば、図２（ａ）のような画像になる。また、図２
（ａ）のテンプレート画像について、（数２）のフィル
タ処理を施すと、図２（ｂ）のような結果（ｘ成分）が
得られ、図２（ａ）のテンプレート画像について、（数
３）のフィルタ処理を施すと、図２（ｃ）のような結果
（ｙ成分）が得られる。

【００５９】評価ベクトル生成手段２は、エッジ抽出手
段１からテンプレート画像のエッジ法線方向ベクトル
を、入力し、次に述べる処理を行って、テンプレート画
像の評価ベクトルを直交変換手段３へ出力する。

【００６０】まず、評価ベクトル生成手段２は、次式を
用いて、テンプレート画像のエッジ法線方向ベクトル
を、長さについて正規化する。

【数５】

【００６１】ここで一般に、撮影条件により、入力画像
のエッジの強度は、変化してしまう。しかし、入力画像
とテンプレート画像との、それぞれのエッジ間の角度差
（あるいは、この角度差により単調変化する従属関数
値）は、撮影条件の影響を受けにくい。

【００６２】そこで、本発明では、後述するように、入
力画像処理部２００において、入力画像のエッジ法線方
向ベクトルを、長さ１に正規化している。これにあわせ
て、テンプレート画像処理部１００においても、テンプ
レート画像のエッジ法線方向ベクトルも、長さ１に正規
化している。

【００６３】これにより、パターン抽出の安定性を高め
ることができる。なお通常、正規化する長さは、通常
「１」が良いと考えられるが、他の定数を用いることも
できる。

【００６４】また、周知のように、三角関数について
は、次の倍角公式が成立する。

【数６】

【００６５】そして、評価ベクトル生成手段２は、次式
で定義される、テンプレート画像の評価ベクトルを求め
る。

【数７】

【００６６】（数７）について説明する。まず、定数ａ
より小さなベクトルを、ゼロベクトルにしているのは、
ノイズなどを除去するためである。

【００６７】次に、この評価ベクトルのｘ，ｙ各成分
を、ｎで割って正規化している点について、説明する。

【００６８】一般に、テンプレート画像の形状は、任意
であり、そのエッジの形状は様々である。例えば、図８
（ａ）に示すように、エッジの個数が少ないこともある
し、図８（ｂ）のように、（図８（ａ）に比べれば）エ
ッジの個数が多いこともある。そこで、本形態では、ｎ
で割って正規化することにより、テンプレート画像にお
ける、エッジ個数の多寡によらず、同じ尺度で類似度合
いを評価できるように、工夫している。

【００６９】但し、ｎで割る正規化処理は、必ず実施し
なければならないものではなく、一種類のテンプレート
画像のみしか用いない場合や、エッジの個数が同じテン
プレート画像しか用いない場合では、ｎで割る正規化処
理は、省略できる。

【００７０】次に、（数７）のｘ，ｙ各成分が、（数
５）のｘｙ各成分の、倍角に係る余弦・正弦の従属関数
になっている点について、説明する。

【００７１】ここで、従来の技術のように、テンプレー
トの評価ベクトルＴと、入力画像の評価ベクトルＩとの
なす角を、Θとし、その内積、つまり、ｃｏｓΘを類似
尺度として用いると、次のような問題がある。

【００７２】例えば、テンプレート画像は図７（ａ）の
とおりであり、入力画像は図７（ｂ）に示すようである
ものとする。このうち、図７（ｂ）の背景部分につい
て、対象物の像の左側部分が、対象物の像よりも明る
く、対象物の像の右側部分が、対象物の像よりも暗くな
っている。

【００７３】画像のみで見れば、図７（ａ）のテンプレ
ート画像の中心が、図７（ｂ）の入力画像の中心に一致
するとき、対象物の像が完全に一致するので、このと
き、類似値は、最大にならなければならない。そして、
エッジ法線方向ベクトルは、対象部の像から外側に向く
ものを正とすると、図７（ｂ）の明るい背景部分でも、
暗い背景部分でも、対象物の像から見て、同じ向き（外
向き／内向き）を向かなければならない。

【００７４】しかしながら、このとき、図７（ｂ）の背
景部分の輝度が、対象物の左右でばらついていると、図
７（ｂ）に矢印で示しているように、向きが、反対（明
るい背景部分では対象物から外側向き、暗い背景部分で
は対象物の内側向き）になってしまう。

【００７５】このような場合、本来、最大の類似値とな
るべき場合において、必ずしも類似値が高い値になら
ず、誤認識を招きやすい。

【００７６】以上の点を、図６を用いて、さらに詳しく
説明する。テンプレート画像の評価ベクトルＴと、入力
画像の評価ベクトルＩとのなす角を、Θとし、その内
積、つまり、ｃｏｓΘを類似値として用いる場合、以上
説明したように、対象物の像の周囲に存在する、背景部
分の輝度のばらつきにより、入力画像の評価ベクトルＩ
の方向には、図６のＩと、その正反対のＩ’の、２通り
の可能性がある。

【００７７】このため、類似尺度である、内積は、ｃｏ
ｓΘと、ｃｏｓΘ’との、２通りがあり得ることにな
る。

【００７８】しかも、Θ＋Θ’＝πであり、ｃｏｓΘ’
＝ｃｏｓ（π−Θ）＝−ｃｏｓΘである。

【００７９】つまり、ｃｏｓΘを類似尺度として用いる
と、本来、類似値を増やすように作用しなければならな
い場合において、逆に類似値を削減することになる場合
があり、類似値を減らすように作用しなければならない
場合において、逆に類似値を増やすことになる場合があ
る。

【００８０】つまり、従来技術の類似値では、テンプレ
ート画像と入力画像とのマッチングを、正しく評価でき
ない。その結果、従来技術では、誤認識が発生しやすい
し、認識ができても認識結果が先鋭でないという問題点
がある。

【００８１】そこで本発明では、Θの倍角の余弦（ｃｏ
ｓ（２Θ））を、類似値の式に使用している。こうする
と、ｃｏｓΘ’＝−ｃｏｓΘとなっていても、（数６）
の倍角公式から、ｃｏｓ（２Θ’）＝ｃｏｓ（２Θ）と
なる。つまり、類似値を増やすように作用しなければな
らない場合には、背景部分に影響されずに、類似値は高
くなる。したがって、背景部分の輝度のばらつきがあっ
ても、正当にマッチングを評価することができる。以上
の点は、２倍角だけでなく、４倍角や６倍角などでも同
様に成立する。

【００８２】しかも、偶数倍角の余弦を用いても、類似
値が角Θに対して単調減少になる性質は変わらない。

【００８３】従って、本発明によれば、偶数倍角評価に
より、背景の輝度条件に関わらず、安定してパターンを
抽出できる。

【００８４】より具体的には、本発明では、次式によ
り、類似値を定義する。

【数８】

【００８５】ここで、（数８）では、加算、積算のみか
らなるので、類似値は、入力画像及びテンプレート画像
のそれぞれの評価ベクトルについて、線形である。した
がって、（数８）をフーリエ変換すると、フーリエ変換
の離散相関定理（参考文献：高速フーリエ変換宮川洋
訳科学技術出版社）により、

【数９】となる。

【００８６】また、（数９）を、逆フーリエ変換すれ
ば、（数８）の類似値が得られる。そして、（数９）を
注意深く観察すると、次の２点が明らかとなろう。

【００８７】まず、（１）直交変換した後の変換値にお
いては、テンプレート画像に係るフーリエ変換値と、入
力画像に係るフーリエ変換値は、単純に積和すればよ
い。

【００８８】また、（２）テンプレート画像に係るフー
リエ変換値と、入力画像に係るフーリエ変換値は、同時
に求める必要はなく、テンプレート画像に係るフーリエ
変換値を、入力画像のそれに先行して、求めておいても
かまわない。

【００８９】そこで、本形態では、テンプレート画像処
理部１００に、記録手段５を設け、入力画像の入力に先
立ち、圧縮手段４の出力を記録しておくことにしてい
る。これにより、入力画像が入力画像処理部２００に入
力された後は、テンプレート画像処理部１００は、何ら
テンプレート画像の処理を行う必要がなく、入力画像処
理部２００及び積算手段１０より後段の処理に、処理能
力を集中させることができ、一層処理を高速化できる。

【００９０】次に、評価ベクトル生成手段２よりも後段
の構成を説明する。図１に示すように、テンプレート画
像処理部１００において、評価ベクトル生成手段２から
出力される、テンプレート画像の評価ベクトルは、直交
変換手段３により、フーリエ変換され、圧縮手段４に出
力される。

【００９１】圧縮手段４は、フーリエ変換後の評価ベク
トルを、削減して、記録手段５に格納する。図３に示す
ように、変換後の評価ベクトルは、ｘ，ｙ両方向につい
て、高低さまざまな周波数成分を含んでいる。本発明者
らの実験によれば、すべての周波数成分について処理を
行わなくとも、低周波数成分（例えば、ｘｙ両方向につ
いて、低周波側半分ずつ等）について、処理を行えば、
十分な精度が得られることがわかっている。なお、図３
において、斜線を付していない領域（−ａ≦ｘ≦ａ，−
ｂ≦ｙ≦ｂ）が、元の領域であり、斜線を付した領域
（−ａ／２≦ｘ≦ａ／２，−ｂ／２≦ｙ≦ｂ／２）が削
減後の領域である。即ち、処理量は、１／４倍となる。

【００９２】このようにすれば、処理対象を削減して、
さらに高速な処理を実現できる。

【００９３】なお、圧縮手段４及び記録手段５は、デー
タ量が小さいときや、高速性が要求されないときは、省
略することも可能である。

【００９４】次に、入力画像処理部２００について説明
する。入力画像処理部２００は、テンプレート画像処理
部１００とほぼ同じような処理を行う。即ち、エッジ抽
出手段６は、（数２）、（数３）により、次式で定義さ
れる入力画像のエッジ法線方向ベクトルを出力する。

【数１０】

【００９５】また、評価ベクトル生成手段７は、エッジ
抽出手段６から入力画像のエッジ法線方向ベクトルを入
力し、次の２つの式で定義される、入力画像の評価ベク
トルを出力する。

【数１１】

【数１２】

【００９６】テンプレート画像処理部１００と異なる点
は、ｎで割る正規化処理を行っていない点だけである。
即ち、偶数倍角による評価、長さ１への正規化処理、ノ
イズ除去処理は、テンプレート画像処理部１００と同様
に、行う。

【００９７】次に、評価ベクトル生成手段７よりも後段
の構成を説明する。図１に示すように、入力画像処理部
２００において、評価ベクトル生成手段７から出力され
る、入力画像の評価ベクトルは、直交変換手段８によ
り、フーリエ変換され、圧縮手段９に出力される。

【００９８】圧縮手段９は、フーリエ変換後の評価ベク
トルを、削減して、積算手段１０へ出力する。ここで、
圧縮手段９は、圧縮手段４と同一の周波数帯（本例で
は、ｘｙ両方向について、低周波側半分ずつ等）に、処
理対象を削減する。

【００９９】もちろん、圧縮手段９は、データ量が小さ
いときや、高速性が要求されないときは、省略すること
も可能であるが、テンプレート画像処理部１００におい
て、圧縮手段４を省略するときは、圧縮手段９も同様に
省略する。

【０１００】次に、積算手段１０以降を説明する。さ
て、テンプレート画像処理部１００及び入力画像処理部
２００の処理が完了すると、積算手段１０は、記録手段
５と圧縮手段９から、テンプレート画像及び入力画像
の、それぞれの評価ベクトルのフーリエ変換値を入力す
る。

【０１０１】そこで、記録手段５は、（数９）による積
和演算を行い、結果（類似値Ｌのフーリエ変換値）を逆
直交変換手段１１へ出力する。

【０１０２】逆直交変換手段１１は、類似値Ｌのフーリ
エ変換値を、逆フーリエ変換し、類似値ＬのマップＬ
（ｘ，ｙ）をマップ処理手段１２へ出力する。マップ処
理手段１２は、このマップＬ（ｘ，ｙ）から、値の高い
点（ピーク）を抽出し、その位置と値を出力する。な
お、マップ処理手段１２以降は、必要に応じて自由に構
成することができる。

【０１０３】次に、図４，図５を用いて、図２のテンプ
レート画像による処理例を説明する。まず、入力画像が
図４（ａ）のようであったとすると、エッジ抽出手段６
は、図４（ｂ）のようなｘ方向エッジ成分と、図４
（ｃ）のようなｙ方向エッジ成分を抽出する。

【０１０４】そして、上述した処理の結果、図５（ａ）
のような類似値のマップＬ（ｘ，ｙ）が得られる。ここ
で、「最大値」と記載した矢印の先端部分が、このマッ
プのピークであり、図５（ｂ）の入力画像と比較すれば
明らかなように、正しい点を１点のみで先鋭に認識でき
ていることが分かる。

【０１０５】従来技術では、入力画像のサイズをＡ（＝
２^γ）とし、テンプレート画像のサイズをＢとすると、
テンプレート画像を順次入力画像上を走査し、各位置で
の（数１）のρ_voを求めるために、積の回数：２ＡＢの計算回数が必要になる。ここで、計算回数は、計算コ
ストが高い、積の回数で評価する。

【０１０６】一方、本形態では、直交変換手段３、８に
よる２回のＦＦＴ、積算手段１０の積和計算、及び、逆
直交変換手段１１による１回の逆ＦＦＴが必要で、積の回数：３｛（２γ−４）Ａ＋４｝＋２Ａの計算回数ですむ。

【０１０７】これらの計算回数を比較すると、例えば、
Ａ＝２５６×２５６＝２¹⁶とし、Ｂ＝６０×６０とした
場合、本形態による積の計算回数は、従来技術の積の計
算回数の約１／１００になり、非常に高速な処理が可能
となる。

【０１０８】従来技術に係る（数１）のように、非線形
な式では、フーリエ変換の離散相関定理を利用すること
ができない。

【０１０９】したがって、従来技術では、本形態の図１
に示しているように、テンプレート画像に係る処理を、
入力画像のそれに先行させることができない。つまり、
従来技術では、テンプレート画像と入力画像の両方の処
理を同時に行わざるを得ず、この点においても、本形態
は、従来技術よりも処理が高速となる。

【０１１０】（実施の形態２）本形態では、図９に示す
ように、図１の要素に、共役圧縮手段１３及び共役復元
手段１４を追加している。共役圧縮手段１３は、記録手
段５から読み出される、テンプレート画像の、評価ベク
トルのフーリエ変換値を、フーリエ変換の複素共役性を
利用して、さらに半分に削減する。

【０１１１】この点について、説明する。実数のフーリ
エ変換により得られるスペクトルについては、次式が成
り立つ。

【数１３】

【０１１２】即ち、ある点のスペクトル値は、ｕｖ座標
系において、その点に対称な位置のスペクトル値の複素
共役に等しい。この性質を利用すれば、図１０（ａ）に
示すように、処理量を、ｕｖ座標系の半分に削減するこ
とができる。

【０１１３】さらに、ここでは、圧縮手段４及び圧縮手
段９による圧縮が行われるため、図１０（ｂ）に示すよ
うに、元のデータに対して、データ量を１／８に削減す
ることができ、処理の一層の高速化と記憶容量の節約を
図ることができる。

【０１１４】このため、本形態では、共役圧縮手段１３
が記録手段５から読み出したフーリエ変換値を半分にし
て、積算手段１０へ出力し、共役復元手段１４が積算手
段１０からの出力を、倍にする処理を行って、逆直交変
換手段１１へ出力することとしている。

【０１１５】以上が、本発明の基本である。以下さら
に、以上の基本を応用して、有用な技術を開示する。

【０１１６】（実施の形態３）本形態では、第１例と、
第２例の２つの例を説明する。いずれの例においても、
拡縮されたテンプレート画像を用いて、顔抽出を行う技
術を開示する。なお、この技術によれば、サイズが異な
る、相似形のテンプレートによる処理を、効率良く、か
つ、高速に、実施できる。なお、この技術の用途は、顔
抽出だけに限られるものではない。

【０１１７】「第１例」さて、図１１（ａ）は、本発明
の実施の形態３（第１例）によるテンプレート画像処理
部のブロック図である。図示しているように、図１又は
図９のテンプレート画像処理部１００に若干の変更を加
えてある。

【０１１８】まず、テンプレート画像が、テンプレート
画像処理部１０１に入力されると、拡縮手段１５で拡縮
されてから、エッジ抽出手段１へ拡縮後のテンプレート
画像がエッジ抽出手段１へ出力される。

【０１１９】また、評価ベクトル生成手段２がテンプレ
ート画像の評価ベクトルを出力すると、これを加算手段
１６が加算処理し、加算処理後のデータが、直交変換手
段３へ出力される。

【０１２０】ここで、加算手段１６は、複数のサイズ範
囲毎に、次式により加算処理を行う。

【数１４】

【０１２１】実施の形態１，２では、１つのテンプレー
ト画像だけで処理を行っていたが、本形態では、複数テ
ンプレートで、複数大きさのテンプレートを処理する。

【０１２２】その上、ある範囲毎に、テンプレートの大
きさを分け、テンプレート処理結果を重ねる。

【０１２３】図１２は、入力画像の例を示し、この入力
画像には、人物の顔の像が含まれている。このような場
合、図１３（ａ）のような、真っ直ぐな顔のテンプレー
ト画像を用意する。また、図１３（ｄ）のような、ある
角度傾けた顔のテンプレート画像を用意する。傾けた顔
について、どのような角度の範囲で用意するかは、適宜
選択できる。

【０１２４】そして、本形態では、図１３（ａ）、
（ｄ）のテンプレート画像のエッジを抽出すると、それ
ぞれ図１３（ｂ）、（ｅ）のようになる。また、図１３
（ａ）又は（ｄ）の画像を入力したとき、図１３
（ｃ）、（ｆ）のような、エッジ画像に対応する評価ベ
クトルを生成するものである。

【０１２５】そして、実施の形態１，２と同様に、テン
プレート画像に関するデータを、記録手段５に記録して
おく。

【０１２６】入力画像が入力されたならば、実施の形態
１，２と同様、入力画像処理部２００及び積算手段１０
以降の処理を行う。

【０１２７】なお、各テンプレート画像のすべてのサイ
ズ範囲の重ねテンプレートデータに対して、それぞれの
類似値マップを求める。

【０１２８】これにより、例えば、図１４に示すよう
な、検出結果が得られる。図１４から、明らかなよう
に、顔の全体的な位置だけでなく、その大きさや、目鼻
口等の主要な顔部品の位置も把握することができる。

【０１２９】このとき、マップ処理手段１２の後段にお
いて、図１４のように、その処理結果を、ディスプレイ
に表示したり、プリンタに出力したりするとよい。

【０１３０】「第１例」によると、次の効果がある。（１）あるサイズ範囲のテンプレートデータを加算し、
重ねたテンプレートで処理を行っても、テンプレートに
類似する部分は、高い類似値を示すことが多いため、す
べてのサイズの類似値を求めた場合、テンプレートの個
数をＮとし、すべてのサイズの個数をＭとした場合、積
和計算部と逆直交変換部の処理をＮＭ回繰り返さなけれ
ばいけないのに対し、重ねテンプレートでは、重ね範囲
の幅をＨとすると処理回数は、ＮＭ／Ｈとなり、効率化
できる。従って、顔抽出などを行う際に、より高速な処
理が可能となる。

【０１３１】（２）また、単に、顔の位置データを出力
するだけでなく、図１４のように、顔候補位置にテンプ
レートを重ねることで、目、鼻、口の大まかな候補領域
を抽出できる。

【０１３２】後の形態で述べるように、これらの領域の
画像を更に細かく処理することで、より正確な目鼻口等
の顔部品の位置を抽出することも可能である。

【０１３３】「第２例」本例では、図１１（ｂ）に示す
ように、テンプレート画像処理部１０２を構成する。即
ち、「第１例」に対して、加算手段１６の位置を、圧縮
手段４と記録手段５との間へ移動している。こうする
と、加算手段１６は、次式で加算処理をするように構成
する。

【数１５】

【０１３４】フーリエ変換前に線形であった、類似値式
は、変換後も線形である。したがって、「第１例」から
「第２例」のように、加算手段１６の位置を変更でき
る。

【０１３５】しかもこうすると、加算手段１６の処理対
象が、圧縮手段４によって圧縮されているため、「第１
例」よりも、加算手段１６の処理対象を削減でき、一層
高速化を図ることができるため、好適である。

【０１３６】（実施の形態４）図１５および図１６を用
いて、実施の形態４を説明する。本形態では、実施の形
態１，２において説明した類似値マップの極大点の値
を、より強いピーク値にする効率的な技術を開示する。

【０１３７】さて一般に、類似値マップでは、テンプレ
ート画像と合致する部分に、ピークが、現れる。本形態
では、極大点を含めた周辺のピークパターンｐを類似値
マップにフィルターとしてかけ、類似値マップ中のピー
クパターンに類似する部分の値を増幅する。

【０１３８】即ち、図１５に示すように、本形態では、
実施の形態１を示す、図１の構成に加え、ピークパター
ン処理部３００を追加している。

【０１３９】また、図１６は、このピークパターンのた
めのマスクを例示する。図１６に指名しているように、
このピークパターンでは、平均値が、０になるように、
正規化してある。

【０１４０】そして、ピークパターン処理部３００にお
いて、直交変換手段１７は、このピークパターンをフー
リエ変換し、圧縮手段１８はフーリエ変換値を圧縮し、
圧縮後のデータが記録手段１９に記録される。

【０１４１】また、マスクを使用しているため、類似値
式は、（数８）そのものではなく、マスクを反映した次
式による。

【数１６】

【０１４２】したがって、積算手段１０は、記録手段
５、記録手段１９及び圧縮手段９からデータを読み込ん
で、積和演算を行い、ピークパターンで修正された、類
似値のフーリエ変換値を出力する。

【０１４３】なお、類似値マップＬにピークパターンフ
ィルタを掛けるには、次式によればよいが、このように
すると、大量の積和計算が必要となり、効率的でない。

【数１７】

【０１４４】一方、本形態のように、（数１７）のよう
な、大量の計算を行わず、（数１６）により、簡便且つ
正確に処理を行う。

【０１４５】したがって、本形態によれば、効率的に、
類似値マップのピーク点を増幅できる。また、ピークパ
ターンを反映して、より先鋭且つ安定に、テンプレート
と類似する部分を入力画像中から検出することができ
る。

【０１４６】（実施の形態５）本形態では、入力画像の
エッジ部分とテンプレート画像のエッジ部分での類似値
に加え、テンプレート画像の領域内の画素平均も、類似
判定に加えている。

【０１４７】構成は、図１７に例示している。即ち、図
１５に似ており、実施の形態１に係る図１に対し、マス
クパターン処理部４００を追加している。

【０１４８】但し、図１５と異なり、マスクパターン処
理部４００は、ピークパターンを入力するのではなく、
テンプレート画像を入力し、この画像に依存するマスク
パターンを生成するマスクパターン生成手段２０を設け
ている点が異なる。

【０１４９】また、図１５と同様、マスクパターン生成
手段２０の出力は、直交変換手段２１でフーリエ変換さ
れ、圧縮手段２２で圧縮されてから、記録手段２３に記
録される。

【０１５０】また、マスクを使用しているため、類似値
式は、（数８）そのものではなく、マスクを反映した次
式による。

【数１８】

【０１５１】このまま積算すると、大量の積和計算が必
要となり、効率的でないのは、実施の形態４で述べたの
と、同様である。

【０１５２】これをフーリエ変換すると、

【数１９】となり、非常に簡潔に演算を行える。

【０１５３】したがって、積算手段１０は、（数１９）
による積和演算を行う。

【０１５４】さて次に、テンプレート画像とマスクパタ
ーンとの関係について、図１８を用いて説明する。ここ
では、テンプレート画像の領域内の画素平均を、類似判
定に加えるため、マスクパターン生成手段２０は、図１
８（ａ）のようなテンプレート画像に対し、図１８
（ｂ）のようなマスクパターンを生成する。

【０１５５】より詳しくは、図１８（ａ）のテンプレー
ト画像の場合、画素平均を求めたい内部（丸の内側）の
各点に１／Ｎの値を設定し、その他を０とする。ここ
で、Ｎは、内部の点数であり、マスクパターンの全ての
点の値を加えると、１になる。

【０１５６】本形態によれば、画像内部の画素値の平均
値も類似値に加えることができ、より正確に、かつ効率
よく、入力画像中から対象物を抽出することが可能にな
る。

【０１５７】なお、各画素の２乗値の平均を求めるため
には、入力画像処理部で、入力画像の各画素の２乗をし
たデータを作成し、同様の処理を行うことで可能とな
る。

【０１５８】従って、領域内の平均だけでなく、分散値
なども、効率よく求めることができる。

【０１５９】（実施の形態６）本形態は、テンプレート
画像に対し、左右対称な画像について、要領良く処理で
きる技術を開示する。

【０１６０】その構成は、図１９に例示している。即
ち、実施の形態１に係る図１の構成に加え、記録手段５
と積算手段１０との間に、対称ベクトル生成手段２４を
追加している。また、本形態では、実施の形態１と同様
の、類似値式に（数８）を用いる。

【０１６１】さて、次に左右対称となるテンプレート画
像の取り扱いについて、説明する。例えば、図２０
（ａ）のテンプレート画像が元の画像だとすると、それ
を左右反転させたテンプレート画像は、図２０（ｂ）の
ようになる。

【０１６２】また、これらのテンプレート画像について
の、エッジ法線方向ベクトルの関係は、次式に示すとお
りである。

【数２０】

【０１６３】そして、左右反転させたテンプレート画像
の評価ベクトルは、次式のようになる。

【数２１】

【０１６４】また、フーリエ変換については、

【数２２】なる関係があるから、（数２１）に（数２２）を適用し
て、

【数２３】

【０１６５】つまり、左右反転させたテンプレート画像
の評価ベクトルは、元のテンプレート画像の評価ベクト
ルから、正負反転するなど、簡単な処理で生成できる。

【０１６６】したがって、図１９において、対称ベクト
ル生成手段２４が記録手段５の元のテンプレート画像の
評価ベクトルについて、（数２３）を適用するだけで、
左右反転させたテンプレート画像の評価ベクトルを得る
ことができる。

【０１６７】この点、単純に考えて、図２０（ａ）の画
像から、図２０（ｂ）の画像を生成し、図２０（ｂ）の
画像から、評価ベクトルを再計算するなど、煩雑な処理
を行う必要はないのである。

【０１６８】これにより、左右反転したテンプレート画
像の評価ベクトルを、直接的な演算なしに、生成するこ
とができ、高速化を図ることができる。また、テンプレ
ート画像について、その左右反転させたテンプレート画
像をわざわざ記録しておく必要が無くなるので、記録容
量の節約を図ることができる。

【０１６９】（実施の形態７）本形態の形態では、実施
の形態３で述べた顔抽出の処理に、目眉の抽出処理を追
加する。

【０１７０】実施の形態３で述べた処理により、図２２
（ａ）の入力画像から、図２２（ｂ）のように、大まか
に目眉候補領域を抽出できる。

【０１７１】この目眉候補領域の画像を対象に、図２３
（ａ）〜図２３（ｄ）に示す、点双対列相関係数フィル
タを各点に掛け、点双対列相関値のマップを作成し、マ
ップ中の相関値の高くなる点を、それぞれ、目の中心位
置３００２、眉の中心位置３００３とする。

【０１７２】点双対列相関係数ηは、次式で定義される
（参考文献：多変量解析ハンドブック現代数学社１
７頁）。

【数２４】

【０１７３】図２３において、図２３（ａ）は全領域の
位置関係を示し、図２３（ｂ）は、全領域マスク、図２
３（ｃ）は領域１マスク、図２３（ｄ）は領域２マスク
を示す。

【０１７４】この点双対列相関係数によるフィルタ形状
を、図２３（ａ）に示すようにすると、図２２（ｃ）に
示すように、眉中心３００２や目中心３００３を抽出で
きることが期待される。

【０１７５】次に、点双対列相関係数によるフィルタ処
理について、説明する。

【０１７６】まず、（数２４）のうち、主要な成分は、
次式のとおりである。

【数２５】

【０１７７】それぞれの成分をフーリエ変換すると、

【数２６】

【数２７】

【数２８】

【０１７８】以上の処理を実現するには、例えば、図２
１のように構成する。まず、全領域、領域１、領域２の
各マスクは、直交変換手段５１〜５３でフーリエ変換さ
れる。

【０１７９】また、目眉候補領域抽出手段５４には、入
力画像と、実施の形態３で述べた顔抽出の結果がマップ
処理手段１２を介して入力される。目眉候補領域抽出手
段５４は、これらの入力に基づいて、図２２（ａ）から
図２２（ｂ）のような、目眉候補領域のみを取り出す。
この目眉候補領域のデータは、直交変換手段５５により
そのままフーリエ変換されると共に、２乗手段５６によ
って２乗されたのち、直交変換手段５７によりフーリエ
変換される。

【０１８０】そして、ηマップ作成手段６５の前段にあ
る、逆直交変換手段６２には、乗算手段５８を介して
（数２７）に示すデータが入力される。又同様に、逆直
交変換手段６３には、乗算手段６０を介して（数２６）
に示すデータが入力され逆直交変換手段６４には、乗算
手段６１を介して（数２８）に示すデータが入力され
る。そして、これらの逆直交変換手段６２〜６４は、入
力したデータを、逆フーリエ変換し、ηマップ作成手段
６５に出力する。

【０１８１】次に、ηマップ作成手段６５は、逆直交変
換手段６２〜６４からの入力に対して、（数２４）の演
算を行い、点双対列相関係数のマップη（ｘ，ｙ）を出
力する。

【０１８２】そして、目眉中心抽出手段６６は、ηマッ
プ作成手段６５が出力するマップη（ｘ，ｙ）の中か
ら、値の高い２点を抽出し、目眉それぞれの中心として
出力する。

【０１８３】以上の構成により、図２３（ａ）のフィル
タのサイズが１５×１５（画素）とし、入力画像の画素
数をＮとすると、大まかに、１５×１５×Ｎ＝２２５Ｎ
回の掛け算処理が必要になる。

【０１８４】一方、本形態によると、積計算回数は、大
まかに、Ｎ＋｛（２γ−４）Ｎ＋４｝×５＋１２Ｎ＋Ｎ
＋Ｎ＝５Ｎ（２γ−１）＋２０回である。但し、簡単に
するため、√計算を掛け算１回の処理と同等とみなす。

【０１８５】つまり、γが２２以下で、（本形態の計算
量）＜（従来技術の計算量）となる。

【０１８６】ここで、Ｎ＝２²²以上の巨大な画像は、通
常用いないので、本形態の処理の方が、従来の処理より
も演算回数が少なく、高速であることが分かる。

【０１８７】このように、本形態によれば、より効率よ
く、点双対列相関係数フィルタ処理を行える。

【０１８８】なお、図２３に示したマスクを種々変更す
ることにより、目尻、口端、鼻孔、黒目領域など、他の
顔部品の位置を求めることができる。

【０１８９】（実施の形態８）本形態では、実施の形態
３による、顔抽出の機能を拡張し、顔画像から顔器官で
ある口範囲を取り出す技術を開示する。

【０１９０】さて、実施の形態３において、図１４を用
いて説明したように、図２５（ａ）の入力画像から、図
２５（ｂ）に示すような、口候補領域を取り出すことが
できる。

【０１９１】取り出した、口候補領域を、Ｙ軸に投影
（Ｘ軸に沿って、画素値の総和ｈをプロット）すると、
おおむね図２５（ｃ）に示すような、グラフになる。

【０１９２】ここで、この総和ｈを定義すると、次式の
ようになる。

【数２９】

【０１９３】この総和を、直交変換を用いて効率良く求
めるには、図２５（ｄ）のような、マスクを用意する。
そして、このマスクを含めて、（数２９）を書き換える
と、次式のとおりである。

【数３０】

【０１９４】これをフーリエ変換すると、

【数３１】

【０１９５】即ち、この投影値を求めるには、入力画像
とマスクパターンをフーリエ変換して、（数３１）の計
算を行い、その結果を逆フーリエ変換すればよい。そう
すると、投影値ｈのマップｈ（ｘ，ｙ）を求めることが
できる。

【０１９６】以上の結果から、例えば、図２４のように
構成すると良い。図２４に示すように、入力画像とマス
クパターンを、それぞれ直交変換手段２５、２６でフー
リエ変換する。

【０１９７】そして、変換値を、積算手段２７で乗算
し、逆直交変換手段２８で逆フーリエ変換する。する
と、投影値のマップｈ（ｘ，ｙ）が得られる。

【０１９８】また、得られたマップｈ（ｘ，ｙ）は、投
影データ取出手段２９に展開され、極大点抽出手段３０
は、このマップから２つの極大点を求めて、これらの極
大点間を口範囲として出力する。

【０１９９】勿論、実施の形態１等と同様に、マスクパ
ターンを前もって、フーリエ変換しておいても良く、入
力画像の処理に処理能力を集中でき、処理は高速であ
る。

【０２００】本形態によれば、顔器官である口の位置
（より詳しくは、上下両方の唇の位置）を正確に求める
ことができる。

【０２０１】（実施の形態９）本形態では、その第１、
第２例により、実施の形態３による、顔抽出の機能を拡
張し、顔画像に所定の処理を施す技術を開示する。

【０２０２】「第１例」本例は、抽出した顔画像に電子
透かしを埋め込む。即ち、図２６のように構成する。図
１１のマップ処理手段１２の後段に、結果利用部６００
を設ける。

【０２０３】結果利用部６００は、入力画像そのもの
と、マップ処理手段１２による顔位置を参照して、入力
画像を、顔画像と、顔画像でない部分とに、分離する、
顔画像切出手段３１を有する。顔画像部分は、顔画像切
出手段３１から電子透かし埋込手段３２へ出力され、所
定の電子透かしが顔画像部分に埋め込まれる。ここで、
この電子透かし自体は、周知のものであって良い。

【０２０４】一方、顔画像を除いた部分は、顔画像切出
手段３１から画像合成手段３３へそのまま出力される。

【０２０５】画像合成手段３３は、電子透かしを埋め込
んだ顔画像と、顔画像を除いた部分とを合成し、電子透
かし埋め込み済みの、画像を出力する。

【０２０６】したがって、例えば、図２７（ａ）の入力
画像について、電子透かしを顔部分に埋め込んだ、図２
７（ｂ）の出力画像が得られる。

【０２０７】なお、電子透かしとしては、被写体のモデ
ルの氏名や撮影日などが、好適である。

【０２０８】本例により、改ざんの対象になりやすい顔
部分に重点的に透かしデータを簡単に埋め込むことがで
きる。

【０２０９】「第２例」本例は、抽出した顔画像のみ
に、特定の編集を加える。即ち、図２８のように構成す
る。図１１のマップ処理手段１２の後段に、結果利用部
６０１を設ける。

【０２１０】結果利用部６０１は、入力画像そのもの
と、マップ処理手段１２による顔位置を参照して、入力
画像を、顔画像と、顔画像でない部分とに、分離する、
顔画像切出手段３１を有する。顔画像部分は、顔画像切
出手段３１から画像補正手段３４へ出力され、所定の編
集が顔画像部分にのみ適用される。ここで、この編集自
体は、周知のものであって良い。

【０２１１】一方、顔画像を除いた部分は、顔画像切出
手段３１から画像合成手段３３へそのまま出力される。

【０２１２】画像合成手段３３は、編集済みの顔画像
と、顔画像を除いた部分とを合成し、変種済みの、画像
を出力する。

【０２１３】したがって、例えば、図２９（ａ）の入力
画像について、図２９（ｂ）のように、顔領域を抽出
し、さらに、図２９（ｃ）のように、顔部分だけを編集
した、出力画像が得られる。

【０２１４】なお、画像補正手段３４による編集として
は、逆光で撮影された人物像があるとき、顔が暗くなり
すぎて見づらい様な場合、顔部分の画像に対して、顔色
を白っぽくするなどが考えられるが、任意に選択して差
し支えない。

【０２１５】本例により、簡単に、顔部分のみを選択的
に、つまり、顔以外の部分に影響を与えずに、画像補正
ができる。

【０２１６】「第３例」本例では、抽出した顔画像を、
より見やすくすべく補正する。即ち、図３０のように構
成する。まず、図１１のマップ処理手段１２の後段に、
結果利用部６０２を設ける。

【０２１７】結果利用部６０２は、入力画像そのもの
を、顔画像と、顔画像でない部分とに、分離する、顔画
像切出手段３１を有する。切り出された顔画像は、顔内
部領域抽出手段３５と画像補正手段３４に出力される。

【０２１８】顔内部領域抽出手段３５は、実施の形態３
で述べた要領により、テンプレートを用いて、切り出さ
れた顔画像から、目鼻口等の主要な顔部品の位置を求
め、顔内部画像（全て顔の内部に位置する画像）を抽出
する。本例では、顔内部画像は、顔中心（例えば、鼻の
中央）を中心とする、一定サイズの矩形領域内の画像と
したが、この矩形領域のサイズを変更してもよいし、顔
中心からやや外れた位置を中心とするようにしても差し
支えない。

【０２１９】抽出された顔内部画像は、画像特徴抽出手
段３６へ出力される。画像特徴抽出手段３６は、顔画像
の補正に役立つ特徴を求める。本例では、画像特徴抽出
手段３６は、顔内部画像の輝度分布を求め、輝度ヒスト
グラムとして、補正関数決定手段３７へ出力する。勿
論、画像特徴抽出手段３６が補正関数決定手段３７へ輝
度ヒストグラムにおける、輝度最小値と輝度最大値とを
出力するようにしても良い。

【０２２０】補正関数決定手段３７は、画像特徴抽出手
段３６から入力した特徴を参照して、顔内部画像の明暗
がより明確になるような補正関数を決定し、この補正関
数を画像補正手段３４へ出力する。

【０２２１】本例では、上述のように、画像特徴抽出手
段３６は、輝度ヒストグラムを出力するので、補正関数
決定手段３７は、このヒストグラムにあらわれる最小輝
度が、ダイナミックレンジにおける最小の輝度となり、
かつ、最大輝度が、ダイナミックレンジにおける、最大
の輝度となるように、補正関数を求め、画像補正手段３
４へ出力する。

【０２２２】因みに、図３０の輝度ヒストグラムの横軸
は輝度値であり、輝度表現できるダイナミックレンジの
一部しか活用されていないことが理解されよう。そこ
で、ダイナミックレンジをフル活用するように、補正関
数決定手段３７が補正関数を決定することによって、画
像補正手段３４は、より見やすく、具体的には、見た目
の階調豊かに、顔画像を、補正できるのである。この補
正の結果、顔画像以外の部分は、白くとんだり、暗くな
ったりすることが考えられるが、顔画像は確実に見やす
くなる。

【０２２３】ここで、補正関数は、顔内部画像のみに基
づいて、決定されるため、顔でない部分によって、補正
がゆがめられることはなく、補正後において、顔の見や
すさが向上することを、保証できる。

【０２２４】なお、図３０では、切り出した顔画像のみ
に補正を施すように表示しているが、入力画像全部に、
同様の補正を施すこともできる。

【０２２５】さらに、画像特徴抽出手段３６が求める特
徴としては、上述したように、輝度など画像の明るさ／
暗さを代表する指標を用いることができるし、その他、
彩度平均や色相平均を用いても良い。

【０２２６】彩度平均を用いるときは、補正関数決定手
段３７は、画像補正手段３４に、例えば彩度増幅係数を
出力するようにし、色相平均を用いるときは、補正関数
決定手段３７は、画像補正手段３４に、例えば色相回転
角を出力するようにするとよい。

【０２２７】ここで、彩度平均を特徴として用いると、
色が薄い顔画像を、より色鮮やかに補正できる。また、
色相平均を用いると、赤みが少ない顔画像を、より赤み
がからせることができる。いずれにしても、顔画像を、
より自然な感じにすることができる。加えて、輝度、彩
度平均又は色相平均から、二種以上組み合わせたもの
を、特徴としても良い。

【０２２８】

【発明の効果】本発明によれば、撮影条件の違いや背景
の違いの影響が少なく安定に、かつ、高速に、パターン
を抽出できる。

【０２２９】また、複数のテンプレートのパターンの抽
出も高速にできる。

【０２３０】類似値マップのピーク点を増幅でき、より
安定に、テンプレートと類似する部分を入力画像中から
検出できる。

【０２３１】画像内部の属性を類似値に加味し、より正
確・効率よく、処理できる。

【０２３２】反転したテンプレート画像のデータを、間
接的に生成でき、テンプレート画像のデータ量を減らせ
る。

【０２３３】処理対象を合理的に削減できる。

【０２３４】点双対列相関係数フィルタ処理で、目眉の
中心位置を抽出できる。

【０２３５】顔器官である口の位置を、正確に求めるこ
とができる。

【０２３６】改ざんの対象になりやすい顔部分に、重点
的に透かしデータを埋め込むことができる。

【０２３７】顔部分のみに選択的に、画像補正ができる
ようになる。

【０２３８】顔内部画像の特徴にのみ基づいて、顔画像
の見やすさを確実に向上できる。

【図面の簡単な説明】

【図１】本発明の実施の形態１における画像処理装置の
ブロック図

【図２】（ａ）同テンプレート画像の例示図（ｂ）同テンプレート画像のエッジ抽出画像（ｘ成分）
の例示図（ｃ）同テンプレート画像のエッジ抽出画像（ｙ成分）
の例示図

【図３】同評価ベクトルの圧縮処理説明図

【図４】（ａ）同入力画像の例示図（ｂ）同入力画像のエッジ抽出画像（ｘ成分）の例示図（ｃ）同入力画像のエッジ抽出画像（ｙ成分）の例示図

【図５】（ａ）同類似値マップの例示図（ｂ）同入力画像の例示図

【図６】同内積の正負反転説明図

【図７】（ａ）同テンプレート画像の例示図（ｂ）同入力画像の例示図

【図８】（ａ）同テンプレート画像の例示図（ｂ）同テンプレート画像の例示図

【図９】本発明の実施の形態２における画像処理装置の
ブロック図

【図１０】（ａ）同共役性を示すグラフ（ｂ）同共役性を示すグラフ

【図１１】（ａ）本発明の実施の形態３（第１例）にお
けるテンプレート画像処理部のブロック図（ｂ）同（第２例）によるテンプレート画像処理部のブ
ロック図

【図１２】同入力画像の例示図

【図１３】（ａ）同テンプレート画像の例示図（ｂ）同エッジ抽出画像の例示図（ｃ）同拡縮テンプレート画像の例示図（ｄ）同テンプレート画像の例示図（ｅ）同エッジ抽出画像の例示図（ｆ）同拡縮テンプレート画像の例示図

【図１４】同顔抽出結果の例示図

【図１５】本発明の実施の形態４における画像処理装置
のブロック図

【図１６】同ピークパターンの例示図

【図１７】本発明の実施の形態５における画像処理装置
のブロック図

【図１８】（ａ）同テンプレート画像の例示図（ｂ）同マスクパターンの例示図

【図１９】本発明の実施の形態６における画像処理装置
のブロック図

【図２０】（ａ）同元のテンプレート画像の例示図（ｂ）同左右反転後のテンプレート画像の例示図

【図２１】本発明の実施の形態６における画像処理装置
の一部ブロック図

【図２２】（ａ）同入力画像の例示図（ｂ）同目眉候補領域の例示図（ｃ）同認識結果の例示図

【図２３】（ａ）本発明の実施の形態７におけるフィル
タ形状の例示図（ｂ）同全領域マスクの説明図（ｃ）同領域１マスクの説明図（ｄ）同領域２マスクの説明図

【図２４】本発明の実施の形態８における画像処理装置
の一部ブロック図

【図２５】（ａ）同入力画像の例示図（ｂ）同口候補領域の説明図（ｃ）同投影値のグラフ（ｄ）同マスクパターンの説明図（ｅ）同投影値マップ画像の例示図（ｆ）同投影値のグラフ

【図２６】本発明の実施の形態９（第１例）における画
像処理装置の一部ブロック図

【図２７】（ａ）同入力画像の例示図（ｂ）同出力画像の例示図

【図２８】本発明の実施の形態９（第２例）における画
像処理装置の一部ブロック図

【図２９】（ａ）同入力画像の例示図（ｂ）同出力画像の例示図

【図３０】本発明の実施の形態９（第３例）における画
像処理装置の一部ブロック図

【符号の説明】

１エッジ抽出手段２評価ベクトル生成手段３直交変換手段４圧縮手段５記録手段６エッジ抽出手段７評価ベクトル生成手段８直交変換手段９圧縮手段１０積算手段１１逆直交変換手段１２マップ処理手段１３共役圧縮手段１４共役復元手段１５拡縮手段１６加算手段１７直交変換手段１８圧縮手段１９記録手段２０マスクパターン生成手段２１直交変換手段２２圧縮手段２３記録手段２４対称ベクトル生成手段２５、２６直交変換手段２７積算手段２８逆直交変換手段２９投影データ取出手段３０極大点抽出手段３１顔画像切出手段３２電子透かし埋込手段３３画像合成手段６０１結果利用部３４画像補正手段５１直交変換手段５２直交変換手段５３直交変換手段５４目眉候補領域抽出手段５５直交変換手段５６２乗手段５７直交変換手段５８乗算手段５９減算手段６０乗算手段６１乗算手段６２、６３、６４逆直交変換手段６５ ηマップ作成手段６６目眉中心抽出手段１００テンプレート画像処理部１０１、１０２テンプレート画像処理部２００入力画像処理部３００ピークパターン処理部４００マスクパターン処理部５００投影画像処理部６００結果利用部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 1/387 Ｈ０４Ｎ 1/387 (72)発明者岩佐克博大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者松尾英明大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者高田雄二大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5B057 CA08 CA12 CA16 CA19 CB01 CB08 CB12 CB16 CE08 CE09 CE11 CE16 CG05 CG06 CH09 DA08 DB02 DB09 DC16 DC19 DC30 DC33 5C076 AA02 AA13 AA14 AA40 BA06 5L096 AA02 AA06 BA18 EA23 EA24 EA35 FA06 FA22 FA23 FA69 HA07 JA03 JA09 KA07

Claims

【特許請求の範囲】

【請求項１】テンプレート画像と入力画像とのマッチン
グを、類似値のマップを用いて評価する画像処理方法で
あって、テンプレート画像と入力画像とのそれぞれについて、評
価ベクトルを生成し、しかも、これらの評価ベクトル
は、該当画像のエッジ法線方向ベクトルを、偶数倍角変
換した成分を含むことを特徴とする画像処理方法。
【請求項２】テンプレート画像及び入力画像の双方につ
いて、該当画像を入力し、該当画像のエッジ法線方向ベ
クトルを求めるステップと、エッジ法線方向ベクトルから評価ベクトルを生成するス
テップと、評価ベクトルを直交変換するステップとを備え、テンプレート画像及び入力画像のそれぞれについて得
た、直交変換後の各評価ベクトルについて、対応スペク
トルデータを積和計算するステップと、積和計算結果を、逆直交変換して類似値のマップを生成
するステップとを有し、かつ、前記類似値の式、前記直交変換及び前記逆直交変
換は、いずれも線形性をもつものであることを特徴とす
る画像処理方法。
【請求項３】直交変換後の各評価ベクトルを、圧縮して
処理量を削減するステップを含むことを特徴とする請求
項２記載の画像処理方法。
【請求項４】テンプレート画像については、入力画像を
入力するに先立ち、直交変換後の評価ベクトルを圧縮す
るまでのステップを行っておき、その結果を記録手段に
保存しておくことを特徴とする請求項２から３記載の画
像処理方法。
【請求項５】評価ベクトルは、ベクトルの長さについて
正規化されていることを特徴とする請求項２から４記載
の画像処理方法。
【請求項６】テンプレート画像に係る評価ベクトルは、
エッジ法線方向ベクトルの個数で正規化されていること
を特徴とする請求項２から５記載の画像処理方法。
【請求項７】積和計算を行う前に、直交変換の複素共役
性を利用してデータ量を削減し、積和計算後にデータ量
を復元することを特徴とする請求項２から６記載の画像
処理方法。
【請求項８】テンプレート画像を各種サイズへ拡縮し、
各サイズについて評価ベクトルの加算処理を行うことを
特徴とする請求項２から７記載の画像処理方法。
【請求項９】テンプレート画像について、評価ベクトル
の加算処理を、圧縮して処理量を削減するステップの後
に行うことを特徴とする請求項８記載の画像処理方法。
【請求項１０】テンプレート画像は、顔を模式化したも
のであることを特徴とする請求項２から９記載の画像処
理方法。
【請求項１１】類似値のピークを急峻にするピークパタ
ーンを用意し、このピークパターンのデータを直交変換
したものを、積和計算に反映させることを特徴とする請
求項２から１０記載の画像処理方法。
【請求項１２】テンプレート画像に依存するマスクパタ
ーンを作成し、このマスクパターンのデータを直交変換
したものを、積和計算に反映させることを特徴とする請
求項２から１０記載の画像処理方法。
【請求項１３】前記マスクパターンは、テンプレート画
像における画像内部の画素数平均を示すものであること
を特徴とする請求項１２記載の画像処理方法。
【請求項１４】テンプレート画像について、元のテンプ
レート画像の評価ベクトルの正負符号を処理して、元の
テンプレート画像に対し左右対称な画像の評価ベクトル
を生成するステップを有し、生成した評価ベクトルを積
和計算に反映させることを特徴とする請求項２から１２
記載の画像処理方法。
【請求項１５】抽出した顔画像に基づいて、点双対相関
係数のマップを生成し、顔部品の位置を求めることを特
徴とする請求項１０記載の画像処理方法。
【請求項１６】抽出した顔画像に基づき、マスクパター
ンを用いてｙ方向の投影値分布を求め、この分布から２
つの極大点を求め、この極大点間を口範囲として出力す
ることを特徴とする請求項１０記載の画像処理方法。
【請求項１７】抽出した顔画像に基づいて、入力画像
を、顔画像のみと、顔画像を除いた部分とに分離し、顔
画像のみに電子透かしを埋込み、電子透かしを埋め込ん
だ顔画像と、顔画像を除いた部分とを、合成して出力す
ることを特徴とする請求項１０記載の画像処理方法。
【請求項１８】抽出した顔画像に基づいて、入力画像
を、顔画像のみと、顔画像を除いた部分とに分離し、顔
画像のみに編集を施し、編集した顔画像と、顔画像を除
いた部分とを、合成して出力することを特徴とする請求
項１０記載の画像処理方法。
【請求項１９】テンプレート画像を入力し、テンプレー
ト画像のエッジ法線方向ベクトルを求め、エッジ法線方
向ベクトルから評価ベクトルを生成し、評価ベクトルを
直交変換し、直交変換後の評価ベクトルを、圧縮して処
理量を削減するテンプレート画像処理部と、入力画像を入力し、入力画像のエッジ法線方向ベクトル
を求め、エッジ法線方向ベクトルから評価ベクトルを生
成し、評価ベクトルを直交変換し、直交変換後の評価ベ
クトルを、圧縮して処理量を削減する入力画像処理部
と、テンプレート画像及び入力画像のそれぞれについて得
た、直交変換後の各評価ベクトルについて、対応スペク
トルデータを積和計算する積算手段と、積和計算結果を、逆直交変換して類似値のマップを生成
する逆直交変換手段とを有し、これらの評価ベクトルは、該当画像のエッジ法線方向ベ
クトルを、偶数倍角変換した成分を含み、かつ、類似値
の式、直交変換及び逆直交変換は、いずれも線形性をも
つものであることを特徴とする画像処理装置。
【請求項２０】前記テンプレート画像処理部に、圧縮し
て処理量が減らされた直交変換後の評価ベクトルを記録
する記録手段を設け、入力画像を入力するに先立ち、直交変換後の評価ベクト
ルを圧縮した結果を記録手段に保存しておくことを特徴
とする請求項１９記載の画像処理装置。
【請求項２１】前記記録手段と前記積算手段との間に、
直交変換の複素共役性を利用してデータ量を削減する共
役圧縮手段を設け、前記積算手段と前記逆直交変換手段の間に、直交変換の
複素共役性を利用して削減したデータ量を復元する共役
復元手段を設けたことを特徴とする請求項１９記載の画
像処理装置。
【請求項２２】テンプレート画像を各種サイズへ拡縮す
る拡縮手段と、各サイズについて評価ベクトルの加算処
理を行う加算手段を設けたことを特徴とする請求項１９
から２１記載の画像処理装置。
【請求項２３】前記加算手段は、圧縮して処理量を削減
する後に、テンプレート画像について評価ベクトルの加
算処理を行うことを特徴とする請求項２２記載の画像処
理装置。
【請求項２４】類似値のピークを急峻にするピークパタ
ーンを直交変換し、直交変換後のピークパターンを圧縮
して処理量を削減するピークパターン処理部を設け、このピークパターンのデータを直交変換したものを、前
記積算手段の積和計算に反映させることを特徴とする請
求項１９記載の画像処理装置。
【請求項２５】テンプレート画像に依存するマスクパタ
ーンを作成し、このマスクパターンのデータを直交変換
し、圧縮したものを生成するマスクパターン処理部を設
け、前記マスクパターン処理部の処理結果を、前記積算手段
の積和計算に反映させることを特徴とする請求項１９記
載の画像処理装置。
【請求項２６】前記マスクパターンは、テンプレート画
像における画像内部の画素数平均を示すものであること
を特徴とする請求項２５記載の画像処理装置。
【請求項２７】前記記録手段に記録された、元のテンプ
レート画像の評価ベクトルの正負符号を処理して、元の
テンプレート画像に対し左右対称な画像の評価ベクトル
を生成する対称ベクトル生成手段を設け、この対称ベクトル生成手段が生成した評価ベクトルを、
前記積算手段の積和計算に反映させることを特徴とする
請求項２０記載の画像処理装置。
【請求項２８】抽出した顔画像に基づいて、点双対相関
係数のマップを生成するηマップ作成手段と、作成した
マップから顔部品の位置を求める抽出手段とを有するこ
とを特徴とする請求項１９記載の画像処理装置。
【請求項２９】抽出した顔画像に基づき、マスクパター
ンを用いてｙ方向の投影値分布を求め、この分布から２
つの極大点を求め、この極大点間を口範囲として出力す
る極大点抽出手段を有することを特徴とする請求項１９
記載の画像処理装置。
【請求項３０】抽出した顔画像に基づいて、入力画像
を、顔画像のみと、顔画像を除いた部分とに分離する顔
画像切出手段と、顔画像のみに電子透かしを埋込む電子
透かし埋込手段と、電子透かしを埋め込んだ顔画像と、
顔画像を除いた部分とを、合成して出力する画像合成手
段とを有することを特徴とする請求項１９記載の画像処
理装置。
【請求項３１】抽出した顔画像に基づいて、入力画像
を、顔画像のみと、顔画像を除いた部分とに分離する顔
画像切出手段と、顔画像のみに編集を施す画像辺補正手
段と、編集した顔画像と、顔画像を除いた部分とを、合
成して出力する画像合成手段とを有することを特徴とす
る請求項１９記載の画像処理装置。
【請求項３２】抽出した顔画像に基づいて、入力画像か
ら顔画像を切り出し、切り出した顔画像から顔内部画像
を抽出し、抽出した顔画像に基づいて顔画像の補正に役
立つ特徴を求め、求めた特徴に基づいて補正関数を決定
し、少なくとも切り出した顔画像について、決定した補
正関数に基づく画像補正を施すことを特徴とする請求項
１０記載の画像処理方法。
【請求項３３】前記特徴は、輝度、彩度平均又は色相平
均のうち、一種又は二種以上の組み合わせからなること
を特徴とする請求項３２記載の画像処理方法。
【請求項３４】抽出した顔画像に基づいて、入力画像か
ら顔画像を切り出す顔画像切出手段と、切り出した顔画
像から顔内部画像を抽出する顔内部領域抽出手段と、抽
出した顔画像に基づいて顔画像の補正に役立つ特徴を求
める画像特徴抽出手段と、求めた特徴に基づいて補正関
数を決定する補正関数決定手段と、少なくとも切り出し
た顔画像について、決定した補正関数に基づく画像補正
を施す画像補正手段とを有することを特徴とする請求項
１９記載の画像処理装置。
【請求項３５】前記特徴は、輝度、彩度平均又は色相平
均のうち、一種又は二種以上の組み合わせからなること
を特徴とする請求項３４記載の画像処理装置。