JPH0883341A - 物体領域抽出方法とその装置及び物体認識装置 - Google Patents

物体領域抽出方法とその装置及び物体認識装置

Info

Publication number
JPH0883341A
JPH0883341A JP6217573A JP21757394A JPH0883341A JP H0883341 A JPH0883341 A JP H0883341A JP 6217573 A JP6217573 A JP 6217573A JP 21757394 A JP21757394 A JP 21757394A JP H0883341 A JPH0883341 A JP H0883341A
Authority
JP
Japan
Prior art keywords
image
matching
dictionary
block size
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6217573A
Other languages
English (en)
Inventor
Hideki Koike
秀樹 小池
Satoshi Shimada
聡 嶌田
Akira Tomono
明 伴野
Kenichiro Ishii
健一郎 石井
Toshiki Iso
俊樹 磯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP6217573A priority Critical patent/JPH0883341A/ja
Publication of JPH0883341A publication Critical patent/JPH0883341A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 照合確度を向上させ、しかも照合処理時間を
短くすることができる物体領域抽出方法とその装置及び
物体認識装置を提案する。 【構成】 テスト画像入力部に物体の大きさを計測する
物体の計測部127を設け、この計測部で計測した物体
の縦・横のサイズからブロックサイズの可変範囲を限定
し、この限定したブロックサイズの範囲で照合処理部1
06に設けたブロックサイズ変更部129のブロックサ
イズを変更させ、このブロックサイズの変更により、辞
書記憶部123に記憶した辞書画像のサイズと照合対象
画像のサイズを合致させる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、人物顔など、特徴が
ある物体をカメラで撮影し、得られた画像を予め生成し
た辞書画像と照合処理することによりその画像中の物体
領域を抽出する物体領域抽出方法、及び、抽出した領域
内の物体がカテゴリーに分類されて登録済みの人物顔な
ど、予め定めたカテゴリーのどれに属するか、及び、予
め定めたカテゴリーに属するか否かを判定する物体認識
装置に関するものである。
【0002】
【従来の技術】例えば従業員や顧客のように予め決めた
特定の人間のみ特定な部屋、建物、あるいは区域への入
出を許可するため、入出しようとする人を自動的に識別
することが必要とされる場合がある。あるいは銀行に出
入りする不特定多数の人間の中から不審な人物を判別す
ることが必要とされる場合がある。このような場合、特
定の場所に入出する人間またはしようとする人間をカメ
ラで撮影し、その画像からその人物の顔を識別または判
別することが提案されている。
【0003】従来の画像中物体領域抽出装置には、濃淡
情報や色彩情報の閾値処理に基づいた方法がある。例え
ば、画像から人物の顔領域を抽出するときは、肌に相当
する濃度値や彩度・色相を求めて、肌領域を検出するた
めの閾値を設定し、画像全体を閾値処理する。また、別
の方法として、物体の形状をモデル化し、画像のエッジ
とフィッティングさせることで物体領域を抽出する方法
がある。
【0004】従来の物体識別装置には、例えば、対象と
なる人物の正面顔または横顔など特定方向の顔の画像を
辞書に用意しておき、テスト画像との照合をとって、人
物の同定を行う装置がある(例えば Ashoc Samal, Pras
ana A. Iyengar: "Automaticrecognition and analysis
of human faces and facial expressions" Patternre
cognition, Vol.25, No.1, pp65-77,1992)。
【0005】
【発明が解決しようとする課題】従来の物体識別装置で
は、辞書に用意しておく画像と撮影した画像(正面顔)
を同一のサイズに揃える必要があるため、物体の撮影距
離を何らかの方法で限定しなければならないために、適
用できる範囲が限られていた。この発明の目的は、物体
の撮影距離の違いによらず、画像中の物体領域を高速な
処理で安定に検出できる方法と装置、及び物体が予め定
めたカテゴリー(登録してある人物、子供顔、成人女性
顔、成人男性顔など)のどれに属するか検出する装置、
及び検出された物体が予め定めたカテゴリー(人物顔、
子供顔、成人女性顔、成人男性顔)に属しているか否か
を検出する方法と装置を提供することにある。
【0006】
【課題を解決するための手段】この発明によれば、対象
となるカテゴリー(L種類)に属するn個の物体を予め
カメラで撮影し、得られた画像から認識対象物体の領域
(照合領域)を抽出し、各カテゴリーを代表する辞書画
像(L×n個、n=1,2,…N)を生成し、辞書画像
生成手段にそれら辞書画像を記憶しておく。テスト画像
が与えられると、そのテスト画像中の認識対象物体領域
を抽出し、その認識対象物体領域の縦・横の大きさを計
測すると共に、その縦・横の大きさに基づいてブロック
サイズの可変範囲を設定し、ブロックサイズ変更部でブ
ロックサイズを変更しながら辞書画像と類似度rを算出
し、類似度rが最も高くなるときの位置(X
max,max )を物体領域に対応する領域として出力す
る。
【0007】この発明による物体領域抽出方法及び装置
によれば、辞書画像生成手段において、対象となるカテ
ゴリー(L種類)に属する物体を辞書画像として設定し
ておけば、辞書画像とサイズが異なるテスト画像が与え
られても、テスト画像から切り出した照合領域の画像の
ブロックサイズを変更することができるから、ブロック
サイズを変更しながらテスト画像の照合領域画像と辞書
画像との類似度を算出することにより、テスト画像の照
合領域と辞書画像との類似度が最大になるテスト画像の
照合領域の位置が認識対象物体の位置に一致し、そのと
きの辞書画像が認識対象物体が属すカテゴリーを代表す
るものとすることができる。従って、テスト画像におけ
る認識対象物体のサイズの違いによらずに認識対象物体
を含むように照合領域を抽出することができる。
【0008】
【実施例】以下に説明する各実施例では、対象となるカ
テゴリーLとして、子供顔(L=1)、成人女顔(L=
2)、成人男顔(L=3)を、領域抽出の対象として顔
領域を、顔領域内のK個の特徴点として左右の目と口の
3点を選んだ場合を例に説明するが、顔以外の物体を識
別する場合にも適用できることは容易に理解できよう。
【0009】図1はこの発明による第1の実施例の処理
と構成を示す機能ブロック図である。図1において、1
00は辞書画像生成部であって、辞書画像入力部10
1,顔領域切り出し部102,特徴点検出部103,モ
ザイク処理部121,辞書生成部122,辞書記憶部1
23より構成される。辞書画像入力部101はカメラに
より構成され、L=1,2,3の何れかのカテゴリーに
属する合計p人のそれぞれについてM方向(隣接する方
向角が10度以上、40度未満)の顔画像を取り込み、
得られた画像を顔領域切り出し部102に出力する。な
お、この実施例ではM方向の顔画像を取り込む例を説明
するが、この発明の主旨は辞書画像とテスト画像のサイ
ズを合わせることにあるため必ずしもM方向の画像を取
り込む必要はなく、正面像だけを対称としてよい。
【0010】顔領域切り出し部102は1フレームの画
像を保持する画像バッファを有し、受けた各画像から顔
領域を切り出し、予め決めた一定の大きさの顔領域のみ
の画像として出力する。ここでは、辞書画像を生成する
ための処理であるので、人手を介して顔領域を切り出し
ても実用上問題にならない。切り出された顔画像の目と
口の特徴点の位置(xf ,yf ) を特徴点検出部103
で検出し、それぞれのカテゴリーについて各方向毎に目
と口の位置(xf ,yf ) を用いて顔領域の大きさと位
置を合わせてから平均する。このようにしてL×M個の
平均画像を作成する。
【0011】この実施例では更に、モザイク処理部12
1が設けられ、これによって各平均画像をv×wのブロ
ックに分割し、それぞれのブロック内の画素濃度を平均
化する。この処理をモザイク処理と呼び、モザイク処理
された画像をモザイク画像と呼ぶ。1つのモザイク画像
の全ブロック(v×w個)の濃度値の列を特徴列と呼
び、v×w次元のベクトルを構成している。図3は、平
均画像を12×12のブロックに分割した例を示してい
る。この場合、特徴列は144次元のベクトルである。
各モザイク画像の特徴列は辞書生成部122に与えられ
る。
【0012】辞書生成部122は、与えられたL個の各
カテゴリーについてM個の特徴列f i,m (m=1,2,
…,M)を受けると、カテゴリーを示す個別コードiと
M個の特徴列を対応付けた、図4に示すようなテーブル
を作成し、辞書記憶部123に書き込む。テスト画像入
力部105は取り込んだ画像をテスト画像として、この
発明で付加した背景画像保持部125と、物体領域抽出
部126と、物体の計測部127と、ブロックサイズ限
定部128を通じて照合処理部106に出力する。
【0013】背景画像保持部125は、テスト画像Iを
得る例えば一定時間前に同じ方向でテスト画像入力部1
05によって撮影した画像を背景像として保持する。物
体領域抽出部126はその処理を図2に概念的に示すよ
うに、テスト画像入力部105からのテスト画像IT
背景画像保持部125からの背景画像IB の差分処理を
行って差分画像Idfを得て、その差分画像の全ての画素
値を2値化処理して2値化画像Idbを生成する。図2で
は人物像領域の画素が1,その背景の斜線領域の画素が
0であるとする。
【0014】物体の計測部127はこの2値画像Iの1
についてX軸及びY軸への射影をそれぞれ求めるとグラ
フ(a),(b)で示すようなそれぞれの座標上の画素
数の分布を求め、この分布(a),(b)の形状から人
物像の頭部の範囲、従ってそのサイズDx ,Dy を求め
る。ブロックサイズ限定部128は、前記サイズDx ,
Dy をもとに、実際の認識対象物体の大きさが図5に示
す横Dx −dx からDx +dx ,縦Dy −dy からDy
+dy の範囲にあると仮定して、v×wブロックのブロ
ックサイズの可変範囲を次のように限定する。
【0015】横:(Dx −dx )/v画素から(Dx +
dx )/v画素の範囲 縦:(Dy −dy )/w画素から(Dy +dy )/w画
素の範囲 ただし、割れきれない場合は四捨五入等で整数値にす
る。照合処理部106は照合領域切り出し部107Aと
ブロックサイズ変更部129と、モザイク処理部124
と、類似度算出部107と、位置シフト部108とによ
って構成される。
【0016】照合領域切り出し部107Aはテスト画像
入力部105からテスト画像IT (図6参照)を受ける
と、位置シフト部108から与えられた照合位置の初期
値(X0 ,Y0 )を基準に所定の大きさ(辞書画像にほ
ぼ等しい大きさ)の照合領域の画像を切り出し、ブロッ
クサイズ変更部129を介してモザイク処理部124に
与える。ブロックサイズ変更部129はブロックサイズ
限定部128で限定した範囲でブロックサイズを初期値
に固定し、この固定したサイズの画像をモザイク処理部
124に与える。
【0017】モザイク処理部124は与えられた照合領
域画像をモザイク処理し、処理された画像の特徴列を類
似度算出部107に与える。類似度算出部107は辞書
記憶部123に辞書の読み出し要求Rq を出し、N=L
×M個の辞書特徴列IDn(即ち辞書画像)を順次受け、
画像特徴列と各辞書特徴列との類似度r(n,X0 ,Y
0 )をすべて算出し、それらの類似度を物体領域検出部
109に出力すると共に、照合位置更新命令を位置シフ
ト部108に与える。位置シフト部108は照合位置を
更新して新しい照合位置(X,Y)を出力する。照合領
域切り出し部107Aは更新された照合位置でテスト画
像から照合領域を切り出すと共に、ブロックサイズ変更
部129でブロックサイズを一定幅ずつ変更して同様の
処理を繰り返す。類似度算出部107から出力される照
合位置(X,Y)が予め設定した最終座標位置(Xm
m )である場合は照合処理部106の処理を終了し、
物体領域検出部109の処理に進む。類似度は、例えば
2つの特徴列の間のコークリット距離の逆数により算出
すればよい。位置シフト部108の位置の変化のさせ方
は、例えば図6に示す座標XをΔXずつ歩進させ、X0
からXm まで歩進する毎にYをΔYだけ歩進させ、テス
ト画像をラスタースキャンするように行えばよい。
【0018】物体領域検出部109は類似度算出部10
7より受け取った類似度r(n,X,Y)が最大となる
ときの位置(Xmax,max )と辞書画像IDnを検出し、
特徴点位置決定部110に出力する。特徴点位置決定部
110は物体領域検出部109より受けた辞書画像nを
テスト画像中の照合位置(Xmax,max )の領域に重
ね、このときに、辞書画像に記憶されている特徴点位置
(xF,F )である目と口の位置(x1 ,y1 )(x2,
2 ),(x3 ,y3 )からテスト画像における目の位
置(X1 ,Y1 )=(X max +x1 ,Ymax +y1 ),
(X2 ,Y2 )=(Xmax +x2 ,Ymax +y2)と口の
位置(X3 ,Y3 )=(Xmax +x3 ,Ymax +y3)を
検出する。
【0019】以上説明したように、この発明による物体
領域抽出方法及び装置によればブロックサイズ変更部1
29を設けたことによりブロックサイズを変更し、この
ブロックサイズの変更によってテスト画像と辞書画像と
のサイズを合致させることができる。この結果、確度の
高い照合処理を実行することができる。しかもテスト画
像から物体の大きさを計測する計測手段127を設け、
この計測手段127で計測した物体の縦・横の大きさを
基に、ブロックサイズの変更範囲を限定したから、少な
いブロックサイズの変更回数で照合処理を完了すること
ができる。よって処理時間を短縮できる。また異なるサ
イズ同士の比較でありながら、偶然大きな類似点を検出
して誤った判定を下すようなエラーの発生を防止するこ
とができる。
【0020】図7はこの発明による第2の実施例の処理
と構成を示す機能ブロック図である。ただし、ブロック
T で示す入力テスト画像と、図1の実施例において最
大類似度を与える照合位置(Xmax,max )から決定さ
れた特徴点の座標(Xf,f),f=1,2,3と、その
ときの辞書画像番号nとが部分照合処理部502に入力
されることを模式的に示している。部分照合処理部50
2は照合領域切り出し部503Aとモザイク処理部50
3Bと類似度算出部503と位置シフト部504とを有
し、これらの動作は図1における照合処理部106の照
合領域切り出し部107A,類似度算出部107及び位
置シフト部108の動作と同様である。
【0021】図7の実施例において、部分辞書画像記憶
部501には図8に示すように、図1の画像記憶部10
4に記憶してあるカテゴリーi毎に各モザイクの特徴列
i,Mが各顔画像IDnに対応して、その辞書画像の目・
口の特徴点の座標(xf,f) を含む所定の大きさの部
分領域画像A1 ,A2 ,A3 の組が部分辞書画像IPn
して記憶されている。
【0022】部分照合処理部502は、図1で説明した
照合処理により得られたテスト画像と最も類似度の高い
辞書画像の番号nとテスト画像における特徴点位置(X
f ,Yf )である目の位置(X1 ,Y1 ),(X2 ,Y
2 )と口の位置(X3,3 )が与えられると、部分辞書
画像記憶部501にn番目の辞書画像IDnに対応した部
分辞書画像IPnの読み取り要求を出し、部分辞書画像I
Pnを受け取る。部分照合処理部502は目・口の特徴点
f(=1,2,3)について、例えば図9にf=1の場
合を示すように位置(Xf ,Yf )の周辺で予め設定し
ておいた範囲内で図1で説明した照合処理部106の処
理と同様に照合位置(X,Y)を順次変えてテスト画像
と部分辞書画像との類似度rf (n,f,X,Y)を算
出し、算出した類似度を特徴点位置高精度決定部505
に出力する。特徴点位置高精度決定部505は特徴点f
=1,2,3のそれぞれについて、類似度が最大となる
ときのテスト画像におけるそれぞれの照合位置
(Xfmax,Yfmax)を検出し、更にこれらの照合位置と
辞書画像中の特徴点(xf ,yf ) からテスト画像中の
特徴点位置(Xfmax+xf ,Yfmax+yf )をf=1,
2,3についてそれぞれ計算する。
【0023】このように、この実施例によれば、目や口
の周辺の部分領域辞書画像との照合を行うので、テスト
画像における目や口などの特徴点の位置を精度よく抽出
することができる。図10は図1の実施例において更に
判定処理部901を設け、テスト画像中の検出された物
体領域の画像が属するカテゴリーを判定するようにした
実施例である。ただし、この実施例においては図1にお
ける特徴点位置決定部110を必要としない。
【0024】物体領域検出部109は、図1で説明した
ようにしてテスト画像中の辞書画像と最も類似するとき
の照合位置(Xmax,max ) を検出すると、その位置
(Xma x,max ) と、そのときの辞書画像IDnの番号n
とを判定処理部901に出力する。判定処理部901は
物体領域検出部109より受けた照合位置(Xmax,ma
x ) でのテスト画像の部分領域とn番目の辞書画像IDn
との類似度r(n,Xma x,max ) から、テスト画像に
おける物体が辞書画像の物体のカテゴリーi=1,2,
…,Lのどれに属するかを判別し、判別結果を出力す
る。
【0025】判定処理部901の処理を、画像中の物体
が人物の顔である場合に男性的な顔(i=1)、女性的
な顔(i=2)、中性的な顔(i=3)のどれに近いか
を判別する場合を例に説明する。この場合、カテゴリー
数L=3であり、各カテゴリー内の像の方向数をMとす
ると、全辞書画像数は3Mである。例えば、3種類のカ
テゴリーのそれぞれに属することがわかっている顔画像
を含む多数のテスト画像について図1で説明した照合を
行い、各テスト画像と各カテゴリーの全ての辞書画像の
それぞれとの最大類似度 ri ( n,Xmax,max ) をそ
れぞれ求め、全てのテスト画像について得られた類似度
を、照合カテゴリーi=1,2,3のそれぞれ毎に分類
し、各カテゴリーi毎に類似度に対するテスト画像の数
の分布(頻度)を求めると、例えば図11A,11B,
11Cに示すような結果が得られる。何れのカテゴリー
の場合も、それぞれ類似度r1 th, r2 th,r3 thより大の範
囲と小の範囲にピークを有する2つの山が生じる。この
ことは、例えば入力テスト画像をカテゴリーi=1(即
ち男性的な顔)と照合した場合、類似度が閾値r1 thより
大であったならば入力テスト画像の顔は男性的であると
判定でき、閾値r1 thより小さければそれ以外、即ち女性
的または中性的顔であると判定できる。従って一般にカ
テゴリーiとの照合において類似度 ri ( n,Xmax,
max ) >ri thを満足するとき、入力テスト画像はカテ
ゴリーiに属すると判定でき、それぞれのカテゴリーi
についての閾値ri thと比較することにより入力テスト
画像がどのカテゴリーに属するか、あるいは何れにも属
しないかが判定できる。
【0026】この実施例によれば、物体の向きによらず
に、その物体が予め登録しておいたどのカテゴリーに属
するかを識別することができる。図10の実施例の特殊
な場合として、入力テスト画像中に人物像があるか否か
だけを判定する場合には、辞書画像のカテゴリーとして
は1つとし、例えば男性、女性等についての多数の顔画
像をそれぞれM方向で取り込み、同じ方向の顔画像を平
均化した平均化顔画像をM方向のそれぞれについて求め
辞書画像として用意しておく。この様な辞書画像を使っ
て人物無し及び有りの多数のテスト画像を辞書画像と照
合すると、図11Dに示すように人物を含むテスト画像
の類似度の分布と人物を含まないテスト画像の類似度分
布は互いに分離された山となるので、図11Dのように
類似度の閾値rをそれらの山の間に設定することによ
り、任意の入力テスト画像に人物が含まれているか否か
を判定することができる。この場合、図1における辞書
画像生成部100に設けられている特徴点検出部103
を省略してもよい。あるいは、図10の実施例において
辞書画像を生成する場合に、図1で説明したように、各
カテゴリー内のM方向の辞書画像の隣接する方向角が1
0度以上、40度未満になるように物体に対する撮像方
向をそれぞれ選択することにより、精度の高い照合判定
が可能である。
【0027】次に、図7の実施例で示した部分照合の技
術と図10の実施例で示したカテゴリーの判定技術を組
み合わせ、例えばテスト画像中の人物像が眼鏡を掛けて
いるか否かを判定する場合のように、部分画像を部分辞
書画像と照合してその部分画像のカテゴリーを判定する
ように構成した実施例を図12に示す。図12におい
て、辞書画像生成部100,テスト画像入力部105,
照合処理部106,及び物体領域検出部109は図1の
対応するものとそれぞれ同じ動作をし、特徴点位置決定
部110,部分辞書画像記憶部501,部分照合処理部
502,及び特徴点位置高精度決定部505は図7の対
応するものとそれぞれ同じ動作をする。
【0028】特徴点位置高精度決定部505は、図7の
実施例と同様にテスト画像において辞書画像と最も類似
するときの照合位置(Xmax ,Ymax )と、そのときの
辞書画像番号nを判定処理部902に出力する。特徴点
位置高精度決定部505はまた、図7の実施例と同様に
して特徴点fについて、部分辞書画像とテスト画像との
類似度が最大となるときの照合位置(Xfmax,Yfmax
と部分辞書画像IPnとを判定処理部902に出力する。
【0029】判定処理部902は、物体領域検出部10
9より受けた照合位置(Xmax ,Y max )でのn番目の
辞書画像との類似度r(n,Xmax ,Ymax )と、特徴
点位置高精度決定部505より受けた、位置(Xfmax
fmax)での部分辞書画像I Pnとの類似度rf ( n,X
fmax,Yfmax)とから、テスト画像における物体が辞書
画像の物体のどのカテゴリーに属するかを判別し、判別
結果を出力する。
【0030】判定処理部902の処理を、テスト画像中
の物体が人物のときに、眼鏡をかけていない人物(カテ
ゴリーi=1)、眼鏡をかけた人物(カテゴリーi=
2)、サングラスをかけた人物(カテゴリーi=3)の
いずれであるかを判別する場合を例に説明する。この場
合、辞書画像生成部100内の辞書画像記憶部104
(図1参照)に記憶される辞書画像はM方向、3カテゴ
リーの顔画像である。
【0031】3種類のカテゴリーのそれぞれに属するこ
とが予め分かっている多数のテスト画像中の顔画像と眼
鏡なしのカテゴリー(i=1)の辞書画像との類似度 r
1(n,Xmax ,Ymax )の頻度分布を図13Aに示す。
この場合、眼鏡無し、眼鏡有り、サングラス有りのカテ
ゴリーがそれぞれ形成する頻度分布の3つの山のピーク
における類似度は、この順に小さくなり、これらの隣接
する山の裾は互いに交差している。そのため図13 Aに
示すように、類似度の閾値r1 thをカテゴリーi=1の山
とカテゴリーi=3の山の間に選択しても、類似度r1
(n,Xmax ,Ymax )が閾値r1 thより大の場合、眼鏡
無しの人物または眼鏡有りの人物のいずれかであると判
定できるが、それらのどちらであるとも判定できない。
そこで、この実施例においては、部分辞書画像記憶部5
01にカテゴリーi=1内の各角方向Mの画像に対応し
て目の部分領域画像IPnが記憶されている。
【0032】この場合に対する既知の眼鏡無しのカテゴ
リー(i=1)に属する人物画像の目の部分領域に関す
る類似度 r1 f ( n,Xfmax,Yfmax)の頻度分布を図
13Bに示す。同図より、 r1 f ( n,Xfmax
fmax)>r1 fth のときは、眼鏡無しの人物であると判
別すればよいことがわかる。また、r1(n,Xmax ,Y
max)≦r1 fth のときは、眼鏡有りの人物またはサング
ラス有りの人物のいずれかであると識別できる。この場
合に対する眼鏡有りの人物のカテゴリーの目の部分領域
に関する類似度 r2 f ( n,Xfmax,Yfmax)の頻度分
布を図13Cに示す。同図より、類似度が r2 f ( n,
fmax,Yfmax)r2 thのときは、眼鏡有りの人物である
と判別すればよいことがわかる。
【0033】図12の実施例において、テスト画像中の
物体が眼鏡をかけていない人物であるかどうかを識別す
る場合には、辞書画像としてカテゴリー数L=1で、眼
鏡をかけていないM方向の顔画像を辞書画像として辞書
画像生成部100に用意する。この辞書画像を使ってテ
スト画像と照合すると、 (1)テスト画像に顔が含まれていないケース、 (2)テスト画像に眼鏡をかけた人物を含むケース (3)テスト画像に眼鏡をかけていない人物を含むケー
ス のそれぞれの類似度r(n,Xmax ,Ymax )の頻度分
布は例えば図13Dに示すようになる。判定処理部90
2は物体領域検出部109から出力された類似度r
(n,Xmax ,Ymax )に基づいて図13Dから、r
(n,Xmax ,Ymax )> rth1 のときは、上記ケース
(2)または(3)のいずれかであることと識別でき
る。
【0034】次に、最大類似度を与える照合位置(X
max ,Ymax )において前述と同様に特徴点位置を特徴
点位置決定部110で決定し、部分照合処理部502で
特徴点を含む部分領域と部分辞書画像を照合すると、ケ
ース(2)と(3)のそれぞれに対する部分領域類似度
f ( n,Xfmax,Yfmax)の頻度分布は例えば図13
Eのようになる。そこで判定処理部902は部分領域類
似度rf ( n,Xfmax,Yfmax)を使って図13Eよ
り、rf ( n,Xfmax,Yfmax)> rth2 のときは、眼
鏡なしの人物であると判別することができる。
【0035】以上説明した通り、図12の実施例によれ
ば、物体領域全体で照合した場合には差異の小さい別の
カテゴリーの物体でも、部分領域の照合を行うことによ
り正しく識別することができる。更に、図12の実施例
において、対象とするカテゴリーを論理的に統合するこ
とにより、より一般的な識別装置に拡張することができ
る。例えば、対象とするカテゴリーを前述のように i=1:男性顔、i=2:女性顔、i=3:サングラス
をかけた人物 とした場合に、カテゴリーi=1に属するか否かを識別
する装置とi=2に属するか否かを識別する装置を組み
合わせれば、人物顔(i=1 OR i=2)を識別するこ
とができる。また、i=1に属するか否かを識別する装
置とi=3に属するか否かを識別する装置を組み合わせ
れば、男性でサングラスをかけた人物(i=1AND i=
3)を識別することができる。
【0036】このように、この実施例によれば、物体領
域全体で照合した場合には差異の小さい別のカテゴリー
の物体でも、部分領域の照合を行うことにより正しく識
別することができる。
【0037】
【発明の効果】以上説明したように、この発明によれば
照合処理部106にブロックサイズ変更部129を設け
たから、辞書記憶部123に記憶した辞書画像のサイズ
とテスト画像のサイズを合致させることができる。この
結果、確度の高い照合処理を行うことができる。
【0038】更にこの発明ではテスト画像入力部に物体
の大きさを計測する計測手段127を設け、この計測手
段127の計測結果に基づいてブロックサイズの可変範
囲を制限したから、照合処理量を少なくすることができ
る。よって照合処理時間を短縮することができる利点も
得られる。従って図7及び図12に示した実施例のよう
に部分照合処理を行わせる場合にも、総合して処理時間
を短くできる実益が得られる。
【0039】この発明の応用として、銀行などの出入口
の自動ドアの圧力センサ出力や、現金自動支払機の操作
開始をトリガーにして取り込んだ人物画像を、この発明
の物体識別装置のテスト画像とした場合には、対象とな
るカテゴリーを人物顔として動作すれば、通常の顔
(客)とサングラスやマスクで顔を隠した人物(不審
者)を識別できるので、不審者を検出するシステムを実
現できる。
【0040】また商店街を通過する人物や、ショーウイ
ンドーを見る人物の画像をこの発明の識別装置に入力
し、対象となるカテゴリーとして、男性顔、女性顔、眼
鏡をかけた人などを用意して、テスト画像の人物を各カ
テゴリーに分類することにより、どのような人物がどの
ような物に関心を持っているかを分析する市場調査シス
テムに応用できる。
【図面の簡単な説明】
【図1】この発明の第1の実施例を示す機能ブロック
図。
【図2】図1に示した実施例に使用した物体の計測部の
動作を説明するための図。
【図3】図1の実施例に用いたモザイク処理を説明する
ための正面図。
【図4】図1の実施例に用いた辞書記憶部の記憶の様子
を説明するための図。
【図5】図1の実施例に用いたブロックサイズ限定部の
動作を説明するための図。
【図6】図1の実施例に用いた照合処理部の動作を説明
するための図。
【図7】この発明の第2の実施例を示す機能ブロック
図。
【図8】図7に示した実施例の動作を説明するための
図。
【図9】図8と同様の図。
【図10】この発明の第3の実施例を説明するための機
能ブロック図。
【図11】図10に示した実施例の動作を説明するため
の図。
【図12】この発明の第4の実施例を説明するため機能
ブロック図。
【図13】図12に示した実施例の動作を説明するため
の図。
【符号の説明】
100 辞書画像生成部 101 辞書画像入力部 102 顔領域切り出し部 103 特徴点検出部 105 テスト画像入力部 106 照合処理部 107 類似度算出部 107A 照合領域切り出し部 108 位置シフト部 109 物体領域検出部 121 モザイク処理部 122 辞書生成部 123 辞書記憶部 125 背景画像保持部 126 物体領域抽出部 127 物体の計測部 128 ブロックサイズ限定部 129 ブロックサイズ変更部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 9061−5H 15/70 460 A (72)発明者 石井 健一郎 東京都千代田区内幸町1丁目1番6号 日 本電信電話株式会社内 (72)発明者 磯 俊樹 東京都千代田区内幸町1丁目1番6号 日 本電信電話株式会社内

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 参照物体の画像の要部を切り出し、その
    要部の画像を辞書画像化して辞書記憶部に記憶すると共
    に、入力テスト画像中の任意の物体領域を照合領域画像
    として切り出し、この照合領域画像と上記辞書記憶部に
    記憶した辞書画像とを照合処理部において照合し、類似
    度を求め上記参照物体と入力テスト画像中の物体とを比
    較対照する物体認識装置であって、 上記入力テスト画像中の物体のサイズを計測し、この計
    測結果を基に上記照合領域画像のブロックサイズ変更範
    囲を決定し、上記照合領域画像の切り出し位置を変更す
    る毎に上記照合領域画像のブロックサイズを上記ブロッ
    クサイズ変更範囲内で変化させて照合処理を施し、類似
    度が最も高くなる上記照合領域画像の切り出し位置を抽
    出することを特徴とする物体領域抽出方法。
  2. 【請求項2】 参照物体の画像の要部を切り出し、その
    要部の画像を辞書画像として辞書記憶部に記憶すると共
    に、入力テスト画像中の任意の物体領域を照合領域画像
    として切り出し、この照合領域画像と上記辞書記憶部に
    記憶した辞書画像とを照合処理部において照合し、類似
    度を求め上記参照物体と入力テスト画像中の物体とを比
    較対照する物体認識装置であって、 上記入力テスト画像中の物体のサイズを計測する物体計
    測部と、この物体計測部の計測結果を基に上記照合領域
    画像のブロックサイズ変更範囲を決定するブロックサイ
    ズ限定部と、上記照合領域画像の切り出し位置を変更す
    る毎に上記ブロックサイズ限定部で限定したブロックサ
    イズ変更範囲内で上記照合領域画像のブロックサイズを
    変更するブロックサイズ変更部と、上記照合領域画像の
    切り出し位置とブロックサイズの変更毎に照合処理を実
    行する照合処理部と、この照合処理部の照合の結果、類
    似度の最も大きい上記照合領域画像の切り出し位置を抽
    出する物体領域検出部とを具備して構成したことを特徴
    とする物体領域抽出装置。
  3. 【請求項3】 複数の参照物体の画像の要部をそれぞれ
    切り出し、その要部の各画像を辞書画像化して辞書記憶
    部に記憶すると共に、入力テスト画像中の任意の物体領
    域を照合領域画像として切り出し、この照合領域画像と
    上記辞書記憶部に記憶した辞書画像とを照合処理部にお
    いて照合して類似度を求め、上記参照物体と入力テスト
    画像中の物体とを比較対照する物体認識装置であって、 上記照合処理部にブロックサイズ変更部を設け、上記照
    合領域画像の切り出し位置を変更する毎に、その切り出
    された照合領域画像のサイズを変化させて照合処理し、
    照合の結果、類似度が最も高い上記辞書画像を求め、入
    力テスト画像の物体が如何なるカテゴリーに属するかを
    判別する判別処理部を付加して構成したことを特徴とす
    る物体認識装置。
  4. 【請求項4】 参照物体の画像の要部を切り出し、その
    要部の画像を辞書画像化して辞書記憶部に記憶すると共
    に、入力テスト画像中の任意の物体領域を照合領域画像
    として切り出し、この照合領域画像と上記辞書記憶部に
    記憶した辞書画像とを照合処理部において照合し、類似
    度を求め上記参照物体と入力テスト画像とを比較対照す
    る物体認識装置であって、 上記入力テスト画像中の物体のサイズを計測する物体計
    測部と、この物体計測部の計測結果を基に上記照合領域
    画像のブロックサイズ変更範囲を決定するブロックサイ
    ズ限定部と、上記照合処理部に設けられ、照合領域画像
    の切り出し位置が変わる毎に、上記ブロックサイズ限定
    部で決定したブロックサイズの可変範囲で照合領域画像
    のブロックサイズを変更するブロックサイズ変更部と、
    上記照合領域画像の切り出し位置の変更及びブロックサ
    イズの変更毎に類似度を算出する照合処理部と、この照
    合処理部が算出する類似度から入力テスト画像における
    物体が対象とするカテゴリーに属するか否かを判別する
    判別部を付加したことを特徴とする物体認識装置。
  5. 【請求項5】 請求項4記載の物体認識装置において、
    照合処理部から出力される類似度rの大きさと、部分照
    合処理部より出力される類似度rkの大きさとから、入
    力テスト画像における物体が対象とするカテゴリーに属
    するか否かを判別する判別処理部を付加して構成したこ
    とを特徴とする物体認識装置。
  6. 【請求項6】 請求項1乃至請求項5の何れかにおい
    て、辞書画像はL種類(Lは1以上の整数)のカテゴリ
    ーの参照物体のそれぞれを、予め決めたM通り(Mは2
    以上の整数)の方向から撮影して得た画像から生成し、
    この全ての辞書画像を使って入力テスト画像から切り出
    した照合領域画像と照合処理することを特徴とする物体
    領域抽出方法とその装置及び物体認識装置。
  7. 【請求項7】 請求項1乃至請求項6の何れかにおい
    て、辞書画像及び照合領域画像をモザイク処理して類似
    度を算出することを特徴とする物体領域抽出方法とその
    装置及び物体認識装置。
JP6217573A 1994-09-12 1994-09-12 物体領域抽出方法とその装置及び物体認識装置 Pending JPH0883341A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6217573A JPH0883341A (ja) 1994-09-12 1994-09-12 物体領域抽出方法とその装置及び物体認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6217573A JPH0883341A (ja) 1994-09-12 1994-09-12 物体領域抽出方法とその装置及び物体認識装置

Publications (1)

Publication Number Publication Date
JPH0883341A true JPH0883341A (ja) 1996-03-26

Family

ID=16706397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6217573A Pending JPH0883341A (ja) 1994-09-12 1994-09-12 物体領域抽出方法とその装置及び物体認識装置

Country Status (1)

Country Link
JP (1) JPH0883341A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002253539A (ja) * 2001-03-05 2002-09-10 Nippon Telegr & Teleph Corp <Ntt> 医用画像識別システム,医用画像識別処理方法,医用画像識別用プログラムおよびその記録媒体
JP2006011728A (ja) * 2004-06-24 2006-01-12 Omron Corp 不審者対策システム及び不審者検出装置
WO2007089027A1 (en) * 2006-01-31 2007-08-09 Fujifilm Corporation Method and apparatus for automatic eyeglasses detection using a nose ridge mask
US7321670B2 (en) 2002-11-04 2008-01-22 Samsung Electronics Co., Ltd. System and method for detecting face
WO2008018459A1 (fr) * 2006-08-08 2008-02-14 Nikon Corporation Procédé de traitement d'image, appareil de traitement d'image, programme de traitement d'image, et appareil de prise d'image
US8019128B2 (en) 2007-01-31 2011-09-13 Brother Kogyo Kabushiki Kaisha Face detection device
JP2012186821A (ja) * 2012-04-18 2012-09-27 Toshiba Corp 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法
JP2012209947A (ja) * 2012-05-14 2012-10-25 Nikon Corp 電子カメラ
JP2016081212A (ja) * 2014-10-15 2016-05-16 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム
US9558396B2 (en) 2013-10-22 2017-01-31 Samsung Electronics Co., Ltd. Apparatuses and methods for face tracking based on calculated occlusion probabilities

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520442A (ja) * 1991-07-17 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 顔画像照合装置
JPH0573663A (ja) * 1991-09-17 1993-03-26 Nippon Telegr & Teleph Corp <Ntt> 3次元物体の画像認識法
JPH05108804A (ja) * 1991-10-21 1993-04-30 Nippon Telegr & Teleph Corp <Ntt> 3次元物体の識別方法及びその実施装置
JPH05159063A (ja) * 1991-12-09 1993-06-25 Nippon Telegr & Teleph Corp <Ntt> 画像検索装置
JPH05159064A (ja) * 1991-12-09 1993-06-25 Nippon Telegr & Teleph Corp <Ntt> 画像探索装置
JPH05174149A (ja) * 1991-12-26 1993-07-13 Nippon Telegr & Teleph Corp <Ntt> 画像認識装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520442A (ja) * 1991-07-17 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 顔画像照合装置
JPH0573663A (ja) * 1991-09-17 1993-03-26 Nippon Telegr & Teleph Corp <Ntt> 3次元物体の画像認識法
JPH05108804A (ja) * 1991-10-21 1993-04-30 Nippon Telegr & Teleph Corp <Ntt> 3次元物体の識別方法及びその実施装置
JPH05159063A (ja) * 1991-12-09 1993-06-25 Nippon Telegr & Teleph Corp <Ntt> 画像検索装置
JPH05159064A (ja) * 1991-12-09 1993-06-25 Nippon Telegr & Teleph Corp <Ntt> 画像探索装置
JPH05174149A (ja) * 1991-12-26 1993-07-13 Nippon Telegr & Teleph Corp <Ntt> 画像認識装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002253539A (ja) * 2001-03-05 2002-09-10 Nippon Telegr & Teleph Corp <Ntt> 医用画像識別システム,医用画像識別処理方法,医用画像識別用プログラムおよびその記録媒体
JP4545971B2 (ja) * 2001-03-05 2010-09-15 日本電信電話株式会社 医用画像識別システム,医用画像識別処理方法,医用画像識別用プログラムおよびその記録媒体
US7321670B2 (en) 2002-11-04 2008-01-22 Samsung Electronics Co., Ltd. System and method for detecting face
JP2006011728A (ja) * 2004-06-24 2006-01-12 Omron Corp 不審者対策システム及び不審者検出装置
JP4569190B2 (ja) * 2004-06-24 2010-10-27 オムロン株式会社 不審者対策システム及び不審者検出装置
WO2007089027A1 (en) * 2006-01-31 2007-08-09 Fujifilm Corporation Method and apparatus for automatic eyeglasses detection using a nose ridge mask
JP2009525519A (ja) * 2006-01-31 2009-07-09 富士フイルム株式会社 鼻筋マスクを使用した眼鏡の自動検出方法および装置
WO2008018459A1 (fr) * 2006-08-08 2008-02-14 Nikon Corporation Procédé de traitement d'image, appareil de traitement d'image, programme de traitement d'image, et appareil de prise d'image
US8019128B2 (en) 2007-01-31 2011-09-13 Brother Kogyo Kabushiki Kaisha Face detection device
JP2012186821A (ja) * 2012-04-18 2012-09-27 Toshiba Corp 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法
JP2012209947A (ja) * 2012-05-14 2012-10-25 Nikon Corp 電子カメラ
US9558396B2 (en) 2013-10-22 2017-01-31 Samsung Electronics Co., Ltd. Apparatuses and methods for face tracking based on calculated occlusion probabilities
JP2016081212A (ja) * 2014-10-15 2016-05-16 日本電気株式会社 画像認識装置、画像認識方法、および、画像認識プログラム

Similar Documents

Publication Publication Date Title
US6181805B1 (en) Object image detecting method and system
US7127086B2 (en) Image processing apparatus and method
US6661907B2 (en) Face detection in digital images
JP4156430B2 (ja) データベース自動更新方法を用いた顔検証方法及びそのシステム
JP2001216515A (ja) 人物の顔の検出方法およびその装置
EP1434164A2 (en) Method of extracting teeth area from teeth image and personal identification method and apparatus using the teeth image
EP0967574A2 (en) Method for robust human face tracking in presence of multiple persons
US20040091137A1 (en) System and method for detecting face
CN101887518B (zh) 人体检测装置与方法
CN103049736A (zh) 一种基于最大稳定极值区域的人脸识别方法
JPH07302327A (ja) 物体画像検出方法及び検出装置
CN108171223A (zh) 一种基于多模型多通道的人脸识别方法及系统
JP5726596B2 (ja) 画像監視装置
JPH0883341A (ja) 物体領域抽出方法とその装置及び物体認識装置
KR20020022295A (ko) 3차원 정보를 이용한 얼굴 인식 장치 및 방법
JP5726595B2 (ja) 画像監視装置
JP3577908B2 (ja) 顔画像認識システム
JP2000099722A (ja) 人物顔認識装置及び人物顔認識方法
GB2231699A (en) Obtaining information characterising a person or animal
CN110717428A (zh) 一种融合多个特征的身份识别方法、装置、系统、介质及设备
US20230103555A1 (en) Information processing apparatus, information processing method, and program
Neethu et al. People count estimation using hybrid face detection method
Hemdan et al. Facial features-based method for human tracking
JP3305551B2 (ja) 特定対称物体判定方法
Marciniak et al. Face recognition from low resolution images