JP2004266660A - 顔画像撮影装置と顔画像認識装置 - Google Patents

顔画像撮影装置と顔画像認識装置 Download PDF

Info

Publication number
JP2004266660A
JP2004266660A JP2003056190A JP2003056190A JP2004266660A JP 2004266660 A JP2004266660 A JP 2004266660A JP 2003056190 A JP2003056190 A JP 2003056190A JP 2003056190 A JP2003056190 A JP 2003056190A JP 2004266660 A JP2004266660 A JP 2004266660A
Authority
JP
Japan
Prior art keywords
face
image
unit
pedestrian
range limiting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003056190A
Other languages
English (en)
Inventor
Toshio Sato
俊雄 佐藤
Kentarou Yokoi
謙太朗 横井
Hiroshi Sukegawa
寛 助川
Atsushi Ogata
淳 緒方
Akio Okazaki
彰夫 岡崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2003056190A priority Critical patent/JP2004266660A/ja
Publication of JP2004266660A publication Critical patent/JP2004266660A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】この発明は、歩行者の利便性を損なうことなく、歩行者の安定した正面の顔を撮影することができる。
【解決手段】この発明は、歩行範囲限定部101,102は歩行者を幅Wの中に歩行範囲を制限し、画像入力部103は上記歩行範囲内を歩行する歩行者に対して正面の位置に設置された支持部104に取り付けられ,顔検出部411は上記画像入力部103で撮影した画像から顔画像を検出し、上記画像記録部412は検出できた画像を記憶装置412aに記録するようにしたものである。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
この発明は、たとえば,施設内のセキュリティ管理などに用いられ、顔画像により通行者を監視する顔画像撮影装置と顔画像認識装置に関する。
【0002】
【従来の技術】
最近、人物の少なくとも顔を含む領域の画像(以下、顔画像)を撮影してセキュリティ管理などに応用する方法が提案されている。たとえば、特開2001−16573号公報には、通路の外側、もしくはその近辺に設置した柱状型のカメラによって人物の顔画像を撮影する顔画像撮影装置の技術が開示されている。
【0003】
また、特開平5−233783公報には、テレビカメラで顔画像を捉え、あらかじめ登録してある基準パターンと照合することにより、顔画像を認識する顔画像認識装置の技術が開示されている。
【0004】
しかしながら、従来の技術では、カメラなどの撮影装置を通路外に設置するために歩行者が撮影装置の方を向いた顔、すなわち、撮影装置から見たときの歩行者が正面の顔(正面顔)の画像を捉えにくい。つまり、従来の技術では、歩行者の顔画像を撮影すると、撮影装置に対する歩行者の顔の向きの変動により、正面顔などの安定した状態の顔画像を撮影しにくいという問題点がある。
【0005】
また、従来の顔画像を撮影して人物を認識する技術では,正面顔など安定した顔画像の利用を前提としている。しかしながら、上述のように、従来の技術では、歩行者の顔の向きの変動により顔画像から検出される顔の特徴パターンが大きく変動してしまう。このような場合、顔の認識処理では、誤認識が多くなり、認識精度が低下するという問題点がある。さらに、顔認識処理の認識精度を向上させるためには歩行者の顔が撮影装置に対して正面になるようにする必要がある。このため、従来の技術では、歩行者の正面顔の撮影を歩行者に強要させる必要が生じる。これは、例えば、歩行中の歩行者に対して歩行をいったん中止させて顔を撮影装置に対して正面を向けさせるにさせることになるため、利便性が著しく低下するという問題点がある。
【0006】
【特許文献1】
特開2001−16573号公報
【特許文献2】
特開平5−233783公報
【0007】
【発明が解決しようとする課題】
上記したように、この発明は、通行者の正面顔を確実に撮影するために通行者に対する利便性が低下してしまうことがあるという問題点を解決するもので、通行者の利便性を損なうことなく、通行者の正面顔を確実に撮影することができる顔画像撮影装置を提供することを目的とする。
【0008】
また、通行者の正面顔が確実に撮影できない場合には通行者に対する顔認識の精度が低下してしまうという問題点を解決するもので、確実に撮影された通行者の正面顔を用いて顔認識を実行でき、通行者に対する精度の高い顔の認識処理を実現できる顔画像認識装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
この発明の顔画像撮影装置は、通行者を誘導する誘導手段と、この誘導手段により誘導される通行者の進行方向正面あるいは進行方向に沿った位置に設置された支持手段と、この支持手段に取り付けられ、前記誘導手段により誘導される通行者の少なくとも顔を含む画像を撮影する画像入力手段と、この画像入力手段により撮影した画像から少なくとも顔を含む画像を検出する顔検出手段と、この顔検出手段により少なくとも顔を含む画像として検出された画像を記録する記録手段とを有する。
【0010】
この発明の顔画像撮影装置は、2つの通行範囲限定部の間を通行者が通行するように通行範囲を限定する通行範囲限定手段と、前記2つの通行範囲限定部の間を通行する通行者の進行方向正面あるいは進行方向に沿った位置に設置される支持手段と、この支持手段に取り付けられ、前記2つの通行範囲限定部の間を通行する通行者の少なくとも顔を含む画像を撮影する画像入力手段と、この画像入力手段により撮影した画像から少なくとも顔を含む画像を検出する顔検出手段と、この顔検出手段により少なくとも顔を含む画像として検出された画像を記録する記録手段とを有する。
【0011】
この発明の顔画像撮影装置は、2つの通行範囲限定部の間を通行者が通行するように通行範囲を限定する通行範囲限定手段と、前記2つの通行範囲限定部の間を通過した通行者の進路を誘導する進路誘導手段と、この進路誘導手段に取り付けられ、前記2つの通行範囲限定部の間を通行する通行者の少なくとも顔を含む画像を撮影する画像入力手段と、この画像入力手段により撮影した画像から少なくとも顔を含む画像を検出する顔検出手段と、この顔検出手段により少なくとも顔を含む画像として検出された画像を記録する記録手段とを有する。
【0012】
この発明の顔画像認識装置は、通行者を誘導する誘導手段と、この誘導手段により誘導される通行者の進行方向正面あるいは進行方向に沿った設置された支持手段と、この支持手段に取り付けられ、前記誘導手段により誘導される通行者の少なくとも顔を含む画像を撮影する画像入力手段と、この画像入力手段により撮影した画像から顔の特徴パターンを検出する顔検出手段と、この顔検出手段により検出された顔の特徴パターンと予め記憶手段に記憶されている顔の特徴パターンとに基づいて、前記画像入力手段により撮影した通行者を認識する顔認識手段とを有する。
【0013】
この発明の顔画像認識装置は、2つの通行範囲限定部の間を通行者が通行するように通行者の通行範囲を限定する通行範囲限定手段と、前記2つの通行範囲限定部の間を通行する通行者の進行方向正面あるいは進行方向に沿った位置に設置される支持手段と、この支持手段に取り付けられ、前記2つの通行範囲限定部の間を通行する通行者の少なくとも顔を含む画像を撮影する画像入力手段と、この画像入力手段により撮影した画像から少なくとも顔を含む画像を検出する顔検出手段と、この顔検出手段により検出された顔の特徴パターンと予め記憶手段に記憶されている顔の特徴パターンとに基づいて、前記画像入力手段により撮影した通行者を認識する顔認識手段とを有する。
【0014】
この発明の顔画像認識装置は、2つの通行範囲限定部の間を通行者が通行するように通行範囲を限定する通行範囲限定手段と、前記2つの通行範囲限定部の間を通過した通行者の進路を誘導する進路誘導手段と、この進路誘導手段に取り付けられ、前記2つの通行範囲限定部の間を通行する通行者の少なくとも顔を含む画像を撮影する画像入力手段と、この画像入力手段により撮影した画像から少なくとも顔を含む画像を検出する顔検出手段と、この顔検出手段により検出された顔の特徴パターンと予め記憶手段に記憶されている顔の特徴パターンとに基づいて、前記画像入力手段により撮影した通行者を認識する顔認識手段とを有する。
【0015】
【発明の実施の形態】
以下、この発明の第1、第2、第3の実施の形態について図面を参照して説明する。
まず,第1の実施の形態について説明する.
図1、図2および図3は,第1の実施の形態に係る顔画像撮影装置の外観構成を概略的に示すものである。図1は、上記顔画像撮影装置の斜視図である。図2は、上記顔画像撮影装置を上方から見た場合の外観図である。図3は、上記顔画像撮影装置を側面から見た場合の外観図である。
【0016】
図1に示すように、第1の実施の形態に係る顔画像撮影装置は、2つの歩行範囲限定部(誘導手段、通行範囲限定手段)101、102と画像入力部(画像入力手段)103が取り付けられた支持部(支持手段)104とを有する。また、上記歩行範囲限定部101、102及び支持部104は、例えば、図1に示すように、壁106及び壁107により形成される通路内に設置されている。また、図1、図2及び図3では、上記画像入力部103により撮影する通行者の顔を照明する照明手段を図示していないが、上記画像入力部103の近傍などに上記歩行範囲限定部101及び102の間を通行する通行者の顔を照明する照明手段を設けるようにしても良い。
【0017】
上記歩行範囲限定部101、102は、通路を通行する歩行者の歩行範囲を限定させるものである。上記歩行範囲限定部101、102は、通路内における通行者の進行方向に対して交差する方向に互いに所定距離Wの間隔を離して設置されている。例えば、上記歩行範囲限定部(通行範囲限定部)101と上記歩行範囲限定部(通行範囲限定部)102とは、図1および図2に示すように、幅Wの間隔で設置される。上記歩行範囲限定部101と上記歩行範囲限定部102との幅Wは、上記通路を形成する壁106及び107の間隔(通路の幅)W´よりも小さく設定され、例えば、1m程度の幅であり、少なくとも1人の歩行者(人物)Pが支障なく通過できる幅を想定して設定される。
【0018】
上記画像入力部103は、上記歩行範囲限定部101と上記歩行範囲限定部102との間を通過する歩行者Pの少なくとも顔を含む領域の画像(顔画像)を撮影するものである。上記画像入力部103は、所定の撮影範囲を有している。例えば、図1および図2に示すように、床面に対して水平方向における上記画像入力部103の撮影範囲を示す画角をθwとすると、上記画像入力部103による撮影範囲の幅は、その設置位置から距離Lだけ離れた位置で幅W以上になるように設定されている。
【0019】
上記支持部104は、進行方向に歩行する歩行者Pに対して、上記歩行範囲限定部101、102よりも奥側に設置される。例えば、上記支持部104は、図1および図2に示すように、上記歩行範囲限定部101と上記歩行範囲限定部102との間の中央の位置から進行方向に距離Lだけ離れた位置、すなわち、歩行者Pの進行方向正面に設置される。上記距離Lは、例えば、1.5m程度の距離である。上記支持部104は、いくつかの条件に基づいて設定される。例えば、上記支持部104の設置位置は、少なくとも歩行者Pが歩行範囲限定部101と102の間を通過した後に支持部104の左右いずれかの側方をすり抜けることが容易な間隔を想定して設定される。また、上記支持部104の設置位置は、上記画像入力部103による撮影範囲の幅が少なくとも歩行範囲限定部101と102の間の画像を撮影可能な幅となるように設定される。
【0020】
また、上記画像入力部103は、上記歩行範囲限定部101と上記歩行範囲限定部102との間を通過する歩行者の顔が撮影できるような高さおよび角度で支持部104に設置される。例えば、図3に示すように、床面に対して垂直方向における上記画像入力部103の撮影範囲を示す画角をθhとすると、上記画角θhは、床面と水平な面に対してなすθ1とθ2とからなる。さらに、上記支持部104における画像入力部103(カメラのレンズ光軸中心の位置)の取り付け位置の高さを床面からHcとすると、上記画像入力部103は、高さHcの取り付け位置から下方向にθ2、上方向にθ1の範囲が撮影範囲となる。
【0021】
従って、上記画像入力部103と上記歩行範囲限定部101、102との距離をLとすると、上記画像入力部103は、上記歩行範囲限定部101、102の位置において、θ2と距離Lとから求められる高さH1からθ1と距離Lと画像入力部103の取り付け位置の高さHcとから求められる高さH2までの範囲の画像を撮影する。例えば、歩行者が身長145cmから185cmまでの成人である場合、上記H1およびH2は、身長145cmから185cmまでの人物の顔が撮影できるように設定すれば良い。
【0022】
上述の各値の関係は、下記の数1と数2により与えられる。
(数1)…L×tan(θw/2)>W/2
(数2)…L×tan(θ1)>(Hc−H1)かつL×tan(θ2)>(H2−Hc)
但し、θ1+θ2=θwとする。
【0023】
また、上記歩行範囲限定部101または上記歩行範囲限定部102のそれぞれの高さは、歩行者に対して歩行範囲を限定させることが可能なものであれば良い。例えば、上記歩行範囲限定部101または上記歩行範囲限定部102の高さは、歩行者に無視されてしまうような高さでなければ良いが、高すぎると歩行者に対する圧迫感が強くなってしまう。このため、上記歩行範囲限定部101、102の高さは、歩行者に無視されることのない高さで、かつ、歩行者に対する圧迫感が少ない高さが好ましい。
また、上記支持部104は、通行者の正面向きの顔を安定して撮影できる上記画像入力部103の取り付け位置を確保できる高さがあれば良い。
【0024】
また、図1、図2あるいは図3に示す歩行範囲限定部101,102は円筒状の形状を有しているため、通路を歩行する歩行者(歩行範囲が制限される歩行者)に対する圧迫感が少なく、既存の通路内に容易に設置できるというメリットがある。
【0025】
次に、顔画像撮影装置の機能について説明する。
図4は、顔画像撮影装置における画像の処理機能を概略的に示すブロック図である。
図4に示すように、顔画像撮影装置は、上記画像入力部103にて入力した画像データを処理する処理ユニット401を有している。なお、上記処理ユニット401は、上記画像入力部103からの画像データを取り込むことが可能であれば良い。例えば、上記処理ユニット401は、支持部104内に設置して上記画像入力部103から画像データを取り込むようにしても良いし、無線LAN、ブルートゥースなどの無線通信を含むネットワークなどを介して上記画像入力部103に接続して画像データを取り込むようにしても良い。
【0026】
図4に示すように、上記処理ユニット401は、顔検出部(顔検出手段)411と画像記録部(画像記録手段)412とを有している。上記顔検出部411は、上記画像入力部103で入力した画像データから顔画像を検出するものである。上記画像記録部412は、上記顔検出部411により検出された顔画像を記憶装置412aに記録するものである。
【0027】
すなわち、上記画像入力部103は、上記歩行範囲限定部101と上記歩行範囲限定部102との間の画像を撮影(入力)し、撮影した画像を画像データとして上記処理ユニット401へ供給する。上記処理ユニット401では、まず、上記顔検出部411により上記画像入力部103から取得した画像データについて顔画像の検出処理(顔検出処理)を行う。この顔検出処理の結果として上記画像入力部103から取得した画像データから顔画像が検出できた場合、上記画像記録部412は、上記顔検出部411で顔が検出された画像データを記憶装置412aに記録する。
【0028】
すなわち、上記歩行範囲限定部101と上記歩行範囲限定部102との間を歩行者Pが歩行した場合、上記画像入力部103は、当該歩行者Pの顔画像を撮影し、その撮影した顔画像を上記処理ユニット401に出力する。上記画像入力部103は、例えば、図5に示すように、横方向512画素、縦方向512画素、各画素8ビットの構造を持つ画像データとして撮影する。また、上記画像入力部103は、例えば、上記のような構造の画像データを上記処理ユニット401へ1秒間に30枚出力するようになっている。
【0029】
また、上記顔検出部411は、上記画像入力部103から入力された複数の画像データについてその1枚毎に顔検出処理を行う。この顔検出処理は、入力された画像データから顔としての特徴パターン(顔パターン)を検出する処理である。例えば、上記顔検出部411による顔検出処理は、図6に示すような処理手順で実行される。
【0030】
以下、図6の処理手順について説明する。
まず、上記顔検出部411は、サイズs、および(y,x)座標などの初期化を行なう(ステップ601〜603)。次に、上記顔検出部411は、あらかじめ用意されたサイズの異なる複数の標準顔パターンgs(i,j)を用いて、入力画像f(x,y)内の局所領域との相関Ms(x,y)を、座標(x,y)をずらしながら、以下に示す数3にしたがって計算する(ステップ604)。ここで、サイズの異なる標準顔パターンgs(i,j)は、決められたサイズであらかじめ収集した顔パターンを平均するなどして作成される。
(数3)…Ms(x,y)=Σf(x+i,y+j)・gs(i,j)/{Σf(x+i,y+j)・Σgs(i,j)}
次に,求めた相関Ms(x,y)が一定しきい値THR以上であれば(ステップ605)、顔パターンを検出したものとして、その結果を出力する(ステップ606)。この画像探索を、図7(a)、(b)、(c)に模式的に示すように、標準顔パターンgs(i,j)のサイズsを変更しながら実施する。図6のステップ607〜612がその処理である。
なお、図7(a)、(b)、(c)において、符号701は画像入力部103が出力する画像全体を示し、符号702,703,704は標準顔パターンを示している。
【0031】
上記のように、歩行範囲限定部101,102は歩行者Pを幅Wの中に歩行範囲を制限し、画像入力部103は上記歩行範囲内を歩行する歩行者Pに対して略正面の位置に設置された支持部104に取り付けられ,顔検出部411は上記画像入力部103で撮影した画像から顔画像を検出し、上記画像記録部412は検出できた顔画像を記憶装置412aに記録するようにしたものである。これにより、歩行者の利便性を損なうことなく、歩行者の正面の顔を確実に撮影することができる。
【0032】
なお、上述した第1の実施の形態では、図1に示すような円筒上の歩行範囲限定部101と102にて歩行者を所望の歩行範囲に導くようにしたが、歩行者を所望の歩行範囲に導くものであれば、図1に示すような円筒上の歩行範囲限定部でなくとも良い。以下に、第1の実施の形態の変形例について説明する。
【0033】
図8、および図9は、第1の実施の形態の変形例を示す図である。
図8は、上記歩行範囲限定部101、102の代わりに、壁状の部材で形成された歩行範囲限定部801、802を設けたものである。上記歩行範囲限定部801および802は、通路を形成する壁(図示しない)に対して、上記歩行範囲限定部801、802の外側を通行できないように設置される。例えば、上記歩行範囲限定部801および802は、通路を形成する壁と接するように設置されたり、通路を形成する壁との間を人が通行できないように設置される。
【0034】
従って、上記歩行範囲限定部801、802では、上記歩行範囲限定部101、102と同様に歩行者の歩行範囲を限定することができる。この場合も、歩行者の利便性を損なうことなく、歩行者の正面の顔を安定して撮影することができる。さらに、図8に示す上記歩行範囲限定部801、802によれば、上記歩行範囲限定部801、802と通路を形成する壁の間(上記歩行範囲限定部801の外側と上記歩行範囲限定部802の外側)を完全に通行不能することが容易であり、歩行者を所望の歩行範囲に確実に導くことができる。
なお、ここでは、801、802を壁に対して別に設置したが、壁自体を801、802の代わりの役目を持つように用いることにより、同様の効果を得ることができる。図8に示すような構成例の顔画像撮影装置を設置する場合、通路を形成する既存の壁を上記歩行範囲限定部802あるいは上記支持部804として用いるようにしても良い。
【0035】
また、図9は、上記歩行範囲限定部101、102の代わりに、壁状の部材で形成された歩行範囲限定部901、902を設け、さらに、支持部104の代わりに、壁状の部材で形成された支持部904を設けたものである。すなわち、上記歩行範囲限定部901は、進行方向に対して交差する方向に形成された壁となるように設置される。また、上記歩行範囲限定部902は、進行方向に対して平行方向(進行方向に沿う方向)に形成された壁となるように設置されている。これにより、上記歩行範囲限定部901および上記歩行範囲限定部902は、歩行者Pの歩行範囲を限定しつつ、上記支持部904に取り付けられている画像入力部103に対して正面顔を向けて歩行するように制限する。
【0036】
また、上記支持部904は、歩行範囲限定部901、902の間を通行中の歩行者Pの進行方向正面に設置される。これにより、上記支持部904は、歩行範囲限定部901、902の間を通過した歩行者Pの進路を左側に変更させる。
【0037】
従って、図9に示す構成例において、歩行者Pは、上記歩行範囲限定部901、902により歩行範囲が限定された状態で上記歩行範囲限定部901と上記歩行範囲限定部902の間を通行した後、上記支持部904で進路を左側に変更させられる。この場合、上記歩行範囲限定部901と上記歩行範囲限定部902の間を通過する際、歩行者Pは上記支持部904に取り付けられた上記画像入力部103に対して正面顔を向ける体勢となる。このため、上記画像入力部103は、歩行者Pが正面を向いた状態であるため、容易に正面顔画像を撮影できる。
【0038】
図9に示すような構成例の顔画像撮影装置を設置する場合、通路を形成する既存の壁を上記歩行範囲限定部902あるいは上記支持部904として用いるようにしても良い。また、上記歩行範囲限定部902の形状は、歩行範囲を限定するものであれば良く、例えば、図1に示すような円筒形の形状で構成するようにしても良い。図9に示すような構成によれば、歩行者の利便性を損なうことなく、歩行者の進路を確実に限定することができ、歩行者の歩行範囲を限定する過程において歩行者の正面顔を安定して撮影することができる。
なお、図8及び図9に示す構成例においても、上記歩行範囲限定部801及び802の間あるいは上記歩行範囲限定部901及び902の間を通行する通行者の顔を照明する照明手段を設けるようにしても良い。
【0039】
次に、第2の実施の形態について説明する。
この第2の実施の形態に係る顔画像撮影装置は、第1の実施の形態に係る顔画像撮影装置の構成に加えて、歩行範囲限定部により歩行範囲を限定した歩行者に対して、さらに、進路を誘導する手段を設けたものである。
【0040】
図10および図11は、第2の実施の形態に係る顔画像撮影装置の構成を概略的に示すものである。なお、図10および図11に示すような第2の実施の形態に係る顔画像撮影装置は、上記第1の実施の形態で説明した処理ユニット401と同様な処理ユニット401を有するものとする。
【0041】
図10に示す構成例では、進路誘導部1001,1002,1003,1004,1005,1006,1007を有し、さらに、進路誘導部1004に画像入力部103が設置されている。上記進路誘導部(通行範囲限定手段)1001及び1002は、第1の実施の形態で説明した歩行範囲限定部101、102と同様な機能を有し、上記進路誘導部1004は、上記第1の実施の形態で説明した支持部104と同様な機能を有する。つまり、図10に示す構成は、上記図1と同様な構成に加えて、上記進路誘導部(進路誘導手段)1004,1005,1006,1007を設けたものである。また、図10では、上記画像入力部103により撮影する通行者の顔を照明する照明手段を図示していないが、上記画像入力部103の近傍などに上記進路誘導部1001及び1002の間を通行する通行者の顔を照明する照明手段を設けるようにしても良い。
【0042】
上記進路誘導部1001,1002,1003,1004,1005,1006,1007は、歩行者に対して左方向に一定のカーブを描きくような進路を誘導するように進行方向に沿った位置に設けられるものである。図10に示す例では、1001と1002、1003と1004,1003と1006、1005と1007がそれぞれ歩行者に対する誘導路を形成している。従って、歩行者は、1001と1002との間、1003と1004との間、1003と1006との間、1005と1007との間を順次通行することにより、左方向に一定のカーブを描くように通行する。
【0043】
また、図10に示す構成例では、進路誘導部1004は、画像入力部103を支持する支持部として機能するとともに、歩行者の進路を誘導する機能を有している。すなわち、上記進路誘導部1004は、上記進路誘導部1001、1002と相対的な位置関係が上記第1の実施の形態と同様な位置関係となるような位置に設置され、さらに、上記進路誘導部1003との間に歩行者を誘導するような位置に設置される。
【0044】
これにより、図10に示す構成例によれば、第1の実施の形態と同様に,歩行者の利便性を阻害することなく、歩行者の正面顔を確実に撮影できるとともに、歩行者に対して自然な進路誘導を行うことができる。さらに、進路誘導部1004に画像入力部103を取り付けるようにしたため、歩行者の正面顔を撮影するための画像入力部の違和感が少ない。
【0045】
また、図11に示す構成例では、図10に示す構成例に加えて、進路誘導部1006に画像入力部103bを取り付けたものである。これにより、図11に示す構成例では、上記進路誘導部1004に取り付けた画像入力部103aと上記進路誘導部1006に取り付けた画像入力部103aとにより歩行者の正面顔画像を撮影するようになっている。従って、図11に示す構成例では、歩行者が曲線状の進路を進む間に、歩行者の正面顔を撮影する機会を複数回設けることができる。また、図11に示す構成例においても、上記進路誘導部1001及び1002の間を通行する通行者あるいは上記進路誘導部1003〜1007により誘導される通行者の顔を照明する照明手段を設けるようにしても良い。
【0046】
すなわち、図11に示す構成例のように、進路誘導部に複数の画像入力部を複数箇所に取り付け、進路誘導部により誘導される進路を通行中の歩行者に対して、複数の地点で、正面顔画像を撮影する機会を設けるようにしても良い。この場合、上記処理ユニット401では、顔検出部411が複数の画像入力部で入力した1人の歩行者に対する複数の画像から顔を検出する処理を行うようにする。
【0047】
上記のように、図11に示す構成例のように進路誘導部に複数の画像入力部を複数箇所に取り付けるようにすれば、図10に示す構成例と同様な効果を有するとともに、進路誘導されている歩行者の正面顔を確実に撮影できる。
【0048】
以上説明したように、第2の実施の形態によれば、歩行者の利便性を損なうことなく、歩行者に対して自然な進路誘導を行うことができ、自然な状態で歩行者の正面の顔画像を確実に撮影できる顔画像撮影装置を実現することができる。
【0049】
次に、第3の実施の形態について説明する。
この第3の実施の形態に係る顔画像認識装置は、上記第1あるいは第2の実施の形態で説明した顔画像撮影装置を用いて撮影した画像に対して顔画像の認識処理を行うものである。従って、この第3の実施の形態に係る顔画像認識装置は、処理ユニット1201内の構成以外は、上記第1あるいは第2の実施の形態で説明した顔画像撮影装置と同様に構成される。なお、この第3の実施の形態に係る顔画像認識装置に用いられる歩行範囲限定部(あるいは進路誘導部)および支持部の構成は、上記第1、第2の実施の形態で説明したものと同様であるため説明は省略する。
【0050】
図12は、第3の実施例の形態に係る顔画像認識装置の画像の処理機能を概略的に示すブロック図である。
この顔画像認識装置の処理ユニット1201は、顔検出部(顔検出手段)1210、顔認識部(顔認識手段)1211、データ記録部1212などを有している。上記処理ユニット1201には、上記画像入力部103から画像が入力される。上記画像入力部103は,上記第1の実施の形態あるいは上記第2の実施の形態で説明した画像入力部103(あるいは103aと103b)と同様な構成を有している。また、上記顔検出部1210については、上記顔検出部411と同様であるので説明を省略する。
【0051】
上記顔認識部1211は、例えば、図13に示すように、顔パターン記憶部1301、類似度計算部1302、および、閾値処理部1303などを有している。
上記顔パターン記憶部(辞書)1301は、予め登録者の顔の特徴パターンとしての標準顔パターン(基準パターン)が記憶されている。上記顔パターン記憶部1301には、例えば、図14に示すように、各登録者のカテゴリごとに基準パターンとしての顔パターンデータが記憶されている。
【0052】
上記類似度計算部1302は、上記顔検出部1210により入力された画像データから検出された顔の特徴パターン(入力パターン)を正規化し、正規化した入力パターンと上記顔パターン記憶部1301に記憶されている基準パターンとの類似度を算出する処理(照合処理)を行う。また、上記閾値処理部1303は、上記類似度計算部1302により算出された類似度と所定の閾値とを比較して認識結果を出力するものである。
【0053】
すなわち、上記顔認識部1211は、上記顔検出部1210から出力される顔領域の画像データを正規化した後、顔パターン記憶部1301に記憶してある標準顔パターン(基準パターン)と照合して、最も近い標準顔パターンを選択し、所定の閾値を比較することにより入力された顔画像の認識を行うものである。
【0054】
また、上記データ記録部1212は、上記顔認識部1211から出力された認識結果としての類似度Simc(x,y)の最も高いカテゴリ名を認識結果として記憶装置1212aに記録する。また、上記顔認識部1211から出力された類似度が所定の閾値以下であった場合、上記データ記録部1212は、登録されていない人物が通行したことを外部へ通報するとともに、上記画像入力部103が入力した当該画像データを上記記憶装置1212aに記録する。
【0055】
次に、上記類似度計算部1302による類似度計算処理(照合処理)について説明する。
図15は、類似度計算部1302により実行される類似度計算処理の処理手順を説明するためのフローチャートである。
まず、上記顔検出部1210にて検出された顔パターンの範囲に対して、あらかじめ定められた縦および横画素の画像に大きさを正規化する(ステップ1501)。次に、カテゴリcの初期設定を行なった後(ステップ1502)、顔パターン記憶部1301内にあらかじめ用意してあるカテゴリcの顔パターン(辞書パターン)rc(i,j)と、正規化した顔パターン(入力画像)h(x,y)との類似度Simc(x,y)を、下記に示す数4のように相関を求めることで計算する(ステップ1503)。
(数4)…Simc(x,y)=Σh(x+i,y+j)・rc(i,j)/{Σh(x+i,y+j)・Σrc(i,j)}
ここで顔パターン記憶部1101に記憶されている辞書パターンとなる基準の顔パターンrc(i,j)は、たとえば、図14に示すようなデータ構造をもっており、類似度計算部1302は、類似度Simc(x,y)の最も高いカテゴリ名を出力する(ステップ1504〜1508)。
【0056】
カテゴリcの顔パターンrc(i,j)は、個人ごとにあらかじめ顔パターンを収集して,たとえば,複数収集した顔パターンの平均パターンとして求める。また、複数収集した顔パターンの変動成分を考慮して、混合類似度法や複合類似度法、局所相関法など他の手法で、顔パターンの認識を実施しても良い。
【0057】
上記のように、第3の実施の形態では、上記第1、第2の実施の形態で説明した顔画像撮影装置により撮影した顔画像と予め登録されている基準パターン(登録データ)との認識処理を行うようにしたものである。これにより、第3の実施の形態によれば、歩行者の利便性を損なうことなく、顔を正面から確実に撮影した顔画像を用いて精度の高い顔認識処理を実現することができる。
【0058】
なお、以上の説明では、通行者として歩行者を想定して説明したが、上記第1、第2、第3の実施の形態が適用される通行者は歩行者に限定されるものではない。例えば、上記第1、第2、第3の実施の形態は、車椅子等を利用する通行者に対しても適用可能である。
【0059】
【発明の効果】
以上詳述したように、この発明によれば、歩行者の正面顔を確実に撮影するために歩行者に対する利便性が低下してしまうことがあるという問題点を解決するもので、歩行者の利便性を損なうことなく、正面顔を確実に撮影することができる顔画像撮影装置を提供できる。
【0060】
また、歩行者の正面顔が確実に撮影できない場合には歩行者に対する顔認識の精度が低下してしまうという問題点を解決するもので、確実に撮影された歩行者の正面顔を用いて顔認識を実行でき、歩行者に対する精度の高い顔認識処理を実現できる顔認識装置を提供できる。
【図面の簡単な説明】
【図1】この発明の第1の実施の形態に係る画像撮影装置の配置を示す図。
【図2】第1の実施の形態に係る画像撮影装置の配置を示す図。
【図3】第1の実施の形態に係る画像撮影装置の配置を示す図。
【図4】第1の実施の形態に係る画像撮影装置の構成を概略的に示すブロック図。
【図5】第1の実施の形態に係る画像入力部が出力する画像データの形態の一例を示す図。
【図6】第1の実施の形態に係る顔検出部が実行する処理手順を示すフローチャート。
【図7】第1の実施の形態に係る顔検出部の処理を模式的に示す図。
【図8】第1の実施の形態に係る画像撮影装置の配置における別の例を示す構成図。
【図9】第1の実施の形態に係る画像撮影装置の変形例を示す図。
【図10】第2の実施の形態に係る通行誘導装置の配置を示す構成図。
【図11】第2の実施の形態に係る通行誘導装置の変形例を示す図。
【図12】第3の実施の形態に係る画像認識装置を示す図。
【図13】第3の実施の形態に係る顔認識部の構成を概略的に示すブロック図。
【図14】第3の実施の形態に係る類似度計算部が実行する処理手順を示すフローチャート。
【図15】第3の実施の形態に係る顔パターン記憶部が記憶する辞書パターンの構造を示す図。
【符号の説明】
P…歩行者(通行者)、101,102,801,802,901,902…歩行範囲限定部(誘導手段、通行範囲限定手段)、103(103a、103b)…画像入力部(画像入力手段)、104…支持部(支持手段)、411、1210…顔検出部(顔検出手段)、412…画像記録部(画像記録手段)、1001,1002,1003,1004,1005,1006,1007…進路誘導部(進路誘導手段)、1211…顔認識部(顔認識手段)

Claims (10)

  1. 通行者を誘導する誘導手段と、
    この誘導手段により誘導される通行者の進行方向正面あるいは進行方向に沿った位置に設置された支持手段と、
    この支持手段に取り付けられ、前記誘導手段により誘導される通行者の少なくとも顔を含む画像を撮影する画像入力手段と、
    この画像入力手段により撮影した画像から少なくとも顔を含む画像を検出する顔検出手段と、
    この顔検出手段により少なくとも顔を含む画像として検出された画像を記録する記録手段と、
    を有することを特徴とする顔画像撮影装置。
  2. 2つの通行範囲限定部の間を通行者が通行するように通行範囲を限定する通行範囲限定手段と、
    前記2つの通行範囲限定部の間を通行する通行者の進行方向正面あるいは進行方向に沿った位置に設置される支持手段と、
    この支持手段に取り付けられ、前記2つの通行範囲限定部の間を通行する通行者の少なくとも顔を含む画像を撮影する画像入力手段と、
    この画像入力手段により撮影した画像から少なくとも顔を含む画像を検出する顔検出手段と、
    この顔検出手段により少なくとも顔を含む画像として検出された画像を記録する記録手段と、
    を有することを特徴とする顔画像撮影装置。
  3. 前記通行範囲限定手段は、少なくとも前記2つの通行範囲限定部の間が通行者の通行に支障の無い幅となるように設置され、
    前記支持手段は、前記通行範囲限定手段により通行範囲が限定された通行者の通行に支障がないような位置に設置される、ことを特徴とする前記請求項2に記載の顔画像撮影装置。
  4. 前記支持手段は、前記画像入力手段による撮影範囲の幅が少なくとも前記通行範囲限定手段により限定される通行範囲の画像を含む幅となる位置に設置される、ことを特徴とする前記請求項2に記載の顔画像撮影装置
  5. 前記画像入力手段は、通行者の身体的な特徴に基づいて、前記2つの通行範囲限定部の間を通行する通行者の少なくとも顔を撮影するように前記支持手段に取り付けられる、ことを特徴とする前記請求項2に記載の顔画像撮影装置。
  6. 2つの通行範囲限定部の間を通行者が通行するように通行者の通行範囲を限定する通行範囲限定手段と、
    前記2つの通行範囲限定部の間を通過した通行者の進路を誘導する進路誘導手段と、
    この進路誘導手段に取り付けられ、前記2つの通行範囲限定部の間を通行する通行者の少なくとも顔を含む画像を撮影する画像入力手段と、
    この画像入力手段により撮影した画像から少なくとも顔を含む画像を検出する顔検出手段と、
    この顔検出手段により少なくとも顔を含む画像として検出された画像を記録する記録手段と、
    を有することを特徴とする顔画像撮影装置。
  7. 前記画像入力手段は、前記通路誘導手段の複数箇所に取り付けられた複数の画像入力部を有する、ことを特徴とする前記請求項6に記載の顔画像撮影装置。
  8. 通行者を誘導する誘導手段と、
    この誘導手段により誘導される通行者の進行方向正面あるいは進行方向に沿った設置された支持手段と、
    この支持手段に取り付けられ、前記誘導手段により誘導される通行者の少なくとも顔を含む画像を撮影する画像入力手段と、
    この画像入力手段により撮影した画像から顔の特徴パターンを検出する顔検出手段と、
    この顔検出手段により検出された顔の特徴パターンと予め記憶手段に記憶されている顔の特徴パターンとに基づいて、前記画像入力手段により撮影した通行者を認識する顔認識手段と、
    を有することを特徴とする顔画像認識装置。
  9. 2つの通行範囲限定部の間を通行者が通行するように通行範囲を限定する通行範囲限定手段と、
    前記2つの通行範囲限定部の間を通行する通行者の進行方向正面あるいは進行方向に沿った位置に設置される支持手段と、
    この支持手段に取り付けられ、前記2つの通行範囲限定部の間を通行する通行者の少なくとも顔を含む画像を撮影する画像入力手段と、
    この画像入力手段により撮影した画像から少なくとも顔を含む画像を検出する顔検出手段と、
    この顔検出手段により検出された顔の特徴パターンと予め記憶手段に記憶されている顔の特徴パターンとに基づいて、前記画像入力手段により撮影した通行者を認識する顔認識手段と、
    を有することを特徴とする顔画像認識装置。
  10. 2つの通行範囲限定部の間を通行者が通行するように通行範囲を限定する通行範囲限定手段と、
    前記2つの通行範囲限定部の間を通過した通行者の進路を誘導する進路誘導手段と、
    この進路誘導手段に取り付けられ、前記2つの通行範囲限定部の間を通行する通行者の少なくとも顔を含む画像を撮影する画像入力手段と、
    この画像入力手段により撮影した画像から少なくとも顔を含む画像を検出する顔検出手段と、
    この顔検出手段により検出された顔の特徴パターンと予め記憶手段に記憶されている顔の特徴パターンとに基づいて、前記画像入力手段により撮影した通行者を認識する顔認識手段と、
    を有することを特徴とする顔画像認識装置。
JP2003056190A 2003-03-03 2003-03-03 顔画像撮影装置と顔画像認識装置 Pending JP2004266660A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003056190A JP2004266660A (ja) 2003-03-03 2003-03-03 顔画像撮影装置と顔画像認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003056190A JP2004266660A (ja) 2003-03-03 2003-03-03 顔画像撮影装置と顔画像認識装置

Publications (1)

Publication Number Publication Date
JP2004266660A true JP2004266660A (ja) 2004-09-24

Family

ID=33119983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003056190A Pending JP2004266660A (ja) 2003-03-03 2003-03-03 顔画像撮影装置と顔画像認識装置

Country Status (1)

Country Link
JP (1) JP2004266660A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189350A (ja) * 2006-01-11 2007-07-26 Fuji Xerox Co Ltd 画像処理装置およびプログラム
WO2021090365A1 (ja) * 2019-11-05 2021-05-14 日本電気株式会社 ゲートシステム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189350A (ja) * 2006-01-11 2007-07-26 Fuji Xerox Co Ltd 画像処理装置およびプログラム
JP4626523B2 (ja) * 2006-01-11 2011-02-09 富士ゼロックス株式会社 画像処理装置およびプログラム
WO2021090365A1 (ja) * 2019-11-05 2021-05-14 日本電気株式会社 ゲートシステム
JPWO2021090365A1 (ja) * 2019-11-05 2021-05-14
EP4056790A4 (en) * 2019-11-05 2022-11-16 Nec Corporation GATE SYSTEM
JP7276494B2 (ja) 2019-11-05 2023-05-18 日本電気株式会社 ゲートシステム

Similar Documents

Publication Publication Date Title
JP6458734B2 (ja) 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
US7574021B2 (en) Iris recognition for a secure facility
JP3781370B2 (ja) 移動装置
US7627147B2 (en) Method and apparatus for obtaining iris biometric information from a moving subject
JP5127531B2 (ja) 画像監視装置
JP4476744B2 (ja) 撮像システム、及びプログラム
US20050084179A1 (en) Method and apparatus for performing iris recognition from an image
JP5730095B2 (ja) 顔画像認証装置
JP2007334623A (ja) 顔認証装置、顔認証方法、および入退場管理装置
JP2001331799A (ja) 画像処理装置および画像処理方法
JP2008071172A (ja) 顔認証装置、顔認証方法および入退場管理装置
JP5106302B2 (ja) 移動物体追跡装置
JP4667508B2 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
EP3398111B1 (en) Depth sensing based system for detecting, tracking, estimating, and identifying occupancy in real-time
US20220108560A1 (en) Fast face image capture system
JP4617286B2 (ja) 不正通過者検出装置及びこれを利用した不正通過者録画システム
JP2007300185A (ja) 画像監視装置
JP2010262527A (ja) 通行者計数装置、通行者計数方法および通行者計数プログラム
JP2004266660A (ja) 顔画像撮影装置と顔画像認識装置
JP2004274101A (ja) 移動体識別システム
JP2005140754A (ja) 人物検知方法、監視システム、およびコンピュータプログラム
JPH11328365A (ja) 画像監視装置及びその方法
JP2007199766A (ja) 顔画像記録装置
JP6559987B2 (ja) 人物認証装置及び人物認証方法
JP2009048261A (ja) カメラシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090324