JP2004356730A - 画像撮影装置および画像認識装置 - Google Patents
画像撮影装置および画像認識装置 Download PDFInfo
- Publication number
- JP2004356730A JP2004356730A JP2003149341A JP2003149341A JP2004356730A JP 2004356730 A JP2004356730 A JP 2004356730A JP 2003149341 A JP2003149341 A JP 2003149341A JP 2003149341 A JP2003149341 A JP 2003149341A JP 2004356730 A JP2004356730 A JP 2004356730A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- information
- face
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】歩行者の正面を向いた顔画像を利便性を低下させることなく撮影することが可能な画像撮影装置を提供する。
【解決手段】支持体101にカメラ104および表示器103が設置してあり、カメラ104で捕らえた画像から動きを検知する動き検知部105の検知結果にしたがって、表示制御部108から表示器103に歩行者Mが関心を示す情報が出力される。歩行者Mはこの表示器103に表示された情報に関心を示すことで、表示器103と同じ方向に取付けてあるカメラ104で歩行者Mの正面に近い顔画像を撮影することができる。カメラ104で捕らえた画像は画像記録部107が記録する。
【選択図】 図1
【解決手段】支持体101にカメラ104および表示器103が設置してあり、カメラ104で捕らえた画像から動きを検知する動き検知部105の検知結果にしたがって、表示制御部108から表示器103に歩行者Mが関心を示す情報が出力される。歩行者Mはこの表示器103に表示された情報に関心を示すことで、表示器103と同じ方向に取付けてあるカメラ104で歩行者Mの正面に近い顔画像を撮影することができる。カメラ104で捕らえた画像は画像記録部107が記録する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、たとえば、セキュリティ管理などにおいて、人物の顔画像により当該人物を監視する画像撮影装置および画像認識装置に関する。
【0002】
【従来の技術】
最近、人物の顔画像を撮影し、あるいは、人物の顔画像を認識してセキュリティ管理などに応用する方法が提案されている。たとえば、通路の外側もしくはその近辺に設置した柱型カメラによる画像撮影装置の技術が知られている(たとえば、特許文献1参照)。
また、テレビカメラで人物の顔画像を捉え、あらかじめ登録してある基準パターン(辞書情報)と照合することにより、人物の顔画像を認識する画像認識装置の技術が知られている(たとえば、特許文献2参照)。
【0003】
【特許文献1】
特開2001−16573号公報
【0004】
【特許文献2】
特開平5−233783公報
【0005】
【発明が解決しようとする課題】
ところが、従来の技術では、カメラを通路外に設置するために歩行者(人物)の正面の顔画像を捉えられず、人物を認識するための顔画像の撮影には不充分であるという問題がある。
また、顔を認識する技術では、正面の顔画像など安定した顔パターンの利用を前提としており、パターンの変動が大きい歩行者の顔画像を用いた認識では誤りが多くなるという問題がある。また、このような顔照合を歩行者に強要する場合は、歩行をいったん中止して認識をさせる必要が生じ、利便性が著しく低下するという問題がある。
【0006】
そこで、本発明は、歩行者の正面を向いた顔画像を利便性を低下させることなく撮影することが可能な画像撮影装置および画像認識装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明の画像撮影装置は、移動中の人物に対し情報を提示する情報提示手段と、この情報提示手段が設置された支持手段と、この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段とを具備している。
【0008】
また、本発明の画像撮影装置は、移動中の人物が携帯している携帯可能記録媒体に記録されている情報を読取る媒体読取手段と、この媒体読取手段により読取られた情報および前記移動中の人物に対して示される情報の少なくともいずれか一方を当該人物に対し提示する情報提示手段と、これら媒体読取手段および情報提示手段が設置された支持手段と、この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段とを具備している。
【0009】
さらに、本発明の画像認識装置は、移動中の人物に対し情報を提示する情報提示手段と、この情報提示手段が設置された支持手段と、この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段と、この画像入力手段により入力された画像から人物の少なくとも顔画像を検出する顔検出手段と、この顔検出手段により検出された顔画像をあらかじめ登録された辞書情報と照合することにより当該顔画像を認識する顔認識手段とを具備している。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
まず、第1の実施の形態について説明する。
図1は、第1の実施の形態に係る画像撮影装置の構成を概略的に示すものである。図1おいて、人物の身長方向に長い棒状の支持手段としての、たとえば筒状の支持体101は、人物(以後、歩行者ともいう)Mが移動する移動路(道路)102の近傍の地面に垂直方向に立設されている。なお、支持体101の高さ(長さ)は、たとえば、ほぼ歩行者Mの最大身長に対応した長さに設定されている。
【0011】
支持体101の上端には、情報提示手段としての表示器103が設置されている。表示器103は、歩行者Mが関心を示す情報を歩行者Mに対し表示するもので、たとえば、液晶表示パネルなどが用いられる。
支持体101には、画像入力手段としてのビデオカメラ104が設置されている。ビデオカメラ104は、歩行者Mが移動する移動路102の画像を撮影し入力するもので、たとえば、支持体101の軸方向(垂直方向)に移動可能となっている。
【0012】
カメラ104で入力された画像は、動き検知手段としての動き検知部105に送られる。動き検知部105は、カメラ104で入力された画像に基づき歩行者Mの動き(つまり出現)を検知する。
また、カメラ104で入力された画像は、顔検出手段としての顔検出部106に送られる。顔検出部106は、カメラ104で入力された画像から歩行者Mの顔を検出する。
【0013】
さらに、カメラ104で入力された画像は、画像記録手段としての画像記録部107に送られる。画像記録部107は、顔検出部106で歩行者Mの顔が検出されると、そのときカメラ104で入力された画像を記録するもので、たとえば、ビデオテープレコーダやハードディスク装置などが用いられる。
表示制御部108は、動き検知部105の検知結果に基づき表示器103の表示制御を行なう。
【0014】
このような構成であれば、カメラ104で捕らえた画像から動きを検知する動き検知部105の検知結果にしたがって、表示制御部108から表示器103に対し提示情報が出力される。歩行者Mは、この表示器103に表示された表示情報に関心を示すことで、表示器103と同じ方向に設置してあるカメラ104で歩行者Mの正面に近い顔画像を撮影することができるようになっている。カメラ104で捕らえた画像は画像記録部107が記録する。
【0015】
以下、各部について詳細に説明する。
画像入力手段であるカメラ101は、移動路102の歩行者Mが移動(歩行)すると予想される領域の画像を撮影して、デジタル濃淡画像情報として出力する。このデジタル濃淡画像情報は、たとえば、図2に示すように、横方向に512画素、縦方向に512画素、各画素が8ビットからなる構造で、1秒間に30枚出力される画像情報である。
【0016】
情報提示手段である表示器103には、たとえば、図3(a)〜(d)に示すように、「今日のニュース」、「展示案内」、「会場案内」など、歩行者Mが必要としている情報を表示したり、「注意」、「ATTENTION」などの表示と共に、重要な告知を赤や黄色など目立つ色で表示し、歩行者Mに注意を促したり、歩行者Mの目に止まるような情報を表示してもよい。
【0017】
支持体101に設置されたカメラ104は、前述したように、支持体101の範囲内で物理的に垂直方向(上下方向)に移動できるようになっており、また、カメラ104は、その設置角度を物理的に変更できるようになっている。そのため、表示器103とカメラ104との位置関係を変更できるようになっており、カメラ104にて撮影される歩行者Mの顔の向きを柔軟に設定できるようになっている。
【0018】
また、カメラ104は、支持体101の上端部分だけでなく、支持体101の範囲内で移動できるため、歩行者Mの顔の撮影状況を変更するためにカメラ104の設置高さを変更する場合においては、支持体101の再加工を必要としない。
【0019】
図4は、カメラ104の移動機構を模式的に示している。支持体101の内部には支柱201が立設されていて、この支柱201に対しカメラ104が上下方向に摺動移動可能に取り付けられている。なお、カメラ104の移動は、図示しないモータおよびモータの回転力をカメラ104の上下動に変換する変換機構により行なわれるようになっている。
【0020】
表示制御部108は、動き検知部105の検知結果にしたがって、たとえば、動き検知部105において人物Mの動きが検知された検知信号が出力されたら、表示器103から所定の情報を出力する。あるいは、随時、または、一定時間ごとに表示器103から情報を出力してもよいし、さらに、その場合には、動き検知部105から検知信号が出力されたら、それまで表示器103から出力されていた情報を変更するようにしてもよい。たとえば、図3(a)のような「今日のニュース」を随時表示していた場合、歩行者Mが近づいてきたら図3(b)のような「展示案内」を表示する、といった具合である。
【0021】
動き検知部105は、カメラ104で入力された画像を基に、カメラ104にて撮影された画像が時間的に変化した場合に人物Mの動き(出現)があったものとして、動き検知信号を出力する。動き検知の手法としては、たとえば、フレーム間差分法などが公知であり、それを利用することができる。
【0022】
なお、カメラ104からの画像を基に人物Mの動きを検知する動き検知部105を用いず、たとえば、人物Mが接近してくると反応する赤外線センサなどの人物検知手段を用いて、人物Mの出現を検知することも可能である。
【0023】
顔検出部106は、カメラ104により入力された図2の形態の画像情報から顔パターンを検出する。この顔検出処理は、たとえば、図5に示すフローチャートのような処理手順で実行される。以下、図5の処理手順について説明する。
【0024】
まず、サイズsやy,x座標などの初期化を行なう(ステップ301〜303)。次に、あらかじめ用意されたサイズの異なる複数の標準顔パターンgs(i,j)を用いて、入力画像f(x,y)内の局所領域との相関Ms(x,y)を、座標(x,y)をずらしながら下記数1にしたがって計算する(ステップ304)。ここで、サイズの異なる標準顔パターンgs(i,j)は、決められたサイズであらかじめ収集した顔パターンを平均するなどして作成される。
【数1】
【0025】
次に、求めた相関Ms(x,y)が一定の閾値THR以上であれば(ステップ305)、顔パターンを検出したものとして、その結果を出力する(ステップ306)。この画像探索を、図6に模式的に示すように、標準顔パターンgs(i,j)のサイズsを変更しながら実施する。図5のステップ307〜312がその処理である。
なお、図6において、符号401,403,405は入力画像全体を示し、符号402,404,406は標準顔パターンgs(i,j)を示している。
【0026】
画像記録部107は、顔検出部106が歩行者Mの顔を検出したときのカメラ104が出力する画像を記録する。
【0027】
以上説明したように、第1の実施の形態によれば、歩行者の利便性を損なうことなく、歩行者の顔画像を正面から確実に撮影することができる。
【0028】
次に、第2の実施の形態について説明する。
図7は、第2の実施例の形態に係る画像認識装置の構成を概略的に示すものである。第2の実施例の形態の第1の実施の形態と異なる点は、顔認識手段としての顔認識部109および情報記録部110が追加された点にあり、その他は前述した第1の実施の形態と同様であるので説明を省略する。
【0029】
顔認識部109は、たとえば、図8に示すように、顔パターン記憶部701、類似度計算部702、および、閾値処理部703から構成されている。すなわち、顔検出部106から出力される顔領域の画像情報を正規化した後、顔パターン記憶部701に記憶してある標準顔パターン(辞書情報)と照合して、最も近い標準顔パターンを選ぶことで顔画像の認識を行なう。類似度計算部702で実行される処理は、図9に示すような処理手順で実行される。以下、図9の処理手順について説明する。
【0030】
まず、顔検出部106にて検出された顔パターンの範囲に対して、あらかじめ定められた縦および横画素の画像に大きさを正規化する(ステップ601)。次に、カテゴリcの初期設定を行なった後(ステップ602)、顔パターン記憶部701内にあらかじめ用意してあるカテゴリcの顔パターン(辞書情報)rc(i、j)と、正規化した顔パターン(入力画像)h(x、y)との類似度Simc(x、y)を、下記数2のように相関を求めることで計算する(ステップ603)。
【数2】
【0031】
ここで、顔パターン記憶部701に記憶されている辞書情報となる基準の顔パターンrc(i、j)は、たとえば、図10に示すようなデータ構造をもっており、類似度計算部702は、類似度Simc(x、y)の最も高いカテゴリ名を出力する(ステップ804〜808)。
【0032】
カテゴリcの顔パターンrc(i、j)は、個人ごとにあらかじめ顔パターンを収集して、たとえば、複数収集した顔パターンの平均パターンとして求める。また、複数収集した顔パターンの変動成分を考慮して、混合類似度法や複合類似度法、局所相関法など他の手法で、顔パターンの認識を実施してもよい。
【0033】
情報記録部110は、顔認識部109が出力する類似度Simc(x、y)の最も高いカテゴリ名を認識結果として記録する。閾値処理部703は、そのときの類似度が一定値(閾値)以下であった場合に、登録されていない人物が通行したことを通報すると同時に、情報記録部110は、顔検出部106が顔を検出した際のカメラ104が出力する画像を記録する。
【0034】
以上説明したように、第2の実施の形態によれば、歩行者の利便性を損なうことなく、顔画像を正面から確実に捉えて登録データ(辞書情報)と照合して顔を精度よく認識することができる。また、正面の顔画像を認識に用いることで、誤りを少なく歩行者の顔を認識することができる。
【0035】
なお、情報提示手段は、図1で示した表示器103だけでなく、たとえば、図11に示すように情報を音声で出力する音声出力手段としてのスピーカ111、図12に示すように歩行者Mが携帯しているカード(携帯可能記録媒体)に記録されている情報を読取るカードリーダ(媒体読取手段)112、図13に示すように人の顔写真(あるいは、人形)113、図14に示すようにライトやLEDの発光体114、あるいは、図15に示すように電光掲示板115などで構成することも可能である。
【0036】
図11のスピーカ111からは、図3(a)〜(d)に示すような情報、たとえば、「今日のニュース」、「展示案内」、「会場案内」などを音声で出力したり、「チャイム」など歩行者Mが気をひくような音を出力することも可能である。
【0037】
図12のカードリーダ112は、歩行者Mが携帯しているカードを受入れることで、歩行者Mがカメラ104に正対することを利用して、歩行者Mの正面の顔画像を撮影することができる。この例の場合、たとえば、カード挿入待機状態では図3(a)のような「今日のニュース」を表示しておき、カードリーダ112にカードが挿入されたことを検知したら、図3(e)のようにカードから読取った情報(カードに記録されている情報)を表示する、といったことも可能である。
【0038】
図13の人の顔写真(人形)113の設置により、人間は心理的にその顔写真や人形を見てしまう、ということを利用して、歩行者Mの正面の顔画像を撮影することができる。
【0039】
図14や図15の発光体114、電光掲示板115では、たとえば、発光体114を点滅させる、あるいは、発光体114の光の強さを変える、電光掲示板115に図3(a)〜(d)で示すような情報、たとえば、「今日のニュース」、「展示案内」、「会場案内」を表示する、といったことが可能である。
【0040】
なお、前記実施の形態では、支持手段として地面に立設した筒状の支持体を用い、この支持体に情報提示手段としての表示器および画像入力手段としてのカメラを設置した場合について説明したが、本発明はこれに限定されるものではなく、たとえば、支持手段として紐やワイヤなどの吊下げ体を用い、この吊下げ体の端部に情報提示手段としての表示器および画像入力手段としてのカメラを設置することにより、表示器およびカメラを上方から吊下げ設置するようにしてもよい。
【0041】
【発明の効果】
以上詳述したように本発明によれば、歩行者の正面を向いた顔画像を利便性を低下させることなく撮影することが可能な画像撮影装置および画像認識装置を提供できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る画像撮影装置の構成を概略的に示す構成図。
【図2】カメラが出力する画像情報の形態の一例を示す図。
【図3】表示器が表示する情報の例を示す図。
【図4】カメラの移動機構を説明する模式図。
【図5】顔検出部が実行する処理手順を示すフローチャート。
【図6】顔検出部の処理を模式的に示す図。
【図7】本発明の第2の実施の形態に係る画像撮影装置の構成を概略的に示す構成図。
【図8】顔認識部の構成を概略的に示すブロック図。
【図9】類似度計算部が実行する処理手順を示すフローチャート。
【図10】顔パターン記憶部が記憶する顔パターンの構造を示す図。
【図11】情報提示手段の変形例を示す図。
【図12】情報提示手段の別の変形例を示す図。
【図13】情報提示手段の別の変形例を示す図。
【図14】情報提示手段の別の変形例を示す図。
【図15】情報提示手段の別の変形例を示す図。
【符号の説明】
M…人物(歩行者)、101…支持体(支持手段)、102…移動路(道路)、103…表示器(情報提示手段)、104…ビデオカメラ(画像入力手段)、105…動き検知部(動き検知手段)、106…顔検出部(顔検出手段)、107…画像記録部(画像記録手段)、108…表示制御部、109…顔認識部(顔認識手段)、110…情報記録部、701…顔パターン記憶部、702…類似度計算部、703…閾値処理部。
【発明の属する技術分野】
本発明は、たとえば、セキュリティ管理などにおいて、人物の顔画像により当該人物を監視する画像撮影装置および画像認識装置に関する。
【0002】
【従来の技術】
最近、人物の顔画像を撮影し、あるいは、人物の顔画像を認識してセキュリティ管理などに応用する方法が提案されている。たとえば、通路の外側もしくはその近辺に設置した柱型カメラによる画像撮影装置の技術が知られている(たとえば、特許文献1参照)。
また、テレビカメラで人物の顔画像を捉え、あらかじめ登録してある基準パターン(辞書情報)と照合することにより、人物の顔画像を認識する画像認識装置の技術が知られている(たとえば、特許文献2参照)。
【0003】
【特許文献1】
特開2001−16573号公報
【0004】
【特許文献2】
特開平5−233783公報
【0005】
【発明が解決しようとする課題】
ところが、従来の技術では、カメラを通路外に設置するために歩行者(人物)の正面の顔画像を捉えられず、人物を認識するための顔画像の撮影には不充分であるという問題がある。
また、顔を認識する技術では、正面の顔画像など安定した顔パターンの利用を前提としており、パターンの変動が大きい歩行者の顔画像を用いた認識では誤りが多くなるという問題がある。また、このような顔照合を歩行者に強要する場合は、歩行をいったん中止して認識をさせる必要が生じ、利便性が著しく低下するという問題がある。
【0006】
そこで、本発明は、歩行者の正面を向いた顔画像を利便性を低下させることなく撮影することが可能な画像撮影装置および画像認識装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明の画像撮影装置は、移動中の人物に対し情報を提示する情報提示手段と、この情報提示手段が設置された支持手段と、この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段とを具備している。
【0008】
また、本発明の画像撮影装置は、移動中の人物が携帯している携帯可能記録媒体に記録されている情報を読取る媒体読取手段と、この媒体読取手段により読取られた情報および前記移動中の人物に対して示される情報の少なくともいずれか一方を当該人物に対し提示する情報提示手段と、これら媒体読取手段および情報提示手段が設置された支持手段と、この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段とを具備している。
【0009】
さらに、本発明の画像認識装置は、移動中の人物に対し情報を提示する情報提示手段と、この情報提示手段が設置された支持手段と、この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段と、この画像入力手段により入力された画像から人物の少なくとも顔画像を検出する顔検出手段と、この顔検出手段により検出された顔画像をあらかじめ登録された辞書情報と照合することにより当該顔画像を認識する顔認識手段とを具備している。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
まず、第1の実施の形態について説明する。
図1は、第1の実施の形態に係る画像撮影装置の構成を概略的に示すものである。図1おいて、人物の身長方向に長い棒状の支持手段としての、たとえば筒状の支持体101は、人物(以後、歩行者ともいう)Mが移動する移動路(道路)102の近傍の地面に垂直方向に立設されている。なお、支持体101の高さ(長さ)は、たとえば、ほぼ歩行者Mの最大身長に対応した長さに設定されている。
【0011】
支持体101の上端には、情報提示手段としての表示器103が設置されている。表示器103は、歩行者Mが関心を示す情報を歩行者Mに対し表示するもので、たとえば、液晶表示パネルなどが用いられる。
支持体101には、画像入力手段としてのビデオカメラ104が設置されている。ビデオカメラ104は、歩行者Mが移動する移動路102の画像を撮影し入力するもので、たとえば、支持体101の軸方向(垂直方向)に移動可能となっている。
【0012】
カメラ104で入力された画像は、動き検知手段としての動き検知部105に送られる。動き検知部105は、カメラ104で入力された画像に基づき歩行者Mの動き(つまり出現)を検知する。
また、カメラ104で入力された画像は、顔検出手段としての顔検出部106に送られる。顔検出部106は、カメラ104で入力された画像から歩行者Mの顔を検出する。
【0013】
さらに、カメラ104で入力された画像は、画像記録手段としての画像記録部107に送られる。画像記録部107は、顔検出部106で歩行者Mの顔が検出されると、そのときカメラ104で入力された画像を記録するもので、たとえば、ビデオテープレコーダやハードディスク装置などが用いられる。
表示制御部108は、動き検知部105の検知結果に基づき表示器103の表示制御を行なう。
【0014】
このような構成であれば、カメラ104で捕らえた画像から動きを検知する動き検知部105の検知結果にしたがって、表示制御部108から表示器103に対し提示情報が出力される。歩行者Mは、この表示器103に表示された表示情報に関心を示すことで、表示器103と同じ方向に設置してあるカメラ104で歩行者Mの正面に近い顔画像を撮影することができるようになっている。カメラ104で捕らえた画像は画像記録部107が記録する。
【0015】
以下、各部について詳細に説明する。
画像入力手段であるカメラ101は、移動路102の歩行者Mが移動(歩行)すると予想される領域の画像を撮影して、デジタル濃淡画像情報として出力する。このデジタル濃淡画像情報は、たとえば、図2に示すように、横方向に512画素、縦方向に512画素、各画素が8ビットからなる構造で、1秒間に30枚出力される画像情報である。
【0016】
情報提示手段である表示器103には、たとえば、図3(a)〜(d)に示すように、「今日のニュース」、「展示案内」、「会場案内」など、歩行者Mが必要としている情報を表示したり、「注意」、「ATTENTION」などの表示と共に、重要な告知を赤や黄色など目立つ色で表示し、歩行者Mに注意を促したり、歩行者Mの目に止まるような情報を表示してもよい。
【0017】
支持体101に設置されたカメラ104は、前述したように、支持体101の範囲内で物理的に垂直方向(上下方向)に移動できるようになっており、また、カメラ104は、その設置角度を物理的に変更できるようになっている。そのため、表示器103とカメラ104との位置関係を変更できるようになっており、カメラ104にて撮影される歩行者Mの顔の向きを柔軟に設定できるようになっている。
【0018】
また、カメラ104は、支持体101の上端部分だけでなく、支持体101の範囲内で移動できるため、歩行者Mの顔の撮影状況を変更するためにカメラ104の設置高さを変更する場合においては、支持体101の再加工を必要としない。
【0019】
図4は、カメラ104の移動機構を模式的に示している。支持体101の内部には支柱201が立設されていて、この支柱201に対しカメラ104が上下方向に摺動移動可能に取り付けられている。なお、カメラ104の移動は、図示しないモータおよびモータの回転力をカメラ104の上下動に変換する変換機構により行なわれるようになっている。
【0020】
表示制御部108は、動き検知部105の検知結果にしたがって、たとえば、動き検知部105において人物Mの動きが検知された検知信号が出力されたら、表示器103から所定の情報を出力する。あるいは、随時、または、一定時間ごとに表示器103から情報を出力してもよいし、さらに、その場合には、動き検知部105から検知信号が出力されたら、それまで表示器103から出力されていた情報を変更するようにしてもよい。たとえば、図3(a)のような「今日のニュース」を随時表示していた場合、歩行者Mが近づいてきたら図3(b)のような「展示案内」を表示する、といった具合である。
【0021】
動き検知部105は、カメラ104で入力された画像を基に、カメラ104にて撮影された画像が時間的に変化した場合に人物Mの動き(出現)があったものとして、動き検知信号を出力する。動き検知の手法としては、たとえば、フレーム間差分法などが公知であり、それを利用することができる。
【0022】
なお、カメラ104からの画像を基に人物Mの動きを検知する動き検知部105を用いず、たとえば、人物Mが接近してくると反応する赤外線センサなどの人物検知手段を用いて、人物Mの出現を検知することも可能である。
【0023】
顔検出部106は、カメラ104により入力された図2の形態の画像情報から顔パターンを検出する。この顔検出処理は、たとえば、図5に示すフローチャートのような処理手順で実行される。以下、図5の処理手順について説明する。
【0024】
まず、サイズsやy,x座標などの初期化を行なう(ステップ301〜303)。次に、あらかじめ用意されたサイズの異なる複数の標準顔パターンgs(i,j)を用いて、入力画像f(x,y)内の局所領域との相関Ms(x,y)を、座標(x,y)をずらしながら下記数1にしたがって計算する(ステップ304)。ここで、サイズの異なる標準顔パターンgs(i,j)は、決められたサイズであらかじめ収集した顔パターンを平均するなどして作成される。
【数1】
【0025】
次に、求めた相関Ms(x,y)が一定の閾値THR以上であれば(ステップ305)、顔パターンを検出したものとして、その結果を出力する(ステップ306)。この画像探索を、図6に模式的に示すように、標準顔パターンgs(i,j)のサイズsを変更しながら実施する。図5のステップ307〜312がその処理である。
なお、図6において、符号401,403,405は入力画像全体を示し、符号402,404,406は標準顔パターンgs(i,j)を示している。
【0026】
画像記録部107は、顔検出部106が歩行者Mの顔を検出したときのカメラ104が出力する画像を記録する。
【0027】
以上説明したように、第1の実施の形態によれば、歩行者の利便性を損なうことなく、歩行者の顔画像を正面から確実に撮影することができる。
【0028】
次に、第2の実施の形態について説明する。
図7は、第2の実施例の形態に係る画像認識装置の構成を概略的に示すものである。第2の実施例の形態の第1の実施の形態と異なる点は、顔認識手段としての顔認識部109および情報記録部110が追加された点にあり、その他は前述した第1の実施の形態と同様であるので説明を省略する。
【0029】
顔認識部109は、たとえば、図8に示すように、顔パターン記憶部701、類似度計算部702、および、閾値処理部703から構成されている。すなわち、顔検出部106から出力される顔領域の画像情報を正規化した後、顔パターン記憶部701に記憶してある標準顔パターン(辞書情報)と照合して、最も近い標準顔パターンを選ぶことで顔画像の認識を行なう。類似度計算部702で実行される処理は、図9に示すような処理手順で実行される。以下、図9の処理手順について説明する。
【0030】
まず、顔検出部106にて検出された顔パターンの範囲に対して、あらかじめ定められた縦および横画素の画像に大きさを正規化する(ステップ601)。次に、カテゴリcの初期設定を行なった後(ステップ602)、顔パターン記憶部701内にあらかじめ用意してあるカテゴリcの顔パターン(辞書情報)rc(i、j)と、正規化した顔パターン(入力画像)h(x、y)との類似度Simc(x、y)を、下記数2のように相関を求めることで計算する(ステップ603)。
【数2】
【0031】
ここで、顔パターン記憶部701に記憶されている辞書情報となる基準の顔パターンrc(i、j)は、たとえば、図10に示すようなデータ構造をもっており、類似度計算部702は、類似度Simc(x、y)の最も高いカテゴリ名を出力する(ステップ804〜808)。
【0032】
カテゴリcの顔パターンrc(i、j)は、個人ごとにあらかじめ顔パターンを収集して、たとえば、複数収集した顔パターンの平均パターンとして求める。また、複数収集した顔パターンの変動成分を考慮して、混合類似度法や複合類似度法、局所相関法など他の手法で、顔パターンの認識を実施してもよい。
【0033】
情報記録部110は、顔認識部109が出力する類似度Simc(x、y)の最も高いカテゴリ名を認識結果として記録する。閾値処理部703は、そのときの類似度が一定値(閾値)以下であった場合に、登録されていない人物が通行したことを通報すると同時に、情報記録部110は、顔検出部106が顔を検出した際のカメラ104が出力する画像を記録する。
【0034】
以上説明したように、第2の実施の形態によれば、歩行者の利便性を損なうことなく、顔画像を正面から確実に捉えて登録データ(辞書情報)と照合して顔を精度よく認識することができる。また、正面の顔画像を認識に用いることで、誤りを少なく歩行者の顔を認識することができる。
【0035】
なお、情報提示手段は、図1で示した表示器103だけでなく、たとえば、図11に示すように情報を音声で出力する音声出力手段としてのスピーカ111、図12に示すように歩行者Mが携帯しているカード(携帯可能記録媒体)に記録されている情報を読取るカードリーダ(媒体読取手段)112、図13に示すように人の顔写真(あるいは、人形)113、図14に示すようにライトやLEDの発光体114、あるいは、図15に示すように電光掲示板115などで構成することも可能である。
【0036】
図11のスピーカ111からは、図3(a)〜(d)に示すような情報、たとえば、「今日のニュース」、「展示案内」、「会場案内」などを音声で出力したり、「チャイム」など歩行者Mが気をひくような音を出力することも可能である。
【0037】
図12のカードリーダ112は、歩行者Mが携帯しているカードを受入れることで、歩行者Mがカメラ104に正対することを利用して、歩行者Mの正面の顔画像を撮影することができる。この例の場合、たとえば、カード挿入待機状態では図3(a)のような「今日のニュース」を表示しておき、カードリーダ112にカードが挿入されたことを検知したら、図3(e)のようにカードから読取った情報(カードに記録されている情報)を表示する、といったことも可能である。
【0038】
図13の人の顔写真(人形)113の設置により、人間は心理的にその顔写真や人形を見てしまう、ということを利用して、歩行者Mの正面の顔画像を撮影することができる。
【0039】
図14や図15の発光体114、電光掲示板115では、たとえば、発光体114を点滅させる、あるいは、発光体114の光の強さを変える、電光掲示板115に図3(a)〜(d)で示すような情報、たとえば、「今日のニュース」、「展示案内」、「会場案内」を表示する、といったことが可能である。
【0040】
なお、前記実施の形態では、支持手段として地面に立設した筒状の支持体を用い、この支持体に情報提示手段としての表示器および画像入力手段としてのカメラを設置した場合について説明したが、本発明はこれに限定されるものではなく、たとえば、支持手段として紐やワイヤなどの吊下げ体を用い、この吊下げ体の端部に情報提示手段としての表示器および画像入力手段としてのカメラを設置することにより、表示器およびカメラを上方から吊下げ設置するようにしてもよい。
【0041】
【発明の効果】
以上詳述したように本発明によれば、歩行者の正面を向いた顔画像を利便性を低下させることなく撮影することが可能な画像撮影装置および画像認識装置を提供できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る画像撮影装置の構成を概略的に示す構成図。
【図2】カメラが出力する画像情報の形態の一例を示す図。
【図3】表示器が表示する情報の例を示す図。
【図4】カメラの移動機構を説明する模式図。
【図5】顔検出部が実行する処理手順を示すフローチャート。
【図6】顔検出部の処理を模式的に示す図。
【図7】本発明の第2の実施の形態に係る画像撮影装置の構成を概略的に示す構成図。
【図8】顔認識部の構成を概略的に示すブロック図。
【図9】類似度計算部が実行する処理手順を示すフローチャート。
【図10】顔パターン記憶部が記憶する顔パターンの構造を示す図。
【図11】情報提示手段の変形例を示す図。
【図12】情報提示手段の別の変形例を示す図。
【図13】情報提示手段の別の変形例を示す図。
【図14】情報提示手段の別の変形例を示す図。
【図15】情報提示手段の別の変形例を示す図。
【符号の説明】
M…人物(歩行者)、101…支持体(支持手段)、102…移動路(道路)、103…表示器(情報提示手段)、104…ビデオカメラ(画像入力手段)、105…動き検知部(動き検知手段)、106…顔検出部(顔検出手段)、107…画像記録部(画像記録手段)、108…表示制御部、109…顔認識部(顔認識手段)、110…情報記録部、701…顔パターン記憶部、702…類似度計算部、703…閾値処理部。
Claims (11)
- 移動中の人物に対し情報を提示する情報提示手段と、
この情報提示手段が設置された支持手段と、
この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段と、
を具備したことを特徴とする画像撮影装置。 - 前記画像入力手段により入力された画像に基づき人物の動きを検知する動き検知手段をさらに具備し、
前記情報提示手段は、前記動き検知手段が人物の動きを検知した際に当該人物に対し情報を提示することを特徴とする請求項1記載の画像撮影装置。 - 前記画像入力手段が撮影する移動路に人物が出現したことを検知する人物検知手段をさらに具備し、
前記情報提示手段は、前記人物検知手段が人物を検知した際に当該人物に対し情報を提示することを特徴とする請求項1記載の画像撮影装置。 - 前記支持手段は人物の身長方向に長い棒状に形成されていることを特徴とする請求項1記載の画像撮影装置。
- 前記情報提示手段は、情報を可視表示する表示器、情報を音声で出力する音声出力手段、携帯可能記録媒体から情報を読取る媒体読取器、人物の写真、人形、所定の光を出力する発光体、情報を電光表示する電光掲示板などのうち少なくとも1つ以上であることを特徴とする請求項1記載の画像撮影装置。
- 前記情報提示手段は前記支持手段の端部側に設置されていることを特徴とする請求項1記載の画像撮影装置。
- 前記画像入力手段は前記情報提示手段の近傍に設置されていることを特徴とする請求項1記載の画像撮影装置。
- 移動中の人物が携帯している携帯可能記録媒体に記録されている情報を読取る媒体読取手段と、
この媒体読取手段により読取られた情報および前記移動中の人物に対して示される情報の少なくともいずれか一方を当該人物に対し提示する情報提示手段と、
これら媒体読取手段および情報提示手段が設置された支持手段と、
この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段と、
を具備したことを特徴とする画像撮影装置。 - 移動中の人物に対し情報を提示する情報提示手段と、
この情報提示手段が設置された支持手段と、
この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段と、
この画像入力手段により入力された画像から人物の少なくとも顔画像を検出する顔検出手段と、
この顔検出手段により検出された顔画像をあらかじめ登録された辞書情報と照合することにより当該顔画像を認識する顔認識手段と、
を具備したことを特徴とする画像認識装置。 - 前記画像入力手段により入力された画像に基づき人物の動きを検知する動き検知手段をさらに具備し、
前記情報提示手段は、前記動き検知手段が人物の動きを検知した際に当該人物に対し情報を提示することを特徴とする請求項9記載の画像認識装置。 - 前記画像入力手段が撮影する移動路に人物が出現したことを検知する人物検知手段をさらに具備し、
前記情報提示手段は、前記人物検知手段が人物を検知した際に当該人物に対し情報を提示することを特徴とする請求項9記載の画像撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003149341A JP2004356730A (ja) | 2003-05-27 | 2003-05-27 | 画像撮影装置および画像認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003149341A JP2004356730A (ja) | 2003-05-27 | 2003-05-27 | 画像撮影装置および画像認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004356730A true JP2004356730A (ja) | 2004-12-16 |
Family
ID=34045480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003149341A Pending JP2004356730A (ja) | 2003-05-27 | 2003-05-27 | 画像撮影装置および画像認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004356730A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006236244A (ja) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | 顔認証装置および入退場管理装置 |
WO2008120576A1 (ja) * | 2007-03-29 | 2008-10-09 | Kabushiki Kaisha Toshiba | 辞書データの登録装置及び辞書データの登録方法 |
JP2012133411A (ja) * | 2010-12-17 | 2012-07-12 | Glory Ltd | 顔照合システム、顔照合装置及び顔照合方法 |
JP2013182325A (ja) * | 2012-02-29 | 2013-09-12 | Toshiba Corp | 顔登録装置、プログラムおよび顔登録方法 |
-
2003
- 2003-05-27 JP JP2003149341A patent/JP2004356730A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006236244A (ja) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | 顔認証装置および入退場管理装置 |
WO2008120576A1 (ja) * | 2007-03-29 | 2008-10-09 | Kabushiki Kaisha Toshiba | 辞書データの登録装置及び辞書データの登録方法 |
US8385608B2 (en) | 2007-03-29 | 2013-02-26 | Kabushiki Kaisha Toshiba | Dictionary data registration apparatus and dictionary data registration method |
JP2012133411A (ja) * | 2010-12-17 | 2012-07-12 | Glory Ltd | 顔照合システム、顔照合装置及び顔照合方法 |
JP2013182325A (ja) * | 2012-02-29 | 2013-09-12 | Toshiba Corp | 顔登録装置、プログラムおよび顔登録方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5418093B2 (ja) | 表示装置および制御方法 | |
US9615062B2 (en) | Multi-resolution image display | |
US20080199054A1 (en) | Iris recognition for a secure facility | |
US20080158361A1 (en) | Video surveillance equipment and video surveillance system | |
US20030108240A1 (en) | Method and apparatus for automatic face blurring | |
JP2007334623A (ja) | 顔認証装置、顔認証方法、および入退場管理装置 | |
JP5072655B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
US20080151049A1 (en) | Gaming surveillance system and method of extracting metadata from multiple synchronized cameras | |
JP2009027393A (ja) | 映像検索システムおよび人物検索方法 | |
US20110182471A1 (en) | Handling information flow in printed text processing | |
JP2009059073A (ja) | 撮影装置、撮影方法、人物認識装置および人物認識方法 | |
CN103514429A (zh) | 检测对象的特定部位的方法及图像处理设备 | |
JP2010231402A (ja) | 監視装置の画像表示方法及び画像表示システム | |
JP2013093639A (ja) | 車両周辺監視装置 | |
JP2004356730A (ja) | 画像撮影装置および画像認識装置 | |
JP2009044526A (ja) | 撮影装置、撮影方法、人物認識装置および人物認識方法 | |
JP4110323B2 (ja) | 情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体 | |
CN113192446A (zh) | 媒体播放装置和自助服务终端 | |
CN112686332A (zh) | 一种基于ai图像识别的文创智读方法及系统 | |
JP3784796B2 (ja) | 移動体付随情報表示装置 | |
JP2007133304A (ja) | 情報表示制御装置および情報表示制御方法 | |
JP5720758B2 (ja) | 表示装置および制御方法 | |
KR102566738B1 (ko) | 전자 장치 및 그 제어 방법 | |
JP2013197827A (ja) | 撮影補助装置、方法、並びに該撮影補助装置を搭載した撮影装置及びカメラ付き携帯端末 | |
CN111539267A (zh) | 一种人体几何特征提取方法、装置、设备及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090210 |