JP2004356730A

JP2004356730A - 画像撮影装置および画像認識装置

Info

Publication number: JP2004356730A
Application number: JP2003149341A
Authority: JP
Inventors: Hiroshi Takahashi; 博高橋; Toshio Sato; 俊雄佐藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-05-27
Filing date: 2003-05-27
Publication date: 2004-12-16

Abstract

【課題】歩行者の正面を向いた顔画像を利便性を低下させることなく撮影することが可能な画像撮影装置を提供する。
【解決手段】支持体１０１にカメラ１０４および表示器１０３が設置してあり、カメラ１０４で捕らえた画像から動きを検知する動き検知部１０５の検知結果にしたがって、表示制御部１０８から表示器１０３に歩行者Ｍが関心を示す情報が出力される。歩行者Ｍはこの表示器１０３に表示された情報に関心を示すことで、表示器１０３と同じ方向に取付けてあるカメラ１０４で歩行者Ｍの正面に近い顔画像を撮影することができる。カメラ１０４で捕らえた画像は画像記録部１０７が記録する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、たとえば、セキュリティ管理などにおいて、人物の顔画像により当該人物を監視する画像撮影装置および画像認識装置に関する。
【０００２】
【従来の技術】
最近、人物の顔画像を撮影し、あるいは、人物の顔画像を認識してセキュリティ管理などに応用する方法が提案されている。たとえば、通路の外側もしくはその近辺に設置した柱型カメラによる画像撮影装置の技術が知られている（たとえば、特許文献１参照）。
また、テレビカメラで人物の顔画像を捉え、あらかじめ登録してある基準パターン（辞書情報）と照合することにより、人物の顔画像を認識する画像認識装置の技術が知られている（たとえば、特許文献２参照）。
【０００３】
【特許文献１】
特開２００１−１６５７３号公報
【０００４】
【特許文献２】
特開平５−２３３７８３公報
【０００５】
【発明が解決しようとする課題】
ところが、従来の技術では、カメラを通路外に設置するために歩行者（人物）の正面の顔画像を捉えられず、人物を認識するための顔画像の撮影には不充分であるという問題がある。
また、顔を認識する技術では、正面の顔画像など安定した顔パターンの利用を前提としており、パターンの変動が大きい歩行者の顔画像を用いた認識では誤りが多くなるという問題がある。また、このような顔照合を歩行者に強要する場合は、歩行をいったん中止して認識をさせる必要が生じ、利便性が著しく低下するという問題がある。
【０００６】
そこで、本発明は、歩行者の正面を向いた顔画像を利便性を低下させることなく撮影することが可能な画像撮影装置および画像認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像撮影装置は、移動中の人物に対し情報を提示する情報提示手段と、この情報提示手段が設置された支持手段と、この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段とを具備している。
【０００８】
また、本発明の画像撮影装置は、移動中の人物が携帯している携帯可能記録媒体に記録されている情報を読取る媒体読取手段と、この媒体読取手段により読取られた情報および前記移動中の人物に対して示される情報の少なくともいずれか一方を当該人物に対し提示する情報提示手段と、これら媒体読取手段および情報提示手段が設置された支持手段と、この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段とを具備している。
【０００９】
さらに、本発明の画像認識装置は、移動中の人物に対し情報を提示する情報提示手段と、この情報提示手段が設置された支持手段と、この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段と、この画像入力手段により入力された画像から人物の少なくとも顔画像を検出する顔検出手段と、この顔検出手段により検出された顔画像をあらかじめ登録された辞書情報と照合することにより当該顔画像を認識する顔認識手段とを具備している。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る画像撮影装置の構成を概略的に示すものである。図１おいて、人物の身長方向に長い棒状の支持手段としての、たとえば筒状の支持体１０１は、人物（以後、歩行者ともいう）Ｍが移動する移動路（道路）１０２の近傍の地面に垂直方向に立設されている。なお、支持体１０１の高さ（長さ）は、たとえば、ほぼ歩行者Ｍの最大身長に対応した長さに設定されている。
【００１１】
支持体１０１の上端には、情報提示手段としての表示器１０３が設置されている。表示器１０３は、歩行者Ｍが関心を示す情報を歩行者Ｍに対し表示するもので、たとえば、液晶表示パネルなどが用いられる。
支持体１０１には、画像入力手段としてのビデオカメラ１０４が設置されている。ビデオカメラ１０４は、歩行者Ｍが移動する移動路１０２の画像を撮影し入力するもので、たとえば、支持体１０１の軸方向（垂直方向）に移動可能となっている。
【００１２】
カメラ１０４で入力された画像は、動き検知手段としての動き検知部１０５に送られる。動き検知部１０５は、カメラ１０４で入力された画像に基づき歩行者Ｍの動き（つまり出現）を検知する。
また、カメラ１０４で入力された画像は、顔検出手段としての顔検出部１０６に送られる。顔検出部１０６は、カメラ１０４で入力された画像から歩行者Ｍの顔を検出する。
【００１３】
さらに、カメラ１０４で入力された画像は、画像記録手段としての画像記録部１０７に送られる。画像記録部１０７は、顔検出部１０６で歩行者Ｍの顔が検出されると、そのときカメラ１０４で入力された画像を記録するもので、たとえば、ビデオテープレコーダやハードディスク装置などが用いられる。
表示制御部１０８は、動き検知部１０５の検知結果に基づき表示器１０３の表示制御を行なう。
【００１４】
このような構成であれば、カメラ１０４で捕らえた画像から動きを検知する動き検知部１０５の検知結果にしたがって、表示制御部１０８から表示器１０３に対し提示情報が出力される。歩行者Ｍは、この表示器１０３に表示された表示情報に関心を示すことで、表示器１０３と同じ方向に設置してあるカメラ１０４で歩行者Ｍの正面に近い顔画像を撮影することができるようになっている。カメラ１０４で捕らえた画像は画像記録部１０７が記録する。
【００１５】
以下、各部について詳細に説明する。
画像入力手段であるカメラ１０１は、移動路１０２の歩行者Ｍが移動（歩行）すると予想される領域の画像を撮影して、デジタル濃淡画像情報として出力する。このデジタル濃淡画像情報は、たとえば、図２に示すように、横方向に５１２画素、縦方向に５１２画素、各画素が８ビットからなる構造で、１秒間に３０枚出力される画像情報である。
【００１６】
情報提示手段である表示器１０３には、たとえば、図３（ａ）〜（ｄ）に示すように、「今日のニュース」、「展示案内」、「会場案内」など、歩行者Ｍが必要としている情報を表示したり、「注意」、「ＡＴＴＥＮＴＩＯＮ」などの表示と共に、重要な告知を赤や黄色など目立つ色で表示し、歩行者Ｍに注意を促したり、歩行者Ｍの目に止まるような情報を表示してもよい。
【００１７】
支持体１０１に設置されたカメラ１０４は、前述したように、支持体１０１の範囲内で物理的に垂直方向（上下方向）に移動できるようになっており、また、カメラ１０４は、その設置角度を物理的に変更できるようになっている。そのため、表示器１０３とカメラ１０４との位置関係を変更できるようになっており、カメラ１０４にて撮影される歩行者Ｍの顔の向きを柔軟に設定できるようになっている。
【００１８】
また、カメラ１０４は、支持体１０１の上端部分だけでなく、支持体１０１の範囲内で移動できるため、歩行者Ｍの顔の撮影状況を変更するためにカメラ１０４の設置高さを変更する場合においては、支持体１０１の再加工を必要としない。
【００１９】
図４は、カメラ１０４の移動機構を模式的に示している。支持体１０１の内部には支柱２０１が立設されていて、この支柱２０１に対しカメラ１０４が上下方向に摺動移動可能に取り付けられている。なお、カメラ１０４の移動は、図示しないモータおよびモータの回転力をカメラ１０４の上下動に変換する変換機構により行なわれるようになっている。
【００２０】
表示制御部１０８は、動き検知部１０５の検知結果にしたがって、たとえば、動き検知部１０５において人物Ｍの動きが検知された検知信号が出力されたら、表示器１０３から所定の情報を出力する。あるいは、随時、または、一定時間ごとに表示器１０３から情報を出力してもよいし、さらに、その場合には、動き検知部１０５から検知信号が出力されたら、それまで表示器１０３から出力されていた情報を変更するようにしてもよい。たとえば、図３（ａ）のような「今日のニュース」を随時表示していた場合、歩行者Ｍが近づいてきたら図３（ｂ）のような「展示案内」を表示する、といった具合である。
【００２１】
動き検知部１０５は、カメラ１０４で入力された画像を基に、カメラ１０４にて撮影された画像が時間的に変化した場合に人物Ｍの動き（出現）があったものとして、動き検知信号を出力する。動き検知の手法としては、たとえば、フレーム間差分法などが公知であり、それを利用することができる。
【００２２】
なお、カメラ１０４からの画像を基に人物Ｍの動きを検知する動き検知部１０５を用いず、たとえば、人物Ｍが接近してくると反応する赤外線センサなどの人物検知手段を用いて、人物Ｍの出現を検知することも可能である。
【００２３】
顔検出部１０６は、カメラ１０４により入力された図２の形態の画像情報から顔パターンを検出する。この顔検出処理は、たとえば、図５に示すフローチャートのような処理手順で実行される。以下、図５の処理手順について説明する。
【００２４】
まず、サイズｓやｙ，ｘ座標などの初期化を行なう（ステップ３０１〜３０３）。次に、あらかじめ用意されたサイズの異なる複数の標準顔パターンｇｓ（ｉ，ｊ）を用いて、入力画像ｆ（ｘ，ｙ）内の局所領域との相関Ｍｓ（ｘ，ｙ）を、座標（ｘ，ｙ）をずらしながら下記数１にしたがって計算する（ステップ３０４）。ここで、サイズの異なる標準顔パターンｇｓ（ｉ，ｊ）は、決められたサイズであらかじめ収集した顔パターンを平均するなどして作成される。
【数１】

【００２５】
次に、求めた相関Ｍｓ（ｘ，ｙ）が一定の閾値ＴＨＲ以上であれば（ステップ３０５）、顔パターンを検出したものとして、その結果を出力する（ステップ３０６）。この画像探索を、図６に模式的に示すように、標準顔パターンｇｓ（ｉ，ｊ）のサイズｓを変更しながら実施する。図５のステップ３０７〜３１２がその処理である。
なお、図６において、符号４０１，４０３，４０５は入力画像全体を示し、符号４０２，４０４，４０６は標準顔パターンｇｓ（ｉ，ｊ）を示している。
【００２６】
画像記録部１０７は、顔検出部１０６が歩行者Ｍの顔を検出したときのカメラ１０４が出力する画像を記録する。
【００２７】
以上説明したように、第１の実施の形態によれば、歩行者の利便性を損なうことなく、歩行者の顔画像を正面から確実に撮影することができる。
【００２８】
次に、第２の実施の形態について説明する。
図７は、第２の実施例の形態に係る画像認識装置の構成を概略的に示すものである。第２の実施例の形態の第１の実施の形態と異なる点は、顔認識手段としての顔認識部１０９および情報記録部１１０が追加された点にあり、その他は前述した第１の実施の形態と同様であるので説明を省略する。
【００２９】
顔認識部１０９は、たとえば、図８に示すように、顔パターン記憶部７０１、類似度計算部７０２、および、閾値処理部７０３から構成されている。すなわち、顔検出部１０６から出力される顔領域の画像情報を正規化した後、顔パターン記憶部７０１に記憶してある標準顔パターン（辞書情報）と照合して、最も近い標準顔パターンを選ぶことで顔画像の認識を行なう。類似度計算部７０２で実行される処理は、図９に示すような処理手順で実行される。以下、図９の処理手順について説明する。
【００３０】
まず、顔検出部１０６にて検出された顔パターンの範囲に対して、あらかじめ定められた縦および横画素の画像に大きさを正規化する（ステップ６０１）。次に、カテゴリｃの初期設定を行なった後（ステップ６０２）、顔パターン記憶部７０１内にあらかじめ用意してあるカテゴリｃの顔パターン（辞書情報）ｒｃ（ｉ、ｊ）と、正規化した顔パターン（入力画像）ｈ（ｘ、ｙ）との類似度Ｓｉｍｃ（ｘ、ｙ）を、下記数２のように相関を求めることで計算する（ステップ６０３）。
【数２】

【００３１】
ここで、顔パターン記憶部７０１に記憶されている辞書情報となる基準の顔パターンｒｃ（ｉ、ｊ）は、たとえば、図１０に示すようなデータ構造をもっており、類似度計算部７０２は、類似度Ｓｉｍｃ（ｘ、ｙ）の最も高いカテゴリ名を出力する（ステップ８０４〜８０８）。
【００３２】
カテゴリｃの顔パターンｒｃ（ｉ、ｊ）は、個人ごとにあらかじめ顔パターンを収集して、たとえば、複数収集した顔パターンの平均パターンとして求める。また、複数収集した顔パターンの変動成分を考慮して、混合類似度法や複合類似度法、局所相関法など他の手法で、顔パターンの認識を実施してもよい。
【００３３】
情報記録部１１０は、顔認識部１０９が出力する類似度Ｓｉｍｃ（ｘ、ｙ）の最も高いカテゴリ名を認識結果として記録する。閾値処理部７０３は、そのときの類似度が一定値（閾値）以下であった場合に、登録されていない人物が通行したことを通報すると同時に、情報記録部１１０は、顔検出部１０６が顔を検出した際のカメラ１０４が出力する画像を記録する。
【００３４】
以上説明したように、第２の実施の形態によれば、歩行者の利便性を損なうことなく、顔画像を正面から確実に捉えて登録データ（辞書情報）と照合して顔を精度よく認識することができる。また、正面の顔画像を認識に用いることで、誤りを少なく歩行者の顔を認識することができる。
【００３５】
なお、情報提示手段は、図１で示した表示器１０３だけでなく、たとえば、図１１に示すように情報を音声で出力する音声出力手段としてのスピーカ１１１、図１２に示すように歩行者Ｍが携帯しているカード（携帯可能記録媒体）に記録されている情報を読取るカードリーダ（媒体読取手段）１１２、図１３に示すように人の顔写真（あるいは、人形）１１３、図１４に示すようにライトやＬＥＤの発光体１１４、あるいは、図１５に示すように電光掲示板１１５などで構成することも可能である。
【００３６】
図１１のスピーカ１１１からは、図３（ａ）〜（ｄ）に示すような情報、たとえば、「今日のニュース」、「展示案内」、「会場案内」などを音声で出力したり、「チャイム」など歩行者Ｍが気をひくような音を出力することも可能である。
【００３７】
図１２のカードリーダ１１２は、歩行者Ｍが携帯しているカードを受入れることで、歩行者Ｍがカメラ１０４に正対することを利用して、歩行者Ｍの正面の顔画像を撮影することができる。この例の場合、たとえば、カード挿入待機状態では図３（ａ）のような「今日のニュース」を表示しておき、カードリーダ１１２にカードが挿入されたことを検知したら、図３（ｅ）のようにカードから読取った情報（カードに記録されている情報）を表示する、といったことも可能である。
【００３８】
図１３の人の顔写真（人形）１１３の設置により、人間は心理的にその顔写真や人形を見てしまう、ということを利用して、歩行者Ｍの正面の顔画像を撮影することができる。
【００３９】
図１４や図１５の発光体１１４、電光掲示板１１５では、たとえば、発光体１１４を点滅させる、あるいは、発光体１１４の光の強さを変える、電光掲示板１１５に図３（ａ）〜（ｄ）で示すような情報、たとえば、「今日のニュース」、「展示案内」、「会場案内」を表示する、といったことが可能である。
【００４０】
なお、前記実施の形態では、支持手段として地面に立設した筒状の支持体を用い、この支持体に情報提示手段としての表示器および画像入力手段としてのカメラを設置した場合について説明したが、本発明はこれに限定されるものではなく、たとえば、支持手段として紐やワイヤなどの吊下げ体を用い、この吊下げ体の端部に情報提示手段としての表示器および画像入力手段としてのカメラを設置することにより、表示器およびカメラを上方から吊下げ設置するようにしてもよい。
【００４１】
【発明の効果】
以上詳述したように本発明によれば、歩行者の正面を向いた顔画像を利便性を低下させることなく撮影することが可能な画像撮影装置および画像認識装置を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像撮影装置の構成を概略的に示す構成図。
【図２】カメラが出力する画像情報の形態の一例を示す図。
【図３】表示器が表示する情報の例を示す図。
【図４】カメラの移動機構を説明する模式図。
【図５】顔検出部が実行する処理手順を示すフローチャート。
【図６】顔検出部の処理を模式的に示す図。
【図７】本発明の第２の実施の形態に係る画像撮影装置の構成を概略的に示す構成図。
【図８】顔認識部の構成を概略的に示すブロック図。
【図９】類似度計算部が実行する処理手順を示すフローチャート。
【図１０】顔パターン記憶部が記憶する顔パターンの構造を示す図。
【図１１】情報提示手段の変形例を示す図。
【図１２】情報提示手段の別の変形例を示す図。
【図１３】情報提示手段の別の変形例を示す図。
【図１４】情報提示手段の別の変形例を示す図。
【図１５】情報提示手段の別の変形例を示す図。
【符号の説明】
Ｍ…人物（歩行者）、１０１…支持体（支持手段）、１０２…移動路（道路）、１０３…表示器（情報提示手段）、１０４…ビデオカメラ（画像入力手段）、１０５…動き検知部（動き検知手段）、１０６…顔検出部（顔検出手段）、１０７…画像記録部（画像記録手段）、１０８…表示制御部、１０９…顔認識部（顔認識手段）、１１０…情報記録部、７０１…顔パターン記憶部、７０２…類似度計算部、７０３…閾値処理部。

Claims

移動中の人物に対し情報を提示する情報提示手段と、
この情報提示手段が設置された支持手段と、
この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段と、
を具備したことを特徴とする画像撮影装置。
前記画像入力手段により入力された画像に基づき人物の動きを検知する動き検知手段をさらに具備し、
前記情報提示手段は、前記動き検知手段が人物の動きを検知した際に当該人物に対し情報を提示することを特徴とする請求項１記載の画像撮影装置。
前記画像入力手段が撮影する移動路に人物が出現したことを検知する人物検知手段をさらに具備し、
前記情報提示手段は、前記人物検知手段が人物を検知した際に当該人物に対し情報を提示することを特徴とする請求項１記載の画像撮影装置。
前記支持手段は人物の身長方向に長い棒状に形成されていることを特徴とする請求項１記載の画像撮影装置。
前記情報提示手段は、情報を可視表示する表示器、情報を音声で出力する音声出力手段、携帯可能記録媒体から情報を読取る媒体読取器、人物の写真、人形、所定の光を出力する発光体、情報を電光表示する電光掲示板などのうち少なくとも１つ以上であることを特徴とする請求項１記載の画像撮影装置。
前記情報提示手段は前記支持手段の端部側に設置されていることを特徴とする請求項１記載の画像撮影装置。
前記画像入力手段は前記情報提示手段の近傍に設置されていることを特徴とする請求項１記載の画像撮影装置。
移動中の人物が携帯している携帯可能記録媒体に記録されている情報を読取る媒体読取手段と、
この媒体読取手段により読取られた情報および前記移動中の人物に対して示される情報の少なくともいずれか一方を当該人物に対し提示する情報提示手段と、
これら媒体読取手段および情報提示手段が設置された支持手段と、
この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段と、
を具備したことを特徴とする画像撮影装置。
移動中の人物に対し情報を提示する情報提示手段と、
この情報提示手段が設置された支持手段と、
この支持手段に設置され、前記人物が移動する移動路の画像を撮影して入力する画像入力手段と、
この画像入力手段により入力された画像から人物の少なくとも顔画像を検出する顔検出手段と、
この顔検出手段により検出された顔画像をあらかじめ登録された辞書情報と照合することにより当該顔画像を認識する顔認識手段と、
を具備したことを特徴とする画像認識装置。
前記画像入力手段により入力された画像に基づき人物の動きを検知する動き検知手段をさらに具備し、
前記情報提示手段は、前記動き検知手段が人物の動きを検知した際に当該人物に対し情報を提示することを特徴とする請求項９記載の画像認識装置。
前記画像入力手段が撮影する移動路に人物が出現したことを検知する人物検知手段をさらに具備し、
前記情報提示手段は、前記人物検知手段が人物を検知した際に当該人物に対し情報を提示することを特徴とする請求項９記載の画像撮影装置。