JP2009069998A - 物体認識装置 - Google Patents

Abstract

【課題】認識対象物をより正しく認識する物体認識装置を提供する。
【解決手段】対象物を撮像するカメラ１０と、撮像された画像と対象物を特定するための所定のテンプレートとの類似度を判定するとともに、画像とテンプレートとが類似すると判定された場合に、対象物を認識するパターンマッチング識別器１１と、パターンマッチング識別器１１により画像とテンプレートとが類似しないと判定された場合に、画像をパターン識別で識別する学習型識別器１２と、識別された画像をテンプレート候補として記憶する候補記憶部１３と、テンプレート候補が所定数以上記憶された場合に、当該テンプレート候補を新たな所定のテンプレートとして生成して追加するテンプレート生成部１４と、を備える。
【選択図】図１

Description

本発明は、対象物を認識する物体認識装置に関する。

従来、自動車やロボット等の移動体にカメラを設置し、このカメラにより撮像された画像に基づいて人間や人間の顔等の認識対象物を認識する技術が提案されている。例えば、特許文献１には、撮像の結果得られた撮像画像と、平均的な顔画像を示すテンプレートとのマッチングを行って顔の候補を抽出し、この顔候補からＳＶＭ（Support Vector Machine：サポートベクタマシン）を用いて顔であるか否かの判定を行う技術が開示されている。
特開２００４−３０６２９号公報

特許文献１に記載の技術では、テンプレートは予め固定されていて変更されないため、例えば顔と認識すべき認識対象物を顔と認識できないといったように、テンプレートとのマッチングを何度行っても正しく認識できない（即ち、未検出となる）おそれがある。

そこで本発明は、認識対象物をより正しく認識する物体認識装置を提供することを目的とする。

すなわち、本発明に係る物体認識装置は、対象物を認識する物体認識装置であって、対象物を撮像する撮像手段と、撮像手段により撮像された画像と対象物を特定するための所定のテンプレートとの類似度を判定するマッチング手段と、マッチング手段により画像とテンプレートとが類似すると判定された場合に、対象物を認識する認識手段と、マッチング手段により画像とテンプレートとが類似しないと判定された場合に、画像をパターン識別で識別する識別手段と、識別手段により識別された画像をテンプレート候補として記憶する記憶手段と、記憶手段により記憶されたテンプレート候補が所定数以上記憶された場合に、当該テンプレート候補を新たな所定のテンプレートとして生成して追加する生成手段と、を備えることを特徴とする。

本発明では、撮像手段により撮像された画像と所定のテンプレートとの類似度がマッチング手段により判定され、画像とテンプレートとが類似すると判定された場合に、認識手段により対象物が認識され、一方、類似しないと判定された場合に、識別手段により画像がパターン識別で識別される。ここで、識別された画像が記憶手段によりテンプレート候補として記憶され、記憶されたテンプレート候補が所定数以上記憶された場合に、当該テンプレート候補が新たな所定のテンプレートとして生成手段により生成されて追加される。

このため、本発明に係る物体認識装置では、例えば人間と認識すべき対象物を人間と当初認識できない場合でも、人間と認識すべき対象物であるため画像がパターン識別で識別されてテンプレート候補として記憶され、このテンプレート候補が所定数以上記憶されると当該テンプレート候補が新たな所定のテンプレートとして追加される。これにより、例えば人間と認識すべき対象物を人間と当初認識できない場合でも、この対象物が撮像された画像が所定のテンプレートとして追加された後であれば、この対象物をより正しく認識できるようになる。

また、認識手段により認識された対象物が撮像された画像を指し示して出力する出力手段と、テンプレートを表示する表示手段と、表示手段により表示されたテンプレートのうち採用しないテンプレートの選択を受け付ける入力手段と、入力手段により受け付けられた、採用しないと選択されたテンプレートに対応する画像は出力手段に指し示さないで出力させる制御を行う出力制御手段と、を備えるのも好ましい。

これにより、表示手段により表示されたテンプレートのうち採用しないテンプレートの選択が入力手段により受け付けられると、採用しないと選択されたテンプレートに対応する画像は、出力制御手段によって、出力手段に指し示さないで出力される。このため、テンプレートとして適切でないものを、採用しないテンプレートとして選択することにより、対象物をより正しく認識できるようになる。

また、出力制御手段は、入力手段により受け付けられた、採用しないと選択されたテンプレートを削除するのも好ましい。

これにより、入力手段により受け付けられた、採用しないと選択されたテンプレートが、出力制御手段により削除される。このため、テンプレートとして適切でないものが占める記憶領域を空けることが可能となる。

本発明によれば、認識対象物をより正しく認識する物体認識装置を提供することが可能である。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を附し、重複する説明は省略する。

図１に、本実施形態に係る物体認識装置１の構成概略図を示す。本実施形態に係る物体認識装置１は、図１に示すように、カメラ１０（撮像手段）と、パターンマッチング識別器１１（マッチング手段及び認識手段）と、学習型識別器１２（識別手段）と、ディスプレイ１５（出力手段及び表示手段）と、入力装置１６（入力手段）と、パターン学習装置１８と、を備えている。パターン学習装置１８は、候補記憶部１３（記憶手段）と、テンプレート生成部１４（生成手段）と、出力制御部１７（出力制御手段）と、から構成されている。物体認識装置１は、自動車やロボット等の移動体に設置されて、カメラ１０により撮像された画像に基づいて、人間、人間の顔や身体、自動車や自転車やロボットなどの他の移動体、電柱や落下物などの障害物、信号機や道路標識などの交通環境における物体等の認識対象物を認識するための装置である。

カメラ１０は、上記の対象物を撮像する撮像機器である。カメラ１０は、撮像機器であれば特に限定されず、例えばＣＣＤカメラなどでもよい。物体認識装置１が例えば自動車に設置される場合は、カメラ１０は自動車の進行方向を向いて運転者の視点近傍に取り付けられる。また、物体認識装置１が例えば移動型ロボットに設置されている場合は、カメラ１０はロボットの視点近傍に取り付けられる。

パターンマッチング識別器１１は、カメラ１０により撮像された画像と、所定のテンプレートとの類似度を判定する部分である。テンプレートは、上記の対象物を特定するための雛型となる画像であり、パターンマッチング識別器１１の内部に記憶されている。物体認識装置１が初めて稼働した場合などの初期状態においては、テンプレートは記憶されておらず存在しないため、カメラ１０により撮像された画像は、パターンマッチング識別器１１を経由してそのまま学習型識別器１２に転送される。ここで、パターンマッチング識別器１１は、画像とテンプレートとの類似度が所定類似度以上であった場合に、これらは類似すると判定して上記の対象物を特定して認識する。

学習型識別器１２は、画像とテンプレートとの類似度が上記の所定類似度未満であったために画像とテンプレートとは類似しないとパターンマッチング識別器１１により判定された場合に、画像をパターン識別で識別する機器である。パターン識別による画像の識別に関しては、一般に学習能力が高いとされるＳＶＭ（Support Vector Machine：サポートベクタマシン）を用いて識別を行う。ＳＶＭでは、識別辞書を用いたパターン識別で識別が行われる。

候補記憶部１３は、学習型識別器１２により識別できた画像（識別画像）を、上記のテンプレートに追加する候補であるテンプレート候補として記憶する部分である。候補記憶部１３は、例えばＲＡＭ（Random Access Memory）やハードディスク等の記憶装置から構成されている。

テンプレート生成部１４は、候補記憶部１３により記憶された同一（又は互いの類似度が所定類似度以上）のテンプレート候補が所定数以上記憶された場合に、当該テンプレート候補を新たな所定のテンプレートとして生成して追加する部分である。即ち、テンプレート生成部１４は、学習型識別器１２により識別できた識別画像が所定数以上となったときに、この画像を上記の所定のテンプレートに追加する。

ディスプレイ１５は、パターンマッチング識別器１１により認識された対象物（例えば人間）が撮像された画像を、運転手やロボットの視界において検出枠を用いて指し示して出力表示する表示装置である。検出枠については、後述する。また、ディスプレイ１５は、テンプレートの一覧表示モードであるときに、テンプレートの全てを表示する。

入力装置１６は、ディスプレイ１５がテンプレートの一覧表示モードであるときに、ディスプレイ１５により表示された全テンプレートのうち、採用しないテンプレートの選択を受け付ける部分である。入力装置１６は、例えばディスプレイ１５に取り付けられたタッチパネルでもよく、ディスプレイ１５に接続されて指示入力用ボタンを有するコントローラでもよい。テンプレートとして採用しないものの選択は、物体認識装置１の利用者（例えば自動車の運転者やロボットの管理者）によって行われる。

出力制御部１７は、入力装置１６により受け付けられた、採用しないと選択された不要テンプレートに対応する（例えば、同一である、又は、類似する）画像はディスプレイ１５に指し示さないで出力させる制御を行う部分である。即ち、出力制御部１７は、テンプレートとして適切でないとして選択された不要テンプレートに対応する（例えば、同一であると判定された、又は、類似すると判定された）画像がカメラ１０により撮像された場合に、後述する上記検出枠をディスプレイ１５に出力表示しないようにディスプレイ１５を制御する。また、出力制御部１７は、入力装置１６により受け付けられた、採用しないと選択された不要テンプレートを、パターンマッチング識別器１１から削除するように制御する。

引き続き、図２〜図４を用いて、ディスプレイ１５に表示される検出枠について説明する。図２は、パターンマッチング識別器１１により認識された対象物が撮像された画像が、検出枠を用いてディスプレイ１５に表示された様子を示す図である。また、図３は、テンプレートの一覧表示モードであるときに、テンプレートの全てがディスプレイ１５に表示され、且つ、不要テンプレートが選択される様子を示す図である。また、図４は、不要テンプレートが選択された後において、上記画像が検出枠を用いて表示された様子を示す図である。

まず、図２に示すように、パターンマッチング識別器１１により認識された対象物である人間Ｍ１が撮像された画像が、検出枠Ｆ１を用いて指し示されながらディスプレイ１５に表示されている。同様に、パターンマッチング識別器１１により認識された対象物であるバス停Ｍ２が撮像された画像が、別の検出枠Ｆ２を用いて表示されている。なお、パターンマッチング識別器１１により認識できなかった対象物や、不要テンプレートに対応する（例えば、同一であると判定された、又は、類似すると判定された）画像が示す対象物に対しては、検出枠を用いて指し示した出力表示は行われない。

次に、図３に示すように、ディスプレイ１５においてテンプレートの一覧表示モードである場合、人間Ｍ１及びバス停Ｍ２の画像を含む全テンプレートがディスプレイ１５に表示される。ここでは、物体認識装置１の利用者（例えば自動車の運転者やロボットの管理者）が入力装置１６を用いて、不要テンプレートとしてのバス停Ｍ２の画像を、図２に示すポインタＰ及び不要テンプレート選択用の検出枠Ｆ３を用いて選択したとする。

次に、図４に示すように、不要テンプレートとしてのバス停Ｍ２の画像が選択された後においては、人間Ｍ１の画像のみが検出枠Ｆ１を用いて指し示されて表示される。バス停Ｍ２は、パターンマッチング識別器１１により認識された対象物であるが、不要テンプレートとしてバス停Ｍ２の画像が選択されたため、バス停Ｍ２には検出枠Ｆ２は出力表示されない。

引き続き、図５を用いて、物体認識装置１で実行される処理について説明する。図５は、物体認識装置１で実行される処理を説明するためのフローチャートである。まず、パターンマッチング識別器１１が、カメラ１０により撮像された画像をカメラ１０から受信する（ステップＳ０１）。そして、パターンマッチング識別器１１が、画像とテンプレートとの類似度の判定処理を開始（ステップＳ０２）し、画像とテンプレートとの類似が検出できたか否かを判定する（ステップＳ０３）。ここで、画像とテンプレートとの類似度が所定類似度未満であった場合、即ち、画像とテンプレートとの類似が検出できなかった場合、後述のステップＳ０５に移行する。一方、画像とテンプレートとの類似度が所定類似度以上であった場合、即ち、画像とテンプレートとの類似が検出できた場合、後述のステップＳ０４に移行する。

ステップＳ０４では、パターンマッチング識別器１１が、上記の画像における類似判定処理を行う範囲から、画像とテンプレートとの類似が検出できた範囲（類似検出領域）を除外する。類似検出領域が複数存在する場合は、それら全ての類似検出領域を、類似判定処理を行う範囲から除外する。そして、後述のステップＳ０５に移行する。ステップＳ０５では、学習型識別器１２が、全ての類似検出領域が除外されて残った類似判定処理を行う範囲から、画像をパターン識別で探索を行って識別する。そして、後述のステップＳ０６に移行する。

ステップＳ０６では、画像が、学習型識別器１２により識別できたか否かが判定される。ここで、画像が識別できなかった場合、即ち、学習型識別器１２により対象物を特定できなかった場合、後述のステップＳ０８に移行する。一方、画像が識別できた場合、即ち、学習型識別器１２により対象物を特定できた場合、後述のステップＳ０７に移行する。

ステップＳ０７では、候補記憶部１３が、学習型識別器１２により識別できた画像を、テンプレートに追加する候補であるテンプレート候補として記憶する。そして、後述のステップＳ０８に移行する。

ステップＳ０８では、ステップＳ０３においてテンプレートとの類似が検出できた画像と、ステップＳ０６において識別できた識別画像とに対して、ディスプレイ１５が検出枠を重畳表示することにより、これら画像が指し示されて表示される。次に、ステップＳ０７で候補記憶部１３により記憶された同一（又は互いの類似度が所定類似度以上）のテンプレート候補が所定数以上記憶されたか否かが、候補記憶部１３により判定される（ステップＳ０９）。同一（又は互いの類似度が所定類似度以上）のテンプレート候補が所定数以上記憶されていない場合、後述のステップＳ１１に移行する。一方、同一（又は互いの類似度が所定類似度以上）のテンプレート候補が所定数以上記憶された場合、後述のステップＳ１０に移行する。

ステップＳ１０では、テンプレート生成部１４が、当該テンプレート候補を新たな所定のテンプレートとして生成して追加する。そして、後述のステップＳ１１に移行する。

ステップＳ１１では、テンプレートの一覧表示モードであるか否かが、ディスプレイ１５により判定される。テンプレートの一覧表示モードでない場合、上述のステップＳ０１に戻る。一方、テンプレートの一覧表示モードである場合、全てのテンプレートがディスプレイ１５において一覧表示される（ステップＳ１２）。そして、ディスプレイ１５に表示された全テンプレートのうち採用しない不要テンプレートの選択を、入力装置１６が受け付ける（ステップＳ１３）。そして、出力制御部１７が、不要テンプレートに対応する（例えば、同一であると判定された、又は、類似すると判定された）画像に対しては検出枠を用いて指し示さないように設定する。即ち、出力制御部１７が、不要テンプレートの検出枠を非表示に設定する（ステップＳ１４）。この結果、この不要枠は表示されずに画像のみがディスプレイ１５に出力される。この後、上述のステップＳ０１に戻る。

引き続き、本実施形態の作用効果について説明する。本実施形態によれば、カメラ１０により撮像された画像と所定のテンプレートとの類似度がパターンマッチング識別器１１により判定され、画像とテンプレートとが類似すると判定された場合に、パターンマッチング識別器１１により対象物が認識される。一方、類似しないと判定された場合に、学習型識別器１２により画像がパターン識別で識別される。ここで、パターン識別の結果識別できた画像が候補記憶部１３によりテンプレート候補として記憶され、記憶されたテンプレート候補が所定数以上記憶された場合に、当該テンプレート候補が新たな所定のテンプレートとしてテンプレート生成部１４により生成されて追加される。

このため、例えば人間と認識すべき対象物を当初は人間とテンプレート認識できない場合でも、人間と認識すべき対象物であるためパターン識別では識別されてテンプレート候補として記憶され、このテンプレート候補が所定数以上記憶されると当該テンプレート候補が新たな所定のテンプレートとして追加される。これにより、例えば人間と認識すべき対象物を人間と当初は認識できない場合でも、学習型識別器１２による識別は行われるため当初のような未検出を防ぐことが可能となる。更に、この対象物が撮像された画像が所定のテンプレートとして追加された後であれば、この対象物をより正しく認識できるようになるため、未検出をより確実に防ぐことが可能となる。

更に、従来技術のように、未検出を防ぐことを目的としてテンプレートマッチングにおける閾値を下げる必要がないため、学習型識別器１２による識別を行う画像の領域が増えてしまうことがない。これにより、対象物を認識するのに必要な処理時間の長時間化を防ぐことが可能となる。

更に、画像とテンプレートとの類似度がパターンマッチング識別器１１により予め判定され、類似すると判定された場合に対象物が認識されるため、パターンマッチング識別器１１の処理速度よりも処理速度の遅い学習型識別器１２による識別を行う画像の領域が絞られる。これにより、対象物を認識するのに必要な処理時間を短縮することが可能となる。

更に、学習型識別器１２により識別できた識別画像がテンプレート候補として記憶されるため、物体認識装置１が稼動する環境や地域に適したテンプレートが生成される。このため、この環境や地域特有の対象物をより正しく認識することができるようになる。

また、ディスプレイ１５により表示されたテンプレートのうち不要テンプレートの選択が入力装置１６により受け付けられると、不要テンプレートと対応する（例えば、同一であると判定された、又は、類似すると判定された）画像は、出力制御部１７によって、ディスプレイ１５に指し示さない状態で出力される。このため、テンプレートとして適切でないものを不要テンプレートとして選択することにより、対象物をより正しく認識できるようになる。この結果、例えば人間と認識すべきでない認識対象物を人間と認識しまう（即ち、誤検出となる）ことを防ぐことが可能となる。

また、入力装置１６により受け付けられた不要テンプレートが、出力制御部１７により削除される。このため、不要テンプレートが占める記憶領域を空けることが可能となる。この結果、テンプレートの記憶領域をより有効に利用することができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記のステップＳ１１に移行する直前に、ステップＳ０１に戻るような処理を行うフローチャートとしてもよい。

物体認識装置の構成概略図である。 検出枠を用いて表示された様子を示す図である。 テンプレートの一覧表示モードである様子を示す図である。 検出枠を用いて表示された様子を示す図である。 物体認識装置で実行される処理を説明するためのフローチャートである。

符号の説明

１…物体認識装置、１０…カメラ、１１…パターンマッチング識別器、１２…学習型識別器、１３…候補記憶部、１４…テンプレート生成部、１５…ディスプレイ、１６…入力装置、１７…出力制御部、１８…パターン学習装置、Ｆ１〜Ｆ３…検出枠、Ｍ１…人間、Ｍ２…バス停、Ｐ…ポインタ。

Claims (3)

1. 対象物を認識する物体認識装置であって、
   前記対象物を撮像する撮像手段と、
   前記撮像手段により撮像された画像と前記対象物を特定するための所定のテンプレートとの類似度を判定するマッチング手段と、
   前記マッチング手段により前記画像と前記テンプレートとが類似すると判定された場合に、前記対象物を認識する認識手段と、
   前記マッチング手段により前記画像と前記テンプレートとが類似しないと判定された場合に、前記画像をパターン識別で識別する識別手段と、
   前記識別手段により識別された前記画像をテンプレート候補として記憶する記憶手段と、
   前記記憶手段により記憶された前記テンプレート候補が所定数以上記憶された場合に、当該テンプレート候補を新たな所定のテンプレートとして生成して追加する生成手段と、
   を備えることを特徴とする物体認識装置。
2. 前記認識手段により認識された前記対象物が撮像された前記画像を指し示して出力する出力手段と、
   前記テンプレートを表示する表示手段と、
   前記表示手段により表示された前記テンプレートのうち採用しないテンプレートの選択を受け付ける入力手段と、
   前記入力手段により受け付けられた、採用しないと選択された前記テンプレートに対応する前記画像は前記出力手段に指し示さないで出力させる制御を行う出力制御手段と、
   を備えることを特徴とする請求項１に記載の物体認識装置。
3. 前記出力制御手段は、前記入力手段により受け付けられた、採用しないと選択された前記テンプレートを削除することを特徴とする請求項２に記載の物体認識装置。

Images