JP2005318546A - 画像認識システム、画像認識方法、及び画像認識プログラム - Google Patents

Abstract

【課題】高い精度で認識処理を行う場合であっても、認識処理に要する時間を短縮する。
【解決手段】撮像部が撮像した画像に含まれる、撮像部に対して相対的に移動している被写体を認識する画像認識システムであって、撮像部と、撮像された画像を予め定められたテンプレートデータと比較することにより、撮像された画像に含まれる被写体の候補を認識する第１認識部と、第１認識部が候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で撮像される画像と比較するテンプレートデータを選択するテンプレート選択部と、第１認識部が候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で撮像された画像を、選択されたテンプレートデータと比較することにより、被写体を認識する第２認識部とを備える画像認識システムを提供する。
【選択図】図１

Description

本発明は、画像認識システム、画像認識方法、及び画像認識プログラムに関する。特に本発明は、撮像した画像に含まれる被写体を認識する画像認識システム、画像認識方法、及び画像認識プログラムに関する。

従来、自動車等の車両に搭載されたカメラにより撮像された画像から周囲環境を認識し、認識結果を運転者等に通知することにより、運転における安全性の向上を図った画像認識システムが知られている。しかし、カメラにより撮像された画像全体に対して画像認識を行った場合、認識処理に多大な時間を要するので、高い精度で認識を行うことができない。

そこで、可視光域で撮像された画像から地面の白線を検出して、歩道を示す領域を認識し、赤外光域で撮像された画像から被写体を認識する場合に、歩道として認識した領域のみを認識対象とすることにより、認識処理に要する時間を短縮する技術が公開されている（例えば、特許文献１参照。）。

特開２００２−３６２３０２

しかしながら、特許文献１に記載の技術のように、歩道のみを認識対象とする場合、例えば、歩道でなく車道に存在する人物といった、最も注意を要するべき対象を認識できず、十分に安全性を向上させることができていなかった。

そこで本発明は、上記の課題を解決することができる画像認識システム、画像認識方法、及び画像認識プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記の課題を解決するために、本発明の第1の形態にかかる画像認識しシステムは、撮像部が撮像した画像に含まれる、撮像部に対して相対的に移動している被写体を認識する画像認識システムであって、撮像部と、撮像部により撮像された画像を予め定められたテンプレートデータと比較することにより、撮像部により撮像された画像に含まれる被写体の候補を認識する第１認識部と、前記候補に基づいて、第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で撮像部により撮像される画像と比較するテンプレートデータを選択するテンプレート選択部と、第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で撮像部により撮像された画像を、テンプレート選択部により選択されたテンプレートデータと比較することにより、被写体を認識する第２認識部とを備える。

撮像部は、移動体に設けられ、移動体の周囲を撮像してもよい。移動体は、車両であってもよい。第１認識部は、撮像部により撮像された画像とテンプレートデータとの一致度が予め定められた第１基準値に比べて高い場合に、被写体の前記候補を認識し、第２認識部は、撮像部により撮像された画像と、テンプレート選択部により選択されたテンプレートデータとの一致度が、第１基準値より高く予め定められた第２基準値に比べて高い場合に、被写体を認識してもよい。

第１認識部は、撮像部により撮像された画像を予め定められたテンプレートデータと比較することにより、前記候補の確からしさを認識し、テンプレート選択部は、第１認識部により認識された前記候補の前記確からしさが予め定められた基準値以上である場合に、当該候補に対応するテンプレートデータを、第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で撮像部により撮像される画像と比較するテンプレートデータとして選択してもよい。

テンプレート選択部は、第２認識部により被写体を認識できなかった場合に、撮像された画像と比較されたテンプレートデータとは異なるテンプレートデータを、第２認識部が被写体の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で撮像部により撮像される画像と比較するテンプレートデータとして選択してもよい。

車両の速度を計測する速度計測部と、撮像部により撮像された画像における第１認識部により認識された被写体を示す領域、及び前記速度に基づいて、第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で撮像部により撮像される画像における被写体を示す領域の位置を予測する領域予測部とを更に備え、第２認識部は、撮像部により撮像された画像のうち、領域予測部により予測された位置を中心とした予め定められた範囲の画像を、テンプレート選択部により選択されたテンプレートデータと比較することにより、被写体を認識してもよい。

車両における舵角を計測する舵角計測部を更に備え、領域予測部は、前記舵角に更に基づいて、被写体を示す領域の位置を予測してもよい。

領域予測部は、撮像部により撮像された画像における第１認識部により認識された被写体を示す領域、及び前記速度に基づいて、第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で撮像部により撮像される画像における被写体を示す領域の大きさを更に予測し、第２認識部は、撮像部により撮像された画像のうち、領域予測部により予測された位置を中心として、領域予測部により予測された大きさに応じて予め定められた範囲の画像を、テンプレート選択部により選択されたテンプレートデータと比較することにより、被写体を認識してもよい。

テンプレートデータは、画像であり、テンプレート選択部は、領域予測部により予測された被写体を示す領域の大きさが大きいほど、第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で撮像部により撮像される画像における被写体を示す領域の画像と比較するテンプレートデータとして、より大きいサイズの画像を選択してもよい。前記速度計測部により計測された前記速度が大きいほど、撮像部が画像を撮像する時間間隔をより短くするべく撮像部を制御する撮像制御部を更に備えてもよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、高い精度で認識処理を行う場合であっても、認識処理に要する時間を短縮することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の実施形態に係る画像認識システム１０の構成の一例を示すブロック図である。画像認識システム１０は、例えば自動車等の車両に設けられ、車両の周囲を撮像した画像から、画像に含まれる被写体を認識する。そして、画像認識システム１０は、例えば、車両の近くで人物を認識した場合に、運転者にその旨を示して注意を促すことにより、運転における安全性を向上させたり、また、周囲の物体の認識結果に基づいて自動操縦等の運転補助を行ったりする。

本発明の実施形態に係る画像認識システム１０は、撮像された画像をテンプレート画像と比較することにより被写体を認識する場合に、以前の認識結果に基づいて認識に用いるテンプレート画像や認識を行う範囲を絞り込むことにより、比較を行う回数を減少させて、認識処理に要する時間を短縮することを目的とする。

画像認識システム１０は、撮像部１００、一時メモリ１１０、撮像制御部１２０、速度計測部１３０、舵角計測部１４０、認識ユニット１５０、及び表示部１６０を備える。撮像部１００は、車両の周囲の画像を撮像する。例えば、撮像部１００は、光軸を車両の前方に向けて設けられ、車両の前方の画像を撮像する。ここで、撮像部１００は、静止画像を撮像してもよく、また、動画像を撮像してもよい。撮像部１００は、光学系１０２、ＣＣＤ１０４、及び撮像信号処理部１０６を有する。光学系１０２は、被写体の光学像を、ＣＣＤ１０４の受光面上に結像する。ＣＣＤ１０４は、複数の受光素子を含み、光学系１０２により結像された被写体の光学像によってそれぞれの受光素子に蓄積された電荷を、アナログの電気信号として撮像信号処理部１０６に出力する。撮像信号処理部１０６は、ＣＣＤ１０４から受け取った、被写体像を示すアナログの電気信号を、Ｒ、Ｇ、Ｂの各成分に分解する。そして、撮像信号処理部１０６は、Ｒ、Ｇ、Ｂの各成分に分解されたアナログの電気信号をＡ／Ｄ変換し、その結果として得られた被写体像を示すデジタルの画像データを一時メモリ１１０に出力する。一時メモリ１１０は、例えばＤＲＡＭ等の揮発性メモリであり、撮像信号処理部１０６が出力した画像データを格納する。

撮像制御部１２０は、撮像部１００が有する機構部材を制御して、撮像部１００の動作を制御する。例えば、撮像制御部１２０は、撮像部１００における撮像タイミング、露光時間、ズーム、及びホワイトバランス等を制御する。速度計測部１３０は、車両の速度を計測し、計測した速度を認識ユニット１５０に出力する。また、速度計測部１３０は、計測した速度を撮像制御部１２０に出力し、撮像制御部１２０において、当該速度に基づいて撮像部１００を制御させる。舵角計測部１４０は、車両における舵角を計測し、計測した舵角を認識ユニット１５０に出力する。

認識ユニット１５０は、第１認識部１５２、テンプレート選択部１５４、領域予測部１５６、及び第２認識部１５８を含み、撮像部１００により撮像された画像に含まれる被写体を認識する。第１認識部１５２は、撮像部１００により撮像されて一時メモリ１１０に格納された画像を、予め定められたテンプレート画像と比較する所謂パターンマッチング処理を行うことにより、当該画像に含まれる被写体の候補を認識する。そして、第１認識部１５２は、認識結果をテンプレート選択部１５４及び領域予測部１５６に出力する。ここで、認識結果とは、被写体の候補、被写体を示す領域の位置及び大きさ、並びに認識に用いたテンプレート画像等を示す情報であってよい。

テンプレート選択部１５４は、第１認識部１５２により認識された被写体の候補に基づいて、第１認識部１５２が被写体の候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で撮像部１００により撮像される画像と比較するテンプレート画像を選択し、選択したテンプレート画像を示す情報を第２認識部１５８に出力する。領域予測部１５６は、撮像部１００により撮像された画像における、第１認識部１５２により認識された被写体を示す領域、速度計測部により計測された車両の速度、及び舵角計測部１４０により計測された舵角に基づいて、第１認識部１５２が被写体の候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で撮像部１００により撮像される画像における、被写体を示す領域の位置及び大きさを予測し、予測結果を第２認識部１５８に出力する。また、領域予測部１５６は、予測結果をテンプレート選択部１５４に出力し、テンプレート選択部１５４において、予測結果に更に基づいてテンプレート画像を選択させてよい。

第２認識部１５８は、第１認識部１５２が被写体の候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で撮像部１００により撮像された画像のうち、領域予測部１５６により予測された被写体を示す領域の位置及び大きさに基づいて決定される範囲の画像を、テンプレート選択部１５４により選択されたテンプレート画像と比較することにより、当該範囲の画像に含まれる被写体を認識する。そして、第２認識部１５８は、認識結果を、テンプレート選択部１５４、領域予測部１５６、及び表示部１６０に出力する。表示部１６０は、第２認識部１５８による認識結果を、例えばＣＲＴディスプレイやＬＣＤパネル等の表示装置に表示することにより、認識結果を運転者等に提供する。

本発明の実施形態に係る画像認識システム１０によれば、以前に撮像された画像において認識された被写体の候補に基づいて、次に撮像された画像における認識処理に用いるテンプレート画像を絞り込むことにより、認識処理において画像を比較する回数を減少させることができるので、高い精度で認識処理を行う場合であっても、被写体の認識に要する時間を短縮することができる。
例えば、画像認識システム１０は、自車両から被写体までの距離が長く、撮像された画像における当該被写体を示す画像の解像度が低いことにより、その時点では被写体を一意に認識できない場合であっても、被写体を複数の候補に絞り込んでおくことにより、以降に撮像された画像においてより精度の高い認識処理が行えるようになった場合に、予め絞り込みを行っておいた候補に対応するテンプレート画像のみを用いて認識処理を行うことができる。
これにより、常に全てのテンプレート画像を用いて画像認識を行う従来の画像認識システムに比べて、より短い時間で被写体を認識することができる。従って、例えば、車両の近くに人物が存在している場合に、運転者に対してより早期に警告を発することができる等、車両の運転における安全性を向上させたり、また、より応答性の高い運転補助を行ったりすることができる。

なお、以上の説明において、第１認識部１５２は、撮像された画像をテンプレート画像と比較して、当該画像に含まれる被写体の候補を認識している。しかし、第１認識部１５２は、テンプレート画像に代えて、数値や数式等の、他のテンプレートデータを用いて、画像に含まれる被写体を認識してもよい。また、同様に、テンプレート選択部１５４は、テンプレート画像を選択するのに代えて、数値や数式等の、他のテンプレートデータを選択してもよい。また、同様に、第２認識部１５８は、撮像された画像を、テンプレート画像と比較する代わりに、数値や数式等の、他のテンプレートデータと比較することにより、撮像された画像に含まれる被写体を認識してもよい。以上のようにして、本実施形態に係る画像認識システム１０は、画像や数値、数式といった多様なテンプレートデータを用いて、撮像された画像に含まれる被写体を精度よく、また短い時間で認識することができる。

図２は、本発明の実施形態に係る認識ユニット１５０における処理の一例を示す。図２（ａ）は、撮像部１００により撮像された、車両前方の画像２００を示す。また、図２（ｂ）は、画像２００が撮像された時点から予め定められた時間が経過した後で、撮像部１００により撮像された、車両前方の画像２１０を示す。

まず、第１認識部１５２は、公知のパターンマッチング技術を用いて、画像２００に含まれる被写体を認識する。例えば、第１認識部１５２は、画像２００に対して公知の方法によりエッジ抽出処理を行うことにより、複数の被写体の輪郭形状を抽出する。そして、第１認識部１５２は、被写体の種別毎、及び被写体が向いている方向毎等について予め定められたテンプレート画像に対して、抽出した被写体毎の輪郭形状に当該テンプレート画像の形状を一致させるべく、拡大、縮小、及び回転等の変形処理を行う。そして、第１認識部１５２は、変形処理を行ったテンプレート画像を、画像２００や画像２００の二値化画像等における当該被写体を示す領域の画像と比較する。ここで、第１認識部１５２は、例えば、テンプレート画像と被写体を示す領域の画像とを、画素単位で比較し、一致する画素の割合が予め定められた基準値を越える場合に、それぞれの画像が一致していると判定してよい。そして、第１認識部１５２は、被写体を示す領域の画像とテンプレート画像とが一致していると判定した場合に、当該被写体を、当該テンプレート画像により示される物体として認識する。

続いて、第１認識部１５２が被写体の候補を認識する点について説明する。本図においては、被写体２０２は、自車両に比較的近い位置に存在しているので、被写体２０２を示す画像の解像度は高く、第１認識部１５２は、十分に高い精度で被写体２０２を人物であると認識できる。しかし、被写体２０４及び被写体２０６は、自車両から遠い位置に存在しているので、それぞれの被写体を示す画像の解像度は低く、第１認識部１５２は、十分に高い精度でそれぞれの被写体を認識できない。そこで、第１認識部１５２は、被写体を一意に認識するのに代えて、複数の候補を認識する。例えば、第１認識部１５２は、被写体２０４の候補として、自動車及び自動二輪車を認識し、また、被写体２０６の候補として、人物、自転車、及び自動二輪車を認識する。ここで、第１認識部１５２は、被写体の種別だけでなく、被写体の向きや運動状態を候補としてよく、また、テンプレート画像そのものを候補としてもよい。

なお、第１認識部１５２は、画像２００全体に対して認識処理を行うので、認識を完了するまでに必要な時間が長く、被写体を一意に認識するために十分な精度で認識処理を行うことができない場合がある。こういった場合、第１認識部１５２は、例えば、被写体の種別毎のテンプレート画像において、被写体の向きが０度と１８０度であるテンプレート画像のみを用いるというように、パターンマッチングに用いるテンプレート画像の数を制限することにより、認識処理に要する時間を短縮する。しかし、この場合、実際の被写体の向きとテンプレート画像における被写体の向きとが一致することは少なく、多くの場合に、第１認識部１５２は認識に失敗する。そこで、第１認識部１５２は、撮像された画像とテンプレート画像とが一致するか否かを判定する際の基準値を下げることにより、被写体の認識を成功させる。しかし、基準値を下げたことにより、認識の精度が低下するので、第１認識部１５２は、被写体を一意に認識することができず、複数の候補を認識する。

また、第１認識部１５２は、被写体の候補を認識する場合に、当該候補の確からしさを認識してよい。例えば、第１認識部１５２は、被写体２０６が人物である確からしさを１０％、自転車である確からしさを４０％、自動二輪車である確からしさを３０％として認識してよい。

続いて、領域予測部１５６は、第１認識部１５２による認識結果に基づいて、画像２００において認識された被写体を示す領域の、画像２１０における位置及び大きさを予測する。まず、領域予測部１５６は、画像２００が撮像された時点における、自車両から被写体までの距離を取得する。例えば、領域予測部１５６は、測距センサを用いて自車両から被写体までの距離を取得してよい。また、例えば、撮像部１００が同時に異なる方向から画像を撮像可能に構成されており、領域予測部１５６は、同時に撮像された画像における視差に基づいて、自車両から被写体までの距離を取得してもよい。また、例えば、領域予測部１５６は、第１認識部１５２により認識された被写体の候補の種別、画像２００における被写体を示す領域の大きさ、及び撮像部１００における撮像倍率に基づいて、自車両から被写体までの距離を取得してもよい。具体的には、領域予測部１５６は、被写体２０４の最も確からしい候補の種別が自動車であると認識された場合に、認識に用いられたテンプレート画像に対応する自動車の実際の大きさ、及び撮像倍率に基づいて、当該自動車が画像２００における被写体２０４を示す領域の大きさで撮像される距離を算出する。

そして、領域予測部１５６は、取得された自車両から被写体までの距離、画像２００における被写体を示す領域の重心位置、及び撮像部１００の光軸の方向に基づいて、画像２００が撮像された時点における被写体の位置を算出する。続いて、領域予測部１５６は、被写体が静止していると仮定することにより、算出した被写体の位置、及び自車両の速度に基づいて、画像２１０における被写体を示す領域の重心位置の予測値、及び画像２１０が撮像される時点における自車両から被写体までの距離の予測値を算出する。そして、領域予測部１５６は、画像２００における被写体を示す領域の大きさ、画像２００が撮像された時点における自車両から被写体までの距離、及び画像２１０が撮像される時点における自車両から被写体までの距離の予測値に基づいて、画像２１０における被写体を示す領域の大きさの予測値を算出する。

ここで、領域予測部１５６は、被写体が静止していると仮定するのに代えて、第１認識部１５２により認識された被写体の候補の種別及び向きに基づいて、被写体の移動方向及び速度を仮定し、より高い精度で、画像２１０における被写体を示す領域の重心位置及び大きさの予測値を算出してもよい。また、領域予測部１５６は、舵角計測部１４０により計測された自車両における舵角に更に基づいて、画像２１０における被写体を示す領域の重心位置、及び大きさの予測値を算出してもよい。これにより、車両が直進していない場合であっても、被写体を示す領域の位置及び大きさを精度よく予測することができる。
以上のようにして、領域予測部１５６は、被写体２０４を示す領域の画像２１０における位置をＡと予測し、また、被写体２０６を示す領域の画像２１０における位置をＢと予測する。

一方、テンプレート選択部１５４は、第１認識部１５２により認識された、画像２００に含まれる被写体の候補に基づいて、画像２１０と比較するテンプレート画像を選択する。テンプレート選択部１５４が選択するテンプレート画像は、第１認識部１５２により用いられたテンプレート画像と同じテンプレート画像であっても、また、異なるテンプレート画像であってもよい。例えば、テンプレート選択部１５４は、第１認識部１５２により認識された被写体の候補の種別に対応する複数のテンプレート画像、例えば、被写体の向き毎のテンプレート画像を選択してよい。

また、第１認識部１５２により、複数の被写体の候補毎の確からしさが認識された場合、テンプレート選択部１５４は、候補毎に選択するテンプレート画像の数を、当該候補における確からしさの度合いに応じて決定してよい。例えば、テンプレート選択部１５４は、第１認識部１５２により、被写体２０６が人物である確からしさが１０％、自転車である確からしさが４０％、自動二輪車である確からしさが３０％であるとして認識された場合に、最も確からしいとして認識された自転車のテンプレート画像を最も多く選択し、続いて自動二輪車、及び人物の順に少ない数のテンプレート画像を選択してよい。これにより、複数の候補が認識された場合であっても、第２認識部１５８により認識処理を行う場合に、撮像された画像とテンプレート画像とが一致する機会を増加させることができるので、認識処理に要する時間を短縮することができる。

また、この場合、テンプレート選択部１５４は、候補の確からしさが予め定められた基準値以上である場合に、当該候補に対応するテンプレート画像を選択してよい。これにより、第２認識部１５８によって、認識結果の確度が高い候補についてのみ認識処理を行うことができるので、認識処理に要する時間を短縮することができる。

また、テンプレート選択部１５４は、領域予測部により予測された、画像２１０における被写体を示す領域の大きさが大きいほど、画像２１０と比較するテンプレート画像として、より大きいサイズのテンプレート画像を選択してよい。一般に、被写体像の大きさが大きいほど、撮像した画像から得られる情報量は多いので、パターンマッチングによる認識処理においても、より精度よく認識を行うことができる。このため、予測された被写体像の大きさが大きいほど、より大きいサイズのテンプレート画像を用いて認識処理を行うことにより、精度の低い認識結果を取得する処理を省くことができるので、精度の高い認識結果を短時間で取得することができる。

そして、第２認識部１５８は、画像２１０を、テンプレート選択部１５４により選択されたテンプレート画像と比較することにより、画像２００及び画像２１０の双方に含まれる被写体を認識する。ここで、第２認識部１５８は、領域予測部１５６における被写体像の位置及び大きさの予測結果に基づいて、画像２１０における、テンプレート画像と比較する範囲を絞り込む。具体的には、第２認識部１５８は、画像２１０における、領域予測部１５６により予測された画像２１０における被写体２０４の位置Ａを中心とした、予め定められた範囲２１２を、テンプレート画像と比較する範囲として選択する。ここで、第２認識部１５８は、領域予測部１５６により予測された画像２１０における被写体２０４の大きさが大きいほど、範囲２１２を大きくしてよい。更に、第２認識部１５８が選択する範囲の形状は、本図に示したように円形であってよく、また、より効率的に比較を行うべく、被写体の移動方向の前後に伸びた楕円形等の形状であってよい。

そして、第２認識部１５８は、公知のパターンマッチング技術を用いて、範囲２１２により示される画像を、被写体２０４についてテンプレート選択部１５４により選択されたテンプレート画像と比較することにより、被写体２０４を認識する。同様にして、第２認識部１５８は、位置Ｂを中心とした、被写体２０６について予測された大きさに応じて定められた範囲２１４の画像を、被写体２０６についてテンプレート選択部１５４により選択されたテンプレート画像と比較することにより、被写体２０６を認識する。

ここで、第２認識部１５８は、第１認識部１５２における認識処理に比べて、より高い精度で認識を行ってよい。例えば、テンプレート選択部１５４が、第１認識部１５２において種別毎に用いられるテンプレート画像に比べて、より多くのテンプレート画像、例えばより多くの向きに対応したテンプレート画像を選択し、第２認識部１５８がそれらのテンプレート画像を用いて認識処理を行ってよい。そして、第１認識部１５２が、撮像された画像とテンプレート画像との一致度が予め定められた第１基準値に比べて高い場合に、被写体の候補を認識するのに対し、第２認識部１５８は、撮像された画像と、テンプレート選択部１５４により選択されたテンプレート画像との一致度が、第１基準値より高く予め定められた第２基準値に比べて高い場合に、被写体を認識してよい。

また、例えば、第２認識部１５８は、第１認識部１５２によって用いられるテンプレート画像とは異なるテンプレート画像を用いて、撮像された画像に含まれる被写体を認識してもよい。具体的には、第２認識部１５８は、第１認識部１５２によって用いられるテンプレート画像より解像度の高いテンプレート画像を用いて、撮像された画像に含まれる被写体を認識してよい。

また、例えば、第１認識部１５２及び第２認識部１５８のそれぞれは、撮像された画像をテンプレート画像と比較する場合に、それぞれの画像から特徴点を検出して、特徴点近傍の画像を比較するとする。この場合、第２認識部１５８は、それぞれの画像において、第１認識部１５２が検出した特徴点よりも多くの特徴点を検出して、それぞれの画像を比較してもよい。

また、例えば、第２認識部１５８は、第１認識部１５２が被写体を認識する場合に用いる認識方法に比べて、処理に要する負荷がより大きい認識方法を用いてもよい。具体的には、第１認識部１５２が、撮像された画像とテンプレート画像とを、画像に含まれる被写体の色について比較する場合に、第２認識部１５８は、撮像された画像とテンプレート画像とを、画像に含まれる被写体の形状について比較してよい。

また、例えば、第１認識部１５２及び第２認識部１５８のそれぞれは、撮像された画像をテンプレート画像と比較する場合に、それぞれの画像について濃度ヒストグラムを生成し、生成した色濃度ヒストグラムを比較するとする。この場合、第２認識部１５８は、例えば、第１認識部１５２による濃度ヒストグラムの生成における分解能が１６階調である場合に、分解能を２５６階調として濃度ヒストグラムを生成するというように、第１認識部１５２における分解能より高い分解能で濃度ヒストグラムを生成してよい。

また、第１認識部１５２が、撮像された画像から、被写体の候補を複数認識すると共に、複数の候補のそれぞれにおける確からしさを認識する場合、第２認識部１５８は、当該複数の候補のうち、より確からしい候補についてテンプレート選択部１５４によって選択されたテンプレート画像を、より高い優先度で用いて、撮像された画像に含まれる被写体を認識してよい。これにより、第２認識部１５８は、より短い時間で被写体を認識することができる。

本実施形態に係る画像認識システム１０によれば、以前に撮像された画像における被写体の認識結果に基づいて、次に撮像される画像における当該被写体を示す領域の位置及び大きさを予測することにより、次に撮像される画像においてパターンマッチング処理を行う対象となる画像の範囲を絞り込むことができる。これにより、画像を比較する回数を減少させることができるので、認識処理に要する時間を短縮することができる。

また、本実施形態に係る画像認識システム１０によれば、予め被写体の候補を絞り込むと共に、認識を行う画像の範囲を絞り込むことにより、第２認識部１５８における認識処理に要する時間を短縮することができるが、これにより生じた余剰時間を用いて、より多くのテンプレート画像を用いると共に、それらのテンプレート画像から、第１認識部１５２における認識処理に比べてより一致度の高いテンプレート画像を検出することにより、被写体の種別、向き、走行状態等を、より精度よく、またより詳細に認識することができる。

図３は、本発明の実施形態に係る画像認識システム１０における処理の流れの一例を示すフローチャートである。まず、撮像部１００は、車両の周囲の画像を撮像する（Ｓ１０００）。続いて、認識ユニット１５０は、撮像された画像に含まれる被写体の候補を認識する（Ｓ１０１０）。続いて、撮像制御部１２０は、Ｓ１０００において画像が撮像された時点から予め定められた時間が経過した後で、撮像部１００により画像を撮像させる（Ｓ１０２０）。ここで、撮像部１００が動画像を撮像する場合、予め定められた時間とは、例えば、動画像における１フレームの時間であってよく、また、３フレーム分等の予め定められたフレーム数分の時間であってよい。また、予め定められた時間とは、当該時間中における被写体の変位が、領域予測部１５６による被写体を示す領域の位置及び大きさの予測の精度を十分に高く維持できる程度に小さい時間であることが好ましい。

更に、撮像制御部１２０は、速度計測部１３０により計測された車両の速度が大きいほど、予め定められた時間、つまり撮像部１００が画像を撮像する時間間隔をより短くしてよい。車両の速度が大きい場合、撮像された画像は短時間で大きく変化するので、領域予測部１５６による被写体を示す領域の位置及び大きさの予測の精度は低下する。しかし、速度の大きさに応じて画像を撮像する時間間隔を短縮することにより、被写体を示す領域の位置及び大きさを高い精度で予測して、第２認識部１５８における認識処理に要する時間を短縮することができる。

続いて、認識ユニット１５０は、Ｓ１０１０における認識結果を利用して、Ｓ１０２０において撮像された画像に含まれる被写体を認識する（Ｓ１０３０）。続いて、表示部１６０は、認識ユニット１５０による被写体の認識結果を表示する（Ｓ１０４０）。例えば、表示部１６０は、撮像された画像に重畳して、認識された被写体を囲む枠を表示する。ここで、表示部１６０は、被写体の種別ごとに予め定められた色で枠を表示すると共に、自車両から被写体までの距離が近い程、枠の幅を太くすることにより、運転者等が容易に認識結果を把握できるようにしてもよい。また、画像認識システム１０は、認識結果を音声により運転者等に提供してもよい。例えば、画像認識システム１０は、人物が近くに存在する場合に、その旨を通知する音声をスピーカから出力してもよい。

図４は、図３におけるＳ１０１０の詳細を示すフローチャートである。まず、第１認識部１５２は、撮像された画像を、予め定められたテンプレート画像と比較することにより、当該画像に含まれる被写体の候補を認識する（Ｓ１１００）。続いて、速度計測部１３０は、車両の速度を、例えばエンジンの回転数等に基づいて計測する（Ｓ１１１０）。続いて、舵角計測部１４０は、車両における舵角を、例えばステアリングの回転角等に基づいて計測する（Ｓ１１２０）。

続いて、領域予測部１５６は、撮像された画像における、第１認識部１５２により認識された被写体を示す領域の位置及び大きさ、車両の速度、及び舵角に基づいて、Ｓ１０００において画像が撮像された時点から予め定められた時間が経過した後で撮像部１００により撮像される画像における、当該被写体を示す領域の位置を予測する（Ｓ１１３０）。続いて、領域予測部１５６は、第１認識部１５２により認識された被写体を示す領域の、撮像された画像における位置及び大きさ、車両の速度、並びに舵角に基づいて、Ｓ１０００において画像が撮像された時点から予め定められた時間が経過した後で撮像部１００により撮像された画像における、当該被写体を示す領域の大きさを予測する（Ｓ１１４０）。続いて、テンプレート選択部１５４は、第１認識部１５２により認識された被写体の候補に基づいて、Ｓ１０００において画像が撮像された時点から予め定められた時間が経過した後で撮像部１００により撮像される画像と比較するテンプレート画像を選択する（Ｓ１１５０）。

図５は、図３におけるＳ１０３０の詳細を示すフローチャートである。まず、第２認識部１５８は、撮像された画像のうち、領域予測部１５６により予測された、被写体を示す領域の位置及び大きさに基づいて選択した範囲の画像を、テンプレート選択部１５４により選択されたテンプレート画像と比較することにより、当該範囲の画像に含まれる被写体を認識する（Ｓ１２００）。続いて、速度計測部１３０は、車両の速度を計測する（Ｓ１２１０）。続いて、舵角計測部１４０は、車両における舵角を計測する（Ｓ１２２０）。続いて、領域予測部１５６は、撮像された画像における、第２認識部１５８により認識された被写体を示す領域の位置及び大きさ、車両の速度、及び舵角に基づいて、Ｓ１０２０において画像が撮像された時点から予め定められた時間が経過した後で撮像部１００により撮像される画像における、当該被写体を示す領域の位置を予測する（Ｓ１２３０）。続いて、領域予測部１５６は、撮像された画像における、第２認識部１５８により認識された被写体を示す領域の位置及び大きさ、車両の速度、及び舵角に基づいて、Ｓ１０２０において画像が撮像された時点から予め定められた時間が経過した後で撮像部１００により撮像される画像における、当該被写体を示す領域の位置を予測する（Ｓ１２４０）。

続いて、テンプレート選択部１５４は、第２認識部１５８による認識結果に基づいて、Ｓ１０２０において画像が撮像された時点から予め定められた時間が経過した後で撮像部１００により撮像される画像と比較するテンプレート画像を選択する（Ｓ１２５０）。具体的には、テンプレート選択部１５４は、第２認識部１５８により被写体を認識できなかった場合に、第２認識部１５８によって、撮像された画像と比較されたテンプレート画像とは異なるテンプレート画像を、Ｓ１０２０において画像が撮像された時点から予め定められた時間が経過した後で撮像部１００により撮像される画像と比較するテンプレート画像として選択する。これにより、第１認識部１５２の認識結果が正しくなく、当該認識結果に基づいてテンプレート選択部１５４が選択したテンプレート画像が適切でなかった場合であっても、次に第２認識部１５８により認識を行う場合に、既に一致しなかったテンプレート画像を除外することができるので、全てのテンプレート画像を用いて認識を行う場合に比べて、認識処理に要する時間を短縮することができる。

第２認識部１５８による認識処理は、第１認識部１５２による認識処理に比べて、より確度の高い認識結果を得ることができるので、第２認識部１５８による認識結果に基づいて、被写体を示す領域の位置及び大きさを予測すると共にテンプレート画像を選択することにより、Ｓ１０２０において画像が撮像された時点から予め定められた時間が経過した後で撮像部１００により撮像される画像に対して第２認識部１５８が認識処理を行う場合に、より高い精度で、また、より短時間で認識処理を行うことができる。

以上の説明において、画像認識システム１０は、第１認識部１５２及び第２認識部１５８を用いて２回の画像認識を行うことにより、高い精度で、また短い時間で画像に含まれる被写体を認識している。しかし、画像認識システム１０は、これに代えて、３回以上の画像認識を行うことにより、画像に含まれる被写体を認識してもよい。この場合、画像認識システム１０は、複数回の画像認識のうち、より後に行われる画像認識において、より精度の高い画像認識を行うべく、例えば、選択するテンプレート画像の数をより多くしたり、より解像度の高いテンプレート画像を用いたり、処理に要する負荷がより大きい画像認識方法を用いたりしてよい。

また、以上の説明において、撮像部１００は車両に設けられていたが、これに代えて、撮像部１００は、他の移動体に設けられ、当該他の移動体の周囲を撮像してよい。例えば、撮像部１００は、内視鏡に設けられてもよい。これにより、内視鏡を用いて体内の器官や組織を検査する場合に、内視鏡を動かしている場合であっても、撮像した画像に含まれる器官や組織等の被写体を、より高い精度で、またより短い時間で認識することができる。

更に、撮像部１００は、移動体に設けられる代わりに、静止している物体に設けられていてもよい。この場合であっても、撮像部１００によって撮像された画像から、撮像部１００に対して相対的に移動している被写体を認識する場合には、異なるタイミングで撮像した２枚の画像において、画像内での当該被写体の位置は変化するので、本実施形態に係る画像認識システム１０を用いることにより、当該被写体を、より高い精度で、またより短い時間で認識することができる。

図６は、本実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行されるプログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図５にかけて説明した画像認識システム１０として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本発明の実施形態に係る画像認識システム１０の構成の一例を示すブロック図である。 本発明の実施形態に係る認識ユニット１５０における処理の一例を示す図である。 本発明の実施形態に係る画像認識システム１０における処理の流れの一例を示すフローチャートである。 図３におけるＳ１０１０の詳細を示すフローチャートである。 図３におけるＳ１０３０の詳細を示すフローチャートである。 本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。

符号の説明

１０ 画像認識システム、１００ 撮像部、１０２ 光学系、１０４ ＣＣＤ、１０６ 撮像信号処理部、１１０ 一時メモリ、１２０ 撮像制御部、１３０ 速度計測部、１４０ 舵角計測部、１５０ 認識ユニット、１５２ 第１認識部、１５４ テンプレート選択部、１５６ 領域予測部、１５８ 第２認識部、１６０ 表示部

Claims (13)

1. 撮像部が撮像した画像に含まれる、前記撮像部に対して相対的に移動している被写体を認識する画像認識システムであって、
   前記撮像部と、
   前記撮像部により撮像された画像を予め定められたテンプレートデータと比較することにより、前記撮像部により撮像された画像に含まれる前記被写体の候補を認識する第１認識部と、
   前記候補に基づいて、前記第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で前記撮像部により撮像される画像と比較する前記テンプレートデータを選択するテンプレート選択部と、
   前記第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で前記撮像部により撮像された画像を、前記テンプレート選択部により選択された前記テンプレートデータと比較することにより、前記被写体を認識する第２認識部と
   を備える画像認識システム。
2. 前記撮像部は、移動体に設けられ、前記移動体の周囲を撮像する
   請求項１に記載の画像認識システム。
3. 前記移動体は、車両である
   請求項２に記載の画像認識システム。
4. 前記第１認識部は、前記撮像部により撮像された画像と前記テンプレートデータとの一致度が予め定められた第１基準値に比べて高い場合に、前記被写体の前記候補を認識し、
   前記第２認識部は、前記撮像部により撮像された画像と、前記テンプレート選択部により選択された前記テンプレートデータとの一致度が、前記第１基準値より高く予め定められた第２基準値に比べて高い場合に、前記被写体を認識する
   請求項１に記載の画像認識システム。
5. 前記第１認識部は、前記撮像部により撮像された画像を予め定められた前記テンプレートデータと比較することにより、前記候補の確からしさを認識し、
   前記テンプレート選択部は、前記第１認識部により認識された前記候補の前記確からしさが予め定められた基準値以上である場合に、当該候補に対応する前記テンプレートデータを、前記第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で前記撮像部により撮像される画像と比較する前記テンプレートデータとして選択する
   請求項１に記載の画像認識システム。
6. 前記テンプレート選択部は、前記第２認識部により前記被写体を認識できなかった場合に、撮像された画像と比較された前記テンプレートデータとは異なる前記テンプレートデータを、前記第２認識部が前記被写体の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で前記撮像部により撮像される画像と比較する前記テンプレートデータとして選択する請求項１に記載の画像認識システム。
7. 前記車両の速度を計測する速度計測部と、
   前記撮像部により撮像された画像における前記第１認識部により認識された前記被写体を示す領域、及び前記速度に基づいて、前記第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で前記撮像部により撮像される画像における前記被写体を示す領域の位置を予測する領域予測部と
   を更に備え、
   前記第２認識部は、前記撮像部により撮像された画像のうち、前記領域予測部により予測された位置を中心とした予め定められた範囲の画像を、前記テンプレート選択部により選択された前記テンプレートデータと比較することにより、前記被写体を認識する
   請求項１に記載の画像認識システム。
8. 前記車両における舵角を計測する舵角計測部
   を更に備え、
   前記領域予測部は、前記舵角に更に基づいて、前記被写体を示す領域の位置を予測する
   請求項７に記載の画像認識システム。
9. 前記領域予測部は、前記撮像部により撮像された画像における前記第１認識部により認識された前記被写体を示す領域、及び前記速度に基づいて、前記第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で前記撮像部により撮像される画像における前記被写体を示す領域の大きさを更に予測し、
   前記第２認識部は、前記撮像部により撮像された画像のうち、前記領域予測部により予測された位置を中心として、前記領域予測部により予測された大きさに応じて予め定められた範囲の画像を、前記テンプレート選択部により選択された前記テンプレートデータと比較することにより、前記被写体を認識する
   請求項７に記載の画像認識システム。
10. 前記テンプレートデータは、画像であり、
    前記テンプレート選択部は、前記領域予測部により予測された前記被写体を示す領域の大きさが大きいほど、前記第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で前記撮像部により撮像される画像における前記被写体を示す領域の画像と比較する前記テンプレートデータとして、より大きいサイズの画像を選択する請求項９に記載の画像認識システム。
11. 前記速度計測部により計測された前記速度が大きいほど、前記撮像部が画像を撮像する時間間隔をより短くするべく前記撮像部を制御する撮像制御部を更に備える請求項１に記載の画像認識システム。
12. 撮像部が撮像した画像に含まれる、前記撮像部に対して相対的に移動している被写体を認識する画像認識方法であって、
    前記撮像部により画像を撮像する第１撮像段階と、
    前記第１撮像段階において撮像された画像を予め定められたテンプレートデータと比較することにより、前記第１撮像段階において撮像された画像に含まれる前記被写体の候補を認識する第１認識段階と、
    前記候補に基づいて、前記第１撮像段階において画像が撮像された時点から予め定められた時間が経過した後で前記撮像部により撮像される画像と比較する前記テンプレートデータを選択するテンプレート選択段階と、
    前記第１撮像段階において画像が撮像された時点から予め定められた時間が経過した後で、前記撮像部により画像を撮像する第２撮像段階と、
    前記第２撮像段階において撮像された画像を前記テンプレート選択段階において選択された前記テンプレートデータと比較することにより、前記被写体を認識する第２認識段階と
    を備える画像認識方法。
13. 撮像部が撮像した画像に含まれる、前記撮像部に対して相対的に移動している被写体を認識する画像認識システムとしてコンピュータを機能させる画像認識プログラムであって、
    前記コンピュータを、
    前記撮像部と、
    前記撮像部により撮像された画像を予め定められたテンプレートデータと比較することにより、前記撮像部により撮像された画像に含まれる前記被写体の候補を認識する第１認識部と、
    前記候補に基づいて、前記第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で前記撮像部により撮像される画像と比較する前記テンプレートデータを選択するテンプレート選択部と、
    前記第１認識部が前記候補の認識に用いた画像が撮像された時点から予め定められた時間が経過した後で前記撮像部により撮像された画像を、前記テンプレート選択部により選択された前記テンプレートデータと比較することにより、前記被写体を認識する第２認識部と
    を備える画像認識システムとして機能させる画像認識プログラム。

Images