JP4467838B2 - 画像認識装置および画像認識方法 - Google Patents
画像認識装置および画像認識方法 Download PDFInfo
- Publication number
- JP4467838B2 JP4467838B2 JP2001180920A JP2001180920A JP4467838B2 JP 4467838 B2 JP4467838 B2 JP 4467838B2 JP 2001180920 A JP2001180920 A JP 2001180920A JP 2001180920 A JP2001180920 A JP 2001180920A JP 4467838 B2 JP4467838 B2 JP 4467838B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- matching position
- optical flow
- templates
- image recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像した画像信号により移動物体を追跡する画像認識装置および方法に関し、特に、公共施設等重要施設への侵入者や侵入物に対する監視システムに使用する画像認識装置および方法に関する。
【０００２】
【従来の技術】
従来、上記のような移動物体追跡技術としては、オプティカルフローを用いた方法や、テンプレートマッチングを用いた方法が広く知られている。
オプティカルフローを用いた方法としては、「局所相関演算による動きの検知と追跡」（電子情報通信学会論文誌 D-II, Vol.J84-D-II, No.2, pp.299-309, 2001) に記載されたものが知られており、図２８、図２９を用いて説明する。
オプティカルフローを用いた方法によると、時間的に異なる複数枚の画像を用いてオプティカルフロー（動きベクトル）をブロックマッチング法によってブロック毎に求め、新しくオプティカルフローが塊状に発生したブロック群を移動物体として検知する。
図２８に示すように、前フレームで移動物体を検知したら、検知位置を中心として現フレームで探索範囲を設定する。次に、現フレームの探索範囲内で移動物体を検知したら、検知した移動物体と関連付けを行う。次フレームでは、現フレームで検出した移動物体の位置を中心として、再度探索範囲を設定し、移動物体を再び検知したら、同一の物体であるとみなして追跡を行う。
【０００３】
このような物体追跡方法では、動きの情報だけに着目して、移動物体の大きさや形の情報を一切用いていないため、検知した複数の物体の関係を判定して追跡することは困難である。例えば、図２９に示すように、探索範囲内に複数の移動物体を検知した場合、どちらの移動物体に関連付けを行うかが不定となる。よって、検知した複数の移動物体が重なった場合には追跡対象が別の移動物体に移り、追跡に失敗するという問題があった。
【０００４】
また、テンプレートマッチングを用いた方法としては、「画像処理による交差点交通流監視方法の研究」（電子情報通信学会 技術報告 PRMU98-104, pp.91-97,1998.）に記載されたものが知られており、図３０を用いて説明する。
道路を横断するように設定した画面中央の初期検知領域内で、特定の明暗パターンを検出して、適切なタイミングで車両を切り出して検知する。そして、切り出した車両をテンプレートとする。移動物体の追跡は、テンプレートをもって追跡し、物体を検知した位置を基準とした探索範囲内の最適マッチング位置を基準とした領域を新たなテンプレートとして更新することによって特定の輝度パターンを持つ領域を追跡する。探索範囲の大きさについては、大きすぎるとテンプレートの探索回数が増加するばかりでなく、マッチング位置を誤る可能性も高くなるため、比較的狭い範囲に限定するのが一般的である。
このような物体追跡法は、物体の位置を基準とした一定の探索範囲内を探索するため、探索範囲を超えるような高速移動する物体を追跡することは困難である。
【０００５】
【発明が解決しようとする課題】
上記従来のオプティカルフローを用いた物体追跡技術は、動きを検知した領域を得ることによって物体の追跡を行っているため、抽出された重なり合う複数物体の関係を判定して、物体を追跡することは困難であるという問題があった。
また、上記従来のテンプレートマッチングを用いた物体追跡技術は、物体を検知した位置を基準とした探索範囲を設定しているため、探索範囲を超えるような高速移動する物体を追跡することは困難であるという問題があった。
【０００６】
本発明は、上記従来の問題を解決するためになされたもので、オプティカルフローとテンプレートマッチングを用いた画像認識装置および方法に、互いに重複領域を持つ複数のテンプレート同士の関係を判定する処理か、またはマッチング位置を予測してテンプレートの動きに適応的に設定した探索範囲からテンプレートの最適マッチング位置を探索する処理を付与することにより、精度良く物体を追跡することができる画像認識装置および方法を提供するものである。
【０００７】
【課題を解決するための手段】
本発明における画像認識装置は、撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定するフロー推定部と、現フレーム画像でテンプレートの最適マッチング位置を探索するテンプレートマッチング部と、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定するテンプレート重なり判定部と、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録するテンプレート登録部とを備えるという構成を有している。この構成により、重なり判定部によって、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定できるため、精度良く物体を追跡することができる。
【０００８】
本発明における画像認識装置は、前記テンプレート重なり判定部が、前記互いに重複領域を持つ複数のテンプレートの前フレーム画像における各位置において前記重複領域に該当する各領域と前記重複領域との相関値を算出する相関演算部と、相関値の大小を比較することにより前記互いに重複領域を持つ複数のテンプレートの前後関係を判定する前後関係判定部とを備えるという構成を有している。この構成により、重なり判定部によって、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を相関値によって判定できるため、精度良く物体を追跡することができる。
【０００９】
本発明における画像認識装置は、前記テンプレート重なり判定部が、前記互いに重複領域を持つ複数のテンプレートの各移動方向を判定する移動方向判定部と、前記互いに重複領域を持つ複数のテンプレートを１つのテンプレートに統合するテンプレート統合部とを備えるという構成を有している。この構成により、重なり判定部によって、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を移動方向によって判定できるため、精度良く物体を追跡することができる。
【００１０】
本発明における画像認識装置は、撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定するフロー推定部と、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索するテンプレートマッチング部と、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録するテンプレート登録部と、前記現フレームの前記テンプレートに対応する領域内のオプティカルフローから代表ベクトルを決定し、次フレームでの前記テンプレートの前記予測マッチング位置を獲得するマッチング位置予測部とを備えるという構成を有している。この構成により、前記マッチング位置予測部において、次フレームにおける前記テンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、精度良く物体を追跡することができる。
【００１１】
本発明における画像認識装置は、前記マッチング位置予測部が、前記テンプレートに対応する領域内の前記オプティカルフローを用いて２次元頻度マップを作成する２次元頻度マップ作成部と、前記２次元頻度マップ中で最頻値を求める最頻値検出部と、前記最頻値に対応するオプティカルフローから前記テンプレートの前記予測マッチング位置を獲得する予測マッチング位置獲得部とを備えるという構成を有している。この構成により、前記マッチング位置予測部において、前記テンプレートに対応する領域内の前記オプティカルフローを用いて作成した２次元頻度マップを用いて、次フレームにおける前記テンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、精度良く物体を追跡することができる。
【００１２】
本発明における画像認識装置は、前記マッチング予測部が、前記テンプレートに対応する領域内のオプティカルフローを用いて水平・垂直の各１次元頻度マップを作成する水平成分頻度マップ作成部および垂直成分頻度マップ作成部と、前記各成分の最頻値を検出する最頻水平成分検出部および垂直成分検出部と、前記各成分の最頻値から前記予測マッチング位置を獲得する予測マッチング位置獲得部とを備えるという構成を有している。この構成により、前記マッチング位置予測部において、前記テンプレートに対応する領域内の前記オプティカルフローを用いて作成した水平・垂直の各１次元頻度マップを用いて、次フレームにおける前記テンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、精度良く物体を追跡することができる。
【００１３】
本発明における画像認識装置は、撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定するフロー推定部と、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索するテンプレートマッチング部と、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定するテンプレート重なり判定部と、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録するテンプレート登録部と、前記現フレームの前記テンプレートに対応する領域内のオプティカルフローから代表ベクトルを決定し、次フレームでの前記テンプレートの前記予測マッチング位置を獲得するマッチング位置予測部とを備えるという構成を有している。この構成により、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定することによって重なり合う複数の物体の関係を判定することにより、精度良く物体を追跡することができる。また、予測マッチング位置からテンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、精度良く物体を追跡することができる。
【００１４】
本発明における画像認識方法は、撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定し、現フレーム画像でテンプレートの最適マッチング位置を探索し、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定し、オプティカルフローが塊状に発生した領域を新規テンプレートとする各工程を有するという構成を有している。この構成により、重なり判定部により、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定できるため、精度良く物体を追跡することができる。
【００１５】
本発明における画像認識方法は、前記複数のテンプレート同士の関係を判定する工程が、前記互いに重複領域を持つ複数のテンプレートの前フレーム画像における各位置で前記重複領域に該当する各領域と前記重複領域との相関値を算出し、各相関値の大小を比較することによって、前記互いに重複領域を持つ複数のテンプレートの前後関係を判定するという構成を有している。この構成により、重なり判定部により、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を相関値により判定できるため、精度良く物体を追跡することができる。
【００１６】
本発明における画像認識方法は、前記複数のテンプレート同士の関係を判定する工程が、前記互いに重複領域を持つ複数のテンプレートの各移動方向に応じて、前記互いに重複領域を持つ複数のテンプレートを１つのテンプレートに統合するという構成を有している。この構成により、重なり判定部により、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を移動方向により判定できるため、精度良く物体を追跡することができる。
【００１７】
本発明における画像認識方法は、撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定し、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索し、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録し、前記現フレームの前記テンプレートに対応する領域内のオプティカルフローから代表ベクトルを決定し、次フレームにおける前記テンプレートの前記予測マッチング位置を獲得する各工程を有するという構成を有している。この構成により、前記マッチング位置予測部において、次フレームにおける前記テンプレートの予測マッチング位置を獲得し、テンプレートの動きに対し適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、精度良く物体を追跡することができる。
【００１８】
本発明における画像認識方法は、前記予測マッチング位置を獲得する工程が、前記テンプレートに対応する領域内のオプティカルフローを用いて２次元頻度マップを作成し、前記２次元頻度マップ中で最頻値に対応するオプティカルフローを前記テンプレートの代表ベクトルとするという構成を有している。この構成により、前記マッチング位置予測部において、前記テンプレートに対応する領域内の前記オプティカルフローを用いて作成した２次元頻度マップを用いて、次フレームにおける前記テンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、物体を精度良く追跡することができる。
【００１９】
本発明における画像認識方法は、前記予測マッチング位置を獲得する工程が、前記テンプレートに対応する領域内のオプティカルフローを用いて水平・垂直成分の各１次元頻度マップを作成し、各成分の１次元頻度マップで最頻値に対応するオプティカルフローを前記テンプレートの代表ベクトルとするという構成を有している。この構成により、前記マッチング位置予測部において、前記テンプレートに対応する領域内の前記オプティカルフローを用いて作成した水平・垂直の各１次元頻度マップを用いて、次フレームにおける前記テンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、物体を精度良く追跡することができる。
【００２０】
本発明における画像認識方法は、撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定し、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索し、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定し、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録し、前記現フレームの前記テンプレートに対応する領域内のオプティカルフローから代表ベクトルを決定し、次フレームにおける前記テンプレートの前記予測マッチング位置を獲得する各工程を有するという構成を有している。この構成により、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定することによって重なり合う複数の物体の関係を判定することにより、精度良く物体を追跡することができる。また、予測マッチング位置からテンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、精度良く物体を追跡することができる。
【００２１】
本発明におけるプログラムは、請求項８ないし１４のいずれかに記載の画像認識方法における各工程をコンピュータに実行させるという構成を有している。この構成により、本発明の画像認識方法をプログラム化することによって、コンピュータで容易に実施することができる。
【００２２】
本発明におけるコンピュータに読み取り可能記憶媒体は、請求項８ないし１４のいずれかに記載の画像認識方法における各工程をコンピュータに実行させるためのプログラムを記録するという構成を有している。この構成により、本発明の画像認識方法をプログラム化して、コンピュータが読み取り可能な記憶媒体に記憶することにより、本発明の画像認識方法を他のコンピュータで容易に実施することができる。
【００２３】
要するに、本発明は、現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定することにより、抽出された重なり合う複数物体同士の関係を判定して、精度良く物体を追跡することができる画像認識装置および方法を提供する。また、オプティカルフローを用いて次フレームにおけるテンプレートの予測マッチング位置を獲得し、テンプレートの動きに適応的に予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索することにより、探索範囲を超えるような高速に移動する物体でも、精度良くその物体を追跡することができる画像認識装置および方法を提供する。
【００２４】
【発明の実施の形態】
以下、添付図面に基づき、本発明における第１ないし第８の実施の形態を詳細に説明する。
（第１の実施の形態）
まず、図１のブロック図を参照して、本発明の第１の実施の形態における画像認識装置の構成を概略説明する。図１において、画像認識装置は、撮像装置１０１より得られた撮像時刻の異なる画像を現フレームメモリ１０２と前フレームメモリ１０３に保持し、フロー推定部１０４でオプティカルフローを求め、オプティカルフロー記憶メモリ１０５に保持し、テンプレート記憶メモリ１０８に登録されているテンプレートのテンプレートマッチングをテンプレートマッチング部１０７で行い、テンプレート重なり判定部１０９でお互いに重なりを持つテンプレート同士の関係を判定し、テンプレート登録部１０６で新しくオプティカルフローが塊状に発生した領域を新規テンプレートとしてテンプレート記憶メモリ１０８に登録し、描画部１１０からディスプレイ１１１へ追跡結果を出力する。
【００２５】
以下、図１に示す画像認識装置の各構成要素について詳細に説明する。
撮像装置１０１から得られた画像は現フレームメモリ１０２へと入力され、現フレーム画像として保持される。前フレームメモリ１０３は、現フレームメモリ１０２より少なくとも１フレーム前の前フレーム画像が保持される。すなわち、現フレームメモリ１０２が撮像装置１０１から入力された画像に更新されるときに、現フレームメモリ１０２に現在保持されている画像を前フレームメモリ１０３に保持する。したがって、現フレームメモリ１０２と前フレームメモリ１０３とにより撮像時刻の異なる画像が保持される。
【００２６】
フロー推定部１０４は現フレームメモリ１０２に保持されている現フレーム画像と前フレームメモリ１０３に保持されている前フレーム画像を入力し、現フレーム画像を複数のブロックに分割し、各ブロックに対応するオプティカルフローを推定し、オプティカルフロー記憶メモリ１０５へと出力する。フロー推定部１０４では、図２に示すようにブロックマッチング法によって現フレーム画像内の（Ｍ×Ｎ）個の画素で構成されるブロック２０１に対し、前フレーム画像の（Ｋ×Ｌ）個の画素から構成される探索範囲２０２内から、（Ｍ×Ｎ）個の画素から構成される最も相関値の高いブロック２０３（最適ブロック）を探索する。オプティカルフロー２０４とは前フレーム画像内のブロック２０３から現フレーム画像内のブロック２０１への変移である。
【００２７】
ブロックマッチング法で用いる相関値は、例えば、現フレーム内のブロックと前フレーム内のブロックの同じ位置にある画素値の差分絶対値の累積加算（数１）または差分二乗値の累積加算（数２）によって求められ、相関値が小さいほど相関が高くなる。これら一連の処理を現フレーム画像の全てのブロックに対して繰り返し行い、現フレーム画像の各ブロックに対応するオプティカルフローを求める。
【００２８】
【数１】
【００２９】
【数２】
【００３０】
テンプレートマッチング部１０７では、テンプレート記憶メモリ１０８から１つのテンプレートが入力され、図３で示すように、現フレーム画像内の探索範囲３０２内でテンプレート３０１と相関が最も高くなる最適マッチング位置を探索する。
【００３１】
相関値は、例えば、（数３）に示すように、正規化相関を用いる。正規化相関はテンプレートおよび演算対象となる画像の濃度分布に関して正規化が行われるため、照明の変動などによる線形な輝度変化の影響を受けにくく、安定なマッチングが可能となる。また、テンプレートマッチング部１０７では、テンプレート重なり判定部１０９においてマスク処理が施されたテンプレートがテンプレート記憶メモリ１０８に記憶されていた場合には、マスク処理の施された領域の重み付けを低く設定して、相関値算出を行う。例えば、（数３）で示すような、正規化相関を用いる場合には、テンプレートでマスク処理を施した領域の画素を演算対象外とする処理を行う。
【００３２】
【数３】
【００３３】
最適マッチング位置を検出したら、図３に示すように現フレーム画像の最適マッチング位置の画像３０３でテンプレート３０１を更新する。テンプレートのフレーム間移動量は、テンプレート３０１から最適マッチング画像３０３への変移３０４である。テンプレートマッチング部１０７では、これら一連の処理をテンプレート記憶メモリ１０８に記憶されている全てのテンプレートに対して行い、各テンプレートの最適マッチング位置を探索する。
【００３４】
テンプレート重なり判定部１０９では、テンプレート記憶メモリ１０８に記憶されているテンプレートに対して、重なり判定を行う。テンプレート重なり判定部１０９の詳細な構成は後述する。
テンプレート登録部１０６では、図４に示すように現フレーム画像４０１と現フレーム画像のオプティカルフロー４０２を用いて、テンプレート４０３を作成し、テンプレート記憶メモリ１０８に登録されていない物体であれば、新規のテンプレートとして登録する。
描画部１１０では、現フレームメモリ１０２に保持されている現フレーム画像とテンプレート記憶メモリ１０８に保持されているテンプレートを用いて、ディスプレイ１１１へ物体追跡の結果を出力する。
【００３５】
次に、図５のブロック図を参照して、本発明の第１の実施の形態におけるテンプレート重なり判定部の構成を詳細に説明する。
図５において、テンプレート重なり判定部１０９は、重複領域判定部５０１と、重複領域記憶メモリ５０２と、相関演算部５０３と、前後関係判定部５０４とから構成される。重複領域判定部５０１では、テンプレート記憶メモリ１０８から順次２つのテンプレートを入力し、重複領域を持つかどうかの判定を行う。例えば、図６に示すテンプレート６０１とテンプレート６０２をテンプレート記憶メモリ１０８（図１）から重複領域判定部５０１へ入力すると、重複領域６０３が検出され、重複領域６０３を重複領域記憶メモリ５０２へ出力して保持する。相関演算部５０３では、図７に示すように、重複領域６０３を抽出した部分画像７０１、テンプレート６０１の前フレーム画像における重複領域６０３に該当する部分領域６０４を部分画像７０２とし、テンプレート６０２の前フレーム画像における重複領域６０３に該当する部分領域６０５を部分画像７０３として抽出する。次に、部分画像７０１と部分画像７０２の相関値と部分画像７０１と部分画像７０３の相関値をそれぞれ演算する。
【００３６】
前後関係判定部５０４では、重複領域記憶メモリ５０２からテンプレートの重複部分が入力され、前フレームメモリ１０３（図１）より前フレーム画像が入力される。前後関係判定機５０４では、例えば、図７に示す部分画像７０１と部分画像７０２の相関値と部分画像７０１と部分画像７０３の相関値の比較を行う。図７に示す場合では、部分画像７０１と部分画像７０２の相関が部分画像７０１と部分画像７０３の相関よりも高いため、重複領域６０３は図６のテンプレート６０１に含まれると判定する。前後関係判定部５０４では２つのテンプレートの重複領域と前後判定の結果をテンプレート記憶メモリ１０８へ入力し、テンプレートを更新する。
図８のテンプレート８０１は前後関係判定部５０４の出力結果に基づいて、テンプレート６０１を更新した画像である。また、テンプレート８０２は、前後関係判定部５０４に基づいて、重複領域８０３をマスク処理することによって、テンプレート６０２を更新した画像である。これらテンプレート重なり判定部１０９の一連の処理をテンプレートの全ての組み合わせで繰り返し行い、テンプレートの重なり判定処理を行う。
【００３７】
以上の説明のように、本実施の形態では、テンプレート重なり判定部１０９において、重複領域検出部５０１で２つのテンプレートの重なりを判定し、重複領域を有する場合は、重複領域を重複領域記憶メモリ５０２に保持し、相関演算部５０３によって、重複領域と各テンプレートの前フレームでの該当する領域との相関値をそれぞれ求め、前後関係判定部５０４で重複するテンプレートの前後関係を判定する。そして、奥側に存在すると判定したテンプレートの重複領域にマスク処理を施す。したがって、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定できるため、抽出された重なり合う複数物体の関係を判定して、精度良く物体を追跡することができる。
【００３８】
（第２の実施の形態）
次に、図１を参照して、本発明の第２の実施の形態における画像認識装置について説明する。図１に示す第２の実施の形態における画像認識装置の全体の構成は、図１に示すとおり本発明の第１の実施の形態におけるものと同様であるが、テンプレート重なり判定部１０９の詳細な構成および動作は第１の実施の形態のものと、以下、図９とともに説明するように異なるものである。
まず、図９のブロック図を参照して、本発明の第２の実施の形態におけるテンプレート重なり判定部１０９の構成を説明する。図９において、テンプレート重なり判定部１０９（図１）は、重複領域検出部９０１と、移動方向判定部９０２と、テンプレート統合部９０３とから構成される。
【００３９】
次に、図９および図１０を参照して、本発明の第２の実施の形態におけるテンプレート重なり判定部１０９の動作を詳細に説明する。重複領域検出部９０１では、テンプレート記憶メモリ１０８（図１）から順次２つのテンプレートを入力し、重複領域を持つか判定を行う。２つのテンプレートが重複領域を持つ場合は、２つのテンプレートを移動方向判定機９０２へ出力する。
移動方向判定部９０２は、重複領域判定部９０１から入力された２つのテンプレートが、前フレームメモリ１０３（図１）に保持されている前フレームメモリでの各テンプレートの位置から、同一方向に移動しているか否かを判定する。例えば、図１０に示すように、テンプレート１００１とテンプレート１００２が重複領域を有し、テンプレート１００１の前フレーム画像からの移動ベクトル１００３とテンプレート１００２の前フレーム画像からの移動ベクトル１００４の示す方向を比較して判定すればよい。
【００４０】
テンプレート統合部９０３では、移動方向判定部９０２から２つのテンプレートの移動方向が同一であると判定結果が入力された場合、例えば、図１０のテンプレート１００１とテンプレート１００２をテンプレート１００５のように各テンプレートの端点情報等を元に統合して、テンプレート記憶メモリ１０８（図１）に登録する。
以上の説明のように、本実施の形態では、重複領域検出部９０１において２つのテンプレートの重なりを判定し、移動方向判定部９０２において２つのテンプレートが移動方向に移動しているか判定を行い、移動方向が同一であればテンプレート統合部９０３によって１つのテンプレートに統合を行う。したがって、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定できるため、抽出された重なり合う複数物体の関係を判定して、精度良く物体を追跡することができる。
【００４１】
（第３の実施の形態）
次に、図１１ないし図１５を参照して、本発明の第３の実施の形態における画像認識装置について詳細に説明する。まず、図１１を参照して、本発明の第３の実施の形態における画像認識装置全体の構成を詳細に説明する。図１１に示す画像認識装置は、撮像装置１１０１と、現フレームメモリ１１０２と、前フレームメモリ１１０３と、フロー推定部１１０４と、オプティカルフロー記憶メモリ１１０５と、テンプレート登録部１１０６と、テンプレートマッチング部１１０７と、テンプレート記憶メモリ１１０８と、マッチング位置予測部１１０９と、描画部１１１０と、ディスプレイ１１１１によって構成される。
【００４２】
ただし、撮像装置１１０１と、現フレームメモリ１１０２と、前フレームメモリ１１０３と、フロー推定部１１０４と、オプティカルフロー記憶メモリ１１０５と、テンプレート登録部１１０６と、描画部１１１０と、ディスプレイ１１１１の各構成要素は、図１に示す各構成要素と同様であるから詳細な説明を省略する。しかし、後述するように、テンプレート記憶メモリ１１０８には、各テンプレートと各テンプレートに対応するマッチング位置予測部１１０９で推定された予測マッチング位置が保持される。
【００４３】
次に、図１２および図１３を参照して、本実施の形態における画像認識装置のテンプレートマッチング部１１０７について詳細に説明する。図１２において、テンプレートマッチング部１１０７（図１１）は探索範囲設定部１２０１とテンプレートマッチング部１２０２によって構成され、テンプレートマッチング部１１０７では、テンプレート記憶メモリ１１０８に保持されているテンプレートと対応する予測マッチング位置を用いて、テンプレートマッチングを行う。探索範囲設定部１２０１は、図１３に示すように、テンプレート記憶メモリ１１０８（図１１）から入力されたテンプレートに対応する予測マッチング位置１３０４を基準として適応的探索範囲１３０３を設定する。
次に、テンプレートマッチング部１２０２では、探索範囲設定部１２０１により設定されたテンプレートの適応的探索範囲１３０３内で最適マッチング位置を探索する。
【００４４】
ちなみに、従来技術のテンプレートマッチング法では、前フレームでのテンプレート１３０１を基準とした探索範囲１３０２を用いて最適マッチング位置を探索しているため、探索範囲１３０２を超えて高速移動する移動物体１３０５の追跡をすることは困難である。
【００４５】
次に、図１４および図１５を参照して、本発明の第３の実施の形態における画像認識装置のマッチング位置予測部１１０９について詳細に説明する。まず、図１４を参照して、本実施の形態における画像認識装置のマッチング位置予測部１１０９の構成を説明する。図１４において、マッチング位置予測部１１０９は、２次元頻度マップ作成部１４０１と、最頻値検出部１４０２と、予測マッチング位置獲得部１４０３とによって構成される。
【００４６】
２次元頻度マップ作成部１４０１には、テンプレート記憶メモリ１１０８（図１１）から１つのテンプレートが入力され、同時に、オプティカルフロー記憶メモリ１１０５（図１１）から現フレーム画像のオプティカルフロー推定結果が入力され、テンプレートに対応する領域内の個々のオプティカルフローから、図１５に示すような２次元頻度マップ１５０１を作成する。なお、本実施の形態では、現フレームの個々のオプティカルフローが持つ成分の範囲が水平・垂直成分共に−２〜＋２の範囲である場合について説明する。２次元頻度マップ１５０１は、例えば、テンプレートに対応する領域内の１つのオプティカルフローの変位量が（ｘ，ｙ）＝（１，２）であれば、２次元頻度マップの対応する座標（ｘ＝１，ｙ＝２）に投票する。この方法を用いて、テンプレートに対応する領域内の全てのオプティカルフローを２次元頻度マップ１５０１に投票する。
【００４７】
次に、作成した２次元頻度マップ１５０１を最頻値検出部１４０２へ入力する。最頻値検出部１４０２は、２次元頻度マップ１５０１内の最頻値の座標を探索する。例えば、図１５に示すように、注目座標１５０２とその周辺１５０３の頻度の総和を求め頻度の総和が最大値を取る注目座標を最頻値に対応する座標とする。図１５では、（ｘ，ｙ）＝（−１，０）の座標において頻度の総和が最大値となる。
予測マッチング位置獲得部１４０３では、最頻値検出部１４０２で求めた座標値を代表ベクトルとして予測マッチング位置を決定し、テンプレート記憶メモリ１１０８に入力する。テンプレート記憶メモリ１１０８では各テンプレートと対応する予測マッチング位置を保持する。
【００４８】
以上の説明のように、本実施の形態では、図１１に示すマッチング位置予測部１１０９を用いてテンプレートに該当する領域内のオプティカルフローから２次元頻度マップ１５０１を作成し、２次元頻度マップ１５０１の最頻値から代表ベクトルを決定し、各テンプレートと対応する予測マッチング位置をテンプレート記憶メモリ１１０８に記憶する。そして、テンプレートマッチング部１１０７を用いて、例えば、図１３に示すように、前フレームでのテンプレート画像１３０１の位置を基準とした探索範囲１３０２の範囲を超えて高速移動する移動物体１３０５を追跡する際に、適応的探索範囲１３０３内の最適マッチング位置を探索することができる。
したがって、次フレームでのテンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定することによって、物体の検知した位置を基準とした探索範囲を超えるような高速移動する物体を容易に追跡することができる。
【００４９】
（第４の実施の形態）
次に、図１６および図１７を参照して、本発明の第４の実施の形態における画像認識装置について詳細に説明する。本実施の形態における画像認識装置全体の構成は図１に示すとおりであり、その詳細な動作は第３の実施の形態のものと同様である。
まず、図１６を参照して、本実施の形態における画像認識装置のマッチング位置予測部１１０９（図１１）の構成を詳細に説明する。図１６において、マッチング位置予測部１１０９は、水平成分頻度マップ作成部１６０１と、垂直成分頻度マップ作成部１６０２と、最頻水平成分検出部１６０３と、最頻垂直頻度成分１６０４と、予測マッチング位置獲得部１６０５とによって構成される。
【００５０】
次に、図１６および図１７を参照して、本実施の形態における画像認識装置のマッチング位置予測部１１０９の動作を詳細に説明する。図１６において、テンプレート記憶メモリ１１０８（図１１）から１つのテンプレートを水平頻度マップ作成部１６０１に入力し、同時に、オプティカルフロー記憶メモリ１１０５から現フレーム画像のオプティカルフロー推定結果を水平頻度マップ作成部１６０１に入力する。そして、テンプレートに対応する領域内の個々のオプティカルフローの水平成分を用いて、水平成分の１次元頻度マップ内の対応する座標に投票する。同様に、垂直頻度マップ作成部１６０２は、テンプレートに対応する領域内の個々のオプティカルフローの垂直成分を用いて、垂直成分の１次元頻度マップ内の対応する座標に投票する。例えば、テンプレート内に対応する１つのオプティカルフローが、（ｘ，ｙ）＝（−１，１）であれば、水平成分の１次元頻度マップ内のｘ＝−１の座標、垂直成分の１次元頻度マップ内のｙ＝１の座標にそれぞれ投票する。この方法を用いて、テンプレート内に対応する全てのオプティカルフローについて、水平・垂直各成分の頻度マップに投票を行い、図１７の１次元頻度マップ１７０１、垂直成分の１次元頻度マップ１７０２を作成する。
【００５１】
次に、作成した水平成分の１次元頻度マップ１７０１を最頻水平成分検出部１６０２に入力し、また、垂直成分の１次元頻度マップ１７０２を最頻垂直成分検出部１６０４に入力する。最頻水平成分検出部１６０３は、水平１次元頻度マップ中の最頻値の座標を探索する。例えば、図１７に示すように、注目座標１７０３とその周辺領域１７０４の頻度の総和を求め、頻度の総和が最大値を取る注目座標を最頻値としても良い。また、最頻垂直成分検出部１６０４は、最頻水平成分検出部１６０２と同様に、垂直１次元頻度マップ中の最頻値の座標を探索する。
【００５２】
図１７において、水平成分の１次元頻度マップ１７０１の最頻値がｘ＝−１、垂直成分の１次元頻度マップの最頻値がｙ＝０となる。
予測マッチング位置獲得部１６０５では、最頻水平成分検出部１６０３から入力された最頻水平成分と、最頻垂直成分検出部１６０３から入力された最頻垂直成分を用いて予測マッチング位置を決定し、テンプレート記憶メモリ１１０８（図１１）に入力する。テンプレート記憶メモリ１１０８では各テンプレートと対応する予測マッチング位置を記憶する。
【００５３】
以上の説明のように、本実施の形態では、図１１のマッチング位置予測部１１０９により、現フレーム画像のテンプレートに該当する領域内のオプティカルフローから水平・垂直の各１次元頻度マップを作成し、各１次元頻度マップの最頻値から代表ベクトルから予測マッチング位置を決定し、各テンプレートと共にテンプレート記憶メモリ１１０８に記憶する。そして、テンプレートマッチング部１１０７により、予測マッチング位置を基準とした適応的探索範囲１３０３内の最適マッチング位置を探索する。
したがって、次フレームでのテンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定することによって、物体の検知した位置を基準とした探索範囲を超えるような高速に移動する物体を容易に追跡することができる。
【００５４】
（第５の実施の形態）
次に、図１８のフローチャートを参照して（個々については図１９ないし図２２に示す）本発明の第５の実施の形態における画像認識方法の全体的処理の流れを説明する。
まず、ステップ１８０１において、図２に示すブロックマッチング法によって、現フレーム画像の（Ｍ×Ｎ）個の画素から構成された各ブロックのオプティカルフローを推定する。次に、ステップ１８０２において、図３に示すようなテンプレートマッチングによって、テンプレートの最適マッチング位置を探索する。次に、図１８のステップ１８０３において、現フレーム画像で互いに重複領域を持つテンプレートの前後関係を判定する。次に、図１８のステップ１８０４において、オプティカルフローが塊状に発生した領域を新規テンプレートとして登録する。これらステップ１８０１〜１８０４の一連の処理を現フレーム画像に対して行い、移動物体の追跡を行う。
【００５５】
以下、ステップ１８０１〜１８０４の各ステップの詳細を説明する。
まず、図１９のフローチャートを参照して、ステップ１８０１（図１８）におけるオプティカルフローの推定の詳細な処理の流れを説明する。ステップ１９０１において、現フレーム画像を（Ｍ×Ｎ）個の画素から構成されるブロック単位に分割する。次に、ステップ１９０２において、現フレーム画像のブロックを１つ選択し、ステップ１９０３において、図２に示すように現フレーム内のブロックと前フレーム画像の探索範囲内のブロックの相関値を演算し、オプティカルフローを求める。オプティカルフローは、図２に示すようにブロックマッチング法によって現フレーム画像内の（Ｍ×Ｎ）個の画素で構成されるブロック２０１に対し、前フレーム画像の（Ｋ×Ｌ）個の画素から構成される探索範囲２０２内から、（Ｍ×Ｎ）個の画素から構成される最も相関の高いブロック２０３（最適ブロック）を探索して求める。相関値は例えば、現フレーム内のブロックと前フレーム画像のブロックにおいて、同じ位置にある画素の画素値の差分絶対値（数１）または差分二乗値（数２）を累積加算することによって求められる。
これらステップ１９０２、１９０３の一連の処理を現フレーム画像内のブロックに対して繰り返し行い、図１８のステップ１８０１において、現フレーム画像のオプティカルフローを各ブロック単位で推定する（ステップ１９０４）。
【００５６】
次に、図２０のフローチャートを参照して、ステップ１８０２（図１８）における最適マッチング位置の探索の詳細な処理の流れを説明する。まず、ステップ２００１においてテンプレートが１つ以上登録されているか判定を行う。テンプレートが全く登録されていない場合はステップ１８０２の一連の処理を終了する。テンプレートが１つ以上登録されている場合は、ステップ２００２に進み、テンプレートを１つ選択する。次に、ステップ２００２で選択したテンプレートについて現フレーム画像内に設定した探索範囲内で相関値が最も高くなるマッチング位置（最適マッチング位置）を探索する。相関値は例えば、（数３）で示すように正規化相関を用いる。正規化相関は、照明の変動などによる線形な輝度変化の影響を受けにくく、安定なマッチングが可能となる。
これらステップ２００２、２００３の一連の処理を登録している全てのテンプレートに対して繰り返し行い、ステップ１８０２（図１８）において、テンプレートマッチングを各テンプレートに対して行う（ステップ２００４）。
【００５７】
次に、図２１のフローチャートを参照して、本実施の形態におけるステップ１８０３（図１８）における重複関係を持つテンプレートの判定の詳細な処理の流れを説明する。
まず、ステップ２１０１でテンプレートが２つ以上登録されているかどうか判定を行う。テンプレートが２つ以上登録されていない場合はステップ１８０３の一連の処理を終了する。次に、ステップ２１０１でテンプレートが２つ以上登録されていると判定した場合は、ステップ２１０２においてテンプレートを２つ選択する。
【００５８】
次に、ステップ２１０３で２つのテンプレートが現フレームのマッチング位置で重なりを持つかどうか判定を行う。２つのテンプレートが重なりを持たない場合はステップ２１０７の処理に進む。２つのテンプレートが重なりを持つ場合は、ステップ２１０４で、図６に示すように、２つのテンプレートで重複する領域と、２つのテンプレートの前フレームでの位置における重複領域に該当する部分との相関をそれぞれ求める。相関を求める方法としては、例えば、正規化相関を用いる。
次に、ステップ２１０５では、ステップ２１０４で求めた重複部分と前フレームでの各テンプレートに対応する部分領域の相関値について大小比較を行い、相関が高い前フレームの部分領域を含むテンプレートを手前側に存在するテンプレートであると判定する。
【００５９】
次に、ステップ２１０６では、図８に示すように、奥側に存在すると判定したテンプレートの重複領域８０３に対してマスク処理を施し、次フレームでのテンプレートマッチング処理ではマスク処理を施した領域では相関値算出の重み付けを低く設定してマッチング処理を行う。
これらステップ２１０２〜２１０６までの一連の処理を登録されているテンプレートの全ての組み合わせで繰り返し行い、図１８のステップ１８０３において、重なり判定処理を行う（ステップ２１０７）。
【００６０】
次に、図２２のフローチャートを用いて、ステップ１８０４（図１８）において、新規なテンプレートかどうか判定する詳細な処理の流れを説明する。まず、ステップ２２０１において、現フレーム画像で得られたオプティカルフローについてラベリング処理を行う。そして、同一ラベルを与えられたブロックが所定数以上となれば、オプティカルフローが塊状に発生したものとする。
次に、ステップ２２０２において、現フレーム画像でオプティカルフロー塊状に発生している領域を１つ選択する。次に、ステップ２２０３において、既存物体から十分離れた新規の物体であるか判定を行い、新規の物体であればステップ２２０４において、新規のテンプレートとして登録する。
これらステップ２２０２〜２２０４の一連の処理を、現フレーム画像内のオプティカルフローが塊状に発生した全ての領域について行う（ステップ２２０５）。
【００６１】
以上の説明のように、本実施の形態では、ステップ１８０３において、現フレーム画像で重複領域を持つ複数のテンプレートに対して、重複部分と前フレームでの各テンプレートの重複部分に対応する部分領域との相関値を求め、各相関値の大小比較を行う。そして、前フレーム画像で相関が高い部分領域を持つテンプレートを手前側に存在するテンプレートであると判定し、奥側に存在すると判定したテンプレートの重複領域にマスク処理を施す。したがって、現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定できるため、抽出された重なり合う複数物体の関係を判定して、精度良く物体を追跡することができる。
【００６２】
（第６の実施の形態）
次に、図１８および図２３のフローチャートを参照して、本発明の第５の実施の形態における画像認識方法の流れを説明する。
図１８は本発明の第６の実施の形態における画像認識方法の全体の処理の流れを示すフローチャートであり、その処理の流れは第５の実施の形態と同様である。また、ステップ１８０１、１８０２、１８０４における詳細な処理方法は第５の実施の形態のものと同様であるから説明を省略する。
次に、図２３のフローチャートを参照して、第６の実施の形態における複数のテンプレートの重なり判定処理（ステップ１８０３）の流れを詳細に説明する。図２３のステップ２３０１では、テンプレートが２つ以上登録されているか判定を行う。テンプレートが２つ以上登録されていない場合はステップ１８０３の一連の処理を終了する。テンプレートが２つ以上登録されていると判定した場合は、ステップ２３０２において、テンプレートを順次２つ選択する。次に、ステップ２３０３で２つのテンプレートが現フレームのマッチング位置で重なりを持つか判定を行う。２つのテンプレートが重なりを持たない場合はステップ２３０６の処理に進む
【００６３】
ステップ２３０４において、２つのテンプレートが重なりを持つ場合は、２つのテンプレートの移動方向が同一であるか判定を行う。判定方法としては、例えば、テンプレートの移動方向を示す水平・垂直の各要素の符号が共に同一であるか判定する方法を用いれば良い。移動方向が同一で無いと判定した場合は、ステップ２３０６の処理を行う。移動方向が同一であると判定した場合は、ステップ２３０５において、図１０に示すように、選択している２つのテンプレートを１つのテンプレートに統合する。
これらステップ２３０２〜２３０５までの一連の処理を全てのテンプレートの組み合わせに対して繰り返し行い、重なり判定処理を実行する（ステップ２３０６）。
【００６４】
以上の説明のように、本実施の形態では、ステップ１８０３において重複領域を持つ複数のテンプレートに対して、移動方向が同一であるか判定を行い、２つのテンプレートの移動方向が同一であれば、１つのテンプレートに統合する。したがって、現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定できるため、抽出された重なり合う複数物体の関係を判定して、精度良く物体を追跡することができる。
【００６５】
（第７の実施の形態）
次に、図２４ないし図２６のフローチャートを参照して、本発明の第７の実施の形態における画像認識方法の処理の流れを説明する。ただし、図２４は本実施の形態における画像認識方法の全体の処理の流れを説明するものであるが、ステップ２４０１とステップ１８０１（図１８）、ステップ２４０３とステップ１８０４（図１８）は、それぞれ同様であるからそれら各ステップに対する詳細な処理の流れの説明は省略する。
まず、図２５のフローチャートを参照して、本発明の第７の実施の形態における最適マッチング位置を探索する処理（ステップ１８０２）の流れを説明する。なお、本実施の形態では、現フレームの個々のオプティカルフローが持つ成分の範囲が水平・垂直成分共に−２〜＋２の範囲である場合について説明する。
まず、ステップ２５０１では、テンプレートが１つ以上登録されているか判定を行う。テンプレートが全く登録されていない場合は図２５における一連の処理を終了する。テンプレートが１つ以上登録されている場合は、ステップ２５０２においてテンプレートを１つ選択する。次に、ステップ２５０３では、例えば、図１３で示すように予測マッチング位置１３０４付近に探索範囲１３０６を設定する。
【００６６】
次に、ステップ２５０４では、ステップ２５０２で設定した探索範囲内で相関値が最も高くなるマッチング位置（最適マッチング位置）を探索する。相関値としては、正規化相関が知られており、テンプレートおよび探索範囲内の演算対象となる画像の濃度分布に関して正規化が行われるため、照明の変動などによる線形な輝度変化の影響を受けにくく、安定なマッチングが可能となるため望ましい。
これらステップ２５０２〜２５０４の一連の処理を登録している全てのテンプレートに対し、繰り返してテンプレートマッチング処理を行う（ステップ２５０５）。
【００６７】
次に、図２６のフローチャートを参照して、次フレームでのマッチング位置を予測する処理（ステップ２４０４）の流れを詳細に説明する。ステップ２６０１において、テンプレートが１つ以上登録されているか判定を行う。テンプレートが全く登録されていない場合はステップ２４０４の一連の処理を終了する。テンプレートが１つ以上登録されている場合は、ステップ２６０２においてテンプレートを１つ選択する。
【００６８】
次に、ステップ２６０３において、選択したテンプレートに対応する領域内のオプティカルフローを１つ選択し、ステップ２６０４で２次元頻度マップの該当する座標に投票する。これら、ステップ２６０３〜２６０４の一連の処理を、選択したテンプレート内の全てのオプティカルフローに対して繰り返し行い、選択したテンプレートのオプティカルフローの２次元頻度マップを作成する（ステップ２６０５）。
【００６９】
次に、ステップ２６０６において、２次元頻度マップからの最頻値の座標を求め、代表ベクトルを決定する。最頻値を求める手段としては、例えば、図１５に示すように対象座標１５０２の頻度とその周辺領域１５０３の頻度の総和を求める。
次に、ステップ２６０７において、ステップ２６０６で得られた代表ベクトルから予測マッチング位置を獲得する。
これら、ステップ２６０２〜２６０７の一連の処理を、登録されている全てのテンプレートに対して繰り返し行い、各テンプレートの次フレームでの予測マッチング位置を獲得する（ステップ２６０８）。
【００７０】
以上の説明のように、本実施の形態によると、ステップ２４０２において、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索する。そして、ステップ２４０４において、各テンプレートに対応する領域内のオプティカルフローから２次元頻度マップを作成し、２次元頻度マップの最頻値を代表ベクトルと決定し、次フレームでのテンプレートの予測マッチング位置を獲得する。
したがって、テンプレートの動きに対して適応的に探索範囲を設定することによって、物体の検知した位置を基準とした探索範囲を超えるような高速移動する物体を精度良く追跡することができる。
【００７１】
（第８の実施の形態）
次に、図２４および図２７を参照して、本発明の第８実施の形態における画像認識方法の処理の流れを説明する。図２４は、本実施の形態における画像認識方法の全体の処理の流れを示すフローチャートであり、その処理の流れは第７の実施の形態と同一である。また、図２４のステップ２４０１〜２４０３の詳細な処理方法は第７の実施の形態と同一であるからその説明を省略する。
【００７２】
まず、図２７のフローチャートを参照して、本発明の第８の実施の形態における画像認識方法の各テンプレートの次フレームにおける予測マッチング位置を獲得する処理（ステップ２４０４）の流れを詳細に説明する。なお、本実施の形態では、現フレームの個々のオプティカルフローが持つ成分の範囲が水平・垂直成分共に−２〜＋２の範囲である場合について説明する。
ステップ２７０１において、テンプレートが１つ以上登録されているか判定を行う。テンプレートが全く登録されていない場合はステップ２４０４の一連の処理を終了する。テンプレートが１つ以上登録されている場合は、ステップ２７０２においてテンプレートを１つ選択する。
【００７３】
次に、ステップ２７０３において、選択したテンプレートに対応する領域内のオプティカルフローを１つ選択し、ステップ２７０４で水平・垂直の各１次元頻度マップの該当する座標に重み付けを行う。これら、ステップ２７０３〜２７０４の一連の処理を、選択したテンプレート内の全てのオプティカルフローに対して繰り返し行い、選択したテンプレートのオプティカルフローの水平、垂直の各１次元頻度マップを作成する（ステップ２７０５）
【００７４】
次に、ステップ２７０６において、水平、垂直の各１次元頻度マップの最頻値を求め、代表ベクトルを決定する。最頻値を求める手段としては、例えば、図１７に示すように、水平成分の１次元頻度マップ１７０１の注目座標１７０３の頻度とその周辺領域１７０４の総和を求め、最大頻度を取る水平座標を用いれば良い。また、垂直成分の１次元頻度マップ１７０５の最頻値を求める手段も同様に行えばよい。そして、ステップ２７０６で得られた代表ベクトルをもって予測マッチング位置とする（ステップ２７０７）。
これら、ステップ２７０２〜２７０７の一連の処理を、登録されている全てのテンプレートに対して繰り返し行い、各テンプレートの次フレームでの予測マッチング位置を獲得する（ステップ２７０８）。
【００７５】
以上の説明のように、本実施の形態によると、ステップ２４０２において、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索する。そして、ステップ２４０４において、各テンプレートに対応する領域内のオプティカルフローから水平、垂直の各１次元頻度マップを作成し、各１次元頻度マップの最頻値を代表ベクトルとして決定し、次フレームでのテンプレートの予測マッチング位置を獲得する。
したがって、テンプレートの動きに対して適応的に探索範囲を設定することによって、物体の検知した位置を基準とした探索範囲を超えるような高速移動する物体を精度良く追跡することができる。
【００７６】
なお、前記第１、第２、第３の実施の形態は、それぞれ任意に組み合わせ可能であることは言うまでも無い。
なお、前記第１、第２、第４の実施の形態は、それぞれ任意に組み合わせ可能であることは言うまでも無い。
なお、前記第５、第６、第７の実施の形態は、それぞれ任意に組み合わせ可能であることは言うまでも無い。
なお、前記第５、第６、第８の実施の形態は、それぞれ任意に組み合わせ可能であることは言うまでも無い。
なお、本発明はこれらの実施の形態に限定されるのではなく、本発明の範囲内で種々の改良および変形が可能であることは言うまでも無い。
また、以上説明した本発明の実施の形態における画像認識方法を、コンピュータが実行可能なソフトウェアプログラムによって実施することができる。
また、本発明を構成したソフトウェアプログラムをコンピュータが読み取り可能な記録媒体に記録して、他のコンピュータで実施することができる。
【００７７】
【発明の効果】
本発明における画像認識装置および画像認識方法は、上記のように構成され、特に、オプティカルフローとテンプレートマッチングを用いた画像認識装置および方法に、互いに重複領域を持つ複数のテンプレート同士の関係を判定する処理を付与して、物体を追跡することにより、抽出された重なり合う複数物体の関係を判定して、精度良く物体を追跡することができ、また、オプティカルフローとテンプレートマッチングを用いた画像認識装置および方法に、テンプレートの予測マッチング位置を獲得し、予測マッチング位置を用いてテンプレートの動きに適応的に設定した探索範囲からテンプレートの最適マッチング位置を探索する処理を付与して、物体を追跡することにより、物体の検知した位置を基準とした探索範囲を超えるような高速に移動する物体を精度良く追跡することができる。
【図面の簡単な説明】
【図１】本発明の第１および第２の実施の形態における画像認識装置の全体構成を示すブロック図、
【図２】本発明の第１ないし第４の実施の形態における画像認識装置のオプティカルフローを求める方法の概要を示す図、
【図３】本発明の第１の実施の形態における画像認識装置および方法のテンプレートマッチングの概要を示す図、
【図４】本発明の第１の実施の形態における画像認識装置および方法の新規テンプレート作成方法の一例を示す図、
【図５】本発明の第１の実施の形態における画像認識装置のテンプレート重なり判定部の詳細な構成を示すブロック図、
【図６】本発明の第１の実施の形態における画像認識装置および方法の複数テンプレートが重複領域を持つ場合の一例を示す図、
【図７】本発明の第１の実施の形態における画像認識装置および方法の複数テンプレートが重複領域を持つ場合の重複領域と、各テンプレートの前フレームでのテンプレートの該当する部分画像の一例を示す図、
【図８】本発明の第１および第５の実施の形態における画像認識装置および方法の複数テンプレートが重複領域を持つ場合の各テンプレートに前後判定の結果を用いて処理を施した画像の一例を示す図、
【図９】本発明の第２の実施の形態における画像認識装置のテンプレート重なり判定部の詳細な構成を示すブロック図、
【図１０】本発明の第２の実施の形態における画像認識装置のテンプレート重なり判定部の２つのテンプレートを１つのテンプレートに統合する一例を示す図、
【図１１】本発明の第３および第４の実施の形態における画像認識装置の全体構成を示すブロック図、
【図１２】本発明の第３の実施の形態における画像認識装置のテンプレートマッチング部の詳細な構成を示すブロック図、
【図１３】本発明の第３および第７の実施の形態における画像認識装置および方法のテンプレートマッチングの探索範囲を示す図、
【図１４】本発明の第３の実施の形態における画像認識装置のマッチング位置予測部の詳細な構成を示すブロック図、
【図１５】本発明の第３および第７の実施の形態における画像認識装置および方法のテンプレートに対応する領域内のオプティカルフローにより作成された２次元頻度マップの一例を示す図、
【図１６】本発明の第４の実施の形態における画像認識装置のマッチング位置予測部の詳細な構成を示すブロック図、
【図１７】本発明の第４および第８の実施の形態における画像認識装置および方法のテンプレートに対応する領域内のオプティカルフローにより作成された水平・垂直の各１次元頻度マップの一例を示す図、
【図１８】本発明の第５および第６の実施の形態における画像認識方法の全体の流れを示すフローチャート、
【図１９】本発明の第５の実施の形態における画像認識方法のオプティカルフローを推定する処理工程の詳細な流れを示すフローチャート、
【図２０】本発明の第５の実施の形態における画像認識方法のテンプレートの最適マッチング位置を探索する処理工程の詳細な流れを示すフローチャート、
【図２１】本発明の第５の実施の形態における画像認識方法の複数のテンプレートの前後関係を判定する処理工程の流れを示すフローチャート、
【図２２】本発明の第５の実施の形態における画像認識方法の新規テンプレートの登録処理工程の流れを示すフローチャート、
【図２３】本発明の第６の実施の形態における画像認識方法の複数のテンプレートの前後関係を判定する処理工程の流れを示すフローチャート、
【図２４】本発明の第７および第８の実施の形態における画像認識方法の全体の処理の流れを示すフローチャート、
【図２５】本発明の第７の実施の形態における画像認識方法のテンプレートの最適マッチング位置を探索する処理工程の流れを示すフローチャート、
【図２６】本発明の第７の実施の形態における画像認識方法の次フレームでの予測マッチング位置を獲得する処理工程の流れを示すフローチャート、
【図２７】本発明の第８の実施の形態における画像認識方法の次フレームでの予測マッチング位置を獲得する処理工程の流れを示すフローチャート、
【図２８】従来のオプティカルフローを用いた画像認識方法の概要を示す図、
【図２９】従来のオプティカルフローを用いた画像認識方法の物体追跡に失敗した様子を示す図、
【図３０】従来のテンプレートマッチングを用いた画像認識方法の概要を示す図。
【符号の説明】
１０１、１１０１ 撮像装置
１０２、１１０２ 現フレームメモリ
１０３、１１０３ 前フレームメモリ
１０４、１１０４ フロー推定部
１０５、１１０５ オプティカルフロー記憶メモリ
１０６、１１０６ テンプレート登録部
１０７、１１０７ テンプレートマッチング部
１０８、１１０８ テンプレート記憶メモリ
１０９ テンプレート重なり判定部
１１０、１１１０ 描画部
１１１、１１１１ ディスプレイ
５０１ 重複領域判定部
５０２ 重複領域記憶メモリ
５０３ 相関演算部
５０４ 前後関係判定部
９０１ 重複領域判定部
９０２ 移動方向判定部
９０３ テンプレート統合部
１１０９ マッチング位置予測部
１２０１ 予測探索範囲設定部
１２０２ テンプレートマッチング部
１４０１ ２次元頻度マップ作成部
１４０２ 最頻値検出部
１４０３、１６０５ 予測マッチング位置獲得部
１５０１ ２次元頻度マップ
１６０１ 水平成分マップ作成部
１６０２ 最頻水平成分検出部
１６０３ 垂直成分頻度マップ作成部
１６０４ 最頻垂直成分検出部
１７０１ 水平成分の１次元頻度マップ
１７０２ 垂直成分の１次元頻度マップ
【発明の属する技術分野】
本発明は、撮像した画像信号により移動物体を追跡する画像認識装置および方法に関し、特に、公共施設等重要施設への侵入者や侵入物に対する監視システムに使用する画像認識装置および方法に関する。
【０００２】
【従来の技術】
従来、上記のような移動物体追跡技術としては、オプティカルフローを用いた方法や、テンプレートマッチングを用いた方法が広く知られている。
オプティカルフローを用いた方法としては、「局所相関演算による動きの検知と追跡」（電子情報通信学会論文誌 D-II, Vol.J84-D-II, No.2, pp.299-309, 2001) に記載されたものが知られており、図２８、図２９を用いて説明する。
オプティカルフローを用いた方法によると、時間的に異なる複数枚の画像を用いてオプティカルフロー（動きベクトル）をブロックマッチング法によってブロック毎に求め、新しくオプティカルフローが塊状に発生したブロック群を移動物体として検知する。
図２８に示すように、前フレームで移動物体を検知したら、検知位置を中心として現フレームで探索範囲を設定する。次に、現フレームの探索範囲内で移動物体を検知したら、検知した移動物体と関連付けを行う。次フレームでは、現フレームで検出した移動物体の位置を中心として、再度探索範囲を設定し、移動物体を再び検知したら、同一の物体であるとみなして追跡を行う。
【０００３】
このような物体追跡方法では、動きの情報だけに着目して、移動物体の大きさや形の情報を一切用いていないため、検知した複数の物体の関係を判定して追跡することは困難である。例えば、図２９に示すように、探索範囲内に複数の移動物体を検知した場合、どちらの移動物体に関連付けを行うかが不定となる。よって、検知した複数の移動物体が重なった場合には追跡対象が別の移動物体に移り、追跡に失敗するという問題があった。
【０００４】
また、テンプレートマッチングを用いた方法としては、「画像処理による交差点交通流監視方法の研究」（電子情報通信学会 技術報告 PRMU98-104, pp.91-97,1998.）に記載されたものが知られており、図３０を用いて説明する。
道路を横断するように設定した画面中央の初期検知領域内で、特定の明暗パターンを検出して、適切なタイミングで車両を切り出して検知する。そして、切り出した車両をテンプレートとする。移動物体の追跡は、テンプレートをもって追跡し、物体を検知した位置を基準とした探索範囲内の最適マッチング位置を基準とした領域を新たなテンプレートとして更新することによって特定の輝度パターンを持つ領域を追跡する。探索範囲の大きさについては、大きすぎるとテンプレートの探索回数が増加するばかりでなく、マッチング位置を誤る可能性も高くなるため、比較的狭い範囲に限定するのが一般的である。
このような物体追跡法は、物体の位置を基準とした一定の探索範囲内を探索するため、探索範囲を超えるような高速移動する物体を追跡することは困難である。
【０００５】
【発明が解決しようとする課題】
上記従来のオプティカルフローを用いた物体追跡技術は、動きを検知した領域を得ることによって物体の追跡を行っているため、抽出された重なり合う複数物体の関係を判定して、物体を追跡することは困難であるという問題があった。
また、上記従来のテンプレートマッチングを用いた物体追跡技術は、物体を検知した位置を基準とした探索範囲を設定しているため、探索範囲を超えるような高速移動する物体を追跡することは困難であるという問題があった。
【０００６】
本発明は、上記従来の問題を解決するためになされたもので、オプティカルフローとテンプレートマッチングを用いた画像認識装置および方法に、互いに重複領域を持つ複数のテンプレート同士の関係を判定する処理か、またはマッチング位置を予測してテンプレートの動きに適応的に設定した探索範囲からテンプレートの最適マッチング位置を探索する処理を付与することにより、精度良く物体を追跡することができる画像認識装置および方法を提供するものである。
【０００７】
【課題を解決するための手段】
本発明における画像認識装置は、撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定するフロー推定部と、現フレーム画像でテンプレートの最適マッチング位置を探索するテンプレートマッチング部と、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定するテンプレート重なり判定部と、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録するテンプレート登録部とを備えるという構成を有している。この構成により、重なり判定部によって、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定できるため、精度良く物体を追跡することができる。
【０００８】
本発明における画像認識装置は、前記テンプレート重なり判定部が、前記互いに重複領域を持つ複数のテンプレートの前フレーム画像における各位置において前記重複領域に該当する各領域と前記重複領域との相関値を算出する相関演算部と、相関値の大小を比較することにより前記互いに重複領域を持つ複数のテンプレートの前後関係を判定する前後関係判定部とを備えるという構成を有している。この構成により、重なり判定部によって、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を相関値によって判定できるため、精度良く物体を追跡することができる。
【０００９】
本発明における画像認識装置は、前記テンプレート重なり判定部が、前記互いに重複領域を持つ複数のテンプレートの各移動方向を判定する移動方向判定部と、前記互いに重複領域を持つ複数のテンプレートを１つのテンプレートに統合するテンプレート統合部とを備えるという構成を有している。この構成により、重なり判定部によって、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を移動方向によって判定できるため、精度良く物体を追跡することができる。
【００１０】
本発明における画像認識装置は、撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定するフロー推定部と、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索するテンプレートマッチング部と、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録するテンプレート登録部と、前記現フレームの前記テンプレートに対応する領域内のオプティカルフローから代表ベクトルを決定し、次フレームでの前記テンプレートの前記予測マッチング位置を獲得するマッチング位置予測部とを備えるという構成を有している。この構成により、前記マッチング位置予測部において、次フレームにおける前記テンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、精度良く物体を追跡することができる。
【００１１】
本発明における画像認識装置は、前記マッチング位置予測部が、前記テンプレートに対応する領域内の前記オプティカルフローを用いて２次元頻度マップを作成する２次元頻度マップ作成部と、前記２次元頻度マップ中で最頻値を求める最頻値検出部と、前記最頻値に対応するオプティカルフローから前記テンプレートの前記予測マッチング位置を獲得する予測マッチング位置獲得部とを備えるという構成を有している。この構成により、前記マッチング位置予測部において、前記テンプレートに対応する領域内の前記オプティカルフローを用いて作成した２次元頻度マップを用いて、次フレームにおける前記テンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、精度良く物体を追跡することができる。
【００１２】
本発明における画像認識装置は、前記マッチング予測部が、前記テンプレートに対応する領域内のオプティカルフローを用いて水平・垂直の各１次元頻度マップを作成する水平成分頻度マップ作成部および垂直成分頻度マップ作成部と、前記各成分の最頻値を検出する最頻水平成分検出部および垂直成分検出部と、前記各成分の最頻値から前記予測マッチング位置を獲得する予測マッチング位置獲得部とを備えるという構成を有している。この構成により、前記マッチング位置予測部において、前記テンプレートに対応する領域内の前記オプティカルフローを用いて作成した水平・垂直の各１次元頻度マップを用いて、次フレームにおける前記テンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、精度良く物体を追跡することができる。
【００１３】
本発明における画像認識装置は、撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定するフロー推定部と、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索するテンプレートマッチング部と、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定するテンプレート重なり判定部と、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録するテンプレート登録部と、前記現フレームの前記テンプレートに対応する領域内のオプティカルフローから代表ベクトルを決定し、次フレームでの前記テンプレートの前記予測マッチング位置を獲得するマッチング位置予測部とを備えるという構成を有している。この構成により、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定することによって重なり合う複数の物体の関係を判定することにより、精度良く物体を追跡することができる。また、予測マッチング位置からテンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、精度良く物体を追跡することができる。
【００１４】
本発明における画像認識方法は、撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定し、現フレーム画像でテンプレートの最適マッチング位置を探索し、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定し、オプティカルフローが塊状に発生した領域を新規テンプレートとする各工程を有するという構成を有している。この構成により、重なり判定部により、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定できるため、精度良く物体を追跡することができる。
【００１５】
本発明における画像認識方法は、前記複数のテンプレート同士の関係を判定する工程が、前記互いに重複領域を持つ複数のテンプレートの前フレーム画像における各位置で前記重複領域に該当する各領域と前記重複領域との相関値を算出し、各相関値の大小を比較することによって、前記互いに重複領域を持つ複数のテンプレートの前後関係を判定するという構成を有している。この構成により、重なり判定部により、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を相関値により判定できるため、精度良く物体を追跡することができる。
【００１６】
本発明における画像認識方法は、前記複数のテンプレート同士の関係を判定する工程が、前記互いに重複領域を持つ複数のテンプレートの各移動方向に応じて、前記互いに重複領域を持つ複数のテンプレートを１つのテンプレートに統合するという構成を有している。この構成により、重なり判定部により、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を移動方向により判定できるため、精度良く物体を追跡することができる。
【００１７】
本発明における画像認識方法は、撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定し、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索し、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録し、前記現フレームの前記テンプレートに対応する領域内のオプティカルフローから代表ベクトルを決定し、次フレームにおける前記テンプレートの前記予測マッチング位置を獲得する各工程を有するという構成を有している。この構成により、前記マッチング位置予測部において、次フレームにおける前記テンプレートの予測マッチング位置を獲得し、テンプレートの動きに対し適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、精度良く物体を追跡することができる。
【００１８】
本発明における画像認識方法は、前記予測マッチング位置を獲得する工程が、前記テンプレートに対応する領域内のオプティカルフローを用いて２次元頻度マップを作成し、前記２次元頻度マップ中で最頻値に対応するオプティカルフローを前記テンプレートの代表ベクトルとするという構成を有している。この構成により、前記マッチング位置予測部において、前記テンプレートに対応する領域内の前記オプティカルフローを用いて作成した２次元頻度マップを用いて、次フレームにおける前記テンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、物体を精度良く追跡することができる。
【００１９】
本発明における画像認識方法は、前記予測マッチング位置を獲得する工程が、前記テンプレートに対応する領域内のオプティカルフローを用いて水平・垂直成分の各１次元頻度マップを作成し、各成分の１次元頻度マップで最頻値に対応するオプティカルフローを前記テンプレートの代表ベクトルとするという構成を有している。この構成により、前記マッチング位置予測部において、前記テンプレートに対応する領域内の前記オプティカルフローを用いて作成した水平・垂直の各１次元頻度マップを用いて、次フレームにおける前記テンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、物体を精度良く追跡することができる。
【００２０】
本発明における画像認識方法は、撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定し、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索し、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定し、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録し、前記現フレームの前記テンプレートに対応する領域内のオプティカルフローから代表ベクトルを決定し、次フレームにおける前記テンプレートの前記予測マッチング位置を獲得する各工程を有するという構成を有している。この構成により、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定することによって重なり合う複数の物体の関係を判定することにより、精度良く物体を追跡することができる。また、予測マッチング位置からテンプレートの動きに対して適応的に探索範囲を設定してテンプレートの最適マッチング位置を探索することにより、精度良く物体を追跡することができる。
【００２１】
本発明におけるプログラムは、請求項８ないし１４のいずれかに記載の画像認識方法における各工程をコンピュータに実行させるという構成を有している。この構成により、本発明の画像認識方法をプログラム化することによって、コンピュータで容易に実施することができる。
【００２２】
本発明におけるコンピュータに読み取り可能記憶媒体は、請求項８ないし１４のいずれかに記載の画像認識方法における各工程をコンピュータに実行させるためのプログラムを記録するという構成を有している。この構成により、本発明の画像認識方法をプログラム化して、コンピュータが読み取り可能な記憶媒体に記憶することにより、本発明の画像認識方法を他のコンピュータで容易に実施することができる。
【００２３】
要するに、本発明は、現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定することにより、抽出された重なり合う複数物体同士の関係を判定して、精度良く物体を追跡することができる画像認識装置および方法を提供する。また、オプティカルフローを用いて次フレームにおけるテンプレートの予測マッチング位置を獲得し、テンプレートの動きに適応的に予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索することにより、探索範囲を超えるような高速に移動する物体でも、精度良くその物体を追跡することができる画像認識装置および方法を提供する。
【００２４】
【発明の実施の形態】
以下、添付図面に基づき、本発明における第１ないし第８の実施の形態を詳細に説明する。
（第１の実施の形態）
まず、図１のブロック図を参照して、本発明の第１の実施の形態における画像認識装置の構成を概略説明する。図１において、画像認識装置は、撮像装置１０１より得られた撮像時刻の異なる画像を現フレームメモリ１０２と前フレームメモリ１０３に保持し、フロー推定部１０４でオプティカルフローを求め、オプティカルフロー記憶メモリ１０５に保持し、テンプレート記憶メモリ１０８に登録されているテンプレートのテンプレートマッチングをテンプレートマッチング部１０７で行い、テンプレート重なり判定部１０９でお互いに重なりを持つテンプレート同士の関係を判定し、テンプレート登録部１０６で新しくオプティカルフローが塊状に発生した領域を新規テンプレートとしてテンプレート記憶メモリ１０８に登録し、描画部１１０からディスプレイ１１１へ追跡結果を出力する。
【００２５】
以下、図１に示す画像認識装置の各構成要素について詳細に説明する。
撮像装置１０１から得られた画像は現フレームメモリ１０２へと入力され、現フレーム画像として保持される。前フレームメモリ１０３は、現フレームメモリ１０２より少なくとも１フレーム前の前フレーム画像が保持される。すなわち、現フレームメモリ１０２が撮像装置１０１から入力された画像に更新されるときに、現フレームメモリ１０２に現在保持されている画像を前フレームメモリ１０３に保持する。したがって、現フレームメモリ１０２と前フレームメモリ１０３とにより撮像時刻の異なる画像が保持される。
【００２６】
フロー推定部１０４は現フレームメモリ１０２に保持されている現フレーム画像と前フレームメモリ１０３に保持されている前フレーム画像を入力し、現フレーム画像を複数のブロックに分割し、各ブロックに対応するオプティカルフローを推定し、オプティカルフロー記憶メモリ１０５へと出力する。フロー推定部１０４では、図２に示すようにブロックマッチング法によって現フレーム画像内の（Ｍ×Ｎ）個の画素で構成されるブロック２０１に対し、前フレーム画像の（Ｋ×Ｌ）個の画素から構成される探索範囲２０２内から、（Ｍ×Ｎ）個の画素から構成される最も相関値の高いブロック２０３（最適ブロック）を探索する。オプティカルフロー２０４とは前フレーム画像内のブロック２０３から現フレーム画像内のブロック２０１への変移である。
【００２７】
ブロックマッチング法で用いる相関値は、例えば、現フレーム内のブロックと前フレーム内のブロックの同じ位置にある画素値の差分絶対値の累積加算（数１）または差分二乗値の累積加算（数２）によって求められ、相関値が小さいほど相関が高くなる。これら一連の処理を現フレーム画像の全てのブロックに対して繰り返し行い、現フレーム画像の各ブロックに対応するオプティカルフローを求める。
【００２８】
【数１】
【数２】
テンプレートマッチング部１０７では、テンプレート記憶メモリ１０８から１つのテンプレートが入力され、図３で示すように、現フレーム画像内の探索範囲３０２内でテンプレート３０１と相関が最も高くなる最適マッチング位置を探索する。
【００３１】
相関値は、例えば、（数３）に示すように、正規化相関を用いる。正規化相関はテンプレートおよび演算対象となる画像の濃度分布に関して正規化が行われるため、照明の変動などによる線形な輝度変化の影響を受けにくく、安定なマッチングが可能となる。また、テンプレートマッチング部１０７では、テンプレート重なり判定部１０９においてマスク処理が施されたテンプレートがテンプレート記憶メモリ１０８に記憶されていた場合には、マスク処理の施された領域の重み付けを低く設定して、相関値算出を行う。例えば、（数３）で示すような、正規化相関を用いる場合には、テンプレートでマスク処理を施した領域の画素を演算対象外とする処理を行う。
【００３２】
【数３】
最適マッチング位置を検出したら、図３に示すように現フレーム画像の最適マッチング位置の画像３０３でテンプレート３０１を更新する。テンプレートのフレーム間移動量は、テンプレート３０１から最適マッチング画像３０３への変移３０４である。テンプレートマッチング部１０７では、これら一連の処理をテンプレート記憶メモリ１０８に記憶されている全てのテンプレートに対して行い、各テンプレートの最適マッチング位置を探索する。
【００３４】
テンプレート重なり判定部１０９では、テンプレート記憶メモリ１０８に記憶されているテンプレートに対して、重なり判定を行う。テンプレート重なり判定部１０９の詳細な構成は後述する。
テンプレート登録部１０６では、図４に示すように現フレーム画像４０１と現フレーム画像のオプティカルフロー４０２を用いて、テンプレート４０３を作成し、テンプレート記憶メモリ１０８に登録されていない物体であれば、新規のテンプレートとして登録する。
描画部１１０では、現フレームメモリ１０２に保持されている現フレーム画像とテンプレート記憶メモリ１０８に保持されているテンプレートを用いて、ディスプレイ１１１へ物体追跡の結果を出力する。
【００３５】
次に、図５のブロック図を参照して、本発明の第１の実施の形態におけるテンプレート重なり判定部の構成を詳細に説明する。
図５において、テンプレート重なり判定部１０９は、重複領域判定部５０１と、重複領域記憶メモリ５０２と、相関演算部５０３と、前後関係判定部５０４とから構成される。重複領域判定部５０１では、テンプレート記憶メモリ１０８から順次２つのテンプレートを入力し、重複領域を持つかどうかの判定を行う。例えば、図６に示すテンプレート６０１とテンプレート６０２をテンプレート記憶メモリ１０８（図１）から重複領域判定部５０１へ入力すると、重複領域６０３が検出され、重複領域６０３を重複領域記憶メモリ５０２へ出力して保持する。相関演算部５０３では、図７に示すように、重複領域６０３を抽出した部分画像７０１、テンプレート６０１の前フレーム画像における重複領域６０３に該当する部分領域６０４を部分画像７０２とし、テンプレート６０２の前フレーム画像における重複領域６０３に該当する部分領域６０５を部分画像７０３として抽出する。次に、部分画像７０１と部分画像７０２の相関値と部分画像７０１と部分画像７０３の相関値をそれぞれ演算する。
【００３６】
前後関係判定部５０４では、重複領域記憶メモリ５０２からテンプレートの重複部分が入力され、前フレームメモリ１０３（図１）より前フレーム画像が入力される。前後関係判定機５０４では、例えば、図７に示す部分画像７０１と部分画像７０２の相関値と部分画像７０１と部分画像７０３の相関値の比較を行う。図７に示す場合では、部分画像７０１と部分画像７０２の相関が部分画像７０１と部分画像７０３の相関よりも高いため、重複領域６０３は図６のテンプレート６０１に含まれると判定する。前後関係判定部５０４では２つのテンプレートの重複領域と前後判定の結果をテンプレート記憶メモリ１０８へ入力し、テンプレートを更新する。
図８のテンプレート８０１は前後関係判定部５０４の出力結果に基づいて、テンプレート６０１を更新した画像である。また、テンプレート８０２は、前後関係判定部５０４に基づいて、重複領域８０３をマスク処理することによって、テンプレート６０２を更新した画像である。これらテンプレート重なり判定部１０９の一連の処理をテンプレートの全ての組み合わせで繰り返し行い、テンプレートの重なり判定処理を行う。
【００３７】
以上の説明のように、本実施の形態では、テンプレート重なり判定部１０９において、重複領域検出部５０１で２つのテンプレートの重なりを判定し、重複領域を有する場合は、重複領域を重複領域記憶メモリ５０２に保持し、相関演算部５０３によって、重複領域と各テンプレートの前フレームでの該当する領域との相関値をそれぞれ求め、前後関係判定部５０４で重複するテンプレートの前後関係を判定する。そして、奥側に存在すると判定したテンプレートの重複領域にマスク処理を施す。したがって、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定できるため、抽出された重なり合う複数物体の関係を判定して、精度良く物体を追跡することができる。
【００３８】
（第２の実施の形態）
次に、図１を参照して、本発明の第２の実施の形態における画像認識装置について説明する。図１に示す第２の実施の形態における画像認識装置の全体の構成は、図１に示すとおり本発明の第１の実施の形態におけるものと同様であるが、テンプレート重なり判定部１０９の詳細な構成および動作は第１の実施の形態のものと、以下、図９とともに説明するように異なるものである。
まず、図９のブロック図を参照して、本発明の第２の実施の形態におけるテンプレート重なり判定部１０９の構成を説明する。図９において、テンプレート重なり判定部１０９（図１）は、重複領域検出部９０１と、移動方向判定部９０２と、テンプレート統合部９０３とから構成される。
【００３９】
次に、図９および図１０を参照して、本発明の第２の実施の形態におけるテンプレート重なり判定部１０９の動作を詳細に説明する。重複領域検出部９０１では、テンプレート記憶メモリ１０８（図１）から順次２つのテンプレートを入力し、重複領域を持つか判定を行う。２つのテンプレートが重複領域を持つ場合は、２つのテンプレートを移動方向判定機９０２へ出力する。
移動方向判定部９０２は、重複領域判定部９０１から入力された２つのテンプレートが、前フレームメモリ１０３（図１）に保持されている前フレームメモリでの各テンプレートの位置から、同一方向に移動しているか否かを判定する。例えば、図１０に示すように、テンプレート１００１とテンプレート１００２が重複領域を有し、テンプレート１００１の前フレーム画像からの移動ベクトル１００３とテンプレート１００２の前フレーム画像からの移動ベクトル１００４の示す方向を比較して判定すればよい。
【００４０】
テンプレート統合部９０３では、移動方向判定部９０２から２つのテンプレートの移動方向が同一であると判定結果が入力された場合、例えば、図１０のテンプレート１００１とテンプレート１００２をテンプレート１００５のように各テンプレートの端点情報等を元に統合して、テンプレート記憶メモリ１０８（図１）に登録する。
以上の説明のように、本実施の形態では、重複領域検出部９０１において２つのテンプレートの重なりを判定し、移動方向判定部９０２において２つのテンプレートが移動方向に移動しているか判定を行い、移動方向が同一であればテンプレート統合部９０３によって１つのテンプレートに統合を行う。したがって、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定できるため、抽出された重なり合う複数物体の関係を判定して、精度良く物体を追跡することができる。
【００４１】
（第３の実施の形態）
次に、図１１ないし図１５を参照して、本発明の第３の実施の形態における画像認識装置について詳細に説明する。まず、図１１を参照して、本発明の第３の実施の形態における画像認識装置全体の構成を詳細に説明する。図１１に示す画像認識装置は、撮像装置１１０１と、現フレームメモリ１１０２と、前フレームメモリ１１０３と、フロー推定部１１０４と、オプティカルフロー記憶メモリ１１０５と、テンプレート登録部１１０６と、テンプレートマッチング部１１０７と、テンプレート記憶メモリ１１０８と、マッチング位置予測部１１０９と、描画部１１１０と、ディスプレイ１１１１によって構成される。
【００４２】
ただし、撮像装置１１０１と、現フレームメモリ１１０２と、前フレームメモリ１１０３と、フロー推定部１１０４と、オプティカルフロー記憶メモリ１１０５と、テンプレート登録部１１０６と、描画部１１１０と、ディスプレイ１１１１の各構成要素は、図１に示す各構成要素と同様であるから詳細な説明を省略する。しかし、後述するように、テンプレート記憶メモリ１１０８には、各テンプレートと各テンプレートに対応するマッチング位置予測部１１０９で推定された予測マッチング位置が保持される。
【００４３】
次に、図１２および図１３を参照して、本実施の形態における画像認識装置のテンプレートマッチング部１１０７について詳細に説明する。図１２において、テンプレートマッチング部１１０７（図１１）は探索範囲設定部１２０１とテンプレートマッチング部１２０２によって構成され、テンプレートマッチング部１１０７では、テンプレート記憶メモリ１１０８に保持されているテンプレートと対応する予測マッチング位置を用いて、テンプレートマッチングを行う。探索範囲設定部１２０１は、図１３に示すように、テンプレート記憶メモリ１１０８（図１１）から入力されたテンプレートに対応する予測マッチング位置１３０４を基準として適応的探索範囲１３０３を設定する。
次に、テンプレートマッチング部１２０２では、探索範囲設定部１２０１により設定されたテンプレートの適応的探索範囲１３０３内で最適マッチング位置を探索する。
【００４４】
ちなみに、従来技術のテンプレートマッチング法では、前フレームでのテンプレート１３０１を基準とした探索範囲１３０２を用いて最適マッチング位置を探索しているため、探索範囲１３０２を超えて高速移動する移動物体１３０５の追跡をすることは困難である。
【００４５】
次に、図１４および図１５を参照して、本発明の第３の実施の形態における画像認識装置のマッチング位置予測部１１０９について詳細に説明する。まず、図１４を参照して、本実施の形態における画像認識装置のマッチング位置予測部１１０９の構成を説明する。図１４において、マッチング位置予測部１１０９は、２次元頻度マップ作成部１４０１と、最頻値検出部１４０２と、予測マッチング位置獲得部１４０３とによって構成される。
【００４６】
２次元頻度マップ作成部１４０１には、テンプレート記憶メモリ１１０８（図１１）から１つのテンプレートが入力され、同時に、オプティカルフロー記憶メモリ１１０５（図１１）から現フレーム画像のオプティカルフロー推定結果が入力され、テンプレートに対応する領域内の個々のオプティカルフローから、図１５に示すような２次元頻度マップ１５０１を作成する。なお、本実施の形態では、現フレームの個々のオプティカルフローが持つ成分の範囲が水平・垂直成分共に−２〜＋２の範囲である場合について説明する。２次元頻度マップ１５０１は、例えば、テンプレートに対応する領域内の１つのオプティカルフローの変位量が（ｘ，ｙ）＝（１，２）であれば、２次元頻度マップの対応する座標（ｘ＝１，ｙ＝２）に投票する。この方法を用いて、テンプレートに対応する領域内の全てのオプティカルフローを２次元頻度マップ１５０１に投票する。
【００４７】
次に、作成した２次元頻度マップ１５０１を最頻値検出部１４０２へ入力する。最頻値検出部１４０２は、２次元頻度マップ１５０１内の最頻値の座標を探索する。例えば、図１５に示すように、注目座標１５０２とその周辺１５０３の頻度の総和を求め頻度の総和が最大値を取る注目座標を最頻値に対応する座標とする。図１５では、（ｘ，ｙ）＝（−１，０）の座標において頻度の総和が最大値となる。
予測マッチング位置獲得部１４０３では、最頻値検出部１４０２で求めた座標値を代表ベクトルとして予測マッチング位置を決定し、テンプレート記憶メモリ１１０８に入力する。テンプレート記憶メモリ１１０８では各テンプレートと対応する予測マッチング位置を保持する。
【００４８】
以上の説明のように、本実施の形態では、図１１に示すマッチング位置予測部１１０９を用いてテンプレートに該当する領域内のオプティカルフローから２次元頻度マップ１５０１を作成し、２次元頻度マップ１５０１の最頻値から代表ベクトルを決定し、各テンプレートと対応する予測マッチング位置をテンプレート記憶メモリ１１０８に記憶する。そして、テンプレートマッチング部１１０７を用いて、例えば、図１３に示すように、前フレームでのテンプレート画像１３０１の位置を基準とした探索範囲１３０２の範囲を超えて高速移動する移動物体１３０５を追跡する際に、適応的探索範囲１３０３内の最適マッチング位置を探索することができる。
したがって、次フレームでのテンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定することによって、物体の検知した位置を基準とした探索範囲を超えるような高速移動する物体を容易に追跡することができる。
【００４９】
（第４の実施の形態）
次に、図１６および図１７を参照して、本発明の第４の実施の形態における画像認識装置について詳細に説明する。本実施の形態における画像認識装置全体の構成は図１に示すとおりであり、その詳細な動作は第３の実施の形態のものと同様である。
まず、図１６を参照して、本実施の形態における画像認識装置のマッチング位置予測部１１０９（図１１）の構成を詳細に説明する。図１６において、マッチング位置予測部１１０９は、水平成分頻度マップ作成部１６０１と、垂直成分頻度マップ作成部１６０２と、最頻水平成分検出部１６０３と、最頻垂直頻度成分１６０４と、予測マッチング位置獲得部１６０５とによって構成される。
【００５０】
次に、図１６および図１７を参照して、本実施の形態における画像認識装置のマッチング位置予測部１１０９の動作を詳細に説明する。図１６において、テンプレート記憶メモリ１１０８（図１１）から１つのテンプレートを水平頻度マップ作成部１６０１に入力し、同時に、オプティカルフロー記憶メモリ１１０５から現フレーム画像のオプティカルフロー推定結果を水平頻度マップ作成部１６０１に入力する。そして、テンプレートに対応する領域内の個々のオプティカルフローの水平成分を用いて、水平成分の１次元頻度マップ内の対応する座標に投票する。同様に、垂直頻度マップ作成部１６０２は、テンプレートに対応する領域内の個々のオプティカルフローの垂直成分を用いて、垂直成分の１次元頻度マップ内の対応する座標に投票する。例えば、テンプレート内に対応する１つのオプティカルフローが、（ｘ，ｙ）＝（−１，１）であれば、水平成分の１次元頻度マップ内のｘ＝−１の座標、垂直成分の１次元頻度マップ内のｙ＝１の座標にそれぞれ投票する。この方法を用いて、テンプレート内に対応する全てのオプティカルフローについて、水平・垂直各成分の頻度マップに投票を行い、図１７の１次元頻度マップ１７０１、垂直成分の１次元頻度マップ１７０２を作成する。
【００５１】
次に、作成した水平成分の１次元頻度マップ１７０１を最頻水平成分検出部１６０２に入力し、また、垂直成分の１次元頻度マップ１７０２を最頻垂直成分検出部１６０４に入力する。最頻水平成分検出部１６０３は、水平１次元頻度マップ中の最頻値の座標を探索する。例えば、図１７に示すように、注目座標１７０３とその周辺領域１７０４の頻度の総和を求め、頻度の総和が最大値を取る注目座標を最頻値としても良い。また、最頻垂直成分検出部１６０４は、最頻水平成分検出部１６０２と同様に、垂直１次元頻度マップ中の最頻値の座標を探索する。
【００５２】
図１７において、水平成分の１次元頻度マップ１７０１の最頻値がｘ＝−１、垂直成分の１次元頻度マップの最頻値がｙ＝０となる。
予測マッチング位置獲得部１６０５では、最頻水平成分検出部１６０３から入力された最頻水平成分と、最頻垂直成分検出部１６０３から入力された最頻垂直成分を用いて予測マッチング位置を決定し、テンプレート記憶メモリ１１０８（図１１）に入力する。テンプレート記憶メモリ１１０８では各テンプレートと対応する予測マッチング位置を記憶する。
【００５３】
以上の説明のように、本実施の形態では、図１１のマッチング位置予測部１１０９により、現フレーム画像のテンプレートに該当する領域内のオプティカルフローから水平・垂直の各１次元頻度マップを作成し、各１次元頻度マップの最頻値から代表ベクトルから予測マッチング位置を決定し、各テンプレートと共にテンプレート記憶メモリ１１０８に記憶する。そして、テンプレートマッチング部１１０７により、予測マッチング位置を基準とした適応的探索範囲１３０３内の最適マッチング位置を探索する。
したがって、次フレームでのテンプレートの予測マッチング位置を獲得し、テンプレートの動きに対して適応的に探索範囲を設定することによって、物体の検知した位置を基準とした探索範囲を超えるような高速に移動する物体を容易に追跡することができる。
【００５４】
（第５の実施の形態）
次に、図１８のフローチャートを参照して（個々については図１９ないし図２２に示す）本発明の第５の実施の形態における画像認識方法の全体的処理の流れを説明する。
まず、ステップ１８０１において、図２に示すブロックマッチング法によって、現フレーム画像の（Ｍ×Ｎ）個の画素から構成された各ブロックのオプティカルフローを推定する。次に、ステップ１８０２において、図３に示すようなテンプレートマッチングによって、テンプレートの最適マッチング位置を探索する。次に、図１８のステップ１８０３において、現フレーム画像で互いに重複領域を持つテンプレートの前後関係を判定する。次に、図１８のステップ１８０４において、オプティカルフローが塊状に発生した領域を新規テンプレートとして登録する。これらステップ１８０１〜１８０４の一連の処理を現フレーム画像に対して行い、移動物体の追跡を行う。
【００５５】
以下、ステップ１８０１〜１８０４の各ステップの詳細を説明する。
まず、図１９のフローチャートを参照して、ステップ１８０１（図１８）におけるオプティカルフローの推定の詳細な処理の流れを説明する。ステップ１９０１において、現フレーム画像を（Ｍ×Ｎ）個の画素から構成されるブロック単位に分割する。次に、ステップ１９０２において、現フレーム画像のブロックを１つ選択し、ステップ１９０３において、図２に示すように現フレーム内のブロックと前フレーム画像の探索範囲内のブロックの相関値を演算し、オプティカルフローを求める。オプティカルフローは、図２に示すようにブロックマッチング法によって現フレーム画像内の（Ｍ×Ｎ）個の画素で構成されるブロック２０１に対し、前フレーム画像の（Ｋ×Ｌ）個の画素から構成される探索範囲２０２内から、（Ｍ×Ｎ）個の画素から構成される最も相関の高いブロック２０３（最適ブロック）を探索して求める。相関値は例えば、現フレーム内のブロックと前フレーム画像のブロックにおいて、同じ位置にある画素の画素値の差分絶対値（数１）または差分二乗値（数２）を累積加算することによって求められる。
これらステップ１９０２、１９０３の一連の処理を現フレーム画像内のブロックに対して繰り返し行い、図１８のステップ１８０１において、現フレーム画像のオプティカルフローを各ブロック単位で推定する（ステップ１９０４）。
【００５６】
次に、図２０のフローチャートを参照して、ステップ１８０２（図１８）における最適マッチング位置の探索の詳細な処理の流れを説明する。まず、ステップ２００１においてテンプレートが１つ以上登録されているか判定を行う。テンプレートが全く登録されていない場合はステップ１８０２の一連の処理を終了する。テンプレートが１つ以上登録されている場合は、ステップ２００２に進み、テンプレートを１つ選択する。次に、ステップ２００２で選択したテンプレートについて現フレーム画像内に設定した探索範囲内で相関値が最も高くなるマッチング位置（最適マッチング位置）を探索する。相関値は例えば、（数３）で示すように正規化相関を用いる。正規化相関は、照明の変動などによる線形な輝度変化の影響を受けにくく、安定なマッチングが可能となる。
これらステップ２００２、２００３の一連の処理を登録している全てのテンプレートに対して繰り返し行い、ステップ１８０２（図１８）において、テンプレートマッチングを各テンプレートに対して行う（ステップ２００４）。
【００５７】
次に、図２１のフローチャートを参照して、本実施の形態におけるステップ１８０３（図１８）における重複関係を持つテンプレートの判定の詳細な処理の流れを説明する。
まず、ステップ２１０１でテンプレートが２つ以上登録されているかどうか判定を行う。テンプレートが２つ以上登録されていない場合はステップ１８０３の一連の処理を終了する。次に、ステップ２１０１でテンプレートが２つ以上登録されていると判定した場合は、ステップ２１０２においてテンプレートを２つ選択する。
【００５８】
次に、ステップ２１０３で２つのテンプレートが現フレームのマッチング位置で重なりを持つかどうか判定を行う。２つのテンプレートが重なりを持たない場合はステップ２１０７の処理に進む。２つのテンプレートが重なりを持つ場合は、ステップ２１０４で、図６に示すように、２つのテンプレートで重複する領域と、２つのテンプレートの前フレームでの位置における重複領域に該当する部分との相関をそれぞれ求める。相関を求める方法としては、例えば、正規化相関を用いる。
次に、ステップ２１０５では、ステップ２１０４で求めた重複部分と前フレームでの各テンプレートに対応する部分領域の相関値について大小比較を行い、相関が高い前フレームの部分領域を含むテンプレートを手前側に存在するテンプレートであると判定する。
【００５９】
次に、ステップ２１０６では、図８に示すように、奥側に存在すると判定したテンプレートの重複領域８０３に対してマスク処理を施し、次フレームでのテンプレートマッチング処理ではマスク処理を施した領域では相関値算出の重み付けを低く設定してマッチング処理を行う。
これらステップ２１０２〜２１０６までの一連の処理を登録されているテンプレートの全ての組み合わせで繰り返し行い、図１８のステップ１８０３において、重なり判定処理を行う（ステップ２１０７）。
【００６０】
次に、図２２のフローチャートを用いて、ステップ１８０４（図１８）において、新規なテンプレートかどうか判定する詳細な処理の流れを説明する。まず、ステップ２２０１において、現フレーム画像で得られたオプティカルフローについてラベリング処理を行う。そして、同一ラベルを与えられたブロックが所定数以上となれば、オプティカルフローが塊状に発生したものとする。
次に、ステップ２２０２において、現フレーム画像でオプティカルフロー塊状に発生している領域を１つ選択する。次に、ステップ２２０３において、既存物体から十分離れた新規の物体であるか判定を行い、新規の物体であればステップ２２０４において、新規のテンプレートとして登録する。
これらステップ２２０２〜２２０４の一連の処理を、現フレーム画像内のオプティカルフローが塊状に発生した全ての領域について行う（ステップ２２０５）。
【００６１】
以上の説明のように、本実施の形態では、ステップ１８０３において、現フレーム画像で重複領域を持つ複数のテンプレートに対して、重複部分と前フレームでの各テンプレートの重複部分に対応する部分領域との相関値を求め、各相関値の大小比較を行う。そして、前フレーム画像で相関が高い部分領域を持つテンプレートを手前側に存在するテンプレートであると判定し、奥側に存在すると判定したテンプレートの重複領域にマスク処理を施す。したがって、現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定できるため、抽出された重なり合う複数物体の関係を判定して、精度良く物体を追跡することができる。
【００６２】
（第６の実施の形態）
次に、図１８および図２３のフローチャートを参照して、本発明の第５の実施の形態における画像認識方法の流れを説明する。
図１８は本発明の第６の実施の形態における画像認識方法の全体の処理の流れを示すフローチャートであり、その処理の流れは第５の実施の形態と同様である。また、ステップ１８０１、１８０２、１８０４における詳細な処理方法は第５の実施の形態のものと同様であるから説明を省略する。
次に、図２３のフローチャートを参照して、第６の実施の形態における複数のテンプレートの重なり判定処理（ステップ１８０３）の流れを詳細に説明する。図２３のステップ２３０１では、テンプレートが２つ以上登録されているか判定を行う。テンプレートが２つ以上登録されていない場合はステップ１８０３の一連の処理を終了する。テンプレートが２つ以上登録されていると判定した場合は、ステップ２３０２において、テンプレートを順次２つ選択する。次に、ステップ２３０３で２つのテンプレートが現フレームのマッチング位置で重なりを持つか判定を行う。２つのテンプレートが重なりを持たない場合はステップ２３０６の処理に進む
【００６３】
ステップ２３０４において、２つのテンプレートが重なりを持つ場合は、２つのテンプレートの移動方向が同一であるか判定を行う。判定方法としては、例えば、テンプレートの移動方向を示す水平・垂直の各要素の符号が共に同一であるか判定する方法を用いれば良い。移動方向が同一で無いと判定した場合は、ステップ２３０６の処理を行う。移動方向が同一であると判定した場合は、ステップ２３０５において、図１０に示すように、選択している２つのテンプレートを１つのテンプレートに統合する。
これらステップ２３０２〜２３０５までの一連の処理を全てのテンプレートの組み合わせに対して繰り返し行い、重なり判定処理を実行する（ステップ２３０６）。
【００６４】
以上の説明のように、本実施の形態では、ステップ１８０３において重複領域を持つ複数のテンプレートに対して、移動方向が同一であるか判定を行い、２つのテンプレートの移動方向が同一であれば、１つのテンプレートに統合する。したがって、現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定できるため、抽出された重なり合う複数物体の関係を判定して、精度良く物体を追跡することができる。
【００６５】
（第７の実施の形態）
次に、図２４ないし図２６のフローチャートを参照して、本発明の第７の実施の形態における画像認識方法の処理の流れを説明する。ただし、図２４は本実施の形態における画像認識方法の全体の処理の流れを説明するものであるが、ステップ２４０１とステップ１８０１（図１８）、ステップ２４０３とステップ１８０４（図１８）は、それぞれ同様であるからそれら各ステップに対する詳細な処理の流れの説明は省略する。
まず、図２５のフローチャートを参照して、本発明の第７の実施の形態における最適マッチング位置を探索する処理（ステップ１８０２）の流れを説明する。なお、本実施の形態では、現フレームの個々のオプティカルフローが持つ成分の範囲が水平・垂直成分共に−２〜＋２の範囲である場合について説明する。
まず、ステップ２５０１では、テンプレートが１つ以上登録されているか判定を行う。テンプレートが全く登録されていない場合は図２５における一連の処理を終了する。テンプレートが１つ以上登録されている場合は、ステップ２５０２においてテンプレートを１つ選択する。次に、ステップ２５０３では、例えば、図１３で示すように予測マッチング位置１３０４付近に探索範囲１３０６を設定する。
【００６６】
次に、ステップ２５０４では、ステップ２５０２で設定した探索範囲内で相関値が最も高くなるマッチング位置（最適マッチング位置）を探索する。相関値としては、正規化相関が知られており、テンプレートおよび探索範囲内の演算対象となる画像の濃度分布に関して正規化が行われるため、照明の変動などによる線形な輝度変化の影響を受けにくく、安定なマッチングが可能となるため望ましい。
これらステップ２５０２〜２５０４の一連の処理を登録している全てのテンプレートに対し、繰り返してテンプレートマッチング処理を行う（ステップ２５０５）。
【００６７】
次に、図２６のフローチャートを参照して、次フレームでのマッチング位置を予測する処理（ステップ２４０４）の流れを詳細に説明する。ステップ２６０１において、テンプレートが１つ以上登録されているか判定を行う。テンプレートが全く登録されていない場合はステップ２４０４の一連の処理を終了する。テンプレートが１つ以上登録されている場合は、ステップ２６０２においてテンプレートを１つ選択する。
【００６８】
次に、ステップ２６０３において、選択したテンプレートに対応する領域内のオプティカルフローを１つ選択し、ステップ２６０４で２次元頻度マップの該当する座標に投票する。これら、ステップ２６０３〜２６０４の一連の処理を、選択したテンプレート内の全てのオプティカルフローに対して繰り返し行い、選択したテンプレートのオプティカルフローの２次元頻度マップを作成する（ステップ２６０５）。
【００６９】
次に、ステップ２６０６において、２次元頻度マップからの最頻値の座標を求め、代表ベクトルを決定する。最頻値を求める手段としては、例えば、図１５に示すように対象座標１５０２の頻度とその周辺領域１５０３の頻度の総和を求める。
次に、ステップ２６０７において、ステップ２６０６で得られた代表ベクトルから予測マッチング位置を獲得する。
これら、ステップ２６０２〜２６０７の一連の処理を、登録されている全てのテンプレートに対して繰り返し行い、各テンプレートの次フレームでの予測マッチング位置を獲得する（ステップ２６０８）。
【００７０】
以上の説明のように、本実施の形態によると、ステップ２４０２において、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索する。そして、ステップ２４０４において、各テンプレートに対応する領域内のオプティカルフローから２次元頻度マップを作成し、２次元頻度マップの最頻値を代表ベクトルと決定し、次フレームでのテンプレートの予測マッチング位置を獲得する。
したがって、テンプレートの動きに対して適応的に探索範囲を設定することによって、物体の検知した位置を基準とした探索範囲を超えるような高速移動する物体を精度良く追跡することができる。
【００７１】
（第８の実施の形態）
次に、図２４および図２７を参照して、本発明の第８実施の形態における画像認識方法の処理の流れを説明する。図２４は、本実施の形態における画像認識方法の全体の処理の流れを示すフローチャートであり、その処理の流れは第７の実施の形態と同一である。また、図２４のステップ２４０１〜２４０３の詳細な処理方法は第７の実施の形態と同一であるからその説明を省略する。
【００７２】
まず、図２７のフローチャートを参照して、本発明の第８の実施の形態における画像認識方法の各テンプレートの次フレームにおける予測マッチング位置を獲得する処理（ステップ２４０４）の流れを詳細に説明する。なお、本実施の形態では、現フレームの個々のオプティカルフローが持つ成分の範囲が水平・垂直成分共に−２〜＋２の範囲である場合について説明する。
ステップ２７０１において、テンプレートが１つ以上登録されているか判定を行う。テンプレートが全く登録されていない場合はステップ２４０４の一連の処理を終了する。テンプレートが１つ以上登録されている場合は、ステップ２７０２においてテンプレートを１つ選択する。
【００７３】
次に、ステップ２７０３において、選択したテンプレートに対応する領域内のオプティカルフローを１つ選択し、ステップ２７０４で水平・垂直の各１次元頻度マップの該当する座標に重み付けを行う。これら、ステップ２７０３〜２７０４の一連の処理を、選択したテンプレート内の全てのオプティカルフローに対して繰り返し行い、選択したテンプレートのオプティカルフローの水平、垂直の各１次元頻度マップを作成する（ステップ２７０５）
【００７４】
次に、ステップ２７０６において、水平、垂直の各１次元頻度マップの最頻値を求め、代表ベクトルを決定する。最頻値を求める手段としては、例えば、図１７に示すように、水平成分の１次元頻度マップ１７０１の注目座標１７０３の頻度とその周辺領域１７０４の総和を求め、最大頻度を取る水平座標を用いれば良い。また、垂直成分の１次元頻度マップ１７０５の最頻値を求める手段も同様に行えばよい。そして、ステップ２７０６で得られた代表ベクトルをもって予測マッチング位置とする（ステップ２７０７）。
これら、ステップ２７０２〜２７０７の一連の処理を、登録されている全てのテンプレートに対して繰り返し行い、各テンプレートの次フレームでの予測マッチング位置を獲得する（ステップ２７０８）。
【００７５】
以上の説明のように、本実施の形態によると、ステップ２４０２において、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索する。そして、ステップ２４０４において、各テンプレートに対応する領域内のオプティカルフローから水平、垂直の各１次元頻度マップを作成し、各１次元頻度マップの最頻値を代表ベクトルとして決定し、次フレームでのテンプレートの予測マッチング位置を獲得する。
したがって、テンプレートの動きに対して適応的に探索範囲を設定することによって、物体の検知した位置を基準とした探索範囲を超えるような高速移動する物体を精度良く追跡することができる。
【００７６】
なお、前記第１、第２、第３の実施の形態は、それぞれ任意に組み合わせ可能であることは言うまでも無い。
なお、前記第１、第２、第４の実施の形態は、それぞれ任意に組み合わせ可能であることは言うまでも無い。
なお、前記第５、第６、第７の実施の形態は、それぞれ任意に組み合わせ可能であることは言うまでも無い。
なお、前記第５、第６、第８の実施の形態は、それぞれ任意に組み合わせ可能であることは言うまでも無い。
なお、本発明はこれらの実施の形態に限定されるのではなく、本発明の範囲内で種々の改良および変形が可能であることは言うまでも無い。
また、以上説明した本発明の実施の形態における画像認識方法を、コンピュータが実行可能なソフトウェアプログラムによって実施することができる。
また、本発明を構成したソフトウェアプログラムをコンピュータが読み取り可能な記録媒体に記録して、他のコンピュータで実施することができる。
【００７７】
【発明の効果】
本発明における画像認識装置および画像認識方法は、上記のように構成され、特に、オプティカルフローとテンプレートマッチングを用いた画像認識装置および方法に、互いに重複領域を持つ複数のテンプレート同士の関係を判定する処理を付与して、物体を追跡することにより、抽出された重なり合う複数物体の関係を判定して、精度良く物体を追跡することができ、また、オプティカルフローとテンプレートマッチングを用いた画像認識装置および方法に、テンプレートの予測マッチング位置を獲得し、予測マッチング位置を用いてテンプレートの動きに適応的に設定した探索範囲からテンプレートの最適マッチング位置を探索する処理を付与して、物体を追跡することにより、物体の検知した位置を基準とした探索範囲を超えるような高速に移動する物体を精度良く追跡することができる。
【図面の簡単な説明】
【図１】本発明の第１および第２の実施の形態における画像認識装置の全体構成を示すブロック図、
【図２】本発明の第１ないし第４の実施の形態における画像認識装置のオプティカルフローを求める方法の概要を示す図、
【図３】本発明の第１の実施の形態における画像認識装置および方法のテンプレートマッチングの概要を示す図、
【図４】本発明の第１の実施の形態における画像認識装置および方法の新規テンプレート作成方法の一例を示す図、
【図５】本発明の第１の実施の形態における画像認識装置のテンプレート重なり判定部の詳細な構成を示すブロック図、
【図６】本発明の第１の実施の形態における画像認識装置および方法の複数テンプレートが重複領域を持つ場合の一例を示す図、
【図７】本発明の第１の実施の形態における画像認識装置および方法の複数テンプレートが重複領域を持つ場合の重複領域と、各テンプレートの前フレームでのテンプレートの該当する部分画像の一例を示す図、
【図８】本発明の第１および第５の実施の形態における画像認識装置および方法の複数テンプレートが重複領域を持つ場合の各テンプレートに前後判定の結果を用いて処理を施した画像の一例を示す図、
【図９】本発明の第２の実施の形態における画像認識装置のテンプレート重なり判定部の詳細な構成を示すブロック図、
【図１０】本発明の第２の実施の形態における画像認識装置のテンプレート重なり判定部の２つのテンプレートを１つのテンプレートに統合する一例を示す図、
【図１１】本発明の第３および第４の実施の形態における画像認識装置の全体構成を示すブロック図、
【図１２】本発明の第３の実施の形態における画像認識装置のテンプレートマッチング部の詳細な構成を示すブロック図、
【図１３】本発明の第３および第７の実施の形態における画像認識装置および方法のテンプレートマッチングの探索範囲を示す図、
【図１４】本発明の第３の実施の形態における画像認識装置のマッチング位置予測部の詳細な構成を示すブロック図、
【図１５】本発明の第３および第７の実施の形態における画像認識装置および方法のテンプレートに対応する領域内のオプティカルフローにより作成された２次元頻度マップの一例を示す図、
【図１６】本発明の第４の実施の形態における画像認識装置のマッチング位置予測部の詳細な構成を示すブロック図、
【図１７】本発明の第４および第８の実施の形態における画像認識装置および方法のテンプレートに対応する領域内のオプティカルフローにより作成された水平・垂直の各１次元頻度マップの一例を示す図、
【図１８】本発明の第５および第６の実施の形態における画像認識方法の全体の流れを示すフローチャート、
【図１９】本発明の第５の実施の形態における画像認識方法のオプティカルフローを推定する処理工程の詳細な流れを示すフローチャート、
【図２０】本発明の第５の実施の形態における画像認識方法のテンプレートの最適マッチング位置を探索する処理工程の詳細な流れを示すフローチャート、
【図２１】本発明の第５の実施の形態における画像認識方法の複数のテンプレートの前後関係を判定する処理工程の流れを示すフローチャート、
【図２２】本発明の第５の実施の形態における画像認識方法の新規テンプレートの登録処理工程の流れを示すフローチャート、
【図２３】本発明の第６の実施の形態における画像認識方法の複数のテンプレートの前後関係を判定する処理工程の流れを示すフローチャート、
【図２４】本発明の第７および第８の実施の形態における画像認識方法の全体の処理の流れを示すフローチャート、
【図２５】本発明の第７の実施の形態における画像認識方法のテンプレートの最適マッチング位置を探索する処理工程の流れを示すフローチャート、
【図２６】本発明の第７の実施の形態における画像認識方法の次フレームでの予測マッチング位置を獲得する処理工程の流れを示すフローチャート、
【図２７】本発明の第８の実施の形態における画像認識方法の次フレームでの予測マッチング位置を獲得する処理工程の流れを示すフローチャート、
【図２８】従来のオプティカルフローを用いた画像認識方法の概要を示す図、
【図２９】従来のオプティカルフローを用いた画像認識方法の物体追跡に失敗した様子を示す図、
【図３０】従来のテンプレートマッチングを用いた画像認識方法の概要を示す図。
【符号の説明】
１０１、１１０１ 撮像装置
１０２、１１０２ 現フレームメモリ
１０３、１１０３ 前フレームメモリ
１０４、１１０４ フロー推定部
１０５、１１０５ オプティカルフロー記憶メモリ
１０６、１１０６ テンプレート登録部
１０７、１１０７ テンプレートマッチング部
１０８、１１０８ テンプレート記憶メモリ
１０９ テンプレート重なり判定部
１１０、１１１０ 描画部
１１１、１１１１ ディスプレイ
５０１ 重複領域判定部
５０２ 重複領域記憶メモリ
５０３ 相関演算部
５０４ 前後関係判定部
９０１ 重複領域判定部
９０２ 移動方向判定部
９０３ テンプレート統合部
１１０９ マッチング位置予測部
１２０１ 予測探索範囲設定部
１２０２ テンプレートマッチング部
１４０１ ２次元頻度マップ作成部
１４０２ 最頻値検出部
１４０３、１６０５ 予測マッチング位置獲得部
１５０１ ２次元頻度マップ
１６０１ 水平成分マップ作成部
１６０２ 最頻水平成分検出部
１６０３ 垂直成分頻度マップ作成部
１６０４ 最頻垂直成分検出部
１７０１ 水平成分の１次元頻度マップ
１７０２ 垂直成分の１次元頻度マップ
Claims (16)
- 撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定するフロー推定部と、マスク処理を施した領域の画素を演算対象外として現フレーム画像でテンプレートの最適マッチング位置を探索するテンプレートマッチング部と、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定して、奥側に存在すると判定したテンプレートの重複領域にマスク処理を施してテンプレートを更新するテンプレート重なり判定部と、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録するテンプレート登録部とを備えることを特徴とする画像認識装置。
- 前記テンプレート重なり判定部は、前記互いに重複領域を持つ複数のテンプレートの前フレーム画像における各位置において前記重複領域に該当する各領域と前記重複領域との相関値を算出する相関演算部と、相関値の大小を比較することにより前記互いに重複領域を持つ複数のテンプレートの前後関係を判定する前後関係判定部とを備えることを特徴とする請求項１記載の画像認識装置。
- 前記テンプレート重なり判定部は、前記互いに重複領域を持つ複数のテンプレートの各移動方向を判定する移動方向判定部と、前記互いに重複領域を持つ複数のテンプレートを１つのテンプレートに統合するテンプレート統合部とを備えることを特徴とする請求項１記載の画像認識装置。
- 撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定するフロー推定部と、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索するテンプレートマッチング部と、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録するテンプレート登録部と、前記現フレームの前記テンプレートに対応する領域内の全てのオプティカルフローに対して、個々のオプティカルフローの変位量を頻度マップに投票し、前記頻度マップの最頻値から代表ベクトルを決定し、次フレームでの前記テンプレートの前記予測マッチング位置を獲得するマッチング位置予測部とを備えることを特徴とする画像認識装置。
- 前記マッチング位置予測部は、前記テンプレートに対応する領域内の前記オプティカルフローを用いて２次元頻度マップを作成する２次元頻度マップ作成部と、前記２次元頻度マップ中で最頻値を求める最頻値検出部と、前記最頻値に対応するオプティカルフローから前記テンプレートの前記予測マッチング位置を獲得する予測マッチング位置獲得部とを備えることを特徴とする請求項４記載の画像認識装置。
- 前記マッチング予測部は、前記テンプレートに対応する領域内のオプティカルフローを用いて水平・垂直の各１次元頻度マップを作成する水平成分頻度マップ作成部および垂直成分頻度マップ作成部と、前記各成分の最頻値を検出する最頻水平成分検出部および垂直成分検出部と、前記各成分の最頻値から前記予測マッチング位置を獲得する予測マッチング位置獲得部とを備えることを特徴とする請求項４記載の画像認識装置。
- 撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定するフロー推定部と、マスク処理を施した領域の画素を演算対象外として予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索するテンプレートマッチング部と、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定して、奥側に存在すると判定したテンプレートの重複領域にマスク処理を施してテンプレートを更新するテンプレート重なり判定部と、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録するテンプレート登録部と、前記現フレームの前記テンプレートに対応する領域内の全てのオプティカルフローに対して、個々のオプティカルフローの変位量を頻度マップに投票し、前記頻度マップの最頻値から代表ベクトルを決定し、次フレームでの前記テンプレートの前記予測マッチング位置を獲得するマッチング位置予測部とを備えることを特徴とする画像認識装置。
- 撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定し、マスク処理を施した領域の画素を演算対象外として現フレーム画像でテンプレートの最適マッチング位置を探索し、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定して、奥側に存在すると判定したテンプレートの重複領域にマスク処理を施してテンプレートを更新し、オプティカルフローが塊状に発生した領域を新規テンプレートとする各工程を有することを特徴とする画像認識方法。
- 前記複数のテンプレート同士の関係を判定する工程は、前記互いに重複領域を持つ複数のテンプレートの前フレーム画像における各位置で前記重複領域に該当する各領域と前記重複領域との相関値を算出し、各相関値の大小を比較することによって、前記互いに重複領域を持つ複数のテンプレートの前後関係を判定することを特徴とする請求項８記載の画像認識方法。
- 前記複数のテンプレート同士の関係を判定する工程は、前記互いに重複領域を持つ複数のテンプレートの各移動方向に応じて、前記互いに重複領域を持つ複数のテンプレートを１つのテンプレートに統合することを特徴とする請求項８記載の画像認識方法。
- 撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定し、予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索し、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録し、前記現フレームの前記テンプレートに対応する領域内の全てのオプティカルフローに対して、個々のオプティカルフローの変位量を頻度マップに投票し、前記頻度マップの最頻値から代表ベクトルを決定し、次フレームにおける前記テンプレートの前記予測マッチング位置を獲得する各工程を有することを特徴とする画像認識方法。
- 前記予測マッチング位置を獲得する工程は、前記テンプレートに対応する領域内のオプティカルフローを用いて２次元頻度マップを作成し、前記２次元頻度マップ中で最頻値に対応するオプティカルフローを前記テンプレートの代表ベクトルとすることを特徴とする請求項１１記載の画像認識方法。
- 前記予測マッチング位置を獲得する工程は、前記テンプレートに対応する領域内のオプティカルフローを用いて水平・垂直成分の各１次元頻度マップを作成し、各成分の１次元頻度マップで最頻値に対応するオプティカルフローを前記テンプレートの代表ベクトルとすることを特徴とする請求項１１記載の画像認識方法。
- 撮像時刻が異なる複数の画像を用いて物体の動きを示すオプティカルフローを画像のブロック単位で推定し、マスク処理を施した領域の画素を演算対象外として予測マッチング位置付近に設定した探索範囲からテンプレートの最適マッチング位置を探索し、前記現フレーム画像で互いに重複領域を持つ複数のテンプレート同士の関係を判定して、奥側に存在すると判定したテンプレートの重複領域にマスク処理を施してテンプレートを更新し、新しくオプティカルフローが塊状に発生した領域を新規テンプレートとして登録し、前記現フレームの前記テンプレートに対応する領域内の全てのオプティカルフローに対して、個々のオプティカルフローの変位量を頻度マップに投票し、前記頻度マップの最頻値から代表ベクトルを決定し、次フレームにおける前記テンプレートの前記予測マッチング位置を獲得する各工程を有することを特徴とする画像認識方法。
- 請求項８ないし１４のいずれかに記載の画像認識方法における各工程をコンピュータに実行させるためのプログラム。
- 請求項８ないし１４のいずれかに記載の画像認識方法における各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001180920A JP4467838B2 (ja) | 2001-06-15 | 2001-06-15 | 画像認識装置および画像認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001180920A JP4467838B2 (ja) | 2001-06-15 | 2001-06-15 | 画像認識装置および画像認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002373332A JP2002373332A (ja) | 2002-12-26 |
| JP4467838B2 true JP4467838B2 (ja) | 2010-05-26 |
Family
ID=19021263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001180920A Expired - Fee Related JP4467838B2 (ja) | 2001-06-15 | 2001-06-15 | 画像認識装置および画像認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4467838B2 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4874150B2 (ja) * | 2007-03-30 | 2012-02-15 | セコム株式会社 | 移動物体追跡装置 |
| JP2011043863A (ja) * | 2007-11-16 | 2011-03-03 | Nec Corp | 対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置 |
| JP5656567B2 (ja) | 2010-11-05 | 2015-01-21 | キヤノン株式会社 | 映像処理装置および方法 |
| US9104909B2 (en) | 2010-12-15 | 2015-08-11 | Canon Kabushiki Kaisha | Image processing apparatus and method of processing image |
| JP5885398B2 (ja) | 2011-05-20 | 2016-03-15 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| US9111346B2 (en) | 2011-09-13 | 2015-08-18 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and recording medium |
| JP5925068B2 (ja) | 2012-06-22 | 2016-05-25 | キヤノン株式会社 | 映像処理装置、映像処理方法、およびプログラム |
| JP6181925B2 (ja) | 2012-12-12 | 2017-08-16 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
| JP6159179B2 (ja) | 2013-07-09 | 2017-07-05 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP6270111B2 (ja) * | 2013-10-17 | 2018-01-31 | 株式会社熊平製作所 | 移動体表示システムおよび移動体表示プログラム |
| KR101407322B1 (ko) * | 2014-01-06 | 2014-06-16 | 주식회사 넥스파시스템 | 매크로블록 기반 모션인식을 이용한 번호인식시스템 |
| JP6362085B2 (ja) | 2014-05-21 | 2018-07-25 | キヤノン株式会社 | 画像認識システム、画像認識方法およびプログラム |
| CN105469380A (zh) * | 2014-09-05 | 2016-04-06 | 株式会社理光 | 对于对象的遮挡进行检测的方法和装置 |
| JP6620443B2 (ja) * | 2015-07-17 | 2019-12-18 | 富士通株式会社 | 監視プログラム、監視装置、及び監視方法 |
| JP2017033547A (ja) | 2015-08-05 | 2017-02-09 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム |
| EP3142040A1 (en) | 2015-09-11 | 2017-03-15 | Canon Kabushiki Kaisha | Information processing apparatus, method of controlling the same, and program |
| JP6775343B2 (ja) | 2015-09-11 | 2020-10-28 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム |
| JP6758834B2 (ja) | 2016-01-14 | 2020-09-23 | キヤノン株式会社 | 表示装置、表示方法及びプログラム |
| JP6879296B2 (ja) * | 2016-03-31 | 2021-06-02 | 日本電気株式会社 | 画像検出装置、画像検出方法、及びプログラム |
| KR102284448B1 (ko) | 2016-04-19 | 2021-08-02 | 캐논 가부시끼가이샤 | 정보 처리장치, 정보 처리방법 및 기억매체 |
| EP3418944B1 (en) | 2017-05-23 | 2024-03-13 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
| US20200106930A1 (en) * | 2017-06-15 | 2020-04-02 | Sharp Kabushiki Kaisha | Video processing device, display device, video processing method, and control computer-readable storage medium |
| GB2569803B (en) * | 2017-12-22 | 2021-11-24 | Novarum Dx Ltd | Analysis of a captured image to determine a test outcome |
| JP7257765B2 (ja) | 2018-09-27 | 2023-04-14 | キヤノン株式会社 | 情報処理装置、認証システムおよびそれらの制御方法、プログラム |
| JP7330708B2 (ja) | 2019-01-28 | 2023-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US20220147778A1 (en) * | 2019-03-26 | 2022-05-12 | Nec Corporation | Information processing device, personal identification device, information processing method, and storage medium |
| JP7438684B2 (ja) | 2019-07-30 | 2024-02-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP7404081B2 (ja) * | 2020-01-20 | 2023-12-25 | フォルシアクラリオン・エレクトロニクス株式会社 | 障害物検出装置 |
-
2001
- 2001-06-15 JP JP2001180920A patent/JP4467838B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002373332A (ja) | 2002-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4467838B2 (ja) | 画像認識装置および画像認識方法 | |
| US8712096B2 (en) | Method and apparatus for detecting and tracking vehicles | |
| TWI393074B (zh) | 移動物體偵測裝置與方法 | |
| EP2858008B1 (en) | Target detecting method and system | |
| JP5102410B2 (ja) | 移動体検出装置および移動体検出方法 | |
| US7352880B2 (en) | System and method for detecting and tracking a plurality of faces in real time by integrating visual ques | |
| Badenas et al. | Motion-based segmentation and region tracking in image sequences | |
| US7747075B2 (en) | Salient motion detection system, method and program product therefor | |
| US20160379366A1 (en) | Aligning 3d point clouds using loop closures | |
| Akolkar et al. | Real-time high speed motion prediction using fast aperture-robust event-driven visual flow | |
| CN110753892A (zh) | 在自动驾驶车辆中用于经由交叉模态验证的即时物体标记的方法和系统 | |
| CN110869559A (zh) | 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统 | |
| WO2020104423A1 (en) | Method and apparatus for data fusion of lidar data and image data | |
| CN110753953A (zh) | 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统 | |
| Diego et al. | Video alignment for change detection | |
| CN102831382A (zh) | 人脸跟踪设备和方法 | |
| JP2002048513A (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
| US20120020523A1 (en) | Information creation device for estimating object position and information creation method and program for estimating object position | |
| Smith | ASSET-2: Real-time motion segmentation and object tracking | |
| CN110390685B (zh) | 一种基于事件相机的特征点跟踪方法 | |
| CN107194948B (zh) | 基于集成式预测与时空域传播的视频显著性检测方法 | |
| US20200279395A1 (en) | Method and system for enhanced sensing capabilities for vehicles | |
| Aeschliman et al. | Tracking vehicles through shadows and occlusions in wide-area aerial video | |
| JP5371040B2 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
| CN111539987A (zh) | 基于判别模型的遮挡检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050901 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060328 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070327 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071205 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071212 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20080616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100126 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100224 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |