JP2001148019A - 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】移動物体間の様々な動作を分類可能にする。 【解決手段】移動物体間の相対速度ベクトルＶをＤ＝ｄ
＋ε（ｄは移動物体間距離ｄ、εは正又は０の定数）で
除した危険度ベクトルＶ／Ｄを計算し（２６）、一方の
移動物体の速度ベクトルが常にＸ方向になるようにベク
トルＶ／Ｄを回転させ（３０Ａ）、量子化し（３１）、
その時系列を観測系列としてメモリ２７Ａに格納し、｜
Ｖ／ｄ｜が設定値Ｃより大きいとき（２８）、所定時間
経過後に観測系列｛Ｏ₁Ｏ₂...Ｏ_T｝をメモリ２７Ａから
切り出し、観測系列の参照系列に対する類似度を算出し
（３２）、該類似度に基づいて移動物体間の動作が衝突
であるかどうかを判定する（３３）。類似度は、隠れマ
ルコフモデルに基づき算出され、又は、ニューラルネッ
トワークを用いて決定される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動物体間動作分
類方法及び装置、画像認識装置並びに移動物体認識方法
及び装置に関する。

【０００２】

【従来の技術】交通事故の早期発見は、迅速な救助活動
により人命救助の成功率を高めるだけでなく、警察の実
地検分などを迅速にすることにより事故渋滞を緩和する
こともできるので、様々な交通事故の認識自動化が期待
されている。

【０００３】従来の交通監視装置は、特定条件の下での
限定的な事象しか認識することができなかった。

【０００４】例えば高速道路上の車をカメラで撮像し、
その画像を処理して通常の直線的な動きとは異なる動き
を異常と認識していた。しかし、車の動きは本来の進行
方向であることが前提になっており、限定された条件を
満たす事故しか認識することができない。

【０００５】また、交差点の車をカメラで撮像し、信号
機が停止を示している時に車が停止線を通過している場
合、信号無視であると認識していた。しかし、この場合
も限られた範囲の画像の限定的な事象しか認識すること
ができない。

【０００６】すなわち、従来の交通監視装置は、交差点
の全領域で複雑な動きをする車の様々な衝突事故を検出
することができない。この問題を解決するには、新規な
画像認識方法を用いる必要がある。

【０００７】一方、車、バイク、自転車及び人などの移
動物体をカメラで撮像してその動作を認識しようとする
と、分離して写っていた移動物体同士がその後、隣接し
又は重なり、その際にカメラと移動物体との間の距離及
びアングルに依存して移動物体の形や大きさが変化する
場合がある。

【０００８】衝突事故を正確に認識するためには、この
ような移動物体の動作を正確に認識する必要があるが、
従来ではこれが容易でなかった。

【０００９】

【発明が解決しようとする課題】本発明の目的は、この
ような問題点に鑑み、移動物体間の様々な動作を分類す
ることが可能な移動物体間動作分類方法及び装置並びに
画像認識装置を提供することにある。

【００１０】本発明の他の目的は、移動物体の動作をよ
り正確に認識することが可能な移動物体認識方法及び装
置を提供することにある。

【００１１】

【課題を解決するための手段及びその作用効果】本発明
による移動物体間動作分類方法では、移動物体間の相対
速度ベクトルＶに関する量を量子化した観測量Ｏの時系
列である観測系列｛Ｏ₁Ｏ_2...Ｏ_T｝を求め、該観測系列
の参照系列に対する類似度を算出し、該類似度に基づい
て移動物体間の動作を分類する。

【００１２】この移動物体間動作分類方法によれば、
（１）移動物体間の相対速度ベクトルＶを用いること、
（２）このベクトルに関する量を量子化していること、
及び、（３）観測系列｛Ｏ₁Ｏ_2...Ｏ_T｝の参照系列に対
する類似度を算出していることから、少ない参照系列で
様々な移動物体間の動作を分類することが可能になる。

【００１３】上記分類は例えば、移動物体間の衝突であ
るかどうかの分類であり、この場合、交差点で複雑な動
きをする車の様々な衝突事故を検出することが可能とな
り、これにより救助活動が迅速に行われるとともに、実
地検分が迅速に行われて事故渋滞が緩和される。

【００１４】本発明による移動物体間動作分類装置で
は、移動物体を撮像して画像信号を出力する電子カメラ
と、該画像信号を処理して、移動物体間の相対速度ベク
トルＶに関する量を量子化した観測量Ｏの時系列である
観測系列｛Ｏ₁Ｏ_2...Ｏ_T｝を求め、該観測系列の参照系
列に対する類似度を算出し、該類似度に基づいて移動物
体間の動作を分類する画像認識装置とを有する。

【００１５】本発明による画像認識装置では、移動物体
の撮影画像を処理して、移動物体間の相対速度ベクトル
Ｖに関する量を量子化した観測量Ｏの時系列である観測
系列｛Ｏ₁Ｏ_2...Ｏ_T｝を求め、該観測系列の参照系列に
対する類似度を算出し、該類似度に基づいて移動物体間
の動作を分類する。

【００１６】本発明による移動物体認識方法では例えば
図１３及び２０（Ａ）に示す如く、電子カメラで撮影さ
れたフレーム画像を、複数ピクセルからなるブロックに
分割し、移動物体の一部が含まれる各ブロックについ
て、次フレーム画像内で、該ブロックと同一形状で類似
したものを見つけて、該ブロックの動きベクトルを求
め、該移動物体に含まれる複数のブロックの各動きベク
トルの代表値を、該移動物体の動きベクトルと決定す
る。

【００１７】この方法によれば、右折や左折する移動物
体の速度を高精度で測定することが可能となる。

【００１８】本発明による他の移動物体認識装置では、
例えば図１６に示す如く、撮影された前フレーム画像及
び現フレーム画像が格納される画像記憶部（２１）と、
該前フレーム画像を、複数ピクセルからなるブロックに
分割したときの、移動物体の一部が含まれる各ブロック
について、該現フレーム画像内で、該ブロックと同一形
状で類似したものを見つけて、該ブロックの動きベクト
ルを求め、該移動物体に含まれる複数のブロックの各動
きベクトルの代表値を、該移動物体の動きベクトルと決
定する動きベクトル算出部（３７）とを有する。

【００１９】本発明による他の移動物体認識方法では、
電子カメラで撮影されたフレーム画像を、複数ピクセル
からなるブロックに分割し、同一移動物体に属するブロ
ックに同一識別符号を持たせたオブジェクトマップを作
成し、時間的に前後のフレーム画像に基づいて、各移動
物体の動きベクトルを求める方法であって、現フレーム
画像について移動物体が存在すると判定されたブロック
の各々が、前フレーム画像に存在する移動物体のいずれ
かの識別符号を持っていると仮定したときの評価関数の
値の大小関係に基づいて、該存在ブロックに付与すべき
識別符号を決定する。

【００２０】画像上で移動物体間の重なりが生じて、カ
メラから見て背面側の移動物体の一部が見えなくなって
も、カメラから見て前面側の移動物体は見えるので、こ
の移動物体認識方法によれば、存在ブロックがどの移動
物体に属するかを評価関数の値に基づき推定することが
できる。

【００２１】また、時刻ｔにおいて、移動物体間が重な
っていないが接近しているため同一ブロックに２つの移
動物体の一部が属し、このブロックのＩＤが不明であっ
ても、時刻（ｔ−１）では該一部がそれぞれ異なるブロ
ックに属している場合があるので、この移動物体認識方
法によれば、存在ブロックがどの移動物体に属するかを
評価関数の値に基づき推定することができる。

【００２２】本発明による他の移動物体認識装置では、
撮影されたフレーム画像が格納される画像記憶部と、該
フレーム画像を複数ピクセルからなるブロックに分割
し、ブロックに移動物体が存在するかどうかを判定し、
同一移動物体に属するブロックに同一識別符号を持たせ
たオブジェクトマップを作成するオブジェクトマップ作
成部と、該画像記憶部に格納された時間的に前後のフレ
ーム画像に基づいて、各移動物体の動きベクトルを求め
る動きベクトル算出部と、現フレーム画像について移動
物体が存在すると判定されたブロックの各々が、前フレ
ーム画像に存在する移動物体のいずれかの識別符号を持
っていると仮定したときの評価関数の値の大小関係に基
づいて、該存在ブロックに付与すべき識別符号を決定す
るＩＤ更新部と、を有する。

【００２３】本発明の他の目的、構成及び効果は以下の
説明から明らかになる。

【００２４】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。

【００２５】［第１実施形態］図１は、本発明の移動物
体間動作分類装置を交差点に配置した場合の概略を示し
ている。

【００２６】この装置は、交差点を撮像して画像信号を
出力する電子カメラ１０と、その画像を処理して移動物
体間衝突事故を認識する画像認識装置２０とを備えてい
る。

【００２７】図２は、本発明の第１実施形態に係る画像
認識装置２０のハードウエア及びソフトウエアの構成を
機能ブロックで示している。

【００２８】電子カメラ１０からの画像信号は、デジタ
ル化されており、画像メモリ２１に格納される。移動物
体認識部２２は、画像メモリ２１内の現画像を過去の画
像と比較して、移動物体を認識し、その位置、例えば移
動物体の図形の重心を検出する。例えば図１の場合、車
Ｍ１〜Ｍ６の位置Ｐ１〜Ｐ６を検出する。これらの位置
座標は、位置レジスタアレイ２３の内容が位置レジスタ
アレイ２４にコピーされた後、位置レジスタアレイ２３
に保持される。移動物体認識部２２はまた、移動物体間
の距離、例えば図３（Ａ）に示す距離ｄを画素単位で測
定し、位置レジスタアレイ内の２位置の組み合わせと対
応させて、相対距離レジスタアレイ２５に格納する。

【００２９】Ｖ／Ｄ計算部２６は、位置レジスタアレイ
２３と２４の対応するレジスタの内容の差を移動物体の
速度ベクトルとして求め、次に、全ての移動物体間の相
対速度ベクトルＶを計算する。例えば、図３（Ａ）に示
す車Ｍ１の速度ベクトルＶ１と車Ｍ２の速度ベクトルＶ
２の相対速度ベクトルＶは図３（Ｂ）に示す如くなる。
Ｖ／Ｄ計算部２６はさらに、各移動物体間について、相
対速度ベクトルＶの２物体に対応した相対距離位置レジ
スタアレイ２４の内容ｄを読み出し、ベクトルＶ／Ｄを
計算する。ここに、Ｄ＝ｄ＋εであり、εはＤ＞０を保
証するための定数であって、ε≧０である。εの値はｄ
の定義によって異なり、必ずＤ＞０であればε＝０とす
ることができる。

【００３０】相対的なベクトルであるＶ／Ｄの時系列パ
ターンが同一であれば同一パターンであると認識される
ので、様々な衝突事故を認識することが可能となる。衝
突危険度は、相対速度ベクトルＶが大きいほど、相対距
離ｄが小さいほど大きいと考えられるので、Ｖ／Ｄは衝
突危険度を示している。図１の場合、移動物体間の組み
合わせは１５通りあり、各組み合わせについてＶ／Ｄを
計算する。その計算結果は、Ｖ／Ｄ時系列メモリ２７に
格納される。

【００３１】Ｖ／Ｄ時系列メモリ２７は、例えばＦＩＦ
Ｏメモリであり、最も古いデータがＶ／Ｄ時系列メモリ
２７から排出されるとともに、Ｖ／Ｄ計算部２６からの
新たなデータがＶ／Ｄ時系列メモリ２７格納される。次
の表１は、Ｖ／Ｄ時系列メモリ２７内のデータ格納状態
を示している。

【００３２】

【表１】

【００３３】表１中、（Ｖ／Ｄ）ｉｊｔは、車ＭｉとＭ
ｊの組の時刻ｔにおける危険度ベクトルＶ／Ｄの値を示
している。Ｖ／Ｄは、例えばＸ座標とＹ座標の値で表さ
れる。

【００３４】Ｖ／Ｄが小さければ衝突が生じないので、
認識開始判定部２８は、Ｖ／Ｄ計算部２６の出力からそ
の絶対値｜Ｖ／Ｄ｜を計算し、これが設定値Ｃより大き
いかどうかを判定し、その結果をＶ／Ｄ時系列切り出し
部２９に供給する。

【００３５】｜Ｖ／Ｄ｜＞Ｃと判定されると、その後所
定時間以内に交通事故が生ずるかもしれないので、該所
定時間経過後にＶ／Ｄ時系列切り出し部２９はそのＶ／
Ｄ時系列をＶ／Ｄ時系列メモリ２７から切り出す。

【００３６】このようにすれば、｜Ｖ／Ｄ｜≦Ｃのとき
には衝突事故の認識をしないので、無駄な処理が省か
れ、処理速度が低速で安価な装置を用いて衝突事故認識
に必要な処理時間を確保することが可能になる。

【００３７】ここで、様々な衝突事故を容易に認識可能
にするためには、類似の衝突事故を同種事故と分類する
必要がある。例えば、ある衝突事故の時系列パターン
と、静止座標系を回転させれば同一になる時系列パター
ンとが、同一観測系列になるようにした方が好ましい。
すなわち、交差点の形状やカメラ１０の取付位置などに
観測系列が依存しないようにすべきである。

【００３８】そこでベクトル回転部３０は、Ｖ／Ｄ時系
列切り出し部２９で切り出されたＶ／Ｄ時系列内の最初
の時刻ｔ＝１のベクトル（Ｖ／Ｄ）ｉｊ１のＸ軸に対す
る角度θを計算する。次に、このＶ／Ｄ時系列の各ベク
トルＶ／Ｄを−θ回転させる。例えば図３（Ｃ）に示す
如く回転させる。これにより、例えば図５に示す衝突パ
ターンのＶ／Ｄ時系列とこれを１８０度回転させた図６
に示すような衝突パターンのそれは同一になる。

【００３９】簡単化のためにＶ／Ｄの替わりに速度ベク
トルのみで説明すると、図７に示す車Ｍ１及びＭ２の時
刻ｔ＝１〜４での速度ベクトルＶ１１〜Ｖ１４及びＶ２
１〜Ｖ２４は、−θ回転により図８（Ａ）に示す速度ベ
クトルＶ１１ａ〜Ｖ１４ａ及びＶ２１ａ〜Ｖ２４ａにな
り、相対速度ベクトルは図８（Ｂ）に示すＶ＝Ｖ１〜Ｖ
４となる。

【００４０】量子化部３１は、このように回転されたＶ
／Ｄ時系列の各Ｖ／Ｄについて、図４に示す如く、量子
化する。例えばＶ／Ｄ＝ｖの時系列が｛ｖ０,ｖ１,ｖ
２｝の場合、時系列｛０,１,２｝と量子化する。量子化
された観測量の時系列を観測系列と称す。例えば図５に
示す時刻ｔ＝４〜９の観測系列は｛１,２,３,０,８,
７｝となる。図６の衝突パターンについても同じであ
る。この量子化により、ある衝突パターンと類似の衝突
パターンは同一観測系列となるので、様々な衝突事故を
容易に認識可能になる。また、量子化により観測系列が
簡単な数値列になるので、その後の認識処理が簡単にな
る。

【００４１】類似度計算部３２は、具体的な衝突事故の
観測系列を参照系列とし、量子化部３１から供給される
観測系列の参照系列に対する類似度を計算する。上記の
ことから、少ない参照系列で様々な衝突事故を容易に認
識可能になる。

【００４２】公知のパターン類似度計算には、隠れマル
コフモデル（ＨＭＭ）法やパターンマッチング法などが
あり、これらのいずれかを利用することができる。例え
ば、具体的な衝突事故の観測系列を学習系列としてパラ
メータを決定したＨＭＭにより、量子化部３１で得られ
た観測系列が生ずる確率Ｐ＝ＥＸＰ（μ）を計算する。
この計算方法は、後述する。学習系列に対称パターンが
含まれていなければ、量子化部３１で得られた観測系列
と対称なパターンについても確率Ｐを計算し、確率Ｐの
大きい方の値を類似度とする。例えば、観測系列｛０,
１,４,５,２｝に対し、図４との関係でこれと対称なパ
ターンは｛０,１,１０,１１,２｝である。

【００４３】衝突事故判定部３３は、μが設定値μ０よ
り大きければ、この観測系列が衝突事故であると判定
し、その結果を出力する。この結果は、警察に自動通報
され、これにより救助活動が迅速に行われるとともに、
実地検分が迅速に行われて事故渋滞が緩和される。

【００４４】図２の構成要素２８〜３３の処理は、コン
ピュータで実行することができる。

【００４５】次に上記計算方法を説明する。

【００４６】図９に示すような状態数Ｎのｌｅｆｔ−ｔ
ｏ−ｒｉｊｈｔ ＨＭＭを考える。ＨＭＭにおける状態
は観測量ではなく、具体的なイメージと対応していない
のが通常である。観測量は図４に示す如く量子化された
ものであり、時刻ｔでの観測量をＯ_tと表記する。１≦
ｉ≦Ｎなる任意のｉについて、時刻（ｔ−１）で状態ｉ
であるとき、時刻ｔで状態ｊになる確率をａ_ijと表記
し、このとき観測量Ｏ_tを出力する確率をｂ_ij（Ｏ_t）と
表記すると、次の関係が成立する。

【００４７】ｊ≠ｉかつｊ≠ｉ＋１に対し、ａ_ij＝０、
ｂ_ij（Ｏ_t）＝０ １≦ｉ≦Ｎ−１なる任意のｉに対し、ａ_ii＋ａ_i(i+1)＝
１ 状態Ｎは最終状態であり、次の状態には遷移できず、ａ
_NN＝１ ｊ＝ｉ又はｊ＝ｉ＋１に対し、 ｂ_ij（０）＋ｂ_ij（１）＋・・・＋ｂ_ij（１２）＝１ 例えば初期ｔ＝０に状態１である確率が１であり、時刻
ｔ＝１、２の観測系列｛２,５｝が生ずる確率Ｐは、時
刻ｔ＝１、２の状態系列｛１,１｝、｛１,２｝、｛２,
２｝、｛２,３｝の各々について観測系列｛２,５｝を出
力する確率の総和であり、次式で表される。

【００４８】 Ｐ＝ａ₁₁・ｂ₁₁（２）・ａ₁₁・ｂ₁₁（５）＋ａ₁₁・ｂ₁₁
（２）・ａ₁₂・ｂ₁₂（５）＋ａ₁₂・ｂ₁₂（２）・ａ₂₂・
ｂ₂₂（５）＋ａ₁₂・ｂ₁₂（２）・ａ₂₃・ｂ₂₃（５） 初期ｔ＝０に状態ｉにいる確率をπ_iと表記する。ＨＭ
Ｍモデルは、初期状態の確率分布π＝｛π_1,π_2,π
_3,,,,,π_N｝と、上記確率ａ_ij及びｂ_ij（ｋ）の集合と
により定まる。これらのパラメータをλと表記する。

【００４９】以下、観測系列の長さをＴ、観測量の数を
Ｌ（図４ではＬ＝１３）と表記する。また、時刻ｔまで
に観測系列｛Ｏ₁Ｏ_2...Ｏ_t｝を出力し、状態ｉになる部
分系列観測確率をα（ｉ，ｔ）と表記する。

【００５０】モデルパラメータλの下で観測系列｛Ｏ₁
Ｏ_2...Ｏ_T｝が生ずる確率Ｐ（Ｏ₁Ｏ_{2 ...}Ｏ_T｜λ）は一
般に、以下の３ステップからなる前向きアルコリズムで
計算されることが知られている。

【００５１】ステップ１：ｔ＝１ α（１，１）＝π₁・ｂ₁₁ ２≦ｊ≦Ｎの各ｊに対し、 α（ｊ，１）＝π_(j-1)・ｂ_(j-1)j＋π_j・ｂ_jj ステップ２：ｔ＝１，２，・・・，Ｔ−１の各々につい
て順次１≦ｊ≦Ｎの各ｊに対し、

【００５２】

【数１】

【００５３】ステップ３：

【００５４】

【数２】

【００５５】確率Ｐは、公知の後ろ向きアルコリズムで
も、さらにＶｉｔｅｒｂｉアルゴリズムでも計算するこ
とができる（電子・情報工学講座１９「情報処理概
論」、榑松明著、培風館）。

【００５６】ここで、時刻ｔで状態ｉにいるとき、時刻
（ｔ＋１）からの観測系列が｛Ｏ_{t+ 1}Ｏ_t+2・・・Ｏ_T｝
となる確率をβ（ｉ，ｔ）と表記すると、次の関係式が
成立する。

【００５７】

【数３】

【００５８】また、学習系列｛Ｏ₁Ｏ₂・・・Ｏ_T｝に関
し、時刻（ｔ−１）に状態ｉにいて時刻ｔで状態ｊに遷
移する確率をγ（ｉ，ｊ，ｔ）と表記する。

【００５９】モデルパラメータは、衝突事故の観測系列
を学習系列として、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズム
により求めることができる。すなわち、モデルパラメー
タに初期値を与え、１≦ｉ≦Ｎ、１≦ｊ≦Ｎの各ｉ及び
ｊに対し、以下のステップ１でγ（ｉ，ｊ，ｔ）を計算
し、得られたγ（ｉ，ｊ，ｔ）を用いてステップ２でモ
デルパラメータを更新し、同様にステップ１と２の計算
をモデルパラメータが収束するまで繰り返すことによ
り、モデルパラメータが決定される。

【００６０】ステップ１：γ（ｉ，ｊ，ｔ）の計算

【００６１】

【数４】

【００６２】ここに、Ｆは状態の全集合｛１，２，・・
・，Ｎ｝であり、総和のｉはｉ∈Ｆと同じ意味である。

【００６３】ステップ２：モデルパラメータ更新

【００６４】

【数５】

【００６５】ここに、総和のｉ及びｊはいずれもｉ∈Ｆ
及びｊ∈Ｆを意味している。また、ｔ：ｙ_t＝ｋは、時
刻ｔにおいて観測量ｋであるもののみの総和をとること
を意味している。

【００６６】学習系列が複数ある場合には、例えば、１
つの学習系列につき上記方法でモデルパラメータを決定
し、このモデルパラメータを初期値として次の学習系列
につき上記方法でモデルパラメータを決定し、以降同様
の処理を繰り返す。

【００６７】［第２実施形態］図１０は、本発明の第２
実施形態に係る画像認識装置２０Ａのハードウエア及び
ソフトウエアの構成を機能ブロックで示している。

【００６８】移動物体認識部２２Ａは、メモリを有し、
画像メモリ２１内の画像の解像度を低減し、移動物体の
みの図１０に示すようなパターン情報を該メモリに書き
込む。例えば、画像メモリ２１の１フレームが４８０×
６４０ピクセルの場合、８×８ピクセルを１ブロックの
情報に低減して、６０×８０ブロックのパターン情報に
変換する。ブロック情報は、移動物体毎に異なる識別符
号であり、図１０では図１中の車Ｍ１〜Ｍ６に対応して
それぞれ識別符号１〜６の情報が書き込まれている。

【００６９】移動物体認識部２２Ａは、上記第１実施形
態と同様に移動物体の位置を検出し、また、異なる識別
符号の画素間距離の最小値を移動物体間距離ｄと決定す
る。

【００７０】次に、本第２実施形態で用いる観測量につ
いて説明する。

【００７１】図１２（Ａ）において、車Ｍ１及びＭ２の
時刻ｔ＝１〜４での速度ベクトルＶ１１〜Ｖ１４がＸ方
向になるようにそれぞれθ１〜θ４回転させたものを速
度ベクトルＶ１１ｂ〜Ｖ１４ｂとする。速度ベクトルが
０である場合にはその方向を、０になる直前の速度ベク
トルの方向であるとみなす。θ１〜θ４回転に対応し
て、車Ｍ２の時刻ｔ＝１〜４での速度ベクトルＶ２１〜
Ｖ２４をそれぞれθ１〜θ４回転させたものを速度ベク
トルＶ２１ｂ〜Ｖ２４ｂとする。ｉ＝１〜４について、
図１２（Ｂ）に示す相対速度ベクトルＶｉ＝Ｖ２ｉｂ−
Ｖ１ｉｂを求める。換言すれば、車Ｍ１の速度ベクトル
Ｖ１ｉのＸ軸に対する角度がθｉのとき、車Ｍ１とＭ２
の相対速度ベクトル（Ｖ２ｉ−Ｖ１ｉ）を−θ回転させ
たベクトルＶｉを求める。次に、ベクトルｖ＝Ｖｉ／Ｄ
ｉを図４に示すように量子化したものを、時刻ｔ＝ｉで
の観測量として求める。ここにＤｉは、時刻ｔ＝ｉでの
上述のＤ＝ｄ＋εである。

【００７２】図１３は、図１２（Ａ）を時計回りに９０
゜回転させた速度ベクトル時系列パターンを示してい
る。この場合、上記同様に回転して得られる速度ベクト
ルＶ１１ｂ〜Ｖ１４ｂ及びＶ２１ｂ〜Ｖ２４ｂは、図１
２（Ａ）のそれと同一になり、観測系列も図１２（Ａ）
の場合と同一になる。

【００７３】すなわち、この観測系列は、図１３におい
て、車Ｍ１に固定された座標系から見た車Ｍ２の相対的
な観測量Ｖ／Ｄの時系列であり、地上静止座標系を回転
させても同一になる。

【００７４】このような観測系列を用いれば、図１０に
示す如く、Ｖ／Ｄ計算部２６で求められたＶ／Ｄをベク
トル回転部３０Ａに供給してベクトルＶ／Ｄをリアルタ
イムで上記−θ回転させ、次にこれを量子化部３１で図
４に示す如く量子化し、観測系列メモリ２７Ａに格納す
ることができる。

【００７５】したがって、図２の場合のようにθ決定時
点を選ぶ必要がない。また、量子化後の観測量がメモリ
２７Ａに格納されるので、その必要な容量は、量子化前
のベクトル量が格納される図２のメモリ２７のそれより
少なくなる。

【００７６】他の点は、上記第１実施形態と同一であ
る。

【００７７】次に、上記第２実施形態の効果を示す実験
結果について説明する。

【００７８】（１）衝突動作パターンに対するモデルパ
ラメータλ１の決定 状態数Ｎ＝７とした。ａ_ijの初期値を、 ｉ＝１〜６の各々についてａ_ii＝０．５ ａ₇₇＝１．０ とし、ｂ_ijの初期値を、ｉ＝１〜６、ｊ＝ｉ＋１、ｋ＝
０〜２の各々について、 ｂ_ii（ｋ）＝０．１０、ｂ_ij（ｋ）＝０．１０ ｉ＝７、ｋ＝０〜２の各々について、 ｂ_ii（ｋ）＝０．１０ ｉ＝１〜６、ｊ＝ｉ＋１、ｋ＝３〜１２の各々につい
て、 ｂ_ii（ｋ）＝０．０７、ｂ_ij（ｋ）＝０．０７ ｉ＝７、ｋ＝０〜２の各々について、 ｂ_ii（ｋ）＝０．０７ とした。また、初期ｔ＝０での状態確率分布を、 π₁＝１、ｉ＝２〜７に対しπ_i＝ ０ とした、さらに、以下の表２のＮｏ１〜１０の衝突事故
観測系列を学習系列とした。この学習系列はいずれも、
図５又は図６に示すような同一車線上の同一方向の車間
の衝突に関するものである。

【００７９】

【表２】

【００８０】このような条件の下で、上記Ｂａｕｍ−Ｗ
ｅｌｃｈアルゴリズムによりパラメータａ_ijを次の表３
のように決定し、パラメータｂ_ij（０）〜ｂ_ij（６）及
びｂ _ij（７）〜ｂ_ij（１２）をそれぞれ以下の表４及び
表５のように決定した。

【００８１】

【表３】

【００８２】

【表４】

【００８３】

【表５】

【００８４】このモデルパラメータをλ１と表記する。

【００８５】（２）他の動作パターンに対するモデルパ
ラメータの決定 上記同様にして、次の２つの動作パターンに対するモデ
ルパラメータλ２及びλ３を決定した。

【００８６】交差点で同一方向に直列に隣合った車ど
うしが衝突を起こさずにストップ／スタート動作（タン
デム動作）するパターン 次の表６のＮｏ１〜１０の観測系列をこの動作の学習系
列とした。タンデム動作は、後ろの車が前の車に接近し
た後、前の車が後ろの車から離れるので、衝突動作に類
似している。

【００８７】

【表６】

【００８８】上記同様にして得られたモデルパラメータ
をλ２と表記する。

【００８９】異なる車線で少なくとも一方が移動して
他方を通過する動作（通過動作）パターン 次の表７のＮｏ１〜１０の観測系列をこの動作の学習系
列とした。

【００９０】

【表７】

【００９１】上記同様にして得られたモデルパラメータ
をλ３と表記する。

【００９２】同一車線上の同一方向の車間のある衝突事
故の観測系列Ｏ¹、タンデムスタート／ストップ動作の
観測系列Ｏ²及び通過動作の観測系列Ｏ³の各々につい
て、モデルパラメータλ１、λ２及びλ３の下で該観測
系列が生ずる確率Ｐ（Ｏⁱ｜λｊ）＝ＥＸＰ（μ_ij）、
ｉ＝１〜３、ｊ＝１〜３の指数部μ_ijを計算したとこ
ろ、次の表８に示す結果が得られた。

【００９３】

【表８】

【００９４】この表から、例えば、 Ｐ（Ｏ¹｜λ１）／Ｐ（Ｏ²｜λ１）＝ＥＸＰ（１１．
２） Ｐ（Ｏ¹｜λ１）／Ｐ（Ｏ³｜λ１）＝ＥＸＰ（２９．
７） と確率比が大きく、動作分離性能が高いことがわかる。

【００９５】次に、衝突事故のＨＭＭモデルにおける状
態の理解を深めるための解析結果を説明する。

【００９６】図１４は、ＨＭＭモデルにおいて、衝突動
作(Accident)とこれに類似したタンデム動作(Tandem)と
の区別の程度が状態数Ｎによりどのように変化するかの
解析結果を示す。モデルパラメータは、４０の衝突事故
の観測系列を学習系列として決定した。横軸は状態数Ｎ
であり、縦軸はこのモデルで計算された観測系列の確率
Ｐ＝ＥＸＰ（μ）の指数部を、複数の観測系列について
合計し、さらに−１を乗じた値である。図１４中のAcci
dentは、前記４０の観測系列に関するものであり、Tand
emは他の４０のタンデム動作の観測系列に関するもので
ある。

【００９７】この図から、Ｎが６又は７以上でTandemと
Accidentの区別がよくできることが分かる。

【００９８】図１５は、Ｎ＝７のときの上記モデルパラ
メータの下で、状態ｉから状態ｊ＝ｉ＋１に遷移し又は
状態ｊに留まって観測量Ｏを出力する確率（ｂ_ij（Ｏ）
＋ｂ _jj（Ｏ））の具体例を視覚的に示す３次元棒グラフ
である。

【００９９】ＨＭＭの状態には明示的な意味はないが、
このグラフから、状態を次のように解釈することができ
る。

【０１００】無干渉（状態１及び２）：観測量０ 接近（状態３）：観測量１又は２ 急接近（状態４）：観測量３ 衝突の瞬間（状態５）：観測量０ 反動（状態６）：観測量７又は８ 停止（状態７）：観測量０ ［第３実施形態］図１６は、本発明の第３実施形態に係
る画像認識装置２０Ｂのハードウエア及びソフトウエア
の構成を機能ブロックで示している。

【０１０１】図１０とは、構成要素３４〜４０のみ異な
る。まず、構成要素３５〜３９での処理を概説する。

【０１０２】画像メモリ２１の１フレームが４８０×６
４０ピクセルの場合、８×８ピクセルを１ブロックと
し、１フレームを６０×８０ブロックに分割する。ブロ
ック単位で移動物体が存在するかどうかを判断し、存在
すれば、移動物体毎に異なる識別符号を付す。図１１で
は、升目がブロックを示しており、図１中の車Ｍ１〜Ｍ
６に対応してそれぞれ識別符号１〜６の情報がブロック
単位で書き込まれている。典型的には、一つの移動物体
に５〜３０程度のブロックが属する。移動物体として
は、車、バイク、自転車、人などがある。

【０１０３】移動物体識別番号（ＩＤ）の生成及び消滅
処理を行うために、図１７に示す如く、フレーム上（画
像メモリ２１内）において、交差点への４つの入口及び
交差点からの４つの出口にそれぞれスリットＥＮ１〜Ｅ
Ｎ４及びＥＸ１〜ＥＸ４を初期設定しておく。

【０１０４】次に、構成要素３４〜４０での処理の詳細
を説明する。

【０１０５】背景画像は、移動物体が存在しない画像で
ある。背景画像生成部３４は、画像メモリ２１をアクセ
スし、例えば過去１０分間の全画像について、対応する
ピクセルの画素値のヒストグラムを作成し、その最頻値
（モード）をそのピクセルの画素値とする画像を背景画
像として生成し、画像メモリ２１内の所定領域に格納す
る。背景画像は、背景画像生成部３４により定期的に更
新される。

【０１０６】ブロック情報メモリ３５は、６０×８０ブ
ロック及び移動物体の情報を記憶するためのものであ
り、構成要素３５〜３９及びＶ／Ｄ計算部２６によりア
クセスされる。画像メモリ２１内のブロックは、アドレ
スにより識別される。なお、画像メモリ２１とブロック
情報メモリ３５とは同一メモリ内の異なる記憶領域であ
ってもよい。

【０１０７】ＩＤ生成／消滅部３６は、画像メモリ２１
から入口スリットＥＮ１〜ＥＮ４内の画像データを読み
込み、これらスリット内に移動物体が存在するかどうか
をブロック単位で判定する。あるブロックに移動物体が
存在するかどうかは、このブロックの各ピクセルと背景
画像の対応するピクセルとの差の絶対値の総和が所定値
以上であるかどうかにより判定する。

【０１０８】入口スリット内の移動物体存在ブロック
が、識別符号を持ったブロックと隣接していない場合に
は、該移動物体存在ブロックに新たなＩＤを付す。

【０１０９】移動物体が存在すると判定された隣接ブロ
ックに同一ＩＤを付すことにより、該移動物体に対応し
たクラスタができる。例えば図１７中の入口スリットＥ
Ｎ１内にはＩＤ＝１が生成されている。新たな移動物体
のブロックが、すでに存在する移動物体のブロックと隣
接しているときには、すでに存在する移動物体のＩＤと
同じにする。例えば図１７中の入口スリットＥＮ４内の
移動物体存在ブロックには、すでに存在する移動物体の
ＩＤと同じＩＤ＝５が付加される。

【０１１０】ＩＤ生成／消滅部３６はさらに、画像メモ
リ２１から出口スリットＥＸ１〜ＥＸ４内の画像データ
を読み込み、これらスリット内に移動物体が存在するか
どうかをブロック単位で判定し、出口スリットを移動物
体が通過したときにそのＩＤを消滅させる。例えば図１
７中の出口スリットＥＸ１内のブロックにＩＤが付され
ている状態から、ＩＤが付されない状態に変化したとき
に、ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤ
として用いることができる。

【０１１１】動きベクトル算出部３７は、画像メモリ２
１から画像データを読み込み、時刻（ｔ−１）での前フ
レーム中の移動物体に属するブロック毎に独立に、これ
と時刻ｔでの現フレーム内の位置可変ブロックとの間
で、MPEGの符号化で用いられているブロックマッチング
を適用して、該ブロックの動きベクトルを求める。動き
ベクトル算出部３７はさらに、移動物体毎に、求めた複
数の動きベクトルの代表値、例えばモード、メジアン又
は平均値を、その移動物体の動きベクトルと推定し、こ
れを、該移動物体の情報としてブロック情報メモリ３５
に書き込む。代表値がメジアン又は平均値である場合に
は、中心分布から著しく離れる動きベクトルを除外した
後に代表値を求めることにより、より正確な値を得るよ
うにしてもよい。

【０１１２】例えば４ブロックの移動物体の動きベクト
ルが図２０（Ａ）に示す細線ベクトルである場合、平均
値である太線ベクトルをこの移動物体の動きベクトルと
推定する。

【０１１３】これにより、右折や左折する移動物体の速
度を高精度で測定して、衝突事故の認識率を高めること
が可能となる。

【０１１４】動きベクトル算出部３７は、図１７に示す
ＩＤ＝２のような欠落のない移動物体のみならず、ＩＤ
＝１、３及び５のような移動物体一部についても、その
動きベクトルを推定する。

【０１１５】なお、MPEGでの動きベクトルは、データ圧
縮のためのものであって、クラスタ単位の動きベクトル
という概念はない。また、動きベクトルが小さい場合に
は、ブロックマッチングの他にオプティカルフローの推
定も有用な手法として用いることができる。

【０１１６】ある移動物体に属するブロック内の各ピク
セルの色がほぼ同一である場合、すなわちテクスチャの
少ないブロックがクラスタに存在する場合、ブロックマ
ッチングやオプティカルフローなどの手法により正確な
動きベクトルを得ることができない。

【０１１７】そこで動きベクトル算出部３７は、このよ
うなブロック、例えばそのブロック内の全画素値の散布
度、例えば分散σ²、標準偏差σ、平均偏差ＭＤ、四分
偏差ＱＤ、範囲Ｒ又はエントロピーなどが所定値以下で
あるブロックについては、動きベクトルを求めず、移動
物体の動きベクトル推定に使用しない。この場合であっ
ても、タイヤの部分のように色が一様でないブロック群
が存在するので、動きベクトル算出部３７は移動物体の
動きベクトルを推定することができる。

【０１１８】動きベクトルを求めるべきブロックである
かどうかを判断するのに、エッジ画像を利用することが
できる。すなわち、原画像に対しエッジ強調処理を行
い、次いで２値画像に変換し、ブロック内に‘１’のエ
ッジ画素の数が所定値以下であれば、動きベクトルを求
めるのに適しないブロックと判定してもよい。エッジ強
調画像は、原画像に１次微分オペレータ又はラプラシア
ンオペレータなどの２次微分オペレータをかけて簡単な
フィルタ処理を行うことにより得られる。エッジ画像取
得には、Sobel、Roberts又はPrewittなどの公知手法を
用いてもよい。

【０１１９】次に、移動物体更新部３８での処理の具体
例を説明する。

【０１２０】図１８は、車がカメラ側へ向かった後、車
から見て右折する場合の、移動物体更新部の処理説明図
である。

【０１２１】画像Ｐ１中の車のクラスタ（ドット領域）
を、上記のようにして求めた動きベクトルだけ平行移動
させると、次フレームの予測画像Ｐ２が得られる。この
予測画像のクラスタ周囲を、１ブロック外側まで拡大さ
せて、太線で境界を示す領域を考える。次フレームの実
際の画像は、Ｐ３であるとする。この場合、移動物体更
新部３８は、予測画像Ｐ２の拡大領域（太線枠内）に対
応する画像メモリ２１内の領域について、ブロック毎
に、上記のように移動物体が存在するかどうかを判定
し、存在すると判定されたブロックに対しては、画像Ｐ
１中のクラスタに付されたＩＤと同じＩＤを付す。この
ようにして更新されたクラスタを予測画像Ｐ２中のクラ
スタと比較すると、結果として、予測クラスタから削除
されたブロック（斜線部）と、予測クラスタに追加され
たブロック（縦線部）とがある。

【０１２２】すなわち、移動物体更新部３８は、ブロッ
ク情報メモリ３５から移動物体のオブジェクトマップ及
び動きベクトルを読み込み、この動きベクトルだけ、該
移動物体を該オブジェクトマップ内で平行移動させ、さ
らにその周囲を拡大した範囲について、画像メモリ２１
内の現フレームに移動物体が存在するかどうかをブロッ
ク毎に判定することにより、該移動物体のクラスタを更
新する。この動きベクトルは、時刻（ｔ−１）でのフレ
ームと時刻ｔでのフレームとの間で動きベクトル算出部
３７により求められたものであり、画像メモリ２１内の
現フレームは時刻（ｔ＋１）でのものである。

【０１２３】このようにすることにより、カメラに分離
して写っていた車同士がその後、隣接し、その際にカメ
ラと移動物体との間の距離及びアングルに依存してクラ
スタのブロック数や形が変化しても、両者を異なる車と
して認識することが可能になる。例えば図１９（Ａ）に
示す１つのクラスタを２台の車として認識することがで
きる。

【０１２４】移動物体更新部３８は、前記拡大範囲が移
動物体間で重なった場合、重なったブロックがどの移動
物体に属するかどうかが不明であるので、重なったブロ
ックはいずれの移動物体にも属さないとみなし、移動物
体が存在するかどうかを判定しない、すなわち重なった
ブロックにはＩＤを付加しない。

【０１２５】これにより、カメラに分離して写っていた
車同士がその後、重なり、その際にカメラと移動物体と
の間の距離及びアングルに依存してクラスタのブロック
数や形が変化しても、両者の動きベクトルが不正確にな
るのを防止することができる。

【０１２６】したがって、このような重なりや変化によ
り衝突事故の判定ができなくなるのを防止することがで
きる。

【０１２７】入口スリットなどで複数の移動物体が重な
って写り、単一クラスタと認識されても、動きベクトル
算出部３７でブロック毎に動きベクトルを求めたとき、
図２０（Ｂ）に示すように動きベクトルが複数のグルー
プに分かれる場合には、移動物体分割部３９はグループ
毎に異なる移動物体と認識する。そして、これにともな
って新たなＩＤを生成し、各移動物体の動きベクトルを
上記のように推定し、各移動物体のこれらＩＤ及び動き
ベクトルをブロック情報メモリ３５に書き込む。

【０１２８】移動物体分割部３９はまた、動きベクトル
が複数のグループに分かれなくても、ブロック情報メモ
リ３５内のオブジェクトマップについて、例えば時刻ｔ
で図１９（Ａ）に示す単一クラスタが、次の時刻（ｔ＋
１）で図１９（Ｂ）に示すように２つのクラスタに分か
れたとき、互いに異なる移動物体と認識し、これにとも
なって新たなＩＤを生成しこれをブロック情報メモリ３
５に書き込む。

【０１２９】移動物体間距離算出部４０は、ブロック情
報メモリ３５内のオブジェクトマップから、移動物体間
の最短距離ｄを求め、これをその２つのＩＤと共にＶ／
Ｄ計算部２６に供給する。Ｖ／Ｄ計算部２６は、この２
つのＩＤの動きベクトルをブロック情報メモリ３５から
読み出し、上述の衝突危険度Ｖ／（ｄ＋ε）を算出す
る。

【０１３０】他の点は、上記第２実施形態と同一であ
る。

【０１３１】以下の表９は、本第３実施形態の装置によ
る認識実験の結果を示す。衝突、タンデム及び通過の動
作を認識するためのモデルパラメータの決定には、衝
突、タンデム及び通過の動作の各々について４０個の学
習系列を用いた。上記モデルパラメータλ１、λ２及び
λ３に対応したこの場合のモデルパラメータをそれぞれ
λ１ａ、λ２ａ及びλ３ａと表記する。

【０１３２】

【表９】

【０１３３】認識される観測系列のうち、Ｏ¹、Ｏ²及び
Ｏ³は上記第２実施形態で述べたものと同一であって、
それぞれ衝突、タンデム及び通過の動作を示している。
Ｏ^1Aは、Ｏ¹と異なる交差点での衝突の観測系列であ
る。

【０１３４】［第４実施形態］図２１は、本発明の第４
実施形態に係る画像認識装置を示している。

【０１３５】画像処理装置４１は、図１６の装置２０Ｂ
から類似度計算部３２及び衝突事故判定部３３を除いた
部分と同一である。画像認識装置は、画像処理装置４１
と、これら要素３２及び３３の替わりに用いられるデコ
ーダ４２、シフトレジスタ４３、ニューラルネットワー
ク４４及びコンパレータ４５とを備えている。

【０１３６】デコーダ４２は、観測系列切り出し部２９
Ａからの４ビット観測量をデコードして、１ビットのみ
‘１’である１３ビットにし、シフトレジスタ４３の初
段に供給する。シフトレジスタ４３は、１３×２０＝２
６０個のフリップフロップを備え、すなわち２０ビット
のシフトレジスタを１３個備え、図２２に示す如く、１
ワード＝１３ビットの観測量を時刻ｔ＝０〜１９につい
て保持している。ｔ＝１９がシフトレジスタ４３の初段
に相当している。

【０１３７】すなわち、シフトレジスタ４３には、事故
を判定可能な数の観測量からなる観測系列の２値パター
ンが一時記憶されている。

【０１３８】図２２に示す、シフトレジスタ４３に同時
に保持されている観測系列は、衝突事故を示しており、
その観測量は、ｔ＝０〜３で０（無干渉）、ｔ＝３及び
４で１（接近）、ｔ＝５〜７で３（急接近）、ｔ＝８〜
１０で０（衝突）、ｔ＝１１で８（反動）、ｔ＝１２〜
１４で７（反動）、ｔ＝１５〜１９で０（停止）であ
る。

【０１３９】ニューラルネットワーク４４は一般的な構
成であり、入力層、中間層及び出力層を備えている。入
力層のノード数は、シフトレジスタ４３のビット数２６
０に等しく、各ノードの入力値は‘０’または‘１’で
ある。入力層のノードにはそれぞれシフトレジスタ４３
のビットが供給される。すなわち、シフトレジスタ４３
の全ビットが入力パターンとして、ニューラルネットワ
ーク４４の入力層に供給される。ニューラルネットワー
ク４４の中間層のノード数は思考錯誤で定められ、例え
ば５０である。本第４実施形態では、衝突事故のみを判
定するので、出力層のノード数は１であり、そのノード
の出力値の範囲は０〜１である。

【０１４０】ニューラルネットワーク４４の出力は、参
照系列に対する類似度を示しており、コンパレータ４５
の一方の入力端に供給され、コンパレータ４５の他方の
入力端には参照値として０．５が供給される。ニューラ
ルネットワーク４４の出力が０．５より大きいとき、コ
ンパレータ４５の出力が‘１’となって、衝突事故と認
識される。

【０１４１】ニューラルネットワーク４４のパラメータ
は、例えば通常のバックプロパゲーションアリゴリズム
でトレーニングされて定められる。前記参照系列は、こ
のパラメータを定めるための学習系列と考えることがで
きる。

【０１４２】以下の表１０は、図２３の装置による認識
実験の結果を示す。但し、ニューラルネットワーク４４
の中間層及び出力層のノード数をそれぞれ５０及び３と
して、衝突のみならず上述のタンデム及び通過の動作も
認識できるようにした。

【０１４３】

【表１０】

【０１４４】この実験に使用した学習系列は、上記第３
実施形態で述べたものと同一である。また、認識される
観測系列も上記第３実施形態で述べたものと同一であ
る。

【０１４５】Ｏ^1Aに対する上記第３実施形態での識結果
は正しかったが、表１０はこれに対する認識結果が間違
っていることを示している。

【０１４６】これは、ＨＭＭとニューラルネットワーク
４４との本質的な相違に基ずくものと考えられる。すな
わち、ＨＭＭでは状態遷移において同じ状態に留まる場
合を考慮するので、少ない学習データで時間軸方向に関
し伸縮した様々な類似パターンを吸収することができ、
これにより高い認識率が得られると考えられる。ニュー
ラルネットワーク４４の欠点を解消するためには、学習
データ数を増やせばよい。

【０１４７】ニューラルネットワーク４４を用いたこと
の利点は、リアルタイムで観測系列全体を同時入力する
ことができるので、高速処理が可能になるということで
ある。

【０１４８】［第５実施形態］図２３は、本発明の第５
実施形態に係る画像認識装置を示している。

【０１４９】画像処理装置４１Ａは、図２１の画像処理
装置４１に部分系列観測確率算出部４６を付加したもの
である。部分系列観測確率算出部４６は、観測系列切り
出し部２９Ａから観測量が供給される毎に、上述の、Ｈ
ＭＭにおける部分系列観測確率α（ｉ，ｔ）、すなわち
時刻ｔまでに観測系列｛Ｏ₁Ｏ_2...Ｏ_t｝を出力し、状態
ｉになる確率を、全ての状態ｉ＝１〜Ｎについて算出し
て出力する。α（１，ｔ）〜α（Ｎ，ｔ）は同時に、シ
フトレジスタ４３Ａの入力段に供給される。α（ｉ，
ｔ）が小数であるので、シフトレジスタ４３Ａのビット
数は図２１のそれよりも多い。

【０１５０】図２４は、上述の観測系列Ｏ¹に対応して
おり、部分系列観測確率α（１，ｔ）〜α（７，ｔ）が
ｔ＝０〜１９についてシフトレジスタ４３Ａに保持され
た場合のデータパターンを示している。

【０１５１】任意の時点におけるシフトレジスタ４３Ａ
内のデータ数は７×２０＝１４０であり、それぞれニュ
ーラルネットワーク４４Ａの入力層のノードに供給され
る。ニューラルネットワーク４４Ａの入力層の各ノード
の入力値は、０〜１の範囲の小数である。ニューラルネ
ットワーク４４Ａの出力は、コンパレータ４５の一方の
入力端に供給され、図２１と同様にして衝突事故が認識
される。

【０１５２】図２５〜２７はそれぞれ、上述の観測系列
Ｏ^1A、Ｏ²及びＯ³に対応した、ｔ＝０〜１９についての
部分系列観測確率α（１，ｔ）〜α（７，ｔ）のデータ
パターンを示している。

【０１５３】以下の表１１は、ニューラルネットワーク
４４Ａの出力層のノード数を３にして衝突、タンデム及
び通過を認識可能にした場合の、表１０に対応した認識
実験結果を示す。部分系列観測確率α（１，ｔ）〜α
（Ｎ，ｔ）はＨＭＭモデルパラメータに依存するが、衝
突のそれを用いた。タンデム及び通過のそれを用いて
も、学習系列が互いに類似しているので、同様の結果が
得られると考えられる。

【０１５４】

【表１１】

【０１５５】この表から、第５実施形態のほうが第４実
施形態よりも認識率が高いことが分かる。

【０１５６】［第６実施形態］上記第３実施形態では、
移動物体更新部３８において、時点（ｔ−１）で予測し
た時点ｔでの移動物体の拡大範囲が他の移動物体のそれ
と重なった場合、重なったブロックがいずれの移動物体
にも属さないとみなし、移動物体ＩＤを付加しなかっ
た。

【０１５７】しかし、移動物体の重なり部分の割合が大
きくなると、重なり部分について料移動物体の情報がな
くなるので、両移動物体を正確にトレースすることがで
きなくなる。

【０１５８】画像上でこのような移動物体間の重なりが
生じて、カメラから見て背面側の移動物体の一部が見え
なくなっても、カメラから見て前面側の移動物体は見え
るので、そのブロックがどの移動物体に属するかを、簡
単な画像処理により推定することを考える。また、時刻
ｔにおいて、移動物体間が重なっていないが接近してい
るため同一ブロック（混合ブロック）に２つの移動物体
の一部が属する場合であっても、時刻（ｔ−１）では該
一部がそれぞれ異なるブロックに属している場合があ
る。この場合、時刻（ｔ−１）での画像を参照すること
により、混合ブロックにどちらの移動物体がより多く属
しているかを容易に推定することを考える。

【０１５９】図２８は、このような推定を用いて移動物
体をより正確にトレースすることを可能にする本発明の
第６実施形態に係る画像認識装置２０Ｃを示す。

【０１６０】この装置は、画像メモリ２１、ブロック情
報メモリ３５及び移動物体更新部３８に接続された不明
ＩＤ決定部４７を備えている点で、図１６の画像認識装
置２０Ｂと異なる。

【０１６１】上述のように、移動物体更新部３８は、ブ
ロック情報メモリ３５に格納されている時点（ｔ−１）
でのオブジェクトマップ及び各クラスタの動きベクトル
と、画像メモリ２１に格納されている時点ｔでのフレー
ム画像とに基づいて、時点ｔでのオブジェクトマップを
作成する。作成中において、移動物体が存在すると判定
されたが上記のように移動物体ＩＤが付されなかったブ
ロック（ＩＤ不明ブロック）が存在した場合には、作成
後に、これを不明ＩＤ決定部４７に通知する。

【０１６２】不明ＩＤ決定部４７は、これに応答して、
以下のようにしてＩＤ不明ブロックの移動物体ＩＤを決
定する。

【０１６３】図２９は、不明ＩＤ決定部４７の入出力関
係を模式的に示す。

【０１６４】図２９中、Ｆ１及びＦ２はそれぞれ時点
（ｔ−１）及びｔでの、図２８の画像メモリ２１に格納
されているフレーム画像の一部を概略的に示す。１つの
枡目は１画素を表している。ＢＬ１（ｔ−１）及びＢＬ
１（ｔ）はそれぞれ、時点（ｔ−１）及びｔでの移動物
体Ｍ１の境界線であり。ＢＬ２（ｔ）は時点ｔでの移動
物体Ｍ２の境界線である。

【０１６５】Ｑ１及びＱ２はそれぞれフレーム画像Ｆ１
及びＦ２に対応した、図２８のブロック情報メモリ３５
に格納されているオブジェクトマップの概略を示す図で
ある。１つの枡目は１つのブロックを表している。オブ
ジェクトマップは、移動体ＩＤを持っているブロックと
持っていないブロックとからなる。図２９では理解を容
易にするために、オブジェクトマップ中にも移動物体の
境界線を太線で表している。オブジェクトマップＱ１及
びＱ２中のハッチングは、ＩＤが付されたブロックであ
ることを示している。右上がり斜線が付されたブロック
はＩＤ＝１を持ち、右下がり斜線が付されたブロックは
ＩＤ＝２を持っている。

【０１６６】オブジェクトマップＱ２中のブロックＢ
１、Ｂ２及びＢ３のいずれにも移動物体Ｍ１とＭ２の一
部が含まれているので、移動物体更新部３８は、これら
のブロックがいずれの移動物体に属するかを判定するこ
とができない。

【０１６７】不明ＩＤ決定部４７は、これらフレーム画
像Ｆ１、Ｆ２、オブジェクトマップＱ１及びＱ２並びに
移動物体Ｍ１及びＭ２の動きベクトルに基づき、ブロッ
クＢ１、Ｂ２及びＢ３のＩＤを決定して、オブジェクト
マップＱ３を得る。

【０１６８】以下、オブジェクトマップＱ２中のブロッ
クＢ２が移動物体Ｍ１とＭ２のいずれに属するかを決定
する方法を、具体的に説明する。この決定は、ブロック
Ｂ２が移動物体Ｍ１であると仮定したときの評価値と、
ブロックＢ２が移動物体Ｍ２であると仮定したときの評
価値との大小関係に基づいて行なわれる。評価値は、以
下の要素（１）〜（３）を含んである。

【０１６９】（１）時点ｔでのオブジェクトマップのみ
に関係した評価要素ＵＮ ブロックＢ２と隣接する９ブロックについて、ＩＤ＝１
を持ったブロックの数Ｎ１が多いほどブロックＢ２が移
動物体Ｍ１のブロックである確度が高いと考えられる。
そこで、ブロックＢ２のＩＤが１であることを評価する
要素ＵＮ（１）を例えば次式で表す。

【０１７０】ＵＮ（１）＝α（Ｎ１−９）² ここに、αは正の定数である。ＵＮ（１）の値が小さい
ほどブロックＢ２が移動物体Ｍ１に属する確度が高いと
言える。

【０１７１】同様に、ブロックＢ２のＩＤが２であるこ
とを評価する要素ＵＮ（２）を次式で表す。

【０１７２】ＵＮ（２）＝α（Ｎ２−９）² ここにＮ２は、ブロックＢ２と隣接する９ブロックのう
ち、ＩＤ＝２を持ったブロックの数である。

【０１７３】図２９の場合、ＵＮ（１）＝１６α、ＵＮ
（２）＝６４αである。したがって、オブジェクトマッ
プＱ２のみから判断すると、ブロックＢ２は、ＩＤ＝１
である確度が、ＩＤ＝２である確度よりも高いと言え
る。

【０１７４】（２）時点（ｔ−１）でのオブジェクトマ
ップと移動物体の動きベクトルとに関係した評価要素Ｕ
Ｓ 図３０（Ａ）は大略、図２９中のオブジェクトマップＱ
１とＱ２とを重ね合わせ、かつ、ハッチングを削除した
ものである。図中、ＭＶ１は移動物体Ｍ１の動きベクト
ルであり、点線はＢＬ１（ｔ−１）をＭＶだけ平行移動
させたものである。

【０１７５】図３０（Ｂ）に示す如く、ブロックＢ２を
−ＭＶ１だけ平行移動させることにより、移動物体Ｍ１
に固定された座標系から見て、時点（ｔ−１）でのブロ
ックＢ２に対応すると推定される判定枠Ｂ２１が得られ
る。時点ｔでブロックＢ２に移動物体Ｍ１の一部と移動
物体Ｍ２の一部とが含まれていても、時点（ｔ−１）で
判定枠Ｂ２１には移動物体Ｍ２の一部が含まれていない
場合があり、この場合、判定枠Ｂ２１内を見ることによ
り、ブロックＢ２がＩＤ＝１であるかどうかをより正確
に推定することが可能となる。

【０１７６】判定枠Ｂ２１内の右上がり斜線部（ＩＤ＝
１の部分）の面積Ｓ１が広いほど、ブロックＢ２がＩＤ
＝１を持つことの確度が高くなると考えられる。

【０１７７】そこで、オブジェクトマップの各ブロック
を、８×８の同一ＩＤアレイに拡大したマップを作成
し、この拡大マップ上で、図３１（Ａ）に示す如く、Ｉ
Ｄ＝１の画素の個数を数えることにより、斜線部面積Ｓ
１を求める。図３１（Ａ）中の斜線部はＩＤ＝１の領域
を示している。Ｓ１が６４であるとき、ＩＤ＝１である
確度が最大となる。そこで、ブロックＢ２のＩＤが１で
あることを評価する要素ＵＳ（１）を例えば次式で表
す。

【０１７８】ＵＳ（１）＝β（Ｓ１−６４）² ここに、βは正の定数である。ＵＳ（１）の値が小さい
ほどブロックＢ２が移動物体Ｍ１に属する確度が高いと
言える。

【０１７９】同様に、ブロックＢ２のＩＤが２であるこ
とを評価する要素ＵＳ（２）を次式で表す。

【０１８０】ＵＳ（２）＝β（Ｓ２−６４）² ここにＳ２は、図３１（Ａ）に示す如く、ブロックＢ２
を−ＭＶ２だけ平行移動させて得られる判定枠Ｂ２２内
のＩＤ＝２の個数（右下がり斜線部面積）である。ＭＶ
２は、移動物体Ｍ２の動きベクトルである。

【０１８１】（３）時点ｔ及び（ｔ−１）でのフレーム
画像と移動物体の動きベクトルとに関係した評価要素Ｕ
Ｄ 図３０（Ｂ）のブロックＢ２と判定枠Ｂ２１とに対応し
た図２９のフレーム画像Ｆ２及びＦ１中の局所画像の相
関が強いほど、ブロックＢ２がＩＤ＝１である確度が高
いと言える。図３１（Ｂ）に示すＢ２Ｆ及びＢ２１Ｆは
それぞれ、図３０中のブロックＢ２及び判定枠Ｂ２１に
対応したフレーム画像Ｆ２及びＦ１中の局所画像を示
す。

【０１８２】ブロックＢ２のＩＤが１であることを評価
する要素ＵＤ（１）を例えば次式で表す。

【０１８３】ＵＤ（１）＝γΣ｜Ｂ２１Ｆ（ｉ，ｊ）−
Ｂ２Ｆ（ｉ，ｊ）｜ ここに、γは正の定数であり，Ｂ２１Ｆ（ｉ，ｊ）及び
Ｂ２Ｆ（ｉ，ｊ）はそれぞれ局所画像Ｂ２Ｆ及びＢ２１
Ｆ内の第ｉ行第ｊ列の画素値であり、Σはｉ＝１〜８及
びｊ＝１〜８についての総和（ブロック内全画素につい
ての総和）を意味している。

【０１８４】ＵＤ（１）の値が小さいほどブロックＢ２
が移動物体Ｍ１に属する確度が高いと言える。

【０１８５】同様に、ブロックＢ２のＩＤが２であるこ
とを評価する要素ＵＤ（２）を次式で表す。

【０１８６】ＵＤ（１）＝γΣ｜Ｂ２２Ｆ（ｉ，ｊ）−
Ｂ２Ｆ（ｉ，ｊ）｜ ここに、Ｂ２２Ｆ（ｉ，ｊ）は局所画像Ｂ２２Ｆ内の第
ｉ行第ｊ列の画素値であり、局所画像Ｂ２２Ｆは図３１
（Ａ）中の判定枠Ｂ２２に対応したフレーム画像Ｆ１中
の局所画像である。

【０１８７】不明ＩＤブロックのＩＤをより正確に推定
するために、以上の（１）〜（３）を総合し、評価関数
の値 Ｕ（１）＝ＵＮ（１）＋ＵＳ（１）＋ＵＤ（１） と、 Ｕ（２）＝ＵＮ（２）＋ＵＳ（２）＋ＵＤ（２） との大小関係に基づいて、ブロックＢ２のＩＤを決定す
る。すなわち、 Ｕ１２＝Ｕ（１）−Ｕ（２） の値が負であればＩＤ＝１と決定し、正であればＩＤ２
＝２と決定する。Ｕ（１）及びＵ（２）の最小値はいず
れも０である。Ｕ１２の値が小さいほど、ブロックＢ２
がＩＤ＝１である確度が高くなる。

【０１８８】図２９のオブジェクトマップＱ２におい
て、上記具体例ではブロックＢ１及びＢ３のＩＤを考慮
しなかったが、実際には、ブロックＢ１、Ｂ２及びＢ３
のＩＤを同時に仮定し、ブロックＢ１、Ｂ２及びＢ３の
各々の評価関数の総和が最小となるように、ブロックＢ
１、Ｂ２及びＢ３のＩＤを決定する。 この際、メトロ
ポリス（Metropolis）アルゴリズム又はギッブスサンプ
ラー（Gibbs Sampler）アルゴリズムなどの確率的緩和
アルゴリズムを用いて最小値へ導く。また、評価値の極
小値を最小値と間違えないようにするとともに、極小の
谷から速く脱出するために、公知のシミュレーティッド
アニーリング（Simulated Annealing）法を適用する。

【０１８９】これにより、複数のＩＤ不明ブロックのＩ
Ｄを、より正確かつ容易に決定することができる。

【０１９０】定数α、β及びγは、実際の画像を処理し
て、移動物体トラッキング成功率が高くなるように定め
られる。

【０１９１】本発明者らは、上記のような評価関数を用
いることが適切であることを数学的に確かめた。すなわ
ち、マルコフ・ランダム・フィールド（Markov Random
Field）モデルを時空間画像に拡張して適用し、表現さ
れた画像のエネルギー分布を確率緩和過程により最適化
した結果、上記結果評価関数の最小化と同一になった。
この点は、後述する第７実施形態についても同様であ
る。

【０１９２】なお、上記入口スリットで複数の移動物体
が重なって写り、単一クラスタと認識された場合、これ
を不明ＩＤ決定部４７で分離認識できないので、移動物
体分割部３９は本第６実施形態においても用いられる。
次の表１２は、本第６実施形態を適用した実験結果を
示す。

【０１９３】

【表１２】

【０１９４】フレーム画像は、カラーではなく８ビット
の濃淡画像を用いた。

【０１９５】この表は、移動物体のトラキックング成功
率を、画像中の垂直方向と水平方向の交通の流れに分け
て示している。表は、交差点での実際の画像を解析して
得られたものであり、複雑な交通の流れも上記いずれか
の場合に分けられている。

【０１９６】トラッキングが失敗した例は、一方の移動
物体中に他方の移動物体が完全に重なった場合であっ
た。水平方向のトラッキング成功率が、左右方向のそれ
よりも高い理由は、左右方向の交通の方が、移動物体間
の重なりが垂直方向のそれよりも大きいためである。

【０１９７】［第７実施形態］上記第６実施形態では、
時点ｔでのＩＤ不明ブロックが、互いに接近し又は重な
った移動物体Ｍ１又はＭ２に属すると仮定して評価関数
の値の大小関係に基づき不明ＩＤを決定した。

【０１９８】しかし、１つのブロックに３以上の移動物
体の一部が含まれる場合がある。また、多くの移動物体
について、互いに接近しようとしている移動物体がどれ
であるかを判断しなければならない。

【０１９９】他方、評価要素ＵＳ及びＵＤはいずれも、
時点ｔと時点（ｔ−１）での相関度が低いブロック間で
は値が大きく高いブロック間では値が小さい。これらの
値を見るだけで上記のことを判断することができる。ま
た、評価値の計算は容易である。

【０２００】そこで、本発明の第７実施形態では、図２
８の不明ＩＤ決定部４７において、ＩＤ不明ブロック
は、時点（ｔ−１）のオブジェクトマップに含まれる全
てのＩＤ＝１〜ｍのいずれかを持つと考えて、評価関数
の値の大小関係に基づき不明ＩＤを決定する。

【０２０１】時点ｔでのＩＤ不明ブロックを、ＢＫ１〜
ＢＫｐで表し、ＩＤ不明ブロックＢＫｉのＩＤがＩＤｊ
（１≦ＩＤｊ≦ｍ）であると仮定したときの、ＩＤ不明
ブロックＢＫｉの上記評価関数Ｕ＝ＵＮ＋ＵＳ＋ＵＤの
値をＵ（ＢＫｉ，ＩＤｊ）で表すと，次のようにしてＩ
Ｄ不明ブロックＢＫ１〜ＢＫｐのＩＤを決定する。

【０２０２】すなわち、ＩＤ不明ブロックＢＫ１〜ＢＫ
ｐのＩＤをそれぞれＩＤ１〜ＩＤｐと仮定し、評価関数
の値 ＵＴ＝Ｕ（ＢＫ１，ＩＤ１）＋Ｕ（ＢＫ２，ＩＤ２）＋
・・・＋Ｕ（ＢＫｐ，ＩＤｐ） を計算する。この値が最小になるＩＤ１〜ＩＤｐを、繰
り返し計算により求め、求めたものをＩＤ不明ブロック
ＢＫ１〜ＢＫｐのＩＤと決定する。この繰り返し計算に
おいて、上記確率的緩和アルゴリズム及びシミュレーテ
ィッドアニーリング法を適用する。

【０２０３】他の点は上記第６実施形態と同一である。

【０２０４】次に、図３２を参照して、メトロポリスア
ルゴリズムを用いて解を求める場合を説明する。

【０２０５】（Ｓ１）ＩＤ不明ブロックＢＫ１〜ＢＫｐ
の識別符号ＩＤ１〜ＩＤｐ及びその解ＩＩＤ１〜ＩＩＤ
ｐに初期値ＩＤ１０〜ＩＤｐ０を与える。ｉ及びｊに初
期値１を代入する（ｉ←１、ｊ←１）。ＵＴの前回値Ｕ
ＴＢに、大きな初期値ＵＴＢmaxを与える。

【０２０６】（Ｓ２）評価関数の値 ＵＴ＝Ｕ（ＢＫ１，ＩＤ１）＋Ｕ（ＢＫ２，ＩＤ２）＋
・・・＋Ｕ（ＢＫｐ，ＩＤｐ） を計算する。

【０２０７】（Ｓ３、Ｓ４）ＵＴ＜ＵＴＢであれば、Ｉ
ＩＤｉ←ＩＤｉ、ＵＴＢ←ＵＴ。

【０２０８】（Ｓ５）ｊ←ｊ＋１ （Ｓ６、Ｓ７）ｊ≦ｍであればブロックＢＫｉのＩＤｉ
の値を更新してステップＳ２へ戻り、そうでなければ次
のステップＳ６へ進む。

【０２０９】（Ｓ８）ＩＤｉ←ＩＩＤｉ、ｉ←ｉ＋１ （Ｓ９）ｉ≦ｐであればステップＳ２へ戻り、そうでな
ければ処理を終了する。

【０２１０】このようにして、ＩＤ不明ブロックＢＫ１
〜ＢＫｐのＩＤがそれそれＩＩＤ１〜ＩＩＤｐと決定さ
れる。

【０２１１】理論的には、時点ｔでの全ブロックをＩＤ
不明ブロックとして上記計算により適正なＩＤを決定可
能である。

【０２１２】なお、本発明には外にも種々の変形例が含
まれる。

【０２１３】例えば、類似度計算部３２ではパターンマ
ッチング度を求めてもよい。例えば、図４において観測
量の相違度を、横切る境界線の数と定義する。例えば、
観測量０と０は相違度０、観測量０と７は相違度１、観
測量４と８は相違度２である。参照系列が｛１,２,０｝
で観測系列が｛３,２,１｝の場合、対応する成分間の相
違度を求め、その総和（２＋０＋１）の逆数１／３を一
致度として求め、複数の参照系列について同様の計算を
行い、そのうち最も大きい一致度を類似度としてもよ
い。

【０２１４】また、参照系列に対し観測系列を時間軸方
向にずらし、ずらしたものについても類似度を計算し、
最大値を最終的な類似度として求めてもよいことは勿論
である。

【０２１５】さらに、上記実施形態では、図２又は図１
０の認識開始判定部２８において｜Ｖ／Ｄ｜＞Ｃと判定
された場合のみＶ／Ｄ時系列切り出し部２９で切り出し
を行う場合を説明したが、認識開始判定部２８、及び、
時系列切り出し部２９又は２９Ａを省略し、時系列メモ
リ２７又は２７Ａ内の各時点における全ての時系列に対
しブロック３２で確率Ｐを計算する構成であってもよ
い。

【０２１６】また、本発明の適用は各種移動物体間衝突
事故に限定されず、衝突以外の動作に対しても本発明を
適用可能である。

【０２１７】さらにまた、要求される処理速度によって
は、図２又は図１０の画像認識装置での全処理をコンピ
ュータで実行することも可能である。

【０２１８】また、評価関数は上記３要素のうち少なく
とも１つを含むものであればよい。各要素の上記関数は
一例であり、推定の確度が上がるほど一方向に変化（単
調変化）する種々の形のものを用いることができる。

【図面の簡単な説明】

【図１】本発明の移動物体間動作分類装置を交差点に配
置した場合を示す概略図である。

【図２】図１中の画像認識装置のハードウエア及びソフ
トウエアの構成を機能ブロックで示す概略図である。

【図３】図２中の処理を説明するためのベクトル図であ
る。

【図４】危険度ベクトルＶ／Ｄの量子化説明図である。

【図５】衝突事故の時系列パターン説明図である。

【図６】他の衝突事故の時系列パターン説明図である。

【図７】さらに他の衝突事故の車両速度ベクトル時系列
説明図である。

【図８】（Ａ）は図７の車両速度ベクトルを−θ回転さ
せたものの時系列説明図り、（Ｂ）はこの時系列と相対
速度ベクトルの時系列とを示す図である。

【図９】ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ隠れマルコフモデ
ルの状態遷移図である。

【図１０】本発明の第２実施形態に係る画像認識装置の
ハードウエア及びソフトウエアの構成を機能ブロックで
示す概略図である。

【図１１】図１０中の移動物体認識部での処理説明図で
ある。

【図１２】（Ａ）は衝突事故の車両速度ベクトル時系列
の各ベクトル回転説明図、（Ｂ）はこの時系列と相対速
度ベクトルの時系列とを示す図である。

【図１３】図１２（Ａ）を時計回りに９０゜回転させた
速度ベクトル時系列パターンを示す図である。

【図１４】ＨＭＭモデルにおいて、衝突とこれに類似し
たタンデムの動作の区別度の状態数依存性を示す線図で
ある。

【図１５】状態数が７のときの衝突動作において、状態
ｉから状態ｊ＝ｉ＋１に遷移し又は状態ｊに留まって観
測量Ｏを出力する確率の具体例を視覚的に示す３次元棒
グラフである。

【図１６】本発明の第３実施形態に係る画像認識装置の
ハードウエア及びソフトウエアの構成を機能ブロックで
示す図である。

【図１７】交差点への４つの入口及び交差点からの４つ
の出口に設定されたスリット及びブロックに付された移
動物体のＩＤを示す説明図である。

【図１８】図１６の移動物体更新部３８での処理説明図
であって、それぞれ時刻（ｔ−１）での画像、時刻ｔで
の予測画像及び時刻ｔでの実際の画像を示す図である。

【図１９】（Ａ）及び（Ｂ）は、図１６の移動物体分割
部３９での処理説明図であって、それぞれ時刻ｔ及び時
刻（ｔ＋１）での画像を示す図である。

【図２０】（Ａ）は４ブロックの各々の動きベクトルに
基づいて得られる移動物体動きベクトルを示し、（Ｂ）
は、重なって写っている２つの移動物体に属するブロッ
クの各々の動きベクトルに基づいて得られる、２つの移
動物体の動きベクトルを示す図である。

【図２１】本発明の第４実施形態に係る画像認識装置を
示すブロック図である。

【図２２】図２１中の一部を示すブロック図である。

【図２３】本発明の第５実施形態に係る画像認識装置を
示すブロック図である。

【図２４】図２３中のシフトレジスタに同時に保持され
るデータであって、ある交差点での衝突動作の観測系列
Ｏ¹に対応した、ｔ＝０〜１９についての部分系列観測
確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。

【図２５】図２３中のシフトレジスタに同時に保持され
るデータパターンであって、他の交差点での衝突動作の
観測系列Ｏ^1Aに対応した、ｔ＝０〜１９についての部分
系列観測確率α（１，ｔ）〜α（Ｎ，ｔ）を示す表であ
る。

【図２６】図２３中のシフトレジスタに同時に保持され
るデータパターンであって、タンデム動作の観測系列Ｏ
²に対応した、ｔ＝０〜１９についての部分系列観測確
率α（１，ｔ）〜α（Ｎ，ｔ）を示す表である。

【図２７】図２３中のシフトレジスタに同時に保持され
るデータパターンであって、通過動作の観測系列Ｏ³に
対応した、ｔ＝０〜１９についての部分系列観測確率α
（１，ｔ）〜α（Ｎ，ｔ）を示す表である。

【図２８】本発明の第６実施形態に係る画像認識装置の
ハードウエア及びソフトウエアの構成を機能ブロックで
示す図である。

【図２９】図２８中の不明ＩＤ決定部の入出力関係を模
式的に示す図である。

【図３０】（Ａ）及び（Ｂ）は該不明ＩＤ決定部の処理
説明図である。

【図３１】（Ａ）及び（Ｂ）は該不明ＩＤ決定部の処理
説明図である。

【図３２】本発明の第７実施形態に係る画像認識装置の
不明ＩＤ決定部での処理を示すフローチャートである。

【符号の説明】

１０ 電子カメラ ２０、２０Ａ〜２０Ｃ 画像認識装置 ２１ 画像メモリ ２２、２２Ａ 移動物体認識部 ２３、２４ 位置レジスタアレイ ２５ 相対距離レジスタアレイ ２６、２６Ａ Ｖ／Ｄ計算部 ２７ Ｖ／Ｄ時系列メモリ ２７Ａ Ｏ時系列メモリ ２８ 認識開始判定部 ２９ Ｖ／Ｄ時系列切り出し部 ２９Ａ 観測系列切り出し部 ３０、３０Ａ ベクトル回転部 ３１ 量子化部 ３２ 類似度計算部 ３３ 衝突事故判定部 Ｍ１〜Ｍ６ 車 ３４ 背景画像生成部 ３６ ＩＤ生成／消滅部 ３７ 動きベクトル算出部 ３８ 移動物体更新部 ３９ 移動物体分割部 ４０ 移動物体間距離算出部 ４１、４１Ａ 画像処理装置 ４２ デコーダ ４３、４３Ａ シフトレジスタ ４４、４４Ａ ニューラルネットワーク ４５ コンパレータ ４６ 部分系列観測確率算出部 ４７ 不明ＩＤ決定部 Ｂ１、Ｂ２、Ｂ３ ブロック Ｆ１、Ｆ２ フレーム画像 Ｑ１〜Ｑ３ オブジェクトマップ ＭＶ１、ＭＶ２ 動きベクトル Ｂ２１、Ｂ２２ 判定枠 Ｂ２１Ｆ、Ｂ２Ｆ 局所画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 上篠 俊介 神奈川県川崎市中原区上小田中４丁目１番 １号 富士通株式会社内 (72)発明者 坂内 正夫 神奈川県横浜市青葉区美しが丘２−56−７ (72)発明者 池内 克史 神奈川県横浜市青葉区つつじが丘５−22− 303 Ｆターム(参考） 5L096 BA02 CA02 EA43 FA06 FA35 GA02 GA05 GA19 GA28 GA55 HA04 HA11

Claims (15)

【特許請求の範囲】
1. 【請求項１】 移動物体間の相対速度ベクトルＶに関す
   る量を量子化した観測量Ｏの時系列である観測系列｛Ｏ
   ₁Ｏ_2...Ｏ_T｝を求め、 該観測系列の参照系列に対する類似度を算出し、 該類似度に基づいて移動物体間の動作を分類することを
   特徴とする移動物体間動作分類方法。
2. 【請求項２】 上記観測量Ｏは、各上記観測系列につい
   て、その最初の観測量Ｏ₁の相対速度ベクトルの方向を
   基準方向として、上記相対速度ベクトルに関する量を量
   子化したものであることを特徴とする請求項１記載の移
   動物体間動作分類方法。
3. 【請求項３】 上記観測量Ｏは、第１移動物体と第２移
   動物体の間の相対速度ベクトルを、基準方向に対する該
   第１移動物体の速度ベクトルの角度がθである場合に−
   θ回転させ、そのベクトルに関する量を量子化したもの
   であることを特徴とする請求項１記載の移動物体間動作
   分類方法。
4. 【請求項４】 上記相対速度ベクトルに関する量は、Ｖ
   ・ｆ（ｄ）であり、ここにｆ（ｄ）は上記移動物体間の
   距離ｄの単調減少関数であることを特徴とする請求項２
   又は３記載の移動物体間動作分類方法。
5. 【請求項５】 上記相対速度ベクトルに関する量Ｖ・ｆ
   （ｄ）が所定値より大きいと判定したときのみ、該判定
   から所定時間後に得られた観測系列｛Ｏ₁Ｏ_{2 ...}Ｏ_T｝に
   ついて上記類似度を算出することを特徴とする請求項４
   記載の移動物体間動作分類方法。
6. 【請求項６】 移動物体の撮影画像を処理して、移動物
   体間の相対速度ベクトルＶに関する量を量子化した観測
   量Ｏの時系列である観測系列｛Ｏ₁Ｏ_2...Ｏ_T｝を求め、
   該観測系列の参照系列に対する類似度を算出し、該類似
   度に基づいて移動物体間の動作を分類することを特徴と
   する画像認識装置。
7. 【請求項７】 電子カメラで撮影されたフレーム画像
   を、複数ピクセルからなるブロックに分割し、 移動物体の一部が含まれる各ブロックについて、次フレ
   ーム画像内で、該ブロックと同一形状で類似したものを
   見つけて、該ブロックの動きベクトルを求め、該移動物
   体に含まれる複数のブロックの各動きベクトルの代表値
   を、該移動物体の動きベクトルと決定する、 ことを特徴とする移動物体認識方法。
8. 【請求項８】 上記フレーム画像に入口スリット及び出
   口スリットを設定し、 該入口スリット内に移動物体が存在するかどうかを上記
   ブロックの単位で判定し、 移動物体が存在すると判定された、該入口スリット内の
   ブロックが、識別符号を持ったブロックと隣接していな
   い場合には、該ブロックに新たな識別符号を付し、 移動物体が存在すると判定された隣接ブロックに同一識
   別符号を付し、 該出口スリットを通り抜けた移動物体の識別符号を消滅
   させる、 ことを特徴とする請求項７記載の移動物体認識方法。
9. 【請求項９】 撮影された前フレーム画像及び現フレー
   ム画像が格納される画像記憶部と、 該前フレーム画像を、複数ピクセルからなるブロックに
   分割したときの、移動物体の一部が含まれる各ブロック
   について、該現フレーム画像内で、該ブロックと同一形
   状で類似したものを見つけて、該ブロックの動きベクト
   ルを求め、該移動物体に含まれる複数のブロックの各動
   きベクトルの代表値を、該移動物体の動きベクトルと決
   定する動きベクトル算出部と、 を有することを特徴とする移動物体認識装置。
10. 【請求項１０】 同一移動物体に属する上記ブロックに
    同一識別符号を持たせたオブジェクトマップが格納され
    るブロック情報記憶部と、 該オブジェクトマップに含まれる移動物体をその上記動
    きベクトルだけ平行移動させ、平行移動した該移動物体
    をその周囲のブロックまで拡大した範囲について、次フ
    レーム画像に移動物体が存在するかどうかをブロック毎
    に判定し、存在すると判定されたブロックに、該平行移
    動前の該移動物体のブロックと同じ識別符号を付加する
    ことにより、該次フレーム画像に対応したオブジェクト
    マップを生成する移動物体更新部と、 をさらに有することを特徴とする請求項９記載の移動物
    体認識装置。
11. 【請求項１１】 電子カメラで撮影されたフレーム画像
    を、複数ピクセルからなるブロックに分割し、同一移動
    物体に属するブロックに同一識別符号を持たせたオブジ
    ェクトマップを作成し、 時間的に前後のフレーム画像に基づいて、各移動物体の
    動きベクトルを求める移動物体認識方法であって、 現フレーム画像について移動物体が存在すると判定され
    たブロックの各々が、前フレーム画像に存在する移動物
    体のいずれかの識別符号を持っていると仮定したときの
    評価関数の値の大小関係に基づいて、該存在ブロックに
    付与すべき識別符号を決定する、 ことを特徴とする移動物体認識方法。
12. 【請求項１２】 上記評価関数は、時刻ｔでのオブジェ
    クトマップ上の着目ブロックと隣接するブロックの同一
    識別符号の数が多いほど、該着目ブロックが該同一識別
    符号を持つ確度が高くなる関数を含む、 ことを特徴とする請求項１１記載の移動物体認識方法。
13. 【請求項１３】 上記評価関数は、時刻（ｔ−１）のオ
    ブジェクトマップ上の判定枠内に含まれる、同一識別符
    号を持つブロックの面積が広いほど、着目ブロックが該
    同一識別符号を持つ確度が高くなる関数を含み、 該判定枠は、時刻ｔでのオブジェクトマップ上の該着目
    ブロックに対応した、該同一識別符号を持つ移動物体の
    上記動きベクトルに基づいて推定される、時刻（ｔ−
    １）でのオブジェクトマップ上のブロック枠である、 ことを特徴とする請求項１１又は１２記載の移動物体認
    識方法。
14. 【請求項１４】 上記評価関数は、時刻ｔでのフレーム
    画像上の着目ブロックに対応した局所画像と、上記動き
    ベクトルに基づいて推定される、時刻（ｔ−１）でのフ
    レーム画像上の該着目ブロックに対応する局所画像との
    相関度が高くなるほど、該着目ブロックが、該動きベク
    トルを持つ移動物体と同一識別符号を持つ確度が高くな
    る関数を含む、 ことを特徴とする請求項１１乃至１３のいずれか１つに
    記載の移動物体認識方法。
15. 【請求項１５】 撮影されたフレーム画像が格納される
    画像記憶部と、 該フレーム画像を複数ピクセルからなるブロックに分割
    し、ブロックに移動物体が存在するかどうかを判定し、
    同一移動物体に属するブロックに同一識別符号を持たせ
    たオブジェクトマップを作成するオブジェクトマップ作
    成部と、 該画像記憶部に格納された時間的に前後のフレーム画像
    に基づいて、各移動物体の動きベクトルを求める動きベ
    クトル算出部と、 現フレーム画像について移動物体が存在すると判定され
    たブロックの各々が、前フレーム画像に存在する移動物
    体のいずれかの識別符号を持っていると仮定したときの
    評価関数の値の大小関係に基づいて、該存在ブロックに
    付与すべき識別符号を決定するＩＤ更新部と、 を有することを特徴とする移動物体認識装置。