JP2003006655A - 移動体を含む画像の処理方法及び装置 - Google Patents
移動体を含む画像の処理方法及び装置Info
- Publication number
- JP2003006655A JP2003006655A JP2001187502A JP2001187502A JP2003006655A JP 2003006655 A JP2003006655 A JP 2003006655A JP 2001187502 A JP2001187502 A JP 2001187502A JP 2001187502 A JP2001187502 A JP 2001187502A JP 2003006655 A JP2003006655 A JP 2003006655A
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- time
- image
- block
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/164—Centralised systems, e.g. external to vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】衝突事故をより正確に自動検出する。
【解決手段】観測量検出部２６で移動体間相対動作の特
徴量を観測量として検出し、該観測量の時系列を観測系
列として記憶部２７に記憶し、分類部２８で観測系列
の、予め定められた衝突観測系列に対する類似度を算出
する。判定部２９は、該類似度が設定値より大きい場
合、記憶部３０に設定されている停止禁止領域にこの類
似度に関係した移動体が停止し、他の移動体が移動して
いれば衝突事故と判定し、該類似度以外は衝突判定条件
を満たしている場合、移動体故障と判定する。観測量と
して、移動体間相対速度ベクトルを量子化した第１スカ
ラーのみならず、移動体間相対位置ベクトルを量子化し
た第２スカラーを含むことにより、移動体間の相対動作
をより詳細に分類する。移動体追跡部２５ではブロック
単位で追跡して、画像上で重なった移動体を識別する。
徴量を観測量として検出し、該観測量の時系列を観測系
列として記憶部２７に記憶し、分類部２８で観測系列
の、予め定められた衝突観測系列に対する類似度を算出
する。判定部２９は、該類似度が設定値より大きい場
合、記憶部３０に設定されている停止禁止領域にこの類
似度に関係した移動体が停止し、他の移動体が移動して
いれば衝突事故と判定し、該類似度以外は衝突判定条件
を満たしている場合、移動体故障と判定する。観測量と
して、移動体間相対速度ベクトルを量子化した第１スカ
ラーのみならず、移動体間相対位置ベクトルを量子化し
た第２スカラーを含むことにより、移動体間の相対動作
をより詳細に分類する。移動体追跡部２５ではブロック
単位で追跡して、画像上で重なった移動体を識別する。
Description
【０００１】
【発明の属する技術分野】本発明は、移動体を含む画像
の処理方法及び装置に係り、特に、時系列画像を処理し
て画像中の移動体の衝突や故障などの異常事象を検出し
又はこの検出に用いられる画像処理方法及び装置に関す
る。
の処理方法及び装置に係り、特に、時系列画像を処理し
て画像中の移動体の衝突や故障などの異常事象を検出し
又はこの検出に用いられる画像処理方法及び装置に関す
る。
【０００２】
【従来の技術】交通事故の早期発見は、迅速な救助活動
により人命救助の成功率を高めるだけでなく、警察の実
地検分などを迅速にすることにより事故渋滞を緩和する
こともできるので、様々な交通事故の認識自動化が期待
されている。
により人命救助の成功率を高めるだけでなく、警察の実
地検分などを迅速にすることにより事故渋滞を緩和する
こともできるので、様々な交通事故の認識自動化が期待
されている。
【０００３】本願発明者による特開２００１−１４８０
１９号公報では、時系列画像を処理して画像中の移動体
の異常事象を検出する移動体異常事象検出方法におい
て、 （ａ）時刻（ｔ−１）のフレーム画像と時刻ｔのフレー
ム画像との相関関係に基づき時刻ｔのフレーム画像中の
移動体を識別し、 （ｂ）第１移動体に対する第２移動体の相対動作の特徴
量を観測量として検出し、該観測量の時系列を観測系列
として記憶し、 （ｃ）該観測系列の参照系列に対する類似度を算出して
移動体間動作を分類し、 （ｄ）該観測系列の衝突参照系列に対する該類似度が設
定値より大きい場合、衝突事故であると判定する。
１９号公報では、時系列画像を処理して画像中の移動体
の異常事象を検出する移動体異常事象検出方法におい
て、 （ａ）時刻（ｔ−１）のフレーム画像と時刻ｔのフレー
ム画像との相関関係に基づき時刻ｔのフレーム画像中の
移動体を識別し、 （ｂ）第１移動体に対する第２移動体の相対動作の特徴
量を観測量として検出し、該観測量の時系列を観測系列
として記憶し、 （ｃ）該観測系列の参照系列に対する類似度を算出して
移動体間動作を分類し、 （ｄ）該観測系列の衝突参照系列に対する該類似度が設
定値より大きい場合、衝突事故であると判定する。
【０００４】この方法によれば、衝突事故などの異常事
象を自動検出することができる。
象を自動検出することができる。
【０００５】しかしながら、路面に対し低カメラアング
ルである場合には、例えば停止している第１移動体に第
２移動体が接近した後、第１移動体が発進して停止する
と、この接近時に第２移動体が画像上で第１移動体と重
なって移動体間距離が０になるので、衝突事故の時系列
パターンであると誤判定される場合があった。
ルである場合には、例えば停止している第１移動体に第
２移動体が接近した後、第１移動体が発進して停止する
と、この接近時に第２移動体が画像上で第１移動体と重
なって移動体間距離が０になるので、衝突事故の時系列
パターンであると誤判定される場合があった。
【０００６】また、上記公報では、上記ステップ（ｂ）
の観測量として、Ｖ／（ｄ＋ε）を量子化したスカラー
を用いている。ここに相対動きベクトルＶは、第１移動
体に対する第２移動体の相対動きベクトルＶであり、ε
は分母が０になるのを避けるための定数である。
の観測量として、Ｖ／（ｄ＋ε）を量子化したスカラー
を用いている。ここに相対動きベクトルＶは、第１移動
体に対する第２移動体の相対動きベクトルＶであり、ε
は分母が０になるのを避けるための定数である。
【０００７】この観測量を用いれば、量子化しているこ
とから、少ない参照系列で様々な移動体間動作を分類す
ることが可能になる。
とから、少ない参照系列で様々な移動体間動作を分類す
ることが可能になる。
【０００８】しかしながら、移動体間動作をより詳細に
分類することができないという問題があった。
分類することができないという問題があった。
【０００９】上記公報では、上記ステップ（ａ）におい
て、時刻（ｔ−１）のフレーム画像中の移動体の識別結
果を利用して上記相関関係から時刻ｔのフレーム画像中
の移動体を容易に識別することができる。
て、時刻（ｔ−１）のフレーム画像中の移動体の識別結
果を利用して上記相関関係から時刻ｔのフレーム画像中
の移動体を容易に識別することができる。
【００１０】しかし、１台のカメラで広い領域を撮像し
て移動体を追跡するために、路面に対し低カメラアング
ルで移動体を正面から撮像した場合、図１３に示すよう
に移動体同士の画像上での重なりが頻繁に生ずる。時刻
（ｔ−１）で移動体Ｍ１とＭ２とが識別されずに１つの
クラスタとして識別され、このクラスタの代表動きベク
トルを用い、上記相関関係に基き時刻ｔでの移動体Ｍ１
とＭ２を含むクラスタを識別しようとするが、移動体Ｍ
１とＭ２の速度が異なるので、正確に識別することがで
きない。次の時刻（ｔ＋１）では移動体Ｍ２が移動体Ｍ
１から分離しているが、移動体Ｍ２がＭ３と重なってい
るので、移動体Ｍ２とＭ３とが１つのクラスタとして識
別され、移動体Ｍ２とＭ３の各々を識別することができ
ない。
て移動体を追跡するために、路面に対し低カメラアング
ルで移動体を正面から撮像した場合、図１３に示すよう
に移動体同士の画像上での重なりが頻繁に生ずる。時刻
（ｔ−１）で移動体Ｍ１とＭ２とが識別されずに１つの
クラスタとして識別され、このクラスタの代表動きベク
トルを用い、上記相関関係に基き時刻ｔでの移動体Ｍ１
とＭ２を含むクラスタを識別しようとするが、移動体Ｍ
１とＭ２の速度が異なるので、正確に識別することがで
きない。次の時刻（ｔ＋１）では移動体Ｍ２が移動体Ｍ
１から分離しているが、移動体Ｍ２がＭ３と重なってい
るので、移動体Ｍ２とＭ３とが１つのクラスタとして識
別され、移動体Ｍ２とＭ３の各々を識別することができ
ない。
【００１１】
【発明が解決しようとする課題】本発明の目的は、この
ような問題点に鑑み、衝突事故などの異常事象をより正
確に自動検出することが可能な、移動体を含む画像の処
理方法及び装置を提供することにある。
ような問題点に鑑み、衝突事故などの異常事象をより正
確に自動検出することが可能な、移動体を含む画像の処
理方法及び装置を提供することにある。
【００１２】本発明の他の目的は、少ない参照系列でさ
まざまな移動体間動作をより詳細に分類することが可能
な、移動体を含む画像の処理方法及び装置を提供するこ
とにある。
まざまな移動体間動作をより詳細に分類することが可能
な、移動体を含む画像の処理方法及び装置を提供するこ
とにある。
【００１３】本発明のさらに他の目的は、移動体間の重
なりが頻繁に生じても異なる移動体として識別すること
が可能な、移動体を含む画像の処理方法及び装置を提供
することにある。
なりが頻繁に生じても異なる移動体として識別すること
が可能な、移動体を含む画像の処理方法及び装置を提供
することにある。
【００１４】
【課題を解決するための手段及びその作用効果】本発明
の一態様では、時系列画像を処理して画像中の移動体の
異常事象を検出する移動体異常事象検出方法において、
（ａ）第１移動体に対する第２移動体の相対動作の特徴
量を観測量として検出し、該観測量の時系列を観測系列
として記憶し、（ｂ）該観測系列の、予め定められた衝
突観測系列に対する類似度を算出し、（ｃ）該類似度が
設定値より大きい場合、該第１移動体又は該第２移動体
が、予め定められた停止禁止領域に停止しているかどう
かに基づいて、衝突事故であるかどうかを判定する。
の一態様では、時系列画像を処理して画像中の移動体の
異常事象を検出する移動体異常事象検出方法において、
（ａ）第１移動体に対する第２移動体の相対動作の特徴
量を観測量として検出し、該観測量の時系列を観測系列
として記憶し、（ｂ）該観測系列の、予め定められた衝
突観測系列に対する類似度を算出し、（ｃ）該類似度が
設定値より大きい場合、該第１移動体又は該第２移動体
が、予め定められた停止禁止領域に停止しているかどう
かに基づいて、衝突事故であるかどうかを判定する。
【００１５】路面に対し低カメラアングルであるために
互いに接近する移動体が衝突していなくても画像上で重
なる場合、観測系列と参照系列との類似度のみで衝突事
故を判定すると衝突事故が過剰検出されるが、この構成
によれば、移動体の衝突事故をより正確に判定でき、衝
突事故の過剰検出を低減することができる。
互いに接近する移動体が衝突していなくても画像上で重
なる場合、観測系列と参照系列との類似度のみで衝突事
故を判定すると衝突事故が過剰検出されるが、この構成
によれば、移動体の衝突事故をより正確に判定でき、衝
突事故の過剰検出を低減することができる。
【００１６】上記ステップ（ｃ）において、他の移動体
が移動しているかどうかも考慮すれば、衝突事故の過剰
検出をさらに低減することができる。
が移動しているかどうかも考慮すれば、衝突事故の過剰
検出をさらに低減することができる。
【００１７】また、上記ステップ（ｂ）で求めた類似度
が上記設定値より小さい場合以外は衝突判定と同じ条件
を満たしている場合、高い確率で、停止している移動体
が故障であると判定することができる。この場合も、他
の移動体が移動しているかどうかをさらに考慮すること
により、より高い確率で、停止している移動体が故障で
あると判定することができる。
が上記設定値より小さい場合以外は衝突判定と同じ条件
を満たしている場合、高い確率で、停止している移動体
が故障であると判定することができる。この場合も、他
の移動体が移動しているかどうかをさらに考慮すること
により、より高い確率で、停止している移動体が故障で
あると判定することができる。
【００１８】本発明の他の態様では、時系列画像を処理
して画像中の移動体間の動作を分類する移動体間動作分
類方法において、（ａ）第１移動体に対する第２移動体
の相対動作の特徴量を観測量として検出し、該観測量の
時系列を観測系列として記憶し、（ｂ）該観測系列の参
照系列に対する類似度を算出し、（ｃ）該類似度の値に
応じて該第１移動体に対する該第２移動体の動作を分類
し、該観測量は、該第１移動体に対する該第２移動体の
相対速度ベクトルＶと両者間の距離ｄに関する量を量子
化した第１スカラーと、該第１移動体に対する該第２移
動体の相対位置ベクトルを量子化した第２スカラーとを
含む。
して画像中の移動体間の動作を分類する移動体間動作分
類方法において、（ａ）第１移動体に対する第２移動体
の相対動作の特徴量を観測量として検出し、該観測量の
時系列を観測系列として記憶し、（ｂ）該観測系列の参
照系列に対する類似度を算出し、（ｃ）該類似度の値に
応じて該第１移動体に対する該第２移動体の動作を分類
し、該観測量は、該第１移動体に対する該第２移動体の
相対速度ベクトルＶと両者間の距離ｄに関する量を量子
化した第１スカラーと、該第１移動体に対する該第２移
動体の相対位置ベクトルを量子化した第２スカラーとを
含む。
【００１９】この構成によれば、相対位置ベクトルを量
子化した第２スカラーを用いているので、相対速度ベク
トルＶに関係した第１スカラーのみでは区別して認識す
ることができなかった移動体間の相対動作を分類するこ
とが可能となり、状態をより正確に把握することが可能
となって、交通違反などのより正確な検出に寄与すると
ころが大きい。
子化した第２スカラーを用いているので、相対速度ベク
トルＶに関係した第１スカラーのみでは区別して認識す
ることができなかった移動体間の相対動作を分類するこ
とが可能となり、状態をより正確に把握することが可能
となって、交通違反などのより正確な検出に寄与すると
ころが大きい。
【００２０】本発明のさらに他の態様では、時系列画像
の各々を、複数画素を含むブロックに分割して処理する
移動体識別方法であって、時刻（ｔ−１）のフレーム画
像に含まれている複数の移動体の識別ＩＤが、ブロック
単位で付与されているとともにブロック単位で移動体の
動きベクトルが求められている場合に、時刻ｔのフレー
ム画像に含まれている複数の移動体のＩＤを、ブロック
単位で付与するとともにブロック単位で移動体の動きベ
クトルを求める移動体識別方法において、（ａ）該識別
ＩＤがＩＤｊである時刻（ｔ−１）のブロックｊをその
動きベクトルＶｊで移動させたときの、時刻ｔの画像フ
レーム中の対応するブロックｉの枠を、−Ｖｊ移動さ
せ、移動した枠内の時刻（ｔ−１）の画像と、時刻ｔの
ブロックｉの画像との相関度に関係した評価値を計算
し、（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）の
ブロックｋをその動きベクトルＶｋで移動させたとき
の、時刻ｔの画像フレーム中の対応する該ブロックｊの
枠を、−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）
の画像と、該時刻ｔのブロックｊの画像との該相関度に
関係した評価値を計算し、（ｃ）ステップ（ａ）と
（ｂ）で算出された評価値の大小関係に基づいて、該時
刻ｔのブロックｉがＩＤｊであるかＩＤｋであるかを決
定する。
の各々を、複数画素を含むブロックに分割して処理する
移動体識別方法であって、時刻（ｔ−１）のフレーム画
像に含まれている複数の移動体の識別ＩＤが、ブロック
単位で付与されているとともにブロック単位で移動体の
動きベクトルが求められている場合に、時刻ｔのフレー
ム画像に含まれている複数の移動体のＩＤを、ブロック
単位で付与するとともにブロック単位で移動体の動きベ
クトルを求める移動体識別方法において、（ａ）該識別
ＩＤがＩＤｊである時刻（ｔ−１）のブロックｊをその
動きベクトルＶｊで移動させたときの、時刻ｔの画像フ
レーム中の対応するブロックｉの枠を、−Ｖｊ移動さ
せ、移動した枠内の時刻（ｔ−１）の画像と、時刻ｔの
ブロックｉの画像との相関度に関係した評価値を計算
し、（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）の
ブロックｋをその動きベクトルＶｋで移動させたとき
の、時刻ｔの画像フレーム中の対応する該ブロックｊの
枠を、−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）
の画像と、該時刻ｔのブロックｊの画像との該相関度に
関係した評価値を計算し、（ｃ）ステップ（ａ）と
（ｂ）で算出された評価値の大小関係に基づいて、該時
刻ｔのブロックｉがＩＤｊであるかＩＤｋであるかを決
定する。
【００２１】この構成によれば、ブロック毎の動きベク
トルを用いているので、異なる速度の複数の移動体を含
む時刻ｔの１つのクラスタに含まれるブロックに複数の
識別ＩＤのいずれかを付与することが可能となり、これ
により１つのクラスタを異なるＩＤのクラスタに分割す
ることが可能になる。すなわち、従来では追跡できなか
った移動体を追跡することが可能となり、衝突事故や交
通違反などのより正確な検出に寄与するところが大き
い。
トルを用いているので、異なる速度の複数の移動体を含
む時刻ｔの１つのクラスタに含まれるブロックに複数の
識別ＩＤのいずれかを付与することが可能となり、これ
により１つのクラスタを異なるＩＤのクラスタに分割す
ることが可能になる。すなわち、従来では追跡できなか
った移動体を追跡することが可能となり、衝突事故や交
通違反などのより正確な検出に寄与するところが大き
い。
【００２２】例えば、上記ステップ（ａ）の評価値は、
上記時刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮
定したときの時刻（ｔ−１）の対応するブロックｍの動
きベクトルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロ
ックｍと隣接する、識別ＩＤがＩＤｊであるブロックの
動きベクトルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎａとの差の
絶対値｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜に関す
る量（例えば｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜
r、ｒ＞１）のｐについての総和を含み、上記ステップ
（ｂ）の評価値は、該時刻ｔのブロックｉの識別ＩＤが
ＩＤｋであると仮定したときの時刻（ｔ−１）の対応す
るブロックｎの動きベクトルＶＣｎ（ｔ−１）と、時刻
（ｔ−１）のブロックｎと隣接する、識別ＩＤがＩＤｋ
であるブロックの動きベクトルＶＢｑ（ｔ−１）、ｑ＝
１〜Ｎｂとの差の絶対値｜ＶＣｎ（ｔ−１）−ＶＢｑ
（ｔ−１）｜に関する量のｑについての総和を含む。
上記時刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮
定したときの時刻（ｔ−１）の対応するブロックｍの動
きベクトルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロ
ックｍと隣接する、識別ＩＤがＩＤｊであるブロックの
動きベクトルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎａとの差の
絶対値｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜に関す
る量（例えば｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜
r、ｒ＞１）のｐについての総和を含み、上記ステップ
（ｂ）の評価値は、該時刻ｔのブロックｉの識別ＩＤが
ＩＤｋであると仮定したときの時刻（ｔ−１）の対応す
るブロックｎの動きベクトルＶＣｎ（ｔ−１）と、時刻
（ｔ−１）のブロックｎと隣接する、識別ＩＤがＩＤｋ
であるブロックの動きベクトルＶＢｑ（ｔ−１）、ｑ＝
１〜Ｎｂとの差の絶対値｜ＶＣｎ（ｔ−１）−ＶＢｑ
（ｔ−１）｜に関する量のｑについての総和を含む。
【００２３】この構成によれば、ほぼ同一の画素値が分
布しているために時刻（ｔ−１）の動きベクトルの誤差
が大きくても、ブロック識別ＩＤの付与をより正確に行
うことが可能となり、結果として、衝突事故や交通違反
などのより正確な検出に寄与する。
布しているために時刻（ｔ−１）の動きベクトルの誤差
が大きくても、ブロック識別ＩＤの付与をより正確に行
うことが可能となり、結果として、衝突事故や交通違反
などのより正確な検出に寄与する。
【００２４】本発明の他の目的、構成及び効果は以下の
説明から明らかになる。
説明から明らかになる。
【００２５】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。複数の図中の対応する同一又は類似
の構成要素には、同一又は類似の符号を付している。
施形態を説明する。複数の図中の対応する同一又は類似
の構成要素には、同一又は類似の符号を付している。
【００２６】図１は、交差点及びこれに配置された本発
明の一実施形態の移動体異常事象検出装置の概略を示
す。
明の一実施形態の移動体異常事象検出装置の概略を示
す。
【００２７】この装置は、交差点を撮像して画像信号を
出力する電子カメラ１０と、その画像を処理して移動体
間衝突事故及び故障移動体を自動検出する移動体異常事
象検出装置２０とを備えている。
出力する電子カメラ１０と、その画像を処理して移動体
間衝突事故及び故障移動体を自動検出する移動体異常事
象検出装置２０とを備えている。
【００２８】図２は、この移動体異常事象検出装置２０
の機能ブロック図である。移動体異常事象検出装置２０
の構成要素のうち、記憶部以外はコンピュータによるソ
フトウェア又は専用のハードウェアで構成することもが
きる。
の機能ブロック図である。移動体異常事象検出装置２０
の構成要素のうち、記憶部以外はコンピュータによるソ
フトウェア又は専用のハードウェアで構成することもが
きる。
【００２９】電子カメラ１０で撮影された時系列画像
は、例えば１２フレーム／秒のレートで、画像メモリ２
１に格納される。
は、例えば１２フレーム／秒のレートで、画像メモリ２
１に格納される。
【００３０】背景画像生成部２２は、記憶部と処理部と
を備え、処理部は、画像メモリ２１をアクセスし、例え
ば過去１０分間の全フレームの対応するピクセルについ
て画素値のヒストグラムを作成し、その最頻値（モー
ド）をそのピクセルの画素値とする画像を、移動体が存
在しない背景画像として生成し、これを該記憶部に格納
する。背景画像は、この処理が定期的に行われて更新さ
れる。
を備え、処理部は、画像メモリ２１をアクセスし、例え
ば過去１０分間の全フレームの対応するピクセルについ
て画素値のヒストグラムを作成し、その最頻値（モー
ド）をそのピクセルの画素値とする画像を、移動体が存
在しない背景画像として生成し、これを該記憶部に格納
する。背景画像は、この処理が定期的に行われて更新さ
れる。
【００３１】ＩＤ生成／消滅部２３には、図４に示す如
く画像フレーム内の、交差点への４つの入口及び交差点
からの４つの出口にそれぞれ配置されるスリットＥＮ１
〜ＥＮ４及びＥＸ１〜ＥＸ４の位置及びサイズのデータ
が予め設定されている。ＩＤ生成／消滅部２３は、画像
メモリ２１から入口スリットＥＮ１〜ＥＮ４内の画像デ
ータを読み込み、これら入口スリット内に移動体が存在
するかどうかをブロック単位で判定する。図４中のメッ
シュの升目はブロックであり、１ブロックは例えば８×
８画素であり、１フレームが４８０×６４０画素の場
合、１フレームは６０×８０ブロックに分割される。あ
るブロックに移動体が存在するかどうかは、このブロッ
ク内の各ピクセルと背景画像の対応するピクセルとの差
の絶対値の総和が所定値以上であるかどうかにより判定
する。この判定は、移動体追跡部２５においても行われ
る。
く画像フレーム内の、交差点への４つの入口及び交差点
からの４つの出口にそれぞれ配置されるスリットＥＮ１
〜ＥＮ４及びＥＸ１〜ＥＸ４の位置及びサイズのデータ
が予め設定されている。ＩＤ生成／消滅部２３は、画像
メモリ２１から入口スリットＥＮ１〜ＥＮ４内の画像デ
ータを読み込み、これら入口スリット内に移動体が存在
するかどうかをブロック単位で判定する。図４中のメッ
シュの升目はブロックであり、１ブロックは例えば８×
８画素であり、１フレームが４８０×６４０画素の場
合、１フレームは６０×８０ブロックに分割される。あ
るブロックに移動体が存在するかどうかは、このブロッ
ク内の各ピクセルと背景画像の対応するピクセルとの差
の絶対値の総和が所定値以上であるかどうかにより判定
する。この判定は、移動体追跡部２５においても行われ
る。
【００３２】ＩＤ生成／消滅部２３は、ブロック内に移
動体が存在すると判定すると、このブロックに新たなク
ラスタ識別符号ＩＤを付与する。ＩＤ生成／消滅部２３
は、ＩＤ付与済ブロックと隣接しているブロックに移動
体が存在すると判定すると、この隣接ブロックに付与済
ブロックと同一のＩＤを付与する。このＩＤ付与済ブロ
ックは入口スリットに隣接しているブロックも含まれ
る。例えば図４中の入口スリットＥＮ１内のブロックに
はＩＤ＝１が付与され、入口スリットＥＮ４内の移動体
存在ブロックにはＩＤ＝５が付与される。
動体が存在すると判定すると、このブロックに新たなク
ラスタ識別符号ＩＤを付与する。ＩＤ生成／消滅部２３
は、ＩＤ付与済ブロックと隣接しているブロックに移動
体が存在すると判定すると、この隣接ブロックに付与済
ブロックと同一のＩＤを付与する。このＩＤ付与済ブロ
ックは入口スリットに隣接しているブロックも含まれ
る。例えば図４中の入口スリットＥＮ１内のブロックに
はＩＤ＝１が付与され、入口スリットＥＮ４内の移動体
存在ブロックにはＩＤ＝５が付与される。
【００３３】ＩＤの付与は、オブジェクトマップ記憶部
２４内の対応するブロックに対して行われる。オブジェ
クトマップ記憶部２４は、上述の場合６０×８０ブロッ
クの各々について、処理容易化のための情報（オブジェ
クトマップ）を記憶するためのものであり、この情報に
は、ＩＤが付与されているかどうかのフラグ、ＩＤが付
与されている場合にはその番号と後述のブロック動きベ
クトルとが含まれる。なお、該フラグを用いずに、ＩＤ
＝０のときのＩＤが付与されていないと判定してもよ
い。また、ＩＤの最上位ビットをフラグとしてもよい。
２４内の対応するブロックに対して行われる。オブジェ
クトマップ記憶部２４は、上述の場合６０×８０ブロッ
クの各々について、処理容易化のための情報（オブジェ
クトマップ）を記憶するためのものであり、この情報に
は、ＩＤが付与されているかどうかのフラグ、ＩＤが付
与されている場合にはその番号と後述のブロック動きベ
クトルとが含まれる。なお、該フラグを用いずに、ＩＤ
＝０のときのＩＤが付与されていないと判定してもよ
い。また、ＩＤの最上位ビットをフラグとしてもよい。
【００３４】入口スリットを通過したクラスタに対して
は、移動体追跡部２５により移動方向のブロックに対す
るＩＤの付与及び移動と反対方向のブロックに対するＩ
Ｄの消滅、すなわちクラスタの追跡処理が行われる。移
動体追跡部２５は、後述のように、時刻（ｔ−１）のオ
ブジェクトマップ及びフレーム画像と、時刻ｔのフレー
ム画像とに基づいて時刻ｔのオブジェクトマップを生成
する。
は、移動体追跡部２５により移動方向のブロックに対す
るＩＤの付与及び移動と反対方向のブロックに対するＩ
Ｄの消滅、すなわちクラスタの追跡処理が行われる。移
動体追跡部２５は、後述のように、時刻（ｔ−１）のオ
ブジェクトマップ及びフレーム画像と、時刻ｔのフレー
ム画像とに基づいて時刻ｔのオブジェクトマップを生成
する。
【００３５】移動体追跡部２５による追跡処理は、各ク
ラスタについて出口スリット内まで行われる。
ラスタについて出口スリット内まで行われる。
【００３６】ＩＤ生成／消滅部２３はさらに、オブジェ
クトマップ記憶部２４の内容に基づき出口スリットＥＸ
１〜ＥＸ４内のブロックにＩＤが付与されているかどう
かを調べ、付与されていれば、出口スリットをクラスタ
が通過したときにそのＩＤを消滅させる。例えば図４中
の出口スリットＥＸ１内のブロックにＩＤが付されてい
る状態から、ＩＤが付されない状態に変化したときに、
ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤとし
て用いることができる。
クトマップ記憶部２４の内容に基づき出口スリットＥＸ
１〜ＥＸ４内のブロックにＩＤが付与されているかどう
かを調べ、付与されていれば、出口スリットをクラスタ
が通過したときにそのＩＤを消滅させる。例えば図４中
の出口スリットＥＸ１内のブロックにＩＤが付されてい
る状態から、ＩＤが付されない状態に変化したときに、
ＩＤ＝３を消滅させる。消滅ＩＤは、次の生成ＩＤとし
て用いることができる。
【００３７】観測量検出部２６は、オブジェクトマップ
記憶部２４の内容に基づいて各クラスタの平均動きベク
トルをそのクラスタの動きベクトルとして求め、各クラ
スタ間について、相対動きベクトルＶ及び相対位置ベク
トルを求め、さらにクラスタ間の最短距離ｄを求め、こ
れらに基づいて以下のような観測量を求める。観測量検
出部２６はこの観測量を観測系列記憶部２７に格納し
て、クラスタ間毎に観測系列を生成する。
記憶部２４の内容に基づいて各クラスタの平均動きベク
トルをそのクラスタの動きベクトルとして求め、各クラ
スタ間について、相対動きベクトルＶ及び相対位置ベク
トルを求め、さらにクラスタ間の最短距離ｄを求め、こ
れらに基づいて以下のような観測量を求める。観測量検
出部２６はこの観測量を観測系列記憶部２７に格納し
て、クラスタ間毎に観測系列を生成する。
【００３８】観測量として、相対動きベクトルに関する
ものを量子化した第１スカラーと、相対位置ベクトルを
量子化した第２スカラーとを考える。最初に、第１スカ
ラーとその時系列について説明する。
ものを量子化した第１スカラーと、相対位置ベクトルを
量子化した第２スカラーとを考える。最初に、第１スカ
ラーとその時系列について説明する。
【００３９】例えば、図５（Ａ）に示す移動体移動体Ｍ
１の動きベクトルＶ１と移動体移動体Ｍ２の動きベクト
ルＶ２の相対動きベクトルＶは図５（Ｂ）に示す如くな
る。図５（Ａ）に示すように移動体Ｍ１とＭ２の間の最
短距離をｄとし、ベクトルＶ／Ｄを考える。ここに、Ｄ
＝ｄ＋εであり、εはｄ＝０のときＤ＞０を保証するた
めの定数である。衝突時にはＶ＝０、すなわちＶ／Ｄ＝
０となるが、その前後で｜Ｖ／Ｄ｜が大きな値になるの
で、Ｖ／Ｄの時系列から衝突を判断し易くなる。移動体
Ｍ１とＭ２の相対的な多くの状態を簡単に分類するため
に、図６に示すようにベクトルＶ／Ｄを量子化しかつス
カラー化する。すなわち、ベクトルＶ／Ｄの始点を中心
として図６に示すように領域を分割し、各領域をスカラ
ーで表し、ベクトルＶ／Ｄをその終点が属する領域のス
カラーに量子化する。
１の動きベクトルＶ１と移動体移動体Ｍ２の動きベクト
ルＶ２の相対動きベクトルＶは図５（Ｂ）に示す如くな
る。図５（Ａ）に示すように移動体Ｍ１とＭ２の間の最
短距離をｄとし、ベクトルＶ／Ｄを考える。ここに、Ｄ
＝ｄ＋εであり、εはｄ＝０のときＤ＞０を保証するた
めの定数である。衝突時にはＶ＝０、すなわちＶ／Ｄ＝
０となるが、その前後で｜Ｖ／Ｄ｜が大きな値になるの
で、Ｖ／Ｄの時系列から衝突を判断し易くなる。移動体
Ｍ１とＭ２の相対的な多くの状態を簡単に分類するため
に、図６に示すようにベクトルＶ／Ｄを量子化しかつス
カラー化する。すなわち、ベクトルＶ／Ｄの始点を中心
として図６に示すように領域を分割し、各領域をスカラ
ーで表し、ベクトルＶ／Ｄをその終点が属する領域のス
カラーに量子化する。
【００４０】例えばＶ／Ｄ＝ｖの時系列がｖ０→ｖ１→
ｖ２である場合、｛ｖ０,ｖ１,ｖ２｝と表記し、これを
｛０,１,２｝と量子化する。量子化された観測量の時系
列を観測系列と称す。図１０に示す衝突事故時の時刻ｔ
＝４〜９における観測系列は｛１,２,３,０,８,７｝と
なる。この量子化により、ある衝突パターンと類似の衝
突パターンは同一観測系列となるので、様々な衝突事故
を容易に認識可能になる。また、量子化により観測系列
が簡単な数値列になるので、その後の認識処理が簡単に
なる。
ｖ２である場合、｛ｖ０,ｖ１,ｖ２｝と表記し、これを
｛０,１,２｝と量子化する。量子化された観測量の時系
列を観測系列と称す。図１０に示す衝突事故時の時刻ｔ
＝４〜９における観測系列は｛１,２,３,０,８,７｝と
なる。この量子化により、ある衝突パターンと類似の衝
突パターンは同一観測系列となるので、様々な衝突事故
を容易に認識可能になる。また、量子化により観測系列
が簡単な数値列になるので、その後の認識処理が簡単に
なる。
【００４１】衝突事故であるかどうかの判断は、観測系
列と衝突事故の参照系列（例えば実際に生じた衝突事故
の観測系列）との類似度が所定値を越えるかどうかで行
う。上記量子化により必要な参照系列の数を少なくする
ことができるが、さらにこれを少なくするために、静止
座標系を回転させれば相対動作の時系列パターンが同一
になる場合は観測系列も同一になるようにする。このた
め、例えば上記｛ｖ０,ｖ１,ｖ２｝については、時系列
の最初のベクトルｖ０の基準方向、例えば図６のＸ軸に
対する角度θを求め、次に、ｖ０,ｖ１及びｖ２の各ベ
クトルを−θ回転させる。図５（Ｃ）はＶ／Ｄが時系列
の最初のベクトルである場合の該回転を示す。この回転
により、移動体Ｍ１に対する移動体Ｍ２の相対ベクトル
Ｖ／Ｄの観測量と、移動体Ｍ２に対する移動体Ｍ１の相
対ベクトル−Ｖ／Ｄの観測量とは同一になる。
列と衝突事故の参照系列（例えば実際に生じた衝突事故
の観測系列）との類似度が所定値を越えるかどうかで行
う。上記量子化により必要な参照系列の数を少なくする
ことができるが、さらにこれを少なくするために、静止
座標系を回転させれば相対動作の時系列パターンが同一
になる場合は観測系列も同一になるようにする。このた
め、例えば上記｛ｖ０,ｖ１,ｖ２｝については、時系列
の最初のベクトルｖ０の基準方向、例えば図６のＸ軸に
対する角度θを求め、次に、ｖ０,ｖ１及びｖ２の各ベ
クトルを−θ回転させる。図５（Ｃ）はＶ／Ｄが時系列
の最初のベクトルである場合の該回転を示す。この回転
により、移動体Ｍ１に対する移動体Ｍ２の相対ベクトル
Ｖ／Ｄの観測量と、移動体Ｍ２に対する移動体Ｍ１の相
対ベクトル−Ｖ／Ｄの観測量とは同一になる。
【００４２】互いに離れた移動体移動体Ｍ１及びＭ２が
接近してすれ違った後、互いに離れる場合は、図８
（Ａ）、図８（Ｂ）、図９（Ａ）及び図９（Ｂ）のいず
れかであり、点線は移動体の経路を示す。これらの場合
の観測系列はそれぞれ、例えば次のようになる。 図８（Ａ）：｛１，１，２，２，３，１，１，１，１，
１，１｝ 図８（Ｂ）：｛１，１，１，１，１，１，１，１，１，
１，１｝ 図９（Ａ）：｛１，１，２，２，３，１，１，１，１，
１，１｝ 図９（Ｂ）：｛１，１，２，２，３，１，１，１，１，
１，１｝ これらの観測系列から明らかなように、図８（Ａ）、図
９（Ａ）及び図９（Ｂ）の観測系列からこれらの相対動
作を識別することができない。そこで、これらの相対動
作を識別可能にするために、移動体Ｍ１に対する移動体
Ｍ２の相対位置ベクトルを図７に示すように量子化して
第２スカラーとする。すなわち、相対位置ベクトルＰ１
２の始点を中心とし、移動体Ｍ１の動きベクトルＶ１の
方向を基準方向とし、図７に点線で示すように領域を分
割し、各領域をスカラーで表し、相対位置ベクトルＰ１
２をその終点が属する領域のスカラーに量子化する。
接近してすれ違った後、互いに離れる場合は、図８
（Ａ）、図８（Ｂ）、図９（Ａ）及び図９（Ｂ）のいず
れかであり、点線は移動体の経路を示す。これらの場合
の観測系列はそれぞれ、例えば次のようになる。 図８（Ａ）：｛１，１，２，２，３，１，１，１，１，
１，１｝ 図８（Ｂ）：｛１，１，１，１，１，１，１，１，１，
１，１｝ 図９（Ａ）：｛１，１，２，２，３，１，１，１，１，
１，１｝ 図９（Ｂ）：｛１，１，２，２，３，１，１，１，１，
１，１｝ これらの観測系列から明らかなように、図８（Ａ）、図
９（Ａ）及び図９（Ｂ）の観測系列からこれらの相対動
作を識別することができない。そこで、これらの相対動
作を識別可能にするために、移動体Ｍ１に対する移動体
Ｍ２の相対位置ベクトルを図７に示すように量子化して
第２スカラーとする。すなわち、相対位置ベクトルＰ１
２の始点を中心とし、移動体Ｍ１の動きベクトルＶ１の
方向を基準方向とし、図７に点線で示すように領域を分
割し、各領域をスカラーで表し、相対位置ベクトルＰ１
２をその終点が属する領域のスカラーに量子化する。
【００４３】図８（Ａ）に示すように互いに反対方向に
進んでいる移動体Ｍ１とＭ２とがすれ違う場合、時刻ｔ
の相対位置ベクトルＰ１２をＰ１２（ｔ）で表すと、移
動体Ｍ１に対する移動体Ｍ２の相対位置ベクトルの時系
列Ｐ１２（ｔ−１）、Ｐ１２（ｔ）、Ｐ１２（ｔ＋１）
は、｛２０，８０，６０｝と量子化される。
進んでいる移動体Ｍ１とＭ２とがすれ違う場合、時刻ｔ
の相対位置ベクトルＰ１２をＰ１２（ｔ）で表すと、移
動体Ｍ１に対する移動体Ｍ２の相対位置ベクトルの時系
列Ｐ１２（ｔ−１）、Ｐ１２（ｔ）、Ｐ１２（ｔ＋１）
は、｛２０，８０，６０｝と量子化される。
【００４４】第１スカラーを１桁の数値とし、第２スカ
ラーを２桁の数値かつ下位を０としたのは、両者を容易
に合成可能にするためである。例えば第１スカラーが７
で第２スカラーが２０である場合、両者の和である２６
を観測量とする。第１スカラーと、移動体Ｍ２を基準に
した第２スカラーとの和を観測量とすると、図８
（Ａ）、図８（Ｂ）、図９（Ａ）及び図９（Ｂ）の観測
系列はそれぞれ次のようになる。 図８（Ａ）：｛２１，２１，８２，８２，８３，８１，
８１，８１，８１，６１，６１｝ 図８（Ｂ）：｛２１，２１，４１，４１，４１，４１，
４１，４１，４１，６１，６１｝ 図９（Ａ）：｛６１，６１，４２，４２，４３，４１，
４１，４１，４１，２１，２１｝ 図９（Ｂ）：｛２１，２１，４２，４２，４３，４１，
４１，４１，４１，６１，６１｝ 第１スカラーと、移動体Ｍ１を基準にした第２スカラー
との和を観測量とすると、図８（Ａ）、図８（Ｂ）、図
９（Ａ）及び図９（Ｂ）の観測系列はそれぞれ次のよう
になる。 図８（Ａ）：｛２１，２１，８２，８２，８３，８１，
８１，８１，８１，６１，６１｝ 図８（Ｂ）：｛２１，２１，４１，４１，４１，４１，
４１，４１，４１，６１，６１｝ 図９（Ａ）：｛２１，２１，８２，８２，８３，８１，
８１，８１，８１，６１，６１｝ 図９（Ｂ）：｛６１，６１，８２，８２，８３，８１，
８１，８１，８１，２１，２１｝ 図７中に矢印付直線で示すように第２スカラーが、２０
→８０→６０のように変化する場合をＰＡＳ０、２０→
４０→６０のように変化する場合をＰＡＳ１、６０→４
０→２０のように変化する場合をＰＡＳ２、６０→８０
→２０のように変化する場合をＰＡＳ３と分類する。ま
た、移動体Ｍ１から見た移動体Ｍ２の相対位置ベクトル
の変化がＰＡＳｋであり、移動体Ｍ２から見た移動体Ｍ
１の相対位置の変化がＰＡＳｍである場合、この変化を
ＰＡＳｋｍで表す。
ラーを２桁の数値かつ下位を０としたのは、両者を容易
に合成可能にするためである。例えば第１スカラーが７
で第２スカラーが２０である場合、両者の和である２６
を観測量とする。第１スカラーと、移動体Ｍ２を基準に
した第２スカラーとの和を観測量とすると、図８
（Ａ）、図８（Ｂ）、図９（Ａ）及び図９（Ｂ）の観測
系列はそれぞれ次のようになる。 図８（Ａ）：｛２１，２１，８２，８２，８３，８１，
８１，８１，８１，６１，６１｝ 図８（Ｂ）：｛２１，２１，４１，４１，４１，４１，
４１，４１，４１，６１，６１｝ 図９（Ａ）：｛６１，６１，４２，４２，４３，４１，
４１，４１，４１，２１，２１｝ 図９（Ｂ）：｛２１，２１，４２，４２，４３，４１，
４１，４１，４１，６１，６１｝ 第１スカラーと、移動体Ｍ１を基準にした第２スカラー
との和を観測量とすると、図８（Ａ）、図８（Ｂ）、図
９（Ａ）及び図９（Ｂ）の観測系列はそれぞれ次のよう
になる。 図８（Ａ）：｛２１，２１，８２，８２，８３，８１，
８１，８１，８１，６１，６１｝ 図８（Ｂ）：｛２１，２１，４１，４１，４１，４１，
４１，４１，４１，６１，６１｝ 図９（Ａ）：｛２１，２１，８２，８２，８３，８１，
８１，８１，８１，６１，６１｝ 図９（Ｂ）：｛６１，６１，８２，８２，８３，８１，
８１，８１，８１，２１，２１｝ 図７中に矢印付直線で示すように第２スカラーが、２０
→８０→６０のように変化する場合をＰＡＳ０、２０→
４０→６０のように変化する場合をＰＡＳ１、６０→４
０→２０のように変化する場合をＰＡＳ２、６０→８０
→２０のように変化する場合をＰＡＳ３と分類する。ま
た、移動体Ｍ１から見た移動体Ｍ２の相対位置ベクトル
の変化がＰＡＳｋであり、移動体Ｍ２から見た移動体Ｍ
１の相対位置の変化がＰＡＳｍである場合、この変化を
ＰＡＳｋｍで表す。
【００４５】図８（Ａ）及び（Ｂ）のいずれの場合も、
移動体Ｍ１から見た移動体Ｍ２の相対位置ベクトルの変
化と移動体Ｍ２から移動体Ｍ１を見た装置位置ベクトル
の変化は同一であり、それぞれＰＡＳ００及びＰＡＳ１
１と分類される。これに対し、図９（Ａ）及び（Ｂ）の
いずれの場合も、移動体Ｍ１から見た移動体Ｍ２の相対
位置ベクトルの変化と移動体Ｍ２から見た移動体Ｍ１の
相対値ベクトルの変化は異なり、それぞれＰＡＳ２０及
びＰＡＳ１３と分類される。
移動体Ｍ１から見た移動体Ｍ２の相対位置ベクトルの変
化と移動体Ｍ２から移動体Ｍ１を見た装置位置ベクトル
の変化は同一であり、それぞれＰＡＳ００及びＰＡＳ１
１と分類される。これに対し、図９（Ａ）及び（Ｂ）の
いずれの場合も、移動体Ｍ１から見た移動体Ｍ２の相対
位置ベクトルの変化と移動体Ｍ２から見た移動体Ｍ１の
相対値ベクトルの変化は異なり、それぞれＰＡＳ２０及
びＰＡＳ１３と分類される。
【００４６】このように、第２スカラーも用いて移動体
の相対動作を分類することにより、第１スカラーのみで
は区別して認識することができなかったものが認識可能
となり、状態をより正確に把握することが可能となる。
の相対動作を分類することにより、第１スカラーのみで
は区別して認識することができなかったものが認識可能
となり、状態をより正確に把握することが可能となる。
【００４７】例えば、オブジェクトマップ上のクラスタ
数が３で、ＩＤが１、２及び３であり、ＩＤ＝ｉとＩＤ
＝ｊのクラスタ間の観測系列をＯＳi,jで表すと、図２
の観測系列記憶部２７には観測系列ＯＳ1,2、ＯＳ2,1、
ＯＳ2,3、ＯＳ3,1及びＯＳ1,3が格納されている。ＯＳ
i,jとＯＳj,iが格納されているのは、第２スカラーの時
系列に着目して上記ＰＡＳｋｍの分類を可能にするため
である。観測系列記憶部２７には、各観測系列は、所定
個数、例えば２４個の観測量からなり、時刻が１進む毎
に最も古い観測量を削除し新しい観測量を付加する。
数が３で、ＩＤが１、２及び３であり、ＩＤ＝ｉとＩＤ
＝ｊのクラスタ間の観測系列をＯＳi,jで表すと、図２
の観測系列記憶部２７には観測系列ＯＳ1,2、ＯＳ2,1、
ＯＳ2,3、ＯＳ3,1及びＯＳ1,3が格納されている。ＯＳ
i,jとＯＳj,iが格納されているのは、第２スカラーの時
系列に着目して上記ＰＡＳｋｍの分類を可能にするため
である。観測系列記憶部２７には、各観測系列は、所定
個数、例えば２４個の観測量からなり、時刻が１進む毎
に最も古い観測量を削除し新しい観測量を付加する。
【００４８】分類部２８は、観測系列記憶部２７に格納
されている各クラスタ間の観測系列を読み出し、予め定
められた衝突事故及びその他の参照系列との類似度を算
出し、これらを分類結果として判定部２９に供給する。
この観測系列は、上記第１スカラーと第２スカラーとの
組み合わせの観測量の時系列であり、参照系列も同様で
ある。なお、観測系列の第１スカラーに着目して、予め
定められた衝突事故の参照系列との類似度を算出し、第
２スカラーに着目して、予め定められた上記ＰＡＳｋｍ
の各々の参照系列との類似度を算出し、これらを分類結
果として判定部２９に供給してもよい。
されている各クラスタ間の観測系列を読み出し、予め定
められた衝突事故及びその他の参照系列との類似度を算
出し、これらを分類結果として判定部２９に供給する。
この観測系列は、上記第１スカラーと第２スカラーとの
組み合わせの観測量の時系列であり、参照系列も同様で
ある。なお、観測系列の第１スカラーに着目して、予め
定められた衝突事故の参照系列との類似度を算出し、第
２スカラーに着目して、予め定められた上記ＰＡＳｋｍ
の各々の参照系列との類似度を算出し、これらを分類結
果として判定部２９に供給してもよい。
【００４９】公知のパターン類似度計算には、隠れマル
コフモデル（ＨＭＭ）法やパターンマッチング法などが
あり、これらのいずれかを利用することができる。例え
ば、上記特開２００１−１４８０１９号公報に開示され
ているように、具体的な衝突事故の観測系列を学習系列
としてパラメータを決定したＨＭＭにより、観測系列が
生ずる確率を類似度として計算する。
コフモデル（ＨＭＭ）法やパターンマッチング法などが
あり、これらのいずれかを利用することができる。例え
ば、上記特開２００１−１４８０１９号公報に開示され
ているように、具体的な衝突事故の観測系列を学習系列
としてパラメータを決定したＨＭＭにより、観測系列が
生ずる確率を類似度として計算する。
【００５０】ここで、図１１及び図１２を参照して移動
体の衝突事故及び故障の検出について説明する。
体の衝突事故及び故障の検出について説明する。
【００５１】図１１において、移動体Ｍ１とＭ２の間に
図１０に示すような衝突シーケンスが生じ又はこれに類
似した非衝突シーケンスが生じ、最終的に移動体Ｍ１と
Ｍ２とが停止しているとする。このシーケンスは、移動
体Ｍ３が右折待ちの時にその後方から移動体Ｍ４が近づ
いたために移動体Ｍ３が少し前に移動して停止した場合
と類似している。路面に対し低カメラアングルで移動体
を撮像した場合には、実際には移動体間が離れていても
重なって見えるために、画像上では衝突と分類される場
合がある。
図１０に示すような衝突シーケンスが生じ又はこれに類
似した非衝突シーケンスが生じ、最終的に移動体Ｍ１と
Ｍ２とが停止しているとする。このシーケンスは、移動
体Ｍ３が右折待ちの時にその後方から移動体Ｍ４が近づ
いたために移動体Ｍ３が少し前に移動して停止した場合
と類似している。路面に対し低カメラアングルで移動体
を撮像した場合には、実際には移動体間が離れていても
重なって見えるために、画像上では衝突と分類される場
合がある。
【００５２】しかし、移動体Ｍ３及びＭ４は、右折待ち
のために停止が許可されている領域に存在する。これに
対し、移動体Ｍ１及びＭ２は、停止が禁止されている領
域に存在しているので、移動体Ｍ１とＭ２の間に衝突が
生じた可能性が高い。この場合、救急車などが交差点に
接近しているために移動体Ｍ１とＭ２が停止している可
能性もある。そこで、停止している移動体Ｍ１又はＭ２
の横を通り過ぎる移動体があれば、移動体Ｍ１とＭ２の
衝突の可能性はさらに高くなる。
のために停止が許可されている領域に存在する。これに
対し、移動体Ｍ１及びＭ２は、停止が禁止されている領
域に存在しているので、移動体Ｍ１とＭ２の間に衝突が
生じた可能性が高い。この場合、救急車などが交差点に
接近しているために移動体Ｍ１とＭ２が停止している可
能性もある。そこで、停止している移動体Ｍ１又はＭ２
の横を通り過ぎる移動体があれば、移動体Ｍ１とＭ２の
衝突の可能性はさらに高くなる。
【００５３】このようなことから、（１）移動体Ｍ１と
Ｍ２の相対動作が衝突と分類され、（２）移動体Ｍ１又
はＭ２が停止禁止領域内に停止しており、（３）他の車
が交差点で移動している場合には、移動体Ｍ１とＭ２が
衝突であると判定する。
Ｍ２の相対動作が衝突と分類され、（２）移動体Ｍ１又
はＭ２が停止禁止領域内に停止しており、（３）他の車
が交差点で移動している場合には、移動体Ｍ１とＭ２が
衝突であると判定する。
【００５４】また、図１２に示すように、移動体Ｍ１が
他の車と衝突していないが、移動体Ｍ１が停止禁止領域
内に停止している場合には、移動体Ｍ１が故障している
可能性が高い。この場合、交差点で他の移動体が移動し
てれば、移動体Ｍ１が故障している可能性はさらに高く
なる。そこで、上記（１）が否定判定され、上記（２）
及び（３）が肯定判定された場合には、移動体が故障し
ていると判定する。
他の車と衝突していないが、移動体Ｍ１が停止禁止領域
内に停止している場合には、移動体Ｍ１が故障している
可能性が高い。この場合、交差点で他の移動体が移動し
てれば、移動体Ｍ１が故障している可能性はさらに高く
なる。そこで、上記（１）が否定判定され、上記（２）
及び（３）が肯定判定された場合には、移動体が故障し
ていると判定する。
【００５５】図３は、図２の判定部２９の処理を示すフ
ローチャートである。
ローチャートである。
【００５６】（Ｓ１）判定部２９は、分類部２８から１
つのクラスタ間についての衝突類似度ＣＳを読み込む。
つのクラスタ間についての衝突類似度ＣＳを読み込む。
【００５７】（Ｓ２〜Ｓ４）この衝突類似度ＣＳが設定
値ＣＳ０より大きければ、フラグＦをセットし、そうで
なければフラグＦをリセットする。
値ＣＳ０より大きければ、フラグＦをセットし、そうで
なければフラグＦをリセットする。
【００５８】（Ｓ５）観測系列記憶部２７から、ステッ
プＳ１で読み込んだクラスタ間について、観測系列を読
み込み、最も新しい時点から所定数の観測量の第１スカ
ラーがすべて０である場合、すなわち、相対動きベクト
ルＶ＝０の状態が所定時間を超えている場合、次に、オ
ブジェクトマップ記憶部２４を参照してそのＩＤを有す
るクラスタに属する全てのブロックの動きベクトルが０
であるかどうかを調べ、０であればこの移動体が停止し
ていると判定する。停止していなければステップＳ１へ
戻って他の１つのクラスタ間について全ての分類結果を
読み込み、そうでなければステップＳ６へ進む。
プＳ１で読み込んだクラスタ間について、観測系列を読
み込み、最も新しい時点から所定数の観測量の第１スカ
ラーがすべて０である場合、すなわち、相対動きベクト
ルＶ＝０の状態が所定時間を超えている場合、次に、オ
ブジェクトマップ記憶部２４を参照してそのＩＤを有す
るクラスタに属する全てのブロックの動きベクトルが０
であるかどうかを調べ、０であればこの移動体が停止し
ていると判定する。停止していなければステップＳ１へ
戻って他の１つのクラスタ間について全ての分類結果を
読み込み、そうでなければステップＳ６へ進む。
【００５９】（Ｓ６）この停止しているクラスタが、停
止禁止領域記憶部３０に予め格納されている停止禁止領
域内に存在するかどうかを調べ、存在すればステップＳ
７へ進み、そうでなければステップＳ１へ戻る。
止禁止領域記憶部３０に予め格納されている停止禁止領
域内に存在するかどうかを調べ、存在すればステップＳ
７へ進み、そうでなければステップＳ１へ戻る。
【００６０】（Ｓ７）分類部２８の分類結果に、他のク
ラスタとの間について上記ＰＡＳ００、ＰＡＳ１１、Ｐ
ＡＳ２０又はＰＡＳ１３のいずれかの参照系列との類似
度が設定値を越えていれば、交差点内で移動している移
動体が存在すると判定してステップＳ８へ進み、そうで
なけれなステップＳ１へ戻る。
ラスタとの間について上記ＰＡＳ００、ＰＡＳ１１、Ｐ
ＡＳ２０又はＰＡＳ１３のいずれかの参照系列との類似
度が設定値を越えていれば、交差点内で移動している移
動体が存在すると判定してステップＳ８へ進み、そうで
なけれなステップＳ１へ戻る。
【００６１】（Ｓ８〜Ｓ１０）Ｆ＝１であれば事故と判
定し、Ｆ＝０であれば移動体故障であると判定し、その
結果を出力し、ステップＳ１へ戻る。
定し、Ｆ＝０であれば移動体故障であると判定し、その
結果を出力し、ステップＳ１へ戻る。
【００６２】このような処理により、移動体の衝突事故
及び故障を高確率で自動検出することができる。
及び故障を高確率で自動検出することができる。
【００６３】次に、図２の移動体追跡部２５において、
時刻（ｔ−１）のオブジェクトマップ及びフレーム画像
と、時刻ｔのフレーム画像とに基づいて時刻ｔのオブジ
ェクトマップを生成する方法を詳説する。
時刻（ｔ−１）のオブジェクトマップ及びフレーム画像
と、時刻ｔのフレーム画像とに基づいて時刻ｔのオブジ
ェクトマップを生成する方法を詳説する。
【００６４】１台のカメラで広い領域を撮像して移動体
を追跡するために、路面に対し低カメラアングルで移動
体を正面から撮像した場合、図１３（Ａ）〜（Ｃ）に示
すように移動体同士の画像上での重なりが頻繁に生ず
る。
を追跡するために、路面に対し低カメラアングルで移動
体を正面から撮像した場合、図１３（Ａ）〜（Ｃ）に示
すように移動体同士の画像上での重なりが頻繁に生ず
る。
【００６５】図１４及び図１５はそれぞれ、図１３
（Ａ）及び（Ｂ）の拡大画像を示す。点線は、画像をブ
ロックに分割するものである。図１４において、重なっ
た移動体Ｍ１とＭ２は、図２のオブジェクトマップ記憶
部２４において１つのクラスタＣ１２に対応しており、
移動体Ｍ１とＭ２とが識別されていないとする。これに
対し、クラスタＣ３は１つの移動体Ｍ３に対応してい
る。
（Ａ）及び（Ｂ）の拡大画像を示す。点線は、画像をブ
ロックに分割するものである。図１４において、重なっ
た移動体Ｍ１とＭ２は、図２のオブジェクトマップ記憶
部２４において１つのクラスタＣ１２に対応しており、
移動体Ｍ１とＭ２とが識別されていないとする。これに
対し、クラスタＣ３は１つの移動体Ｍ３に対応してい
る。
【００６６】時刻ｔでの第ｉ行第ｊ列のブロックをＢ
（ｔ：ｉ，ｊ）で表す。図１４に示すように、ブロック
Ｂ（ｔ−１：１１，１３）及びＢ（ｔ−１：１４，１
３）の動きベクトルをそれぞれＶ２及びＶ３で表す。動
きベクトルＶ２及びＶ３の先端はいずれもブロックＢ
（ｔ−１：１８，１１）内に存在している。図１５に示
す時刻ｔの画像中の枠ＳＢ２及びＳＢ３はそれぞれ、図
１４の画像中のブロックＢ（ｔ−１：１１，１３）及び
Ｂ（ｔ−１：１４，１３）をそれぞれ動きベクトルＶ１
及びＶ２移動させた領域に対応している。
（ｔ：ｉ，ｊ）で表す。図１４に示すように、ブロック
Ｂ（ｔ−１：１１，１３）及びＢ（ｔ−１：１４，１
３）の動きベクトルをそれぞれＶ２及びＶ３で表す。動
きベクトルＶ２及びＶ３の先端はいずれもブロックＢ
（ｔ−１：１８，１１）内に存在している。図１５に示
す時刻ｔの画像中の枠ＳＢ２及びＳＢ３はそれぞれ、図
１４の画像中のブロックＢ（ｔ−１：１１，１３）及び
Ｂ（ｔ−１：１４，１３）をそれぞれ動きベクトルＶ１
及びＶ２移動させた領域に対応している。
【００６７】次に、動きベクトルＶ２及びＶ３の先端が
ブロックＢ（１８，１１）の中心に一致するように動き
ベクトルＶ２及びＶ３を平行移動させ、動きベクトルＶ
２及びＶ３の方向を逆にし、図１６に示すように、ハッ
チングが施されたブロックＢ（ｔ−１：１８，１１）を
−Ｖ２及び−Ｖ３移動させた枠ＳＢＲ２及びＳＢＲ３を
求める。枠ＳＢＲ２及びＳＢＲ３内の画像はそれぞれ、
図１７のブロックＢ（ｔ：１８，１１）内の画像が図１
６の時刻（ｔ−１）のクラスタＣ１２及びＣ３に属して
いた仮定したときの推定画像である。クラスタＣ１２及
びＣ３のＩＤをそれぞれＩＤ１２及びＩＤ３とする。
ブロックＢ（１８，１１）の中心に一致するように動き
ベクトルＶ２及びＶ３を平行移動させ、動きベクトルＶ
２及びＶ３の方向を逆にし、図１６に示すように、ハッ
チングが施されたブロックＢ（ｔ−１：１８，１１）を
−Ｖ２及び−Ｖ３移動させた枠ＳＢＲ２及びＳＢＲ３を
求める。枠ＳＢＲ２及びＳＢＲ３内の画像はそれぞれ、
図１７のブロックＢ（ｔ：１８，１１）内の画像が図１
６の時刻（ｔ−１）のクラスタＣ１２及びＣ３に属して
いた仮定したときの推定画像である。クラスタＣ１２及
びＣ３のＩＤをそれぞれＩＤ１２及びＩＤ３とする。
【００６８】図１６中の枠ＳＢＲ２内の画像と図１７中
のブロックＢ（ｔ：１８，１１）内の画像との相関度に
関係した評価値ＵＤを次式で計算し、この値をＵＤ（Ｉ
Ｄ１２）とする。
のブロックＢ（ｔ：１８，１１）内の画像との相関度に
関係した評価値ＵＤを次式で計算し、この値をＵＤ（Ｉ
Ｄ１２）とする。
【００６９】
ＵＤ＝Σ｜ＳＰ（ｔ−１：ｉ，ｊ）−ＢＰ（ｔ：ｉ，ｊ）｜ （１）
ここにＳＰ（ｔ−１：ｉ，ｊ）及びＢＰ（ｔ：ｉ，ｊ）
はそれぞれ、図１６の枠ＳＢＲ２内及び図１７のブロッ
クＢ（ｔ：１８，１１）内の第ｉ行第ｊ列のピクセルの
値であり、Σはｉ＝１〜８及びｊ＝１〜８についての総
和（ブロック内全画素についての総和）を意味してい
る。評価値ＵＤの値が小さいほど相関度が高い。
はそれぞれ、図１６の枠ＳＢＲ２内及び図１７のブロッ
クＢ（ｔ：１８，１１）内の第ｉ行第ｊ列のピクセルの
値であり、Σはｉ＝１〜８及びｊ＝１〜８についての総
和（ブロック内全画素についての総和）を意味してい
る。評価値ＵＤの値が小さいほど相関度が高い。
【００７０】同様に図１６中の枠ＳＢＲ３内の画像と図
１７中のブロックＢ（ｔ：１８，１１）内の画像との相
関度に関係した評価値ＵＤを計算し、この値をＵＤ（Ｉ
Ｄ３）とする。
１７中のブロックＢ（ｔ：１８，１１）内の画像との相
関度に関係した評価値ＵＤを計算し、この値をＵＤ（Ｉ
Ｄ３）とする。
【００７１】図１６と図１７の場合には、ＵＤ（ＩＤ
３）＜ＵＤ（ＩＤ１２）となり、ブロックＢ（ｔ：１
８，１１）にＩＤ３を付与する。
３）＜ＵＤ（ＩＤ１２）となり、ブロックＢ（ｔ：１
８，１１）にＩＤ３を付与する。
【００７２】このように、ブロック毎の動きベクトルを
用いることにより、複数の移動体を含む時刻ｔのクラス
タＣ１２３に含まれるブロックに異なるＩＤを付与する
ことができ、これにより１つのクラスタＣ１２３を異な
るＩＤのクラスタに分割することが可能になる。
用いることにより、複数の移動体を含む時刻ｔのクラス
タＣ１２３に含まれるブロックに異なるＩＤを付与する
ことができ、これにより１つのクラスタＣ１２３を異な
るＩＤのクラスタに分割することが可能になる。
【００７３】図１５のクラスタＣ１２３に属するブロッ
クＢ（ｔ：１８，１１）に対応するクラスタＣ１２内の
ブロックＢ（ｔ−１：１１，１３）及びクラスタＣ３内
のＢ（ｔ−１：１４，１３）の見つけ方は次の通りであ
る。すなわち、ブロックＢ（ｔ−１：ｉ，ｊ）の中心か
らブロックＢ（ｔ−１：１８，１１）の中心までのベク
トルをＶ（１８−ｉ，１１−ｊ）、ブロックＢ（ｔ−
１：ｉ，ｊ）の動きベクトルをＶ（ｔ−１：ｉ，ｊ）と
表記すると、 ｜Ｖ（１８−ｉ，１１−ｊ）−Ｖ（ｔ−１：ｉ，ｊ）｜
＜ΔＶ を満たすＶ（ｔ−１：ｉ，ｊ）をもつブロックＢ（ｔ−
１：ｉ，ｊ）を見つければよい。ここにΔＶは定数であ
り、例えばブロックの１辺の画素数の３倍の値である。
ブロックＢ（ｔ：１８，１１）に対応するクラスタＣ１
２内のブロックが複数有り、又は、ブロックＢ（ｔ：１
８，１１）に対応するクラスタクラスタＣ３内のブロッ
クが複数有る場合には、その各々についての評価値を求
め、最も小さい評価値に対応したＩＤをブロックＢ
（ｔ：１８，１１）に付与する。
クＢ（ｔ：１８，１１）に対応するクラスタＣ１２内の
ブロックＢ（ｔ−１：１１，１３）及びクラスタＣ３内
のＢ（ｔ−１：１４，１３）の見つけ方は次の通りであ
る。すなわち、ブロックＢ（ｔ−１：ｉ，ｊ）の中心か
らブロックＢ（ｔ−１：１８，１１）の中心までのベク
トルをＶ（１８−ｉ，１１−ｊ）、ブロックＢ（ｔ−
１：ｉ，ｊ）の動きベクトルをＶ（ｔ−１：ｉ，ｊ）と
表記すると、 ｜Ｖ（１８−ｉ，１１−ｊ）−Ｖ（ｔ−１：ｉ，ｊ）｜
＜ΔＶ を満たすＶ（ｔ−１：ｉ，ｊ）をもつブロックＢ（ｔ−
１：ｉ，ｊ）を見つければよい。ここにΔＶは定数であ
り、例えばブロックの１辺の画素数の３倍の値である。
ブロックＢ（ｔ：１８，１１）に対応するクラスタＣ１
２内のブロックが複数有り、又は、ブロックＢ（ｔ：１
８，１１）に対応するクラスタクラスタＣ３内のブロッ
クが複数有る場合には、その各々についての評価値を求
め、最も小さい評価値に対応したＩＤをブロックＢ
（ｔ：１８，１１）に付与する。
【００７４】図１５のクラスタＣ１２３に属する他のブ
ロックについても上記同様である。
ロックについても上記同様である。
【００７５】ブロックＢ（ｔ：１８，１１）にＩＤ３を
付与する上記の場合、このブロックの動きベクトルはほ
ぼ動きベクトルＶ３であると推定できる。ブロックＢ
（ｔ：１８，１１）の動きベクトルをより正確に求める
ために、枠ＳＢＲ３を、この位置を中心として所定範囲
内で１画素ずつシフトさせ、このシフト毎に該評価値を
求め、評価値が最小（相関度が最大）になったときの枠
ＳＢＲ３の中心からブロックＢ（ｔ：１８，１１）の中
心へ向かうベクトルを、ブロックＢ（ｔ：１８，１１）
の動きベクトルと決定する。時刻ｔでのブロックの動き
ベクトルは、このブロックにＩＤを付与する毎に、この
ようなブロックマッチングで決定される。
付与する上記の場合、このブロックの動きベクトルはほ
ぼ動きベクトルＶ３であると推定できる。ブロックＢ
（ｔ：１８，１１）の動きベクトルをより正確に求める
ために、枠ＳＢＲ３を、この位置を中心として所定範囲
内で１画素ずつシフトさせ、このシフト毎に該評価値を
求め、評価値が最小（相関度が最大）になったときの枠
ＳＢＲ３の中心からブロックＢ（ｔ：１８，１１）の中
心へ向かうベクトルを、ブロックＢ（ｔ：１８，１１）
の動きベクトルと決定する。時刻ｔでのブロックの動き
ベクトルは、このブロックにＩＤを付与する毎に、この
ようなブロックマッチングで決定される。
【００７６】類似度をより正確に見積もるために、以下
のような量も考慮する。
のような量も考慮する。
【００７７】図１６中の枠ＳＢＲ３の一部はクラスタＣ
３からはみ出しており、その面積が広いほど、図１７の
ブロックＢ（ｔ：１８，１１）のＩＤがＩＤ３である確
率が低いと考えられる。そこで、ブロックＢ（ｔ：１
８，１１）のＩＤがＩＤ３であると仮定し、枠ＳＢＲ３
内の、クラスタＣ３に属する画素数Ｓ（ｔ−１）を求
め、図１６中の枠ＳＢＲ３内の画像と図１７中のブロッ
クＢ（ｔ：１８，１１）内の画像との相関度に関係した
評価値ＵＳを次式で計算し、この値をＵＳ（ＩＤ３）と
する。
３からはみ出しており、その面積が広いほど、図１７の
ブロックＢ（ｔ：１８，１１）のＩＤがＩＤ３である確
率が低いと考えられる。そこで、ブロックＢ（ｔ：１
８，１１）のＩＤがＩＤ３であると仮定し、枠ＳＢＲ３
内の、クラスタＣ３に属する画素数Ｓ（ｔ−１）を求
め、図１６中の枠ＳＢＲ３内の画像と図１７中のブロッ
クＢ（ｔ：１８，１１）内の画像との相関度に関係した
評価値ＵＳを次式で計算し、この値をＵＳ（ＩＤ３）と
する。
【００７８】
ＵＳ＝（Ｓ（ｔ−１）−６４）2 （２）
評価値ＵＤの値が小さいほど相関度が高い。同様にブロ
ックＢ（ｔ：１８，１１）のＩＤがＩＤ１２であると仮
定し、枠ＳＢＲ２内の、クラスタＣ１２に属する画素数
Ｓを求めて評価値ＵＳを計算し、この値をＵＳ（ＩＤ１
２）とする。図１６と図１７の場合には、ＵＳ（ＩＤ１
２）＝０であり、ＵＳ（ＩＤ３）＞ＵＳ（ＩＤ１２）で
ある。
ックＢ（ｔ：１８，１１）のＩＤがＩＤ１２であると仮
定し、枠ＳＢＲ２内の、クラスタＣ１２に属する画素数
Ｓを求めて評価値ＵＳを計算し、この値をＵＳ（ＩＤ１
２）とする。図１６と図１７の場合には、ＵＳ（ＩＤ１
２）＝０であり、ＵＳ（ＩＤ３）＞ＵＳ（ＩＤ１２）で
ある。
【００７９】上式（１）と（２）の一次結合Ｕ＝αＵＤ
＋βＵＳを評価関数とし、評価値Ｕが小さいほど類似度
が高いと判定する。ここにα及びβは正の定数であり、
類似度の評価がより正確になるように経験的に定められ
る。
＋βＵＳを評価関数とし、評価値Ｕが小さいほど類似度
が高いと判定する。ここにα及びβは正の定数であり、
類似度の評価がより正確になるように経験的に定められ
る。
【００８０】図１７の時刻ｔにおける各ブロックにつ
き、上記同様にしてＩＤ１２を付与するかＩＤ３を付与
するかを決定する。評価値の差の絶対値｜Ｕ（ＩＤ１
２）−Ｕ（ＩＤ３）｜が所定値以下の場合には誤判定さ
れる確率が大きいので、ＩＤを付与しないで残してお
き、時刻ｔの画像について次の量を考慮する。例えば、
図１７のブロックＢ（ｔ：１８，１１）のＩＤが未定で
これがＩＤ３であると仮定した場合、ブロックＢ（ｔ：
１８，１１）に隣接した８個のブロックについて、ＩＤ
３が付与されている個数Ｎ（ｔ）を求め、評価値ＵＮを
次式で計算し、この値をＵＮ（ＩＤ３）とする。
き、上記同様にしてＩＤ１２を付与するかＩＤ３を付与
するかを決定する。評価値の差の絶対値｜Ｕ（ＩＤ１
２）−Ｕ（ＩＤ３）｜が所定値以下の場合には誤判定さ
れる確率が大きいので、ＩＤを付与しないで残してお
き、時刻ｔの画像について次の量を考慮する。例えば、
図１７のブロックＢ（ｔ：１８，１１）のＩＤが未定で
これがＩＤ３であると仮定した場合、ブロックＢ（ｔ：
１８，１１）に隣接した８個のブロックについて、ＩＤ
３が付与されている個数Ｎ（ｔ）を求め、評価値ＵＮを
次式で計算し、この値をＵＮ（ＩＤ３）とする。
【００８１】
ＵＮ＝（Ｎ（ｔ）−８）2 （３）
評価値ＵＮの値が小さいほど相関度が高い。同様に図１
７中のブロックＢ（ｔ：１８，１１）がＩＤ１２である
と仮定した場合、ブロックＢ（ｔ：１８，１１）に隣接
した８個のブロックについて、ＩＤ１２が付与されてい
る個数Ｎを求め、評価値ＵＮを計算し、この値をＵＮ
（ＩＤ１２）とする。
７中のブロックＢ（ｔ：１８，１１）がＩＤ１２である
と仮定した場合、ブロックＢ（ｔ：１８，１１）に隣接
した８個のブロックについて、ＩＤ１２が付与されてい
る個数Ｎを求め、評価値ＵＮを計算し、この値をＵＮ
（ＩＤ１２）とする。
【００８２】また、ほぼ同一の画素値が分布しているた
めにブロックマッチングで求めた時刻（ｔ−１）の動き
ベクトルの誤差が大きく、このため上式（１）〜（３）
の一次結合Ｕ＝αＵＤ＋βＵＳ評価値の差の絶対値｜Ｕ
（ＩＤ１２）−Ｕ（ＩＤ３）｜が所定値以下になる場合
も考えられるので、さらに、ブロックＢ（ｔ：１８，１
１）に対応するブロックＢ（ｔ−１：１４，１３）及び
Ｂ（ｔ−１：１１，１３）の各々の周囲のブロックの動
きベクトルに着目することにより、類似度の評価をより
正確化する。すなわち、ブロックＢ（ｔ：１８，１１）
がＩＤ３であると仮定して求められた、時刻（ｔ−１）
の対応するブロックＢ（ｔ−１：１４，１３）の動きベ
クトルＶＣ（ｔ−１）＝Ｖ３と、このブロックＢ（ｔ−
１：１４，１３）に隣接した８個のブロックのうちＩＤ
がＩＤ３であるＮＸ＝ＮＸ３個のブロック（図１６中の
小黒点付ブロック）の動きベクトルＶＢｉ（ｔ−１）、
ｉ＝１〜ＮＸについて、評価値ＵＶを次式で計算し、こ
の値をＵＶ（ＩＤ３）とする。
めにブロックマッチングで求めた時刻（ｔ−１）の動き
ベクトルの誤差が大きく、このため上式（１）〜（３）
の一次結合Ｕ＝αＵＤ＋βＵＳ評価値の差の絶対値｜Ｕ
（ＩＤ１２）−Ｕ（ＩＤ３）｜が所定値以下になる場合
も考えられるので、さらに、ブロックＢ（ｔ：１８，１
１）に対応するブロックＢ（ｔ−１：１４，１３）及び
Ｂ（ｔ−１：１１，１３）の各々の周囲のブロックの動
きベクトルに着目することにより、類似度の評価をより
正確化する。すなわち、ブロックＢ（ｔ：１８，１１）
がＩＤ３であると仮定して求められた、時刻（ｔ−１）
の対応するブロックＢ（ｔ−１：１４，１３）の動きベ
クトルＶＣ（ｔ−１）＝Ｖ３と、このブロックＢ（ｔ−
１：１４，１３）に隣接した８個のブロックのうちＩＤ
がＩＤ３であるＮＸ＝ＮＸ３個のブロック（図１６中の
小黒点付ブロック）の動きベクトルＶＢｉ（ｔ−１）、
ｉ＝１〜ＮＸについて、評価値ＵＶを次式で計算し、こ
の値をＵＶ（ＩＤ３）とする。
【００８３】
ＵＶ＝Σ｜ＶＣ（ｔ−１）−ＶＢｉ（ｔ−１）｜2／ＮＸ （４）
ここにΣはｉ＝１〜ＮＸについての総和を意味する。評
価値ＵＶの値が小さいほど相関度が高い。同様に、ブロ
ックＢ（ｔ：１８，１１）がＩＤ１２であると仮定して
求められた、時刻（ｔ−１）の対応するブロックＢ（ｔ
−１：１１，１３）の動きベクトルＶＣ＝Ｖ２と、この
ブロックＢ（ｔ−１：１１，１３）に隣接した８個のブ
ロックのうちＩＤがＩＤ１２であるＮＸ＝ＮＸ１２個の
ブロック（図１６中の×印付ブロック）の動きベクトル
ＶＢｊ（ｔ−１）、ｊ＝１〜ＮＸについて、評価値ＵＶ
を計算し、この値をＵＶ（ＩＤ１２）とする。
価値ＵＶの値が小さいほど相関度が高い。同様に、ブロ
ックＢ（ｔ：１８，１１）がＩＤ１２であると仮定して
求められた、時刻（ｔ−１）の対応するブロックＢ（ｔ
−１：１１，１３）の動きベクトルＶＣ＝Ｖ２と、この
ブロックＢ（ｔ−１：１１，１３）に隣接した８個のブ
ロックのうちＩＤがＩＤ１２であるＮＸ＝ＮＸ１２個の
ブロック（図１６中の×印付ブロック）の動きベクトル
ＶＢｊ（ｔ−１）、ｊ＝１〜ＮＸについて、評価値ＵＶ
を計算し、この値をＵＶ（ＩＤ１２）とする。
【００８４】上式（１）〜（４）の一次結合
Ｕ＝αＵＤ＋βＵＳ＋γＵＮ＋δＵＶ （５）
を評価関数とし、評価値Ｕが小さいほど類似度が高いと
判定する。ここにγ及びδも正の定数であり、類似度の
評価がより正確になるように経験的に定められる。
判定する。ここにγ及びδも正の定数であり、類似度の
評価がより正確になるように経験的に定められる。
【００８５】このようにして、図８のクラスタＣ１２３
内のブロック毎にＩＤがＩＤ１２であるかＩＤ３である
かが決定されるとともにその動きベクトルが決定され
る。すなわち、時刻ｔでのオブジェクトマップが決定さ
れ、図１７に示すように、移動体Ｍ２が移動体Ｍ１とＭ
３の両方に重なっていても、異なるＩＤをもつクラスタ
に分割することができる。
内のブロック毎にＩＤがＩＤ１２であるかＩＤ３である
かが決定されるとともにその動きベクトルが決定され
る。すなわち、時刻ｔでのオブジェクトマップが決定さ
れ、図１７に示すように、移動体Ｍ２が移動体Ｍ１とＭ
３の両方に重なっていても、異なるＩＤをもつクラスタ
に分割することができる。
【００８６】同様にして、時刻ｔのフレーム画像とオブ
ジェクトマップとから、時刻（ｔ＋１）でのオブジェク
トマップが得られる。時刻ｔでＣ１２とＣ３とが識別さ
れていることと、時刻（ｔ＋１）のフレーム画像で移動
体Ｍ１がＭ２から分離していることから、図１９に示す
ように、時刻（ｔ＋１）では移動体Ｍ１〜Ｍ３に対応し
たＣ１〜Ｃ３が識別される。
ジェクトマップとから、時刻（ｔ＋１）でのオブジェク
トマップが得られる。時刻ｔでＣ１２とＣ３とが識別さ
れていることと、時刻（ｔ＋１）のフレーム画像で移動
体Ｍ１がＭ２から分離していることから、図１９に示す
ように、時刻（ｔ＋１）では移動体Ｍ１〜Ｍ３に対応し
たＣ１〜Ｃ３が識別される。
【００８７】なお、式（５）を用いる場合、計算時間短
縮のためにβ、γ及びδのうち、１つ以上を０にしても
よい。
縮のためにβ、γ及びδのうち、１つ以上を０にしても
よい。
【００８８】また、時刻ｔのオブジェクトマップ作成前
に、時刻（ｔ−１）のオブジェクトマップＸをワークエ
リアにコピーしてオブジェクトマップＹとし、オブジェ
クトマップＸ上でＩＤがＩＤαである各ブロックｉの動
きベクトルＶｉを、オブジェクトマップＹ上の該ブロッ
クｉに対応したブロック及びこれに隣接したＩＤ＝ＩＤ
αの全てのブロックの動きベクトルＶｊ、ｊ＝１〜ｐを
平均化したベクトル（ΣＶｊ）／ｐで置き換えてもよ
い。このようにすれば、ブロック内のテクスチャが隣接
ブロックのそれと類似しているために動きベクトルの誤
差が大きい場合、この誤差が低減される。ワークエリア
へのコピーは、平均化ベクトルを一意的に定めるためで
ある。
に、時刻（ｔ−１）のオブジェクトマップＸをワークエ
リアにコピーしてオブジェクトマップＹとし、オブジェ
クトマップＸ上でＩＤがＩＤαである各ブロックｉの動
きベクトルＶｉを、オブジェクトマップＹ上の該ブロッ
クｉに対応したブロック及びこれに隣接したＩＤ＝ＩＤ
αの全てのブロックの動きベクトルＶｊ、ｊ＝１〜ｐを
平均化したベクトル（ΣＶｊ）／ｐで置き換えてもよ
い。このようにすれば、ブロック内のテクスチャが隣接
ブロックのそれと類似しているために動きベクトルの誤
差が大きい場合、この誤差が低減される。ワークエリア
へのコピーは、平均化ベクトルを一意的に定めるためで
ある。
【００８９】次に、上記のようにして求めた時刻ｔのオ
ブジェクトマップを初期条件とし、上式（５）の評価関
数を用いてこのオブジェクトマップをより正確化する方
法について説明する。この方法自体は、評価関数Ｕを除
き上記公報に開示されているものと同一であるので、そ
の概略を説明する。
ブジェクトマップを初期条件とし、上式（５）の評価関
数を用いてこのオブジェクトマップをより正確化する方
法について説明する。この方法自体は、評価関数Ｕを除
き上記公報に開示されているものと同一であるので、そ
の概略を説明する。
【００９０】図１８のクラスタＣ１２及びＣ３内のブロ
ックをＢＫｉ、ｉ＝１〜ｎで表す。ブロックＢＫｉのＩ
Ｄが変数ＩＤｉであるとし、そのＵをＵ（ＢＫｉ，ＩＤ
ｉ）で表す。変数ＩＤｉはＩＤ１２又はＩＤ３である。
ｉ＝１〜ｎについての評価値Ｕの総和ＵＴ、 ＵＴ＝ΣＵ（ＢＫｉ，ＩＤｉ） が最小になるように、ＩＤ１〜ＩＤｎを決定する。ＩＤ
１〜ＩＤｎの初期値は、上述のようにして求められた時
刻ｔのオブジェクトマップにより与えられる。
ックをＢＫｉ、ｉ＝１〜ｎで表す。ブロックＢＫｉのＩ
Ｄが変数ＩＤｉであるとし、そのＵをＵ（ＢＫｉ，ＩＤ
ｉ）で表す。変数ＩＤｉはＩＤ１２又はＩＤ３である。
ｉ＝１〜ｎについての評価値Ｕの総和ＵＴ、 ＵＴ＝ΣＵ（ＢＫｉ，ＩＤｉ） が最小になるように、ＩＤ１〜ＩＤｎを決定する。ＩＤ
１〜ＩＤｎの初期値は、上述のようにして求められた時
刻ｔのオブジェクトマップにより与えられる。
【００９１】なお、本発明には外にも種々の変形例が含
まれる。
まれる。
【００９２】例えば、衝突事故や事故車両を自動検出す
る図２の装置は判定部２９に特徴があり、観測量検出部
２６で検出する観測量は上記第１スカラーのみであって
もよい。また、第１スカラーと第２スカラーを含む観測
量を用いた構成は、衝突事故や事故車両の判定以外を行
う装置、例えば移動体動作を自動的に分類して統計をと
る装置に用いることができる。さらに、上記評価関数Ｕ
を用いた移動体追跡部２５での処理方法は、各種移動体
追跡装置に適用可能である。
る図２の装置は判定部２９に特徴があり、観測量検出部
２６で検出する観測量は上記第１スカラーのみであって
もよい。また、第１スカラーと第２スカラーを含む観測
量を用いた構成は、衝突事故や事故車両の判定以外を行
う装置、例えば移動体動作を自動的に分類して統計をと
る装置に用いることができる。さらに、上記評価関数Ｕ
を用いた移動体追跡部２５での処理方法は、各種移動体
追跡装置に適用可能である。
【００９３】本発明には、以下の付記が含まれる。
【００９４】（付記１）時系列画像を処理して画像中の
移動体の異常事象を検出する移動体異常事象検出方法に
おいて、（ａ）第１移動体に対する第２移動体の相対動
作の特徴量を観測量として検出し、該観測量の時系列を
観測系列として記憶し、（ｂ）該観測系列の、予め定め
られた衝突観測系列に対する類似度を算出し、（ｃ）該
類似度が設定値より大きい場合、該第１移動体又は該第
２移動体が、予め定められた停止禁止領域に停止してい
るかどうかに基づいて、衝突事故であるかどうかを判定
する、ことを特徴とする移動体異常事象検出方法。
（１） （付記２）上記ステップ（ｃ）では、上記類似度が設定
値より大きい場合、上記第１移動体又は上記第２移動体
が、予め定められた停止禁止領域に停止しており、且
つ、他の移動体が移動しているとき、衝突事故であると
判定する、ことを特徴とする付記１記載の移動体異常事
象検出方法。（２） （付記３）（ｄ）上記類似度が上記設定値より小さい場
合、上記第１移動体又は上記第２移動体が、予め定めら
れた停止禁止領域に停止しているかどうかに基づいて、
停止している移動体が故障であるかどうかを判定する、
ステップをさらに有することを特徴とする付記１又は２
記載の移動体異常事象検出方法。（３） （付記４）上記ステップ（ｄ）では、上記類似度が設定
値より小さい場合、上記第１移動体又は上記第２移動体
が、予め定められた停止禁止領域に停止しており、且
つ、他の移動体が移動しているとき、停止している移動
体が故障であると判定する、ことを特徴とする付記３記
載の移動体異常事象検出方法。（４） （付記５）時系列画像が格納される画像記憶部と、格納
された該時系列画像を処理して画像中の移動体の異常事
象を検出する画像処理部と、を有する移動体異常事象検
出装置において、該画像処理部は、第１移動体に対する
第２移動体の相対動作の特徴量を観測量として検出する
観測量検出部と、該観測量の時系列を観測系列として記
憶する観測系列記憶部と、予め定められた停止禁止領域
が格納される停止禁止領域記憶部と、該観測系列の、予
め定められた衝突観測系列に対する類似度を算出する類
似度算出部と、該類似度が設定値より大きい場合、該第
１移動体又は該第２移動体が、該停止禁止領域に停止し
ているかどうかに基づいて、衝突事故であるかどうかを
判定し、その結果を出力する判定部と、を有することを
特徴とする移動体異常事象検出装置。（５） （付記６）上記判定部は、上記類似度が設定値より大き
い場合、上記第１移動体又は上記第２移動体が、予め定
められた停止禁止領域に停止しており、且つ、他の移動
体が移動しているとき、衝突事故であると判定すること
を特徴とする付記５記載の移動体異常事象検出装置。
移動体の異常事象を検出する移動体異常事象検出方法に
おいて、（ａ）第１移動体に対する第２移動体の相対動
作の特徴量を観測量として検出し、該観測量の時系列を
観測系列として記憶し、（ｂ）該観測系列の、予め定め
られた衝突観測系列に対する類似度を算出し、（ｃ）該
類似度が設定値より大きい場合、該第１移動体又は該第
２移動体が、予め定められた停止禁止領域に停止してい
るかどうかに基づいて、衝突事故であるかどうかを判定
する、ことを特徴とする移動体異常事象検出方法。
（１） （付記２）上記ステップ（ｃ）では、上記類似度が設定
値より大きい場合、上記第１移動体又は上記第２移動体
が、予め定められた停止禁止領域に停止しており、且
つ、他の移動体が移動しているとき、衝突事故であると
判定する、ことを特徴とする付記１記載の移動体異常事
象検出方法。（２） （付記３）（ｄ）上記類似度が上記設定値より小さい場
合、上記第１移動体又は上記第２移動体が、予め定めら
れた停止禁止領域に停止しているかどうかに基づいて、
停止している移動体が故障であるかどうかを判定する、
ステップをさらに有することを特徴とする付記１又は２
記載の移動体異常事象検出方法。（３） （付記４）上記ステップ（ｄ）では、上記類似度が設定
値より小さい場合、上記第１移動体又は上記第２移動体
が、予め定められた停止禁止領域に停止しており、且
つ、他の移動体が移動しているとき、停止している移動
体が故障であると判定する、ことを特徴とする付記３記
載の移動体異常事象検出方法。（４） （付記５）時系列画像が格納される画像記憶部と、格納
された該時系列画像を処理して画像中の移動体の異常事
象を検出する画像処理部と、を有する移動体異常事象検
出装置において、該画像処理部は、第１移動体に対する
第２移動体の相対動作の特徴量を観測量として検出する
観測量検出部と、該観測量の時系列を観測系列として記
憶する観測系列記憶部と、予め定められた停止禁止領域
が格納される停止禁止領域記憶部と、該観測系列の、予
め定められた衝突観測系列に対する類似度を算出する類
似度算出部と、該類似度が設定値より大きい場合、該第
１移動体又は該第２移動体が、該停止禁止領域に停止し
ているかどうかに基づいて、衝突事故であるかどうかを
判定し、その結果を出力する判定部と、を有することを
特徴とする移動体異常事象検出装置。（５） （付記６）上記判定部は、上記類似度が設定値より大き
い場合、上記第１移動体又は上記第２移動体が、予め定
められた停止禁止領域に停止しており、且つ、他の移動
体が移動しているとき、衝突事故であると判定すること
を特徴とする付記５記載の移動体異常事象検出装置。
【００９５】（付記７）上記判定部は、上記類似度が上
記設定値より小さい場合、上記第１移動体又は上記第２
移動体が、予め定められた停止禁止領域に停止している
かどうかに基づいて、停止している移動体が故障である
かどうかを判定し、その結果を出力することを特徴とす
る付記５又は６記載の移動体異常事象検出装置。
記設定値より小さい場合、上記第１移動体又は上記第２
移動体が、予め定められた停止禁止領域に停止している
かどうかに基づいて、停止している移動体が故障である
かどうかを判定し、その結果を出力することを特徴とす
る付記５又は６記載の移動体異常事象検出装置。
【００９６】（付記８）上記判定部は、上記類似度が設
定値より小さい場合、上記第１移動体又は上記第２移動
体が、予め定められた停止禁止領域に停止しており、且
つ、他の移動体が移動しているとき、停止している移動
体が故障であると判定することを特徴とする付記７記載
の移動体異常事象検出装置。
定値より小さい場合、上記第１移動体又は上記第２移動
体が、予め定められた停止禁止領域に停止しており、且
つ、他の移動体が移動しているとき、停止している移動
体が故障であると判定することを特徴とする付記７記載
の移動体異常事象検出装置。
【００９７】（付記９）時系列画像を処理して画像中の
移動体間の動作を分類する移動体間動作分類方法におい
て、（ａ）第１移動体に対する第２移動体の相対動作の
特徴量を観測量として検出し、該観測量の時系列を観測
系列として記憶し、（ｂ）該観測系列の参照系列に対す
る類似度を算出し、（ｃ）該類似度の値に応じて該第１
移動体に対する該第２移動体の動作を分類し、該観測量
は、該第１移動体に対する該第２移動体の相対速度ベク
トルＶと両者間の距離ｄに関する量を量子化した第１ス
カラーと、該第１移動体に対する該第２移動体の相対位
置ベクトルを量子化した第２スカラーとを含むことを特
徴とする移動体間動作分類方法。（６） （付記１０）上記第１スカラーは、Ｖ・ｆ（ｄ）を量子
化したものであり、ここにｆ（ｄ）は距離ｄの単調減少
関数であることを特徴とする付記９記載の移動体間動作
分類方法。
移動体間の動作を分類する移動体間動作分類方法におい
て、（ａ）第１移動体に対する第２移動体の相対動作の
特徴量を観測量として検出し、該観測量の時系列を観測
系列として記憶し、（ｂ）該観測系列の参照系列に対す
る類似度を算出し、（ｃ）該類似度の値に応じて該第１
移動体に対する該第２移動体の動作を分類し、該観測量
は、該第１移動体に対する該第２移動体の相対速度ベク
トルＶと両者間の距離ｄに関する量を量子化した第１ス
カラーと、該第１移動体に対する該第２移動体の相対位
置ベクトルを量子化した第２スカラーとを含むことを特
徴とする移動体間動作分類方法。（６） （付記１０）上記第１スカラーは、Ｖ・ｆ（ｄ）を量子
化したものであり、ここにｆ（ｄ）は距離ｄの単調減少
関数であることを特徴とする付記９記載の移動体間動作
分類方法。
【００９８】（付記１１）上記ｆ（ｄ）はｋ／（ｄ＋
ε）であり、ε及びｋは正の定数であることを特徴とす
る付記１０記載の移動体間動作分類方法。
ε）であり、ε及びｋは正の定数であることを特徴とす
る付記１０記載の移動体間動作分類方法。
【００９９】（付記１２）上記類似度は、隠れマルコフ
モデルに基づき算出された、上記観測系列が生ずる確率
であり、上記参照系列はモデルパラメータを定めるため
の学習系列であることを特徴とする付記９乃至１１のい
ずれか１つに記載の移動体間動作分類方法。
モデルに基づき算出された、上記観測系列が生ずる確率
であり、上記参照系列はモデルパラメータを定めるため
の学習系列であることを特徴とする付記９乃至１１のい
ずれか１つに記載の移動体間動作分類方法。
【０１００】（付記１３）時系列画像が格納される画像
記憶部と、格納された該時系列画像を処理して画像中の
移動体間の動作を分類する画像処理部と、を有する移動
体間動作分類装置において、該画像処理部は、第１移動
体に対する第２移動体の相対動作の特徴量を観測量とし
て検出する観測量検出部と、該観測量の時系列を観測系
列として記憶する観測系列記憶部と、該観測系列の参照
系列に対する類似度を算出する類似度算出部と、該類似
度の値に応じて該第１移動体に対する該第２移動体の動
作を分類する分類部とを有し、該観測量は、該第１移動
体に対する該第２移動体の相対速度ベクトルＶと両者間
の距離Ｄに関する量を量子化した第１スカラーと、該第
１移動体に対する該第２移動体の相対位置ベクトルを量
子化した第２スカラーとを含むことを特徴とする移動体
間動作分類装置。（７） （付記１４）上記第１スカラーは、Ｖ・ｆ（ｄ）を量子
化したものであり、ここにｆ（ｄ）は距離ｄの単調減少
関数であることを特徴とする付記１３記載の移動体間動
作分類装置。
記憶部と、格納された該時系列画像を処理して画像中の
移動体間の動作を分類する画像処理部と、を有する移動
体間動作分類装置において、該画像処理部は、第１移動
体に対する第２移動体の相対動作の特徴量を観測量とし
て検出する観測量検出部と、該観測量の時系列を観測系
列として記憶する観測系列記憶部と、該観測系列の参照
系列に対する類似度を算出する類似度算出部と、該類似
度の値に応じて該第１移動体に対する該第２移動体の動
作を分類する分類部とを有し、該観測量は、該第１移動
体に対する該第２移動体の相対速度ベクトルＶと両者間
の距離Ｄに関する量を量子化した第１スカラーと、該第
１移動体に対する該第２移動体の相対位置ベクトルを量
子化した第２スカラーとを含むことを特徴とする移動体
間動作分類装置。（７） （付記１４）上記第１スカラーは、Ｖ・ｆ（ｄ）を量子
化したものであり、ここにｆ（ｄ）は距離ｄの単調減少
関数であることを特徴とする付記１３記載の移動体間動
作分類装置。
【０１０１】（付記１５）上記ｆ（ｄ）はｋ／（ｄ＋
ε）であり、ε及びｋは正の定数であることを特徴とす
る付記１４記載の移動体間動作分類装置。
ε）であり、ε及びｋは正の定数であることを特徴とす
る付記１４記載の移動体間動作分類装置。
【０１０２】（付記１６）上記類似度は、隠れマルコフ
モデルに基づき算出された、上記観測系列が生ずる確率
であり、上記参照系列はモデルパラメータを定めるため
の学習系列であることを特徴とする付記１３乃至１５の
いずれか１つに記載の移動体間動作分類装置。
モデルに基づき算出された、上記観測系列が生ずる確率
であり、上記参照系列はモデルパラメータを定めるため
の学習系列であることを特徴とする付記１３乃至１５の
いずれか１つに記載の移動体間動作分類装置。
【０１０３】（付記１７）時系列画像の各々を、複数画
素を含むブロックに分割して処理する移動体識別方法で
あって、時刻（ｔ−１）のフレーム画像に含まれている
複数の移動体の識別ＩＤが、ブロック単位で付与されて
いるとともにブロック単位で移動体の動きベクトルが求
められている場合に、時刻ｔのフレーム画像に含まれて
いる複数の移動体のＩＤを、ブロック単位で付与すると
ともにブロック単位で移動体の動きベクトルを求める移
動体識別方法において、（ａ）該識別ＩＤがＩＤｊであ
る時刻（ｔ−１）のブロックｊをその動きベクトルＶｊ
で移動させたときの、時刻ｔの画像フレーム中の対応す
るブロックｉの枠を、−Ｖｊ移動させ、移動した枠内の
時刻（ｔ−１）の画像と、時刻ｔのブロックｉの画像と
の相関度に関係した評価値を計算し、（ｂ）該識別ＩＤ
がＩＤｋである時刻（ｔ−１）のブロックｋをその動き
ベクトルＶｋで移動させたときの、時刻ｔの画像フレー
ム中の対応する該ブロックｊの枠を、−Ｖｋ移動させ、
移動した枠内の時刻（ｔ−１）の画像と、該時刻ｔのブ
ロックｊの画像との該相関度に関係した評価値を計算
し、（ｃ）ステップ（ａ）と（ｂ）で算出された評価値
の大小関係に基づいて、該時刻ｔのブロックｉがＩＤｊ
であるかＩＤｋであるかを決定する、ことを特徴とする
移動体識別方法。（８） （付記１８）上記ステップ（ａ）の評価値は、上記時刻
ｔのブロックｉの識別ＩＤがＩＤｊであると仮定したと
きの時刻（ｔ−１）の対応するブロックｍの動きベクト
ルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロックｍと
隣接する、識別ＩＤがＩＤｊであるブロックの動きベク
トルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎａとの差の絶対値｜
ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜に関する量のｐ
についての総和を含み、上記ステップ（ｂ）の評価値
は、該時刻ｔのブロックｉの識別ＩＤがＩＤｋであると
仮定したときの時刻（ｔ−１）の対応するブロックｎの
動きベクトルＶＣｎ（ｔ−１）と、時刻（ｔ−１）のブ
ロックｎと隣接する、識別ＩＤがＩＤｋであるブロック
の動きベクトルＶＢｑ（ｔ−１）、ｑ＝１〜Ｎｂとの差
の絶対値｜ＶＣｎ（ｔ−１）−ＶＢｑ（ｔ−１）｜に関
する量のｑについての総和を含む、ことを特徴とする付
記１７記載の移動体識別方法。（９） （付記１９）上記時刻ｔのフレーム画像に対する処理の
前に、上記時刻（ｔ−１）のフレーム画像において、識
別ＩＤが付与されている各ブロックの動きベクトルを、
該ブロック及びこのブロックと同一ＩＤが付与され且つ
このブロックに隣接するブロックの動きベクトルを平均
化したもので置き換えることを特徴とする付記１７記載
の移動体識別方法。
素を含むブロックに分割して処理する移動体識別方法で
あって、時刻（ｔ−１）のフレーム画像に含まれている
複数の移動体の識別ＩＤが、ブロック単位で付与されて
いるとともにブロック単位で移動体の動きベクトルが求
められている場合に、時刻ｔのフレーム画像に含まれて
いる複数の移動体のＩＤを、ブロック単位で付与すると
ともにブロック単位で移動体の動きベクトルを求める移
動体識別方法において、（ａ）該識別ＩＤがＩＤｊであ
る時刻（ｔ−１）のブロックｊをその動きベクトルＶｊ
で移動させたときの、時刻ｔの画像フレーム中の対応す
るブロックｉの枠を、−Ｖｊ移動させ、移動した枠内の
時刻（ｔ−１）の画像と、時刻ｔのブロックｉの画像と
の相関度に関係した評価値を計算し、（ｂ）該識別ＩＤ
がＩＤｋである時刻（ｔ−１）のブロックｋをその動き
ベクトルＶｋで移動させたときの、時刻ｔの画像フレー
ム中の対応する該ブロックｊの枠を、−Ｖｋ移動させ、
移動した枠内の時刻（ｔ−１）の画像と、該時刻ｔのブ
ロックｊの画像との該相関度に関係した評価値を計算
し、（ｃ）ステップ（ａ）と（ｂ）で算出された評価値
の大小関係に基づいて、該時刻ｔのブロックｉがＩＤｊ
であるかＩＤｋであるかを決定する、ことを特徴とする
移動体識別方法。（８） （付記１８）上記ステップ（ａ）の評価値は、上記時刻
ｔのブロックｉの識別ＩＤがＩＤｊであると仮定したと
きの時刻（ｔ−１）の対応するブロックｍの動きベクト
ルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロックｍと
隣接する、識別ＩＤがＩＤｊであるブロックの動きベク
トルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎａとの差の絶対値｜
ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜に関する量のｐ
についての総和を含み、上記ステップ（ｂ）の評価値
は、該時刻ｔのブロックｉの識別ＩＤがＩＤｋであると
仮定したときの時刻（ｔ−１）の対応するブロックｎの
動きベクトルＶＣｎ（ｔ−１）と、時刻（ｔ−１）のブ
ロックｎと隣接する、識別ＩＤがＩＤｋであるブロック
の動きベクトルＶＢｑ（ｔ−１）、ｑ＝１〜Ｎｂとの差
の絶対値｜ＶＣｎ（ｔ−１）−ＶＢｑ（ｔ−１）｜に関
する量のｑについての総和を含む、ことを特徴とする付
記１７記載の移動体識別方法。（９） （付記１９）上記時刻ｔのフレーム画像に対する処理の
前に、上記時刻（ｔ−１）のフレーム画像において、識
別ＩＤが付与されている各ブロックの動きベクトルを、
該ブロック及びこのブロックと同一ＩＤが付与され且つ
このブロックに隣接するブロックの動きベクトルを平均
化したもので置き換えることを特徴とする付記１７記載
の移動体識別方法。
【０１０４】（付記２０）時系列画像が格納される画像
記憶部と、格納された該時系列画像の各々を、複数画素
を含むブロックに分割して処理し、時刻（ｔ−１）のフ
レーム画像に含まれている複数の移動体の識別ＩＤが、
ブロック単位で付与されているとともにブロック単位で
移動体の動きベクトルが求められている場合に、時刻ｔ
のフレーム画像に含まれている複数の移動体のＩＤを、
ブロック単位で付与するとともにブロック単位で移動体
の動きベクトルを求める画像処理部と、を有する移動体
識別装置において、該画像処理部は、（ａ）該識別ＩＤ
がＩＤｊである時刻（ｔ−１）のブロックｊをその動き
ベクトルＶｊで移動させたときの、時刻ｔの画像フレー
ム中の対応するブロックｉの枠を、−Ｖｊ移動させ、移
動した枠内の時刻（ｔ−１）の画像と、時刻ｔのブロッ
クｉの画像との相関度に関係した評価値を計算し、
（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロ
ックｋをその動きベクトルＶｋで移動させたときの、時
刻ｔの画像フレーム中の対応する該ブロックｊの枠を、
−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像
と、該時刻ｔのブロックｊの画像との該相関度に関係し
た評価値を計算し、（ｃ）ステップ（ａ）と（ｂ）で算
出された評価値の大小関係に基づいて、該時刻ｔのブロ
ックｉがＩＤｊであるかＩＤｋであるかを決定する、こ
とを特徴とする移動体識別装置。（１０） （付記２１）上記処理（ａ）の評価値は、上記時刻ｔの
ブロックｉの識別ＩＤがＩＤｊであると仮定したときの
動きベクトルと、該時刻ｔでのブロックｉと隣接するブ
ロックの動きベクトルとの差の絶対値に関する量の値を
含み、上記処理（ｂ）の評価値は、該時刻ｔのブロック
ｉの識別ＩＤがＩＤｋであると仮定したときの動きベク
トルと、該時刻ｔでのブロックｉと隣接するブロックの
動きベクトルとの差の絶対値に関する量の値を含む、こ
とを特徴とする付記２０記載の移動体識別装置。
記憶部と、格納された該時系列画像の各々を、複数画素
を含むブロックに分割して処理し、時刻（ｔ−１）のフ
レーム画像に含まれている複数の移動体の識別ＩＤが、
ブロック単位で付与されているとともにブロック単位で
移動体の動きベクトルが求められている場合に、時刻ｔ
のフレーム画像に含まれている複数の移動体のＩＤを、
ブロック単位で付与するとともにブロック単位で移動体
の動きベクトルを求める画像処理部と、を有する移動体
識別装置において、該画像処理部は、（ａ）該識別ＩＤ
がＩＤｊである時刻（ｔ−１）のブロックｊをその動き
ベクトルＶｊで移動させたときの、時刻ｔの画像フレー
ム中の対応するブロックｉの枠を、−Ｖｊ移動させ、移
動した枠内の時刻（ｔ−１）の画像と、時刻ｔのブロッ
クｉの画像との相関度に関係した評価値を計算し、
（ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロ
ックｋをその動きベクトルＶｋで移動させたときの、時
刻ｔの画像フレーム中の対応する該ブロックｊの枠を、
−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像
と、該時刻ｔのブロックｊの画像との該相関度に関係し
た評価値を計算し、（ｃ）ステップ（ａ）と（ｂ）で算
出された評価値の大小関係に基づいて、該時刻ｔのブロ
ックｉがＩＤｊであるかＩＤｋであるかを決定する、こ
とを特徴とする移動体識別装置。（１０） （付記２１）上記処理（ａ）の評価値は、上記時刻ｔの
ブロックｉの識別ＩＤがＩＤｊであると仮定したときの
動きベクトルと、該時刻ｔでのブロックｉと隣接するブ
ロックの動きベクトルとの差の絶対値に関する量の値を
含み、上記処理（ｂ）の評価値は、該時刻ｔのブロック
ｉの識別ＩＤがＩＤｋであると仮定したときの動きベク
トルと、該時刻ｔでのブロックｉと隣接するブロックの
動きベクトルとの差の絶対値に関する量の値を含む、こ
とを特徴とする付記２０記載の移動体識別装置。
【図１】交差点及びこれに配置された本発明の一実施形
態の装置の概略を示す図である。
態の装置の概略を示す図である。
【図２】図１中の移動体異常事象検出装置の機能ブロッ
ク図である。
ク図である。
【図３】図２の判定部の処理を示すフローチャートであ
る。
る。
【図４】交差点への４つの入口及び交差点からの４つの
出口に設定されたスリット及びブロックに付された移動
体のＩＤを示す説明図である。
出口に設定されたスリット及びブロックに付された移動
体のＩＤを示す説明図である。
【図５】図１中の観測量検出部での処理を説明するベク
トル図である。
トル図である。
【図６】ベクトルＶ／Ｄの量子化説明図である。
【図７】相対位置ベクトルの量子化及び時系列分類の説
明図である。
明図である。
【図８】（Ａ）及び（Ｂ）はいずれも互いにすれ違う移
動体間動作の分類説明図である。
動体間動作の分類説明図である。
【図９】（Ａ）及び（Ｂ）はいずれも互いにすれ違う移
動体間動作の分類説明図である。
動体間動作の分類説明図である。
【図１０】衝突事故時の時系列パターン説明図である。
【図１１】交差点での移動体衝突事故判定説明図であ
る。
る。
【図１２】交差点での移動体故障判定説明図である。
【図１３】移動体同士の画像上での重なりが頻繁に生ず
る場合の説明図である。
る場合の説明図である。
【図１４】オブジェクトマップ作成説明図である。
【図１５】オブジェクトマップ作成説明図である。
【図１６】オブジェクトマップ作成説明図である。
【図１７】オブジェクトマップ作成説明図である。
【図１８】オブジェクトマップ作成説明図である。
【図１９】オブジェクトマップ作成説明図である。
【符号の説明】
１０ カメラ
２０ 画像処理装置
２１ 画像メモリ
２２ 背景画像生成部
２３ ＩＤ生成／消滅部
２４ オブジェクトマップ記憶部
２５ 移動体追跡部
２６ 観測量検出部
２７ 観測系列記憶部
２８ 分類部
２９ 判定部
３０ 停止禁止領域記憶部
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ
(72)発明者 上條 俊介
神奈川県川崎市中原区上小田中４丁目１番
１号 富士通株式会社内
(72)発明者 坂内 正夫
神奈川県横浜市青葉区美しが丘２−56−７
(72)発明者 池内 克史
神奈川県横浜市青葉区つつじが丘５−22−
303
Ｆターム(参考） 5B057 AA16 CA08 CA12 CA16 CG06
DA08 DB02 DC30 DC34 DC36
5C054 AA01 CC02 CH01 EA01 FC13
FC16 HA00
5H180 AA01 CC04 EE02 EE15
5L096 AA06 BA04 EA23 FA34 FA54
HA04 JA03 JA11 JA18
Claims (10)
- 【請求項１】 時系列画像を処理して画像中の移動体の
異常事象を検出する移動体異常事象検出方法において、 （ａ）第１移動体に対する第２移動体の相対動作の特徴
量を観測量として検出し、該観測量の時系列を観測系列
として記憶し、 （ｂ）該観測系列の、予め定められた衝突観測系列に対
する類似度を算出し、 （ｃ）該類似度が設定値より大きい場合、該第１移動体
又は該第２移動体が、予め定められた停止禁止領域に停
止しているかどうかに基づいて、衝突事故であるかどう
かを判定する、 ことを特徴とする移動体異常事象検出方法。 - 【請求項２】 上記ステップ（ｃ）では、上記類似度が
設定値より大きい場合、上記第１移動体又は上記第２移
動体が、予め定められた停止禁止領域に停止しており、
且つ、他の移動体が移動しているとき、衝突事故である
と判定する、 ことを特徴とする請求項１記載の移動体異常事象検出方
法。 - 【請求項３】 （ｄ）上記類似度が上記設定値より小さ
い場合、上記第１移動体又は上記第２移動体が、予め定
められた停止禁止領域に停止しているかどうかに基づい
て、停止している移動体が故障であるかどうかを判定す
る、 ステップをさらに有することを特徴とする請求項１又は
２記載の移動体異常事象検出方法。 - 【請求項４】 上記ステップ（ｄ）では、上記類似度が
設定値より小さい場合、上記第１移動体又は上記第２移
動体が、予め定められた停止禁止領域に停止しており、
且つ、他の移動体が移動しているとき、停止している移
動体が故障であると判定する、 ことを特徴とする請求項３記載の移動体異常事象検出方
法。 - 【請求項５】 時系列画像が格納される画像記憶部と、 格納された該時系列画像を処理して画像中の移動体の異
常事象を検出する画像処理部と、 を有する移動体異常事象検出装置において、該画像処理
部は、 第１移動体に対する第２移動体の相対動作の特徴量を観
測量として検出する観測量検出部と、 該観測量の時系列を観測系列として記憶する観測系列記
憶部と、 予め定められた停止禁止領域が格納される停止禁止領域
記憶部と、 該観測系列の、予め定められた衝突観測系列に対する類
似度を算出する類似度算出部と、 該類似度が設定値より大きい場合、該第１移動体又は該
第２移動体が、該停止禁止領域に停止しているかどうか
に基づいて、衝突事故であるかどうかを判定し、その結
果を出力する判定部と、 を有することを特徴とする移動体異常事象検出装置。 - 【請求項６】 時系列画像を処理して画像中の移動体間
の動作を分類する移動体間動作分類方法において、 （ａ）第１移動体に対する第２移動体の相対動作の特徴
量を観測量として検出し、該観測量の時系列を観測系列
として記憶し、 （ｂ）該観測系列の参照系列に対する類似度を算出し、 （ｃ）該類似度の値に応じて該第１移動体に対する該第
２移動体の動作を分類し、 該観測量は、該第１移動体に対する該第２移動体の相対
速度ベクトルＶと両者間の距離ｄに関する量を量子化し
た第１スカラーと、該第１移動体に対する該第２移動体
の相対位置ベクトルを量子化した第２スカラーとを含む
ことを特徴とする移動体間動作分類方法。 - 【請求項７】 時系列画像が格納される画像記憶部と、 格納された該時系列画像を処理して画像中の移動体間の
動作を分類する画像処理部と、 を有する移動体間動作分類装置において、該画像処理部
は、 第１移動体に対する第２移動体の相対動作の特徴量を観
測量として検出する観測量検出部と、 該観測量の時系列を観測系列として記憶する観測系列記
憶部と、 該観測系列の参照系列に対する類似度を算出する類似度
算出部と、 該類似度の値に応じて該第１移動体に対する該第２移動
体の動作を分類する分類部とを有し、 該観測量は、該第１移動体に対する該第２移動体の相対
速度ベクトルＶと両者間の距離Ｄに関する量を量子化し
た第１スカラーと、該第１移動体に対する該第２移動体
の相対位置ベクトルを量子化した第２スカラーとを含む
ことを特徴とする移動体間動作分類装置。 - 【請求項８】 時系列画像の各々を、複数画素を含むブ
ロックに分割して処理する移動体識別方法であって、時
刻（ｔ−１）のフレーム画像に含まれている複数の移動
体の識別ＩＤが、ブロック単位で付与されているととも
にブロック単位で移動体の動きベクトルが求められてい
る場合に、時刻ｔのフレーム画像に含まれている複数の
移動体のＩＤを、ブロック単位で付与するとともにブロ
ック単位で移動体の動きベクトルを求める移動体識別方
法において、 （ａ）該識別ＩＤがＩＤｊである時刻（ｔ−１）のブロ
ックｊをその動きベクトルＶｊで移動させたときの、時
刻ｔの画像フレーム中の対応するブロックｉの枠を、−
Ｖｊ移動させ、移動した枠内の時刻（ｔ−１）の画像
と、時刻ｔのブロックｉの画像との相関度に関係した評
価値を計算し、 （ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロ
ックｋをその動きベクトルＶｋで移動させたときの、時
刻ｔの画像フレーム中の対応する該ブロックｊの枠を、
−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像
と、該時刻ｔのブロックｊの画像との該相関度に関係し
た評価値を計算し、 （ｃ）ステップ（ａ）と（ｂ）で算出された評価値の大
小関係に基づいて、該時刻ｔのブロックｉがＩＤｊであ
るかＩＤｋであるかを決定する、 ことを特徴とする移動体識別方法。 - 【請求項９】 上記ステップ（ａ）の評価値は、上記時
刻ｔのブロックｉの識別ＩＤがＩＤｊであると仮定した
ときの時刻（ｔ−１）の対応するブロックｍの動きベク
トルＶＣｍ（ｔ−１）と、時刻（ｔ−１）のブロックｍ
と隣接する、識別ＩＤがＩＤｊであるブロックの動きベ
クトルＶＢｐ（ｔ−１）、ｐ＝１〜Ｎａとの差の絶対値
｜ＶＣｍ（ｔ−１）−ＶＢｐ（ｔ−１）｜に関する量の
ｐについての総和を含み、 上記ステップ（ｂ）の評価値は、該時刻ｔのブロックｉ
の識別ＩＤがＩＤｋであると仮定したときの時刻（ｔ−
１）の対応するブロックｎの動きベクトルＶＣｎ（ｔ−
１）と、時刻（ｔ−１）のブロックｎと隣接する、識別
ＩＤがＩＤｋであるブロックの動きベクトルＶＢｑ（ｔ
−１）、ｑ＝１〜Ｎｂとの差の絶対値｜ＶＣｎ（ｔ−
１）−ＶＢｑ（ｔ−１）｜に関する量のｑについての総
和を含む、 ことを特徴とする請求項８記載の移動体識別方法。 - 【請求項１０】 時系列画像が格納される画像記憶部
と、 格納された該時系列画像の各々を、複数画素を含むブロ
ックに分割して処理し、時刻（ｔ−１）のフレーム画像
に含まれている複数の移動体の識別ＩＤが、ブロック単
位で付与されているとともにブロック単位で移動体の動
きベクトルが求められている場合に、時刻ｔのフレーム
画像に含まれている複数の移動体のＩＤを、ブロック単
位で付与するとともにブロック単位で移動体の動きベク
トルを求める画像処理部と、 を有する移動体識別装置において、該画像処理部は、 （ａ）該識別ＩＤがＩＤｊである時刻（ｔ−１）のブロ
ックｊをその動きベクトルＶｊで移動させたときの、時
刻ｔの画像フレーム中の対応するブロックｉの枠を、−
Ｖｊ移動させ、移動した枠内の時刻（ｔ−１）の画像
と、時刻ｔのブロックｉの画像との相関度に関係した評
価値を計算し、 （ｂ）該識別ＩＤがＩＤｋである時刻（ｔ−１）のブロ
ックｋをその動きベクトルＶｋで移動させたときの、時
刻ｔの画像フレーム中の対応する該ブロックｊの枠を、
−Ｖｋ移動させ、移動した枠内の時刻（ｔ−１）の画像
と、該時刻ｔのブロックｊの画像との該相関度に関係し
た評価値を計算し、 （ｃ）ステップ（ａ）と（ｂ）で算出された評価値の大
小関係に基づいて、該時刻ｔのブロックｉがＩＤｊであ
るかＩＤｋであるかを決定する、 ことを特徴とする移動体識別装置。
Priority Applications (10)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001187502A JP4480299B2 (ja) | 2001-06-21 | 2001-06-21 | 移動体を含む画像の処理方法及び装置 |
| EP05010279A EP1575014B1 (en) | 2001-06-21 | 2002-04-12 | Method and apparatus for processing pictures of vehicles |
| DE60224853T DE60224853T2 (de) | 2001-06-21 | 2002-04-12 | Verfahren und Vorrichtung zur Verarbeitung von Fahrzeugbildern |
| US10/120,374 US7298394B2 (en) | 2001-06-21 | 2002-04-12 | Method and apparatus for processing pictures of mobile object |
| DE60224324T DE60224324T2 (de) | 2001-06-21 | 2002-04-12 | Verfahren und Vorrichtung zur Verarbeitung von Fahrzeugbildern |
| EP02252614A EP1271406B1 (en) | 2001-06-21 | 2002-04-12 | Method and apparatus for processing pictures of vehicles |
| EP05010278A EP1564704B1 (en) | 2001-06-21 | 2002-04-12 | Method and apparatus for processing pictures of vehicles |
| DE60224852T DE60224852T2 (de) | 2001-06-21 | 2002-04-12 | Verfahren und Vorrichtung zur Verarbeitung von Fahrzeugbildern |
| US11/199,206 US7701482B2 (en) | 2001-06-21 | 2005-08-09 | Method and apparatus for processing pictures of mobile object |
| US11/199,282 US7420589B2 (en) | 2001-06-21 | 2005-08-09 | Method and apparatus for processing pictures of mobile object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001187502A JP4480299B2 (ja) | 2001-06-21 | 2001-06-21 | 移動体を含む画像の処理方法及び装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010025228A Division JP4868426B2 (ja) | 2010-02-08 | 2010-02-08 | 移動体を含む画像の処理方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003006655A true JP2003006655A (ja) | 2003-01-10 |
| JP4480299B2 JP4480299B2 (ja) | 2010-06-16 |
Family
ID=19026780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001187502A Expired - Lifetime JP4480299B2 (ja) | 2001-06-21 | 2001-06-21 | 移動体を含む画像の処理方法及び装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (3) | US7298394B2 (ja) |
| EP (3) | EP1575014B1 (ja) |
| JP (1) | JP4480299B2 (ja) |
| DE (3) | DE60224853T2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007188270A (ja) * | 2006-01-13 | 2007-07-26 | Univ Of Tokyo | 画像処理による交差点での異常事象検出方法 |
| JP2009157438A (ja) * | 2007-12-25 | 2009-07-16 | Nissan Motor Co Ltd | 車載警報装置及び車両用警報方法 |
| JP2017163374A (ja) * | 2016-03-10 | 2017-09-14 | 株式会社デンソー | 交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラム |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8372454B2 (en) * | 1999-04-19 | 2013-02-12 | Pom Wonderful Llc | Methods of making pomegranate compounds for the treatment of erectile dysfunction |
| US7611738B2 (en) * | 2005-05-24 | 2009-11-03 | Pom Wonderful, Llc | Processes for extracting phytochemicals from pomegranate solids and compositions and methods of use thereof |
| KR20040051777A (ko) * | 2002-12-13 | 2004-06-19 | 주식회사 엘지씨엔에스 | 유고 감지 방법 |
| US7747041B2 (en) * | 2003-09-24 | 2010-06-29 | Brigham Young University | Automated estimation of average stopped delay at signalized intersections |
| US7113079B2 (en) * | 2003-10-28 | 2006-09-26 | Oakland University | System and method for detecting a collision using a continuous mode hidden Markov model |
| DE102004042624A1 (de) * | 2004-09-01 | 2006-03-16 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren und Anordnung zur Verkehrsanalyse |
| US7894854B2 (en) | 2004-10-26 | 2011-02-22 | Pantech & Curitel Communications, Inc. | Image/audio playback device of mobile communication terminal |
| US20170025000A1 (en) * | 2004-11-03 | 2017-01-26 | The Wilfred J. And Louisette G. Lagassey Irrevocable Trust, Roger J. Morgan, Trustee | Modular intelligent transportation system |
| US7903141B1 (en) * | 2005-02-15 | 2011-03-08 | Videomining Corporation | Method and system for event detection by multi-scale image invariant analysis |
| JP4579191B2 (ja) * | 2006-06-05 | 2010-11-10 | 本田技研工業株式会社 | 移動体の衝突回避システム、プログラムおよび方法 |
| JP4454681B2 (ja) * | 2006-12-05 | 2010-04-21 | 富士通株式会社 | 交通状況表示方法、交通状況表示システム、車載装置及びコンピュータプログラム |
| EP2378485B1 (en) * | 2009-01-09 | 2018-04-11 | Panasonic Intellectual Property Management Co., Ltd. | Moving object detection method and moving object detection apparatus |
| JP5385009B2 (ja) * | 2009-05-29 | 2014-01-08 | 日立オートモティブシステムズ株式会社 | 車両制御装置および車両制御方法 |
| CN101877132B (zh) * | 2009-11-27 | 2014-03-26 | 北京中星微电子有限公司 | 用于运动跟踪的交互事件处理方法和装置 |
| CN102375983B (zh) * | 2010-08-17 | 2015-11-25 | 上海宝康电子控制工程有限公司 | 基于面积匹配优化k-均值聚类算法的图像分割处理方法 |
| US10018703B2 (en) * | 2012-09-13 | 2018-07-10 | Conduent Business Services, Llc | Method for stop sign law enforcement using motion vectors in video streams |
| CN107113399A (zh) * | 2014-06-30 | 2017-08-29 | 日本电气株式会社 | 图像处理装置、监视系统、图像处理方法和程序 |
| CN104318782B (zh) * | 2014-10-31 | 2016-08-17 | 浙江力石科技股份有限公司 | 一种面向区域重叠的高速公路视频测速方法及系统 |
| CN106384505B (zh) * | 2016-09-08 | 2019-02-22 | 广东工业大学 | 一种交通流相似性的判别方法及系统 |
| US20190066490A1 (en) * | 2017-08-29 | 2019-02-28 | Continental Automotive Systems, Inc. | Smart city data analytics for improved accident reconstruction and solutions |
| CN109285341B (zh) * | 2018-10-31 | 2021-08-31 | 中电科新型智慧城市研究院有限公司 | 一种基于实时视频的城市道路车辆异常停驶检测方法 |
| CN111260929B (zh) * | 2018-11-30 | 2022-01-04 | 西安宇视信息科技有限公司 | 车辆跟踪异常检测方法及装置 |
| CN109857114A (zh) * | 2019-02-26 | 2019-06-07 | 温州市职业中等专业学校 | 校园移动智能机器人及校园智能管理系统 |
| CN109993092B (zh) * | 2019-03-25 | 2021-03-16 | 清华大学 | 光变异常的实时高灵敏早期识别方法及装置 |
| CN111445699B (zh) * | 2020-04-13 | 2021-10-26 | 黑龙江工程学院 | 基于实时车辆轨迹的交叉口交通冲突判别方法 |
| JP2022036537A (ja) * | 2020-08-24 | 2022-03-08 | 富士通株式会社 | 移動体速度導出方法及び移動体速度導出プログラム |
| CN112446316B (zh) * | 2020-11-20 | 2022-06-07 | 浙江大华技术股份有限公司 | 事故检测方法、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05307696A (ja) * | 1992-04-28 | 1993-11-19 | Sumitomo Electric Ind Ltd | 駐車車両検出方法 |
| JPH1040490A (ja) * | 1996-07-22 | 1998-02-13 | Toyota Motor Corp | 道路監視装置 |
| JP2001148019A (ja) * | 1999-06-01 | 2001-05-29 | Fujitsu Ltd | 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5296852A (en) * | 1991-02-27 | 1994-03-22 | Rathi Rajendra P | Method and apparatus for monitoring traffic flow |
| EP0505858B1 (en) * | 1991-03-19 | 2002-08-14 | Mitsubishi Denki Kabushiki Kaisha | A moving body measuring device and an image processing device for measuring traffic flows |
| EP0567059B1 (en) * | 1992-04-24 | 1998-12-02 | Hitachi, Ltd. | Object recognition system using image processing |
| US6430303B1 (en) * | 1993-03-31 | 2002-08-06 | Fujitsu Limited | Image processing apparatus |
| JP3435623B2 (ja) | 1996-05-15 | 2003-08-11 | 株式会社日立製作所 | 交通流監視装置 |
| US6188778B1 (en) | 1997-01-09 | 2001-02-13 | Sumitomo Electric Industries, Ltd. | Traffic congestion measuring method and apparatus and image processing method and apparatus |
| JP3592043B2 (ja) * | 1997-07-31 | 2004-11-24 | トヨタ自動車株式会社 | 交差点警報装置 |
| US6269308B1 (en) * | 1998-08-20 | 2001-07-31 | Honda Giken Kogyo Kabushiki Kaisha | Safety running system for vehicle |
| US6188329B1 (en) * | 1998-11-23 | 2001-02-13 | Nestor, Inc. | Integrated traffic light violation citation generation and court date scheduling system |
| JP4118452B2 (ja) * | 1999-06-16 | 2008-07-16 | 本田技研工業株式会社 | 物体認識装置 |
| JP3515926B2 (ja) * | 1999-06-23 | 2004-04-05 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| JP3174833B2 (ja) * | 1999-10-27 | 2001-06-11 | 建設省土木研究所長 | 右折衝突防止システム |
| JP2001216519A (ja) * | 2000-02-04 | 2001-08-10 | Fujitsu Ltd | 交通監視装置 |
| JP3756452B2 (ja) * | 2002-01-18 | 2006-03-15 | 本田技研工業株式会社 | 赤外線画像処理装置 |
-
2001
- 2001-06-21 JP JP2001187502A patent/JP4480299B2/ja not_active Expired - Lifetime
-
2002
- 2002-04-12 DE DE60224853T patent/DE60224853T2/de not_active Expired - Lifetime
- 2002-04-12 EP EP05010279A patent/EP1575014B1/en not_active Expired - Lifetime
- 2002-04-12 DE DE60224324T patent/DE60224324T2/de not_active Expired - Lifetime
- 2002-04-12 EP EP05010278A patent/EP1564704B1/en not_active Expired - Lifetime
- 2002-04-12 US US10/120,374 patent/US7298394B2/en active Active
- 2002-04-12 DE DE60224852T patent/DE60224852T2/de not_active Expired - Lifetime
- 2002-04-12 EP EP02252614A patent/EP1271406B1/en not_active Expired - Lifetime
-
2005
- 2005-08-09 US US11/199,206 patent/US7701482B2/en active Active
- 2005-08-09 US US11/199,282 patent/US7420589B2/en not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05307696A (ja) * | 1992-04-28 | 1993-11-19 | Sumitomo Electric Ind Ltd | 駐車車両検出方法 |
| JPH1040490A (ja) * | 1996-07-22 | 1998-02-13 | Toyota Motor Corp | 道路監視装置 |
| JP2001148019A (ja) * | 1999-06-01 | 2001-05-29 | Fujitsu Ltd | 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007188270A (ja) * | 2006-01-13 | 2007-07-26 | Univ Of Tokyo | 画像処理による交差点での異常事象検出方法 |
| JP2009157438A (ja) * | 2007-12-25 | 2009-07-16 | Nissan Motor Co Ltd | 車載警報装置及び車両用警報方法 |
| JP2017163374A (ja) * | 2016-03-10 | 2017-09-14 | 株式会社デンソー | 交通状況解析装置、交通状況解析方法、及び、交通状況解析プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4480299B2 (ja) | 2010-06-16 |
| DE60224852T2 (de) | 2009-01-22 |
| EP1564704A3 (en) | 2006-06-07 |
| DE60224324T2 (de) | 2008-07-31 |
| EP1271406A3 (en) | 2004-03-31 |
| EP1564704B1 (en) | 2008-01-23 |
| DE60224853T2 (de) | 2009-01-22 |
| EP1575014B1 (en) | 2008-01-23 |
| DE60224852D1 (de) | 2008-03-13 |
| US7701482B2 (en) | 2010-04-20 |
| US7420589B2 (en) | 2008-09-02 |
| EP1271406A2 (en) | 2003-01-02 |
| US20050285939A1 (en) | 2005-12-29 |
| EP1575014A2 (en) | 2005-09-14 |
| US20050285940A1 (en) | 2005-12-29 |
| US7298394B2 (en) | 2007-11-20 |
| EP1271406B1 (en) | 2008-01-02 |
| US20020196341A1 (en) | 2002-12-26 |
| EP1564704A2 (en) | 2005-08-17 |
| EP1575014A3 (en) | 2006-06-07 |
| DE60224324D1 (de) | 2008-02-14 |
| DE60224853D1 (de) | 2008-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003006655A (ja) | 移動体を含む画像の処理方法及び装置 | |
| Beymer et al. | A real-time computer vision system for measuring traffic parameters | |
| EP0567059B1 (en) | Object recognition system using image processing | |
| EP0804779B1 (en) | Method and apparatus for detecting object movement within an image sequence | |
| Cheng et al. | Intelligent highway traffic surveillance with self-diagnosis abilities | |
| WO2004057537A1 (ja) | 画像における移動物体の追跡方法及び装置 | |
| KR100882368B1 (ko) | 화상에 있어서의 이동체 추적 방법 및 장치 | |
| CN109766867B (zh) | 车辆运行状态确定方法、装置、计算机设备和存储介质 | |
| Kim | Realtime lane tracking of curved local road | |
| JP4420512B2 (ja) | 移動物体間動作分類方法及び装置並びに画像認識装置 | |
| Kim | Realtime obstacle detection and tracking based on constrained Delaunay triangulation | |
| JP4795479B2 (ja) | 移動物体認識方法及び装置 | |
| Lee et al. | A cumulative distribution function of edge direction for road-lane detection | |
| JP4868426B2 (ja) | 移動体を含む画像の処理方法及び装置 | |
| JP5305548B2 (ja) | 移動体識別方法及び装置 | |
| JP7384181B2 (ja) | 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム | |
| JP7495689B2 (ja) | 渋滞検知装置、渋滞検知システム、および、渋滞検知方法 | |
| KR102039814B1 (ko) | 측후방 차량 검출 방법 및 그 장치 | |
| Ülker | Automatic vehicle detection and occlusion handling at road intersections | |
| Giardino et al. | MULTIPLE VEHICLE DETECTION AND TRACKING USING AN ADAPTIVE SYSTEM | |
| Canchola Magdaleno et al. | A Machine-Vision System to Detect Unusual Activities Online at Vehicular Intersections |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040323 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070129 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080728 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100316 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100316 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4480299 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140326 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |