JP2000339329A - 画像監視警報方法及び装置及び画像監視警報プログラムを格納した記憶媒体 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 逐次得られる最新の画像系列から警告対象の
時間先における事象の予測を行い、正確かつ簡易に警報
を出すことが可能な画像監視警報方法。 【解決手段】 蓄積された時系列画像から警告対象の事
象を含む画像を選択して、その時刻を警告の内容と共に
警告事象記憶手段に記憶し、利用者の所望する現象の発
生を予見すべき予測先行時間を指定し、記憶手段に蓄積
されている時系列画像から、計算された該画像特徴量を
画像特徴量記憶手段に蓄積し、蓄積されている現時点の
画像から計算される画像特徴量と、過去の画像の画像特
徴量との比較を行い、検索された過去の類似事象の履歴
に基づいて、予測先行時間後の画像特徴量の予測値を求
め、予測された画像特徴量と、予め設定された警告対象
の事象に対応する画像特徴量との非類似度の度合いを比
較し、予め設定された基準を満たす場合に、予想現象に
対応した警報を警告事象記憶手段から読み出して出力す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像監視警報方法
及び装置及び画像監視警報プログラムを格納した記憶媒
体に係り、特に、ビデオカメラ画像や気象レーダ、気象
衛星、医療用撮像装置等により逐次観測される時系列画
像を用いて、人物動作、車両交通状況、気象状況、生体
活動状況等を常時監視し、所定の事象、現象、動作の発
生を事前に予測し、利用者に警報を出すことを目的とす
る画像を用いた監視と警報などの応用に関連する画像監
視警報方法及び装置及び画像監視警報プログラムを格納
した記憶媒体に関する。

【０００２】

【従来の技術】人物や交通状況などを撮影した時系列画
像を用いて、画像中の人物や車両の動作を判定する手法
としては、例えば、文献［１］渡辺孝弘、谷内田正彦：
“複数入力画像の固有空間法による実時間ジェスチャ認
識”、電子情報通信学会論文誌D-II, No.5, pp.810-82
1, 1998があげられる。この方法は、ジェスチャ動作を
行う人の手の領域をビデオカメラで撮影し、画像中の手
の領域を抽出した２値画像の集合について、主成分分析
を施し、得られる上位の固有ベクトルの張る空間中にお
いて一連のジェスチャ動作を軌跡として表現し、その軌
跡の極値点の数と向きを一定の時間幅計測し、その極値
点の性質に基づき予め設定していたジェスチャ動作と、
新たに入力されたジェスチャ動作との類似性を照合し、
入力されたジェスチャ動作の種別の判定を行うものであ
る。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の方法は、検出しようとする現象などが起こった後
に、その種類を判別しているため、事前に警告を出すと
いう目的には使用できない。また、事前に警報を出すた
めには、警報対象の事象の発生の予兆を利用者が予め設
定する必要があるが、事象が複雑になると正確で効率的
な予兆の設定が困難となるという問題がある。

【０００４】本発明は、上記の点に鑑みなされたもの
で、画像を用いて現象を逐次監視するため、警報対象の
事例が含まれる画像を事前に設定しておき、逐次得られ
る最新の画像系列から警告対象の時間先における事象の
予測を行い、事前に設定した警告対象の事例との類似性
を判定し、正確かつ簡易に事象の警報を出すことが可能
な画像監視警報方法及び装置及び画像監視警報プログラ
ムを格納した記憶媒体を提供することを目的とする。

【０００５】

【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。本発明（請求項１）は、逐次
撮像される時系列画像を用いて、画像中に現れる現象、
事象の発生を事前に予測し、警報を出すための画像監視
警報方法において、警報対象の事象を観測した画像を含
む時系列画像を撮影して時系列画像記憶手段に蓄積して
おき（ステップ１）、蓄積された時系列画像から警告対
象の事象を含む画像を選択して、該画像の時刻を警告事
象記憶手段に記憶し（ステップ２）、利用者の所望する
現象の発生を予見すべき予測先行時間を指定し（ステッ
プ３）、時系列画像記憶手段に蓄積されている時系列画
像から画像特徴量を計算し、計算された該画像特徴量を
画像特徴量記憶手段に蓄積し（ステップ４）、現時点の
画像から計算される画像特徴量と、画像特徴量記憶手段
に蓄積されている過去の画像の画像特徴量との比較を行
い、類似する過去の事象を検索し（ステップ５）、検索
された過去の類似事象の履歴に基づいて、現在の事象の
予測先行時間後の画像特徴量の予測値を求めることで予
測先行時間後の事象の予測を行い（ステップ６）、予測
された画像特徴量と、予め設定された警告対象の事象に
対応する画像特徴量との非類似度の度合いを比較し（ス
テップ７）、予め設定された基準を満たす場合に、予想
される現象に対応した警報を警告事象記憶手段から読み
出して出力する（ステップ８）。

【０００６】本発明（請求項２）は、画像特徴量を計算
する際に（ステップ４）、単位時刻毎の画像中の画素の
濃淡値、該濃淡値を空間的に平均した平均輝度値、画像
平面をメッシュ状に区切り、各メッシュに含まれる画像
の濃淡値の平均値、画像中の物体の速度ベクトルのうち
いずれか一つまたは、複数を画像特徴量として計算す
る。

【０００７】本発明（請求項３）は、気象レーダ装置を
用いて、警報対象の事象を観測した画像を含む時系列画
像及び、現時点の時系列画像を撮影する。本発明（請求
項４）は、類似する過去の事象を検索する際に（ステッ
プ５）、現在時刻直近の部分画像系列に対応する各画像
特徴量の系列と、画像特徴量記憶手段中の各時刻の部分
画像系列に対応する各画像特徴量の系列について、２つ
の系列間の特徴量ベクトル間の距離の和、または、平均
的な距離を、該現在時刻直近の部分画像系列と該記憶手
段中の部分画像系列との非類似度として、時間的な順序
関係を保持して、各々の特徴量毎に計算し、各特徴量毎
の非類似度を統合して、総合的な部分画像系列間の非類
似度を計算し、非類似度が小さい部分系列、または、部
分画像系列の時刻を時系列画像記憶手段より選択し、出
力する。

【０００８】本発明（請求項５）は、総合的な部分画像
系列間の非類似度を計算する際に、時系列画像記憶手段
に蓄積されている部分画像系列の各々について、該時系
列画像記憶手段中の他の時刻の部分画像系列との間の非
類似度を各特徴量についてそれぞれ計算し、計算された
それぞれの部分画像系列に続く未来の２つの部分画像系
列間の非類似度を特定の一つの特徴量について計算し、
計算された２つの部分画像系列間の非類似度とその未来
の画像系列間の非類似度との関連を、部分画像系列の非
類似度の関数として、該部分画像系列に続く未来の部分
画像系列の期待値をモデル化することで取得し、現時点
の部分画像系列と時系列画像記憶手段中の各部分画像系
列との間において計算される各特徴量についての非類似
度を、モデルに適用し、未来の画像系列間の非類似度の
期待値として総合的な非類似度を計算する。

【０００９】本発明（請求項６）は、予測先行時間後の
事象を予測する際に（ステップ６）、検索された画像特
徴量記憶手段中の過去の画像の予測先行時刻後の画像特
徴量を、現時刻の画像と検索された画像の非類似度の大
きさに逆比例して重み付けして、足し合わせたものを、
予測先行時間後の画像特徴量として計算する。本発明
（請求項７）は、予測される事象に対応した警報を出力
する際に（ステップ８）、予め設定された警報対処の事
象を含む画像のそれぞれに対応する画像特徴量と、現在
の事象の予測先行時刻後の事象に対応する画像特徴量の
予測値との間の距離を計算し、計算された距離のうち、
各々の警告対象の事象について最も小さいものを選択
し、選択された各警告対象の事象と、現在の事象との距
離を計算し、予め設定された距離の条件を満たす事象を
選択し、選択された事象の警報情報を出力する。

【００１０】図２は、本発明の原理構成図である。本発
明（請求項８）は、逐次撮像される時系列画像を用い
て、画像中に現れる現象、事象の発生を事前に予測し、
警報を出すための画像監視警報装置であって、警報対象
の事象を観測した画像を含む時系列画像を撮影する撮影
手段１０１と、撮影手段１０１で撮影された時系列画像
を蓄積する時系列画像記憶手段２０１と、時系列画像記
憶手段２０１に蓄積された時系列画像から選択された警
告対象の事象を含む画像の時刻を警告の内容と共に記憶
する警告事象記憶手段２０６と、利用者の所望する現象
の発生を予見すべき予測先行時間を指定する予測先行時
間指定手段１０２と、時系列画像記憶手段２０１の現時
点における時系列画像から画像特徴量を計算する画像特
徴量計算手段２０２と、計算された該画像特徴量を蓄積
する画像特徴量記憶手段２０３と、現時点の画像から計
算される画像特徴量と画像特徴量記憶手段２０３に蓄積
されている過去の画像の画像特徴量との比較を行い、類
似する過去の事象を検索し、検索された過去の類似事象
の履歴に基づいて、現在の事象の予測先行時間後の画像
特徴量の予測値を求めることで予測先行時間後の事象の
予測を行う検索予測手段２０４と、予測された画像特徴
量と予め設定された警告対象の事象に対応する画像特徴
量との非類似度の度合いを比較する状況判定手段２０５
と、状況判定手段２０５において、予め設定された基準
を満たす場合に、予想される現象に対応した警報を警報
事象記憶手段２０６から読み出して出力する出力手段３
０１とを有する。

【００１１】本発明（請求項９）は、画像特徴量計算手
段２０２において、単位時刻毎の画像中の画素の濃淡
値、該濃淡値を空間的に平均した平均輝度値、画像平面
をメッシュ状に区切り、各メッシュに含まれる画像の濃
淡値の平均値、画像中の物体の速度ベクトルのうちいず
れか一つまたは、複数を画像特徴量として計算する手段
を含む。

【００１２】本発明（請求項１０）は、撮影手段１０１
において、時系列画像を撮影する気象レーダ装置を有す
る。本発明（請求項１１）は、検索予測手段２０４にお
いて、現在時刻直近の部分画像系列に対応する各画像特
徴量の系列と、画像特徴量記憶手段２０３中の各時刻の
部分画像系列に対応する各画像特徴量の系列について、
２つの系列間の特徴量ベクトル間の距離の和、または、
平均的な距離を、該現在時刻直近の部分画像系列と該時
系列画像記憶手段２０１中の部分画像系列との非類似度
として、時間的な順序関係を保持して、各々の特徴量毎
に計算する手段と、各特徴量毎の非類似度を統合して、
総合的な部分画像系列間の非類似度を計算する手段と、
非類似度が小さい部分系列、または、部分画像系列の時
刻を時系列画像記憶手段２０１より選択し、出力する手
段を有する。

【００１３】本発明（請求項１２）は、総合的な部分画
像系列間の非類似度を計算する手段は、時系列画像記憶
手段２０１に蓄積されている部分画像系列の各々につい
て、該記憶手段中の他の時刻の部分画像系列との間の非
類似度を各特徴量についてそれぞれ計算する手段と、計
算されたそれぞれの部分画像系列に続く未来の２つの部
分画像系列間の非類似度を特定の一つの特徴量について
計算する手段と、計算された２つの部分画像系列間の非
類似度とその未来の画像系列間の非類似度との関連を、
部分画像系列の非類似度の関数として、該部分画像系列
に続く未来の部分画像系列の期待値をモデル化すること
で取得する手段と、現時点の部分画像系列と時系列画像
記憶手段２０１中の各部分画像系列との間において計算
される各特徴量についての非類似度を、モデルに適用
し、未来の画像系列間の非類似度の期待値として総合的
な非類似度を計算する手段とを有する。

【００１４】本発明（請求項１３）は、検索予測手段２
０４において、検索された画像特徴量記憶手段中の過去
の画像の予測先行時刻後の画像特徴量を、現時刻の画像
と検索された画像の非類似度の大きさに逆比例して重み
付けして、足し合わせたものを、予測先行時間後の画像
特徴量として計算する手段を有する。

【００１５】本発明（請求項１４）は、状況判定手段２
０５において、予め設定された警報対処の事象を含む画
像のそれぞれに対応する画像特徴量と、現在の事象の予
測先行時刻後の事象に対応する画像特徴量の予測値との
間の距離を計算する手段と計算された距離のうち、各々
の警告対象の事象について最も小さいものを選択する手
段と、選択された各警告対象の事象と、現在の事象との
距離を計算し、予め設定された距離の条件を満たす事象
を選択する手段とを有し、出力手段３０１は、選択され
た事象の警報情報を出力する手段を有する。

【００１６】本発明（請求項１５）は、出力手段３０１
において、ＣＲＴ、ページャー、拡声器、電話のうちい
ずれか一つまたは、複数の装置を有する。本発明（請求
項１６）は、逐次撮像される時系列画像を用いて、画像
中に現れる現象、事象の発生を事前に予測し、警報を出
すための画像監視警報プログラムを格納した記憶媒体で
あって、警報対象の事象を観測した画像を含む時系列画
像を撮影させる撮影プロセスと、撮影プロセスで撮影さ
れた時系列画像を時系列画像記憶手段に蓄積するプロセ
スと、時系列画像記憶手段に蓄積された時系列画像から
警告対象の事象を含む画像を選択して、該画像の時刻を
警告事象記憶手段に記憶するプロセスと、利用者の所望
する現象の発生を予見すべき予測先行時間を指定する予
測先行時間指定プロセスと、時系列画像記憶手段の現時
点における時系列画像から画像特徴量を計算し、画像特
徴量記憶手段に蓄積する画像特徴量計算プロセスと、現
時点の画像から計算される画像特徴量と画像特徴量記憶
手段に蓄積されている過去の画像の画像特徴量との比較
を行い、類似する過去の事象を検索し、検索された過去
の類似事象の履歴に基づいて、現在の事象の予測先行時
間後の画像特徴量の予測値を求めることで予測先行時間
後の事象の予測を行う検索予測プロセスと、予測された
画像特徴量と予め設定された警告対象の事象に対応する
画像特徴量との非類似度の度合いを比較する状況判定プ
ロセスと、状況判定プロセスにおいて、予め設定された
基準を満たす場合に、予想される現象に対応した警報を
前記警告事象記憶手段から読み出して出力する出力プロ
セスとを有する。

【００１７】本発明（請求項１７）は、画像特徴量計算
プロセスにおいて、単位時刻毎の画像中の画素の濃淡
値、該濃淡値を空間的に平均した平均輝度値、画像平面
をメッシュ状に区切り、各メッシュに含まれる画像の濃
淡値の平均値、画像中の物体の速度ベクトルのうちいず
れか一つまたは、複数を画像特徴量として計算するプロ
セスを含む。

【００１８】本発明（請求項１８）は、検索予測プロセ
スにおいて、現在時刻直近の部分画像系列に対応する各
画像特徴量の系列と、画像特徴量記憶手段中の各時刻の
部分画像系列に対応する各画像特徴量の系列について、
２つの系列間の特徴量ベクトル間の距離の和、または、
平均的な距離を、該現在時刻直近の部分画像系列と該時
系列画像記憶手段中の部分画像系列との非類似度とし
て、時間的な順序関係を保持して、各々の特徴量毎に計
算するプロセスと、各特徴量毎の非類似度を統合して、
総合的な部分画像系列間の非類似度を計算するプロセス
と、非類似度が小さい部分系列、または、部分画像系列
の時刻を時系列画像記憶手段より選択し、出力するプロ
セスを有する。

【００１９】本発明（請求項１９）は、総合的な部分画
像系列間の非類似度を計算するプロセスにおいて、時系
列画像記憶手段に蓄積されている部分画像系列の各々に
ついて、該時系列画像記憶手段中の他の時刻の部分画像
系列との間の非類似度を各特徴量についてそれぞれ計算
するプロセスと、計算されたそれぞれの部分画像系列に
続く未来の２つの部分画像系列間の非類似度を特定の一
つの特徴量について計算するプロセスと、計算された２
つの部分画像系列間の非類似度とその未来の画像系列間
の非類似度との関連を、部分画像系列の非類似度の関数
として、該部分画像系列に続く未来の部分画像系列の期
待値をモデル化することで取得するプロセスと、現時点
の部分画像系列と時系列画像記憶手段中の各部分画像系
列との間において計算される各特徴量についての非類似
度を、モデルに適用し、未来の画像系列間の非類似度の
期待値として総合的な非類似度を計算するプロセスとを
有する。

【００２０】本発明（請求項２０）は、検索予測プロセ
スにおいて、検索された記憶手段中の過去の画像の予測
先行時刻後の画像特徴量を、現時刻の画像と検索された
画像の非類似度の大きさに逆比例して重み付けして、足
し合わせたものを、予測先行時間後の画像特徴量として
計算するプロセスを有する。本発明（請求項２１）は、
状況判定プロセスにおいて、予め設定された警報対処の
事象を含む画像のそれぞれに対応する画像特徴量と、現
在の事象の予測先行時刻後の事象に対応する画像特徴量
の予測値との間の距離を計算するプロセスと計算された
距離のうち、各々の警告対象の事象について最も小さい
ものを選択するプロセスと、選択された各警告対象の事
象と、現在の事象との距離を計算し、予め設定された距
離の条件を満たす事象を選択するプロセスとを有し、出
力プロセスにおいて、選択された事象の警報情報を出力
させるプロセスを有する。

【００２１】上記のように、本発明によれば、逐次撮像
される画像系列を用いて事象を監視し、画像の特徴量に
基づき警告対象の事例の発生を予測し、警報を出すこと
が可能となる。このため、これまで、人間が前兆を明確
に画像から捉えるのが困難である複雑な対象からも、過
去の警報を発すべき事象について、それが含まれている
画像の時刻を予め指定するだけで、容易に警報事例の設
定ができ、その後、自動的に事象の前兆を捉えて警報を
出すことが可能となる。

【００２２】また、本発明によれば、現象が生じるどれ
くらい時間前に警報を出すかという先行時間が指定可能
である。また、事前に設定した警告対象の事例との類似
性を、画像特徴量ベクトルについての距離として知るこ
とができるため、利用者が適宜閾値を設定することで誤
警報を少なく保つことが可能となる。また、本発明によ
れば、警告対象として指定した過去の事象の記憶のみで
はなく、警告対象に類似する事象、及び、他の事象も含
めた同一撮影条件下で画像中に現れる様々な事象を逐次
記憶しており、画像中に含まれる対象のダイナミクスを
自動的に取得することができ、そのため、現在の事象に
類似する複数の過去の事象の履歴情報を元に、統計的に
妥当な将来の事象を予測することが可能であり、警告対
象事例の設定数が少ない場合でも、正確な警報を出すこ
とが可能となる。

【００２３】さらに、本発明によれば、監視者が警告を
発すべき現象が新たに生じた場合、新たに事例を追加す
ることができる。そのため、運用時間の増大とともに、
本発明の方法及び装置の信頼性を向上させることが可能
となる。また、本発明によれば、個々の警報に対する説
明を事前に容易に、テキストや音声等の形式で記憶させ
ておくことで、利用者にも判りやすい警報情報を配信す
ることが可能となる。

【００２４】

【発明の実施の形態】図３は、本発明の画像監視警報装
置構成を示す。同図に示す装置は、入力部１００、処理
部２００及び出力部３００から構成される。入力部１０
０は、撮像部１０１と操作部１０２から構成される。

【００２５】撮像部１０１は、現象を観測した時系列画
像を撮像するためのビデオカメラや衛星搭載のカメラ、
レーダ装置、医療用撮像装置等、一定時間間隔で画像を
撮像できる装置を用いることができる。また、物理量の
空間的な分布を複数の測定器により観測し、その情報を
画像化する装置も用いることができる。撮像部１０１
は、監視すべき対象が観測できる場所に設置され、逐次
撮像される時系列の画像は電話回線等の通信路などを通
して処理部２００への出力される。

【００２６】操作部１０２は、警告事象の設定などを行
うもので、撮像部１０１で観測された時系列画像、及び
処理部２００に蓄積された過去の時系列画像、処理部２
００が出力する警告情報を表示するためのＣＲＴ装置な
どが使用できる。また、操作者が警告対象の事象を指示
するための入力卓も操作部１０２に含まれる。処理部２
００は、時系列画像記憶部２０１、画像特徴抽出部２０
２、画像特徴量記憶部２０３、検索予測部２０４、状況
判定部２０５、警告事象記憶部２０６から構成される。

【００２７】時系列記憶部２０１は、撮像部１０１より
観測される時系列画像を逐次蓄積するデータベースであ
る。画像特徴抽出部２０２は、時系列画像記憶部２０１
に蓄積される時系列画像から一定時間間隔毎に、画像特
徴量を計算する。画像特徴量記憶部２０３は、画像特徴
量抽出部２０２で計算される画像特徴量のベクトルの時
系列を蓄積するデータベースである。

【００２８】検索予測部２０４は、画像特徴量に基づい
て、直近の画像系列に含まれる事象と類似した過去の事
象を含む画像から検索し、過去の事象の変化に基づき、
指定される予測先行時間先の未来に生じる事象を予測す
る。状況判定部２０５は、検索予測部２０４により予測
された未来の事象と、警報事象記憶部２０３に記憶され
ている過去の警告対象の事象との類似性を画像特徴量に
基づき判定して、予め操作部１０２により指定された条
件を満たすとき、警報を出力部３００へ出力する。

【００２９】警告事象記憶部２０６は、時系列画像記憶
部２０１に含まれている過去の事象の中で、警報を発す
べき事象を表す画像の時刻、及び、その警報の説明を記
憶している。出力部３００は、処理部２００から出力さ
れ、通信路を通じて入力される警報情報の情報の利用者
に伝達するためのＣＲＴ装置、ページャー、拡声器、電
話などに使用することができ、さらに、警報情報に基づ
いた機器の制御などを行うための制御装置を使用するこ
とができる。

【００３０】次に、上記の構成における動作を説明す
る。図４は、本発明の画像監視警報装置の動作を示すフ
ローチャートである。まず、入力部１００から現像を観
測した最新の画像を入力し（ステップ１０１）、処理部
２００では、時系列画像記憶部２０１に入力された画像
を必要に応じて蓄積し（ステップ１０２）、画像特徴抽
出部２０２において入力された画像の画像特徴を抽出
し、画像特徴量記憶部２０３に蓄積し（ステップ１０
３）、検索予測部２０４は、特徴量に基づき過去の事象
から類似した事象を検索し、それに基づいて入力された
画像の未来の事象を予測し（ステップ１０４）、状況判
定部２０５は、予測された事象と、設定されている警報
の対象になる事象との照合を行い（ステップ１０５）、
警告の条件を満たすかの判断を行い（ステップ１０
６）、条件を満たす場合には、該当する警告の情報を出
力部３００へ出力し（ステップ１０７）、ステップ１０
１に移行し、条件を満たさない場合には、ステップ４０
１に移行する。

【００３１】次に、警報事例設定時の動作を説明する。
図５は、本発明の警報事例設定時の動作のフローチャー
トである。まず、予め、警報を発すべき事象を監視した
画像を含む時系列画像を必要十分な量だけ撮像部１０１
にて観測し、時系列画像記憶部２０１に蓄積し（ステッ
プ２０１）、次に、操作者が蓄積されている画像を順次
検索し（ステップ２０２）、警報を発すべき事象かどう
かを判断し（ステップ２０３）、警告を発すべき事象で
ある場合には、それが含まれる画像の時刻、及び、警告
の内容を記述した情報（テキスト、音声など）を警報事
象記憶部２０６へ記憶し（ステップ２０４）、この作業
を必要な警報事象を網羅するまで繰り返す。

【００３２】

【実施例】以下、図面と共に本発明の実施例を説明す
る。以下の実施例では、前述の図３に示す構成に基づい
て説明する。時系列画像記憶部２０１は、撮像部１０１
で観測され、通信路を通して入力される時系列の画像を
必要に応じて蓄積するデータベースである。また、画像
特徴抽出部２０２、及び操作部１０２から指示された画
像フレームを出力することができる。

【００３３】警報事例設定時には、まず、警報を発すべ
き現象を監視した画像を含む時系列画像を必要十分な量
だけ蓄積し、警報事例設定が終了した後は、蓄積した画
像を必要に応じて消去する。運用時には、観測された画
像の全て、または、過去の一定時間分のみを選択して記
憶することができる。上記の画像の保存量については、
装置の記憶容量を考慮して利用者が設定することができ
る。

【００３４】画像系列は時間的に切れ目なく継続してい
るもの、及び、任意の区間連続している画像系列の集合
を入力、蓄積することができ、画像フレームの時刻また
は、フレーム番号を指定することで対応する画像が取り
出せるものとする。画像特徴抽出部２０２では、時系列
画像記憶部２０１に記憶されている画像系列、及び、撮
像部１０１を通じて入力される最新の画像系列から、一
定の時間間隔で画像の性質を表現する一つまたは、複数
の特徴量ベクトルを計算する。

【００３５】警報事例設定時には、時系列画像記憶部２
０１に記憶されている画像系列から計算した画像特徴量
を画像特徴量記憶部２０３に格納し、運用時には、撮像
部１０１を通じて入力される最新の画像系列から計算し
た画像特徴量を、画像特徴量記憶部２０３に格納すると
共に、検索予測部２０４へ出力する。ここでは、例とし
て、画像中のパターンの濃淡値の空間分布を表すメッシ
ュ特徴と、パターンの動き分布を表すベクトル場と、パ
ターン表面の細かい動きやテクスチャーを表現するテン
ポラルテクスチャー特徴の３つの特徴ベクトルを計算す
る例を示す。なお、以下で説明する以外の画像特徴量も
使用可能である。

【００３６】図６は、本発明の一実施例の画像特徴量の
例を示す。メッシュ特徴は、ある時刻ｔにおいて、図６
（ａ）の例のように得られた画像を図６（ｂ）のように
メッシュに区切り、各メッシュ内の画素の濃淡値を要素
とする１次元の特徴量ベクトルｘ₁ （ｔ）である。ま
た、図６（ｂ）のような各メッシュ中に含まれるパター
ンの平均的な速度ベクトルを図６（ｃ）のような速度ベ
クトル場を計算し、その各成分を要素とする１次元ベク
トルとして速度ベクトル場の特徴量ベクトルｘ₂ （ｔ）
とする。

【００３７】さらに、テンポラルテクスチャー特徴は、
パターン表面の細かい動きテクスチャーを表現する画像
特徴であり、パターンの生成・消滅を伴う非剛体の動き
パターンについて、その性質を定量化することができ
る。複数の画像フレームに含まれるパターンの動き成分
の確率密度分布を計算し、その分布から時系列画像の局
所的な時空間領域中に含まれる動きの多様性や、画像要
素の配置の規則性などの画像特徴量を計算している。こ
こでは、優勢な速度の大きさ、動きの一様性、隠蔽率、
輪郭配置の方向性、輪郭配置の粗さ、輪郭のコントラス
トなどの量を要素とするベクトルを一定時間毎に計算
し、特徴量ベクトルｘ₃ （ｔ）とする。

【００３８】時系列画像記憶部２０１に含まれるデータ
について得られた特徴量ベクトルは、画像特徴量記憶部
２０３に記憶される。なお、この際、各特徴量ベクトル
ごとに、その分散、平均についての正規化を行い、ま
た、検索問い合わせデータ系列入力部（操作部１０２）
から入力された問い合わせデータ系列から得られた特徴
量ベクトルについても、同じパラメータで正規化を行
う。

【００３９】画像特徴量記憶部２０３では、画像特徴抽
出部２０２により計算された特徴量ベクトルを記憶し、
検索予測部２０４及び、状況判定部２０５からの要求に
応じて、要求された時刻に対応する特徴量ベクトルを出
力する。検索予測部２０４では、運用時において、画像
特徴抽出部２０２により計算される最新の時系列画像の
特徴量を入力とし、画像特徴量記憶部２０３に記憶され
ている過去の時系列画像の特徴量のそれぞれと比較し、
過去の類似する事象を検索し、過去の事例の変化に基づ
き、指定される先行時間先の特徴量の予測値の計算を行
い、その結果を状況判定部２０４に出力する。

【００４０】ここでは、その一例として、以下の方法を
示す。いま、直近の画像系列として、時刻Ｔに観測され
た画像を含むＬ時間ステップの画像系列 ｛Ｔ−Ｌ＋１，…，Ｔ−１，Ｔ｝ を入力すると考える。ここで、画像系列をＴを表記す
る。Ｌは、事象のダイナミクスを表現するために必要な
時間幅を予め設定しておく。そこで、時刻Ｔの画像系列
と時系列画像記憶部２０１に記憶されている過去の時刻
ｔの部分画像系列 ｛ｔ−Ｌ＋１，…，ｔ−１，ｔ｝ との間について、各特徴量ベクトルｋに関する非類似度 Ｄ（Ｔ，ｔ）＝｛Ｄ_k （Ｔ，ｔ）｜ｋ＝１，２，３｝ を計算する方法を示す。本実施例では、２つの部分系列
の間の時間伸縮を補正するためにＤＰマッチングを用い
た方法を利用し、次のように計算する。

【００４１】

【数１】

【００４２】但し、ηは、警報の予測先行時間のステッ
プ数とし、｜・｜はユークリッドノルムである。また、
Ｖ_k （Ｔ）は、最新の画像系列のパターン変化の速さで
あり、 Ｖ_k （Ｔ）＝｜ｘ_k （Ｔ）−ｘ_k （Ｔ−１）｜． （２） のように計算できる。このＶ_k （Ｔ）を用いて、２つの
時刻間のパターン変化の速さに依らない正規化された非
類似度ｄ_k （ｍ，ｎ）を計算し、それを時間ステップ幅
Ｌについて、和が最小になるような非類似度Ｄ_k （Ｔ，
ｔ）を計算する。

【００４３】次に、上記で定義した方法を用いて、最新
の画像系列Ｔと、時系列画像記憶部２０１中の各時刻の
部分画像系列との間の非類似度を、それぞれの特徴量ベ
クトルｋについて計算する。そして、類似した過去の事
象の候補として、各特徴量ベクトルの非類似度につい
て、利用者が与える閾値ξ＝｛ξ₁ ，ξ₂ ，ξ₃ ｝を満
たす部分画像系列の集合Ｓ_T を求める。

【００４４】

【数２】

【００４５】ここで、Ｓ_T の各要素を検索候補と呼ぶ。
次に、検索候補集合Ｓ_T 中の各要素について、各特徴量
ベクトルの非類似度を統合して、総合的な非類似度を求
める。その一例として、非類似度Ｄ_k （Ｔ，ｔ）につい
ての多項式の関数ｆとして、総合的な非類似度Ｙ
_T （ｔ）を求めることができる。

【００４６】 Ｙ_T （ｔ）＝ｆ（Ｄ（Ｔ，ｔ）） （４） 関数ｆとしては、各非類似度Ｄ_k （Ｔ，ｔ）の重み付き
和等が使用できる。また、この各特徴量の非類似度の統
合の方法として具体的に以下の方法が使用できる。ま
ず、上記で得られた部分画像系列の集合Ｓ_T 中の各時刻
に着目し、その時刻ｔと時系列画像記憶部２０１中の他
の時刻τの部分画像系列との非類似度Ｄ_k （ｔ，τ）を
計算して、また、併せて、それらの時刻ｔ，τ以後の時
刻における２つの系列の間の非類似度ｙ（ｔ，τ）を着
目する特徴量ベクトルについて計算する。この非類似度
ｙ（ｔ，τ）を予測誤差と呼ぶ。ここでは、前述の、画
像特徴抽出部２０２の特徴量ベクトルの例として説明し
た、メッシュ特徴ｘ₁ （ｔ）を着目する特徴ベクトルと
する。そこで予測誤差ｙ（ｔ，τ）を、

【００４７】

【数３】

【００４８】のように計算する。次に、このように選択
されたデータ集合Ｓ_T 中の各要素について得られた非類
似度Ｄ_k （ｔ，τ）と、予測誤差のｙ（ｔ，τ）の組よ
り、非類似度に課される閾値ε＝（ε₁ ，ε₂ ，ε₃ ）
を満たす組に対する予測誤差ｙ（ｔ，τ）の期待値ｅ
（ε）を計算する。

【００４９】

【数４】

【００５０】さらに、この予測誤差の期待値ｅ（ε）
を、非類似度の閾値εの関数と考え、回帰分析を用いて
モデル化を行う。ここでは、モデルの一つとしてロジス
ティックモデルを用いた例を示す。

【００５１】

【数５】

【００５２】ここで、ｇ（ε）は、閾値ε_k を変数とす
る多項式であり、ｂ₀ は、一つの係数である。このよう
なモデルを用いて計算した予測誤差の期待値

【００５３】

【数６】

【００５４】を期待予測誤差と呼ぶことにする。期待予
測誤差は、ある閾値εを満たす検索候補の集合につい
て、その将来の画像系列に関する平均的な非類似度の推
定値を意味する。以上の考案より、最新の画像系列Ｔ
と、過去の画像系列ｔとの間の総合的な非類似度Ｙ
_T （ｔ）を、

【００５５】

【数７】

【００５６】として計算することができる。次に、検索
結果の画像系列の最大数Ｋと、検索結果の画像系列が満
たしているべき総合的な非類似度の閾値ｅ_THを与えて、
以下のように画像系列を選択する。 Ｃ_p ＝｛ｑ₁ ，ｑ₂ ，…，ｑ_p ｝ （９） where Ｙ_T （ｑ_i ）≦Ｙ_T （ｑ_i+1 ） ｐ＝max ｛ｉ｜ｉ≦Ｋ，Ｙ’（ｑ_i ）≦ｅ_TH｝_, 次に、検索された過去の時系列画像の特徴量から、予測
対象の時刻における入力された画像の特徴量の予測を行
う。

【００５７】ここでは、その例として次の２つの方法を
説明する。なお、以下の方法以外の方法も使用可能であ
る。一つ目の方法は、検索されたデータベース（画像特
徴量記憶部２０３）中の時系列画像の予測時間先分の時
刻Ｔ＋ηの画像特徴量を、検索された画像系列と最新の
画像系列との類似度に比例して重み付けをして足し合わ
せたものを予測対象時刻の画像特徴量として計算する方
法である。具体的には、前述の検索部２０４の説明にお
いて、検索された過去の部分画像系列の集合Ｃ_p の時刻
に対応する画像特徴量 ｛ｘ_k （ｑ₁ ），ｘ_k （ｑ₂ ），…，ｘ_k （ｑ_p ）｝ の最新時刻Ｔから予測先行時間をステップ先Ｔ＋ηの時
刻における特徴量値 ｛ｘ_k （ｑ₁ ＋η），ｘ_k （ｑ₂ ＋η），…，ｘ_k （ｑ
_p ＋η）｝ を、重みをつけて平均するという方法により、時刻Ｔ＋
ηにおける画像特徴量の予測値

【００５８】

【数８】

【００５９】を次のように計算する。

【００６０】

【数９】

【００６１】ここで、ｗ（ｑ_i ）は、検索された各画素
の重みであり、検索時における最新の画像系列と検索候
補の画像系列との間の非類似度の逆数に比例している。
また、もう一つの方法としては、検索されたデータベー
ス（画像特徴量記憶部２０３）中の部分画像系列の画像
特徴量のベクトルの集合中の、任意の２つの画像特徴量
の間のベクトルの差分が、予測先行時間積においてはど
のように変化するかという写像関係を取得し、最新の画
像系列の画像特徴量ベクトルｘ_k （Ｔ）と最も類似する
検索された画像の画像特徴量のベクトルｘ_k （ｑ₁ ）と
の間の差分から、予測対象時刻先における差分ベクトル
を計算し、対応する時刻での画像特徴量のベクトルｘ_k
（ｑ₁ ＋Ｔ）との和から、画像特徴量の予測値を計算す
る方法が利用できる。

【００６２】具体的には、検索結果の画像系列に対応す
る特徴量ベクトルの集合 Ｘ＝｛ｘ_k （ｑ₁ ），ｘ_k （ｑ₂ ），…，ｘ
_k （ｑ_p ）｝ 中の２つのベクトルの組み合わせ （ｘ_k （ｑ_i ），ｘ_k （ｑ_j ））（但し、｜ｑ_i −ｑ_j
｜＞Δ、Δは定数） について、２つの特徴量ベクトル間の変位ベクトル ｚ（ｑ_i ，ｑ_j ）＝ｘ_k （ｑ_i ）−ｘ_k （ｑ_j ） （１２） と、２つの特徴量ベクトルの予測対象時間先における変
位ベクトル ｚ’（ｑ_i ，ｑ_j ）＝ｘ_k （ｑ_i ＋η）−ｘ_k （ｑ_j ＋η） （１３） との間の関係が、 ｚ’（ｑ_i ，ｑ_j ）＝Ｇｚ（ｑ_i ，ｑ_j ） （１４） のように局所線形変換Ｇにより表されると仮定し、検索
結果の集合Ｃ_p 中の２つのベクトル間の組み合わせにつ
いて、

【００６３】

【数１０】

【００６４】が最小となるような行列Ｇを最小２乗法に
より計算する。そして、得られたＧを用いて、特徴量の
予測値

【００６５】

【数１１】

【００６６】は、

【００６７】

【数１２】

【００６８】と計算できる。このようにして各種の画像
特徴量ｋ毎に、対象となる予測時間Ｔ＋ηにおける画像
特徴量の予測値

【００６９】

【数１３】

【００７０】が得られ、これは、状況判定部２０６へと
出力される。状況判定部２０６では、運用時において、
検索予測部２０４により未来の事象を予測を表す画像特
徴量の予測値を入力し、警報事象記憶部２０６に記憶さ
れている過去の事象との類似性を判定して、予め操作部
１０２により指定された条件を満たすとき、警報を出力
部３００へ出力する。

【００７１】ここでは、一例として以下に示す方法を説
明する。まず、前述の検索予測部２０４により予測され
た対象時刻Ｔ＋ηにおける画像特徴量の予測値

【００７２】

【数１４】

【００７３】と、警報事象記憶部２０６に記憶されてい
る事象に対応する画像特徴量との距離を計算する。Ｎ種
類の警告対象事例Ｕ＝｛Ｕ₁ ，Ｕ₂ ，…，Ｕ_N ｝の各サ
ンプル時刻Ｕ_i ＝｛ｕ_i,1 ，ｕ_i,2 ，…，ｕ_i,Ni｝の各
々についての予測画像特徴値

【００７４】

【数１５】

【００７５】との距離は、例えば、次のように計算する
ことができる。

【００７６】

【数１６】

【００７７】但し、Ｗ_k （ｉ，ｊ）は、警報対象のｉ事
象のｊサンプルと予測値との現象の進行速度で正規化し
た距離である。また、警報事象記憶部２０６に記憶され
ている警報に該当しない事象を明示的に示した偽警報事
象の各サンプル時刻｛ｕ_0,1 ，ｕ_0,2 ，…，ｕ_0,N0｝と
の距離も併せて計算する。

【００７８】

【数１７】

【００７９】ここで、各警報事象と、偽警報事象の各サ
ンプルについての最小の距離を求める。

【００８０】

【数１８】

【００８１】この距離が０に近いほど指定時間先ηの現
象の予測が、予め設定してある警報情報ｉに近いという
ことを意味する。そこで、操作者が操作部１０２により
予め設定した閾値Ｒ_kTH を満たす事象 Ｕ’＝｛ｉ｜Ｗ’_k （ｉ）＜Ｒ_kTH ｝ （２０） のみ選択し、事象の種類と、各事象の距離と、信頼度を
出力部３００へ出力する。ここで、選択された事象の集
合中に偽事象が存在した場合には、偽事象の距離Ｗ’_k
（０）より大きい事象については警報を出力しないもの
とする。また、事象を説明するテキスト、音声などを警
告事例記憶部２０６より取り出し、併せて出力する。

【００８２】警告事例記憶部２０６は、時系列画像記憶
部２０１に含まれている過去の事象の中で、警報を発す
べき事象を表す画像の時刻、及び、その警報の内容を記
憶する。以下では、警報事例の設定方法と、時系列画像
記憶部２０１に記憶される内容について警報事例設定時
の動作の説明を行う。

【００８３】まず、警報を発すべき現象を監視した画像
を含む時系列画像を必要十分な量だけ撮像部１０１にて
撮像し、時系列画像記憶部２０１に蓄積を行う。次に、
操作者が、時系列画像記憶部２０１に蓄積されている画
像を操作部１０２内のＣＲＴ装置などを通して順次観察
し、警告を発すべき現象を含む画像を発見した場合、そ
の画像の時刻と事象の種類を、警告事例記憶部２０６に
記憶させる。ここでは、Ｎ種類の警告対象事例Ｕ＝｛Ｕ
₁ ，Ｕ₂ ，…，Ｕ_N ｝のそれぞれについて、該当する時
刻の集合Ｕ_i ＝｛ｕ_i,1 ，ｕ_i,2 ，…，ｕ_i,N ｝が保存
される。また、事象毎に警告の掲揚を記述した情報（テ
キスト、音声等）も、事象の種類と関連付けて警報事象
記憶部２０６に記憶させる。

【００８４】また、警告を発すべき現象と類似するが、
そうではない事象を偽警報事象として、その時刻を記憶
させる。 Ｕ_k （０）＝｛ｕ_0,1 ，ｕ_0,2 ，…，ｕ_0,N0｝ （２１） この作業は、時系列画像記憶部２０１に含まれている過
去の時系列画像について、必要な警報の対象となる事象
全てについて登録が行われるまで繰り返される。また、
警報対象の事象を観測した画像が、時系列画像記憶部２
０１に含まれていない場合には、撮像部１０１にて、対
象の事象の観測を行う。

【００８５】さらに、運用時において警報を出すべき事
象が生じたときに、警報が出力されない場合や、違った
事象の警報が出される場合には、上記の登録作業を逐次
行うことができる。また、警報を出す必要がない場合
に、警報が出力された場合には、上記の該当の画像を偽
警報事象として登録を行う。本発明の用途しては、気象
レーダ、気象衛星から得られる気象画像を用いた気象現
象の監視や、ビデオカメラを用いた道路交通、河川、火
山などの監視などが考えられ、所定の事象、現象、動作
の発生を事前に予知し、利用者に警報を出す応用に利用
できる。

【００８６】以下でその一例として、気象レーダ装置を
撮像部１０１として用い、気象レーダ装置から得られる
時系列の気象レーダ画像を監視することで、気象状況に
関する警報を出す応用を考える。気象レーダ画像中のエ
コーパターンは、降水強度の空間分布に対応している。
画像特徴抽出部２０２の説明で述べた通り、特徴量ベク
トルとして、メッシュ特徴、速度ベクトル場、テンポラ
ルテクスチャ特徴の３種を用いた。また、時系列画像記
憶部２０１には、およそ９０００時間分（１２万フレー
ム）の時系列画像を記憶した。

【００８７】警告対象の事象として、図７に示すレーダ
画像パターンを予め設定した。この事象は、広く平野部
に降水パターンが広がり、さらに、長時間の降水の継続
が予期される筋状エコーが発生する気象現象である。い
ま、図８のような画像系列が観測された場合を考える。
図８には、過去３時間から現在までに観測された気象レ
ーダ画像の系列の始めと最後のフレームを示す。３６フ
レームで構成される。図９には、図８について得られた
類似した過去の事象を示す。予測対象である時系列画像
には、線状のパターンが、その形状を若干崩しながら、
陸地へ接近する様子が示されており、現在の現象に類似
した現象が過去にも起こっていることが分かる。

【００８８】いま、このように検索された過去の事象か
ら、３時間３０分後の事象の予測を行った結果、図７の
警告事象と類似するという判断ができ、警報が出力され
る。警報の説明としては例えば、テキスト情報が考えら
れ、「今後、３時間以内に平野部全域で雪が降り始め、
さらに、北西から季節風に伴う筋状の降雪バンドが、数
時間降雪が継続すると予想されます。」といったメッセ
ージが、出力部３００より、ＣＲＴやページャの画面
上、あるいは、録音済のテキスト音声が拡声器や電話を
通じて利用者に伝達される。さらに、ロードヒーティン
グ装置や、下水道ルーティングプログラム、豪雪時交通
制御プログラム、航空機離発着管制センタなどの装置や
システムに対して起動をかけることができる。

【００８９】図１０には、実際に３時間３０分後に観測
されたレーダ画像を示す。図７の警告対象として設定し
た画像パターンと類似して、平野部の降水と、海上の筋
状エコーが画像中に含まれており、意図した通りに警告
を出すことができたことが確認できる。なお、本発明
は、データを保存し、それらを自由に読み出し可能なハ
ードディスクや、それに準ずる装置と、データを処理す
る際に必要なバックアップやそれに準ずる装置と、所望
の情報を表示・出力するディスプレイやファイル装置な
どの装置を備え、それらを予め定められた手順に基づい
て制御する中央演算装置などを備えたコンピュータやそ
れに準じる装置をもとに、上述した実施例での各部の処
理の一部もしくは、全部、乃至は、図４のフローチャー
トに示した手順、もしくは、アルゴリズムを記述した処
理プログラムやそれに準じるものを、当該コンピュータ
に対して与え、制御、実行させることで実現することが
可能である。ここで、当該処理プログラムやそれに準ず
るものを、コンピュータが実行する際に読み出しを実行
できるＣＤ−ＲＯＭ、フロッピーディスク（ＦＤ）、光
磁気ディスク（ＭＯ）、あるいは、それらに準ずる記憶
媒体に記録して、配布することが可能である。

【００９０】なお、本発明は、上記の実施例に限定され
ることなく、特許請求の範囲内で種々変更・応用が可能
である。

【００９１】

【発明の効果】上述のように、本発明によれば、現在の
現象、事象を観測した時系列画像から、過去に観測した
事象の履歴に基づき、将来起こりうる事象の予測を行
い、事前に設定した事象との類似性を判定して、利用者
に事前に警告を発することができる。そのため、人手で
判断するのが困難な複雑な現象についても、容易に精度
の高い現象の発生が予測できる。

【図面の簡単な説明】

【図１】本発明の原理を説明するための図である。

【図２】本発明の原理構成図である。

【図３】本発明の画像監視警報装置の構成図である。

【図４】本発明の画像監視警報装置の動作のフローチャ
ートである。

【図５】本発明の警報事例設定時の動作のフローチャー
トである。

【図６】本発明の一実施例の画像特徴量の例である。

【図７】本発明の一実施例の警告対象の事象として設定
した気象レーダ画像パターンの例である。

【図８】本発明の一実施例の最新の画像系列を示す図で
ある。

【図９】本発明の一実施例の最新の事象に類似する過去
の事象を含む画像の検索結果である。

【図１０】本発明の一実施例の警告を出した３時間後の
実際の気象レーダ画像である。

【符号の説明】

１００ 入力部 １０１ 撮影手段、撮像部 １０２ 予測先行時間指定手段、操作部 ２００ 処理部 ２０１ 時系列画像記憶手段、時系列画像記憶部 ２０２ 画像特徴量計算手段、画像特徴抽出部 ２０３ 画像特徴量記憶手段、画像特徴量記憶部 ２０４ 検索予測手段、検索予測部 ２０５ 状況判定手段、状況判定部 ２０６ 警告事象記憶手段、警告事象記憶部 ３００ 出力部 ３０１ 出力手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/62 ３８０ (72)発明者 児島 治彦 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B057 AA14 BA01 CA08 CA12 CA16 DA15 DB02 DB09 DC02 DC08 DC22 DC36 5B075 ND06 NK06 NK39 PQ02 PQ40 PR03 PR06 QM08 UU29 5C054 FC00 FC01 FC12 FC13 FC16 FE28 FF06 GB05 GB12 GB15 GD05 GD09 HA12 HA18 HA38 5C087 AA02 AA03 AA08 AA24 AA37 AA44 DD02 DD03 DD08 DD13 EE05 EE07 GG02 GG06 GG14 GG21

Claims (21)

【特許請求の範囲】
1. 【請求項１】 逐次撮像される時系列画像を用いて、画
   像中に現れる現象、事象の発生を事前に予測し、警報を
   出すための画像監視警報方法において、 警報対象の事象を観測した画像を含む時系列画像を撮影
   して時系列画像記憶手段に蓄積しておき、 蓄積された前記時系列画像から警告対象の事象を含む画
   像を選択して、該画像の時刻を警告の内容と共に警告事
   象記憶手段に記憶し、 利用者の所望する現象の発生を予見すべき予測先行時間
   を指定し、 前記時系列画像記憶手段に蓄積されている前記時系列画
   像から画像特徴量を計算し、計算された該画像特徴量を
   画像特徴量記憶手段に蓄積し、 現時点の画像から計算される画像特徴量と、前記画像特
   徴量記憶手段に蓄積されている過去の画像の画像特徴量
   との比較を行い、類似する過去の事象を検索し、 検索された過去の類似事象の履歴に基づいて、現在の事
   象の予測先行時間後の画像特徴量の予測値を求めること
   で予測先行時間後の事象の予測を行い、 予測された画像特徴量と、予め設定された警告対象の事
   象に対応する画像特徴量との非類似度の度合いを比較
   し、予め設定された基準を満たす場合に、予想される現
   象に対応した警報を前記警告事象記憶手段から読み出し
   て出力することを特徴とする画像監視警報方法。
2. 【請求項２】 前記画像特徴量を計算する際に、 単位時刻毎の画像中の画素の濃淡値、該濃淡値を空間的
   に平均した平均輝度値、画像平面をメッシュ状に区切
   り、各メッシュに含まれる画像の濃淡値の平均値、画像
   中の物体の速度ベクトルのうちいずれか一つまたは、複
   数を画像特徴量として計算する請求項１記載の画像監視
   警報方法。
3. 【請求項３】 気象レーダ装置を用いて前記警報対象の
   事象を観測した画像を含む時系列画像及び、前記現時点
   の時系列画像を撮像する請求項１記載の画像監視警報方
   法。
4. 【請求項４】 前記類似する過去の事象を検索する際
   に、 現在時刻直近の部分画像系列に対応する各画像特徴量の
   系列と、前記画像特徴量記憶手段中の各時刻の部分画像
   系列に対応する各画像特徴量の系列について、２つの系
   列間の特徴量ベクトル間の距離の和、または、平均的な
   距離を、該現在時刻直近の部分画像系列と該記憶手段中
   の部分画像系列との非類似度として、時間的な順序関係
   を保持して、各々の特徴量毎に計算し、 各特徴量毎の非類似度を統合して、総合的な部分画像系
   列間の非類似度を計算し、 前記非類似度が小さい部分系列、または、前記部分画像
   系列の時刻を前記時系列画像記憶手段より選択し、出力
   する請求項１記載の画像監視警報方法。
5. 【請求項５】 前記総合的な部分画像系列間の非類似度
   を計算する際に、 前記時系列画像記憶手段に蓄積されている部分画像系列
   の各々について、該時系列画像記憶手段中の他の時刻の
   部分画像系列との間の非類似度を各特徴量についてそれ
   ぞれ計算し、 計算されたそれぞれの部分画像系列に続く未来の２つの
   部分画像系列間の非類似度を特定の一つの特徴量につい
   て計算し、 計算された２つの部分画像系列間の非類似度とその未来
   の画像系列間の非類似度との関連を、部分画像系列の非
   類似度の関数として、該部分画像系列に続く未来の部分
   画像系列の期待値をモデル化することで取得し、 現時点の部分画像系列と前記記憶手段中の各部分画像系
   列との間において計算される各特徴量についての非類似
   度を、モデルに適用し、未来の画像系列間の非類似度の
   期待値として前記総合的な非類似度を計算する請求項４
   記載の画像監視警報方法。
6. 【請求項６】 前記予測先行時間後の事象を予測する際
   に、 検索された前記画像特徴量記憶手段中の過去の画像の予
   測先行時刻後の画像特徴量を、現時刻の画像と検索され
   た画像の非類似度の大きさに逆比例して重み付けして、
   足し合わせたものを、前記予測先行時間後の画像特徴量
   として計算する請求項１記載の画像監視警報方法。
7. 【請求項７】 前記予測される事象に対応した警報を出
   力する際に、 予め設定された警報対処の事象を含む画像のそれぞれに
   対応する画像特徴量と、現在の事象の予測先行時刻後の
   事象に対応する画像特徴量の予測値との間の距離を計算
   し、 計算された距離のうち、各々の警告対象の事象について
   最も小さいものを選択し、 選択された各警告対象の事象と、現在の事象との距離を
   計算し、予め設定された距離の条件を満たす事象を選択
   し、 選択された事象の警報情報を出力する請求項１記載の画
   像監視警報方法。
8. 【請求項８】 逐次撮像される時系列画像を用いて、画
   像中に現れる現象、事象の発生を事前に予測し、警報を
   出すための画像監視警報装置であって、 警報対象の事象を観測した画像を含む時系列画像を撮影
   する撮影手段と、 前記撮影手段で撮影された前記時系列画像を蓄積する時
   系列画像記憶手段と、 前記時系列画像記憶手段に蓄積された前記時系列画像か
   ら選択された警告対象の事象を含む画像の時刻を警告の
   内容と共に記憶する警告事象記憶手段と、 利用者の所望する現象の発生を予見すべき予測先行時間
   を指定する予測先行時間指定手段と、 前記時系列画像記憶手段の現時点における時系列画像か
   ら画像特徴量を計算する画像特徴量計算手段と、 計算された該画像特徴量を蓄積する画像特徴量記憶手段
   と、 現時点の画像から計算される画像特徴量と前記画像特徴
   量記憶手段に蓄積されている過去の画像の画像特徴量と
   の比較を行い、類似する過去の事象を検索し、検索され
   た過去の類似事象の履歴に基づいて、現在の事象の予測
   先行時間後の画像特徴量の予測値を求めることで予測先
   行時間後の事象の予測を行う検索予測手段と、 予測された画像特徴量と予め設定された警告対象の事象
   に対応する画像特徴量との非類似度の度合いを比較する
   状況判定手段と、 前記状況判定手段において、予め設定された基準を満た
   す場合に、予想される現象に対応した警報を前記警報事
   象記憶手段から読み出して出力する出力手段とを有する
   ことを特徴とする画像監視警報装置。
9. 【請求項９】 前記画像特徴量計算手段は、 単位時刻毎の画像中の画素の濃淡値、該濃淡値を空間的
   に平均した平均輝度値、画像平面をメッシュ状に区切
   り、各メッシュに含まれる画像の濃淡値の平均値、画像
   中の物体の速度ベクトルのうちいずれか一つまたは、複
   数を画像特徴量として計算する手段を含む請求項８記載
   の画像監視警報装置。
10. 【請求項１０】 前記撮影手段は、 前記時系列画像を撮影する気象レーダ装置を有する請求
    項８記載の画像監視警報装置。
11. 【請求項１１】 前記検索予測手段は、 現在時刻直近の部分画像系列に対応する各画像特徴量の
    系列と、前記画像特徴量記憶手段中の各時刻の部分画像
    系列に対応する各画像特徴量の系列について、２つの系
    列間の特徴量ベクトル間の距離の和、または、平均的な
    距離を、該現在時刻直近の部分画像系列と該時系列画像
    記憶手段中の部分画像系列との非類似度として、時間的
    な順序関係を保持して、各々の特徴量毎に計算する手段
    と、 各特徴量毎の非類似度を統合して、総合的な部分画像系
    列間の非類似度を計算する手段と、 前記非類似度が小さい部分系列、または、前記部分画像
    系列の時刻を前記時系列画像記憶手段より選択し、出力
    する手段を有する請求項８記載の画像監視警報装置。
12. 【請求項１２】 前記総合的な部分画像系列間の非類似
    度を計算する手段は、 前記時系列画像記憶手段に蓄積されている部分画像系列
    の各々について、該記憶手段中の他の時刻の部分画像系
    列との間の非類似度を各特徴量についてそれぞれ計算す
    る手段と、 計算されたそれぞれの部分画像系列に続く未来の２つの
    部分画像系列間の非類似度を特定の一つの特徴量につい
    て計算する手段と、 計算された２つの部分画像系列間の非類似度とその未来
    の画像系列間の非類似度との関連を、部分画像系列の非
    類似度の関数として、該部分画像系列に続く未来の部分
    画像系列の期待値をモデル化することで取得する手段
    と、 現時点の部分画像系列と前記時系列画像記憶手段中の各
    部分画像系列との間において計算される各特徴量につい
    ての非類似度を、モデルに適用し、未来の画像系列間の
    非類似度の期待値として前記総合的な非類似度を計算す
    る手段とを有する請求項１１記載の画像監視警報装置。
13. 【請求項１３】 前記検索予測手段は、 検索された前記画像特徴量記憶手段中の過去の画像の予
    測先行時刻後の画像特徴量を、現時刻の画像と検索され
    た画像の非類似度の大きさに逆比例して重み付けして、
    足し合わせたものを、前記予測先行時間後の画像特徴量
    として計算する手段を有する請求項８記載の画像監視警
    報装置。
14. 【請求項１４】 前記状況判定手段は、 予め設定された警報対処の事象を含む画像のそれぞれに
    対応する画像特徴量と、現在の事象の予測先行時刻後の
    事象に対応する画像特徴量の予測値との間の距離を計算
    する手段と計算された距離のうち、各々の警告対象の事
    象について最も小さいものを選択する手段と、 選択された各警告対象の事象と、現在の事象との距離を
    計算し、予め設定された距離の条件を満たす事象を選択
    する手段とを有し、 前記出力手段は、 選択された事象の警報情報を出力する手段を有する請求
    項８記載の画像監視警報装置。
15. 【請求項１５】 前記出力手段は、 ＣＲＴ、ページャー、拡声器、電話のうちいずれか一つ
    または、複数の装置を有する請求項１記載の画像監視警
    報装置。
16. 【請求項１６】 逐次撮像される時系列画像を用いて、
    画像中に現れる現象、事象の発生を事前に予測し、警報
    を出すための画像監視警報プログラムを格納した記憶媒
    体であって、 警報対象の事象を観測した画像を含む時系列画像を撮影
    させる撮影プロセスと、前記撮影プロセスで撮影された
    前記時系列画像を時系列画像記憶手段に蓄積するプロセ
    スと、 前記時系列画像記憶手段に蓄積された前記時系列画像か
    ら警告対象の事象を含む画像の時刻を警告の内容と共に
    警告事象記憶手段に記憶するプロセスと、 利用者の所望する現象の発生を予見すべき予測先行時間
    を指定する予測先行時間指定プロセスと、 前記時系列画像記憶手段の現時点における時系列画像か
    ら画像特徴量を計算し、画像特徴量記憶手段に蓄積する
    画像特徴量計算プロセスと、 現時点の画像から計算される画像特徴量と、前記画像特
    徴量記憶手段に蓄積されている過去の画像の画像特徴量
    との比較を行い、類似する過去の事象を検索し、検索さ
    れた過去の類似事象の履歴に基づいて、現在の事象の予
    測先行時間後の画像特徴量の予測値を求めることで予測
    先行時間後の事象の予測を行う検索予測プロセスと、 予測された画像特徴量と、予め設定された警告対象の事
    象に対応する画像特徴量との非類似度の度合いを比較す
    る状況判定プロセスと、 前記状況判定プロセスにおいて、予め設定された基準を
    満たす場合に、予想される現象に対応した警報を前記警
    告事象記憶手段から読み出して出力する出力プロセスと
    を有することを特徴とする画像監視警報プログラムを格
    納した記憶媒体。
17. 【請求項１７】 前記画像特徴量計算プロセスは、 単位時刻毎の画像中の画素の濃淡値、該濃淡値を空間的
    に平均した平均輝度値、画像平面をメッシュ状に区切
    り、各メッシュに含まれる画像の濃淡値の平均値、画像
    中の物体の速度ベクトルのうちいずれか一つまたは、複
    数を画像特徴量として計算するプロセスを含む請求項１
    ６記載の画像監視警報プログラムを格納した記憶媒体。
18. 【請求項１８】 前記検索予測プロセスは、 現在時刻直近の部分画像系列に対応する各画像特徴量の
    系列と、前記画像特徴量記憶手段中の各時刻の部分画像
    系列に対応する各画像特徴量の系列について、２つの系
    列間の特徴量ベクトル間の距離の和、または、平均的な
    距離を、該現在時刻直近の部分画像系列と該時系列画像
    記憶手段中の部分画像系列との非類似度として、時間的
    な順序関係を保持して、各々の特徴量毎に計算するプロ
    セスと、 各特徴量毎の非類似度を統合して、総合的な部分画像系
    列間の非類似度を計算するプロセスと、 前記非類似度が小さい部分系列、または、前記部分画像
    系列の時刻を前記時系列画像記憶手段より選択し、出力
    するプロセスを有する請求項１６記載の画像監視警報プ
    ログラムを格納した記憶媒体。
19. 【請求項１９】 前記総合的な部分画像系列間の非類似
    度を計算するプロセスは、 前記時系列画像記憶手段に蓄積されている部分画像系列
    の各々について、該時系列画像記憶手段中の他の時刻の
    部分画像系列との間の非類似度を各特徴量についてそれ
    ぞれ計算するプロセスと、 計算されたそれぞれの部分画像系列に続く未来の２つの
    部分画像系列間の非類似度を特定の一つの特徴量につい
    て計算するプロセスと、 計算された２つの部分画像系列間の非類似度とその未来
    の画像系列間の非類似度との関連を、部分画像系列の非
    類似度の関数として、該部分画像系列に続く未来の部分
    画像系列の期待値をモデル化することで取得するプロセ
    スと、 現時点の部分画像系列と前記時系列画像記憶手段中の各
    部分画像系列との間において計算される各特徴量につい
    ての非類似度を、モデルに適用し、未来の画像系列間の
    非類似度の期待値として前記総合的な非類似度を計算す
    るプロセスとを有する請求項１８記載の画像監視警報プ
    ログラムを格納した記憶媒体。
20. 【請求項２０】 前記検索予測プロセスは、 検索された前記画像特徴量記憶手段中の過去の画像の予
    測先行時刻後の画像特徴量を、現時刻の画像と検索され
    た画像の非類似度の大きさに逆比例して重み付けして、
    足し合わせたものを、前記予測先行時間後の画像特徴量
    として計算するプロセスを有する請求項１６記載の画像
    監視警報プログラムを格納した記憶媒体。
21. 【請求項２１】 前記状況判定プロセスは、 予め設定された警報対処の事象を含む画像のそれぞれに
    対応する画像特徴量と、現在の事象の予測先行時刻後の
    事象に対応する画像特徴量の予測値との間の距離を計算
    するプロセスと計算された距離のうち、各々の警告対象
    の事象について最も小さいものを選択するプロセスと、 選択された各警告対象の事象と、現在の事象との距離を
    計算し、予め設定された距離の条件を満たす事象を選択
    するプロセスとを有し、 前記出力プロセスは、 選択された事象の警報情報を出力させるプロセスを有す
    る請求項１６記載の画像監視警報プログラムを格納した
    記憶媒体。