JP2000244897A - 状態認識システムおよび状態認識表示生成方法 - Google Patents

状態認識システムおよび状態認識表示生成方法

Info

Publication number
JP2000244897A
JP2000244897A JP2000036398A JP2000036398A JP2000244897A JP 2000244897 A JP2000244897 A JP 2000244897A JP 2000036398 A JP2000036398 A JP 2000036398A JP 2000036398 A JP2000036398 A JP 2000036398A JP 2000244897 A JP2000244897 A JP 2000244897A
Authority
JP
Japan
Prior art keywords
state recognition
recognition system
data object
display
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000036398A
Other languages
English (en)
Other versions
JP3876288B2 (ja
Inventor
Richard C Waters
リチャード・シー・ウォーターズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Technology Corp
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Information Technology Corp
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Technology Corp, Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Information Technology Corp
Publication of JP2000244897A publication Critical patent/JP2000244897A/ja
Application granted granted Critical
Publication of JP3876288B2 publication Critical patent/JP3876288B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

(57)【要約】 【課題】 観測点の異なる多数のソースからの合成され
た情報に基づく全体的な状態の画像を得ることができる
状態認識システムおよび状態認識表示生成方法を提供す
る。 【解決手段】 状態認識システムは複数のカメラを含
む。各カメラは対象領域の重なり合い部分の逐次画像を
獲得する。システムが対象領域内の対象物に関する深度
情報を得ることができるように、部分の間に重なり合い
がある。分析器は対象領域内の移動対象物と、移動対象
物の特性と、移動対象物に関する事象とを識別する。デ
ィスプレイ装置は、属性をもつ対象物と事象とを注釈付
きのグラフィック要素と警報として表示する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、概して、様々の位
置に装着された複数のカメラから導かれる合成表示を実
施する監視システムに関し、より詳しくは、観察された
特別な状態について観察者を警戒させる状態認識システ
ムおよび状態認識表示生成方法に関する。
【０００２】
【従来の技術】ビデオ監視システムは周知である。車両
の場合、複数の型式の監視システムが使用されている。
ある車両、例えばバスは、運転者がバスの横または後ろ
の道路領域を観測できるように装着されたカメラを有す
る。しかし、典型的に１台のカメラがあるのみで、また
ディスプレはカメラが見るものを正確に示すのみであ
る。表示された画像を分析する試みは行われない。単
に、これらのシステムは見ることが困難な領域の観測ミ
ラーとして機能する。同様に、法執行車両(パトカー等)
はフロントウィンドウから観測の経過記録を捕捉するこ
とが可能である。
【０００３】コンピュータ制御車両のような幾つかの車
両はセンサも含む。センサは、他の車両への急速な接近
のような潜在的に危険な状態を検出する。種々のセン
サ、例えば音波探知機、レーザおよびマイクロウェーブ
が使用されてきた。これらのシステムは全般的な状態表
示を提供せず、むしろ少数の危険な状態を検出するのみ
である。
【０００４】レーダと音波探知機システムは状態表示を
行い、また例えば航空交通管制システムのように時々あ
る程度の分析を行う。しかし、レーダと音波探知機シス
テムはビデオ画像に基づかす、むしろ特定の周波数で伝
送される反射信号の処理に基づいている。
【０００５】幾つかの型式の監視システムが知られてい
る。典型的に、システムは多数のビデオストリームを中
央施設に送る。ビデオストリームは対応するモニタ上に
表示することができる。カメラの数が表示ステーション
の数よりも多ければ、通常、システムは逐次または操作
者の要求によりカメラ観測を表示する。これらの型式の
システムは分析も実行しないし、またこれらのシステム
は多数のストリームを単一の状態表示に合体もしない。
せいぜい、これらのシステムは、単一のスクリーン上に
多数の無関係の図面を時間と位置の注釈を付けて貼り付
けるに過ぎない。
【０００６】また、特定の状態の発生を確認するため
に、エスカレータ、エレベータ、料金ゲート、銀行機械
および周囲フェンスのような特定の位置を監視するシス
テムがある。これらのシステムのあるものは、例えばプ
レートナンバを抽出するべく移動対象物を検出するため
に、ビデオ分析の試みが可能である。しかし、典型的
に、これらのシステムは多数のソースからの情報を組み
合わせず、また全体的な状態ディスプレイを生成もしな
いし、また異なった観測点から画像も合成しない。
【０００７】
【発明が解決しようとする課題】以上のように従来のこ
の種のシステムでは、一般的にカメラが見るものを正確
に示すのみで、観測点の異なる多数のソースからの合成
された情報に基づく全体的な状態の画像は得ることがで
きなかった。
【０００８】この発明は、上記のような課題を解消する
ためになされたもので、対象領域の重なり合う複数のカ
メラの合成画像を獲得し、対象領域内の移動対象物等の
特性と事象とを識別し、合体された逐次画像と識別され
た移動対象物に関連した情報を再現し、また警報も発す
ることのできる状態認識システムおよび状態認識表示生
成方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】上記の目的に鑑み、この
発明は、リアルタイムの状態認識システムであって、対
象領域の重なり合い部分の複数のビデオストリームを獲
得する複数のカメラと、複数のビデオストリームを属性
をもつデータ対象物と事象とにするための分析器手段
と、属性をもつデータ対象物と事象とを注釈付きのグラ
フィック要素と警報として出力装置上に再現するための
合成器手段と、を備えたことを特徴とする状態認識シス
テムにある。
【００１０】またこの発明は、単一ビデオストリームの
連続画像での光学フローを一時的に分析して運動フィー
ルドを生成するための手段と、複数のビデオストリーム
の隣接画像を空間的に記録して深度画像を得るための手
段と、運動フィールドと深度画像とを分割して、部分的
に属性をもつデータ対象物を生成するための手段と、を
さらに備えることを特徴とする請求項１に記載の状態認
識システムにある。
【００１１】またこの発明は、用途特定データベースを
用いて、部分的に分類されたデータ対象物を分析して、
完全な属性をもつデータ対象物と事象とを生成する手段
をさらに備えることを特徴とする請求項２に記載の状態
認識システムにある。
【００１２】またこの発明は、前記分析に２次データと
信号とを供給するセンサをさらに備えることを特徴とす
る請求項３に記載の状態認識システムにある。
【００１３】またこの発明は、前記合成器手段が、カメ
ラの観測点にほぼ直角の観測点を有する表示を生成する
ことを特徴とする請求項１に記載の状態認識システムに
ある。
【００１４】またこの発明は、前記対象領域がパノラマ
光景であることを特徴とする請求項１に記載の状態認識
システムにある。
【００１５】またこの発明は、前記グラフィック要素の
注釈が運動方向を含むことを特徴とする請求項１に記載
の状態認識システムにある。
【００１６】またこの発明は、ユーザ制御信号が表示を
決定することを特徴とする請求項５に記載の状態認識シ
ステムにある。
【００１７】またこの発明は、状態認識表示生成方法で
あって、対象領域の重なり合い部分の複数のビデオスト
リームを獲得するステップと、複数のビデオストリーム
を属性をもつデータ対象物と事象とにするステップと、
属性をもつデータ対象物と事象とを注釈付きのグラフィ
ック要素と警報として出力装置上に再現するステップ
と、を備えることを特徴とする状態認識表示生成方法に
ある。
【００１８】またこの発明は、単一ビデオストリームの
連続画像での光学フローを一時的に分析して運動フィー
ルドを生成するステップと、多数のビデオストリームの
隣接した画像を空間的に記録して深度画像を得るステッ
プと、運動フィールドと深度画像とを分割して、部分的
に属性をもつデータ対象物を生成するステップと、をさ
らに備えたことを特徴とする請求項９に記載の状態認識
表示生成方法にある。
【００１９】またこの発明は、用途特定データベースを
用いて、部分的に属性をもつデータ対象物を分析して、
完全な属性をもつデータ対象物と事象とを生成するステ
ップをさらに備えたことを特徴とする請求項１０に記載
の状態認識表示生成方法にある。
【００２０】本発明は複数のカメラを含む状態認識シス
テムを提供する。各カメラは対象領域の重なり合い部分
の一連の逐次画像を獲得する。分析器は、複数のカメラ
によって獲得された逐次画像を合体し、また対象領域の
移動対象物を識別する。表示装置は、合体された逐次画
像と、識別された移動対象物に関連した情報とを表示す
る。
【００２１】本発明の１つの観点では、単一ビデオスト
リームの一時的な連続画像の光学フローは、運動フィー
ルドを生成するために分析される。多数のビデオストリ
ームの空間的に隣接した画像は深度画像を得るために記
録される。運動フィールドと深度画像は、部分的に属性
をもつデータ対象物を生成するために分割される。用途
特定データベースと分析とを用いて、部分的に属性をも
つデータ対象物は完全な属性をもつデータ対象物と、注
釈付きのグラフィック要素と警報として表示される事象
とに転換される。本発明の１つの特徴として、ディスプ
レイの観測方向はカメラの観測点とは無関係である。
【００２２】
【発明の実施の形態】システムの概要 図１は本発明の一実施の形態による状態認識システム１
００を示している。システム１００は多数のビデオカメ
ラ１０１〜１０６を含む。各カメラはビデオストリーム
１１５として一連の逐次画像を獲得する。６台のカメラ
が示され、より少数またはより多くのカメラを使用する
ことができる。カメラの故障または障害の場合の予備の
ために追加のカメラを設けることができる。カメラは、
車両の周囲の対象領域の３６０°の完全な視界を得るよ
うに配設することができる。
【００２３】他の用途については、より小さな視界が適
切である。深度情報を抽出するために立体(双眼)技術を
利用できるように、各カメラによって提供される画像は
対象領域の部分に重なり合う。カメラの数を増やすこと
なく重なり合いの量を増加するために、広角レンズを使
用することができる。
【００２４】カメラの出力、デジタル化されたビデオス
トリーム１１５は分析器／合成器２００に接続される。
分析器／合成器２００は、本発明によれば、ビデオスト
リームを分析し、また出力装置１２０に合成表示３００
を生成する。
【００２５】システム動作 操作システムでは、カメラは、例えば図１の破線で示し
た車両１３０に装着することができる。またカメラは、
対象領域(概して１２５)、すなわち種々のレンズの前の
領域を観察するために、他の固定または移動位置に配置
することもできる。
【００２６】分析器／合成器２００はリアルタイムで多
数のビデオストリームのデータに基づき動作する。分析
器部分は、対象物と、大きさ、位置および速度のような
対象物の特性とを識別するためにビデオストリームから
時間および空間データを抽出する。さらに、識別された
対象物、例えば交差経路の２台の車両の間の関係が決定
される。換言すれば、ビデオストリームは属性をもつ対
象物の関係に還元される。属性をもつ対象物は、事象、
例えば起こりうる衝突または危険領域を検出するために
分析される。合成器部分は、属性をもつ対象物の関係の
状態認識表示３００を生成し、また事象に関する任意の
警報を行う。
【００２７】本発明によれば、状態認識表示３００は完
全に合成である。従来技術と対照的に、ビデオストリー
ム１１５はその分析後に廃棄される。さらに、合成器は
多数のビデオストリームから抽出された情報を単一表示
３００に統合する。さらに、ある危険な状態または事象
が認識された場合、警報信号１４０を生成することが可
能である。警報信号は表示するか、またはある他のベル
等の出力装置１５０に供給することができる。別の実施
の形態では、警報信号１４０は、回避的な衝突防止動
作、例えばブレーキまたは減速を開始することができ
る。
【００２８】合成器／分析器 図２に示したように、多数のカメラ１０１−１０６から
のビデオストリーム１１５は、もし必要ならばＡ／Ｄ変
換器を介して、デジタルビデオデータ２０１として分析
器／合成器２００に供給される。時間および空間情報は
デジタルビデオデータ２０１から抽出される。
【００２９】光学フロー分析２１０は、時間分離された
(△ｔ)画像から、例えば単一ビデオシーケンスの連続フ
レームの運動フィールドから運動フィールド２１１を決
定するために使用される。
【００３０】画像記録２２０は、例えば多数のカメラに
よって対象領域の重なり合い部分から得られたフレーム
を使用して、空間(Δｘ、Δｙ)が重なり合っている画像
から深度画像２２１を決定するために使用される。深度
画像は画像の各画素に距離(Δｚ)を指定する。
【００３１】運動フィールドと深度画像は、部分的に属
性をもつデータ対象物２３１を生成するために分割され
る。例えば、同一深度の同一の光学フローを有する画素
は、同一の対象物と関係がある可能性が高い。光学フロ
ーと距離の両方を用いることによって、特にフロー分析
が記録と同時に行われた場合、確実な分割が提供され、
この結果導かれた結果(運動フィールドと深度値)は互い
に相関する(２１５)。
【００３２】部分的な特性は、大きさ、位置、速度、３
次元空間の対象物の運動方向を含むことができる。対象
物の正確な同一性のようなさらなる知識に依存する他の
特性はまだ決定されないので、対象物は部分的にのみ属
性をもつ。
【００３３】部分的に属性をもつデータ対象物２３１
は、用途特定データベース２３９と関連して分析２４０
され、完全な属性をもつデータ対象物２４１と事象２４
２とを生成することができる。例えば、セミトレーラの
片側の観測は対象物の形状全体を推論するのに十分であ
る。他の車両、歩行者、自転車、トラック等のような普
通に見られる特定の対象物を完全に識別するために、種
々のテンプレート照合案を用いることができる。車両用
途では、特徴物はレーン白線、歩道、一時停止標識、ガ
ードレール、縁石、建物、フェンス等も含むことが可能
である。
【００３４】分類された対象物の間の関係、例えば衝突
発生の可能性、道路から逸脱する車または消光状態の間
の関係を分析することによって事象２４２を生成するこ
とができる。追加のセンサ２４９を使用して、検出でき
る事象の数を多くすることができる。
【００３５】合成器２５０は、完全な属性をもつデータ
対象物２４１を注釈付きのグラフィック要素(アイコン)
２５１と、警報２５２とに転換する。最後の実行２６０
はグラフィック要素２５１と警報２５２とを与える。
【００３６】ディスプレイ 多くの異なった型式の状態表示が可能である。図３のデ
ィスプレ３００は、固定方向付けでディスプレ中心の近
くに配置された車両３１０に関する対象領域の鳥観図を
示し、状態認識システムは車両の上に装着され、また注
釈付きの対象物は観測点に関して動く。景色は完全合成
であり、またカメラが見る景色に直角であることに留
意。
【００３７】歩行者レーン(横断歩道)３２０、建物３３
０、他の交通車両３４０、自転車３５０等のようなある
他の像特徴物が同様に示されている。
【００３８】矢印３０１は静止していない対象物の運動
方向を示すことができる。矢印の方向付けの決定には、
従来技術で行われているようなカメラ出力の受動表示と
対照的に能動分析が必要である。
【００３９】十分な周囲光を確保できない対象領域で
は、能動照明を含めることによって本発明を展開するこ
とができる。ある状態では、能動照明を必要とすること
なく暗やみで見るためか、あるいは不快でない能動照明
として赤外線を使用することが有効である。視界が悪い
霧のような状態では、本発明は、関係対象物に焦点合わ
せして他の散乱光を拒否するように、慎重に選択した波
長またはカメラのシャッタに同期させたストロボ光源に
よって操作することができる。
【００４０】本発明の１つの実施の形態では、分析２４
０で２次データ２３８を受けることができる。車両用途
では、データはＧＰＳ受信機から得られるような車速ま
たは位置を含むことができる。車両の速度によって、分
析を改良し、また単純化することができる。位置データ
によって、ディスプレ上の地図および実際の道路と地名
の使用が可能になる。
【００４１】もう１つの実施の形態では、ディスプレ３
００はユーザによって制御される。例えば建物監視用途
では、ユーザは、注釈付きのグラフィック要素および警
報の表示方法を変更するか、または観測点の方向付けを
変更するために制御信号２３９を供給する。遠隔地点に
警報とグラフィック要素とを伝送することも可能であ
る。例えば駐車車両に向かって歩く間に、運転者は、安
全な位置から、ポータブル表示装置上に車両の近傍の対
象領域を観測することができる。
【００４２】さらに、多数の車両は、表示範囲を大きく
するために互いに状態情報を交換することができる。本
発明を使用できる他の領域は空港、水路および類似物を
含む。
【００４３】本発明は特定の用語と実例を使用して説明
している。本発明の精神と範囲内で種々の他の適合と修
正とを行うことが可能であることが理解される。したが
って、本発明の真の精神と範囲に含まれるようなこのよ
うなすべての変更と修正を網羅することが添付請求項の
目的である。
【００４４】
【発明の効果】以上のようにこの発明による状態認識シ
ステムおよび状態認識表示生成方法よれば、対象領域の
重なり合い部分の複数のビデオストリームを獲得し、複
数のビデオストリームを分類されたデータ対象物と事象
とにし、属性をもつデータ対象物と事象とを注釈付きの
グラフィック要素と警報として出力装置上に再現するよ
うにしたので、観測点の異なる多数のソースからの合成
された情報に基づく全体的な状態の画像を得ることがで
きる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態による状態認識システ
ムの構成を示すブロック図である。
【図２】 図１のシステムの分析器／合成器の構成を示
すブロック図である。
【図３】 図１のシステムによって生成される実例の合
成画像である。
【符号の説明】
１００ 状態認識システム、１０１〜１０６ ビデオカ
メラ、１１５ ビデオストリーム、１２０ 出力装置、
１２５ 対象領域、１４０ 警報信号、２００分析器／
合成器、２０１ デジタルビデオデータ、２１０ 光学
フロー分析、２１１ 運動フィールド、２２０ 画像記
録、２２１ 深度画像、２３１ 部分的に属性をもつデ
ータ対象物、２３８ ２次データ、２３９ 用途特定デ
ータベース、２４０ 分析、２４１ 完全な属性をもつ
データ対象物、２４２ 事象、２４９ センサ、２５０
合成、２５１ 注釈付アイコン、２５２ 警報、２６
０ 実行、３００ ディスプレ、３１０ 車両、３２０
歩行者レーン、３３０建物、３４０ 他の交通車両、
３５０ 自転車。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 Ｇ０８Ｇ 1/16 Ｃ Ｇ０８Ｇ 1/16 Ｇ０６Ｆ 15/62 ３８０ (71)出願人 597067574 201 ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩ ＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139， Ｕ．Ｓ．Ａ. (72)発明者 リチャード・シー・ウォーターズ アメリカ合衆国、マサチューセッツ州、コ ンコルド、キャプテン・マイルズ・レーン 65

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】 リアルタイムの状態認識システムであっ
    て、 対象領域の重なり合い部分の複数のビデオストリームを
    獲得する複数のカメラと、 複数のビデオストリームを分類されたデータ対象物と事
    象とに還元するための分析器手段と、 分類されたデータ対象物と事象とを注釈付きのグラフィ
    ック要素と警報として出力装置上に再現するための合成
    器手段と、 を備えたことを特徴とする状態認識システム。
  2. 【請求項２】 単一ビデオストリームの連続画像での光
    学フローを一時的に分析して運動フィールドを生成する
    ための手段と、 複数のビデオストリームの隣接画像を空間的に記録して
    深度画像を得るための手段と、 運動フィールドと深度画像とを分割して、部分的に属性
    をもつ分類されたデータ対象物を生成するための手段
    と、 をさらに備えることを特徴とする請求項１に記載の状態
    認識システム。
  3. 【請求項３】 用途特定データベースを用いて、部分的
    に属性をもつデータ対象物を分析して、完全な属性をも
    つデータ対象物と事象とを生成する手段をさらに備える
    ことを特徴とする請求項２に記載の状態認識システム。
  4. 【請求項４】 前記分析に２次データと信号とを供給す
    るセンサをさらに備えることを特徴とする請求項３に記
    載の状態認識システム。
  5. 【請求項５】 前記合成器手段が、カメラの観測点にほ
    ぼ直角の観測点を有する表示を生成することを特徴とす
    る請求項１に記載の状態認識システム。
  6. 【請求項６】 前記対象領域がパノラマ光景であること
    を特徴とする請求項１に記載の状態認識システム。
  7. 【請求項７】 前記グラフィック要素の注釈が運動方向
    を含むことを特徴とする請求項１に記載の状態認識シス
    テム。
  8. 【請求項８】 ユーザ制御信号が表示を決定することを
    特徴とする請求項５に記載の状態認識システム。
  9. 【請求項９】 状態認識表示生成方法であって、 対象領域の重なり合い部分の複数のビデオストリームを
    獲得するステップと、 複数のビデオストリームを属性をもつデータ対象物と事
    象とにするステップと、 属性をもつデータ対象物と事象とを注釈付きのグラフィ
    ック要素と警報として出力装置上に再現するステップ
    と、 を備えることを特徴とする状態認識表示生成方法。
  10. 【請求項１０】 単一ビデオストリームの連続画像での
    光学フローを一時的に分析して運動フィールドを生成す
    るステップと、 多数のビデオストリームの隣接した画像を空間的に記録
    して深度画像を得るステップと、 運動フィールドと深度画像とを分割して、部分的に属性
    をもつデータ対象物を生成するステップと、 をさらに備えたことを特徴とする請求項９に記載の状態
    認識表示生成方法。
  11. 【請求項１１】 用途特定データベースを用いて、部分
    的に属性をもつデータ対象物を分析して、完全な属性を
    もつデータ対象物と事象とを生成するステップをさらに
    備えたことを特徴とする請求項１０に記載の状態認識表
    示生成方法。
JP2000036398A 1999-02-16 2000-02-15 状態認識システムおよび状態認識表示生成方法 Expired - Fee Related JP3876288B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/250956 1999-02-16
US09/250,956 US6396535B1 (en) 1999-02-16 1999-02-16 Situation awareness system

Publications (2)

Publication Number Publication Date
JP2000244897A true JP2000244897A (ja) 2000-09-08
JP3876288B2 JP3876288B2 (ja) 2007-01-31

Family

ID=22949871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000036398A Expired - Fee Related JP3876288B2 (ja) 1999-02-16 2000-02-15 状態認識システムおよび状態認識表示生成方法

Country Status (5)

Country Link
US (1) US6396535B1 (ja)
EP (1) EP1030188B1 (ja)
JP (1) JP3876288B2 (ja)
AT (1) ATE297022T1 (ja)
DE (1) DE60020420T2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007064804A (ja) * 2005-08-31 2007-03-15 Clarion Co Ltd 車両用障害物検出装置
JP2007527569A (ja) * 2003-07-02 2007-09-27 サーノフ コーポレーション 立体視に基づく差し迫った衝突の検知
JP4553072B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 画像統合装置および画像統合方法
JP4553071B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 ３次元情報表示装置および３次元情報表示方法
JP2010246166A (ja) * 2010-07-21 2010-10-28 Konica Minolta Holdings Inc ３次元情報表示装置および３次元情報表示方法
JP2013539026A (ja) * 2010-09-24 2013-10-17 グレンツェバッハ・マシーネンバウ・ゲーエムベーハー 切れ目なく製造されたフロートガラスの欠陥を検出するための装置およびその方法
US10192122B2 (en) 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
US10410072B2 (en) 2015-11-20 2019-09-10 Mitsubishi Electric Corporation Driving support apparatus, driving support system, driving support method, and computer readable recording medium

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
EP1038734B1 (en) * 1998-10-08 2019-05-15 Panasonic Intellectual Property Corporation of America Driving assisting device and recording medium
EP2410741A1 (en) * 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
GB2352859A (en) * 1999-07-31 2001-02-07 Ibm Automatic zone monitoring using two or more cameras
JP2001315603A (ja) * 2000-05-09 2001-11-13 Matsushita Electric Ind Co Ltd 運転支援装置
JP3599639B2 (ja) * 2000-05-26 2004-12-08 松下電器産業株式会社 画像処理装置
EP1168248A3 (en) * 2000-06-30 2003-12-10 Matsushita Electric Industrial Co., Ltd. Rendering device
US7319479B1 (en) * 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US7183944B2 (en) * 2001-06-12 2007-02-27 Koninklijke Philips Electronics N.V. Vehicle tracking and identification of emergency/law enforcement vehicles
JP3996428B2 (ja) * 2001-12-25 2007-10-24 松下電器産業株式会社 異常検知装置及び異常検知システム
US20050128304A1 (en) * 2002-02-06 2005-06-16 Manasseh Frederick M. System and method for traveler interactions management
US20030202701A1 (en) * 2002-03-29 2003-10-30 Jonathon Schuler Method and apparatus for tie-point registration of disparate imaging sensors by matching optical flow
US7073158B2 (en) * 2002-05-17 2006-07-04 Pixel Velocity, Inc. Automated system for designing and developing field programmable gate arrays
WO2003100710A1 (en) * 2002-05-22 2003-12-04 A4Vision Methods and systems for detecting and recognizing objects in a controlled wide area
US7257236B2 (en) 2002-05-22 2007-08-14 A4Vision Methods and systems for detecting and recognizing objects in a controlled wide area
US7174033B2 (en) 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
US6990406B2 (en) * 2002-07-22 2006-01-24 California Institute Of Technology Multi-agent autonomous system
WO2004021337A1 (en) * 2002-09-02 2004-03-11 Samsung Electronics Co., Ltd. Optical information storage medium and method of and apparatus for recording and/or reproducing information on and/or from the optical information storage medium
US20040052501A1 (en) * 2002-09-12 2004-03-18 Tam Eddy C. Video event capturing system and method
DE60330898D1 (de) * 2002-11-12 2010-02-25 Intellivid Corp Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen
US7221775B2 (en) * 2002-11-12 2007-05-22 Intellivid Corporation Method and apparatus for computerized image background analysis
DE10325762A1 (de) * 2003-06-05 2004-12-23 Daimlerchrysler Ag Bildverarbeitungssystem für ein Fahrzeug
US7068815B2 (en) 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
US6956469B2 (en) * 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
US7263209B2 (en) * 2003-06-13 2007-08-28 Sarnoff Corporation Vehicular vision system
DE502004005375D1 (de) * 2003-07-25 2007-12-13 Bosch Gmbh Robert Vorrichtung zur klassifizierung wenigstens eines objekts in einem fahrzeugumfeld
DE10336638A1 (de) * 2003-07-25 2005-02-10 Robert Bosch Gmbh Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
US7286157B2 (en) * 2003-09-11 2007-10-23 Intellivid Corporation Computerized method and apparatus for determining field-of-view relationships among multiple image sensors
US7346187B2 (en) * 2003-10-10 2008-03-18 Intellivid Corporation Method of counting objects in a monitored environment and apparatus for the same
DE10347213A1 (de) * 2003-10-10 2005-05-12 Bosch Gmbh Robert Informationsvorrichtung
US7280673B2 (en) * 2003-10-10 2007-10-09 Intellivid Corporation System and method for searching for changes in surveillance video
JP2005124010A (ja) * 2003-10-20 2005-05-12 Nissan Motor Co Ltd 撮像装置
US7171024B2 (en) * 2003-12-01 2007-01-30 Brickstream Corporation Systems and methods for determining if objects are in a queue
WO2005060640A2 (en) 2003-12-15 2005-07-07 Sarnoff Corporation Method and apparatus for object tracking prior to imminent collision detection
US7109889B2 (en) * 2004-03-01 2006-09-19 Honeywell International Inc. Methods and apparatus for surface movement situation awareness
EP1721287A4 (en) * 2004-03-02 2009-07-15 Sarnoff Corp METHOD AND APPARATUS FOR DETECTING PRESENCE
WO2005086079A1 (en) * 2004-03-02 2005-09-15 Sarnoff Corporation Method and apparatus for differentiating pedestrians, vehicles, and other objects
WO2005086078A1 (en) * 2004-03-02 2005-09-15 Sarnoff Corporation Method and apparatus for classifying an object
US8694475B2 (en) * 2004-04-03 2014-04-08 Altusys Corp. Method and apparatus for situation-based management
US20050222810A1 (en) * 2004-04-03 2005-10-06 Altusys Corp Method and Apparatus for Coordination of a Situation Manager and Event Correlation in Situation-Based Management
US20050222895A1 (en) * 2004-04-03 2005-10-06 Altusys Corp Method and Apparatus for Creating and Using Situation Transition Graphs in Situation-Based Management
US7788109B2 (en) * 2004-04-03 2010-08-31 Altusys Corp. Method and apparatus for context-sensitive event correlation with external control in situation-based management
EP1641268A4 (en) * 2004-06-15 2006-07-05 Matsushita Electric Ind Co Ltd MONITOR AND DEVICE FOR MONITORING THE VEHICLE ENVIRONMENT
DE102005000652A1 (de) * 2005-01-04 2006-07-13 Robert Bosch Gmbh Verfahren für die Objekterfassung
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
ATE500580T1 (de) 2005-03-25 2011-03-15 Sensormatic Electronics Llc Intelligente kameraauswahl und objektverfolgung
US9036028B2 (en) 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
US7526105B2 (en) * 2006-03-29 2009-04-28 Mark Dronge Security alarm system
JP2009533778A (ja) * 2006-04-17 2009-09-17 オブジェクトビデオ インコーポレイテッド 統計的画素モデリングを使った映像セグメント化
US7671728B2 (en) * 2006-06-02 2010-03-02 Sensormatic Electronics, LLC Systems and methods for distributed monitoring of remote sites
US7825792B2 (en) * 2006-06-02 2010-11-02 Sensormatic Electronics Llc Systems and methods for distributed monitoring of remote sites
US20080036864A1 (en) * 2006-08-09 2008-02-14 Mccubbrey David System and method for capturing and transmitting image data streams
US20080151049A1 (en) * 2006-12-14 2008-06-26 Mccubbrey David L Gaming surveillance system and method of extracting metadata from multiple synchronized cameras
JP2010519860A (ja) * 2007-02-21 2010-06-03 ピクセル ベロシティー，インク． 広域監視のための拡張可能なシステム
JP4538468B2 (ja) * 2007-02-27 2010-09-08 日立オートモティブシステムズ株式会社 画像処理装置，画像処理方法、及び画像処理システム
JP5121258B2 (ja) * 2007-03-06 2013-01-16 株式会社東芝 不審行動検知システム及び方法
JP2010533319A (ja) * 2007-06-09 2010-10-21 センサーマティック・エレクトロニクス・コーポレーション ビデオ分析およびデータ分析／マイニングを統合するためのシステムおよび方法
US20090086023A1 (en) * 2007-07-18 2009-04-02 Mccubbrey David L Sensor system including a configuration of the sensor as a virtual sensor device
JP4970195B2 (ja) * 2007-08-23 2012-07-04 株式会社日立国際電気 人物追跡システム、人物追跡装置および人物追跡プログラム
FR2922072B1 (fr) * 2007-10-03 2011-04-29 Latecoere Procede et systeme d'aide au roulage d'un aeronef
US20090091620A1 (en) * 2007-10-05 2009-04-09 Anderson Leroy E Electronic security system
JP4561863B2 (ja) * 2008-04-07 2010-10-13 トヨタ自動車株式会社 移動体進路推定装置
ATE527620T1 (de) * 2009-02-17 2011-10-15 Autoliv Dev Verfahren und system zur automatischen detektion von objekten vor einem kraftfahrzeug
DE102009016562A1 (de) * 2009-04-06 2009-11-19 Daimler Ag Verfahren und Vorrichtung zur Objekterkennung
US9536348B2 (en) * 2009-06-18 2017-01-03 Honeywell International Inc. System and method for displaying video surveillance fields of view limitations
US20100321500A1 (en) * 2009-06-18 2010-12-23 Honeywell International Inc. System and method for addressing video surveillance fields of view limitations
PL2306426T3 (pl) * 2009-10-01 2013-05-31 Kapsch Trafficcom Ag Urządzenie do wykrywania pojazdów na powierzchni komunikacyjnej
WO2011060385A1 (en) * 2009-11-13 2011-05-19 Pixel Velocity, Inc. Method for tracking an object through an environment across multiple cameras
DE102010013093A1 (de) * 2010-03-29 2011-09-29 Volkswagen Ag Verfahren und System zur Erstellung eines Modells eines Umfelds eines Fahrzeugs
US9183560B2 (en) 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US9001211B1 (en) * 2010-06-11 2015-04-07 Kervin R. Spivey Surveillance system apparatus
CN102348100A (zh) * 2010-07-30 2012-02-08 江彦宏 视讯雷达显示系统
EP2420982A1 (en) * 2010-08-19 2012-02-22 Yan-Hong Chiang Video radar display system
TW201217200A (en) * 2010-10-20 2012-05-01 yan-hong Jiang capable of controlling throttle, braking or steering according to the re-constructed environment information so as to improve driving safety
DE102011014699B4 (de) * 2011-03-22 2015-10-29 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zum Schutz eines Kraftfahrzeuges vor Beschädigungen und Kraftfahrzeug
TW201333896A (zh) * 2012-02-14 2013-08-16 yan-hong Jiang 使用視訊雷達的遠距交通管理系統
CN103105581A (zh) * 2013-01-24 2013-05-15 上海毕励电子科技有限公司 基于视频识别的电气设备状态量采集方法
US9696420B2 (en) * 2013-04-09 2017-07-04 Ford Global Technologies, Llc Active park assist object detection
EP2843589B1 (en) * 2013-08-29 2019-03-13 Alcatel Lucent A method and platform for sending a message to a communication device associated with a moving object
DE102013224954A1 (de) 2013-12-05 2015-06-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
EP3007099B1 (en) * 2014-10-10 2022-12-07 Continental Autonomous Mobility Germany GmbH Image recognition system for a vehicle and corresponding method
KR102347249B1 (ko) 2014-10-21 2022-01-04 삼성전자주식회사 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
US10003732B2 (en) 2016-02-25 2018-06-19 Foodim Ltd Depth of field processing
US10678257B2 (en) * 2017-09-28 2020-06-09 Nec Corporation Generating occlusion-aware bird eye view representations of complex road scenes
CN107719367A (zh) * 2017-10-26 2018-02-23 西安正昌电子股份有限公司 一种360°环视和位置识别系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993019441A1 (en) 1992-03-20 1993-09-30 Commonwealth Scientific And Industrial Research Organisation An object monitoring system
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP3209828B2 (ja) * 1993-05-25 2001-09-17 松下電器産業株式会社 車間距離計測装置とステレオ画像取り込み装置
US5819016A (en) 1993-10-05 1998-10-06 Kabushiki Kaisha Toshiba Apparatus for modeling three dimensional information
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3156817B2 (ja) * 1994-03-14 2001-04-16 矢崎総業株式会社 車両周辺監視装置
US5793420A (en) 1994-10-28 1998-08-11 Schmidt; William P. Video recording system for vehicle
US5717456A (en) 1995-03-06 1998-02-10 Champion International Corporation System for monitoring a continuous manufacturing process
US5850352A (en) 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US5680123A (en) 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
US5982420A (en) * 1997-01-21 1999-11-09 The United States Of America As Represented By The Secretary Of The Navy Autotracking device designating a target
US6124864A (en) * 1997-04-07 2000-09-26 Synapix, Inc. Adaptive modeling and segmentation of visual image streams

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007527569A (ja) * 2003-07-02 2007-09-27 サーノフ コーポレーション 立体視に基づく差し迫った衝突の検知
JP2007064804A (ja) * 2005-08-31 2007-03-15 Clarion Co Ltd 車両用障害物検出装置
JP4553072B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 画像統合装置および画像統合方法
JP4553071B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 ３次元情報表示装置および３次元情報表示方法
WO2010113239A1 (ja) * 2009-03-31 2010-10-07 コニカミノルタホールディングス株式会社 画像統合装置および画像統合方法
WO2010113253A1 (ja) * 2009-03-31 2010-10-07 コニカミノルタホールディングス株式会社 ３次元情報表示装置および３次元情報表示方法
US9415723B2 (en) 2009-03-31 2016-08-16 Konica Minolta Holdings, Inc. Image integration unit and image integration method
JP2010246166A (ja) * 2010-07-21 2010-10-28 Konica Minolta Holdings Inc ３次元情報表示装置および３次元情報表示方法
JP4609603B2 (ja) * 2010-07-21 2011-01-12 コニカミノルタホールディングス株式会社 ３次元情報表示装置および３次元情報表示方法
JP2013539026A (ja) * 2010-09-24 2013-10-17 グレンツェバッハ・マシーネンバウ・ゲーエムベーハー 切れ目なく製造されたフロートガラスの欠陥を検出するための装置およびその方法
US10192122B2 (en) 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
US10410072B2 (en) 2015-11-20 2019-09-10 Mitsubishi Electric Corporation Driving support apparatus, driving support system, driving support method, and computer readable recording medium

Also Published As

Publication number Publication date
JP3876288B2 (ja) 2007-01-31
DE60020420T2 (de) 2006-05-04
EP1030188A1 (en) 2000-08-23
DE60020420D1 (de) 2005-07-07
ATE297022T1 (de) 2005-06-15
EP1030188B1 (en) 2005-06-01
US6396535B1 (en) 2002-05-28

Similar Documents

Publication Publication Date Title
JP3876288B2 (ja) 状態認識システムおよび状態認識表示生成方法
US8907771B2 (en) Vehicle and mobile device traffic hazard warning techniques
USRE42690E1 (en) Abnormality detection and surveillance system
EP0878965A2 (en) Method for tracking entering object and apparatus for tracking and monitoring entering object
US20040075544A1 (en) System and method for monitoring the surrounding area of a vehicle
US20090315712A1 (en) Surveillance method and system using object based rule checking
KR100835085B1 (ko) 무인교통사고기록장치를 이용한 실시간 교통사고처리시스템 및 방법
WO1997042764A1 (en) Abnormality detection and surveillance system
JP4093026B2 (ja) 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
JP2008139320A (ja) 道路環境情報通知装置及び道路環境情報通知プログラム
CN110580808B (zh) 一种信息处理方法、装置、电子设备及智能交通系统
KR102282800B1 (ko) 라이다와 영상카메라를 이용한 멀티 표적 추적 방법
CN101349562A (zh) 车辆行驶偏向的警报方法及装置
KR102111363B1 (ko) IoT기반의 카메라 그룹핑을 이용한 터널 내 유고 감시 시스템
CN113808418A (zh) 路况信息显示系统、方法、车辆、计算机设备和存储介质
US20210383688A1 (en) Traffic monitoring and evidence collection system
US20100054541A1 (en) Driving support system with plural dimension processing units
KR102188461B1 (ko) 지능형 운전자 주행 보조 기능을 제공하는 독립형 다채널 차량용 데이터 처리 시스템 및 그 방법
KR101736431B1 (ko) 다중영상을 이용한 교통정보 스마트 모니터링 시스템 및 방법
CN114902309A (zh) 驾驶辅助装置、驾驶辅助方法以及程序
KR102484789B1 (ko) 무인단속 및 교통정보 수집 기능을 구비한 지능형 교차로 통합관리시스템
JP7021899B2 (ja) 画像生成装置および画像生成方法
KR102317311B1 (ko) 영상을 이용한 정보 분석 시스템 및 그에 관한 방법
WO2023286463A1 (ja) 検出装置、検出システム及び検出方法
WO2008094029A1 (en) Surveillance method and system using optimized object based rule checking

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040210

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040225

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20041203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060306

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060927

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111110

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131110

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees