JP2003515811A - 映像危機管理カーテン - Google Patents

映像危機管理カーテン

Info

Publication number
JP2003515811A
JP2003515811A JP2001540533A JP2001540533A JP2003515811A JP 2003515811 A JP2003515811 A JP 2003515811A JP 2001540533 A JP2001540533 A JP 2001540533A JP 2001540533 A JP2001540533 A JP 2001540533A JP 2003515811 A JP2003515811 A JP 2003515811A
Authority
JP
Japan
Prior art keywords
runtime
points
scene
model
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001540533A
Other languages
English (en)
Inventor
サンジャイ ニチャニ,
Original Assignee
コグネクス コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コグネクス コーポレイション filed Critical コグネクス コーポレイション
Publication of JP2003515811A publication Critical patent/JP2003515811A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

(57)【要約】 完成度が高く効率の高いマシンビジョンを実行する方法および装置を含む3次元(3−D)マシンビジョンによる危機管理ソリューション(図1)。上記マシンビジョンによる危機管理ソリューションは、2次元映像ピクセルデータを3−Dデータになるように変換し、この3−Dデータは、特定の3−Dオブジェクト、方向および任意のオブジェクトに関する他のオブジェクトの特性に関して用いられて映像危機管理「カーテン」を提供する。3次元(3−D)マシンビジョンによる危機管理ソリューション装置は、ターゲットの場面を立体的に捉えるように配置された画像取得デバイス(10Aおよび10B)を含んで、上記結果の複数の映像出力信号をさらなる処理用にコンピュータ(14)に伝達する。上記複数の映像出力信号(24)は、映像信号を受信するように適合された映像プロセッサ(26)の入力に接続される。

Description

【発明の詳細な説明】
【0001】 (発明の分野) 本発明は、危機管理/セキュリティシステムに関し、具体的には、危機管理/
セキュリティゾーン内のエリア、オブジェクトまたは複数のオブジェクトを監視
する自動システムに関する。
【0002】 (発明の背景) 産業危機管理は、危険な機械または材料から生じ得る潜在的傷害からオペレー
タ、保安要員および傍観者を保護することを必要とする。多くの場合、例えば、
危険区域に近づく人またはオブジェクトを検出することによって、危険な環境が
感知された場合に、自動的に警報を鳴らしたり、プロセスを止めることによって
、危険が減少され得る。産業危険は、機械的危険(例えば、粉砕、剪断、貫通、
もつれ)、毒性の危険(化学的、生物学的、放射)、熱および火炎、低温、電子
、光(レーザ、溶接フラッシュ)などを含む。産業処理において遭遇する種々の
組み合わせの危険は種々の同時の安全装置を必要とし得、これにより、この処理
に関連した資本支出が増え、信頼性および柔軟性が減少する。
【0003】 機械ツールを固有の危機管理機能を有するように設計し得る。あるいは、機械
または材料の危険は、危険生成サイクルの間、封入型機械または処理エリアの一
部を固定することによって減少し得る。機械スイッチ、フォトオプティカル光カ
ーテン(light−curtains)および他の近接センサまたは運動セン
サは、周知の危機管理コンポーネントおよびセキュリティコンポーネントである
。これらの種類の保護は、オブジェクトまたは人が単に存在するかまたは存在し
ない(または運動する)ことよりも多くを検出する能力が非常に限られていると
いう一般的な欠点を有する。さらに、単純なセンサは、通常、一つの種類の危険
に対して保護される特定の機械、材料またはエリアに関して注文指定されたり注
文設計される。機械センサは、特に、一方向性の接触によって作動されるという
欠点を有し、この一意的な目的のために特別に設計されなければならない場合が
多い。機械センサは、あらゆる他の種類の侵入も、近くに近づいてくるオブジェ
クトも、予期しない方向から到着するオブジェクトも感知し得ない。運動センサ
およびタッチセンサの複雑な組み合わせでさえも、エリア内では一つの種類のオ
ブジェクトまたは動作が許され、別の種類は警報状態を生じる環境に対して、制
限された柔軟性のない危機管理またはセキュリティしか提供し得ない。
【0004】 一列の光トランスミッタとレシーバとを平行に位置合わせを行うことによって
光のカーテン(すなわち、「光のバリア」)を構成して、危機管理/セキュリテ
ィのモニタリング用に平行な光線の「カーテン」を生成することが公知である。
光線のうちの一つを遮断する任意の光を通さないオブジェクトは、センサをトリ
ガーして、次いで、警報を鳴らしたりまたは他の危機管理手段を配置する。しか
し、光線が直線で伝播するため、光トランスミッタおよびレシーバは、注意深く
位置合わせが行われ、通常、平行な光線と並んでいるように見える。光のカーテ
ンは、通常、平面保護エリアのモニタリングに限定される。ミラーはオブジェク
ト周辺の光線を「曲げる」ために用いられ得るが、これにより設計および較正の
問題がさらに複雑になり、さらに、動作範囲も減少する。
【0005】 光カーテンセンサのうちの一つの主な欠点は、内部光線空間によって決定され
るような、検出され得るオブジェクトの最低解像度があることである。光線空間
より小さい任意のオブジェクトは、検出されることなく「カーテン」を透過し得
る。別の欠点は、ほとんどの点センサと同様、光カーテンは、オブジェクトが一
本以上の光線を実際に妨げるとき、バイナリー状態(正/誤)しか検出し得ない
ことである。カーテンの近くに危険なまでに近づくオブジェクトは、検出されな
いままであり、高速で運動する侵入オブジェクトは、手遅れになるまで検出され
ない場合があり、これにより、設計者が、危険エリアからさらに離れてカーテン
を位置決めして危機管理措置に必要な時間間隔を提供しなければならない。さら
に、光トランスミッタと対応するレシーバとの間の安全な動作範囲は、チップ、
塵または蒸気によって光線の分散および減衰が生じる場合、または振動および他
の機械の移動により光線の位置ずれが生じ得る場合に厳密に限られ得る。
【0006】 さらに、光カーテンは、周辺光(これが外部の電源であろうと近傍のオブジェ
クトによって反射された光であろうと)から干渉を受けやすい。この要因によっ
て用途がさらに制限され、屋外、溶接作業の近傍または反射性を有する材料の近
傍などの場所での使用が困難になる。このような場所において、光レシーバは、
光線の変化を適切に感知しない場合がある。さらに、光カーテンは、誤警報なく
必須の危機管理を提供するために動作が適切であるかを継続的にモニタリングさ
れる必要がある大量の別個の感度を有する光コンポーネントから製造される。シ
ステムの信頼性は必須のコンポーネント数および対応する故障率に比例して減少
することが自明である。マイクロ波のカーテンも利用可能であり、集中したマイ
クロ波の放射は、保護されるべきエリアにわたって送られ、遠隔レシーバにおけ
るエネルギーまたは位相の変化が警報事象をトリガーし得る。マイクロ波センサ
は、多くの誤警報状態を含む多くの光カーテンと同じ欠点を有する。
【0007】 超音波センサ技術は、人間の視覚範囲を越えた周波数での音響エネルギーの放
出および受け取りに基づいて利用可能である。オブジェクトを光的に感知するこ
とに基づいた光電感知とは異なり、超音波感知は、オブジェクトの硬さまたは密
度(すなわち、音声を反射する機能)に依存する。これにより、超音波センサが
、光電センサには不適切ないくつかの場合に実用的になるが、光電センサと共通
する多くの欠点を共有する。最も顕著には、多くの単純なセンサのように、超音
波センサの欠点は、超音波センサがバイナリー結果(すなわち、オブジェクトが
危機管理ゾーンに入ったか否か)しか生成しないということを含む。同様の問題
は、オブジェクトが放射する熱が存在するか否かしか検出し得ない受動赤外線セ
ンサにも存在する。
【0008】 映像監視および他の測定センサも、誤動作または安全なエリア内への侵入者の
表示を自動的に検出するために用いられるものとして公知である。これらの種類
の公知のセンサも、オブジェクトの存在(恐らく、所定の場所における存在)に
よって生じる映像信号の変化を単に検出することに限定される。これらのシステ
ムは、オブジェクトのサイズまたはより重要には位置を検出し得ない。なぜなら
ば、これらのシステムは場面における2次元的な変化を感知することに限定され
るからである。映像システムの別の欠点は、オブジェクト間の距離などの他の特
性ではなく、2次元的に走査された場面内における運動または他の変化を感知す
ることに限定されることである。さらに、このようなシステムは、侵入オブジェ
クトの数を検出し得ない。このようなシステムは、変化しないオブジェクト(こ
れは警報状態を生成しない)とは対照的に、変化するオブジェクト(これは警報
状態を生成する)を感知し得ない。同様に、このようなシステムは、不利なこと
に、2つのオブジェクトが受け入れられて、一つは警報状態を生成して、一つは
警報状態を生成しない表示を提供することが不可能である。これらの単純な構成
により、映像システムは、エリアを周期的に「掃引」して変化を探すために用い
られることが多い。このモードにおいて、侵入者は、カメラのポイントが合って
なかったり、他のオブジェクトの後ろに隠れている場合にのみ移動することによ
って検出を回避し得る。これにより、さらなる種類のセンサを有して、映像監視
を増加する必要性が生じる。さらに、映像監視システムは、距離知覚を有さない
ため、カメラの近傍の小さなオブジェクトは、遠くにある大きなオブジェクトの
画像と同じように知覚され得る。これらおよび他の欠点は、機械スイッチセンサ
などの映像監視システムの用途を、新たなオブジェクトが現れたか否かに関する
単純なバイナリー、すなわち「正/誤」判定に制限する。
【0009】 最も最近では、近接レーザスキャナ(PLS)は、PLSセンサ近傍の規定さ
れたエリア内のオブジェクトを検出するために用いられてきた。これらのシステ
ムは、レーザ測定システム(LMS)としても公知である。PLS技術は、走査
レーザ光線を用い、反射した光の飛行時間を測定して視野フィールド内のオブジ
ェクトの位置を決定する。比較的大きなゾーン(例えば、半径50メートルで1
80度にわたるゾーン)が走査されて、計算によって早期の警告および危機管理
警報またはシャットダウンの小さなゾーンに分割され得る。しかし、多くの他の
センサ技術のように、走査レーザシステムは、通常、検出されたオブジェクトの
異なるサイズまたは特性を区別し得ない。これにより、走査レーザシステムは多
くの危機管理またはセキュリティ用途において不適切である。明白なことに、走
査レーザシステムは、通常、(例えば、レーザ光線を方向付けるために用いられ
るミラーの角度を変更する)移動部分を組み込む。このような移動部分は、消耗
されて、正確な位置合わせを必要とし、極度に脆いため、変化する周辺状態下で
信頼性が低い。さらに、PLSは、同じ場所にある複数のオブジェクトと一つの
オブジェクトとを区別することが不可能である。このようなシステムは、モニタ
リングされたエリア内のオブジェクトの配向および方向を検出する。したがって
、ターゲットに向かって移動するオブジェクトは、ターゲットから移動する位置
と同じ位置にあるオブジェクトに対して同じ警報を鳴らし得、PLS(または、
映像監視または他の移動センサ)において誤警報を生じさせる。さらに、PLS
を、オブジェクトの移動がエリア内で許された場合(すなわち、保護されたター
ゲットオブジェクト自体がセンサに対して移動する)に用いることが不可能であ
る。
【0010】 (発明の要旨) 本発明は、完成度が高く効率の高いマシンビジョンを実行する方法および装置
を含む3次元(3−D)マシンビジョンによる危機管理ソリューションを提供す
る。上記マシンビジョンによる危機管理ソリューションは、2次元映像ピクセル
データを3−D点データになるように変換し、この3−Dデータは、映像危機管
理「カーテン」を提供するように構成された立体カメラの視界内の特定の3−D
オブジェクト、オブジェクトまたはエリアの特性に関して用いられる。オブジェ
クト、複数のオブジェクトまたはエリアはモニタリングされ得る。説明のために
これらを一括して「ターゲット」と呼ぶ。上記ターゲットは「侵入者」と呼ばれ
る別の異質のオブジェクトによる侵入から保護される。
【0011】 本発明によって、3−Dマシンビジョンによる危機管理ソリューション装置は
、ターゲットの場面を立体的に捉えるように配置された2つ以上のビデオカメラ
またはデジタルカメラなどの画像取得デバイスを含む。上記カメラは、結果の複
数の映像出力信号をさらなる処理用にコンピュータに伝達する。上記複数の映像
出力信号は「フレーム取り込み器」サブシステムなどの映像信号を受信するよう
に適合された映像プロセッサの入力に接続される。次いで、各カメラからの映像
画像は、同期的にサンプリングされ、取り込まれて、汎用プロセッサと関連付け
られたメモリ内に格納される。次いで、ピクセル情報の形態の上記デジタル化さ
れた画像は、格納されて、操作されて、そうでない場合には、ビジョンシステム
の機能と一致して処理され得る。上記デジタル化された画像は、コンピュータプ
ログラムの制御の下、本発明によって、上記メモリからアクセスされて処理され
る。次いで、上記処理の結果がメモリ内に格納されたり、本発明のアプリケーシ
ョンに応じたさらなる動作を目的として適合された他のプロセスおよび装置を作
動させるために用いられ得る。
【0012】 さらに本発明によって、マシンビジョンによる危機管理ソリューションの方法
および装置は、2つの段階の動作:トレーニングおよびランタイムを含む。トレ
ーニング段階において、ターゲットを含む場面は、立体カメラによって捉えられ
て、基準画像セットを収集する。各基準画像セットは、ビデオカメラ(例えば、
右および左)から実質的に同時に取り込まれたデジタル化された基準画像を含む
。適切な立体アルゴリズムを用いて、基準画像セットは処理されて、基準エリア
(すなわち、ターゲット)内の基準オブジェクト(単数または複数)または他の
表面に対応した点に関する3−D記述的な情報を取得する。3−D点のセットは
、トレーニングタイムの動作、ランタイムの動作を制御する種々の他のパラメー
タと共に、基準オブジェクトまたはターゲット用のモデルとして登録されて、許
容に関する情報を提供する。ランタイム段階の間に、本発明の例示の実施形態は
、同じ画像取得プロセスを用いて、モニタリングされた場面に関する情報を収集
して、モニタリングされた場面に関する3−D情報を判定する。ランタイムのセ
ットの立体画像は、場面における任意のオブジェクトまたは物理エンティティに
関する3−D情報に関して処理されて、ランタイムのセットの3−D点がモニタ
リングされた場面に対応して生成される。次いで、上記トレーニングタイムの3
−D点は、上記ランタイムの3−D点と比較されて、結果は上記アプリケーショ
ンの特定の必要性によって生成される。最も一般的な場合、上記ターゲットに対
する上記侵入オブジェクトの位置(すなわち、最低距離)が計算される。次いで
、この距離が用いられて、種々の結果をトリガーし得る。例えば、人が誤った角
度から機械に近づいた場合に、危機管理規則が警報を必要とする場合、本発明に
よる上記方法および上記装置は、上記基準オブジェクトに対する上記侵入者の位
置に関連した結果を提供するように構成され得る。上記特定の3−D基準に合っ
たオブジェクトが上記危険位置に入るかまたは近づいた場合に、適切な危機管理
手段(警報、シャットダウン、シールドの配置など)がトリガーされ得る。一方
、危険位置内にあるかまたは上記危険位置に近づくオブジェクトの存在を示す位
置に上記侵入オブジェクトがないことをシステムが認識することが可能であり、
したがって、上記動作が続行することが可能になる。
【0013】 本発明の特徴は、ランタイムにおいて安全にされたエリア内における3−Dオ
ブジェクトに関する種々のリアルタイムの3−D情報を生成する機能を含む。本
発明によるシステムを用いて、あるオブジェクトから別のオブジェクトまでの距
離も計算され得、上記危機管理またはセキュリティシステムが類似した規則を施
行することが可能になる。複数のオブジェクトが各オブジェクトに対する異なる
出力結果(例えば、警報されるか否か)を生じる位置で検出され得る。上記結果
は、上記侵入オブジェクトに関して検出された3−D点に基づいた、上記ターゲ
ットに対する上記侵入オブジェクトの3−D位置に依存し得る。結果は、複数の
侵入オブジェクト間の距離の点からも測定され得る。さらに、上記3−D映像危
機管理方法および装置が、上記ターゲットの3−D運動(移動部分、振動または
回転など)を可能にするように構成され得る。上記保護されたエリア内の上記タ
ーゲットオブジェクトの予期された位置変化を識別および可能にするためにも用
いられ得る。
【0014】 モニタリングされたターゲットと、3−Dオブジェクト間の位置関係または空
間関係(例えば、近い、遠い)に基づいた基準ターゲットとの比較、および他の
危機管理関連3−D情報(例えば、オブジェクトサイズ、方向)は、保護される
それぞれの異なる種類のオブジェクト、または測定される必要がある種類の危機
管理情報に対して、特別に設計、設置または較正される必要があるセンサを用い
ることなく本発明によって判定され得る。上記システムは、激しい消耗を受け易
い移動機械部分に実質的にほとんど頼らないことが必要である。本発明による危
機管理ソリューションにおいて観察されたオブジェクトに関する3−D情報を計
算すると、視界にある場面内の所定の不明瞭な差(すなわち、単純な「運動」ま
たは「変化」)があるだけでなく、特定の3−Dオブジェクトおよび関連した位
置および方向に関する3−D情報の派生に基づいて危機管理規則を定義すること
を可能にすることにより、従来技術の多くの欠点が克服される。機械センサに必
要であるように、本発明は危険の非常に近くに配置されたりまたは危険と接触す
る必要はない。マシンビジョンシステムは、場面の画像を処理して、視界にある
オブジェクトを検出および量子化することによって、セキュリティおよび危機管
理センサにより優れたアプローチを提供する。マシンビジョンシステムは、とり
わけ、多様な検査、測定、位置合わせおよび走査タスクを実行する自動機能を提
供し得る。
【0015】 本発明の他の利点は、一連のいくつかのランタイムの画像を取り込んで処理し
て、移動オブジェクトの3−D軌道を計算するために用いられ得ることである。
この情報は、危険エリアとの衝突過程にある侵入者が近づいてくることを検出す
る際に非常に重要であり得る。本発明の別の特徴は、上記ターゲットオブジェク
ト、上記侵入オブジェクトおよび上記最短の(最低の)距離ベクトルを表示する
機能である。本発明の別の特徴は、上記場面のデジタル化された画像を自動的に
格納(および保管)して、危機管理またはセキュリティ規則の一部を後の検討用
に有する機能である。
【0016】 本発明のこれらおよび他の特徴は、図面と共に以下の詳細な説明の点が考えら
れる場合によりよく理解される。
【0017】 (詳細な説明) 本発明によるセキュリティおよび危機管理の実施形態において実現されたビジ
ョンシステムを図1に示す。システムは、バンクーバーB.C.のPoint
Grey Researchから市販されているTriclops model
などの少なくとも2つのカメラ10a、10bを含む画像取得デバイス101を
組み込む。カメラ10a、10bは、信号ケーブル12を介して映像信号を映像
危機管理およびセキュリティプロセッサ14に送信する。2つのカメラ10a、
10bは両方、モニタリングされるべき場面32上に焦点が合わせられる。映像
危機管理およびセキュリティプロセッサ14は、映像画像フレーム取り込みデバ
イス18、画像プロセッサ26および結果プロセッサ30を含み、これらすべて
は、メモリデバイス22に接続される。概して、MA州NatickのCogn
ex Corpから市販されている8100 Multichannel Fr
ame Grabberなどの映像画像取り込みデバイス18からのデジタル映
像画像セット20または他の同様のデバイスは、メモリデバイス22内に格納さ
れる。汎用コンピュータ上のこの例示の実施形態において実現される画像プロセ
ッサ26は、格納されたデジタル映像画像セット24を受信して、3−Dデータ
セット28を生成する。以下に詳細に説明するように、3−Dデータセット28
は、結果データ32を生成する結果プロセッサ30に送達される。結果データ3
2は、アプリケーションの機能としての結果に影響を与えて、例えば、警報出力
16に供給され得る。
【0018】 例示の実施形態における画像取得デバイス101は、図2に示したように、画
像情報を取得する構成を含む。例示の構成において、3つのカメラ(右のカメラ
222、左のカメラ224および上のカメラ226)が、L型のサポート220
上に取り付けられ、これらのカメラのうちの2つ(左のカメラ222および右の
カメラ224)を横に並べて一列にし、3つ目の上のカメラ226を他の2つ2
22、224のこの列外に取り付ける。
【0019】 図3および図4は、本発明による動作の2つの段階の概略を提供する。トレー
ニングタイムプロセス300(図3)の後に、通常、ランタイムプロセス400
(図4)が続く。ここで図3を参照して、トレーニングタイムプロセス300に
おける第1の工程302は、ビュー/ターゲット上に画像取得デバイス101を
配置し、モニタリングされる場面32における任意の関連するオブジェクト34
を配置するオペレータを必要とする。この配置工程302は、ランタイムの変化
が測定される際の基準として望ましい、照明の選択、場面32におけるオブジェ
クト34および他の要素の適切な設置を含む。当該技術において公知であるよう
に、この配置工程の間、構築された照明が場面において実現されて、アプリケー
ションの機能として、画像化の際に場面の特性が最適化され得ることが理解され
るべきである。この工程はさらに、画像取得デバイス101の焦点距離、ベース
ライン、焦点および他のパラメータの較正および調整も含む。オペレータは、画
像取得デバイス101のファインダを介して場面32を観察したり、および/ま
たは、仮テストにおいて取り込まれて、映像画像危機管理およびセキュリティプ
ロセッサ14と構成されたモニタ(図示せず)上に表示された画像を観察し得る
。場面32は、ターゲット/オブジェクト34の構成(texture)および
色、ならびに有用な/最適化された画像を生成する背景を説明するように調節さ
れ得る。
【0020】 場面32がトレーニングタイムの間に画像取り込みの準備ができた後、オペレ
ータは、システムに基準画像セット306を取り込ませる。この工程は、必要に
応じて、速度を向上させる目的で実現される。実現された場合、複数の映像画像
信号は、各カメラ222、224、226からの画像が実質的に同じ瞬間に取り
込まれるように取り込まれる。この同期化は、映像画像フレーム取り込みデバイ
ス18にタイミングまたは同期化信号を各カメラ222、224、226に送信
させることによって達成され得る。または一つのカメラがマスターとして作動し
て、タイミングまたは同期化信号を他のカメラに対して生成し得る。画像取得デ
バイス101からの映像信号は、映像画像フレーム取り込みデバイス18によっ
てデジタル化されて、さらなる処理のためにメモリデバイス22内に格納される
。映像画像フレーム取り込みデバイス18は、画像取得デバイス101から映像
画像入力を取り込み、デジタルデータセットとして2次元に走査された映像画像
を表すデジタル画像を生成する高い解像度でこの入力を変換するデジタル回路部
を含む。データセット内の各データ要素は、各対応した画像素子(ピクセル)の
光強度を表す。各カメラ222、224、226から生成されたデジタルデータ
セットはメモリ22内に格納され、基準画像セット306は画像取得デバイスに
よって実質的に同じ所与の瞬間に生成されるすべてのデジタルデータセットから
なる。この基準画像セットは、モニタリングされるターゲット/オブジェクト/
エリアの画像セットを表す。さらなるトレーニングタイムのフレームが取り込ま
れて、基準画像セットが分析用に収集され得る。複数の画像または基準映像信号
を取り込むと、基準画像(すなわち、フレームの平均化)に平均を用いることが
促進され、この結果、信号対雑音比が向上する。
【0021】 トレーニング段階300の次の工程308は、モニタリングされた場面32、
具体的には、場面32におけるターゲットであり得る任意の3Dオブジェクト3
4の3−Dの記述310を生成することである。3−Dの記述310は、例えば
、3−D空間におけるオブジェクトの分析式による基準オブジェクト/ターゲッ
トの関数として提供され得る。あるいは、分析式が利用可能でない場合には、一
般化された表示が用いられ、これにより、各基準画像セット306が処理されて
立体情報を抽出する。基準データセット306は、複数のカメラ222、224
、226から実質的に同じ瞬間にデジタル化された画像を含むため、基準画像セ
ット306の立体処理の結果、モニタリングされた場面32におけるオブジェク
ト34の端部または他の境界線に対応した3−D点のセットの形態で3−D情報
(すなわち、位置)が計算される。基準画像セット306は、立体的にペアワイ
ズを処理し、これにより、左のカメラ222および右のカメラ224からのデジ
タル化された画像が処理され、上のカメラ226のデジタル化された画像は、右
のカメラ222のデジタル化された画像と共に処理される。これらの2組のペア
ワイズ処理結果から得られた3−Dデータを組み込むことによって、本発明の例
示の実施形態は、場面32におけるオブジェクト34の3−Dデータ点のセット
を取得する。実施形態が水平カメラのセットのみを用いて実現された場合には、
水平な特徴に関する3−D情報が乏しいかまたは存在しないことに留意されたい
【0022】 3−Dデータ点のセット310が生成された後、例示の実施形態は、トレーニ
ング段階の間に場面におけるオブジェクトの3−Dモデル314を生成する工程
312に進む。3−D点は、オブジェクトの境界線についてのみ取得されて、こ
れらの3−Dの境界点は「3−D特徴」と呼ばれる。境界点は、表面の不連続性
に起因したオクルジョン(occlusion)境界線および表面構成に起因し
て観測された構成境界点を含む。特定の3−D特徴は、Digital Ima
ge Processing(第2版)においてGonzalezおよびWin
tzによって教示されるようなプロセス、続いてStructure From
Stereo(A Review、Dhond、Umesh R、and A
ggarwal、J.K.、IEEE Transactions On Sy
stems、Man、And Cybernetics、Vol.19、No.
6、1989年11月/12月)に記載されるようなステレオアルゴリズムなど
のいくつかの周知の端部セグメント化プロセスのいずれかによって得られ得る。
同文献の両方は本明細書中に3考として援用される。オブジェクト34の一般化
された表示は、3次元のデータ点のセット310を規定することによって常に可
能である。ターゲットが移動部分を有する場合、ターゲットの運動の異なる時間
段階で取得したトレーニングタイムの特徴を結合させることが望ましい。オペレ
ータはトレーニングタイム基準モデルも操作して、選択された3−D点またはさ
らには3−Dオブジェクトも含んだりまたは排除したりし得る。考慮中のターゲ
ットが解析形態で表示され得る場合、対応した式が点のセットの代わりに用いら
れ得ることがさらに理解されるべきである。
【0023】 トレーニング段階300のさらなる工程として、基準オブジェクト34用に生
成された3−Dモデル314は、トレーニングタイムの特徴およびランタイムの
特徴の生成を制御する許容パラメータおよび他のパラメータなど、3−Dモデル
314に関連付けられたさらなるパラメータを有する。例えば、システムの危機
管理任務に関連したパラメータ(例えば、オブジェクトが許可されたりまたは禁
止される3−Dゾーンの位置、このようなゾーンそれぞれにおける相対的な危険
の重大度など)などの他の総称パラメータも含まれ得る。トレーニング段階30
0において収集された情報は、基準画像セット306、3−Dモデル314およ
び対応したパラメータのセットを含む。以下に詳細に説明するように、基準モデ
ルはメモリ22内に格納されて、ランタイムに場面32において発見されたター
ゲット/オブジェクトを表すランタイムのデータと比較する準備ができる。
【0024】 ここで図4を参照して、3−Dモデル314がトレーニング段階300におい
て生成された後、例示の実施形態はランタイム段階400に入る準備ができる。
ランタイムの間、オブジェクト/ターゲット34は変化したり、またはさらなる
オブジェクトが場面32に入り得る。本発明による例示の実施形態における方法
および装置の目標は、これらのような変化を自動的に区別して、解釈され得る記
述的な情報出力を生成して、例えば、所望の警報状態を出力する。
【0025】 トレーニングの間に用いられ、上に説明したのと同じ画像取得デバイス101
を用いて、ランタイムの画像セット404は、ランタイムの処理の第1の工程4
02で取得される。場面32のランタイムのコンテンツは、トレーニング段階の
間に発見された要素と同じ多くの要素を含む。したがって、基準画像セット30
6は、必要に応じて、ランタイムの画像セット404から減少され得る。減少工
程406により、ランタイム段階の後の工程において処理される必要があるデー
タ量が著しく減少する。次いで、結果の差データセット412が、次のランタイ
ムの工程414に渡されて、オブジェクト34の3−Dランタイムの特徴416
およびトレーニングタイムから変化した場面32の任意の他の特徴を生成する。
【0026】 3−Dランタイムの特徴416の生成(414)は、トレーニング段階基準画
像セット306に対して行われ、上に説明したのと同じランタイムの画像セット
412と同じ種類のペアワイズの立体処理を含む。立体データをさらに処理する
と、3−D基準モデル314がトレーニングタイムに生成されたのと同じ方法で
3−Dランタイムの特徴316を生成する。
【0027】 次いで、3−Dランタイムの特徴は、トレーニング段階300において生成さ
れる3−D基準モデル314と比較される(418)。この比較工程418の差
の結果424は、トレーニングタイムの間に生成された3−D基準モデル314
から得られた場面32における3−D特徴の変化に関する3−Dの記述である。
次いで、この差の結果424は、3−D基準モデル314およびこれに対応した
基準パラメータに関して、ならびに3−Dランタイムの特徴に関して定量化され
る(426)。結果定量化の工程426は、比較工程418に発見された差の結
果424の測定、および定量化(例えば、差の種類の分類(例えば、オブジェク
トの3D位置、サイズ番号)による定量化)の使用に関する。結果定量化工程4
26は、侵入オブジェクトが、場面32の規定された危険ゾーン内に移動したり
、または基準オブジェクト34のかなり接近して移動するなどの、危機管理また
はセキュリティ規則のいずれかを違反したか否かを判定する閾値パラメータの評
価を含み得る。
【0028】 例えば、例示の実施形態において、ランタイムの点はチェーン(接続された境
界点)として構成される。ループがチェーンを介して実行されて、チェーン上の
種々の特徴および各ランタイムの特徴に関する最も近いターゲット点(すなわち
、トレーニングタイムの特徴)が計算される。ランタイムの点は2組に分割され
る。この2組は、ターゲット/オブジェクトに属するか、または侵入者に属する
。ランタイムの点が特定の閾値距離(ターゲットゾーンと呼ぶ)内にある場合、
ターゲットに属すると考えられる。ランタイムの点がターゲットゾーン距離より
長いかまたは等しく、特定の閾値距離(ガードゾーンと呼ぶ)より短い場合、侵
入者に属すると考えられる。隣接するランタイムの特徴の最低数が侵入者テスト
を満たす場合、侵入と考えられる。このような実施は分割されて、出力が複数段
階でさらに提供され得る。これらの出力において、侵入者と最も近いターゲット
特徴との間の距離が計算されて、この距離が、範囲または境界をお互いが独占的
に占有するいくつかのゾーンと比較され、各ゾーンに関する所望の出力が格納さ
れ得る。
【0029】 本発明が用いられるいくつかの場合において、オブジェクト34が移動または
変化した場合に、トレーニング段階とランタイム段階との間に不明瞭さが生じ得
る。本発明の別の実施形態は、わずかに異なるプロセスを用いて誤警報状態の数
を減少し得る。図5を参照して、上記と同様のトレーニング段階は、基準画像セ
ット306を取得する最初の工程304に進む。しかし、トレーニング段階にお
ける上述の工程とは異なり、ここで、立体工程502は、3−D特徴を生成して
、次いで、これらの3−D特徴を用いて、3−Dデータ点を「クラスタリング」
して、場面32における一つの3−Dオブジェクトまたは別のオブジェクトに対
応した「クラウド(cloud)」にする処理を介して、3−Dオブジェクトデ
ータのセット506を生成する。種々のクラスタリングアルゴリズムのいずれか
を実現して、Duda、Richard and Hart、Peterの「P
attern Classification and Scene Anal
ysis」、第六章(pp.189〜256)Wiley Interscie
nce Publication、Wiley&Sons(同文献は本明細書中
3考として援用される)に記載されたような場面における各3−Dオブジェクト
に対応した3−Dデータ点のクラウドを生成し得る。ランタイムの処理の間、同
様の一連の工程が実行される。これらの工程は、ランタイムのデータセットを取
得する工程(404)と、3−Dランタイムのデータ点と同様に「クラスタリン
グ」して特徴を3−Dの「クラウド」にすることに基づいて、このランタイムの
データセットを処理して3−Dランタイムの特徴を得る工程(508)である。
【0030】 別のアプローチが実現すると、3Dの場面がオブジェクトにセグメント化され
得ることが理解されるべきである。したがって、トレーニングタイムおよびラン
タイムにおいて、3D点(特徴)を測定して、これらを異なる3Dオブジェクト
に対応したクラスタークラウドに分割するさらなる工程がある。これは人が場面
において照準を合わせることが可能であり得るオブジェクトを制限し得る。なぜ
ならば、セグメント化が、場面を明確な3Dオブジェクトにセグメント化するこ
とに常に成功するわけではないからである。しかし、場面をオブジェクトにセグ
メント化することが可能である場合、ランタイムにおける比較工程も延長される
必要があり、これにより、ランタイムにおけるオブジェクトが処理されて、照準
が合わされていないオブジェクトと一致しないオブジェクトのみが考慮される。
これは取るに足らないことである。なぜならば、ターゲットが静止しているから
である。ターゲットオブジェクトと一致しないオブジェクトは、潜在的な侵入オ
ブジェクトとして考えられて、上記とちょうど同じように(最も近い点から点ま
での距離測定方式を用いて)ターゲットオブジェクトと比較される。本明細書に
おいて上述したように、システムの結果は出力される。このようなアプローチの
利点は、潜在的により高いロバースト性を有し得ることである。これは、上述の
点ベースのアプリケーションにおいて、ターゲットのターゲットゾーン内に入る
任意の点がターゲットに属して、このゾーン外のすべてのものが潜在的な侵入オ
ブジェクトであると考えられるからである。ターゲットゾーン内の点は、実際に
は、侵入者と一致する可能性は低く、これは特に処理サイクル時間が早い場合に
そうである。しかし、(特に、移動する機械の場合)ターゲットゾーン外の点が
ターゲットに属する場合があり得、この場合、誤警報が発せられる。上述のオブ
ジェクトベースの技術により、この問題の打開が促進される。なぜならば、ター
ゲットゾーンの概念がもはやなくないからである。ランタイムのオブジェクトは
、明示的に、ターゲットオブジェクトおよび侵入オブジェクトに分類されて、次
いで、ガードゾーンの制約のみがすべての侵入オブジェクトに対するターゲット
オブジェクトに適用される。
【0031】 オプションのランタイムの減少工程(406)を含むような例示の実施形態を
本明細書に記載するが、この工程が計算を縮小するために含まれ、ランタイムの
結果がこのような工程がなくても等しいことが理解されるべきである。同様に、
ランタイムにおいて取得された画像セットは、ルックアップテーブルを介してマ
ッピングされて、トレーニング画像段階に対する照明を変更することが可能にな
り得る。
【0032】 ターゲットを視界に入れる方法および装置を含むような例示の実施形態を本明
細書において記載するが、画像化デバイス(カメラ)を用いてターゲットを「見
る」ことが可能である必要は必ずしもないことが理解されるべきである。すなわ
ち、システムは、ターゲットは見えないが、侵入者のみが画像化されるである文
脈において実行され得る。この場合、トレーニングタイムの点は別のカメラから
得られてもよいし、別の範囲ファインダ(すなわち、事実上、3D点を提供する
任意のデバイス)であってもよい。
【0033】 移動オブジェクト34へのアプリケーションに関して特に記載してはいないが
、本明細書において記載する方法および装置は、ターゲットが移動する場合にも
同様に適用されることが理解されるべきである。しかし、このような実現は、オ
ブジェクトの対応問題が重大になる場合に、実現される比較に責任を課す。これ
は、目視可能であったオブジェクト上の点がもはや目視可能ではなかったり、お
よび目視可能でなかったオブジェクト上の点が今、目視可能になったりするから
である。さらに、(ターゲットおよび侵入者のみが移動して、他のすべてが静止
している)変化する動的場面に起因して、トレーニングタイムにおいて別々であ
ったオブジェクトがランタイムにおいて融合されたり、ランタイムにおいて別々
であったオブジェクトがトレーニングタイムにおいて融合され得る。しかし、例
えば当業者に公知の技術によって、オブジェクトの対応が確立された後、方法は
本明細書において上述したように実質的に影響を受ける。
【0034】 この方法および装置の別の代替のアプリケーションとして、ランタイムの結果
の処理を行う工程426は、移動オブジェクトを「追跡する」ように構成され得
ることが理解されるべきである。トレーニング段階とランタイム段階との間の3
−Dデータを単に比較するのではなく、結果処理426は、カウンタまたはタイ
マーあるいは閾値に達するまで警報状態を保留にする他の要素を組み合わせ得る
。このように、オブジェクトは、連続したランタイムの比較の間に取り込まれた
連続フレームを介して追跡され得る。次いで、軌道と呼ばれる速度パラメータお
よび位置パラメータが、所望の警報状態を識別する「軌道計算」として公知のプ
ロセスにおいて用いられ得る。例えば、危険エリアと衝突する過程にあるオブジ
ェクトは警報をトリガーし得るが、異なる方向で移動するオブジェクトは警報を
トリガーしない。
【0035】 本発明を画像取得用の識別された方法および装置に関して説明したが、本発明
は3−D処理に適切な高い解像度の2次元画像データを提供するデジタルカメラ
、CCDカメラ、ビデオテープまたはレーザ走査デバイスなどの他のデータ入力
デバイスを組み込み得る。
【0036】 同様に、本明細書において記載する方法および装置は、指定の画像処理ハード
ウェアを用いて実現されたり、任意の数の画像取得デバイスによって提供される
データを処理する目的で適合された汎用処理ハードウェアを用いて実現され得る
。同様に、汎用コンピュータ上に実現する代替として、本明細書において記載す
る処理は、特定用途集積回路、プログラム可能な回路部などを用いて実現され得
る。
【0037】 さらに、特定の機能分割が識別された種々のコンポーネントの間で提供される
が、一つのデバイスに帰属する機能が異なるデバイスまたは別々のデバイス内に
有益に組み込まれ得ることが理解されるべきである。同様に、本明細書において
説明した機能工程は、説明した方法および装置の機能に類似した機能を達成する
他の適切なアルゴリズムまたはプロセスを用いて改変され得る。
【0038】 本発明を本発明の例示の実施形態に関して図示および説明したが、本発明の形
態および詳細における上述および種々の他の変更、省略および追加が、根本的な
発明を変更することなく実現され得ることが理解されるべきである。
【図面の簡単な説明】
【図1】 図1は、本発明による映像危機管理カーテンシステムの機能ブロック図である
【図2】 図2は、本発明による処理用に画像を取得するように適合された3眼視カメラ
の配置の例示である。
【図3】 図3は、本発明による映像危機管理カーテンシステムのトレーニングを例示す
る流れ図である。
【図4】 図4は、本発明による映像画像のランタイムの処理を示す流れ図である。
【図5】 図5は、本発明の代替の実施形態の流れ図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G08B 13/196 G08B 13/196 25/00 510 25/00 510M 25/04 25/04 F H04N 7/18 H04N 7/18 D Fターム(参考) 5B057 AA19 BA13 CA08 CA13 CA16 CB08 CB13 CB16 DA06 DB03 DC02 DC32 5C054 EA01 FC12 FC13 FD02 HA18 5C084 AA02 AA07 AA14 BB33 CC17 DD12 EE02 EE04 FF03 GG43 GG78 HH01 HH13 5C087 AA03 AA24 AA25 AA32 BB03 BB74 DD06 DD24 EE05 EE16 FF01 FF04 FF19 FF20 GG02 GG08 GG11 GG13 5L096 AA09 BA02 CA05 DA03 FA66 GA08 HA03 HA07

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 マシンビジョンシステムを実現して、捉えられた場面におけ
    る3−D基準ターゲットのモデルとランタイムの場面とを比較する方法であって
    、 該3−D基準ターゲットのモデルに関連した情報を格納する工程であって、該
    モデルは該3−D基準ターゲットに関連した3−D点のセットを含む、工程と、 該ランタイムの場面に関連した情報を取得する工程と、 該ランタイムの場面に関連した情報を処理して、該ランタイムの場面に関連し
    た3−D点のセットを含む立体情報を形成する工程と、 該3−D基準ターゲットに関連した3−D点のセットと該ランタイムの場面に
    関連した3−D点のセットとを比較する工程と、 該ランタイムの場面における該3−D基準ターゲット以外の任意の3−Dエン
    ティティを侵入者として規定する工程と を包含し、 該3−D基準ターゲットのモデルに関連した情報を格納する工程は、第1のク
    ラスタリングアルゴリズムを用いて、該3−D基準ターゲットに関連した第1の
    組の該3−Dオブジェクトの形態に該3−D点のセットを生成する工程を包含し
    、および/または該ランタイムの場面に関連した情報を取得する工程は、第2の
    クラスタリングアルゴリズムを用いて、該ランタイムの場面に関連した第2の組
    の該3−Dオブジェクトの形態に該3−D点のセットを生成する工程を包含する
    、方法。
  2. 【請求項2】 前記3−D基準ターゲットのモデルに関連した情報を格納す
    る工程は、 トレーニング段階の間に前記3−D基準ターゲットの複数の画像を収集する工
    程と、 立体情報に関する該複数の画像を処理して前記3−D基準ターゲットに対応し
    た前記組の3−D点を生成させる工程と をさらに包含する、請求項1に記載の方法。
  3. 【請求項3】 前記ランタイムの場面に関連した情報を取得する工程は、 ランタイム段階において該ランタイムの場面の複数の連続した画像を収集する
    工程であって、該ランタイムの場面は前記少なくとも3−D基準ターゲットを含
    む、工程をさらに包含する、請求項1に記載の方法。
  4. 【請求項4】 前記情報を処理する工程の前に、前記ランタイムの場面に関
    連した情報から前記3−D基準ターゲットのモデルに関連した情報を減算する情
    報を減少させる工程をさらに包含する、請求項1に記載の方法。
  5. 【請求項5】 前記比較する工程は前記3−D基準ターゲットからそれぞれ
    の侵入者までの3−D距離を計算する工程をさらに包含する、請求項1に記載の
    方法。
  6. 【請求項6】 前記3−D基準ターゲットに対する任意の前記侵入者の3−
    D位置に対応した出力を生成する工程をさらに包含する、請求項1に記載の方法
  7. 【請求項7】 前記任意の前記侵入者の3−D位置に対応した出力を生成す
    る工程は、 前記3−D基準ターゲットのそれぞれの3−D点から該侵入者のそれぞれの3
    −D点までの3−D距離を計算して、最短の距離を含む距離のセットを生成する
    工程と、 該最短の距離が所定の閾値距離より短いか否かを判定する工程と をさらに包含する、請求項6に記載の方法。
  8. 【請求項8】 前記3−D基準ターゲットのモデルに関連した情報を格納す
    る工程は、 前記捉えられた場面に立体カメラの焦点を合わせる工程と、 該捉えられた場面の実質的に同期にする複数の映像フレームを収集する工程と
    、 該複数のフレームをデジタル化して、該モデルに関連した情報を形成するデジ
    タル化されたフレームのセットを生成する工程と を包含する、請求項1に記載の方法。
  9. 【請求項9】 前記ランタイムの場面に関連した情報を取得する工程は、 該ランタイムの場面に立体カメラの焦点を合わせる工程と、 該ランタイムの場面の実質的に同期にする複数の映像フレームを収集する工程
    と、 該複数のフレームをデジタル化して、該ランタイムの場面に関連した情報を形
    成するデジタル化されたフレームのセットを生成する工程と を包含する、請求項1に記載の方法。
  10. 【請求項10】 前記デジタル化されたフレームのセットをメモリ内に格納
    する工程と、 複数のランタイムの場面それぞれを、収集する工程、デジタル化する工程およ
    び格納する工程を繰り返す工程と をさらに包含する、請求項9に記載の方法。
  11. 【請求項11】 マシンビジョンシステムを実現して、捉えられた場面にお
    いて侵入者を検出する方法であって、 該捉えられた場面の3−D基準モデルを生成させる工程であって、該基準モデ
    ルは3−D基準点のセットを含む、工程と、 該捉えられた場面のランタイムバージョンを取得する工程であって、該ランタ
    イムバージョンは3−Dランタイムの点のセットを含む、工程と、 該3−D基準点のセットと該3−Dランタイムの点のセットとを比較して、該
    3−D基準点のセットと該3−Dランタイムの点のセットとの差を決定する工程
    と、 該3−D基準点のセットと該3−Dランタイムの点のセットとの差の関数とし
    て、捉えられた場面における任意の該侵入者の位置を取得する工程と を包含し、 該3−D基準モデルを生成させる工程は、第1のクラスタリングアルゴリズムを
    用いて、第1の3−Dオブジェクトのセットの形態に該3−D基準点のセットを
    生成する工程を包含し、および/または該ランタイムバージョンを取得する工程
    は、第2のクラスタリングアルゴリズムを用いて、第2の3−Dオブジェクトの
    セットの形態に該3−Dランタイムの点のセットを生成する工程を包含する、方
    法。
  12. 【請求項12】 前記3−D基準モデルを生成させる工程は、 トレーニング段階の間に前記捉えられた場面の複数の画像を収集する工程と、 該捉えられた場面内の任意のエンティティに関する立体情報に関する該複数の
    画像を処理して、前記3−D点のセットを生成させる工程と をさらに包含する、請求項11に記載の方法。
  13. 【請求項13】 前記捉えられた場面の前記ランタイムバージョンを取得す
    る工程は、 ランタイム段階において該捉えられた場面の複数の画像を収集する工程と、 該捉えられた場面内の任意のエンティティに関する立体情報に関する該複数の画
    像を処理して、前記3−Dランタイムの点のセットを決定する工程と をさらに包含する、請求項11に記載の方法。
  14. 【請求項14】 前記比較する工程の前に、前記3−Dランタイムの点のセ
    ットから前記3−D基準点のセットを減算する情報を減少させる工程をさらに包
    含する、請求項11に記載の方法。
  15. 【請求項15】 前記3−D基準モデルに対する任意の前記侵入者の3−D
    位置に対応した出力を生成する工程をさらに包含する、請求項11に記載の方法
  16. 【請求項16】 前記任意の前記侵入者の3−D位置に対応した出力を生成
    する工程は、 前記3−D基準モデルのそれぞれの3−D点から該侵入者のそれぞれの3−D
    点までの3−D距離を計算して、最短の距離を含む距離のセットを生成する工程
    と、 該最短の距離が所定の閾値距離より短いか否かを判定する工程と をさらに包含する、請求項15に記載の方法。
  17. 【請求項17】 捉えられた場面における侵入者を検出するマシンビジョン
    装置であって、 画像取得デバイスと、 プロセッサであって、 3−D基準点のセットを含む該捉えられた場面の3−D基準モデルを生成さ
    せる手段と、 3−Dランタイムの点のセットを含む該捉えられた場面のランタイムバージョン
    を取得する手段と、 該3−D基準点のセットと該3−Dランタイムの点のセットとを比較して、
    該3−D基準点のセットと該3−Dランタイムの点のセットとの差を決定する手
    段と、 該3−D基準点のセットと該3−Dランタイムの点のセットとの差の関数として
    、該捉えられた場面における任意の該侵入者の位置を取得する手段と、 第1のクラスタリングアルゴリズムを用いて、第1の3−Dオブジェクトのセッ
    トの形態に該3−D点のセットを生成する手段、および第2のクラスタリングア
    ルゴリズムを用いて、第2の3−Dオブジェクトのセットの形態に該3−Dラン
    タイムの点のセットを生成する手段のうちの少なくとも一つの手段と を含むプロセッサと を備えたマシンビジョン装置。
JP2001540533A 1999-11-24 2000-10-24 映像危機管理カーテン Withdrawn JP2003515811A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/448,962 US6297844B1 (en) 1999-11-24 1999-11-24 Video safety curtain
US09/448,962 1999-11-24
PCT/US2000/041482 WO2001039513A1 (en) 1999-11-24 2000-10-24 Video safety curtain

Publications (1)

Publication Number Publication Date
JP2003515811A true JP2003515811A (ja) 2003-05-07

Family

ID=23782333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001540533A Withdrawn JP2003515811A (ja) 1999-11-24 2000-10-24 映像危機管理カーテン

Country Status (4)

Country Link
US (1) US6297844B1 (ja)
EP (1) EP1249135A4 (ja)
JP (1) JP2003515811A (ja)
WO (1) WO2001039513A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006302284A (ja) * 2005-04-19 2006-11-02 Honeywell Internatl Inc 2d画像ドメインデータを3d高密度レンジマップに変換するためのシステムおよび方法
JP2008033819A (ja) * 2006-07-31 2008-02-14 Omron Corp 物体認識装置、監視システム、物体認識方法、物体認識プログラム、および該プログラムを記録した記録媒体

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720990B1 (en) 1998-12-28 2004-04-13 Walker Digital, Llc Internet surveillance system and method
DE10050083A1 (de) * 2000-10-10 2002-04-18 Sick Ag Vorrichtung und Verfahren zur Erfassung von Objekten
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US6780351B2 (en) * 2001-04-30 2004-08-24 Emil J. Wirth, Jr. Vessel inspection and repair system
US7768549B2 (en) * 2001-06-08 2010-08-03 Honeywell International Inc. Machine safety system with mutual exclusion zone
KR100814426B1 (ko) * 2001-07-14 2008-03-18 삼성전자주식회사 다 채널 영상 중계 처리기 및 이를 적용한 다 채널 영상보안 시스템
DE10140393A1 (de) * 2001-08-23 2003-03-20 Univ Clausthal Tech Verfahren zur Bereitstellung positionssensitiver Informationen zu einem Objekt
US20030043292A1 (en) * 2001-08-31 2003-03-06 Pyle Norman C. System and method for automatic capture of light producing scenes
US6696945B1 (en) * 2001-10-09 2004-02-24 Diamondback Vision, Inc. Video tripwire
US6970083B2 (en) * 2001-10-09 2005-11-29 Objectvideo, Inc. Video tripwire
DE10152543A1 (de) 2001-10-24 2003-05-08 Sick Ag Verfahren und Vorrichtung zum Steuern einer sicherheitsrelevanten Funktion einer Maschine
DE60331534D1 (de) * 2002-04-25 2010-04-15 Sony Corp Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildverarbeitungsprogramm
US7920718B2 (en) * 2002-09-05 2011-04-05 Cognex Corporation Multi-zone passageway monitoring system and method
US7397929B2 (en) * 2002-09-05 2008-07-08 Cognex Technology And Investment Corporation Method and apparatus for monitoring a passageway using 3D images
CN100339863C (zh) * 2002-09-05 2007-09-26 柯耐克斯公司 立体门传感器
US7400744B2 (en) * 2002-09-05 2008-07-15 Cognex Technology And Investment Corporation Stereo door sensor
DE50304602D1 (de) 2002-09-24 2006-09-21 Daimler Chrysler Ag Verfahren und vorrichtung zum absichern eines gefahrenbereichs
US20040186813A1 (en) * 2003-02-26 2004-09-23 Tedesco Daniel E. Image analysis method and apparatus in a network that is structured with multiple layers and differentially weighted neurons
US7292723B2 (en) * 2003-02-26 2007-11-06 Walker Digital, Llc System for image analysis in a network that is structured with multiple layers and differentially weighted neurons
US8326084B1 (en) 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
US7623674B2 (en) * 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
JP2005217908A (ja) * 2004-01-30 2005-08-11 Toshiba Corp 情報処理装置および同装置におけるコンテンツの表示方法
DE102004018016A1 (de) * 2004-04-14 2005-11-10 Sick Ag Verfahren zur Überwachung eines Überwachungsbereichs
US7440620B1 (en) * 2004-05-21 2008-10-21 Rockwell Automation B.V. Infrared safety systems and methods
US8724891B2 (en) * 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
US7733369B2 (en) * 2004-09-28 2010-06-08 Objectvideo, Inc. View handling in video surveillance systems
DE102004055229A1 (de) * 2004-11-17 2006-05-18 Heidelberger Druckmaschinen Ag Zustandsabhängige Absicherung von Maschinen
US20060115159A1 (en) * 2004-11-30 2006-06-01 Astrit Rexhepi Boundary detection for images using coocurrence matrices
DE102005032687A1 (de) * 2005-07-06 2007-01-11 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Anordnung zum Auswerten eines Koordinaten-Datensatzes eines Messobjekts
US20070047837A1 (en) * 2005-08-29 2007-03-01 John Schwab Method and apparatus for detecting non-people objects in revolving doors
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US7683934B2 (en) * 2005-12-06 2010-03-23 March Networks Corporation System and method for automatic camera health monitoring
DE102005063217C5 (de) 2005-12-22 2022-08-18 Pilz Gmbh & Co. Kg Verfahren zum Konfigurieren einer Überwachungseinrichtung zum Überwachen eines Raumbereichsund entsprechende Überwachungseinrichtung
JP2007249722A (ja) * 2006-03-17 2007-09-27 Hitachi Ltd 物体検知装置
CA2649389A1 (en) 2006-04-17 2007-11-08 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US7360332B2 (en) * 2006-06-01 2008-04-22 Rozovsky Joshua I Firearm trigger proximity alarm
USRE46672E1 (en) 2006-07-13 2018-01-16 Velodyne Lidar, Inc. High definition LiDAR system
EP1927867B1 (de) 2006-12-02 2012-04-04 Sick Ag Optoelektronischer Mehrebenensensor und Verfahren zur Erfassung von Objekten
DE102006059370A1 (de) * 2006-12-15 2008-06-26 Sick Ag Lichtgitter
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
DE102007025373B3 (de) * 2007-05-31 2008-07-17 Sick Ag Visuelle Überwachung mit Entfernungsbestimmung und Plausibilitätsprüfung anhand von Bildgrößen
TW200910937A (en) * 2007-08-29 2009-03-01 Imagia Technologies Co Ltd The generation device of continuous crisscross scenes
EP2083209B1 (de) 2008-01-28 2012-10-17 Sick Ag Sicherheitssystem zur berührungslosen Messung von Wegen und/oder Geschwindigkeiten
DE202009015603U1 (de) * 2009-03-10 2010-04-01 Siemens Aktiengesellschaft System zur Überwachung von Komponenten
US8446247B2 (en) * 2009-10-21 2013-05-21 J&L Group International, Llc Safety system
DE102010017857B4 (de) 2010-04-22 2019-08-08 Sick Ag 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine
WO2012040554A2 (en) 2010-09-23 2012-03-29 Stryker Corporation Video monitoring system
US20130258067A1 (en) * 2010-12-08 2013-10-03 Thomson Licensing System and method for trinocular depth acquisition with triangular sensor
CN102322800B (zh) * 2011-05-31 2013-04-03 南京信息工程大学 基于机器视觉和gps的汽车列车最大横向摆动量检测方法
US20130070056A1 (en) * 2011-09-20 2013-03-21 Nexus Environmental, LLC Method and apparatus to monitor and control workflow
US20130208121A1 (en) * 2012-02-10 2013-08-15 Xerox Corporation Traffic camera diagnostics via test targets
US10049281B2 (en) * 2012-11-12 2018-08-14 Shopperception, Inc. Methods and systems for measuring human interaction
US9144905B1 (en) * 2013-03-13 2015-09-29 Hrl Laboratories, Llc Device and method to identify functional parts of tools for robotic manipulation
US9259840B1 (en) * 2013-03-13 2016-02-16 Hrl Laboratories, Llc Device and method to localize and control a tool tip with a robot arm
US9233469B2 (en) * 2014-02-13 2016-01-12 GM Global Technology Operations LLC Robotic system with 3D box location functionality
US20150300962A1 (en) * 2014-04-16 2015-10-22 Texas Instruments Incorporated Assembly For Inspecting Machine Parts Used In The Production Of Semiconductor Components
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
US10551913B2 (en) 2015-03-21 2020-02-04 Mine One Gmbh Virtual 3D methods, systems and software
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
WO2017164989A1 (en) 2016-03-19 2017-09-28 Velodyne Lidar, Inc. Integrated illumination and detection for lidar based 3-d imaging
US10452963B2 (en) * 2016-05-12 2019-10-22 Google Llc Arming and/or altering a home alarm system by specified positioning of everyday objects within view of a security camera
JP7165587B2 (ja) 2016-06-01 2022-11-04 ベロダイン ライダー ユーエスエー,インコーポレイテッド 多重ピクセル走査lidar
US10482621B2 (en) 2016-08-01 2019-11-19 Cognex Corporation System and method for improved scoring of 3D poses and spurious point removal in 3D image data
ES2927177T3 (es) 2017-02-07 2022-11-03 Veo Robotics Inc Monitorización de la seguridad del espacio de trabajo y control de equipos
US11541543B2 (en) 2017-02-07 2023-01-03 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US11820025B2 (en) 2017-02-07 2023-11-21 Veo Robotics, Inc. Safe motion planning for machinery operation
US11518051B2 (en) 2017-02-07 2022-12-06 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
EP3593166B1 (en) 2017-03-31 2024-04-17 Velodyne Lidar USA, Inc. Integrated lidar illumination power control
CN115575928A (zh) 2017-05-08 2023-01-06 威力登激光雷达美国有限公司 Lidar数据获取与控制
EP3432099B1 (en) * 2017-07-20 2021-09-01 Siemens Aktiengesellschaft Method and system for detection of an abnormal state of a machine
US11294041B2 (en) 2017-12-08 2022-04-05 Velodyne Lidar Usa, Inc. Systems and methods for improving detection of a return signal in a light ranging and detection system
JP6626138B2 (ja) * 2018-02-19 2019-12-25 ファナック株式会社 センサを用いた物体監視装置
JP6915575B2 (ja) * 2018-03-29 2021-08-04 京セラドキュメントソリューションズ株式会社 制御装置及び監視システム
US10712434B2 (en) 2018-09-18 2020-07-14 Velodyne Lidar, Inc. Multi-channel LIDAR illumination driver
US11082010B2 (en) 2018-11-06 2021-08-03 Velodyne Lidar Usa, Inc. Systems and methods for TIA base current detection and compensation
US11885958B2 (en) 2019-01-07 2024-01-30 Velodyne Lidar Usa, Inc. Systems and methods for a dual axis resonant scanning mirror
US10613203B1 (en) 2019-07-01 2020-04-07 Velodyne Lidar, Inc. Interference mitigation for light detection and ranging

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3811010A (en) * 1972-08-16 1974-05-14 Us Navy Intrusion detection apparatus
FR2418505A1 (fr) * 1978-02-27 1979-09-21 Labo Electronique Physique Systeme de surveillance d'emplacements
CA1116286A (en) * 1979-02-20 1982-01-12 Control Data Canada, Ltd. Perimeter surveillance system
US5208750A (en) 1987-06-17 1993-05-04 Nissan Motor Co., Ltd. Control system for unmanned automotive vehicle
US5075864A (en) 1988-10-03 1991-12-24 Lucas Industries Public Limited Company Speed and direction sensing apparatus for a vehicle
US4970653A (en) 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
JP2754871B2 (ja) 1990-06-01 1998-05-20 日産自動車株式会社 走行路検出装置
US5097328A (en) 1990-10-16 1992-03-17 Boyette Robert B Apparatus and a method for sensing events from a remote location
FR2674354A1 (fr) 1991-03-22 1992-09-25 Thomson Csf Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles.
US5529138A (en) 1993-01-22 1996-06-25 Shaw; David C. H. Vehicle collision avoidance system
JP3169483B2 (ja) 1993-06-25 2001-05-28 富士通株式会社 道路環境認識装置
US5581625A (en) * 1994-01-31 1996-12-03 International Business Machines Corporation Stereo vision system for counting items in a queue
US5961571A (en) 1994-12-27 1999-10-05 Siemens Corporated Research, Inc Method and apparatus for automatically tracking the location of vehicles
US5642106A (en) 1994-12-27 1997-06-24 Siemens Corporate Research, Inc. Visual incremental turn detector
US5581250A (en) 1995-02-24 1996-12-03 Khvilivitzky; Alexander Visual collision avoidance system for unmanned aerial vehicles
JP3055438B2 (ja) * 1995-09-27 2000-06-26 日本電気株式会社 3次元画像符号化装置
US5742504A (en) * 1995-11-06 1998-04-21 Medar, Inc. Method and system for quickly developing application software for use in a machine vision system
JP2891159B2 (ja) * 1996-02-14 1999-05-17 日本電気株式会社 多眼画像からの物体検出方式
US5973732A (en) * 1997-02-19 1999-10-26 Guthrie; Thomas C. Object tracking system for monitoring a controlled space
DE19709799A1 (de) * 1997-03-10 1998-09-17 Bosch Gmbh Robert Einrichtung zur Videoüberwachung einer Fläche
US5917937A (en) 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006302284A (ja) * 2005-04-19 2006-11-02 Honeywell Internatl Inc 2d画像ドメインデータを3d高密度レンジマップに変換するためのシステムおよび方法
JP2008033819A (ja) * 2006-07-31 2008-02-14 Omron Corp 物体認識装置、監視システム、物体認識方法、物体認識プログラム、および該プログラムを記録した記録媒体

Also Published As

Publication number Publication date
EP1249135A4 (en) 2006-04-05
US6297844B1 (en) 2001-10-02
EP1249135A1 (en) 2002-10-16
WO2001039513A1 (en) 2001-05-31

Similar Documents

Publication Publication Date Title
JP2003515811A (ja) 映像危機管理カーテン
US7167575B1 (en) Video safety detector with projected pattern
US6829371B1 (en) Auto-setup of a video safety curtain system
CN104902246B (zh) 视频监视方法和装置
TWI580273B (zh) 監視系統
US6469734B1 (en) Video safety detector with shadow elimination
US6678394B1 (en) Obstacle detection system
US7397929B2 (en) Method and apparatus for monitoring a passageway using 3D images
Scotti et al. Dual camera intelligent sensor for high definition 360 degrees surveillance
US20040045339A1 (en) Stereo door sensor
EP3452848B1 (en) Monitoring method using a camera system with an area movement detection
EP3275828B1 (en) Monitoring of step rollers and maintenance mechanics of passenger conveyors
JP2007249722A (ja) 物体検知装置
KR101125233B1 (ko) 융합기술기반 보안방법 및 융합기술기반 보안시스템
US8306272B2 (en) Method and system for dynamically altering the analysis methodology of millimeter wave imagery in response to the range and direction of motion of a subject
EP3312641B1 (en) Method, apparatus and system for scanning and imaging
KR101238748B1 (ko) 주사구동 적외선센서장치를 이용한 표적거리 측정시스템
JP7128577B2 (ja) 監視装置
JP2006171944A (ja) 複合型防犯センサ
JP7176868B2 (ja) 監視装置
KR20060003871A (ko) 검출시스템, 물체검출방법 및 물체검출을 위한 컴퓨터프로그램
JP2020188432A (ja) 撮影方向設定装置、撮影方向設定プログラム、撮影方向設定方法、侵入検出装置、侵入検出プログラム、侵入検出方法
US20030146972A1 (en) Monitoring system
JP4038878B2 (ja) 画像処理を用いた火災検出装置
JP7079466B2 (ja) 人属性認識システムおよびプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080108