JP2005538278A - ステレオドアセンサ - Google Patents

Abstract

ドアの両側のいずれかの領域を監視し、観測領域（１４）内の３Ｄ物体の動きに従ってドア（１２）の動きを制御するためのステレオ画像化にもとづく視覚システム（１０）。システムは、視野内のあらゆる点について地面からの高さをもたらすよう較正される。したがって、何らかの物体が視野内に進入するとき、当該物体が「特徴」と呼ばれる関心点を生じさせ、それらの地面に対する高さが測定される。次いで、これらの点が３Ｄ空間（７９）にクラスタ化されて、「物体」をもたらす。続いて、これらの物体が複数のフレームにおいて追跡され、「軌跡」がもたらされる。このようなシステムは、次いで、物体に関して生成された情報のさまざまな部分にもとづいて、ドアの動き（開く、閉じる、停止する）を制御することができる。

Description

関連出願
本件出願は、２００２年９月５日に出願された「Ｓｔｅｒｅｏ Ｄｏｏｒ Ｓｅｎｓｏｒ」という名称の米国特許仮出願第６０／４０８，２６６号の利益を主張する。

技術分野
本発明は、機械による視覚システムに関し、さらに詳しくは、ドアの動作を制御するために自動化ステレオ視覚システムを使用する方法および装置に関する。

背景技術
物体の自動検出およびシステムの制御において使用するため、種々のセンサが知られている。例えば、光電センサは、可視光またはＵＶ光の光線を遮る物体を検出する。機械的なスイッチおよびロード・セルは、直接的または間接的な接触を通じて物体を検出し、あるいは物体の重量を検知することによって物体を検出する。熱センサは、熱を放射している物体を検知し、電磁気センサは、金属製の物体など電磁場を変化させる物体を検知する。これらのセンサは、通常は論理回路へと信号を送信し、この論理回路が、機械式アクチュエータを制御し、物体の存在を記録し、さらに／あるいは、物体の存在または非存在にもとづいて操作者に警報を発する。

このようなセンサは、容易に欺かれてしまうため、或る特定の用途にはあまり適していない。それらは、狭く限られた空間を通過して移動する或る特定の種類の物体のみを検出する。同様に、それらは物体の方向や速度を直接割り出すことができない。これらのセンサは、監視しようとする空間の全体にわたって一様な感度を維持する、あるいは時間の経過において均一な感度を維持するという課題をしばしば抱えており、手が出ないほど高価につく可能性がある。

いくつかの用途においては、２つ以上のセンサが必要とされる。例えば、食料品店の多くで使用されている典型的な自動ドアのコントローラは、ドアに近づいてくる人間を検出するため、マイクロ波センサまたは超音波センサを使用している。ドアを閉じる前に、人間が出入口付近をうろついていないかどうかを判断するため、赤外線運動検出器が使用されることが多い。

物体検知システムおよび制御システムにおいて使用するため、カメラを基盤とする種々のシステムも、やはり知られている。カメラを基盤とするシステムは、監視対象空間の画像を提供でき、この画像を後の分析のために保存することができるという追加の利点を有している。そのようなシステムは、通常は、画像を電荷結合素子（ＣＣＤ）のアレイ上で取り込んで、それら画像を自動分析または保存のために電子データ・ファイルに変換する電子式静止画カメラまたは電子式ビデオカメラを使用している。例えば、自動顔面認識システムが長期にわたって実験の対象とされてきており、今や、高いセキュリティが要求されるいくつかの用途で使用されている。これらのシステムは、多くの一般的な用途にとっては、低速すぎ、高価につきすぎ、あるいは信頼性が乏しすぎる可能性がある。

運動検出システムが、電子式ビデオカメラおよびフレーム取り込みプロセスを使用して開発されており、取り込んだ一続きのビデオの各フレームにおいて或る特徴を検出し、追跡する。例えば、フレームからフレームへと物体の角を追跡して、当該物体の速度ベクトルを計算する自動ドアの制御システムが知られている。この速度ベクトルが、自動ドアを開けるのか、閉めるのかを判断するために使用される。

これまでのところ、公知の特徴追跡システムは、Ａｌｅｘａｎｄｅｒの記事に記載の前記角を追跡するシステムと同様、一続きの単眼画像からデータを抽出している。そのような単眼のシステムは、２次元しかもたらすことができず、そこから速度ベクトルを計算することになる。そのような単眼のシステムにおいては、現実の３次元の物体から、影および照明効果を分別することが困難である。この問題は、例えば警報前の状態によってストロボ光がたかれ、これが監視対象空間の検出画像に影響するような或る種のセキュリティ・システムにおいて、さらに深刻になる。

２−Ｄの画像データにもとづいて動作する単眼のビデオ監視システムは、常時の障害物がカメラの視野内に現れる盲目点または盲目期間について、許容しなければならない。例えば、単眼のビデオ・システムによって制御されるいくつかのドアまたはドア枠が、それらが開くときに必ず監視カメラの視野内に入ってくるようになっているかもしれない。いくつかのシステムは、ドアが開くときは必ず、フレームまたは一部のフレームを無視するようにプログラムされている。他のさらに高度なシステムでは、時間に対するドアの実際の位置を検出して、フレームのうちのドアまたはドア枠が出現すると予想される部分のみを無視するため、追加のセンサを使用している。例えば、Ｓｐｉｎｅｌｌｉの米国特許出願公開第２００１／００３０６８９号明細書を参照されたい。

単眼の視覚運動検知システムが最初に据え付けされるとき、当該特定の環境にとって適切な基準フレームを設定するため、システムを基準画像を使用して「学習」させなければならない。このような学習は、退屈かつ不経済な手続きを含むことがしばしばである。単眼のシステムでは、実際の３−Ｄ座標を得ることができないため、画像の座標が計算されて、２−Ｄ画像空間に記憶または出力される。

発明の開示
本発明は、ステレオ視覚システムからの信号によって制御される自動ドアを提供する。接近領域のステレオ画像が、視差画像を生成すべく処理される。コントローラが視差画像を使用して、ドアを開くか閉じるかを判断する。

本発明の実施の形態は、視野内の点の３Ｄ画像をもたらす工場で較正されたステレオ・システムを使用する。据え付け時に、地面の平面がカメラに関して較正される。地面に対していくらかの高さを有している点のみが、関心の対象である。したがって、あらゆる影および明暗は、それらが地面に対する高さを持たないため、フィルタ処理によって除くことができる。次いで、関心の対象である点が、３Ｄ空間に直接クラスタ化され、あるいはそれらの投影が２Ｄ空間の地面にクラスタ化される。別個のクラスタのそれぞれが物体であると考えられ、フレームからフレームへと追跡される。したがって、各フレームにおいて、物体の数、３Ｄ空間におけるそれらの位置（中心）、瞬時の運動ベクトル（大きさおよび方向）を含め、選択した情報が入手可能である。これらの生データを使用し、ドアを開閉するためのイベントを生成できる。

本発明の例証のための実施の形態においては、ステレオ・ドア・センサ（ＳＤＳ）が、スライド・ドアまたはスイング・ドアなどのドアの片側または両側の領域を監視するためのステレオ画像化にもとづく視覚システムを有している。ドアへと往来が入ってくる領域を進入領域と称し、ドアから往来が出て行く領域を退出領域と称する。進入領域または退出領域の床面を、地面と称する。

このようなシステムは、種々の状況にもとづいて引き金を引くことができ、引き金を引かないことができ、あるいは安全状態をとることができる。例えば、進入領域に物体が存在するときに、ドアを開ける、あるいは閉じるべく引き金を引くことができる。一方、進入領域内の物体の軌跡に基づいて引き金を引くことができる。また、このようなシステムは、退出領域における物体の存在を理由に、（ドアの種類に応じて）引き金を引かない、あるいは安全状態をとるようにもできる。

本発明はカメラにもとづくシステムからなるため、本発明の種々の実施の形態を使用して、画像を記録することができ（侵入の場合に有用である）、さらに往来の流れの統計を集めることができる。さらに、本発明のさまざまな実施の形態によるフレームからフレームへの運動アルゴリズムは、本発明の技術的思想および技術的範囲から離れることなく、多数あるあらゆる用途へとさらに広く適用可能である。

カメラにもとづく従来公知の運動検出および制御システムに対し、本発明の種々の実施の形態が有する他の特徴および利点には、優れた影の分別能力および背景に対する不変性がある。ステレオ・システムの３Ｄの性質ゆえ、影を実際の物体から分別することが容易である。影は、実際の物体と異なり、地面に横たわっている（高さがゼロである）。本発明によるＳＤＳ（以下、「ＳＤＳ」）は、背景が構造化されていても、あるいは構造化されていなくても、あらゆる背景において有効に機能する。これは、ドアの下方に存在する表面、すなわちカーペット、コンクリート、マットなどの多様性ゆえ、とくに重要である、さらに、これら表面の見た目は、時間の経過とともに変化する。本発明における物体の運動の検出は、背景の外観ではなく物理的な座標にもとづいているため、影および明暗によって引き起こされる従来技術における問題は、本発明の種々の実施の形態においては取り除かれている。

さらに本発明は、初期の学習手順を必要としない容易な据え付けおよび設定を特徴とする。ＳＤＳは、ただ一回の据え付け設定しか必要とせず、あらゆる種類のさらなる学習を必要としない。この特徴は、取り込んだ画像と比較するための参照画像を通常は必要とする運動にもとづく単眼システムに関し、明確な利点をもたらす。本システムのもう１つの利点は、運動検知システムと異なり、静止中または低速で移動している物体が見えなくなることがないという点にある。

さらに本発明は、軌跡にもとづく引き金を特徴としており、ＳＤＳが、３Ｄ空間で物体をセグメント化し、それらをマサチューセッツ州ＮａｔｉｃｋのＣｏｇｎｅｘ Ｃｏｒｐ．から市販されているＰａｔｑｕｉｃｋなどの慣例のアルゴリズムを使用して追跡することができ、２Ｄ画像空間への投影を標準的なブロック・マッチング法を使用して追跡するやり方よりもはるかに優れている。

さらに本発明は、較正された３Ｄシステムを特徴としており、ＳＤＳが実世界の単位で較正されている。これにより、本発明は、実世界の高さおよび距離にもとづく設定パラメータおよび引き金を受け入れることができる。

さらに本発明は、所定の時間間隔にわたってのステレオ視画像の随意による保存を特徴とする。この随意の選択肢は、事故のビデオ証拠をもたらすことができ、あるいは延長された時間にわたっての完全な３Ｄシーンの再構成に使用することができる。そのような延長データは、分析のためのより客観的な基礎をもたらすことができる。

さらに本発明は、柔軟なマスキング能力を特徴とする。このマスキング能力によって、設定の際にユーザが、２Ｄまたは３Ｄにおいてマスクして隠すべき区域をグラフィカルに指定することができる。この特徴は、例えば視野内に位置する通常でない戸口、または通常でない静止背景に対処するために使用することができる。

さらに本発明は、過剰な盲目点の排除を特徴としている。ドアそのものの（外側領域へと向かう）開放時の動きなど静止していない背景を、まずドア枠を検出し、次いでその平面上に位置する点を単に無視することによって、効果的にマスクして隠すことができる。このようなシステムは、常に動作状態であって盲目期間を有していない。したがって、本発明は、従来公知の運動検出および制御システムよりも、使用が容易でありかつより堅実である。

詳細な説明
本発明の例証用の実施の形態の配置構成を、図１を参照して説明する。この例証用の実施の形態は、ドア枠１２の上部に取り付けられ、進入領域１４に向かって下方かつ外側を向いている１組のステレオ・カメラ１０を備えている。随意により、もう１組のカメラ（図示されていない）を、ドア枠の反対側に、退出領域に向けて取り付けることができる。本発明は、視野内のあらゆる地点について地面からの高さがもたらされるように較正される。したがって、何らかの物体が視野内に進入するとき、この物体が「特徴」と呼ばれる関心点を生じさせ、それらの地面に対する高さが測定される。次いで、これらの点が、３Ｄ空間においてクラスタ化され、「物体」がもたらされる。続いて、これらの物体が、複数のフレームにおいて追跡され、「軌跡」がもたらされる。次いで、このようなシステムが、物体について生成された情報のさまざまな部分にもとづいて、ドアを操作する（開く、閉じる、停止させる）ことができる。

この例証用の実施の形態においては、カメラの配置に以下のジオメトリが使用される。２つ（または３つ）のステレオ・カメラ１０が進入領域を見込み、随意によるさらに２つ（または３つ）のステレオ・カメラ（図示されていない）が、退出領域を見込む。２組のカメラは、ドア枠１２の上方かつ各側に取り付けられ、下方かつドア枠から外側を向いている。図１には、このジオメトリが、進入領域についてのみ示されている。この例証用の実施の形態における退出領域のジオメトリは、反射であってドア枠について対称である（必ずしもそのようである必要はないが）。

一例の実施の形態においては、カメラの光学中心間の基準線距離は１２ｍｍｓであり、レンズの焦点距離は４ｍｍである（７０°の水平視野（ＨＦＯＶ））。カメラは、地面から約２．２メートルに取り付けられ、ほぼ２．５×２．５メートルの視野を有している。カメラの平面に対する法線は、図１に示すとおり下方かつ外向きを指しており、カメラが、ドア枠の底部を見込むためにちょうど充分な角度にされている。この一例の実施の形態におけるカメラの角度は、ドア枠の底部において進入領域用のカメラの組の視野と退出領域用のカメラの視野との間に、いくらかの重なりをもたらしている。

本発明の実現のために使用することができるシステム構成を、少なくとも２つ考えることができる。図２に示されている例証用の第１のシステム構成においては、進入領域を監視するシステムと退出領域を監視するシステムとが、緊密に一体化されている。フレーム取得器２０が、進入領域用カメラ２２および退出領域用カメラ２４の両方からの入力を受信し、処理システム２６において処理が行なわれる。処理システムが、適切な制御信号２７、２８、２９を出力する。

図３に示されている例証用の第２のシステム構成においては、別個独立したシステムが、進入領域と退出領域とを別個に監視する。別個のフレーム取得器３０、３５が、進入領域用カメラの組３２または退出領域用カメラの組３４のいずれかからの入力を受信する。別個のプロセッサ３１、３６が、各フレーム取得器３０、３５からの出力のそれぞれを処理する。この構成において、退出領域の監視は随意である。進入領域および退出領域の両方の監視を実行する場合、一方のサブシステムがマスタと指定され、他方がスレーブと指定される。次いで、ここでは退出領域用カメラ・システムであるとして示されているスレーブ・サブシステムの出力が、マスタ・サブシステムにてドアを開けるのか、閉じるのか、あるいは停止させるのかについての最終判断を行なうことができるよう、マスタ・サブシステムに入力される。

本発明のこの例証用の実施の形態においては、種々のパラメータを工場で設定することができる。工場での設定には、カメラの内部パラメータおよびカメラ間の相対配置の較正および計算が含まれる。較正には、以下に説明するとおり、いくつかの副次的問題の解決が含まれており、そのような副次的問題のそれぞれは、当業者であればよく理解しているいくつかの解決策を有している。さらに、ランタイム画像補正を可能にするため、以下で説明するレクティフィケーション（偏位修正）係数を計算しなければならない。

ステレオ測定は、どちらのカメラの座標系とも異なる座標系において行なうことができる。例えば、シーン座標またはワールド座標は、眺めたシーン内の点に相当する。カメラ座標（左および右）は、観察者を中心にしたシーン点の表現に相当する。歪みなし画像座標は、画像平面に投影されたシーン点に相当する。歪み画像座標は、レンズの歪みにさらされた点に相当する。ピクセル座標は、画像アレイにおける画像サンプルの格子に相当する。

この例証用の実施の形態においては、一方のカメラが「基準カメラ」として指名され、ステレオ座標系が結び付けられる。カメラの内部ジオメトリを決定するため、内部標定プロセスが実行される。これらのパラメータは、内部パラメータとも呼ばれるが、カメラ定数とも呼ばれる有効焦点距離、画像中心とも呼ばれる主点位置、半径方向歪み係数、アスペクト比とも呼ばれる水平拡大係数が含まれる。この例証用の実施の形態において使用されているカメラは、変更できない焦点固定レンズを有しているため、これらのパラメータを工場で計算し、あらかじめ設定することができる。

シーンにおける較正点の投影から２つのカメラ間の相対位置および配向を割り出すため、相対標定プロセスも実行される。やはり、これらカメラが整列するように機械的に固定されているため、これらパラメータも工場であらかじめ設定することができる。

相対配向に密接に関係するレクティフィケーション・プロセスも、やはり実行される。レクティフィケーションとは、エピポーラ線が画像の行に一致するようステレオ画像を再サンプリングするプロセスである。「別のステレオ画像の所与の点に対応するあるステレオ画像上のエピポーラ線は、第二のステレオ画像からの所与の点の逆透視投影である３Ｄ光線の第一のステレオ画像上の透視投影である。（“Ａｎ ｅｐｉｐｏｌａｒ ｌｉｎｅ ｏｎ ｏｎｅ ｓｔｅｒｅｏ ｉｍａｇｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａ ｇｉｖｅｎ ｐｏｉｎｔ ｉｎ ａｎｏｔｈｅｒ ｓｔｅｒｅｏ ｉｍａｇｅ ｉｓ ｔｈｅ ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ ｏｎ ｔｈｅ ｆｉｒｓｔ ｓｔｅｒｅｏ ｉｍａｇｅ ｏｆ ｔｈｅ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｒａｙ ｔｈａｔ ｉｓ ｔｈｅ ｉｎｖｅｒｓｅ ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ ｏｆ ｔｈｅ ｇｉｖｅｎ ｐｏｉｎｔ ｆｒｏｍ ｔｈｅ ｏｔｈｅｒ ｓｔｅｒｅｏ ｉｍａｇｅ”）」、Ｒｏｂｅｒｔ Ｍ．Ｈａｒａｌｉｃｋ ＆ Ｌｉｎｄａ Ｇ．Ｓｈａｐｉｒｏ、Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒｏｂｏｔ Ｖｉｓｉｏｎ Ｖｏｌ．ＩＩ ５９８（１９９３）。左右の画像が同一平面にあり、水平軸が同一線上にある（光学軸まわりの回転がない）ならば、画像の行がエピポーラ線であり、ステレオの対応を対応する行に沿って見つけることができる。標準画像対と呼ばれるこれらの画像は、標準画像対においてはレクティフィケーションを一回だけ行なえばよいため、計算上の利点をもたらす。

画像のレクティフィケーションのための方法は、２つのカメラの所与の姿勢について使用される表現と独立である。それは、あらゆる透視投影が投射的投影であるという原理にもとづいている。２つのカメラに対応する画像面が、点および投影中心によって定まる光線のジオメトリをそのままに保ちつつ、所望のジオメトリを有する画像面（標準画像対）によって置き換えられる。これは、平面投影変形をもたらす。これらの係数も、工場で計算することができる。

内部標定、相対標定およびレクティフィケーションにおいて計算されたパラメータを考慮し、カメラ画像を、ソフトウェアまたはハードウェアにて、歪みおよびずれについて補正することができる。得られた補正済みの画像は、標準画像対のジオメトリを有し、すなわち正方形のピクセル、整列した光学平面、整列した軸（行）、およびピンホール・カメラ・モデルを有する。

外部標定プロセスも、この例証用の実施の形態の工場での設定時に実行される。外部標定プロセスは、眺めたシーンにおける３Ｄ点がカメラの座標系に関してのみ知られているため、必要である。外部標定は、絶対座標系におけるカメラの位置および配向を決定する。絶対３Ｄ座標系が、ＸＹ平面が地面と一致するように確立され、原点がこの平面上の任意の点となるよう選択される。

地面較正が、据え付けの現場において実行される。基準カメラに結び付けられたステレオ座標系と、地面に結び付けられたワールド座標系またはシーン座標系との間の関係を計算するため、較正ターゲットが床面に置かれる。

関心の対象範囲も、据え付けの現場において手動で設定される。これは、基準カメラ（ステレオ座標系が結び付けられているカメラ）からの画像を取り込み、レクティフィケーションを行い、表示し、次いでグラフィック重ね書きツールを使用して監視すべき領域を指定することを含んでいる。複数の領域をあらかじめ選択し、各領域において異なるランタイム・アルゴリズムを実行するようにできる。この複数の領域は、通常関心の対象となる特定の３Ｄ空間を含んでいる。これら監視領域の外にある特徴を除くため、フィルタ処理が行なわれる。本発明の別の実施の形態においては、規準の印またはテープを床面に置くことによって、自動で設定を行なうことが可能である。本発明によるステレオ視覚を実行するための方法がいくつか存在するが、そのような方法の１つを、図７を参照して以下で概説する。ステレオ・ブロック７０が、１組の入力画像７２Ａ、７２Ｂ、７２Ｃ（右、左、上）を取り込み、基準画像のエッジまたは境界点の３Ｄ位置を生成する。３つのカメラからの入力が示されているが、とくに特徴が専ら１つの方向においてのみ生じる場合など、多くの場合にカメラは２つで充分である。例えば、ドア・センサ用の場合など、特徴が垂直である場合には、水平配置した左右のカメラによって良好な３Ｄ情報がもたらされる。

エッジ処理工程７５Ａ、７５Ｂ、７５Ｃにおいて、ステレオ・アルゴリズムは、放物線スムージング、（或る特定の粒度での）非インテグラル・サブサンプリング、Ｓｏｂｅｌエッジ検出および引き続く真のピークの検出、ならびに最後の鎖形成を含む特徴検出の仕組みを使用する。この特徴検出の仕組みは、この技術分野において公知であり、マサチューセッツ州ＮａｔｉｃｋのＣｏｇｎｅｘ Ｃｏｒｐｏｒａｔｉｏｎによる製品Ｐａｔｍａｘにて利用可能である。エッジ処理工程７５Ａ、７５Ｂ、７５Ｃは、エッジ要素がつながってなるリスト（鎖）をもたらす。充分長い鎖に属している特徴のみが、次の段階に渡される。例えば、所定の長さを超える鎖のみが、次の段階へと渡すべき特徴として特定される。図７においては、３つのカメラｒ、ｌ、ｔについてｘ、ｙ位置および変化の大きさ（ｍ）ならびに角度（ａ）を有している特徴が、マッチング器へと渡される。

マッチング・プロセス（対応処理とも呼ばれる）７３Ａ、７３Ｂが、右側画像７２Ａからの特徴を左側画像７２Ｂへとマッチさせ（水平視差）、さらに右側画像７２Ａから上側画像７２Ｃへとマッチさせる（垂直視差）ために使用される。各特徴について可能なマッチの初期セットは、エピポーラ拘束を使用して拘束される。次いで、２つの画像における特徴間のマッチが、エッジ要素の強度および配向を比較することにより、初期マッチ強度（ＳＯＭ）によって特徴付けられる。

次いで、平滑強制が、許される視差勾配を制限することによって実行される。これは、あいまい除去力と幅広い範囲の表面を扱う能力との間の適切なバランスをもたらす。この工程は、各対応のＳＯＭを、検討中の特徴の近傍の対応を観察することによって更新することを含んでいる。次に、唯一性を強化する繰り返しの勝者独占手順が続けられる。この方法は、以下のとおり機能する。各繰り返しにおいて、マッチング強度が、マッチングを構成している特徴の両者について最大であるマッチが、正しいと選択される。次いで、唯一性の制約ゆえ、それら２つの特徴を有する他の関連するすべてのマッチが、さらなる検討から除外される。これは、さらなるマッチが正しいとして選択されることを、それらが今や両方の構成要素について最も高い強度を有しているならば、許容する。マッチング器７３Ａ、７３Ｂは、基準画像における特徴点のｘおよびｙ位置（ｘｒ、ｙｒ）、ならびに水平および垂直方向における視差（ｄｒｉ、ｄｒｔ）を出力する。特徴の角度（ａｒ）も、マージを容易にするために出力される。

次いで、水平視差および垂直視差が、合併された出力を生成するためマージ７４される。この例証用の実施の形態においては、きわめて簡単な仕組みが使用される。特徴の配向が、４５と１３５の間または２２５と３１５の間であるならば、水平視差が使用され、そうでない場合には、垂直視差が使用される。２つのカメラしか使用しないのであれば、マージ工程７４を実行する必要はない。マージ器７４の出力は、視差（ｘｒ、ｙｒ、ｄ）７６を有している複数の特徴点である。

ひとたび特徴点の位置および視差７６が計算され、カメラ・ジオメトリ７８が（較正によって）既知であると、点のＸ、ＹおよびＺ位置７９が、ステレオ・カメラ座標系またはシーン座標系のいずれかにおいて計算７７される。

随意によるセグメント化（クラスタリングとも呼ばれる）の工程７１を、実行することができる。セグメント化工程７１は、シーン内の別個の３Ｄ物体を報告し、各物体は、ステレオ・アルゴリズムによって出力された相互に排他的な３Ｄ境界点のサブセットを含んでいる。マッチングの方法は、特徴にもとづく方法（図７に関して上述したような方法）および領域にもとづく方法として分類できる。特徴にもとづく技法は、視点に関してより寛容であるが、疎な結果をもたらす。領域相関（マッチング）技法は、密な結果を生成し、視点許容性が少ない。領域相関技法は、きわめて通常のアルゴリズム構造を有するため、より容易に最適化される。第三者の公知のシステムによって使用されている広く知られている相関手段の例は、ＬＯＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）変換画像のＳＡＤ（絶対差の和）がある。

密な視差画像は、地面の上方に有意な高さが存在するか否かを判断するため、ヒストグラム、ｂｌｏｂ連結性などの標準的な画像処理技法を使用して処理することができる。しかしながら、これらは粗い評価しかもたらさない。したがって、密な視差マップを疎な点の雲に変換することが望まれる。これは、密なマップにおける「有効」な視差ピクセルのみを考慮することによって達成できる。図８は、公知の相関技法を使用して疎な視差を生成するための方法を概説している。

図７に関して先に説明した方法と同様、図８に関して説明する代案となるこの方法も、情報がそのような点においてのみ最も信頼できるため、境界点またはエッジ（閉鎖および反射による）に注目する。右側および左側の画像８０Ｂ、８０Ａが、レクティフィケーション８１Ｂ、８１Ａされ、密な視差マップ（画像）８３を生成するマッチング器８４に渡される。基準画像が、図７に関して先に説明したとおり、エッジ・プロセッサ８２によってさらに評価される。エッジ・プロセッサ８２の出力は、特徴のｘｒ、ｙｒ位置であり、次いでこれらが、これらの点における視差を評価するため、視差画像８３にマップされる。これは、スパース化８５と呼ばれる。スパース化プロセス８５の出力は、視差（ｘｒ、ｙｒ、ｄ）を有する複数の特徴点であり、これらは、前較正から既知であるカメラ・ジオメトリ８８を使用して、容易に３Ｄ Ｘ、Ｙ、Ｚ座標８７へと変換される。

図７および８によるステレオ・マッチング工程は、特徴点（エッジまたは境界点）およびそれらの点における３Ｄ情報を生成する。３Ｄ点のさらなる処理を、図４を参照して説明する。

３Ｄ点が、ステレオ／クラスタ化工程（図７および８に関して先に説明した工程など）において、カメラ中心の座標系から地面に結び付けられたワールド座標系へと変換される。次いで、随意により３Ｄ点がクラスタ化され、ひとたび画像内の特徴の３Ｄ点が抽出されると、それらは相互に排他的であるサブセットへとセグメント化される。それぞれのサブセットが、シーン中の個々の物体に対応している。

３Ｄ点のクラスタを形成するためには、標準的なクラスタリング技法を使用することができる。効果的な技法は、凝集型階層的クラスタリングである。初期クラスタが、まず、エッジ要素の鎖組織化を使用して実現される。特徴の鎖が、連続する点の間のｚにおける急激な変化にもとづいて、隣接するセグメントに分解される（この考え方は、特徴が画像座標において隣接しており、かつ同様のｚ値を有している場合、それらは同じ物体に対応しており、したがって同じクラスタに対応するという考え方である）。ここで、これらセグメントのそれぞれが、別のクラスタに対応する可能性がある。次に、最も近接する２つのクラスタが、「最小距離」条件にもとづいてマージされる。これは、ｇｒｅｅｄｙ最小スパニング・ツリー・アルゴリズムの一種である。このアルゴリズムが、所望の数のクラスタが得られるまで、あるいは「最小距離」が或るしきい値よりも大きくなるまで繰り返される。

上記技法は３Ｄにおいてクラスタ化を行なうが、以下に概説する技法は、拘束を使用して問題を２Ｄ問題に低減する。使用される拘束が、物体を３Ｄ空間内の平面に置く。これは、典型的な用途においては、それほど不都合な拘束ではない。別個の物体へのセグメント化の条件は、或る特定の平面に沿った物体間の最小距離（２Ｄ距離）が、所与の間隔しきい値を超えることである。したがって、平面における物体の投影が重なり合わないことが暗黙である。これは、物体が当該平面上に位置し、かつ物体の表面が当該平面におおむね直交しているため、やはりそれほど不都合ではない。

次に、フィルタ処理工程４１が実行され、地面上または地面近傍にあるすべての点がフィルタ処理によって除かれる。据え付けの際に設定した関心対象領域によってマスクされるあらゆる点は、無視される。３Ｄ座標系が、まず地面に結び付けられているため、この平面の法線がｚ軸であるとされる。これは、任意の原点、ｘ軸、およびｙ軸の選択を可能にする。物体は、既知の（ｘ、ｙ）平面に位置するよう拘束されているため、物体は、それらがこの平面内でどのように（ｘｙ平面に沿った２Ｄ距離を考慮して）分離されるかによってセグメント化される。

この例証用の実施の形態においては、すべての３Ｄ点が、まず地面の座標系に変換される。次に、遠すぎる点または近すぎる点（範囲）、左過ぎる点または右過ぎる点（水平距離）、高すぎる点（物体の高さ）またはｘ−ｙ平面に近すぎる点が、除かれる。地面に近い点を除くということは、影および面の表面の特徴の除外を助ける。次いで、フィルタ処理によって除かれなかった残りの点が、地面に投影される。これを、続いて２Ｄ画像へと変換することができ、別個の領域、すなわちそれぞれが複数の特徴点を表わしているピクセルの集まりを得るため、標準的な２Ｄラベリング／ｂｌｏｂ連結性が使用される。

次いで、採点工程４２が実行され、得られた点が採点関数を用いて採点される。採点が蓄積され、物体が存在する４３か存在しない４４かを判断するため、所定のしきい値に対して比較される。この例証用の実施の形態では、採点が各クラスタについて別個に蓄積される。次いで、しきい値が、生成されたすべての点ではなく、各クラスタへと適用される。これは、とくにシーンが離間した偽のマッチを多数生成する場合に、より堅実な手法でありうるが、より計算能力を必要とする。

代案となるアルゴリズムを図５を参照しつつ説明するが、このアルゴリズムの最初の部分は、クラスタ化が随意ではなく必須である点を除き図４のアルゴリズムと類似している。ひとたび物体（クラスタ）が検出されると、軌跡計算ステップが実行され、結果について物体がドアに向かっている５２か否か５３についてさらなる条件付けを行なうため、クラスタの運動ベクトルが計算される。

運動の評価は、一連の画像の１組のフレームにおいて２Ｄ運動フィールドまたはオプティカル・フロー（明らかな運動）を評価することによって実行される。多数の運動評価技法が、この技術分野において知られている。移動の評価は、ステレオ視覚システムにおける特徴および相関マッチングなどの視差の評価と、いくつかの類似性を共有している。オプティカル・フロー法などの他の微分技法も、フレーム間の時間間隔が短い用途において使用できる。しかしながら、このドア・センサ用途の例証用の実施の形態では、フレーム間の時間間隔が短いという仮定は行なわない。したがって、この例証用の実施の形態においては、オプティカル・フロー法は使用しない。公知の運動評価方法の１つにトラッキングがあり、要素が、フレーム対フレームの運動評価を使用して、あるいはそのような評価を暗黙に引き出すことによって、時間を通じて追跡される。ブロック・マッチングの仕組み（動き補償およびビデオ圧縮において広く使用されている）、または領域相関の仕組み（ステレオ・マッチングにおいて使用されるような）を、フレーム間の運動の評価に使用することができる。

この例証用の実施の形態は、特徴ベースの相関と領域ベースの相関を組み合わせる独自のアルゴリズムを使用する。物体に属する点が、すでに所与のフレームにおいてセグメント化されている。この独自の相関アルゴリズムによれば、それらの点が、それらの特徴を次のフレームにおいて予想される物体の位置の周囲の領域で相関させることによって、次のフレームにおいて割り出される。時刻ｔ−１において、物体の特徴点のそれぞれが、重量、ｘおよびｙ位置ならびに方向を含んでいる。時刻ｔにおいて、レクティフィケーションされた基準画像が「ランタイム画像」であるとみなされる。この画像が、すでに述べたものと類似のエッジ・プロセッサを通過し、勾配度および角度画像が生成される。粗い相関工程において、学習プローブが角度画像と相関され、使用される相関手段は絶対差の和である。詳細な相関工程において、マグニチュード・イメージがより急峻な相関ピークを生成するために使用される。

この技法は、標準的な領域相関技法に対していくつかの利点を有している。例えば、標準的な技法においては、相関されるブロックまたは領域が異なる運動ベクトルを有している。これは、乏しい相関値を生じさせ、いくつかの場合には、誤った相関ベクトルを生じさせる。この例証用の実施の形態によるアルゴリズムは、追跡しようとする物体がすでにセグメント化されているという点を利用している。したがって、この例証用のアルゴリズムは、それらの特徴点にのみ注目し、それらを次のフレームにおいて見つけようとしている。

運動ベクトルが、フレームｔからｔ−１まで所与の物体についてひとたび計算されると、種々の物体の点の間の対応が知られる。これらの点の３Ｄ位置が知られているため、随意により３Ｄ運動を計算することができる。このアルゴリズムを、物体の直線運動を仮定することによって円滑化された軌跡を得るため、瑣末にも複数のフレームに拡張することができる。このアルゴリズムの他の拡張は、フィルタ処理技法の使用である。結果が、現在の入力、過去の入力および出力を使用してフィルタ処理され、現在の出力が生成される。さらに別の拡張は、Ｋａｌｍａｎフィルタの使用である。ここでの言及によって本明細書に組み込まれたものとするＲ．Ｅ．Ｋａｌｍａｎ、Ａ Ｎｅｗ Ａｐｐｒｏａｃｈ ｔｏ Ｌｉｎｅａｒ Ｆｉｌｔｅｒｉｎｇ ａｎｄ Ｐｒｅｄｉｃｔｉｏｎ Ｐｒｏｂｌｅｍｓ、Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ ＡＳＭＥ（１９６０年３月）を参照されたい。Ｋａｌｍａｎフィルタは、動的システムにおいて増分のリアルタイム評価を行なうための強力な技法である。これは、長時間にわたる情報の統合を可能にし、システムおよびセンサ雑音の両者に対して堅実である。

イベント生成のロジックは、ドアの種類、随意による退出領域システムの存在、使用されているアルゴリズムといったいくつかの要因によって決まる。１つのシステムそれ自身が、複数のアルゴリズムを使用してもよいことに注意すべきである。このロジックが、種々のシステムの種々のゾーンからの出力を取り入れ、それらを統合して、ドアの運動の制御に直接使用することができるイベントをもたらす。例証用のステレオ・ドア・センサ装置を、図６を参照して説明する。例えば１組の機械式視覚カメラであるが、監視するシーンのステレオ画像を取得するステレオ画像取得装置６０が、固定されて観測領域に向けられている。この例証用の実施の形態においては、観測領域は、ドアに近接する進入領域である。

画像取得装置６０は、３Ｄプロセッサ６２と通信している（通常は、配線で結ばれている）。３Ｄプロセッサ６２は、先に説明した方法のいずれかに従って、観測シーンにおける３Ｄ物体の位置を計算し、影、模様または予備警告用照明の影響などの背景の２Ｄの影響をフィルタ処理によって取り除く。３Ｄプロセッサ６２は、３Ｄ物体の組を計算し、２Ｄの背景情報をフィルタ処理するため、少なくとも先に述べた最小の処理工程を実行できる任意の処理装置またはモジュールであってよい。パーソナル・コンピュータ、専用のプロセッサ、または任意の数の処理装置が、本発明による３Ｄプロセッサとして機能することができる。３Ｄプロセッサが、独立したソフトウェア・モジュールであってもよく、あるいはより大きいソフトウェア内で実行されるソフトウェア・モジュールであってもよいことは、当業者であれば当然理解できるであろう。

軌跡プロセッサ６６が３Ｄプロセッサ６４と通信し、３Ｄプロセッサから物体の３Ｄ位置を受信する。軌跡プロセッサ６６は、パーソナル・コンピュータなどのハードウェア・プロセッサであってよく、あるいは、先に説明した軌跡計算工程を実行できるソフトウェア・モジュールであってよい。この例証用の実施の形態では、軌跡プロセッサ６６が物体の軌跡にもとづいて制御信号（開放、閉鎖または停止信号）を生成し、これら制御信号をドア・アクチュエータ６６へと通信し、ドア・アクチュエータが、これら制御信号にもとづいてドアを動作させる。

以上、本発明の例証用の実施の形態に関連して種々の較正法を説明したが、当業者であれば、本発明の技術的思想および技術的範囲を離れることなく多数ある任意の較正法を使用できることを理解すべきである。例えば、文献１〜４を参照されたい。ここで説明した例証用の実施の形態では、工場での設定手順を使用して工場で設定が行なわれたが、当業者であれば、本発明の技術的範囲を離れることなく前記設定工程の任意のいずれかを現場で実行してもよいことを理解すべきである。

カメラ定数、画像中心、半径歪み係数およびアスペクト比に関しカメラの内部ジオメトリを決定するための内部標定プロセスであるが、本発明の技術的範囲にある他の実施の形態において、追加の内部パラメータを加えることができ、あるいはこれらパラメータのいくつかを無視できることを、当業者であれば理解すべきである。

ここで説明した例証用の実施の形態においては、地面の較正を据え付け場所において実行しているが、本発明の技術的思想および技術的範囲を離れることなく、地面の較正を工場で実行することができ、あるいは他の場所で実行できることを、当業者であれば理解すべきである。

ここで説明した例証用の実施の形態においては、放物線スムージング、（或る特定の粒度での）非インテグラル・サブサンプリングＳｏｂｅｌエッジ検出および引き続く真のピークの検出、ならびに最後の鎖形成を実行することによってエッジ処理を実行しているが、エッジ処理工程において、本発明の技術的思想および技術的範囲を離れることなく、この技術分野に多数ある任意のエッジ処理法を使用できることを、当業者であれば理解すべきである。

ここでは、本発明を２つのカメラのステレオ視覚システムに関して説明したが、本発明の技術的範囲において、ステレオ画像をもたらすべく異なる位置から２つ以上の画像を撮るため、ただ１つのカメラを使用してもよいことを、当業者であれば理解すべきである。例えば、カメラが複数の位置から別個の画像を撮影してもよい。あるいは、本発明によるステレオ画像として使用すべく複数の連続的な視覚を静置のカメラへともたらすため、複数の光学部品を配置してもよい。そのような光学部品には、例えば鏡などの反射性の光学部品、および例えばレンズなどの屈折性の光学部品が含まれる。

ここでは、例証用の実施の形態のマッチング工程について説明し、特徴のマッチングが、マッチの強さおよび引き続く平滑強制を特徴としているが、本発明の技術的思想および技術的範囲を離れることなく、ＬＯＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）のＳＡＤ（絶対差の和）変換画像などの代案となる種々のマッチング・プロセスで置き換えが可能であることを、当業者であれば理解すべきである。

ここで説明した本発明の例証用の実施の形態は、垂直視差から水平視差を区別するための特定の配向限界を有する単純な多重化の仕組みを使用したマージ工程を含んでいるが、これらの限界がある程度任意であって、本発明の技術的思想および技術的範囲を離れることなく広げたり、あるいは狭めたりできることを、当業者であれば理解すべきである。

本発明の例証用の実施の形態を、おおむねドアを選択的に開放、閉鎖または停止させるためのステレオ・ドア・センサに関して説明したが、当業者であれば、セキュリティ、安全、運動制御および種々の他の用途において、本発明の多数の他の実施の形態を思い描くことができるであろう。例えば、ステレオ視覚システムを、本発明に従って、人間または物体が特定の領域に進入したとき、または当該領域または通路を特定の方向に移動したときに、警報を発するために使用することができる。本発明の他の例証用の実施の形態は、例えば、高速道路や出口ランプにおいて誤った方向に走行する自動車を検知した場合に、警報信号を発することができ、あるいはゲートを閉じることができる。

本発明の例証用の実施の形態を、地面の上方に所定の高さを有する物体のフィルタ処理に関して説明したが、本発明によるステレオ視覚システムが、本発明の技術的思想および技術的範囲を離れることなく、壁面などのあらゆる任意の平面から所定の距離にある物体をフィルタ処理できることを、当業者であれば理解すべきである。

以上、本発明を本発明の例示のための実施の形態に関して図示および説明したが、それらの形態や詳細について、本発明の技術的思想および技術的範囲を離れることなく他のさまざまな変更、省略および追加が可能であることを、当業者であれば理解できるであろう。

本発明の前記の特徴および利点ならびにその他の特徴および利点は、添付の図面と関連しつつ行なわれる例証用の実施の形態についての以下の詳細な説明から、より完全に理解されるであろう。
図１は、本発明の例証のための実施の形態のステレオ・ドア・センサの配置構成の概略図である。 図２および３は、本発明の例証のための実施の形態のシステム構成要素の構成を示した概略のブロック図であり、どちらかを選択可能である。 図２および３は、本発明の例証のための実施の形態のシステム構成要素の構成を示した概略のブロック図であり、どちらかを選択可能である。 図４および５は、本発明の例証用の実施の形態の各工程を示したプロセス・フロー図であり、どちらかを選択可能である。 図４および５は、本発明の例証用の実施の形態の各工程を示したプロセス・フロー図であり、どちらかを選択可能である。 図６は、本発明の例証のための実施の形態によるステレオ・ドア・センサ装置の概略のブロック図である。 図７および８は、本発明の例証のための実施の形態によるステレオ・マッチング・プロセスの各工程を示したプロセス・フロー図であり、どちらかを選択可能である。 図７および８は、本発明の例証のための実施の形態によるステレオ・マッチング・プロセスの各工程を示したプロセス・フロー図であり、どちらかを選択可能である。

Claims (20)

1. ドアを制御するための方法であって、
   進入領域のステレオ画像を取得する工程、
   該ステレオ画像から３Ｄ特徴のセットを計算する工程、
   該３Ｄ特徴のセットをフィルタ処理してフィルタ処理済み３Ｄ特徴のセットを生成する工程、
   該フィルタ処理済み３Ｄ特徴のセットの軌跡を計算する工程、および
   該軌跡に応じてドア制御信号を生成する工程
   を有している方法。
2. 前記フィルタ処理工程が、前記３Ｄ特徴のセットから地面の特徴を除去する請求項１に記載の方法。
3. 前記フィルタ処理工程が、前記３Ｄ特徴のセットから影を除去する請求項１に記載の方法。
4. 前記フィルタ処理工程が、前記３Ｄ特徴のセットから背景パターンを除去する請求項１に記載の方法。
5. 前記フィルタ処理工程が、前記３Ｄ特徴のセットから周辺光の影響を除去する請求項１に記載の方法。
6. 前記フィルタ処理工程が、あらかじめ選択された３Ｄ区域の外にある特徴を除去する請求項１に記載の方法。
7. 前記ステレオ画像が、ステレオ視覚カメラによって取得された画像を組み合わせることによって取得される請求項１に記載の方法。
8. 前記ステレオ画像が、単眼カメラによって取得された複数の画像を組み合わせることによって取得される請求項１に記載の方法。
9. 前記複数の画像の少なくとも１つが、反射性の光学部品を介して前記単眼カメラによって取得される請求項８に記載の方法。
10. 前記複数の画像の少なくとも１つが、屈折性の光学部品を介して前記単眼カメラによって取得される請求項８に記載の方法。
11. 前記３Ｄ特徴のセットを計算する工程が、
    前記ステレオ画像をエッジ処理して、複数のつながったエッジ要素を生成する工程、
    所定のしきい値よりも長さが大きいつながったエッジ要素を、特徴として特定する工程、
    前記画像セット内の異なる画像から生成された特徴をマッチングして、視差を生成する工程、および
    該視差およびカメラのジオメトリに従って特徴点の３Ｄ位置を計算する工程
    を有している請求項１に記載の方法。
12. ドアを制御するためのステレオ視覚装置であって、
    ステレオ画像取得装置、
    該ステレオ画像取得装置からステレオ画像を受信する３Ｄプロセッサ、
    該３Ｄプロセッサから３Ｄ物体を含んでいるフレームを受信する軌跡プロセッサ、および
    該軌跡プロセッサから物体の軌跡に応じたドア制御信号を受信するドア・アクチュエータ
    を備えている装置。
13. 前記ステレオ画像取得装置が、複数の電子式カメラからなる請求項１２に記載の装置。
14. 前記３Ｄプロセッサが、
    前記ステレオ画像取得装置の視野内の点について、地面からの高さを割り出すこと、および
    前記点を３Ｄ空間にクラスタ化して物体を生成すること
    によって前記３Ｄ物体を含んでいるフレームを生成する請求項１２に記載の装置。
15. 所定のしきい値と比べて前記地面に近接している物体を、地面による雑音であるとしてフィルタ処理によって除去する請求項１４に記載の装置。
16. 前記フィルタ処理が、
    前記エッジ要素の鎖組織化によって初期クラスタを生成すること、
    連続する点の間でのｚ座標の急激な変化にもとづいて、特徴の鎖を隣接するセグメントへと分解すること、および
    最小距離条件にもとづいて最も近い２つのクラスタをマージすること
    を含んでいる請求項１４に記載の装置。
17. 前記軌跡プロセッサが、複数のフレームにおいて前記物体を追跡することによって物体の軌跡を割り出す請求項１４に記載の装置。
18. 前記ステレオ画像取得手段が、複数の画像を取得するように構成された単眼カメラからなる請求項１２に記載の装置。
19. 前記複数の画像の少なくとも１つが、鏡を介して取得される請求項１８に記載の装置。
20. ドアの動作を生じさせるための装置であって、
    ドアの前方の領域を含むシーンの視差画像をもたらすべく協働できる少なくとも２つのカメラ、および
    該少なくとも２つのカメラに組み合わされた機械視覚プロセッサ
    を有しており、
    該機械視覚プロセッサが、物体を監視および検出するため前記視差画像を評価し、当該物体にもとづいてドアの動作を生じさせるための信号を生成する装置。

Images