JP2005535015A - ステレオ画像中のエッジを結び付けてチェインにする方法 - Google Patents

Abstract

【課題】方法は、ステレオ画像中のエッジを結び付けて、シーン中の物理的な輪郭に対応するチェインにする。
【解決手段】まず、ステレオ画像中のエッジを検出する。ステレオ画像間でエッジをマッチングし、それにより各エッジにステレオ一致を関連付ける。エッジを結び付けてチェインにし、それにより連結された各エッジに単一のステレオ一致を関連付け、チェイン中の近傍エッジは、ステレオ視差が略同様の一致を有する。

Description

本発明は、包括的にはコンピュータビジョンに関し、特に、ステレオビジョンを用いてエッジを連結して、シーン中の物理的な輪郭に対応するチェインを作ることに関する。

コンピュータビジョン技術を用いてのシーン画像の解析は一般的である。所定期間にわたって動的に変化する画像を解析する必要があることは多い。例えば、多くの用途では、シーン中に人物等のオブジェクトが出現したかどうかを判定することが望まれる。

コンピュータビジョンによるオブジェクトの解析では通常、複数の処理段階を要する。まず、背景からオブジェクトをセグメント化する。オブジェクトの形状、３Ｄモーションおよび場所等の属性を決めることができる。最後に、分類または認識する目的でオブジェクトを解析することができる。

しばしば、静止した背景の前面に出現するオブジェクトを観測する固定カメラの場合、セグメント化のために背景の減算が行われるのが普通である。従来の背景減算法は、画素毎の輝度値に基づいている。通常、ライブ画像の画素の輝度を静止したシーンの基準画像の対応する画素から減算して差画像を作成する。基準画像は事前に、シーン中に移動オブジェクトがないことが分かっているときに取得することができる。差画像において、低い値の画素は静止した背景の一部とみなされ、高い値の画素はオブジェクトの一部と推測される。背景減算法の概観についてはToyama等著「Wallflower: Principles and Practice of Background Maintenance」（Proceedings of the International Conference on Computer Vision, pp. 255-261, 1999）を参照。

従来の背景減算技法には問題がある。第１に、差画像は個々の画素毎に求められるため、雑音やアーチファクトにより部分的に誤った結果が生じる可能性がある。連結成分解析を用いて小さなスプリアス応答を排除することはできるが、それには追加処理を行わなければならない。さらに、基準画像の部分と同じ色（またはグレースケール画像では輝度）を持つ任意のオブジェクト部分は検出が困難である。この場合、シルエットの境界または内側の影の色または輝度勾配であれば見える可能性がある。これは、オブジェクトと背景の検出に真に信頼できるのは色または輝度勾配（エッジ）を持つ画像部分のみであることを示す。

したがって、従来の背景減算とは異なり、オブジェクトのエッジを直接計算することが望ましい。

静止した背景からのオブジェクトのセグメント化の後にさらなる解析を行うことができる。多くの従来技術のコンピュータビジョンシステムは１台のカメラを用いる。１台の固定カメラによって取得した画像から形状、３Ｄモーションおよび場所等の情報を抽出することは困難であることがよく知られている。カメラは比較的安価になってきているため、複数のカメラ画像のステレオ解析がより優勢となるだろう。ステレオ解析によるオブジェクトの形状、３Ｄモーションおよび場所の測定は、１台のカメラで可能であるよりも信頼性が高い。

ステレオ処理は、画像間でマッチングする特徴（点やエッジ等の画素または特徴）の選択を必要とする。より具体的に言えばエッジは通常、次の処理の前のエッジ検出プロセスの一部として、エッジチェインに結び付けられる。エッジチェインのステレオマッチングは、所与のオブジェクトのエッジチェインが異なる画像では異なる方法で計算される可能性があることから複雑になる。例えば、所与のオブジェクトの物理的な輪郭（すなわちシルエット境界または表面テクスチャ境界）は各ステレオ画像において、異なる画像では異なる終点を有する１つまたは複数のエッジチェインとして検出される可能性があり、それらのチェインは異なる画像において、オブジェクトと背景テクスチャの間でばらばらに（arbitrary）接続している可能性がある。

したがって、オブジェクトの物理的な輪郭に対応するエッジを連結することだけが望ましい。

画像に基づいてエレベータドアの動作を制御するシステムは多数ある。米国特許出願第２０００／００４５３２７号「Elevator Door Control Device」（２００１年４月４日出願）を参照されたい。しかしながら、これらのシステムは乗客のタイプを判別しない。２００２年１月１５日付でHirata他に発行された米国特許第６，３３９，３７５号「Image monitoring apparatus and image monitoring method」も参照されたい。この特許は、乗客がエレベータの戸口にいるかどうかを検出するシステムを記載する。戸口は、戸口を形成する静止した縦と横の直線に対するパターンマッチングにより判定する。２次元の線情報は１次元の情報に減ぜられる（reduce）。明らかに、この方法は不規則な形状の移動オブジェクトの検出には適していない。

特開平１１−２６８８７９は、２台のカメラを天井に設置し、取得した画像を解析して、乗客の平面形状および高さに基づき待っている乗客のタイプを判別するエレベータ制御装置を記載する。このシステムは、乗客が呼びボタンおよび天井に設置されたカメラを押すことによる手動での作動を必要とする。

Fujitaに対し２００２年３月１４日付で発行された米国特許第６，３８６，３２５号は、「Elevator system with a hall scanner for distinguishing between standing and sitting elevator passengers」を記載する。このシステムもまた、乗客に呼びボタンを押してもらうことによる手動での作動を必要とし、ホールの呼びボタンを操作した乗客のみを監視することしかできない。このシステムは、従来の背景減算を用いて２Ｄの差画像を生成する。２Ｄの差画像は、事前に記憶しておいた車椅子の形状モデルと比較される。示される形状は、車椅子利用者の直接的な正面図および側面図のみである。

上記システムには重大な問題がある。第１に、上記システムは従来の背景減算を用いるため、上述のように有用な差画像を生成することができるという問題を内包している。第２に、カメラが取得したビューが示される形状に似たものとなる可能性は低い。実際に、歩行者と車椅子利用者の異なる形状の数は無数である。Fujitaは、基本的な形状パターンをどのように任意のビューとマッチングするかを開示していない。ビジョンシステムではパターンマッチングが非常に困難な問題であることがよく知られており、解決策は限定された形状にしかない。第３に、背景減算では２Ｄモデルしか得られず、奥行き情報やオブジェクト内の移動は判定することができない。

したがって、背景減算を用いず、事前に記憶されたモデルを必要とせず、かつ３Ｄ情報に基づいた車椅子検出システムを提供することが望ましい。

本発明は、歩行者と車椅子利用者を判別する方法およびシステムを提供する。

特定の用途において、本システムは、車椅子に対応したサービスを提供する必要のある場所で車椅子利用者の存在を検出する。例えばそのような場所として自動ドアの前があり、本システムは、通常の場合よりも長時間ドアを自動的に開けておくことができる。

別の用途では、車椅子利用者がエレベータや他の何らかのタイプのリフト装置を待っている。この場合、車椅子利用者が検出されると、特別なエレベータサービスを提供することができる。例えば車椅子が乗降する際に、エレベータの床をより正確に床の高さに合わせ、エレベータのドアを長時間開けたままにしておくことができる。さらに、車椅子の輸送用に特別に設計されたエレベータのかごを車椅子利用者へのサービスに割り当てるか、あるいはサービスを優先させることができる。

従来技術では通常、車椅子利用者がその場所にあるボタンを押すことによって特別なサービスを必要としていることを示すことが要求されていた。しかしながら、全ての車椅子利用者が信号を手動で作動できるわけではない。手動システムが実用的でないか、または最適ではない理由が他にもある場合がある。したがって、本発明は、従来技術の手動システムを全自動システムに替える。

本発明は、その場所に設置された複数のカメラを含むコンピュータビジョンシステム、具体的にはキャリブレートされた３眼カメラシステムを用いる。カメラはその場所でシーンの一連の画像を取得し、これらの画像は４段階で処理する。

第１に、画像の輝度勾配を用いてシーン中のオブジェクトのエッジを検出する。第２に、ステレオ視差を用いてエッジを結び付け、オブジェクトの物理的な輪郭に対応するチェインを作る。第３に、オブジェクトの３Ｄ再構築体を計算する。第４に、シーン中の各オブジェクト（例えば歩行者または車椅子利用者）を分類する。その後、分類に応じた操作を行うことができる。シーン中に複数のオブジェクトが存在する場合、３Ｄ再構築体を個々のオブジェクトにセグメント化することによって処理する。

システムの概要
図１は、本発明によるオブジェクト検出１００を示す。本システム１００は、複数のカメラ１、２および３を例えば３台含み、それらの出力は、本明細書中で説明するようなコンピュータビジョン処理を行うように構成されたプロセッサ１２０に接続される。プロセッサ１２０の出力信号１２１は外部システム、例えばエレベータ制御システム（ＥＣＳ）１５０に接続される。外部システム１５０は、カメラが観測したものに従って制御される。

カメラ１〜３は、カメラが取得する画像１１１がエレベータドアの前のシーン１４０のものとなるようにエレベータドア１３０の上に設置される。カメラはシーンに近い場所であればどこに設置してもよいことに留意すべきである。カメラはグレースケールまたはカラーセンサを用いることができる。カメラ１〜３の内部および外部パラメータは、任意の既知のキャリブレーション手順を用いて求めることができる。後述する目的のために、中央の（クロスハッチングで示す）カメラ１が主カメラであり、他の２台のカメラ２〜３は副カメラである。３台のカメラにより、本発明による方法を用いた解析の信頼性を従来技術の１眼または２眼カメラよりも高めることが可能になる。

システム動作
図２に示すように、静止画１１１ａおよびライブ画像１１１ｂは３台のカメラ１〜３によって取得される（２１０）。画像１１１はグレースケールまたはカラーとすることができる。前処理ステップでは、画像１１１ａ〜ｂをリサンプリングして放射方向歪曲収差（radial distortion）を除去する。まず、対応するカメラの静止画１１１ａから各カメラの基準画像２２１を構築する（２２０）。

次に、各カメラの基準画像２２１を同一カメラのライブ画像１１１ｂの各々に１枚ずつ適用し、シーン１４０中のオブジェクトのエッジ２３１を検出する（２３０）。エッジマッチング（２４０）により、同一の輪郭２４１の一部を形成するエッジチェイン２３１を識別する。輪郭２４１に対して３次元再構築（２５０）を行い、３Ｄ移動オブジェクト２５１をセグメント化する。セグメント化により、移動オブジェクトに関連する画素（データ点のセット）のみを識別する。画素は座標を有するため、データ点のセットにより３Ｄオブジェクトの全体的な形状が明らかになる。

次に、オブジェクトの分類（２６１）（例えばそのオブジェクトが歩行者であるか車椅子利用者であるか）を決めるために３Ｄ移動オブジェクト２５１を解析することができる（２６０）。この分類は、後の外部システム１５０の動作を決めるために用いることができる。

背景の変化に基づくエッジ検出
基準画像
従来技術の画素に基づく背景減算とは対照的に、本発明は、背景の変化に基づくエッジ検出（２３０）を用いる。静止したシーン１１１ａの２枚またはそれ以上の画像から各カメラの基準画像２２１を構築する（２２０）。この動作は、シーン中に移動オブジェクトがないことが分かっている場合に前処理ステップ中に行われる。基準画像は周期的に更新することができる。

基準画像２２１中の各画素について、静止画１１１ａから以下の平均値および分散値（ガウス）２２２を求める。画素の輝度の平均値および分散値、画素勾配の大きさ（gradient magnitude）の平均値および分散値、ならびに画素の勾配方向の平均値および分散値。カラーカメラで画像を撮影した場合、１つのＲＧＢチャンネルのみを用いればよい。

エッジ検出
この時点で、シーン１０４のライブ画像１１１ｂを処理することができる。今回は１枚のライブ画像１１１ｂを除いて上述のように３つの値２２２を求め、図３に示すテストを行い、ある画素がエッジ３０２の一部であるか否かを判定する。エッジのチェインはオブジェクトとともに識別されることが推測される。このテストはコンパレータにおいて行うことができる。

まず、勾配がゼロであるかまたは低い画素３１０がエッジである可能性はない（３０１）。したがって、従来技術に勝る利点として、全ての画素ペアを減算する従来技術のように多数の背景（基準）画素を全体的に処理する必要がない。

ゼロでない画素にｐのラベルを付け、その輝度の低い勾配方向の近傍にｐ_ｌのラベルを付け、その輝度の高い勾配方向の近傍にｐ_ｈのラベルを付ける。

勾配の大きさ（ＧＭ）が閾値Ｔよりも大きい場合（３２０）は（ｂ）に進み、そうでない場合は画素にエッジでない（３０１）というラベルを付けることができる。

画素ｐの勾配の大きさが極大値３３０である、すなわちｐにおける勾配がｐ_ｌおよびｐ_ｈにおける勾配よりも大きい場合は（ｃ）に進み、そうでない場合その画素はエッジではない（３０１）。

ライブ画像における画素ｐにおける勾配の大きさとそれに対応する基準画像の値の間の距離ｄ_ＧＭが閾値Ｔ_２未満である場合（３４０）は（ｄ）に進み、そうでない場合その画素はエッジである（３０２）。値はガウスで表されるため、マハラノビス距離が好ましい。

ｐにおいて測定した勾配方向とその基準値の間のマハラノビス距離ｄ_ＧＤが閾値Ｔ_３未満である場合（３５０）は（ｅ）に進み、そうでない場合その画素はエッジである（３０２）。

ｐ_ｌにおける輝度（ＲＧＢ）値とその基準値の間のマハラノビス距離ｄ_Ｉが閾値Ｔ_４未満である場合（３６０）は（ｆ）に進み、そうでない場合その画素はエッジである。

ｐ_ｈにおける輝度（ＲＧＢ）値とそれに対応する基準値の間のマハラノビス距離ｄ_ｐｈが閾値Ｔ_５未満である場合その画素はエッジではなく（３０１）、そうでない場合その画素はエッジである（３０２）。

なお、ライブ画像１１１ｂにおける勾配の低い画素は全てテスト（ａ）により排除される。エッジが勾配の低い基準画素を隠蔽している（occlude）場合、これはテスト（ｃ）で検出される。したがって、信頼性の低い基準勾配が悪影響を及ぼす方法で使用されることはない。また、上記技法を用いて、前景の静止したオブジェクトによって隠蔽された背景エッジを見出すことができることにも留意すべきである。

エッジ３０２を識別したら、より詳細に後述するように、これらのエッジを結び付けてエッジチェインを形成することができる。なお、「チェイン」という用語を用いるが、プロセスで実際にメモリに作成されるのは、接続されたエッジ画素のグラフである。

このエッジに基づく手法２３０を採用する理由は実際的なものである。ステレオ再構築２５０は特徴に基づき、エッジ検出は、移動オブジェクト２５１のステレオ再構築に必要な輪郭２４１を直接生成する。この手法を採ることから、勾配に基づくエッジ検出の利点は明らかである。

まずエッジ２３１は、画素の輝度値が変化するオブジェクトの存在を示す信頼性がより高い。例えば全体的な背景の減算では、静止した背景と同一色のオブジェクト部分を検出することができない。オブジェクトが背景と同一色（輝度）である場合、エッジの変化は、シャドーイング効果によりオブジェクトのシルエット周辺で起こる可能性が非常に高い。したがって、背景減算はさらなる処理を必要とする場合があり、エッジ検出は簡単でシーン中の変化を反映する。両方法ともシルエット周辺の変化を検出する可能性は高いが、本発明によるエッジに基づく手法は、サブピクセルの精度でエッジを判別できることから、より優れている。

エッジに基づく手法を用いる場合、本発明による処理は勾配の計算、非最大値の抑制、およびエッジを連結するためのヒステリシスを包含するため、スプリアスの変化または雑音が結果に影響を与える可能性は低い。これらは全て、ライブ画像１１１ｂにおける顕著な変化を必要とするため、部分的な雑音の影響をあまり受けない。

基準画像２２１は周期的に更新して、周囲の照明の変化（例えば昼／夜）、ほとんど静止した背景の、入力後は静止したままとなる変更（例えばシーンに配置された新たなオブジェクト）を反映できることに留意すべきである。

滑らかに変化するステレオ視差を用いたエッジ連結
概要
上述のように、エッジ検出に続いて、勾配方向等の属性の類似度に基づいて隣接するエッジを結び付けるエッジ連結プロセスを行う。複雑でない（uncluttered）白黒のキャリブレーションパターン（例えばチェス盤パターン）画像等の制約のある場合、エッジチェインは、パターン中のブロック境界を真に反映する可能性がある。しかしながら、実世界のシーンでは、エッジチェインはさほど物理的に顕著でない可能性がある。例えば、エッジはオブジェクトと背景テクスチャの間で蛇行している可能性がある。

したがって、各チェインが個々のオブジェクトに属している可能性が高くなるようにエッジを連結する必要がある。これは、ステレオ画像間でエッジの対応点をマッチングし、近傍エッジのステレオ視差が滑らかに変化するようにエッジチェインを形成することによって行われる。

ステレオ処理において、視差は２枚の画像において対応する特徴（画素、角、エッジ）間の画像変位である。視差は奥行きの間接的な測定値である。したがって、視差が滑らかに変化するエッジチェインは、例えば前景オブジェクトのシルエットおよび表面テクスチャから生じるような奥行きが滑らかに変化する３Ｄチェインに対応する（すなわち、視差が滑らかに変化するエッジチェインは３Ｄオブジェクト２５１の輪郭２４１を定める可能性が高い）。

このタイプのチェインは、オブジェクトのシルエットとそのオブジェクトの表面テクスチャを接続するが、奥行きが不連続である静止した背景には接続しないことが予期される。これこそが後述のように最も関心のあるシルエットである。

一致仮説（match hypotheses）の収集
シーン１４０のライブ画像１１１ｂのセットが与えられると、図４に示すようにエッジチェインを計算する。対応点マッチングの一手法は、優先画像なしで全カメラ１〜３の対称処理を伴う可能性がある。しかしながら、３台のカメラを用いるため、これは大量のデータを処理しなければならないことを意味する。したがって本発明は、処理すべきデータ量を減らす技法を用いる。

各画像のエッジはｅ_ｃｉであり、ここで、ｃ＝１，２，および３はカメラ番号であり、ｉ＝１，．．．，ｎはエッジに索引を付ける。主カメラ１の画像中の各エッジｅ_１ｉは順番に処理される。目標は、各ｅ_１ｉを伴う全ての一致の可能性を識別することであり、一致は３つ組の対応するエッジＭ＝＜ｅ_１ｉ，ｅ_２ｊ，ｅ_３ｋ＞である（すなわち、ｅ_１ｉは一致しないか、あるいは複数の画像に出現する）。これら複数の仮説は次に、後述のさらなる処理を施され、画像中の各エッジが一致しないか、１つの固有の一致と関連付けられる。

この問題に対する１つのアプローチは、エッジｅ_１ｉを画像２のエッジｅ_２とマッチングし、画像３のエッジｅ_３を用いて各推定一致の裏付けとなる証拠を確認することである。これは、エピポーラ線（エピ極線）と合うエッジのマッチングで得られるマッチング結果は弱いという事実を無視する。

その代わりに、２台の副カメラ２〜３がエピポーラ線に合う度合（alignment）に応じて、個々のエッジｅ_１ｉ４０１を画像４０２中のエッジまたは画像４０３中のエッジとマッチングする。

所望のターゲットｔ画像を決めるテストは次のように行う。エッジｅ_１ｉに合うエピポーラ線はｌ_１４１１である。エピポーラ線ｌ_２＝ｅ_１ｉ×ｆ_２４１２およびｌ_３＝ｅ_１ｉ×ｆ_３４１３を計算する（４１０）。ここで、ｆ_２は画像１におけるカメラ２のエピポール（エピ極点）であり、ｆ_３は画像１におけるカメラ３のエピポールである。

次に、線ｌ_１およびｌ_２間の角度θ_２４２１および線ｌ_１およびｌ_３間の角度θ_３４２２を測定する（４２０）。次に、２つの角度４２１〜４２２を比較する（４３０）。ターゲット画像は、大きなほうのθに関連する（すなわち、ｅ_１ｉがターゲットカメラに対してエピポーラ線に合う度合が低い）画像である。ターゲット画像４３１はｔとしてラベル付けされる。３番目の画像はサポート画像（supporting image）４３２と呼び、ｓとしてラベル付けされる。

図５に示すように、エッジｅ_１ｉを画像ｔのエピポーラ線に沿った全エッジに対してマッチングする。エッジのマッチングには以下のテストが伴う。

エッジｅ_１ｉ５０１の勾配方向とエッジｅ_ｔｊの勾配方向の間の差を、１８０°シフトを法として計算する（５１０）。この差が閾値を越える場合は一致を排除し（５２０）、そうでなければ進む。

他に、ｅ_１ｉの２つの近傍画素を取ってエッジの勾配方向と合わせる。これらをｐ_１ｉａおよびｐ_１ｉｂと呼ぶ。同様にｅ_ｔｊの２つの近傍画素について、これらをｐ_ｔｊａおよびｐ_ｔｊｂと呼ぶ。画像の向きを用いて画像１および画像ｔの間でこれらの画素の対応点を求める。なお勾配方向は、あるエッジとそれに一致するエッジの間で１８０°反転している可能性があるため、このテストでは用いない（以下を参照）。次に、対応する近傍画素間の輝度差を測定する（５３０）。対応する画素の一方または両方が一致した場合は進み、そうでない場合は差が別の閾値よりも大きければ一致を排除する（５２０）。

ｅ_１ｉとエッジｅ_ｔｊの間の一致が与えられると、これらの点の各々のエピポーラ線をサポート画像ｓにおいて計算し、これらの線の交点を見つける。次に、最近傍のエッジｅ_ｓｋについて交点の周囲のウインドウを検索する（５４０）。サポート画像において対応するエッジが存在しない場合、一致を排除する（５２０）。

そうでない場合、エッジｅ_１ｉおよびエッジｅ_ｔｊをそれぞれ上述のようにエッジｅ_ｓｋ５０３に対してマッチングする（５５０）。一致が許容可能である場合、３つのエッジ全ての類似度に基づく最終的な一致スコアを計算し、一致を許容して記憶する（５６０）。エッジの正確な分類の失敗に対するいくらかの信頼性を与えるために、エッジｅ_ｓｋはサポート画像の任意のエッジとすることができる。

上記テストはさらなる議論を呈する。テスト（ａ）において、隠蔽輪郭に属するエッジは異なるステレオカメラで見ると異なる背景部分を隠蔽する可能性があるため、勾配方向の１８０°反転が可能である。勾配方向は通常は保持されるが、この場合、勾配方向が１８０°反転できることは明らかである。

同じ理由によりテスト（ｂ）は、隠蔽エッジでは色がエッジの背景側で変化している可能性があり、そちら側の画素はあまり一致しないので、エッジの片側にのみ一致画素を要する。その結果、マッチングのための閾値を意図的に緩める。

さらに、テスト（ｂ）における画素比較は、精密に調整した定量テストではなく、画素の色をマッチングするための意図的に弱い定性テストとする。目標は、勝利したものが全てを手に入れる（winner-takes-all）手法を試して固有の最適一致を識別するのではなく、各ｅ_１ｉについて多くの一致仮説を抽出し、真の一致が存在するという信頼を高めることである。勝利したものが全てを手に入れる手法は、エッジ勾配や近傍画素の色等の部分的な属性のみに基づいてマッチングを行うこの早期段階では信頼性が低い。

一致仮説からのチェインの抽出
この段階では、推定一致のセットＭ_ｐ＝＜ｅ_１ｉ，ｅ_２ｊ，ｅ_３ｋ＞（ｐ＝１，．．．，ｎ）があり、ここで、所与のエッジは２つ以上の一致に存在する可能性がある。目標は、当該セットを処理して、各エッジが一致しないか、または１つの固有の一致に関連付けられるようにすることである。

これは、全ての一致を調べて、視差が滑らかに変化するエッジチェインに関連する一致を探すことによって達成される。エッジが２つ以上の一致に出現する場合、最も長いチェインに関連する一致を残し、他の一致を排除する。図６はこのプロセスを示す。

一致する各エッジ６０１を順番に取り、それが既にチェインの一部であるかを判定する（６１０）。画像１の一致するエッジが既にチェインの一部である場合は終了する（６２０）。そうでない場合は新たなチェインを開始する（６３０）。

画像１の一致するエッジを取る。そのエッジの８連続の近傍エッジを調べる。現エッジのステレオ視差と近傍のステレオ視差の差が閾値未満である場合、その近傍をチェインに接続して（６４０）再帰し、全てのエッジを調べ終わるまで繰り返す（６５０）。

チェインの作成後、処理は、安定した解が得られるまで競合する一致（すなわちエッジを共有する一致）を並べ替える（６６０）反復プロセスに入る。競合する一致の並べ替えは、関連するチェインが最も長い一致に報いることを目的とする。任意の段階におけるチェインの長さは（ｉ）競合しないチェインの一致と、（ｉｉ）競合しているが現在勝利した一致としてフラグが立てられているチェインの一致との合計で与えられる。勝利した一致の最後のセットを保持し、次の段階の３Ｄ再構築２５０に送る。

ステレオビジョンを用いた車椅子検出
ステレオキャリブレーション
３Ｄ再構築２５０には、カメラ１〜３を完全にキャリブレーションする必要がある。ＯｐｅｎＣＶライブラリ（VA Software社（Fremont, CA）から入手可能）を用いて放射方向歪曲収差のキャリブレーションを行う。ステレオキャリブレーションプロセスは、ステレオ画像において自動的に検出されるキャリブレーションパターンを利用する。カメラの内部パラメータを計算し、基本（Ｆ）行列の計算により外部パラメータを求める。地表面は、シーンの上にパターン１４１を配置し（図１を参照）、ステレオ画像間で平面射影変換（homography）を用いて地表面の３Ｄ座標を求めることによってキャリブレートすることができる。

シーン中の個々のオブエクトのセグメント化
一用途では、シーン１４０中の３Ｄ移動オブジェクト２５１を解析して、そのオブジェクトが歩行者であるか車椅子利用者であるかを判定する。３Ｄの輪郭は、不連続の奥行きと交差しない滑らかに変化する視差に基づいているため、隠蔽するものと重複しないもの両方のセグメント化によい基礎を与える（Shen等著「Shape Models from Image Sequences」（Proceedings Lecture Notes in Computer Science, Vol. 800, Computer Vision ECCV '94, Springer-Verlag, pp.225-230, 1994）を参照）。

範囲外の３Ｄの点の削除
図７に示すように、ランダムサンプリングコンセンサス（random sampling consensus：ＲＡＮＳＡＣ）プロセスを用いて、セグメント化されたオブジェクト７１０〜７１１を形成するデータセットの残りの点に対するメジアン（median：正中線）の距離が最小である点を探すことによって、セグメント化されたオブジェクト７１０〜７１１内の３Ｄの点の重量中心（ＣＯＧ）７０１〜７０２を推定する。

次に、セグメント化されたオブジェクトを処理して（７１５）孤立点（outlier）７２０を除去する。孤立点の閾値をメジアンの距離の所定倍（例えば２）に設定する。次の通常点（inlier）のデータを以下のように処理することができる。

高さの測定
３Ｄデータセット（すなわち３Ｄオブジェクトおよび事前にキャリブレートされた地表面７３０に関連する点）を与えられると、高さの測定７３１〜７３２により、データセットにおける最も高い点（最大の高さ）７４１〜７４２が得られる。概して、（大人の）歩行者の高さの平均は車椅子利用者の高さよりも遥かに大きい。したがって、限界高さ７３３との比較を用いて車椅子に座っているにしては高すぎる個人を分類することができる。

形状の測定
立っている歩行者７１０は平面７５１により近似することができ、車椅子利用者７１１は階段の形状７５２に似ている。よってここでのプロセスは、平面をデータセットに適合させ、適合具合（goodness-of-fit）を測定することである。平面の適合プロセスを制約するために、平面７５１は推定ＣＯＧを通り、その垂線７５２はほぼ水平面にある。次に、残りの１つの自由度（すなわち垂直軸を中心とした回転）の徹底的な探索により、データセット中の３Ｄの点に対する距離に垂直なメジアンを最小にする平面を見つける。すると、適合した平面のメジアンに垂直な距離と個人の高さの比により適切な形状の測度が得られる。この比は、立っている歩行者の場合は大人であれ子供であれ所定の閾値未満であり、かつ車椅子利用者の場合よりも大きいことが予期される。

足の振動運動の測定
足の振動７６０は歩行者の場合の強い視覚的な合図である。これと対照的に、車椅子利用者の脚および足周りは動かない。したがって、オブジェクトの基部７６１〜７６２周りの振動を確認することで分類を助けることができる。

固定された高さよりも低い３Ｄデータセット中の全ての点は通常約５０ｃｍであり、地表面に投影される。次に直線をこの地表面の投影に適合させる。歩行者の場合、踏み出した瞬間に後足と前足の間に顕著な距離がある。したがって、一歩進む間の足の位置の変化に伴い、適合される線は振動する。正弦波を一定期間にわたる線の角度に適合することにより、振動の存在をテストすることができる。これに対して、車椅子利用者の地表面の投影角度の測定値は一定であるか一貫しない変化を遂げる可能性が高い。

本発明を好適な実施の形態の例として記載してきたが、本発明の精神および範囲内で様々な他の適応形態および変更形態を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入る変形形態および変更形態をすべて網羅することである。

本発明によるオブジェクト検出システムのブロック図である。 本発明によるオブジェクトの分類方法のフロー図である。 本発明による勾配に基づいたエッジ検出のフロー図である。 本発明によるターゲットとサポート画像を識別するフロー図である。 本発明によるエッジのマッチングのフロー図である。 本発明によるエッジ連結のフロー図である。 本発明による車椅子検出のフロー図である。

Claims (9)

1. ステレオ画像中のエッジを結び付けてチェインにする方法であって、前記チェインがシーン中の物理的な輪郭に対応し、
   前記ステレオ画像中のエッジを検出するステップと、
   前記ステレオ画像間でエッジをマッチングして、各エッジにステレオ一致を関連付けるステップと、
   前記エッジを結び付けてチェインにして、連結された各エッジに単一のステレオ一致を関連付けるステップとを含み、
   チェイン中の近傍エッジは、ステレオ視差が略同様の一致を有する、
   ステレオ画像中のエッジを結び付けてチェインにする方法。
2. ３台以上のカメラを用いて前記ステレオ画像を取得するステップをさらに含み、
   １枚のステレオ画像を主画像、残りのステレオ画像を副画像として識別するステップと、
   前記主画像中の各エッジについて、前記副画像の各々に対するエピポーラ線を求めるステップと、
   エピポーラ線の各々について、エッジの整列と前記エピポーラ線の間の角度差を求め、前記副画像すべてにわたる最大角度差を見つけ、最大差に関連する副画像をターゲット画像として識別するステップと、
   残りの副画像をサポート画像として識別するステップと、
   前記主画像中の各エッジ及び前記ターゲット画像中の前記エピポーラ線に沿ったエッジについて、勾配方向の差を測定し、前記勾配方向の差が第１の閾値よりも大きい場合にエッジをマッチングとして排除するステップと、そうでない場合、
   前記主画像中の各エッジ及び前記ターゲット画像中の前記エピポーラ線に沿ったエッジについて、前記エッジの近傍画素の輝度差を測定し、前記輝度差が第２の閾値よりも大きい場合に前記エッジをマッチングとして排除するステップと、そうでない場合、
   前記サポート画像中に対応するエッジがない場合にエッジをマッチングとして排除するステップと、そうでない場合、
   前記エッジをマッチングとして許容するステップとをさらに含む
   請求項１記載のステレオ画像中のエッジを結び付けてチェインにする方法。
3. 前記近傍画素は、前記エッジの勾配方向と整列している
   請求項２記載のステレオ画像中のエッジを結び付けてチェインにする方法。
4. 各サポート画像中にエピポーラ線のペアを生成するように、前記主画像及び前記ターゲット画像中のエッジを用い、前記エピポーラ線の交点の周囲のウインドウにおいて前記サポート画像中の対応するエッジを検索するステップをさらに含む
   請求項２記載のステレオ画像中のエッジを結び付けてチェインにする方法。
5. 複数のステレオ一致が関連付けられた各エッジを識別するステップと、
   前記ステレオ一致の各々について、関連付けられたエッジチェインを検査するステップと、
   関連付けられたエッジチェインが最も長いステレオ一致に許可として印を付けるとともに、他のステレオ一致を拒否するステップとをさらに含む
   請求項１記載のステレオ画像中のエッジを結び付けてチェインにする方法。
6. ステレオ視差の差が第３の閾値未満であるエッジのみを結び付けるステップをさらに含む
   請求項１記載のステレオ画像中のエッジを結び付けてチェインにする方法。
7. 前記チェインを連結エッジ画素のグラフとしてメモリに記憶するステップをさらに含む
   請求項１記載のステレオ画像中のエッジを結び付けてチェインにする方法。
8. 前記エッジチェイン及び一致を用いて３Ｄ再構築体を求めるステップをさらに含む
   請求項１記載のステレオ画像中のエッジを結び付けてチェインにする方法。
9. 前記シーンは複数のオブジェクトを含み、
   前記３Ｄ再構築体を前記シーン中の各オブジェクトに対する個々の再構築体にセグメント化するステップをさらに含む
   請求項８記載のステレオ画像中のエッジを結び付けてチェインにする方法。

Images