JP2014127208A

JP2014127208A - 物体検出方法及び物体検出装置

Info

Publication number: JP2014127208A
Application number: JP2013265379A
Authority: JP
Inventors: Ying Fang Xiong; ファヌションイヌ; Woo Wang Shin; ワンシヌ
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2012-12-26
Filing date: 2013-12-24
Publication date: 2014-07-07
Anticipated expiration: 2033-12-24
Also published as: US20140177915A1; JP6295645B2; CN103903246A; US9741130B2

Abstract

【課題】物体検出方法及び物体検出装置を提供する。
【解決手段】該方法は、物体の複数の奥行き画像を取得するステップと、各々画像座標系を有する前景を各奥行き画像から抽出するステップと、ｘ、ｙ、ｚ方向の直交座標で定義された統一的３次元の世界座標系において各前景を融合するステップと、３次元の世界座標系において融合された前景をｙ方向に沿って延伸する垂直体に分割し、各垂直体における前景点の個数を統計することで、各垂直体における前景点の個数を示す外観２次元ヒストグラムを取得するステップと、複数のステレオカメラの配置によって、重畳領域及び重畳回数を決定するステップと、検出位置が重畳領域にあるか否か及び対応する重畳回数によって、検出パラメータを決定するステップと、検出パラメータに基づいて外観２次元ヒストグラムを用いて物体を検出するステップと、を含む。
【選択図】図２

Description

本発明は、全体的に画像処理に関し、更に具体的にステレオビジョンに基づく物体検出方法および装置に関するものである。

タイトルが「ＭＥＴＨＯＤＡＮＤＳＹＳＴＥＭＴＯＳＥＧＭＥＮＴＤＥＰＴＨＩＭＡＧＥＳＡＮＤＴＯＤＥＴＥＣＴＳＨＡＰＥＳＩＮＴＨＲＥＥ−ＤＴＭＥＮＳＩＯＮＡＬＬＹＡＣＱＵＩＲＥＤＤＡＴＡ」である特許文献ＵＳ８００９８７１Ｂ（特許文献１）、タイトルが「ＳＵＲＦＡＣＥＧＥＮＥＲＡＴＩＯＮＭＥＴＨＯＤＦＲＯＭＢＯＵＮＤＡＲＩＥＳＯＦＳＴＥＲＥＯＩＭＡＧＥＳ」である特許文献ＵＳ５２０２９２８Ａ（特許文献２）、ＭｉｃｈａｅｌＨａｒｖｉｌｌｅが２００３年に発表した文章「ＳｔｅｒｅｏＰｅｒｓｏｎＴｒａｃｋｉｎｇｗｉｔｈＡｄａｐｔｉｖｅＰｌａｎ−ＶｉｅｗＴｅｍｐｌａｔｅｓｏｆＨｅｉｇｈｔａｎｄＯｃｃｕｐａｎｃｙＳｔａｔｉｓｔｉｃｓ」（非特許文献１）などのようなステレオカメラで収集された画像を用いて物体を検出する技術は、既に存在している。

人の位置決め又は検出を例として、人の位置決めが人を中心とする技術の基礎であるため、人物が正確に位置決めされた後に限ってはプロアクティブなサービスを提供およびプッシュすることができる。人の位置決めは、人を検出して、更に屋内や屋外における人の位置情報を取得し、即ち世界座標系における人の座標値（ｘ，ｙ，ｚ）を取得する過程である。

立体視に基づく人への位置決め技術の中核は、奥行きマップ／視差マップシーケンスにおける人への検出及び追跡技術である。今でも、それは、挑戦的な技術的課題であり、主に、実際の応用において人の姿勢と外観の変化が大きく、遮蔽問題が良く発生するためである。屋内シーンにおいて、背景が複雑であり、人が多いため、遮蔽の発生周波数が更に高くなり、人の検出および追跡が失敗になる場合が多い。同時に、単一のステレオの視角が限られるため、その測定誤差が距離の増大に伴って大きくなる。そのため、複数のステレオカメラを配置することでシステムの視角、有効な測定範囲を広くし、遮蔽問題を減らすことができる。

発明者は、どのように複数のステレオカメラの奥行き／視差情報を用いてより効果的に人を検出し、追跡して、より正確に人を位置決めるかが実際の応用に非常に意義を持つ課題であり、融合技術を用いることで解決することができると考える。融合は、その融合オブジェクトによって、生データセットの融合、特徴セットの融合、結果セットの融合という３種類に大別することができる。

複数のステレオカメラ例えば双眼カメラのシーンについては、生データセットの融合、即ち画素セットの融合は、ネットワークで伝送されるデータの量および処理されるデータの量が大きいため、実際のシーンにリアルタイムに応用することができない。

特許ＵＳ７９２９０１７Ｂ２（特許文献３）には、ステレオカメラ、マルチカメラおよびＲＦとビデオの融合に用いられる方法および装置が提案されている。当該方法は、単眼カメラ、ステレオカメラの追跡結果、およびＲＦＩＤ、位置決めシステムと生物識別システムの結果を融合している。当該融合技術は、異なるセンサ情報のノイズとファジーに対して厳しく不確実性分析を行うことで、センサ情報の変換を行う。それは、時間と空間の制約に基づいて異なるセンサの位置と速度情報を融合する。当該特許に提案される方法にはベイズ法を用いて各種の結果を融合し、融合目標が追跡された結果と位置情報である。安定性を増加させるために、それは、時間と空間の制約を考えた。

特許ＵＳ７７４２６２０Ｂ２（特許文献４）には、時間領域と空間領域の融合により検出結果を向上させる方法が提案されている。当該方法において融合目標は、それぞれの異なるセンサの処理結果であり、それは空間領域と時間領域の融合を一緒に組み合わせて、同時に特殊な閾値処理を用いる。

上記の二つの特許文献に用いられる方法は、いずれも結果セット上の融合であり、一般的には、結果が既に多くの元の情報と特徴を失ったため、結果自体の信頼度が不確定であるため、融合結果のエラー率が高くなる。

本発明は、従来技術における上記問題を鑑みてなされたものである。

本発明の一つの目的は、物体遮蔽に対して強い頑健性（ロバスト性）を持ち、精確かつできる限り多く物体を検出できる物体検出方法および装置を提供することにある。

本発明の一の態様に係る物体検出方法は、複数のステレオカメラで物体を撮影して、当該物体の複数の奥行き画像を取得するステップと、各々画像座標系を有する前景を各奥行き画像から抽出するステップと、ｘ、ｙ、ｚ方向の直交座標で定義された統一的３次元の世界座標系において、物体がｘ、ｚ軸によって限定されたｘｚ平面に立つことになるように、各前景を融合するステップと、前記３次元の世界座標系において融合された前景からｘｚ平面上の外観２次元ヒストグラムを計算して取得するステップであって、当該外観２次元ヒストグラムが、前記３次元の世界座標系において融合された前景をｙ方向に沿って延伸する垂直体に分割し、各垂直体における前景点の個数を統計することで、各垂直体における前景点の個数を示す外観２次元ヒストグラムを取得する処理によって得られるステップと、当該複数のステレオカメラの配置によって、対応する複数の奥行き画像のｘｚ平面における重畳領域を決定するとともに、重畳回数を決定するステップと、ある検出位置が重畳領域にあるか否か、及び対応する重畳回数によって、当該検出位置に関連付けられた検出パラメータを決定するステップと、決定された検出パラメータに基づいて、外観２次元ヒストグラムを用いて物体を検出するステップと、を含んでもよい。

本発明の他の態様に係る物体検出装置は、複数のステレオカメラで物体を撮影して、当該物体の複数の奥行き画像を取得するマルチ奥行き画像取得部と、各奥行き画像からそれぞれの画像座標系を有する前景を抽出する前景抽出部と、ｘ、ｙ、ｚ方向の直交座標で定義された統一的３次元の世界座標系において、物体がｘ、ｚ軸によって限定されたｘｚ平面に立つことになるように、各前景を融合する前景融合部と、前記３次元の世界座標系において融合された前景からｘｚ平面上の外観２次元ヒストグラムを計算して取得し、当該外観２次元ヒストグラムを、前記３次元の世界座標系において融合された前景をｙ方向に沿って延伸する垂直体に分割し、各垂直体における前景点の個数を統計することで、各垂直体における前景点の個数を示す外観２次元ヒストグラムを取得する処理によって取得する外観２次元ヒストグラム計算部と、当該複数のステレオカメラの配置によって、対応する複数の奥行き画像のｘｚ平面における重畳領域を決定するとともに、重畳回数を決定する重畳回数決定部と、ある検出位置が重畳領域にあるか否か、及び対応する重畳回数によって、当該検出位置に関連付けられた検出パラメータを決定する検出パラメータ決定部と、決定された検出パラメータに基づいて、外観２次元ヒストグラムを用いて物体を検出する物体検出部と、を含んでもよい。

本発明の実施形態に係る物体検出方法および装置により、遮蔽の影響を除去又は軽減して、より正確で、できるだけ多く物体を検出することができる。

本発明の実施形態に係る方法又は装置を用いたシステムを示す図である。本発明の一実施形態に係る物体検出方法を示す全体的なフローチャートである。本発明の一実施形態に係る統一的ｘｙｚ世界座標系において前景点を融合することを示す図である。本発明の一実施形態に係る前景点融合の例示的な方法のフローチャートである。本発明の実施形態に係る統一的世界座標にける垂直体を示す図である。本発明の一実施形態に係る鳥瞰図に基づく外観２次元ヒストグラムの生成のフローチャートである。外観２次元ヒストグラムを示す図である。本発明の一実施形態に係る重畳領域の重畳回数の計算を示す図である。本発明の実施形態に係る異なる重畳領域の検出パラメータとする物体標準表面積の決定を示す図である。本発明の第２の実施例に係る物体検出方法を示す全体的なフローチャートである。本発明の一実施形態に係る融合された前景から計算して外観２次元ヒストグラムと高さ２次元ヒストグラムの両者を取得する方法を示すフローチャートである。本発明の実施形態に係る平面図に基づく高さ２次元ヒストグラムを示す図である。本発明の一実施形態に係る２次元ヒストグラムを用いて物体を追跡する方法を示すフローチャートである。本発明の実施形態に係る重畳領域の重畳回数によって追跡特徴を変更することを示す図である。本発明の一実施形態に係る例示的な物体検出装置を示す機能構成ブロック図である。本発明の実施形態に係る物体検出システムを示す全体的なハードウェアブロック図である。

当業者が本発明をより良く理解するために、以下、図面および具体的な実施形態を参照しながら本発明を更に詳細に説明する。

次の順番で説明する。

１、システム略図
２、外観２次元ヒストグラムに基づく物体検出方法（第１の実施形態）
３、外観２次元ヒストグラムと高さ２ヒストグラムに基づく物体検出方法（第２の実施形態）
４、高さ２次元ヒストグラムに基づく物体追跡方法（第３の実施形態）
５、物体検出装置
６、システムのハードウェア構成
７、まとめ
［１、システム略図］
図１は、本発明の実施形態に係る方法又は装置を用いたシステムを示す図であり、主に例示的に本発明の実施形態の入力と出力を示す。その中、入力された情報は、２つの双眼カメラに由来し、図に２つだけの双眼カメラを示しているが、実際には本発明は、１つ、２つ、より多くの双眼カメラをサポートすることができる。本発明の実施形態の出力は、位置決められた人の位置であり、鳥瞰図又は平面図で示す。図１の２つの円１、２が鳥瞰図での２つの双眼カメラ１の位置を示し、直線Ａ、Ｂ、Ｃが双眼カメラの視角の縁を示し、ＤＥＦが双眼カメラ２の視角の縁を示し、複数の白い菱形が位置決められた人を示す。

本例および後続の例において、人を検出目標とし、そして人が地面に立つことを仮定すると説明すべきである。しかし、これは、例だけであるが、本発明は、この限りではなく、いかなる物体、例えば動物、椅子などを検出目標としてもよく、かつ検出物体が任意に配置されてもよく、必ずしも地面に位置するものではない。

［２、外観２次元ヒストグラムに基づく物体検出方法（第１の実施形態）］
以下、本発明の一実施形態に係る、複数のステレオカメラで物体を検出する全体の過程を説明する。

図２は、本発明の一実施形態に係る物体検出方法１００を示す全体的なフローチャートである。

説明の便宜上、当該全体的なフローチャートについては、所定空間に、複数のステレオカメラを配置して、当該所定空間に現れる物体を立体的にイメージングするようになり、ステレオ画像を処理することで物体を検出することが仮定される。

所定空間については、１つの部屋、例えばスーパーマーケット、工場などであってよいが、屋外空間、例えば学校場所、軍事場所などであってもよく、監視オブジェクトとすることができる空間であればよい。検出されるオブジェクトについては、特に制限されなく、人、動物、飛行物、自転車、椅子などであってよい。

ステレオカメラは、物体を３次元的にイメージングする又は立体的にイメージングすることができるカメラであり、一般的に奥行き画像とカラー画像（又はグレー画像）を同時に出力できる。上述したように、能動的に放出された赤外線を用いて３次元情報の生成を支援するステレオカメラであって、例えば、マイクロソフトのＫｉｎｅｃｔ、また赤外線の飛行時間（ＴＯＦ：ＴｉｍｅｏｆＦｌｉｇｈｔ）技術に基づくタイプ、又はテクスチャ光に基づくタイプがある。別のタイプのステレオは、３次元スタジアの双眼カメラ原理に基づくものであって、例えば双眼カメラまたは多眼カメラである。説明の便宜上、以下、双眼カメラを例にして説明するが、本発明は、この限りではなく、いかなるステレオカメラを応用してもよい。

ステレオカメラを用いるため、的確な３次元情報を取得できると注意すべきである。そのため、本発明に係る人の検出は、検出および位置決めを同時に完了できると理解されるべきであり、物体検出と位置決めの一つだけを行うことができることはもちろん言うまでもない。

図２に示すように、ステップＳ１１０において、複数のステレオカメラで物体を撮影して当該物体の複数の奥行き画像を取得する。

ステレオカメラを用いるため、正確な３次元情報を取得できると注意すべきである。そのため、本発明に係る人の検出は、検出および位置決めを同時に完了できると理解されるべきであり、物体検出と位置決めの一つだけを行うことができることはもちろん言うまでもない。

ステップＳ１２０において、各奥行き画像から前景を抽出し、各奥行き画像の前景がそれぞれの画像座標系を有する。

奥行き画像から前景を抽出するまたは前景を分割し、即ちステレオ画像から処理オブジェクトとする前景と背景を分離させて、前景を抽出する。１つの例示的な実施形態として、ＲＧＢＤの混合ガウス動的モデリングにより前景を分割することができ、具体的に、タイトルが「Ｐｌａｎ−ｖｉｅｗｔｒａｊｅｃｔｏｒｙｅｓｔｉｍａｔｉｏｎｗｉｔｈｄｅｎｓｅｓｔｅｒｅｏｂａｃｋｇｒｏｕｎｄｍｏｄｅｌ」であるＴ．Ｄａｒｒｅｌが２００１年に発表した文章を参照することができる。

ステップＳ３１０において、ｘ、ｙ、ｚ方向の直交座標で定義された統一的３次元の世界座標系において、各前景を融合し、物体がｘ、ｚ軸によって限定されたｘｚ平面に立つことになる。

地面に立つ人を検出することを例とすると、地面がｘｚ平面にあり、人の高さ方向がｙ軸方向である。

以下、図３、図４を参照して、本発明の一例示的な実施形態に係る前景を融合する例を詳細に説明する。

図３は、本発明の一実施形態に係る統一的ｘｙｚ世界座標系において前景点を融合することを示す図である。図３に示すように、中間位置にある前景オブジェクトの前景点は、異なる双眼カメラに由来し、一部で双眼カメラＡに由来し、一部で双眼カメラＢに由来する。実際には、図３において他の位置にある前景オブジェクトも同様の状況である。

図４は、本発明の一実施形態に係る前景点を融合する例示的な方法１３０を示すフローチャートである。当該方法１３０は、図２に示すステップＳ１３０に応用することができる。

統一的座標系の確立基礎は、まず双眼カメラの外部パラメータを決定することであり、現在、既に公知の技術になったため、ここで詳細に述べない。複数の双眼カメラのために統一的世界座標系を確立した後、物理的世界における１個の点の異なる双眼カメラでの座標値が類似することを確保でき、即ち当該点と異なる双眼カメラで取得された、統一的世界座標系における異なる座標点との間の距離が小さい。

図４に示すように、ステップＳ１３１において、ｘｙｚの統一的世界座標において、異なる双眼カメラで取得された前景点を取得する。画像座標系から世界座標系への１個の点の座標変換が公知の技術であるため、ここではそれに対する詳細な説明を省略する。

ステップＳ１３２において、これらの異なるソースの前景点が物理的世界における１個の点に属することを判定する。一例では、統一的世界座標系におけるこれらの異なるソースの前景点の距離を計算することで判定してもよく、距離が所定の閾値より小さいと、これらの異なるソースの前景点が同じ点であると判定し、そうでなければ、これらの異なるソースの前景点が異なる点であると判定する。閾値が実験により決定され、又は学習により取得されてもよい。一例では、閾値を１ｃｍにデフォルトで設定する。

ステップＳ１３２において異なるソースの前景点が同じ点ではないと判定した場合、ステップＳ１３３に進み、ステップＳ１３３において、直接それらを統一的世界座標系における前景点とする。

ステップＳ１３２において異なるソースのこれらの前景点が同じ点であると判定すると、ステップＳ１３４に進む。

図３の例では、異なるソースのこれらの前景点が同じ点であると判定した場合、複数の点を融合して、最終点の座標値を取得する必要がある。

一例では、加重和法により融合してもよい。

具体的には、ステップＳ１３４において、各点の自身ソース（即ち双眼カメラ）までの距離を計算する。

ステップＳ１３５において、異なる距離値によって、異なるソースの前景点の重みを計算して、距離によって、異なるソースの前景点の重みを決定し、これにより距離が近いほど、重みが高くなり、その後、融合して当該点の最終の座標値を取得する。

以下、２つの異なるソースの前景点が物理的世界における同じ点に対応することを例として説明する。仮に、双眼カメラＡに由来する前景点の自身の画像座標系での座標値が（ｘａ，ｙａ，ｚａ）であり、統一的世界座標系に変換されて出力した前景点の座標が（ｘ１，ｙ１，ｚ１）となり、当該点のカメラＡまでの距離がｄｉｓｔ₋ａである。双眼カメラＢに由来する前景点の自身の画像座標系での座標値が（ｘｂ，ｙｂ，ｚｂ）であり、統一的世界座標系に変換されて出力した前景点の座標が（ｘ２，ｙ２，ｚ２）となり、当該点のカメラＢまでの距離がｄｉｓｔ₋ｂである。

一例では、式１によって当該点のカメラＡ、カメラＢまでの２つの距離を用いて重みの計算を行うことができる。

その中、ｗｅｉｇｈｔ₋ａがカメラＡに由来する前景点の重みであり、ｗｅｉｇｈｔ₋ｂがカメラＢに由来する前景点の重みである。

計算して得られた重みによって、融合後の点の最終の座標値（ｘ，ｙ，ｚ）を計算できる。一例によれば、具体的な数式が（２）に示すようなものである。

上記の例では、距離によって重みを決定する式（１）と座標融合式（２）が例だけであるため、異なる応用と実際の状況によって他の公式を設計することができ、距離が近いほど、重みが大きくなり、最終の座標値に対する決定作用が強くなることを満たしていればよい。

なお、以上に２つの双眼カメラに由来する前景点を例として複数の異なる双眼カメラに由来する前景点の融合を説明したが、これは、例だけであるが、例えば３、４などのより多くの双眼カメラに由来する前景点を融合してもよい。

図２に戻り、ステップＳ１３０において前景融合を完了した後、ステップＳ１４０に進む。

ステップＳ１４０において、前記３次元世界座標系において融合された前景からｘｚ平面上の外観２次元ヒストグラムを計算して取得し、当該外観２次元ヒストグラムが前記３次元の世界座標系において融合された前景をｙ方向に沿って延伸する垂直体に分割し、各垂直体における前景点の個数を統計することで、各垂直体における前景点の個数を示す外観２次元ヒストグラムを取得するように処理して取得される。

前記外観２次元ヒストグラムおよび／又は後述する高さ２次元ヒストグラムは、ある平面図における、３次元画像の物体の表面点の分布の統計データと見なされることができ、いくつかの文献例えばタイトルが「Ｐｌａｎ−ｖｉｅｗｔｒａｊｅｃｔｏｒｙｅｓｔｉｍａｔｉｏｎｗｉｔｈｄｅｎｓｅｓｔｅｒｅｏｂａｃｋｇｒｏｕｎｄｍｏｄｅｌ」であるＴ．Ｄａｒｒｅｌが２００１に発表した文章では外観平面図（Ａｐｐｅａｒａｎｃｅｐｌａｎｖｉｅｗ）とも称され、又は発明者がシヌワンであり、特許出願番号がＣＮ２０１２１０２９２６６０．２である発明特許出願では増分平面図又は高さ平面図とも称される。

外観２次元ヒストグラムは、人の表面積を示し、実際には人に含まれるすべての垂直ｂｉｎ内の前景点の合計であり、合計が大きいほど人の表面積が大きくなることを示す。外観２次元ヒストグラムを用いて人の表面積を示し、それは、後続の、人を検出する基本特徴とすることができる。

上記垂直体は、垂直ｂｉｎとも称されている。図５は、本発明の実施形態に係る統一的世界座標系における垂直ｂｉｎを示す図である。統一的世界座標系において、垂直ｂｉｎにより３次元空間を分割し、その後、各垂直ｂｉｎ内でそれに含まれる前景点の数（外観２次元ヒストグラム）又はそれに含まれる前景点の最高値（高さ２次元ヒストグラム）を統計し、このように鳥観図で統計および分析を行うと、外観２次元ヒストグラムおよび／又は高さ２次元ヒストグラムを取得する。

図６は、本発明の一実施形態に係る鳥観図に基づく外観２次元ヒストグラムの生成のフローチャートである。

ステップＳ１４１において、前景点を取得する。

ステップＳ１４２において、各垂直ｂｉｎを列挙する。

ステップＳ１４３において、ｂｉｎ内の前景点の数を統計する。

ステップＳ１４４において、外観２次元ヒストグラムを計算して取得する。外観又は外観モデルは、人の表面積を意味し、実際に人に含まれる垂直ｂｉｎ内の前景点の数の合計であり、合計が大きいほど、人の表面積が大きくなることを示す。外観モデルを用いた２次元ヒストグラムは、人の表面積を示し、後続の、人を検出する基本特徴とされることができる。

図７は、外観２次元ヒストグラムを示す図であり、その中のそれぞれの白い斑点がそれぞれの人の外観２次元ヒストグラムを示す。

外観２次元ヒストグラム（又は外観平面図と称される）を取得する方法についてのより具体的な説明は、タイトルが「Ｐｌａｎ−ｖｉｅｗｔｒａｊｅｃｔｏｒｙｅｓｔｉｍａｔｉｏｎｗｉｔｈｄｅｎｓｅｓｔｅｒｅｏｂａｃｋｇｒｏｕｎｄｍｏｄｅｌ」であるＴ．Ｄａｒｒｅｌが２００１年に発表した文章、又は発明者がシヌワンであり、特許出願番号がＣＮ２０１２１０２９２６６０．２である発明特許出願を参照でき、上記の２つの文献の全文を本明細書に組み込んで参照とする。

図２に戻り、ステップＳ１４０において外観２次元ヒストグラムを取得した後、ステップＳ１５０に進む。

ステップＳ１５０において、当該複数のステレオカメラの配置によって、対応する複数の奥行き画像のｘｚ平面における重畳領域を決定し、そして重畳回数を決定する。

２つの双眼カメラの重畳領域において、選択されたある矩形領域について、そのｂｉｎの数量が非重畳領域から選択された矩形領域中のｂｉｎの数量より大きい。同時に、重畳領域において、選択されたある矩形領域について、一般的には、その面積（前景点の合計数）も非重畳領域から選択された矩形領域中の面積（前景点の合計数）より大きい。例示的に、図７に示す外観２次元ヒストグラムにおいて、重畳領域に位置する白い斑点の強さが重畳領域に位置しない白い斑点の強さより大きく、つまり重畳領域に位置する人の表面積が非重畳領域に位置する人の表面積より大きい。

外観モデルは、後続の人の検出に用いられ、異なる重畳領域の人の表面積に違いが存在することを考えて、そのため、検出アルゴリズムの一部は、対応するメカニズムによって対応される必要がある。

そのため、発明者は、それぞれのカメラの重畳領域および領域に関する重畳回数を決定し、それに応じて検出パラメータを調整して、より正確にオブジェクトを検出すると考えている。

そのため、ステップＳ１５０において、重畳領域の決定、および重畳回数の計算を行う。

図８は、本発明の一実施形態に係る重畳領域の重畳回数の計算を示す図である。

複数の双眼カメラの配置によってその重畳領域の分布と重畳回数を計算する。１つだけの双眼カメラによりカバーされた領域の重畳回数は、１であり、２つの双眼カメラによりカバーされた領域の重畳回数は、２であり、順次類推する。カメラの内部パラメータと配置情報を知った後、３次元空間におけるどの領域がカメラにカバーされるかは、公知の技術になったため、ここで詳細に述べない。領域の重畳回数の計算を完了させた後、重畳回数をマスク（図８におけるグリッドに示すようなもの）として、外観２次元ヒストグラム又は後述する高さ２次元ヒストグラムに用いることができる。

ステップＳ１６０において、ある検出位置が重畳領域にあるか否かおよび対応する重畳回数によって、当該検出位置に関連付けられた検出パラメータを決定する。

ここでの検出パラメータは、オブジェクトを検出するための検出方法に係るパラメータを意味している。検出パラメータは、用いられる検出方法によって異なる。

一例によれば、物体標準テンプレートと外観２次元ヒストグラムにおけるマッチングすべきオブジェクトをマッチングする方法により検出すると、検出パラメータは、閾値と物体標準テンプレートであってよい。この場合、被検体（検出される物体）と物体標準テンプレートをマッチングし、マッチング程度を決定し、マッチング程度と閾値を比較することで、物体を検出する。

別の例として、物体検出モデルをモデリングするにより物体を検出すると、検出パラメータは、具体的な物体検出モデルに依存する具体的なパラメータであってよい。

ここで、検出方法と検出パラメータについては、本発明において特に制限されなく、いずれかの検出方法と対応する検出パラメータは、本発明、例えば接続領域分析に基づいてオブジェクトを分割して検出する方法などに応用することができる。しかし、以下、説明の便宜上、例として、物体標準テンプレートと外観２次元ヒストグラムにおける検出すべきオブジェクトをマッチングするオブジェクト検出方法を例として、どのように検出パラメータを検出するかを説明する。

なお、物体標準テンプレートについては、一例によって標準物体を描く特徴からなる特徴ベクトル、例えば、標準物体の表面積（単一の値又は決定された値の範囲）、標準物体の高さ範囲、標準物体の外観２次元ヒストグラムのサンプル例えばガウステンプレートなどであると理解できる。より具体的には、一例では、標準物体テンプレートは、簡単に標準物体の表面積に設定されている。

１つの例示的な検出方法では、物体の検出過程は、所定の形状例えば矩形、円形などのマッチングウィンドウで外観２次元ヒストグラムに移動し、マッチングウィンドウ内の領域と物体標準テンプレートのマッチングにより物体を検出する。例えば、人を検出する場合、マッチングウィンドウ内の物体の表面積を計算し、計算された物体の表面積と標準物体の表面積を比較し、差が所定閾値より小さいと、マッチングウィンドウに検出すべきオブジェクト即ち人が存在し、そうでなければ、検出すべきオブジェクトが存在しない。

ここで、検出位置は、マッチングウィンドウ又は検出ウィンドウが現在存在する位置である。

図９は、本発明の実施形態に係る異なる重畳領域の検出パラメータとする物体標準表面積の決定を示す図である。図９に示すように、例えば図８で計算されたマスク（重畳回数）を用いて重畳回数の多い領域に対してより大きい物体標準表面積を用い、逆に重畳回数の少ない領域に対してより小さい物体標準表面積を用いる。

例示的な実施例では、検出位置に関連付けられた検出パラメータは、標準物体の表面積を示す標準表面積の物体標準テンプレートであり、ある検出位置が重畳領域にあるか否かおよび重畳回数によって当該検出位置に関連付けられた検出パラメータを決定し、具体的に、検出位置がある領域の重畳回数によって当該検出位置に関連付けられた標準表面積を計算し、それによって重畳回数が大きいほど、標準表面積が大きくなる。

上述したように、外観モデルが本質的に観測された表面積を反映するため、複数の双眼カメラの重畳回数の高い領域において通常取得された人の表面積は、重畳回数の少ない領域と非重畳領域より大きい。人を検出する場合、重畳領域の重畳回数によって異なる物体テンプレート、即ち異なる物体標準表面積を用いて、それによって１つの領域に対応する重畳回数が大きいほど、物体標準表面積も対応してより大きくなる。

例示的な実施例では、式（３）、（４）で物体標準表面積を計算する。

その中、Ａｒｅａ_iは、検出位置ｉに対応する物体標準表面積を示し、Ｏｖｅｒｌａｐ₋ｖａｌｕｅ_ｉは、検出位置ｉに対応する重畳回数を示し、１、２、３、…などであり、ｆ（Ｏｖｅｒｌａｐ₋ｖａｌｕｅ_ｉ）は、値がＯｖｅｒｌａｐ₋ｖａｌｕｅ_ｉに伴って単調に増加する正関数を示し、同時にｆ（１）＝１を満たす。Ｓｔｄ₋Ａｒｅａは、重畳しない又は重畳回数が１である領域に対応する物体標準表面積を示し、Ｗ₋ａｖｇは、物体の平均幅であり、検出オブジェクトが人である場合に約４０ｃｍにすることができ、Ｈ₋ａｖｇは、物体の平均高さであり、検出オブジェクトが人であると約１７０ｃｍであり、ここで物体の標準表面積は、物体の平均幅と物体の平均高さの積の１／４で推定され、これは、単一のカメラが物体を斜めに撮影する時に遮蔽が存在するなどを考える一般的な場合で、物体表面積を経験的に推定する例である。

１つのより具体的な実施形態によれば、式（５）で物体標準表面積を計算する。

その中、ｓｉｇｍｏｉｄ関数は、１つの良い閾値関数であり、連続、円滑かつ厳密、単調である。一例によれば、その数式は、式（６）に示すようなものであってよい。

なお、前記物体標準表面積の計算に用いられた式（３）−（６）は、例だけであるが、本発明は、これに限られるものではなく、需要に応じて様々な式を設計し、例えば一例では、式（３）に対してｆ（１）＝１を要求しなく、要求がなくてもよく、又は他の値例えばｆ（１）＝０．５と要求され、この場合、それに応じて式（６）を、例えば係数２を除去するなどのように調整してもよい。

なお、以上調整された検出パラメータを物体標準表面積とすることを例として説明したが、これは、例だけであるが、本発明は、これに限られるものではない。例えば、調整された検出パラメータは、物体テンプレートと検出すべきオブジェクトとのマッチング程度（又は相違度）を判定する時に用いられる閾値であってよい。また、上述したように、検出パラメータは、検出方法に応じて異なってもよい。

図２に戻り、ステップＳ１６０において検出パラメータを決定した後、ステップＳ１７０に進む。

ステップＳ１７０において、決定された検出パラメータに基づいて、外観２次元ヒストグラムを用いて物体を検出する。

上述したように、検出方法は、所定のものであり、かつステップＳ１６０の操作により検出方法に係る検出パラメータを決定した場合、決定された検出パラメータに基づいて、所定の検出方法により外観２次元ヒストグラムを用いて物体を検出することができる。

一実施例によれば、決定された検出パラメータは、各検出位置に対応する物体標準テンプレートであり、より具体的に、物体標準表面積である。この場合、検出過程は、所定の形状例えば矩形、円形などのマッチングウィンドウで外観２次元ヒストグラムに移動し、マッチングウィンドウが位置する検出位置を決定し、さらに当該検出位置に関連付けられた物体標準表面積を決定し、その後マッチングウィンドウ内の領域と決定された物体標準表面積をマッチングさせ、より具体的には、例えば、人を検出する場合、マッチングウィンドウ内の物体表面積を計算し、計算された物体表面積と決定された物体標準表面積（標準的な人の表面積）を比較し、両者間の差の絶対値が所定閾値より小さいと、マッチングウィンドウ内に検出すべきオブジェクト即ち人が存在し、そうでなければ、人が存在しない。

別の実施例によれば、決定された検出パラメータは、各検出位置に対応する閾値である。検出過程は、所定の形状例えば矩形、円形などのマッチングウィンドウで外観２次元ヒストグラムに移動し、マッチングウィンドウが位置する検出位置を決定し、さらに当該検出位置に関連付けられた閾値を決定し、即ち、この例では、物体標準テンプレートが全体の外観２次元ヒストグラムに統一的ものであるが、閾値が検出位置に応じて異なる可能性があり、その後マッチングウィンドウ内の領域と物体標準テンプレートをマッチングさせ、より具体的に例えば、人を検出する場合、マッチングウィンドウ内の物体表面積を計算し、物体表面積と標準的な人の表面積との差の絶対値を計算し、当該差の絶対値と前記決定された当該検出位置に関連付けられた閾値を比較し、当該差の絶対値が対応する閾値より小さいと、マッチングウィンドウ内に検出すべきオブジェクト即ち人が存在し、そうでなければ人が存在しない。

なお、上記の検出方法と検出パラメータは、例だけであるが、本発明は、これに限られるものではなく、実際には本発明の実施形態に係る外観２次元ヒストグラムを用いて物体を検出することができるいかなる物体検出方法と関連する検出パラメータは、いずれも本発明に用いられることができ、例えば物体検出モデルをモデリングする場合、検出方法は、物体検出モデリング方法であり、検出が物体検出モデルに依存する具体的なパラメータであり、更に例えば、分類器例えば決定木、サポートベクターマシンなどにより物体を分類して物体を検出する場合、検出パラメータは、分類器と関連するパラメータなどであってよい。

物体例えば人を検出した後、検出された人の位置および／又は他の情報を出力でき、それによって人に対する位置決めを実現し、これにより人へプロアクティブなサービスを提供およびプッシュすることができる。

本発明の前記実施形態に係る物体検出方法は、少なくとも次の利点を持つ。

（１）、複数のステレオカメラで撮影して取得された画像の前景を抽出して融合することで、結果セットを融合する従来技術に比べて、より多くの元の情報と特徴を保存し、同時に、生データセット即ち画素セットを融合する従来技術に比べて、データ量を著しく低減して、ネットワーク伝送と処理を容易にし、これにより情報損失とネットワーク伝送と処理のオーバーヘッドにおいて良いバランスを見つけた。

（２）、関連領域の重畳回数によって検出パラメータを決定および／又は調整し、このような検出パラメータに基づいて検出することで、遮蔽の影響を低減し、エラー率を低下させ、物体の検出率と位置決めの精度を向上させることができる。

［３、外観２次元ヒストグラムと高さ２次元ヒストグラムに基づく物体検出方法（第２の実施形態）］
以上、外観２次元ヒストグラムを用いて物体を検出することを説明したが、高さ２次元ヒストグラムを組み合わせて用いて物体を検出することもでき、以下、高さ２次元ヒストグラムの意義、取得方法を説明する。

図１０は、本発明の第２の実施形態に係る物体検出方法２００を示す全体的なフローチャートである。

以下、図１０を参照して、本発明の第２の実施形態に係る物体検出方法２００を説明し、外観２次元ヒストグラムだけでなく、高さ２次元ヒストグラムを用いて物体を検出する。

図１０に示す第２の実施形態に係る物体検出方法２００と図２に示す第１の実施形態に係る物体検出方法１００の違いは、ステップＳ２４０およびステップ２８０とＳ２９０を加えたことにある。その他のステップＳ２１０−Ｓ２３０、Ｓ２５０−Ｓ２７０が図２の対応するステップＳ１１０−Ｓ１３０、Ｓ１５０−Ｓ１７０と類似し、その実現および機能について図２の対応するステップを参照して説明することができ、ここで更に繰り返して説明しない。

ステップＳ２４０とステップＳ１４０の違いは、融合された前景から外観２次元ヒストグラムを計算して取得する以外、高さ２次元ヒストグラムを取得することにある。

検出オブジェクトが人である場合、高さ２次元ヒストグラムは、人の高さ分布状況を説明し、各垂直ｂｉｎ内の最高の高さを示す。

図１１は、本発明の一実施形態に係る融合された前景から計算して外観２次元ヒストグラムと高さ２次元ヒストグラムの両者を取得する方法２４０を示すフローチャートであり、当該方法２４０は、図１０のステップＳ２４０に用いられることができる。

図１１に示す方法２４０と図６に示す方法１４０の違いは、高さ２次元ヒストグラムを計算するステップ、即ちＳ２４５とＳ２４６を加えたことにある。その他のステップは、図６の対応するステップと類似し、ここで更に繰り返して説明しない。

ステップＳ２４５において、各垂直ｂｉｎ内の前景点の最高値を統計する。ステップＳ２４６において高さ２次元ヒストグラム（高さモデル２次元ヒストグラムとも称される）を取得した。

図１２は、本発明の実施形態に係る平面図に基づく高さ２次元ヒストグラムを示す図であり、その中の白い斑点が個々の人の高さ二次元ヒストグラムである。

図１２から分かるように、重畳領域又は非重畳領域に、各ｂｉｎの最高値が基本的に一致し、即ち人の高さ分布が基本的に類似する。

図７と図１２を纏めて、２つの結論を導き出すことができる。

１）重畳領域において、より多くの双眼カメラが人を観測できるため、取得された人の表面積が非重畳領域の人の表面積がより大きい。

２）重畳領域において、より多くの双眼カメラが人を観測できるが、人の高さ自体が変化しなく、そのため、人の高さ２次元ヒストグラムが非重畳領域に取得される高さ２次元ヒストグラムと類似する。

したがって、外観２次元ヒストグラムを用いて物体を検出する場合、関連する検出パラメータを調整する必要があるが、高さ２次元ヒストグラムを用いて物体を検出する場合、検出パラメータを調整する必要がない。

図１０に戻り、ステップＳ２４０の後、図２と類似して、ステップＳ２５０において、各領域の重畳回数を決定し、ステップＳ２６０において、検出位置の所在領域の重畳回数に基づいて、検出位置に関連付けられた検出パラメータを決定し、ステップＳ２７０において、決定された検出パラメータに基づいて、外観２次元ヒストグラムを用いて物体を検出する。

ステップＳ２８０において、高さ２次元ヒストグラムを用いて物体を検出し、高さ２次元ヒストグラムを用いて物体を検出する期間に用いられた、高さ２次元ヒストグラムに関連付けられた検出パラメータが、検出位置が重畳領域にあるか否かおよび重畳回数に関わらない。

一つの例示的な実施形態では、人を検出することを例として、検出すべき領域内の平均高さを計算して当該領域の高さを示すことができ、その後当該高さが所定の人の高さ範囲に入るかどうかを確認し、入ったなら、当該検出すべき物体が人であり、そうでなければ、当該検出すべき物体が人ではない。

もちろん、これは、単なる例であるが、需要に応じてより複雑な検出方法を用いることができ、例えば１つの例示的な方法で、平均高さが所定の高さ範囲に入るかどうかを判定することだけでなく、高さの標準偏差が所定の高さ偏差範囲に入るかどうかを判定する。さらに例えば、検出すべき領域のパターンと人の標準な高さ２次元ヒストグラムパターン（ｐａｔｔｅｒｎ）をマッチングすることで当該領域内に人が存在するか否かを判定するなどのような、形状をマッチングすることで検出することができる。

しかし、上記の様々な、高さ２次元ヒストグラムに基づいて物体を検出することは、それに係る検出パラメータと検出位置が重畳領域にあるか否かおよび重畳回数に関わらない共通性を持っている。

もちろん、当該検出結果は、０と１の２つの値ではなくてもよく、代わりに、人の信頼度（又は確率）を示すことができる。

ステップＳ２９０において、検出結果を組み合わせ、即ちステップＳ２７０の外観２次元ヒストグラムに基づく物体検出結果とステップＳ２８０の高さ２次元ヒストグラムに基づく物体検出結果を組み合わせて、最終の検出結果を取得する。

組み合わせ方法は、ステップＳ２７０とＳ２８０の出力によって異なることができ、そして需要に応じて設計されることができる。例えば、ステップＳ２７０とステップＳ２８０の検出結果がいずれも人の信頼度を示す場合、両者を重み付けて組み合わせることで最後の信頼度を取得し、そして当該最後の信頼度と所定の信頼度閾値を比較して人であるかを判定することができる。

又は、ルールに基づいて検出結果を組み合わせることができ、例えば、１つのルールは、外観２次元ヒストグラムに基づく検出結果と高さ２次元ヒストグラムに基づく検出結果がいずれも人であることを示す場合だけで、人を検出したことを判定するなどである。

人を検出した後、検出された人の位置情報および／又は他の情報を出力でき、それによって人の位置決めを実現して、人へプロアクティブなサービスを提供およびプッシュすることができるようにする。

本発明の第２の実施形態に係る物体検出方法により、さらに物体の検出精度を向上し、位置決め精度を高めることができる。

［４、高さ２次元ヒストグラムに基づく物体追跡方法（第３の実施形態）］
上述したように、物体の高さがステレオカメラの数量と配置の影響を受けないため、高さ２次元ヒストグラムを用いて物体を追跡することができる。

図１３は、本発明の一実施形態に係る２次元ヒストグラムを用いて物体を追跡する方法３００を示すフローチャートである。

図１３に示すように、ステップＳ３１０において、前記３次元の世界座標系において融合された前景からｘｚ平面上の高さ２次元ヒストグラムを計算して取得し、各垂直体内の前景点のうちの高さの最大の前景点の高さを統計することで各垂直体内の最高の高さを示す高さ２次元ヒストグラムを取得する。ここで、既に統一的３次元の世界座標系において融合された前景を取得したと仮定し、取得方法について、図２のステップＳ１１０−Ｓ１３０を参照して組み合わせることができる。高さ２次元ヒストグラムについての取得方法は、図１１の右側の分岐を参照することができる。

次に、高さ２次元ヒストグラムを用いて物体を追跡する。

具体的には、ステップＳ３２０において、高さ２次元ヒストグラムから特徴を抽出する。

一例では、追跡用の３つの特徴が定義され、第１の特徴は、高さ２次元ヒストグラムに対応する高さマスクであり、その中、高さ２次元ヒストグラムのある点の値が所定閾値より大きいと、当該点に対応する高さマスクが第１の値となり、そうでなければ、当該点に対応する高さマスクが第２の値にとなり、第１の値が第２の値より大きく、例えば、第１の値が２５５であり、第２の値が０であり、閾値が経験によって例えば９０ｃｍにデフォルトで決定されることができ、又は学習により取得されることができ、第２の特徴は、候補物体の平均高さを示す平均高さ、例えば、矩形のマッチングウィンドウ内の平均高さである。第３の特徴は、候補物体の位置情報、例えば矩形のマッチングウィンドウの中心位置、即ち平面図での座標（ｘ，ｚ）である。

ステップＳ３３０において、物体が異なる重畳領域の境界に位置するか否かを判定する。例えば、マッチングウィンドウが移動する過程においてウィンドウに対応する重畳回数の変化によって、物体が異なる重畳領域の境界に位置するか否かを判定することができる。

ステップＳ３４０において、判定結果によって異なる特徴を用いて追跡する。物体が異なる重畳領域の境界に位置すると判定した場合、前記第２の特徴と第３の特徴即ち平均高さと位置（ｘ，ｚ）に基づいて物体を追跡する。物体が異なる重畳領域の境界に位置しないと判定した場合、前記第１の特徴、第２の特徴と第３の特徴即ち高さマスク、平均高さと位置（ｘ，ｚ）に基づいて物体を追跡する。

ここで前記追跡は、共通の追跡アルゴリズム、例えばＭｅａｎＳｈｉｆｔアルゴリズム、カルマンフィルタ又は粒子フィルタを用いて実現することができる。ここで、追跡される特徴は、通常の色／グレーヒストグラム、縁などではなく、高さマスク、平均高さと位置であり、かつ物体が異なる領域の境界に位置する場合、特徴が調整される。

物体が非境界領域に位置し、同時に３つの特徴を用いることを例として、どのように特徴を用いるかを説明する。オブジェクトの高さマスクテンプレートがＴ_Ｈであり、平均高さテンプレートがＴ_{Ｈ＿ａｖｇ}であり、オブジェクトの位置テンプレートがＴ_{ｐｏｓｉｔｉｏｎ}であり、これらの情報は、最近の歴史的なフレーム画像の追跡後で決定される。現在のフレームにおいて、測定して得たオブジェクトの高さマスクがＴ_ｍａｓｋに示され、オブジェクトの平均高さがＴ_ａｖｇであり、オブジェクトの位置がＰ_ｘ，ｚである。式（７）によって、測定して得たオブジェクトが歴史的なフレームの結果とマッチングするか否かを判定し、マッチングした場合、追跡が成功した。

その中、Ｍ_{ｖａｌｕｅ}が計算されたマッチング値であり、ある所定の閾値より小さいと、追跡が成功したことを考えることができ、α、βとγが上記の３つの特徴の重みであり、実験によって決定することができ、そのデフォルト値がそれぞれ１．０、０．７、９．０であり、ＳＡＤがＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ、即ち絶対値差分の和であり、その詳細な説明について、http://en.wikipedia.org/wiki/Sum_of_absolute_differencesを参照できる。

同様に、式（７）を、例えば高さマスクの項を除去するように簡単に変更して境界領域に２つの特徴を用いて追跡することができる。

図１４は、本発明の実施形態に係る重畳領域の重畳回数によって追跡特徴を変更することを示す図である。その中のグリッドは、高さマスクを示し、その中の矢印１が人が重畳領域の境界を跨いで重畳回数の小さい領域から重畳回数の大きい領域へ移動していることを示し、その中の矢印２が人が重畳領域の境界を跨いで重畳回数の大きい領域から重畳回数の小さい領域へ移動していることを示す。

様々な方法により追跡結果、例えば追跡された人および位置情報を出力することができる。

また、発明者は、全体の追跡過程で、人がどの位置にいるかに関わらず、平均高さ特徴と位置特徴の変換が漸進的な過程であると発見した。しかし、高さマスクが重畳領域の境界に大きく変化する。具体的には、人が重畳回数の大きい領域へ移動すると、その高さマスク範囲が大きくなり、人が重畳回数の小さい領域へ移動すると、その高さマスク範囲が小さくなる。

このため、発明者は、高さマスクの変化傾向により物体の追跡を支援することができると考えている。

一例によれば、高さ２次元ヒストグラムに基づいて追跡する過程で、物体が異なる重畳領域の境界に位置すると判定した場合、高さマスクの変化傾向が所期の高さマスクの変化傾向に合致するか否かを判定する。高さマスクの変化傾向が所期の高さマスクの変化傾向に合致しないと判定した場合、今回の追跡が失敗したことを判定する。一例によれば、前記所期の高さマスクの変化傾向は、物体が境界を通じて重畳回数の高い領域に入ると、その高さマスク範囲が大きくなり、物体が境界を通じて重畳回数の低い領域に入ると、その高さマスク範囲が小さくなることができる。

［５、物体検出装置］
図１５は、本発明の一実施形態に係る例示的な物体検出装置５０００を示す機能構成ブロック図である。

物体検出装置５０００は、所定の空間に配置された複数のステレオカメラで取得された画像を処理し、物体を検出および／又は追跡することに用いられる。

図１５に示すように、物体検出装置５０００は、複数のステレオカメラで物体を撮影して、当該物体の複数の奥行き画像を取得するマルチ奥行き画像取得部５１００と、各奥行き画像から前景を抽出し、各奥行き画像の前景がそれぞれの画像座標系を有する前景抽出部５２００と、ｘ、ｙ、ｚ方向の直交座標で定義された統一的３次元の世界座標系において、物体がｘ、ｚ軸によって限定されたｘｚ平面に立つことになるように、各前景を融合する前景融合部５３００と、前記３次元の世界座標系において融合された前景からｘｚ平面上の外観２次元ヒストグラムを計算して取得し、当該外観２次元ヒストグラムが、前記３次元の世界座標系において融合された前景をｙ方向に沿って延伸する垂直体に分割し、各垂直体における前景点の個数を統計することで、各垂直体における前景点の個数を示す外観２次元ヒストグラムを取得するように処理して取得される外観２次元ヒストグラム計算部５４００と、当該複数のステレオカメラの配置によって、対応する奥行き画像のｘｚ平面における重畳領域を決定し、そして重畳回数を決定する重畳回数決定部５５００と、ある検出位置が重畳領域にあるか否かおよび対応する重畳回数によって、当該検出位置に関連付けられた検出パラメータを決定する検出パラメータ決定部５６００と、決定された検出パラメータに基づいて、外観２次元ヒストグラムを用いて物体を検出する物体検出部５７００と、を含む。

前記物体検出装置５０００の各機能部材５１００〜５７００の操作について図２に示すフローチャートおよび関連する説明を参照でき、ここで更に繰り返して説明しない。

［６、システムのハードウェア構成］
本発明は、物体検出（追跡）ハードウェアシステムにより実施されることもできる。図１６は、本発明の実施形態に係る物体検出（追跡）システム１０００を示す全体的なハードウェアブロック図である。図１６に示すように、物体検出システム１０００は、外部から関連する画像又は情報、例えば複数のステレオカメラで撮影された画像又はビデオストリーム、所定空間のサイズ、カメラの各種の内部パラメータと外部パラメータ例えば位置などを入力することに用いられ、例えばキーボード、マウス、および通信ネットワークおよびそれに接続された遠隔用入力装置などを含むことができる入力装置１１００と、前記本発明の実施形態に係る物体検出方法又は前記物体検出装置を実施することに用いられ、例えばコンピュータの中央処理装置又は他の処理能力を持つチップなどを含むことができ、インターネットのようなネットワーク（示されない）に接続され、処理過程の需要に応じて処理後の画像などを遠隔伝送することができる処理装置１２００と、前記物体検出（追跡）過程を実施して取得された結果を外部へ出力することに用いられ、例えば表示器、プリンタ、および通信ネットワークおよびそれに接続された遠隔用出力装置などを含むことができる出力装置１３００と、前記物体検出（追跡）過程に係る３次元画像、空間のサイズ、カメラのパラメータ、外観２次元ヒストグラム、高さ２次元ヒストグラム、物体標準テンプレート、閾値などのようなデータを発揮又は不発揮で記憶することに用いられ、例えばランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ハードディスク、又は半導体メモリなどの様々な発揮性又は不発揮性メモリを含むことができる記憶装置１４００と、を含むことができる。

［７、まとめ］
本発明の一実施形態に係る物体検出方法は、複数のステレオカメラで物体を撮影して、当該物体の複数の奥行き画像を取得するステップと、各々画像座標系を有する前景を各奥行き画像から抽出するステップと、ｘ、ｙ、ｚ方向の直交座標で定義された統一的３次元の世界座標系において、物体がｘ、ｚ軸によって限定されたｘｚ平面に立つことになるように、各前景を融合するステップと、前記３次元の世界座標系において融合された前景からｘｚ平面上の外観２次元ヒストグラムを計算して取得するステップであって、当該外観２次元ヒストグラムが、前記３次元の世界座標系において融合された前景をｙ方向に沿って延伸する垂直体に分割し、各垂直体における前景点の個数を統計することで、各垂直体における前景点の個数を示す外観２次元ヒストグラムを取得する処理によって得られるステップと、当該複数のステレオカメラの配置によって、対応する複数の奥行き画像のｘｚ平面における重畳領域を決定するとともに、重畳回数を決定するステップと、ある検出位置が重畳領域にあるか否か、及び対応する重畳回数によって、当該検出位置に関連付けられた検出パラメータを決定するステップと、決定された検出パラメータに基づいて、外観２次元ヒストグラムを用いて物体を検出するステップと、を含んでもよい。

本発明の別の実施形態に係る物体検出装置は、複数のステレオカメラで物体を撮影して、当該物体の複数の奥行き画像を取得するマルチ奥行き画像取得部と、各奥行き画像からそれぞれの画像座標系を有する前景を抽出する前景抽出部と、ｘ、ｙ、ｚ方向の直交座標で定義された統一的３次元の世界座標系において、物体がｘ、ｚ軸によって限定されたｘｚ平面に立つことになるように、各前景を融合する前景融合部と、前記３次元の世界座標系において融合された前景からｘｚ平面上の外観２次元ヒストグラムを計算して取得し、当該外観２次元ヒストグラムを、前記３次元の世界座標系において融合された前景をｙ方向に沿って延伸する垂直体に分割し、各垂直体における前景点の個数を統計することで、各垂直体における前景点の個数を示す外観２次元ヒストグラムを取得する処理によって取得する外観２次元ヒストグラム計算部と、当該複数のステレオカメラの配置によって、対応する複数の奥行き画像のｘｚ平面における重畳領域を決定するとともに、重畳回数を決定する重畳回数決定部と、ある検出位置が重畳領域にあるか否か、及び対応する重畳回数によって、当該検出位置に関連付けられた検出パラメータを決定する検出パラメータ決定部と、決定された検出パラメータに基づいて、外観２次元ヒストグラムを用いて物体を検出する物体検出部と、を含んでもよい。

本発明の実施形態に係る物体検出方法および装置によれば、遮蔽の影響を除去又は軽減して、より正確で、できるだけ多くオブジェクトを検出することができる。

上記の説明は、例示に過ぎず、多くの変更および/又は入れ替えが可能である。

以上の図面と説明においてステレオカメラが双眼カメラであることを例として説明したが、本発明は、これに限られるものではなく、いかならステレオカメラに適用してもよい。

以上の例示的な説明では人を検出目標とする。しかし、これは、一例だけであるが、本発明は、これに限られるものではなく、いかなる物体、例えば動物、椅子などを検出目標としてもよい。

以上の例示的な説明では、人が地面に立つと仮定するが、本発明は、これに限られるものではなく、検出オブジェクトが任意に配置されてもよく、必ず地面に位置しない。

以上の例示的な説明では、平面図中の外観２次元ヒストグラムを処置オブジェクトとするが、これは、一例に過ぎず、本発明は、これに限られるものではなく、任意の方向の外観２次元ヒストグラムを処理オブジェクトとしてもよく、例えば側面図中の外観２次元ヒストグラムを処理オブジェクトとしてもよい。また、処理オブジェクトは、必ず外観２次元ヒストグラムではなく、高さ２次元ヒストグラムなどであってもよい。

以上の例示的な説明では、用語の奥行き画像は、広義に理解されるべきであり、距離情報を含むいかなる画像、例えば視差画像などは、いずれも本発明の目的に用いてもよい。

以上、具体的な実施形態を組み合わせて本発明の基本原理を説明したが、本分野の当業者に対して、本発明の方法および装置の全部又はいかなるステップ又は部材がいかなら計算装置（プロセッサ、記憶媒体などを含む）又は計算装置のネットワークにおいて、ハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせで実現されることができると説明すべきであり、これは、本分野の当業者が本発明の説明を読んだ場合彼らの基本的なプログラミングスキルを用いて実現することができるものである。

従って、本発明の目的は、いかなる計算装置に１つのプログラム又は１組のプログラムを実行することで実現されることもできる。前記計算装置は、公知の汎用装置であってよい。そのため、本発明の目的は、前記方法又は装置を実現するプログラムコードが含まれるプログラム製品を提供することだけで実現されてもよい。つまり、このようなプログラム製品も本発明を構成し、かつこのようなプログラムが記憶されている記憶媒体も本発明を構成する。明らかに、前記記憶媒体は、いかなる公知の記憶媒体又は未来開発されるいかなる記憶媒体であってよい。

また、本発明の装置および方法では、明らかに、各部材又は各ステップは、分解および／又は統合することができると説明すべきである。これらの分解又は統合は、本発明の等価スキームと見なされるべきであり、例えば図１０に示すステップＳ２４０は、独立した外観２次元ヒストグラムの取得と高さ２次元ヒストグラムの取得に分解されてもよい。更に、上記の一連の処理を実行するステップは、自然に説明する順番で時系列に実行されることができるが、必ずしも時系列に従って順次実行する必要がない。いくつかのステップは、並列的あるいは互いに独立して実行されることができ、例えば、図１０に示す外観２次元ヒストグラムに基づく物体検出と高さ２次元ヒストグラムに基づく物体検出は、需要に応じていかなら順番で実行されてもよい。

上記の具体的な実施形態は、本発明の保護範囲に対する制限を構成されるものではない。本分野の当業者は、設計要求と他の範囲に依存し、様々な変更、統合、サブ統合と入れ替わりが発生できると理解すべきである。本発明の精神と原則内で行われたいかなる改修、同等入れ替わり、改良等が、本発明の保護範囲以内に含まれるべきである。

ＵＳ８００９８７１ＢＵＳ５２０２９２８ＡＵＳ７９２９０１７Ｂ２ＵＳ７７４２６２０Ｂ２

「ＳｔｅｒｅｏＰｅｒｓｏｎＴｒａｃｋｉｎｇｗｉｔｈＡｄａｐｔｉｖｅＰｌａｎ−ＶｉｅｗＴｅｍｐｌａｔｅｓｏｆＨｅｉｇｈｔａｎｄＯｃｃｕｐａｎｃｙＳｔａｔｉｓｔｉｃｓ」ＭｉｃｈａｅｌＨａｒｖｉｌｌｅ、２００３年

Claims

複数のステレオカメラで物体を撮影して、当該物体の複数の奥行き画像を取得するステップと、
各々画像座標系を有する前景を各奥行き画像から抽出するステップと、
ｘ、ｙ、ｚ方向の直交座標で定義された統一的３次元の世界座標系において、物体がｘ、ｚ軸によって限定されたｘｚ平面に立つことになるように、各前景を融合するステップと、
前記３次元の世界座標系において融合された前景からｘｚ平面上の外観２次元ヒストグラムを計算して取得するステップであって、当該外観２次元ヒストグラムが、前記３次元の世界座標系において融合された前景をｙ方向に沿って延伸する垂直体に分割し、各垂直体における前景点の個数を統計することで、各垂直体における前景点の個数を示す外観２次元ヒストグラムを取得する処理によって得られるステップと、
当該複数のステレオカメラの配置によって、対応する複数の奥行き画像のｘｚ平面における重畳領域を決定するとともに、重畳回数を決定するステップと、
ある検出位置が重畳領域にあるか否か、及び対応する重畳回数によって、当該検出位置に関連付けられた検出パラメータを決定するステップと、
決定された検出パラメータに基づいて、外観２次元ヒストグラムを用いて物体を検出するステップと、を含む、物体検出方法。
前記検出パラメータを決定するステップで決定された検出パラメータは、閾値及び／又は物体標準テンプレートであり、検出される物体と物体標準テンプレートとをマッチングし、マッチング程度を決定し、マッチング程度と閾値とを比較することで、物体を検出する、請求項１に記載の物体検出方法。
前記３次元の世界座標系において融合された前景からｘｚ平面上の高さ２次元ヒストグラムを計算して取得するステップであって、各垂直体における前景点のうちの高さが最大の前景点の高さを統計することで各垂直体における最大の高さを示す高さ２次元ヒストグラムを取得するステップと、
高さ２次元ヒストグラムから特徴を抽出し、
物体が異なる重畳領域の境界に位置するか否かを判定し、
判定結果によって、異なる特徴を用いて追跡することを含む、高さ２次元ヒストグラムを用いて物体を追跡するステップと、をさらに含む、請求項１に記載の物体検出方法。
高さ２次元ヒストグラムにおけるある点の値が所定閾値より大きいと、当該点に対応する高さマスクが第１の数値となり、そうでなければ、当該点に対応する高さマスクが第１の数値よりも小さい第２の数値となる、該高さ２次元ヒストグラムに対応する高さマスクを表す第１の特徴と、候補物体の平均高さを示す平均高さである第２の特徴と、候補物体の位置情報である第３の特徴の、３つの追跡用の特徴を定義するステップをさらに含み、
判定結果によって、異なる特徴を用いて追跡するステップは、
物体が異なる重畳領域の境界に位置すると判定した場合、前記第２の特徴と第３の特徴に基づいて物体追跡を行い、
物体が異なる重畳領域の境界に位置しないと判定した場合、前記第１の特徴、第２の特徴及び第３の特徴に基づいて物体追跡を行うことを含む、請求項３に記載の物体検出方法。
物体が異なる重畳領域の境界に位置すると判定した場合、高さマスクの変化傾向が所期の高さマスクの変化傾向に合致するか否かを判定するステップと、
高さマスク変化傾向が所期の高さマスク変化傾向に合致しないと判定した場合、今回の追跡は失敗したと判定するステップと、をさらに含む、請求項４に記載の物体検出方法。
前記所期の高さマスクの変化傾向は、物体が境界を通じて高い重畳回数の領域に入ると、その高さマスク範囲が大きくなり、物体が境界を通じて低い重畳回数の領域に入ると、その高さマスク範囲が小さくなる、請求項５に記載の物体検出方法。
前記検出位置に関連付けられた検出パラメータは、標準物体の表面積を示す標準表面積の物体標準テンプレートであり、
ある検出位置が重畳領域にあるか否か及び重畳回数によって、当該検出位置に関連付けられた検出パラメータを決定するステップは、
重畳回数が大きいほど、標準表面積が大きくなるように、検出位置の所在領域の重畳回数によって当該検出位置に関連付けられた標準表面積を計算することを含む、請求項１に記載の物体検出方法。
前記３次元の世界座標系において融合された前景からｘｚ平面上の高さ２次元ヒストグラムを計算して取得するステップであって、各垂直体における前景点のうち高さが最大の前景点の高さを統計することで、各垂直体における最大の高さを示す高さ２次元ヒストグラムを取得するステップと、
高さ２次元ヒストグラムを用いて物体を検出するステップであって、高さ２次元ヒストグラムによる物体検出期間に用いられる、高さ２次元ヒストグラムに関連付けられた検出パラメータが、検出位置が重畳領域にあるか否か及び重畳回数には依存しない、ステップと、をさらに含む、請求項１に記載の物体検出方法。
前記ｘ、ｙ、ｚ方向の直交座標で定義された統一的３次元の世界座標系において、各前景を融合するステップは、
異なるステレオカメラからの前景点が物理的世界における同一の点に属するか否かを判定し、
異なるステレオカメラからの前景点が同一の点ではないと判定した場合、直接それらを統一的世界座標系における前景点とし、
異なるステレオカメラからの前景点が同一の点であると判定した場合、異なるステレオカメラからの前景点の座標値の重み付け合計を計算することで、統一的世界座標系における前景点の座標値を取得する、ことを含み、
当該前景点の座標値の重みは、異なるステレオカメラからの前景点における各前景点の自身のステレオカメラとの距離によって、距離が近いほど、重みが高くなるように、決定されたものである、請求項１に記載の物体検出方法。
複数のステレオカメラで物体を撮影して、当該物体の複数の奥行き画像を取得するマルチ奥行き画像取得部と、
各奥行き画像からそれぞれの画像座標系を有する前景を抽出する前景抽出部と、
ｘ、ｙ、ｚ方向の直交座標で定義された統一的３次元の世界座標系において、物体がｘ、ｚ軸によって限定されたｘｚ平面に立つことになるように、各前景を融合する前景融合部と、
前記３次元の世界座標系において融合された前景からｘｚ平面上の外観２次元ヒストグラムを計算して取得し、当該外観２次元ヒストグラムを、前記３次元の世界座標系において融合された前景をｙ方向に沿って延伸する垂直体に分割し、各垂直体における前景点の個数を統計することで、各垂直体における前景点の個数を示す外観２次元ヒストグラムを取得する処理によって取得する外観２次元ヒストグラム計算部と、
当該複数のステレオカメラの配置によって、対応する複数の奥行き画像のｘｚ平面における重畳領域を決定するとともに、重畳回数を決定する重畳回数決定部と、
ある検出位置が重畳領域にあるか否か、及び対応する重畳回数によって、当該検出位置に関連付けられた検出パラメータを決定する検出パラメータ決定部と、
決定された検出パラメータに基づいて、外観２次元ヒストグラムを用いて物体を検出する物体検出部と、を含む、物体検出装置。
前記検出パラメータは、閾値及び／又は物体標準テンプレートであり、前記物体検出部は、検出される物体と物体標準テンプレートとをマッチングし、マッチング程度を決定し、マッチング程度と閾値とを比較することで、物体を検出する、請求項１０に記載の物体検出装置。
前記３次元の世界座標系において融合された前景からｘｚ平面上の高さ２次元ヒストグラムを計算して取得する高さ２次元ヒストグラム計算部であって、各垂直体における前景点のうちの高さが最大の前景点の高さを統計することで各垂直体における最大の高さを示す高さ２次元ヒストグラムを取得する高さ２次元ヒストグラム計算部と、
高さ２次元ヒストグラムから特徴を抽出し、
物体が異なる重畳領域の境界に位置するか否かを判定し、
判定結果によって、異なる特徴を用いて追跡することで、高さ２次元ヒストグラムを用いて物体を追跡する追跡部と、をさらに含む、請求項１０に記載の物体検出装置。
高さ２次元ヒストグラムにおけるある点の値が所定閾値より大きいと、当該点に対応する高さマスクが第１の数値となり、そうでなければ、当該点に対応する高さマスクが第１の数値よりも小さい第２の数値となる、該高さ２次元ヒストグラムに対応する高さマスクを表す第１の特徴と、候補物体の平均高さを示す平均高さである第２の特徴と、候補物体の位置情報である第３の特徴の、３つの追跡用の特徴を定義する特徴定義部をさらに含み、
前記追跡部は、
物体が異なる重畳領域の境界に位置すると判定した場合、前記第２の特徴と第３の特徴に基づいて物体追跡を行い、
物体が異なる重畳領域の境界に位置しないと判定した場合、前記第１の特徴、第２の特徴及び第３の特徴に基づいて物体追跡を行う、請求項１２に記載の物体検出装置。
物体が異なる重畳領域の境界に位置すると判定した場合、高さマスクの変化傾向が所期の高さマスクの変化傾向に合致するか否かを判定する変化傾向判定部と、
高さマスク変化傾向が所期の高さマスク変化傾向に合致しないと判定した場合、今回の追跡は失敗したと判定する追跡判定部と、をさらに含む、請求項１３に記載の物体検出装置。
前記所期の高さマスクの変化傾向は、物体が境界を通じて高い重畳回数の領域に入ると、その高さマスク範囲が大きくなり、物体が境界を通じて低い重畳回数の領域に入ると、その高さマスク範囲が小さくなる、請求項１４に記載の物体検出装置。
前記検出位置に関連付けられた検出パラメータは、標準物体の表面積を示す標準表面積の物体標準テンプレートであり、
前記検出パラメータ決定部は、重畳回数が大きいほど、標準表面積が大きくなるように、検出位置の所在領域の重畳回数によって当該検出位置に関連付けられた標準表面積を計算する、請求項１０に記載の物体検出装置。
前記３次元の世界座標系において融合された前景からｘｚ平面上の高さ２次元ヒストグラムを計算して取得する高さ２次元ヒストグラム計算部であって、各垂直体における前景点のうち高さが最大の前景点の高さを統計することで、各垂直体における最大の高さを示す高さ２次元ヒストグラムを取得する高さ２次元ヒストグラム計算部と、
高さ２次元ヒストグラムを用いて物体を検出する検出部であって、高さ２次元ヒストグラムによる物体検出期間に用いられる、高さ２次元ヒストグラムに関連付けられた検出パラメータが、検出位置が重畳領域にあるか否か及び重畳回数には依存しない、検出部と、をさらに含む、請求項１０に記載の物体検出装置。
前記前景融合部は、
異なるステレオカメラからの前景点が物理的世界における同一の点に属するか否かを判定し、
異なるステレオカメラからの前景点が同一の点ではないと判定した場合、直接それらを統一的世界座標系における前景点とし、
異なるステレオカメラからの前景点が同一の点であると判定した場合、異なるステレオカメラからの前景点の座標値の重み付け合計を計算することで、統一的世界座標系における前景点の座標値を取得し、
当該前景点の座標値の重みは、異なるステレオカメラからの前景点における各前景点の自身のステレオカメラとの距離によって、距離が近いほど、重みが高くなるように、決定されたものである、請求項１０に記載の物体検出装置。