JP2001319224A - ３次元物体検出装置と３次元物体検出方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】本発明は３次元物体検出装置及び記録媒体に関
し、物体の距離に影響されることなく、安定した物体の
位置や速度の検出を可能にする。 【解決手段】基本領域検出手段（基本領域検出部４−
１）と、物体面当てはめ手段（物体面当てはめ／物体位
置決定部４−２）と、物体領域判定手段を備え、基本領
域検出手段は、或る近隣範囲に存在する３次元位置情報
をまとめて基本領域とするが、その際、このまとめる近
隣範囲の大きさを、３次元位置により変化する物体の見
かけの大きさに合わせた適切な大きさに設定すること
で、距離情報を過不足なくまとめることを可能にし、そ
の結果として物体位置を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、侵入者検出、車両
（自動車等）位置・速度検出、移動ロボット用ナビゲー
ションなど、距離情報に基づく３次元物体の位置・速度
の検出を行う装置（或いはシステム）に利用され、特
に、何らかの距離計測方法によって３次元位置情報（距
離情報）が与えられた時に、３次元空間の広範囲に存在
し得る３次元物体の位置、形状、移動速度を検出する３
次元物体検出装置と３次元物体検出方法及び記録媒体に
関する。

【０００２】

【従来の技術】以下、従来例について説明する。

【０００３】§１：従来例１ 従来より、距離情報を利用して物体の位置を検出する方
法が幾つか提案されている。それらを大別すると、（Ａ
１）：距離情報のみを利用してその距離分布の集合を検
出することで物体を得る方法と、（Ａ２）：距離情報と
画像情報の両者を必ず用いる方法とがある。以下、これ
らの方法について説明する。

【０００４】(1) ：（Ａ１）の説明 前記（Ａ１）の代表として、実吉ら「ステレオ画像を用
いた運転支援のための前方状況認識システム」、電子情
報通信学会、技術研究報告、ＰＲＭＵ９７−２５〜３
６、ｐｐ．３９−４６の方法を説明する。

【０００５】この方法では、先ず、車両の前方の路上情
景を２つのカメラで観測して、２つの画像より両眼立体
視により距離情報（距離画像）を取得する。得られた距
離画像を、次に定めるように短冊状の領域群に分割す
る。領域は、予め定めた小さな幅で、高さは事前に取得
したカメラの配置情報と路面位置情報の関係から、路面
の上部だけを含むような高さを持つように設定する。

【０００６】そして、それぞの領域毎に、含まれる距離
情報を用いて奥行きを横軸にとり頻度を縦軸にとる奥行
きのヒストグラムを作成し、ヒストグラムのピーク位置
より短冊領域を代表する距離を定める。次に、隣接する
領域群で距離の近いものをまとめて領域グループを作成
する。

【０００７】そして、得られたグループの３次元空間で
の傾きを調べて、観測方向に対して垂直に近ければ車両
の後方面とし、観測方向に平行に近ければ車両側面と分
類する。更に、この前面と側面の位置関係による組み合
わせにより車両位置、形状を検出する。

【０００８】(2) ：（Ａ２）の説明 前記（Ａ２）の距離情報と画像情報を必ず用いて物体を
検出する方法を、下村倫子ら「ステレオ視差と先行車の
高さ変化を用いた車間距離計測のばらつき低減に関する
考察」、電子情報通信学会技術研究報告、ＰＲＭＵ９８
−９２〜１０５、ｐｐ．２１−２８を例に説明する。

【０００９】この方法では、先ず、車両の前方の路上情
景を左右２つのカメラで観測して２つの画像を得る。一
方の画像より白線を検出して自車両の走行領域を得て、
その中に含まれる明確で長い水平線で最も下方に位置す
るものを車両下端として得る。そして、下端線の上部に
下端線の幅を持つテンプレートと呼ぶ一定の大きさを持
つ領域を定めて、他方画像を探索してテンプレート領域
と輝度パターンが最も類似している領域を得る。これに
より両眼立体視により車両（物体）までの距離が得られ
る。

【００１０】更に、車両は上端、下端部に安定した水平
線があると仮定して、上記テンプレート位置を参考に設
けた別の領域内について、エッジ点の水平方向への投影
ヒストグラムを作成して、そのピーク位置より車両の上
端、下端を定める。この上端と下端の幅より画像での車
両の高さ（ｈ）を定める。これにより、車両の位置、車
両形状（大きさ）を検出する。

【００１１】§２：従来例２ 従来例２として、移動速度計測について説明する。物体
の位置を検出しながら移動速度を算出する方法は、大き
く次の（Ｂ１）：２時刻間の物体位置の差を移動速度と
する方法、（Ｂ２）：過去の幾つかの物体位置を用いて
現在の移動速度を算出する方法、に大別される。

【００１２】(1) ：（Ｂ１）の説明 前記（Ｂ１）の方法では、各時刻で物体位置を検出して
おき、現時刻の物体位置と前時刻の物体位置の単純な差
の移動速度とする。

【００１３】(2) ：（Ｂ２）の説明 前記（Ｂ２）の代表的な方法として、今川和幸、呂山、
猪木誠二、松尾英明、「顔によるオクルージョンを考慮
した手話動画像からの実時間掌追跡」、電子情報通信学
会技術研究報告、ＰＲＭＵ９７−１０４〜１１０、ｐ
ｐ．１５−２２を例に説明する。

【００１４】この例は、対象として２次元的な手領域を
追跡する方法であるが、対象を追跡するという観点から
は３次元であっても同様なので、本方法を例に説明す
る。先ず、画像より色情報を用いて手領域を抽出し、そ
の領域の重心点位置を領域位置ｐとする。

【００１５】そして、領域の運動モデルとして等速運動
を仮定し、観測ベクトルを領域位置ｐ、推定すべきパラ
メータベクトルｘとして領域位置と領域速度として、カ
ルマンフィルタを構成してパラメータベクトルｘを推定
して、パラメータベクトルで示される領域位置と領域速
度を所要量として求めている。

【００１６】このように、カルマンフィルタを用いる
と、各時刻で観測される領域位置に誤差を含んでいて
も、線形推定の意味で最も安定した位置と速度が推定で
きるため、速度のばらつきを抑えて安定した速度計測が
可能となる。

【００１７】

【発明が解決しようとする課題】前記のような従来のも
のにおいては、次のような課題があった。

【００１８】(1) ：前記（Ａ１）の場合、一般的に３次
元情報は、遠方になる程その奥行き、及び空間情報の解
像度が低くなり、距離情報や位置情報のもつ信頼性が低
下する。つまり、複数物体が存在するときに近傍では距
離の違いで分離できる場合も、物体間の距離差は同じで
あっても、遠方にあるときは、距離の違いが検出でき
ず、物体を分離するのが困難になることを意味する。従
って、ある程度遠方にある物体については、距離情報だ
けを用いて、その距離差から物体領域を分離することは
困難である。

【００１９】更に、得られる距離情報の性質として、物
体がセンサの近傍で観測される場合には、その物体は大
きく観測され、得られる３次元情報の量（数）は多い
が、同一物体であっても遠方に位置すると、観測される
物体領域そのものも小さくなり得られる３次元情報の数
（量）も少なくなるというように、対象までの距離によ
り距離情報が増減するという性質がある。

【００２０】これにより、例えば、実吉らの方法のよう
に、距離画像を固定サイズの領域（以下「抽出領域」と
呼ぶ）に区切って、その領域毎に物体位置を算出する方
法であると、例えば、遠方の物体を区別するためには、
抽出領域の大きさを小さくする必要があり、この結果と
して、物体が近傍に存在する場合には、十分な数の距離
情報が存在しているにもかかわらず、領域幅が小さいた
め、領域毎に集められる３次元情報の数が減少し、物体
位置の精度が低下する。

【００２１】逆に、近傍での位置の精度を高めるために
抽出領域の大きさを大きくすると、遠方物体を分離でき
なくなるという問題がある。更に、遠方では得られる距
離情報が距離画像上で２次元的にも粗くなり、１つの物
体面が、必ずしも連続した３次元位置を確定できる抽出
領域として得られるとは限らない、という問題がある。

【００２２】(2) ：前記（Ａ２）の場合、距離情報と画
像情報を用いて物体を検出するのに、物体が遠方にある
ときは、物体内部の模様は殆ど観測されず物体輪郭が支
配的となる。従って、このような場合は、前記下村の方
法のように、エッジ点の投影によって物体輪郭を抽出し
て物体領域を定めることは有効である。

【００２３】ところが、物体が観測者の近傍にあるとき
は、物体輪郭よりも物体内部の模様が支配的となるの
で、その結果として、エッジ点の投影ヒストグラムで
は、それら物体内部の模様エッジが輪郭部分のピークの
形成を阻害して、安定に輪郭線を検出するのは困難とな
る。従って、常に、画像特徴と距離情報を利用すると、
画像特徴が障害となって物体位置を検出できないことが
ある。

【００２４】(3) ：前記（Ｂ１）の場合、各時刻の物体
位置を求めて、現時刻の物体位置と前時刻の物体位置の
単純な差で移動速度を求めると、各時刻における物体位
置の計測精度の影響を大きく受け、計測速度のばらつき
が大きく、計測精度が悪い、という問題がある。

【００２５】(4) ：前記（Ｂ２）の場合、（Ｂ２）の方
法により検出された過去の幾つかの物体位置を用いて現
在の移動速度を算出する方法が考えられるが、この方法
では、或る物体が存在している間に、その物体の時刻間
での対応をいかに安定に求めるかが課題となる。

【００２６】ここで、例えば、屋外での情景について物
体を検出する場合などを考えると、日照変化や影の有無
など周囲の証明条件の影響や、物体の移動により見え方
の変化の影響があり、物体が検出できない場合が考えら
れる。この時には、物体の対応付けが不可能なため、物
体の移動速度を計測できなくなり、しかも、フィルタを
利用すると、その未検出の影響が数時刻に渡って影響
し、その間の速度情報は誤ったものとなる。

【００２７】更に、未検出であった物体を再び検出した
時には、新たに運動パラメータの推定を開始する必要が
あるため、再び物体を検出してから数時刻は、運動パラ
メータの推定値は誤差を多く含み、誤った速度情報とな
る。このように、安定した速度検出に対して物体の未検
出の影響が大きく現れるという問題がある。

【００２８】本発明は、このような従来の課題を解決
し、物体の距離に影響されることなく、安定した物体の
位置や速度の検出を可能にすることを目的とする。

【００２９】

【課題を解決するための手段】図１は本発明の原理説明
図であり、図１中、４は物体検出器、４−１は基本領域
検出部、４−２は物体面当てはめ／物体位置決定部、５
は物体速度計測器を示す。本発明は前記目的を達成する
ため、次のように構成した。

【００３０】(1) ：３次元位置情報（距離情報）が、２
次元（ｘ，ｙ）の配列の各場所に奥行き情報を持つ画像
形式や、３次元位置（Ｘ，Ｙ，Ｚ）情報の集合の形で与
えられた時に、３次元空間に存在し得る３次元物体の位
置、形状を検出する３次元物体検出装置において、前記
３次元位置情報から物体面を構成する面の全部或いは一
部を、部分特徴である基本領域として検出する基本領域
検出手段（基本領域検出部４−１）と、前記検出された
物体面の基本領域について、予め用意した物体形状モデ
ルの構成面を当てはめる物体面当てはめ手段（物体面当
てはめ／物体位置決定部４−２）と、前記物体面当ては
め手段による当てはめ結果の良否より物体の有無を判定
する物体領域判定手段（物体面当てはめ／物体位置決定
部４−２の一部）を備え、前記基本領域検出手段は、或
る近隣範囲に存在する３次元位置情報をまとめて基本領
域とするが、その際、このまとめる近隣範囲の大きさ
を、３次元位置により変化する物体の見かけの大きさに
合わせた適切な大きさに設定することで、距離情報を過
不足なくまとめることを可能にし、その結果として物体
位置を検出する機能を備えている。

【００３１】(2) ：３次元位置情報（距離情報）が、２
次元（ｘ，ｙ）の配列の各場所に奥行き情報を持つ画像
形式や、３次元位置（Ｘ，Ｙ，Ｚ）情報の集合の形で与
えられた時に、３次元空間に存在し得る３次元物体の位
置、形状を検出する３次元物体検出装置において、前記
３次元位置情報から物体面を構成する面の全部或いは一
部を、部分特徴である基本領域として検出する基本領域
検出手段と、前記検出された物体面の基本領域につい
て、予め用意した物体形状モデルの構成面を当てはめる
物体面当てはめ手段と、前記物体面当てはめ手段による
当てはめ結果の良否より物体の有無を判定する物体領域
判定手段を備え、前記物体面当てはめ手段は、当てはめ
対象である基本領域の３次元距離によって、距離情報の
他に、対象情景を撮像する濃淡或いはカラー画像から得
られる情報を使用するか不使用とするかを切り換える機
能を備えている。

【００３２】(3) ：１つ或いは複数の物体について位置
情報を検出する位置検出手段を備え、前記位置検出手段
の検出結果を時系列的に求めていき、その得られた物体
位置の時系列的な対応を求めることで、各物体の速度情
報を算出する３次元物体検出装置において、前記位置検
出手段で物体が検出できず、その結果として時系列での
対応が求まらない時、一定回数だけその物体を未対応状
態で位置を残しておき、前記位置検出手段で再び物体が
検出された時には、未対応であった期間での平均移動速
度を参考に未対応状態の物体と矛盾なく対応できるかを
調べ、もし矛盾なく対応できるならば、先の検出された
物体を未対応物体が再び検出されたとして、未対応間の
平均移動速度を再追跡の初期速度として与えて再び物体
の追跡を行うことで、速度計測を再開できるようにした
速度検出手段（物体速度計測器５）を備えている。

【００３３】(4) ：３次元位置情報が、２次元の配列の
各場所に奥行き情報を持つ画像形式や、３次元位置情報
の集合の形で与えられた時に、３次元空間に存在し得る
３次元物体の位置、形状を検出する３次元物体検出方法
において、前記３次元位置情報から物体面を構成する面
の全部或いは一部を、部分特徴である基本領域として検
出する基本領域検出処理と、前記検出された物体面の基
本領域について、予め用意した物体形状モデルの構成面
を当てはめる物体面当てはめ処理と、前記物体面当ては
め手段による当てはめ結果の良否より物体の有無を判定
する物体領域判定処理を有し、前記基本領域検出処理で
は、或る近隣範囲に存在する３次元位置情報をまとめて
基本領域とするが、その際、このまとめる近隣範囲の大
きさを、３次元位置により変化する物体の見かけの大き
さに合わせた適切な大きさに設定することで、距離情報
を過不足なくまとめることを可能にし、その結果として
物体位置を検出するようにした。

【００３４】(5) ：３次元位置情報（距離情報）が、２
次元（ｘ，ｙ）の配列の各場所に奥行き情報を持つ画像
形式や、３次元位置（Ｘ，Ｙ，Ｚ）情報の集合の形で与
えられた時に、３次元空間に存在し得る３次元物体の位
置、形状を検出する３次元物体検出装置に、３次元位置
情報から物体面を構成する面の全部或いは一部を、部分
特徴である基本領域として検出する第１の手順と、前記
検出された物体面の基本領域について、予め用意した物
体形状モデルの構成面を当てはめる第２の手順と、前記
第２の手順による当てはめ結果の良否より物体の有無を
判定する第３の手順と、前記第１の手順を行う場合、或
る近隣範囲に存在する３次元位置情報をまとめて基本領
域とするが、その際、このまとめる近隣範囲の大きさ
を、３次元位置により変化する物体の見かけの大きさに
合わせた適切な大きさに設定することで、距離情報を過
不足なくまとめることを可能にし、その結果として物体
位置を検出する第４の手順と、を実行させるためのプロ
グラムを記録したコンピュータ読み取り可能な記録媒
体。

【００３５】（作用）前記構成に基づく本発明の作用
を、図１に基づいて説明する。

【００３６】(a) ：前記(1) の作用 基本領域検出手段は、或る近隣範囲に存在する３次元位
置情報をまとめて基本領域とするが、その際、このまと
める近隣範囲の大きさを、３次元位置により変化する物
体の見かけの大きさに合わせた適切な大きさに設定する
ことで、距離情報を過不足なくまとめることを可能に
し、その結果として物体位置を検出する。

【００３７】この場合、距離情報（視差情報）に物体面
モデルを当てはめてその良否から物体の有無を決定する
「物体検出処理」で必要となる、距離（視差）画像から
近隣の距離情報をまとめて平面部分を物体面候補として
抽出する。この処理において、３次元位置（奥行き）に
より変化する物体の観測大きさに合わせた適切な領域を
「近隣」として近隣領域内の距離情報をまとめることで
過不足ない距離情報を用いることを可能にする。

【００３８】その結果、従来の固定大きさを「近隣」と
する方法で生じる、遠方で近隣する他物体を誤って一つ
の物体としてしまう過併合の問題や、近傍で一つの物体
面が多くの小平面に分割されて検出され、本来の物体面
に統合するのが困難になる過分割の問題を生じることな
く、物体の３次元位置（奥行き）によらず、常に安定し
て一つの物体面を一つの平面として抽出することができ
る。

【００３９】(b) ：前記(2) の作用 物体面当てはめ手段は、当てはめ対象である基本領域の
３次元距離によって、距離情報の他に、対象情景を撮像
する濃淡或いはカラー画像から得られる情報を使用する
か不使用とするかを切り換える。

【００４０】この場合、物体検出処理に関して、対象物
体が遠方にあると物体の観測大きさが小さくなり、得ら
れる距離情報の数が不足して、距離情報への物体面モデ
ルの当てはめではモデル位置を変化させても当てはめ度
合いが殆ど変化せず、物体位置の特定が困難となる。

【００４１】そのため、物体が閾値以上に遠い場合は、
３次元距離情報の他に、ビデオカメラ（或いはテレビカ
メラ）等で撮像された情景の濃淡画像から得られる物体
輪郭線情報を用いて画像中での物体位置を補正すること
で、物体の３次元位置（奥行き）によらず、常に安定し
て物体位置を得ることができる。

【００４２】(c) ：前記(3) の作用 速度検出手段は、位置検出手段で物体が検出できず、そ
の結果として時系列での対応が求まらない時、一定回数
だけその物体を未対応状態で位置を残しておき、前記位
置検出手段で再び物体が検出された時には、未対応であ
った期間での平均移動速度を参考に未対応状態の物体と
矛盾なく対応できるかを調べ、もし矛盾なく対応できる
ならば、先の検出された物体を未対応物体が再び検出さ
れたとして、未対応間の平均移動速度を再追跡の初期速
度として与えて再び物体の追跡を行うことで、速度計測
を再開する。

【００４３】この場合、物体速度計測処理に関して、物
体領域が検出できず、対応が求まらない時は、一定の回
数だけその物体を未対応状態で位置の情報を残してお
き、再び物体が検出された場合には、未対応の間の平均
移動距離を初期速度として与えて再び物体の追跡を行う
ことで、再検出の直後から速度を安定に計測することを
可能とする。

【００４４】また、再検出物体を新規物体として追跡し
始める従来方式では、速度情報を安定に得るには、更
に、数フレームの物体追跡が必要で、速度情報の出力ま
でに時間遅れを要していたが、本発明では、物体の検出
ができない場合があっても、時間遅れなく、速度情報を
得ることができる。

【００４５】(d) ：前記(4) の作用 ３次元位置情報から物体面を構成する面の全部或いは一
部を、部分特徴である基本領域として検出する基本領域
検出処理と、前記検出された物体面の基本領域につい
て、予め用意した物体形状モデルの構成面を当てはめる
物体面当てはめ処理と、前記物体面当てはめ手段による
当てはめ結果の良否より物体の有無を判定する物体領域
判定処理を有し、前記基本領域検出処理では、或る近隣
範囲に存在する３次元位置情報をまとめて基本領域とす
るが、その際、このまとめる近隣範囲の大きさを、３次
元位置により変化する物体の見かけの大きさに合わせた
適切な大きさに設定することで、距離情報を過不足なく
まとめることを可能にし、その結果として物体位置を検
出するようにした。

【００４６】このようにすれば、従来の固定大きさを
「近隣」とする方法で生じる、遠方で近隣する他物体を
誤って一つの物体としてしまう過併合の問題や、近傍で
一つの物体面が多くの小平面に分割されて検出され、本
来の物体面に統合するのが困難になる過分割の問題を生
じることなく、物体の３次元位置（奥行き）によらず、
常に安定して一つの物体面を一つの平面として抽出する
ことができる。

【００４７】(e) ：前記(5) の作用 前記３次元物体検出装置が、記録媒体のプログラムを読
み出して実行することにより、或る近隣範囲に存在する
３次元位置情報をまとめて基本領域とする際、このまと
める近隣範囲の大きさを、３次元位置により変化する物
体の見かけの大きさに合わせた適切な大きさに設定する
ことで、距離情報を過不足なくまとめることを可能に
し、その結果として物体位置を検出する。

【００４８】この場合、距離情報（視差情報）に物体面
モデルを当てはめてその良否から物体の有無を決定する
「物体検出処理」で必要となる、距離（視差）画像から
近隣の距離情報をまとめて平面部分を物体面候補として
抽出する。この処理において、３次元位置（奥行き）に
より変化する物体の観測大きさに合わせた適切な領域を
「近隣」として近隣領域内の距離情報をまとめることで
過不足ない距離情報を用いることを可能にする。

【００４９】その結果、従来の固定大きさを「近隣」と
する方法で生じる、遠方で近隣する他物体を誤って一つ
の物体としてしまう過併合の問題や、近傍で一つの物体
面が多くの物体面が多くの小平面に分割されて検出さ
れ、本来の物体面に統合するのが困難になる過分割の問
題を生じることなく、物体の３次元位置（奥行き）によ
らず、常に安定して一つの物体面を一つの平面として抽
出することができる。

【００５０】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。

【００５１】§１：３次元物体検出装置の概要 本発明の３次元物体検出装置では、何らかの距離計測方
法によって３次元位置情報（距離情報）が与えられた時
に、３次元空間の広範囲に存在し得る３次元物体の位
置、形状、移動速度を検出するものである。ここで、３
次元位置情報とは、空間上の各位置或いは特定の３次元
位置（Ｘ，Ｙ，Ｚ）を表す情報の集合で、与えられる形
式は、２次元（Ｘ，Ｙ）の配列の各場所に奥行き情報を
持つ画像形式であっても良いし、３次元位置（Ｘ，Ｙ，
Ｚ）情報の集合の形をとっても良い（Ｘ、Ｙ、Ｚ：３次
元空間を表す座標）。

【００５２】先ず、３次元位置情報から任意の３次元物
体の位置、形状を検出する方法について説明する。予
め、検出したい３次元物体の概略大きさ、形状を表す３
次元形状モデルを用意する。そして、３次元位置情報か
ら、３次元的に位置が近く、しかも平面を構成する部分
をまとめて、いくつかの面素（以下、「基本領域」と呼
ぶ）を抽出する。

【００５３】基本領域について、先の３次元モデルを構
成する各面を当てはめていき、３次元モデルで観測でき
る全てについて問題なく当てはまるなら、その位置に３
次元物体が存在するとする。ここで、一般に３次元上の
物体は、遠方にあるほど観測される大きさは小さく、逆
に近くにあるほど大きく観測されることを考えると、物
体面を当てはめるべき基本領域の大きさは、対象の物体
の位置（距離）によって変わってくるという問題が生じ
る。

【００５４】そこで、基本領域を形成する際に、物体の
３次元距離に応じて領域形成に利用する３次元位置情報
の範囲を変化させて、遠方では小さい領域となり、逆に
近傍では大きな領域となるようにする。観測される物体
の大きさに合わせることで、できるだけ他の物体を含ま
ず安定した基本領域を得る。

【００５５】また、３次元情報は、遠方になるほど奥行
き情報の解像度が低くなり、距離情報の持つ信頼性が低
下する。更に、物体そのものも遠方になると小さくなり
得られる３次元情報の数（量）も少なくなる。これによ
り、物体が遠方にあると先の３次元モデルの当てはめが
困難になる。

【００５６】そこで、３次元物体が遠方にあり、モデル
の当てはめが困難になった時には、ビデオカメラ（或い
はテレビカメラ）などで得られる情景の濃淡画像（或い
はカラー画像）から得られる物体輪郭線を用いて物体位
置を正確に検出する。逆に、物体が近傍にある時には、
３次元情報が多く得られることと、濃淡画像で物体内部
の模様が支配的になり輪郭線と区別するのが困難になる
ので、物体輪郭情報は利用しない。このように、距離に
応じて適応的に画像情報を利用することで、物体の距離
に影響することなく、安定して物体位置を検出する。

【００５７】次に、物体の速度計測の方法を説明する。
基本的には、先で得られた物体の３次元位置の時間変化
から物体の移動速度を検出するが、検出速度の安定化の
ために、一般的に良く行われる物体の運動モデルを用い
て過去の位置情報も利用して現在の移動速度を定める。

【００５８】このような運動モデルを用いた方法では、
速度情報が安定するまでにある程度の時刻間で同一物体
を正しく対応付けることが必要である。ところが、例え
ば、屋外での物体検出では周囲の証明条件の影響や物体
の移動による見え方の変化により物体が検出ではない場
合は、物体の時間的対応付けが不可能なので、速度が計
測できなくなる。

【００５９】また、同一物体が再び観測された時には、
速度情報が安定して得られるまで、再度、ある程度の時
刻間の対応付けを要し、即座に速度情報を確定すること
は困難である。このように、対応の消失は、安定した速
度検出への影響が大きく現れる。

【００６０】そこで、物体が検出できず対応が求まらな
い時は、一定の回数だけその物体を未対応状態で位置、
大きさの情報を残しておき、再び物体が検出された時に
は、未対応であった期間での平均移動速度を初期速度と
して与えて、再び物体の追跡を続行する。これにより、
例え物体位置がある期間検出できなかったとしても、物
体位置を再検出してから速度を安定させるための一定期
間の物体対応が不要なので、速度情報を速やかに安定さ
せることができる。

【００６１】§２：３次元物体検出／速度検出処理の説
明 以下、３次元物体検出／速度検出処理について説明す
る。

【００６２】(1) ：本発明では物体面位置を検出するた
めの核となる領域（基本領域）を３次元位置情報から抽
出しておき、その基本領域に予め、定めた物体のモデル
を当てはめて、当てはまり度合いが良いときに物体が存
在するという処理を行う。

【００６３】この基本領域として、距離画像の３次元位
置情報を持つ画素について、画像上での２次元距離と３
次元奥行きがそれぞれ近傍しており、しかも平面を構成
する３次元位置情報をまとめた領域とするが、この画像
上での２次元距離の大きさを、対象の３次元奥行きに応
じて可変する。すなわち、物体が近傍にあるときは、対
象物体は大きく観測できているので、画像上での近接度
合いを測る距離差を大きくとり、広い領域から十分な数
の３次元位置情報を抽出して安定した基本領域を得る。

【００６４】一方、物体が遠方にある時は、対象物体は
小さいので、画像上での近接度合いを測る距離差を小さ
くし、近傍にある他物体と融合した誤った基本領域とな
らないようにする。このように、物体の位置（距離）に
応じて変化する観測物体の大きさに合わせた適切な大き
さで特徴量をまとめることで、固定サイズでの基本領域
抽出で生じる物体位置の違いによる基本領域の検出精度
の問題に影響されることなく、物体面の核となる基本領
域を物体の位置によらず安定して求めることができる。

【００６５】更に、３次元物体が遠方にあると、距離情
報の解像度が不足して、モデルの当てはめが困難になる
ので、物体が遠方にあるときには、３次元位置情報の他
にビデオカメラ（或いはテレビカメラ）などで撮像され
る情景の濃淡画像、或いはカラー画像から得られる物体
輪郭線を用いて物体位置を正確に検出する。

【００６６】逆に、物体が近傍にある時は、３次元情報
が多く得られることと、濃淡画像或いはカラー画像で物
体内部の模様が主体になり、輪郭線と区別するのが困難
になるので、物体輪郭情報は利用しない。このように、
必要に応じて画像情報を利用することで、物体の距離に
影響することなく、物体位置を検出できる。

【００６７】(2) ：物体の移動速度検出に関して、本発
明では、基本的には、物体の運動モデルを用いて過去の
幾つかの位置情報を元に、現在の移動速度を定めること
で安定した速度を得るが、物体が検出できず対応が求ま
らない時は、一定の回数だけその物体を未対応状態で位
置、大きさの情報を残しておき、再び物体が検出された
時には、未対応であった期間での平均移動速度を参考に
未対応状態の物体と矛盾なく対応できるかを調べる。

【００６８】そして、もし、矛盾なく対応できるなら
ば、先の検出された物体を未対応物体が再び検出された
として平均移動速度を初期速度として再び物体の追跡を
行う。これにより、例え物体位置が或る期間検出できな
かったとしても、物体位置を再検出してから速度を安定
させるための一定期間物体対応が不要なので、速度情報
をいつでも安定させることができる。

【００６９】§３：具体例による説明 以下、具体例に基づいて、前記処理を詳細に説明する。

【００７０】(1) ：システム全体の説明 図２のＡにシステム概略図を示す。このシステムは距離
計測器１と、視差画像の変換処理を行う視差画像変換器
２と、物体の位置、大きさ（形状）を検出する物体検出
器４と、物体の移動速度を計測する物体速度計測器５
と、カメラ３等を備えている。

【００７１】前記距離計測器１とカメラ３は既存のもの
を使用する。そして、距離計測器１としては、対象物体
を含む情景の３次元情報を取得できるもの、例えば、２
台のビデオカメラ（或いはテレビカメラ）を所定距離だ
け離して配置したステレオカメラと呼ばれるものを使用
する。

【００７２】また、カメラ３は対象物体を含む情景を撮
像して濃淡画像（モノクロ）、或いはカラー画像が出力
できるものを使用するが、前記距離計測器１が２台のカ
メラで構成されている場合には、その１台をカメラ３と
して使用しても良い。

【００７３】このシステムの機能は次の通りである。先
ず、距離計測器１により距離情報（３次元位置情報）を
取得し、必要があれば、視差画像変換器２において、２
次元配列（ｘ，ｙ）に視差値を持つ視差画像の形式に変
換し、視差画像を出力する。続いて、物体検出器４によ
り、視差画像と、カメラ３で撮像された濃淡（或いは、
カラー）画像を用いて物体位置を検出する。

【００７４】そして、物体速度計測器５により、各時刻
で得られた物体位置の時間変化より物体の移動速度を計
測する。このようにして、システム出力として、物体の
位置、大きさ（形状）、移動速度情報を出力する。

【００７５】以下、前記各部の機能や処理内容について
説明する。距離計測器１は情景の３次元情報を取得でき
る手段であれば、その方式については言及しない。出力
として、２次元配列（ｘ，ｙ）の各位置において、３次
元距離或いは視差を有する画像の形式の他、３次元位置
（Ｘ，Ｙ，Ｚ）の情報の集合であっても構わない。

【００７６】視差画像変換器２は、必要に応じて設ける
機構であり、距離計測器１の出力が３次元位置（Ｘ，
Ｙ，Ｚ）情報の集合として与えられた時は、位置（Ｘ，
Ｙ）と距離（Ｚ）と仮想的なカメラパラメータ（ｆ：カ
メラ焦点距離、ｂ：カメラ間距離）を用いて、ｘ＝ｆ×
Ｘ／Ｚ、ｙ＝ｆ×Ｙ／Ｚ、ｄ＝ｆ×ｂ／Ｚの式で視差画
像｛位置（ｘ，ｙ）で視差値ｄ｝へと変換する機能を有
する。なお、距離計測器１が視差画像を出力する場合
は、視差画像変換器２は不要である。

【００７７】(2) ：物体検出器の説明 図２のＢに物体検出器の構成図を示す。物体検出器４
は、視差画像とカメラ３で撮像した情景の濃淡画像（或
いはカラー画像）を入力して、複数の物体位置を検出す
るものであり、基本領域を検出する基本領域検出部４−
１と、物体面の当てはめ処理及び物体位置を決定する処
理を行う物体面当てはめ／物体位置決定部４−２とを備
えている。

【００７８】この物体検出器４の機能は次の通りであ
る。先ず、基本領域検出部４−１で、入力した視差画像
から物体面を当てはめるのに十分な情報を持つ核となる
領域（基本領域Ｒ_i ）を求める。次に、予め、物体の形
状モデルを用意しておき、物体面当てはめ／物体位置決
定部４−２で、得られた基本領域Ｒ_i についてモデル物
体面を当てはめていき、そこに物体が存在するか否かを
決定する。結果として、検出された物体（位置、大きさ
情報を有する）のリスト（物体情報配列）ＯＬとして、

【００７９】

【数１】

【００８０】が得られる。

【００８１】(3) ：基本領域検出部の説明 図３のＡに基本領域検出部の構成図を示す。基本領域検
出部４−１は、視差画像の間引き処理を行う視差画像間
引き部１１と、単位領域を検出する単位領域検出部１２
と、基本領域を生成する基本領域生成部１３を備えてい
る。

【００８２】基本領域検出部４−１の処理は次の通りで
ある。先ず、視差画像間引き部１１により、入力した視
差画像をｎ×ｍ画像の領域にまとめることで、局所的に
安定した視差情報を持つ部分を得るとともに、画像数を
間引くことで全体の処理量を削減する。但し、処理時間
等に問題がない場合には、視差画像間引き部１１を省い
てもよい。ここで、視差画像の内、視差画像を持つ画像
を「視差点」と呼ぶことにする。

【００８３】次に、単位領域検出部１２により、間引か
れた視差画像の視差点位置において、３次元上で単位大
きさを持つ平面（単位平面モデルＭＳで示される）が、
その視差点の位置（距離）で観測された場合の視差画像
上での大きさ（領域）を求めて、その領域内にある間引
き前の視差点の分布より、安定して平面を構成するもの
（「単位領域Ｅ_i 」と呼ぶ）を抽出して、単位領域リス
トＥＬ_i を得る。

【００８４】そして、基本領域生成部１３において、単
位領域群の中から同一平面を構成できるものをまとめて
基本領域Ｒ_i を生成し、基本領域リストＲＬ_i を得る。

【００８５】(4) ：基本領域検出部の詳細な処理の説明 以下、基本領域検出部の詳細な処理を説明する。

【００８６】(4) −１：視差画像間引き部１１の処理の
説明 間引き視差画像と元の視差画像の位置関係を図４に示
す。図４において、Ａは元の視差画像、Ｂは間引き視差
画像を示す。

【００８７】視差画像間引き部１１では、元の視差画像
の幅をＮ画素、高さをＭ画素とする時、視差画像を横ｎ
画素、縦ｍ画素の小領域ｗ_i に区切り（図４のＡ参
照）、それぞれの小領域ｗ_i 毎に、以下の条件を満足す
るか否かを調べ、満足する小領域ｗ_i についてはその平
均視差を画素値とする（集約する）、幅Ｎ／ｎ、高さＭ
／ｍの新たな間引き視差画像（図４のＢ参照）を得る。

【００８８】条件：以下の又はの条件を満たすと
き、小領域ｗ_i は条件を満たしたとする。

【００８９】：（小領域ｗ_i の視差点の数）＞閾値
１、かつ、（小領域ｗ_i の視差点の視差の分散値）＜閾
値２ ：（小領域ｗ_i の視差点の数／ｎ×ｍ）＞閾値３ なお、前記閾値１、２、３は、予め定めておく。

【００９０】(4) −２：単位領域検出部１２の処理の説
明 単位領域検出部１２では、先ず、３次元空間で、縦ＭＳ
_x 、横ＭＳ_y のサイズを持つ平面を単位平面モデルＭＳ
として定義する。そして、間引き視差画像の各視差点
（ｘ_i ，ｙ_i ，ｄ_i ）について、その距離（視差）に単
位平面モデルＭＳを置いた時の元の視差画像での観測位
置（ｐｘ_i ，ｐｙ_i ）、サイズ（ｎｘ_i ，ｎｙ_i ）を、
式｛ｐｘ_i ＝ｘ_i ×ｎ、ｐｙ_i ＝ｙ_i ×ｍ、ｎｘ_i ＝Ｍ
Ｓ_x ×ｄ_i／ｂ、ｎｙ_i ＝ＭＳ_y ×ｄ_i ／ｂ｝により求
める。

【００９１】但し、ｘ_i はＸ座標上の位置、ｙ_i はＹ座
標上の位置、ｄ_i は視差値、ｂは２つのカメラのカメラ
間距離とする。そして、元の視差画像での位置（ｐ
ｘ_i ，ｐｙ_i ）を中心として、サイズ（ｎｘ_i ，ｎ
ｙ_i ）の領域を設けて、それに含まれる元の視差画像で
の視差点を用いて、以下の評価値を計算する。そして、
評価値が閾値以上のものを単位領域Ｅ_i とする。

【００９２】

【数２】

【００９３】但し、Ｎ_j は先の領域に含まれる視差点の
個数、ｆはカメラの焦点距離、ＤＩＦＦは３次元的に区
別した距離（閾値）を表す。単位領域検出部１２の操作
の結果として、単位領域リストＥＬが、

【００９４】

【数３】

【００９５】（Ｎ_E は、ＥＬの要素の数）の式で得られ
る。

【００９６】(4) −３：基本領域生成部１３の処理の説
明 図５は基本領域生成部の処理フローチャートである。以
下、図５に基づいて、基本領域生成部１３の処理を説明
する。なお、図５において、Ｓ１〜Ｓ１２は各処理ステ
ップを示す。

【００９７】前記基本領域とは、同一平面をなす幾つか
の単位領域を集めたもので、その奥行きは基本領域に属
す単位領域群の平均距離とし、基本領域の大きさは、属
す単位領域群を含む最大矩形領域とする。この基本領域
を図５の処理で求める。

【００９８】先ず、基本領域生成部１３は、視差画像、
単位領域リストＥＬを入力し（Ｓ１）、前記単位領域リ
ストＥＬから、基本領域に属していない単位領域Ｅ_i を
得る処理を行ない、単位領域リストＥＬに、基本領域に
属さない単位領域Ｅ_i が有るか否かを判断する（Ｓ
２）。その結果、単位領域リストＥＬに属さない単位領
域Ｅ_i が無ければ処理を終了する。

【００９９】しかし、基本領域に属さない単位領域Ｅ_i
が有れば、その単位領域Ｅ_i を１つ取り出し、基本領域
Ｒ_k を生成する（Ｓ３）。次に、結合有りフラグを下ろ
し（リセット）し（Ｓ４）、前記単位領域Ｅ_i とは異な
り、かつ、前記基本領域Ｒ_kに属していない他の単位領
域Ｅ_j を取得する（Ｓ５）。この場合、この単位領域Ｅ
_j が存在すれば（Ｓ６）、単位領域Ｅ_j が基本領域Ｒ_k
に属するか否かを調べる（Ｓ７）。

【０１００】その結果、もし、単位領域Ｅ_j が基本領域
Ｒ_k に属するならば、基本領域Ｒ_kに単位領域Ｅ_j を統
合する（Ｓ８）と共に、「統合フラグ」を立ててから
（Ｓ９）、パラメータｊを更新（ｊ＝ｊ＋１）し（Ｓ１
０）、Ｓ５の処理へ移行することで、次の単位領域Ｅ_j
を取得し、処理を繰り返す。この繰り返し処理により、
調査すべき単位領域Ｅ_j が無くなったら（Ｓ６）、「統
合有りフラグ」の状態を調べる（Ｓ１１）。

【０１０１】その結果、もし、「統合有りフラグ」が立
っているならば、当該繰り返し処理において、新たに統
合操作が行われたので、その結果として統合できる単位
領域が生じた可能性がある。そこで、フラグが立ってい
るならば、再び、Ｓ４の処理へ移行し、単位領域リスト
ＥＬ中より、統合可能な単位領域Ｅ_j がないか、再び調
べる。

【０１０２】もし、フラグが立っていないならば、処理
すべき単位領域Ｅ_j が無いので、新たに基本領域Ｒ_K+1
を生成して、同様の処理を繰り返す。この場合、Ｓ１１
の処理で、結合フラグが立っていなければ、パラメータ
ｉを更新（ｉ＝ｉ＋１）し（Ｓ１２）、Ｓ２へ移行す
る。

【０１０３】この結果として、

【０１０４】

【数４】

【０１０５】が得られる。

【０１０６】ここで、単位領域Ｅ_j が基本領域Ｒ_K に属
するか否かの判断条件について述べる。基本領域Ｒ_k を
構成する単位領域の中で、画像上最も単位領域Ｅ_j に近
い単位領域をＥ_k とする時、Ｅ_j からＥ_k までの画像上
距離をＬ１、視差の差をＬ２として、それらが予め決め
た閾値内のときに、Ｅ_j がＲ_k に属するとする。

【０１０７】(4) −４：前記処理の補足説明 図６は処理説明図（その１）であり、Ａは画像例、Ｂは
視差の説明図、Ｃは画像を示す。図７は処理説明図（そ
の２）であり、Ａはメモリ上の視差画像、Ｂは視差画像
の一部詳細説明図、Ｃは間引き視差画像を示す。図８は
処理説明図（その３）であり、Ａは視差画像の説明図、
Ｂは視差画像生成時の説明図である。

【０１０８】前記視差画像は、物体検出器４に入力する
と、一旦、メモリに格納され、図６のＡに示す状態とな
る。この場合、図６のＡのＸ、Ｙは座標軸を示し、図の
斜線部分は視差（距離）である。すなわち、視差画像
は、視差（距離）を含んだ情報となっている。

【０１０９】例えば、図６のＢに示したように、左側の
カメラで撮像した画像（実線の丸）をＬ、右側のカメラ
で撮像した時の画像（点線の丸）をＲとした場合、前記
ＬとＲを重ねると、視差のある画像となる。すなわち、
実線の丸と点線の丸を重ねた時の２つの画像のずれをｘ
Ｒとすれば、このずれｘＲが視差（距離）となる。この
ように視差のある視差画像を元に、図６のＣに示すよう
に、ｍ×ｎ画像を取り出して前記間引き処理を行う。

【０１１０】この場合、図７のＡに示すように、視差画
像をメモリに格納する。そして、前記視差画像を横ｎ画
素、縦ｍ画素の小領域ｗ_i に区切り（図７のＢ参照）、
それぞれの小領域ｗ_i 毎に、前記条件を満足するか否か
を調べ、満足する小領域ｗ_iについてはその平均視差を
画素値とする（集約する）、間引き視差画像（図７のＣ
参照）を得る。

【０１１１】また、元の視差画像上に単位平面（ｍ×ｎ
画像）を写し込むと、図８のＡの状態になる。この場
合、近い物体は大きくなり、遠い物体は小さくなる。例
えば、近い物体の一部の単位平面（ｍ×ｎ画像）が、視
差＝１０（例えば、距離＝１ｍ）であり、遠い物体の一
部の単位平面（ｍ×ｎ画像）が、視差＝１（例えば、距
離＝１０ｍ）のようになる。

【０１１２】なお、この場合、目安となる単位平面であ
る、縦ＭＳ_x 、横ＭＳ_y のサイズを持つ単位平面モデル
の大きさを、ＭＳ_x ×ＭＳ_y ＝（４０ｃｍ×５０ｃｍ）
とすれば、１０ｍ離れた所に、４０ｃｍ×５０ｃｍの板
（物体）がどれいらいの大きさで見えるかを計算する。

【０１１３】このように、近い物体であれば、視差は大
きくなり、遠い物体では視差が小さくなる。このよう
に、視差が大きければ距離が小さく、視差が小さければ
距離が大きい、という関係になっている。従って、視差
は距離情報と同じである。

【０１１４】更に、前記視差画像は、２つのカメラで構
成したステレオカメラを使用して得ることができる。例
えば、図８のＢに示すように、第１のカメラＬと第２の
カメラＲを所定距離（例えば、距離ｂ）だけ離して設置
し、これら２つのカメラで撮像した濃淡画像（白黒）か
ら、エッジ画像（物体の輪郭画像）を得て、Ｌ、Ｒの各
エッジ画像を合成して視差画像が生成できる。

【０１１５】(5) ：物体面当てはめ／物体位置決定部の
説明 (5) −１：定義 説明に先立ち、物体モデルについて説明する。物体モデ
ルは、物体の形状、大きさに合わせて複数用意し、その
１つの物体モデルをモデルクラスＣ_i とし、それらモデ
ルクラスＣ_i に合わせて、

【０１１６】

【数５】

【０１１７】但し、Ｎ_c はモデルクラスＣ_i の数を表
す。各モデルクラスＣ_i は、１つ或いは複数の幾何形状
（ここでは直方体）よりなり、対象に合わせて大きさが
調整されている。本例では、直方体を用いるので、直方
体を構成する面の内、観測者から見える面は３面ある
が、本例では、簡単化のために、直方体の面のうち、垂
直面として位置する２面について取り上げて考える。

【０１１８】但し、これは３面以上となっても、それぞ
れの方向へ投影面を考えれば話は同様である。これら２
面を次のように分類しておく。観測者の視線方向に直交
する面に近い方を「前面領域Ｓ_f,k 」と呼び、視線方向
に並行する面に近い方を「側面領域Ｓ_s,k 」と呼ぶ。

【０１１９】(5) −２：物体面当てはめ／物体位置決定
部の構成の説明 物体面当てはめ／物体位置決定部の構成図を図３のＢに
示す。物体面当てはめ／物体位置決定部４−２には、前
面領域の当てはめ処理を行う前面領域当てはめ部１４
と、側面領域の当てはめ処理を行う側面領域当てはめ部
１５を備えている。

【０１２０】物体面当てはめ／物体位置決定部４−２に
は、視差画像と基本領域リストＲＬ _i 、ｉ∈｛１，２，
・・・，Ｎ_R ｝を入力として、先ず、前面領域当てはめ
部１４により、各基本領域Ｒ_i を物体の前面領域と考え
たときに、矛盾のない３次元位置分布が得られる物体領
域Ｏ_f,i を得る。

【０１２１】次に、側面領域領域当てはめ部１５によ
り、今度は基本領域Ｒ_i を物体の側面領域と考えた時の
物体領域Ｏ_s,i を得る。このように、全ての組み合わせ
で、物体領域を検出することで、物体の位置によらず、
漏れなく物体を検出することができる。以下、詳細に説
明する。

【０１２２】(5) −３：前面領域当てはめ処理（全体処
理） 図９は、前面領域当てはめ部の処理フローチャート（そ
の１）である。以下、図９に基づいて、前面領域当ては
め部の処理を説明する。なお、Ｓ３１〜Ｓ３６は各処理
ステップを示す。

【０１２３】前面領域当てはめ部１４では、基本領域リ
ストに属す基本領域Ｒ_i 、ｉ∈｛１，２，・・・，
Ｎ_R ｝各々について、全てのモデルクラスＣ_k 、ｋ∈
｛１，２，・・・，Ｎ_C ｝に対して、図９に示す処理で
モデル当てはめを行い、モデルと合致する物体領域を検
出する。

【０１２４】その内容として、先ず、基本領域Ｒ_i が示
す３次元位置にモデルクラスＣ_k を構成する前面領域Ｓ
_f,k を置いた時に、その面を支持する視差点があるか調
べる。この場合、当てはめ度合いは、当てはめ得点ＳＣ
１（ＳＣ：スコア）として与えられている。

【０１２５】もし、当てはめ度合いが良ければ、その前
面領域Ｓ_f,k を元に、位置関係より生成できる側面領域
Ｓ_s,k を生成し、側面領域を支持する視差点があるか調
べる。この場合、当てはめ度合いは、当てはめ得点ＳＣ
２（ＳＣ：スコア）として与えられている。当てはめ度
合いが良ければ、モデルクラスＣ_k が与える位置に物体
領域Ｏ_f,i が存在するとする。また、この物体領域の評
価値ＳＣ＝ＳＣ１＋ＳＣ２とする。もし、いずれかの当
てはめ度合いが悪い場合は、物体領域は無いとする。

【０１２６】すなわち、前面領域当てはめ部１４は、視
差画像、基本領域Ｒ_i 、モデルクラスリストＣＬを入力
し（Ｓ３１）、基本領域Ｒ_i をモデルクラスＣ_k の前面
領域Ｓ_f,k として、モデル面の当てはめを行う（Ｓ３
２）。この当てはめ処理では、先ず、基本領域Ｒ_i をモ
デルクラスＣ_k の前面領域Ｓ_f,k として、モデル面の当
てはめを行う。この時、当てはめ得点ＳＣ１_,i,kを取得
する（Ｓ３２）。

【０１２７】そして、前面領域当てはめ部１４は、前面
領域が存在したか否かを判断し（Ｓ３３）、前面が存在
しなければ、物体領域無し、物体得点ＳＣ＝０として処
理を終了する。しかし、前面領域Ｓ_f,k が存在した場合
には、モデルクラスＣ_k に、側面領域Ｓ_s,k を生成し
て、側面領域Ｓ_s,k が有るか否かを調べる。この時、当
てはめ得点ＳＣ２_,i,kを取得する（Ｓ３４）。

【０１２８】そして、前面領域当てはめ部１４は、側面
領域が存在したか否かを判断し（Ｓ３５）、側面領域Ｓ
_s,k が存在しなければ、物体領域無し、物体得点ＳＣ＝
０として処理を終了する。しかし、側面領域Ｓ_s,k が存
在したら、モデルクラスＣ_kの位置を物体領域Ｏ_i,k の
位置とし、物体領域Ｏ_i,k の当てはめ得点ＳＣ＝ＳＣ１
_,i,k＋ＳＣ２_,i,kとする（Ｓ３６）。このようにして、
物体領域Ｏ_i,k 有り、当てはめ得点ＳＣ＝ＳＣ１_,i,k＋
ＳＣ２_,i,kを得る。

【０１２９】(5) −４：前面領域当てはめ処理（一部詳
細処理１） 図１０は、前面領域当てはめ部の処理フローチャート
（その２）であり、前面領域当てはめ部の一部詳細処理
（図９のＳ３２の詳細な処理）を示したものである。以
下、図１０に基づいて、前面領域当てはめ部の一部詳細
処理を説明する。なお、Ｓ４１〜Ｓ４８は各処理ステッ
プを示す。

【０１３０】前面領域当てはめ部１４は、基本領域
Ｒ_i 、モデルの前面領域Ｓ_f,k 、視差画像を入力し（Ｓ
４１）、前面領域Ｓ_f,k を基本領域Ｒ_i が示す３次元位
置に置いた時の視差画像での投影領域ｈ_f を得る（Ｓ４
２）。

【０１３１】この場合、対象物体が遠方にあると、物体
の観測大きさが小さくなり得られる距離情報の数が不足
して、距離情報へ物体面モデルの当てはめでは、モデル
位置を変化させても当てはめ度合いが殆ど変化せず、物
体位置の特定が困難となる。このため、物体が閾値以上
に遠い場合は３次元距離情報の他に、ビデオカメラ（或
いはテレビカメラ）などで撮像された情景の濃淡画像か
ら得られる物体輪郭線情報を用いて、画像中での物体位
置を補正することで、物体の３次元位置（奥行き）によ
らず、常に安定して物体位置を得る。

【０１３２】すなわち、前面領域当てはめ部１４は、基
本領域Ｒ_i の３次元距離を調べ（Ｓ４３）、その距離が
閾値以上に遠い場合は距離情報の信頼性が低下しており
距離情報だけで物体位置を定めるのは困難であるため、
カメラ３から出力された濃淡画像を取り込み、投影領域
ｈ_f を基準に物体輪郭の有無を求める（Ｓ４４）。

【０１３３】そして、輪郭線があったか否か（輪郭線の
有無）を調べ（Ｓ４５）、もし、輪郭線が無ければ、物
体はないものとする（前面領域無し）。また、輪郭線が
あった場合は、前面領域Ｓ_f,k を距離情報が支持するか
否かを調べる（Ｓ４６）。また、Ｓ４３の処理で、基本
領域Ｒ_i の距離が閾値以下であれば、距離情報の信頼性
があるので、輪郭線の検査は行わず、前面領域Ｓ_f,k を
距離情報が支持するか否かを調べる（Ｓ４６）。

【０１３４】そして、前面領域Ｓ_f,k を距離情報が支持
するか否かを調べる処理では、投影領域ｈ_f 内の視差点
を用いて前面領域Ｓ_f,k に当てはめを行い、その絶対当
てはめ得点Ｓ_a と、平均当てはめ得点Ｓ_r を計算する
（Ｓ４６）。このようにして、Ｓ４６の処理では、前面
領域を距離情報が支持するか否かを調べる処理を行うこ
とによって、絶対的当てはめ得点Ｓ_a が得られる。

【０１３５】そして、平均当てはめ得点Ｓ_r が閾値以下
であれば（Ｓ４７）、前面領域Ｓ_{f, k} 無しとするが、前
面領域Ｓ_f,k への距離情報の当てはめの平均当てはめ得
点Ｓ _r が閾値より大きければ、安定して物体面を支持す
る３次元情報があると見なせるので、前面領域Ｓ_f,k が
存在するとする。更に、その時の当てはめ得点ＳＣ１と
して、絶対得点Ｓ_a を用いる（Ｓ４８）。このような処
理により、前面領域Ｓ _f,k が存在するか否かの情報が得
られる。

【０１３６】(5) −５：前面領域当てはめ処理（一部詳
細処理２） 図１１は、輪郭検出処理の説明図であり、図１０のＳ４
３、Ｓ４４の処理を詳細に説明したものである。ここで
は、先ず、物体輪郭検出領域としての輪郭探索領域Ｈ_f
を、先に求めた物体面の投影領域ｈ_f と中心を同じくし
て、大きさを投影領域ｈ_f と一定倍大きくした領域とし
て定める。

【０１３７】次に、輪郭探索領域Ｈ_f に含まれる濃淡画
像でのエッジについて縦方向に投影を取る。投影像は、
横軸を位置（ｘ）とし、縦軸に輝度をとるヒストグラム
となる。このヒストグラムから、閾値以上の輝度を持つ
ピーク位置を検出することで、輪郭線の位置を決定す
る。

【０１３８】複数位置が得られたならば、全ての組み合
わせで、モデル領域（投影領域ｈ_fをモデル領域とす
る）の幅と近い幅を持つピーク組があるか否かを調べ
る。もし、類似した幅のピーク組があれば、該当モデル
が支持する物体の輪郭線があったとする。もし、明示し
た幅のピーク組がなければ、物体を支持する輪郭はない
とする。

【０１３９】(5) −６：前面領域当てはめ処理（一部詳
細処理３） 以下、図１０のＳ４６の処理を詳細に説明する。この処
理は、前面領域を距離情報が支持するか否かを定める処
理であり、以下、その内容を詳細に説明する。

【０１４０】先ず、モデル領域ｈ_f 内の視差点をｐ（ｘ
_i ，ｙ_i ，ｄ_i ）とする。この時、位置（ｘ_i ，ｙ_i ）
でのモデル面Ｓ_f,k の視差値ｄ_S として、以下の操作を
行う。

【０１４１】

【数６】

【０１４２】但し、Ｓ_a は、絶対当てはめ得点（視差情
報の当てはめの絶対得点）を表し、初期値はＳ_a ＝０と
する。この操作をモデル領域ｈ_f 内の全ての視差点につ
いて行う。そして、平均当てはめ得点Ｓ_r を、Ｓ_r ＝Ｓ
_a ／ＭＡＸ（ｈ_f の幅，ｈ_fの高さ）の式により求め
る。この処理で、物体面を当てはめた時の、当てはめの
良否（Ｓ_r ，Ｓ_a ）が得られる。

【０１４３】(5) −７：側面領域当てはめ処理（確認
用）の説明 図１２は、側面領域当てはめ処理（確認用）フローチャ
ートであり、図９のＳ３４の詳細な処理を示したもので
ある。以下、図１２に基づいて、図９のＳ３４の処理を
詳細に説明する。なお、Ｓ５１〜Ｓ５７は各処理ステッ
プを示す。

【０１４４】この処理は、物体の存在を確認するための
側面領域の当てはめ処理である。先ず、前面領域
Ｓ_f,k 、モデルクラスＣ_k 、視差画像を入力し（Ｓ５
１）、側面領域位置の決定を行う（Ｓ５２）。この場
合、先に求まった前面領域Ｓ_f,k の位置を元に、側面領
域Ｓ_s,k の３次元位置を計算する。側面領域としては両
横の２つが考えられるが、現在の視点から見えている方
に限定する。そして、側面領域Ｓ _s,k の視差画像への投
影である投影領域ｈ_s を得る（Ｓ５３）。

【０１４５】次に、側面領域Ｓ_s,k の視差画像での側面
領域Ｓ_s,k の最前方位置と最後方位置の差（奥行き変化
量）を調べて、その差が距離情報の解像度に比べて十分
大きいならば（Ｓ５４）、距離情報による当てはめが行
えるので、以降の処理を行なう。また、もし、解像度が
不足しているなら、側面領域の存在を問うこと自体が意
味を持たないので、側面領域検査不要として処理を終え
る。

【０１４６】また、Ｓ５４の処理で、奥行き解像度が十
分な時（Ｓ５４）には、前記Ｓ３４の処理により側面領
域Ｓ_s,k を支持する視差点が十分あるかを調べ、物体面
当てはめ処理を行う。この場合、物体面当てはめ度合い
の良否判断の結果は、平均当てはめ得点Ｓ_r 、絶対当て
はめ得点Ｓ_a として返される（Ｓ５５）。

【０１４７】次に、前面領域と同様に、平均当てはめ得
点Ｓ_r が閾値以上なら（Ｓ５６）、側面領域Ｓ_s,k が存
在していると見なし、当てはめ得点の評価値ＳＣ２とし
て、絶対当てはめ得点Ｓ_a を返す（Ｓ５７）。また、平
均当てはめ得点Ｓ_r が閾値以下なら、当該側面領域Ｓ
_s,k は無いとする。

【０１４８】(5) −８：側面領域当てはめ部の説明 以下、図３のＢに示した「側面領域当てはめ部１５」の
処理について説明する。この処理では、各基本領域Ｒ_i
について、最初に側面領域Ｓ_s,k を求めて、該側面領域
Ｓ_s,k が有れば、それを支持する前面領域Ｓ_f,k を求め
て、その双方があれば物体領域Ｏ_s,k があるとする。

【０１４９】この意味において、前面領域当てはめ部１
４との違いは前面領域と側面領域の探索順序の違いだけ
で、その内容は実質的に同じである。従って、これまで
説明した処理を、前面を側面領域に、側面領域を前面に
それぞれ入れ換えたものと同値であるから、詳細な説明
は省略する。

【０１５０】(6) ：物体速度計測器の説明 以下、図２に示した物体速度計測器５について説明す
る。物体の速度は、各時刻で得られる物体位置を時刻間
で対応づけることで、物体の位置変化を取得して求め
る。すなわち、物体の速度計測は、時刻間の物体の移動
量より求める。この対応付けを行う主体として、追跡器
ＴＡ_i （ｉは他の追跡器と区別するための添え字）を定
義する。

【０１５１】更に、

【０１５２】

【数７】

【０１５３】そのために、更に、

【０１５４】

【数８】

【０１５５】カルマンフィルタのシステム式及び推定式
は以下の通りである。

【０１５６】

【数９】

【０１５７】

【数１０】

【０１５８】

【数１１】

【０１５９】更に、時刻間の対応付けにおいて対応する
物体領域Ｏ_i が無くなった時には、追跡器ＴＡ_i はロス
ト追跡器ＴＬ_i に遷移するとする。このロスト追跡器Ｔ
Ｌ_iを集めた集合、ロスト追跡器リストＴＬＬ＝｛ＴＬ
_i ｝、ｉ∈｛１，２，・・・，Ｎ_n ｝を定義する。

【０１６０】(7) ：物体追跡処理（追跡器の時刻間で対
応付ける方法）の説明 図１３は物体追跡処理フローチャートである。以下、図
１３に基づいて物体追跡処理を説明する。なお、Ｓ６１
〜Ｓ６９は各処理ステップを示す。

【０１６１】先ず、物体領域リストＯＬ、追跡器リスト
ＴＡＬ、ロスト追跡器リストＴＬＬを入力し（Ｓ６
１）、追跡器リストＴＡＬから、物体領域と対応付けら
れていない未対応の追跡器ＴＡ_i を得る（Ｓ６２）。も
し、そのような追跡器ＴＡ_i がなければ（Ｓ６３）、Ｓ
６８の処理（後述する）へ移行する。

【０１６２】次に、追跡器ＴＡ_i があった場合、追跡器
ＴＡ_i について、対応可能な物体領域Ｏ_j を物体領域リ
ストＯＬから選択する（Ｓ６４）。もし、対応する物体
領域Ｏ_j があれば（Ｓ６５）、追跡器ＴＡ_i を物体領域
Ｏ_j を用いて更新処理する（Ｓ６６）。そして、処理を
Ｓ６２に戻す。

【０１６３】もし、対応する物体領域Ｏ_j が無ければ、
追跡器ＴＡ_i に対して対応ロスト処理を行い（Ｓ６
７）、処理をＳ６２に戻す。このように全ての対応追跡
器ＴＡ_iについて物体領域との対応付けが終了すると、
処理はＳ６８へ以降する。ここの段階の物体領域リスト
には、追跡器と対応付けがかなった新規の物体領域が残
っている。

【０１６４】その中には、実際に新たに加わった物体領
域もあれば、以前の対応追跡器中に何らかの理由で対応
をロストして、その同一物体領域がこの時点で再び観測
されたものもある。そこで、先ず、後者の場合を想定し
て、ロスト追跡器ＴＬ_i と矛盾なく対応する物体領域Ｏ
_j を探索する（Ｓ６８）。

【０１６５】もし、そのような物体領域Ｏ_j があれば、
対応するロスト追跡器ＴＬ_i の情報を用いて初期速度を
定め、対応追跡器ＴＡ_i に戻す。初期速度が定まってい
るので、カルマンフィルタで推定するパラメータの収束
が早まり、短時間で位置、速度情報が安定する。

【０１６６】次に、前者の新規物体領域について、追跡
器ＴＡを設定して、以降の追跡処理を開始する。そし
て、最後に、ロスト追跡器ＴＬ_i のロスト回数をインク
リメントし、一定回数以上ロスト状態が続くロスト追跡
器ＴＬ_i を除去する更新処理を行う（Ｓ６９）。

【０１６７】なお、前記Ｓ６８の処理について詳細に説
明する。この処理では、ロスト追跡器ＴＬ_i の見失った
時刻での位置から、現時刻の位置を喪失した時に、その
位置と物体領域Ｏ_j からの位置が十分近いなら、矛盾無
しとする。そして、矛盾がないなら、ロスト追跡器ＴＬ
_i の速度を初期値として追跡を再開する。この時、ロス
ト追跡器ＴＬ_i を追跡器ＴＡ_i として、追跡器リストＴ
ＡＬに戻す。このようにすることで、再追跡時には、物
体の移動速度が分かっているから、追跡が安定して行え
る。

【０１６８】更に、各処理について詳細に説明する。先
ず、Ｓ６４の対応可能物体領域の選択では、追跡器ＴＡ
_i の予測位置Ｐ_p （ＸＰ_i ，ＺＰ_i ）を基準に、最も３
次元距離が近い物体領域を対応候補とし、その対応候補
との距離が閾値以下の場合は対応可能とする。それ以外
は対応不可能とする。

【０１６９】次に、Ｓ６６の追跡器の更新では、対応可
能物体領域Ｏ_j の３次元位置（ＸＯ _j ，ＺＯ_j ）を観測
位置として、前記式(2) 、式(4) で追跡器の位置、速度
の推定値を更新し、その速度を追跡物体の移動速度（出
力）とする。更に、前記式(1) 、式(3) を用いて、次回
の位置、速度の予測値を求めておき、次時刻の対応付け
に利用する。

【０１７０】また、Ｓ６７の追跡器のロスト処理では、
その追跡器ＴＡ_i が物体をロストした時点での位置と速
度を、それぞれロスト位置Ｐｌ_i （ＸＬ_i ，ＺＬ_i ）、
ロスト速度Ｖｌ_i （ＶＸＬ_i ，ＶＺＬ_i ）に記録してお
き、再対応時に備える。更に、ロスト回数カウンタｌ_ci
を１に設定する（ｌ_ci＝１）。そして、追跡器ＴＡ_iを
追跡器リストＴＡＬから除去し、それをロスト追跡器リ
ストＴＬＬに追加する。

【０１７１】Ｓ６８の処理では、新規物体領域Ｏ_j の位
置（ＸＯ_j ，ＺＯ_j ）と、各ロスト追跡器ＴＬ_i のロス
ト位置ｐｌ_i 、ロスト速度ｖｌ_i を用いて以下に示す式
で、予測位置と観測位置の差１を計算し、矛盾なく対応
できるかを調べる。

【０１７２】

【数１２】

【０１７３】もし、前記ｌ（エル）が閾値以内ならば
（ｌ≦閾値）、物体領域Ｏ_j とロスト追跡器ＴＬ_i は矛
盾なく対応できるとして、物体領域Ｏ_j の位置を用いて
ロスト追跡器ＴＬ_i の３次元位置と速度をカルマンフィ
ルタで推定すると共に、その追跡器をロスト追跡器リス
トＴＬＬから除き、ロスト回数を０に設定してから、再
度（対応）追跡器リストＴＡＬに加えて、以降の対応付
けを開始する。

【０１７４】§４：具体的な装置例と記録媒体の説明 図１４は具体的な装置例である。前記３次元物体検出／
速度計測装置は、パーソナルコンピュータ、ワークステ
ーション等の任意のコンピュータを利用して実現するこ
とができる。この３次元物体検出／速度計測装置は、コ
ンピュータ本体２０と、該コンピュータ本体２０に接続
されたディスプレイ装置３１、入力装置（キーボード／
マウス等）３２、リムーバブルディスクドライブ（「Ｒ
ＤＤ」という）３３、磁気ディスク装置（「ＭＤＤ」と
いう）３４、距離計測器１、カメラ３等で構成されてい
る。

【０１７５】そして、コンピュータ本体２０には、内部
の各種制御や処理を行うＣＰＵ２１と、プログラムや各
種データを格納しておくためのＲＯＭ２２（不揮発性メ
モリ）と、メモリ２３と、インタフェース制御部（「Ｉ
／Ｆ制御部」という）２４と、通信制御部２５と、入出
力制御部（Ｉ／Ｏ制御部）２６等が設けてある。なお、
前記ＲＤＤ３３には、フレキシブルディスクドライブ
（フロッピィディスクドライブ）や光ディスクドライブ
等が含まれる。

【０１７６】前記構成の装置において、例えば、ＲＯＭ
２２、或いはＭＤＤ３４の磁気ディスク（記録媒体）
に、３次元物体検出／速度計測装置の前記処理を実現す
るためのプログラムを格納しておき、このプログラムを
ＣＰＵ２１が読み出して実行することにより、前記３次
元物体検出／速度計測処理を実行する。

【０１７７】しかし、本発明は、このような例に限ら
ず、例えば、ＭＤＤ３４の磁気ディスクに、次のように
してプログラムを格納し、このプログラムをＣＰＵ２１
が実行することで前記連結領域抽出処理を行うことも可
能である。

【０１７８】：他の装置で作成されたリムーバブルデ
ィスクに格納されているプログラム（他の装置で作成し
たプログラムデータ）を、ＲＤＤ３３により読み取り、
ＭＤＤ３４の記録媒体に格納する。

【０１７９】：ＬＡＮ等の通信回線を介して他の装置
から伝送されたプログラム等のデータを、通信制御部２
５を介して受信し、そのデータをＭＤＤ３４の記録媒体
（磁気ディスク）に格納する。

【０１８０】

【発明の効果】本発明によれば次のような効果がある。

【０１８１】(1) ：請求項１では、基本領域検出手段
は、或る近隣範囲に存在する３次元位置情報をまとめて
基本領域とするが、その際、このまとめる近隣範囲の大
きさを、３次元位置により変化する物体の見かけの大き
さに合わせた適切な大きさに設定することで、距離情報
を過不足なくまとめることを可能にし、その結果として
物体位置を検出する。

【０１８２】この場合、距離情報（視差情報）に物体面
モデルを当てはめてその良否から物体の有無を決定する
「物体検出処理」で必要となる、距離（視差）画像から
近隣の距離情報をまとめて平面部分を物体面候補として
抽出する。この処理において、３次元位置（奥行き）に
より変化する物体の観測大きさに合わせた適切な領域を
「近隣」として近隣領域内の距離情報をまとめることで
過不足ない距離情報を用いることを可能にする。

【０１８３】その結果、従来の固定大きさを「近隣」と
する方法で生じる、遠方で近隣する他物体を誤って一つ
の物体としてしまう過併合の問題や、近傍で一つの物体
面が多くの小平面に分割されて検出され、本来の物体面
に統合するのが困難になる過分割の問題を生じることな
く、物体の３次元位置（奥行き）によらず、常に安定し
て一つの物体面を一つの平面として抽出することができ
る。

【０１８４】(2) ：請求項２では、物体面当てはめ手段
は、当てはめ対象である基本領域の３次元距離によっ
て、距離情報の他に、対象情景を撮像する濃淡或いはカ
ラー画像から得られる情報を使用するか不使用とするか
を切り換える。

【０１８５】この場合、物体検出処理に関して、対象物
体が遠方にあると物体の観測大きさが小さくなり、得ら
れる距離情報の数が不足して、距離情報への物体面モデ
ルの当てはめではモデル位置を変化させても当てはめ度
合いが殆ど変化せず、物体位置の特定が困難となる。

【０１８６】そのため、物体が閾値以上に遠い場合は、
３次元距離情報の他に、ビデオカメラ（或いはテレビカ
メラ）等で撮像された情景の濃淡画像から得られる物体
輪郭線情報を用いて画像中での物体位置を補正すること
で、物体の３次元位置（奥行き）によらず、常に安定し
て物体位置を得ることができる。

【０１８７】(3) ：請求項３では、速度検出手段は、位
置検出手段で物体が検出できず、その結果として時系列
での対応が求まらない時、一定回数だけその物体を未対
応状態で位置を残しておき、前記位置検出手段で再び物
体が検出された時には、未対応であった期間での平均移
動速度を参考に未対応状態の物体と矛盾なく対応できる
かを調べ、もし矛盾なく対応できるならば、先の検出さ
れた物体を未対応物体が再び検出されたとして、未対応
間の平均移動速度を再追跡の初期速度として与えて再び
物体の追跡を行うことで、余分な追跡を必要とせず、速
やかに速度計測を再開する。

【０１８８】この場合、物体速度計測処理に関して、物
体領域が検出できず、対応が求まらない時は、一定の回
数だけその物体を未対応状態で位置の情報を残してお
き、再び物体が検出された場合には、未対応の間の平均
移動距離を初期速度として与えて再び物体の追跡を行う
ことで、再検出の直後から速度を安定に計測することを
可能とする。

【０１８９】また、再検出物体を新規物体として追跡し
始める従来方式では、速度情報を安定に得るには、更
に、数フレームの物体追跡が必要で、速度情報の出力ま
でに時間遅れを要していたが、本発明では、物体の検出
ができない場合があっても、時間遅れなく、速度情報を
得ることができる。

【０１９０】(4) ：請求項４では、３次元位置情報から
物体面を構成する面の全部或いは一部を、部分特徴であ
る基本領域として検出する基本領域検出処理と、前記検
出された物体面の基本領域について、予め用意した物体
形状モデルの構成面を当てはめる物体面当てはめ処理
と、前記物体面当てはめ手段による当てはめ結果の良否
より物体の有無を判定する物体領域判定処理を有し、前
記基本領域検出処理では、或る近隣範囲に存在する３次
元位置情報をまとめて基本領域とするが、その際、この
まとめる近隣範囲の大きさを、３次元位置により変化す
る物体の見かけの大きさに合わせた適切な大きさに設定
することで、距離情報を過不足なくまとめることを可能
にし、その結果として物体位置を検出するようにした。

【０１９１】このようにすれば、従来の固定大きさを
「近隣」とする方法で生じる、遠方で近隣する他物体を
誤って一つの物体としてしまう過併合の問題や、近傍で
一つの物体面が多くの小平面に分割されて検出され、本
来の物体面に統合するのが困難になる過分割の問題を生
じることなく、物体の３次元位置（奥行き）によらず、
常に安定して一つの物体面を一つの平面として抽出する
ことができる。

【０１９２】(5) ：請求項５では、３次元物体検出装置
が、記録媒体のプログラムを読み出して実行することに
より、或る近隣範囲に存在する３次元位置情報をまとめ
て基本領域とする際、このまとめる近隣範囲の大きさ
を、３次元位置により変化する物体の見かけの大きさに
合わせた適切な大きさに設定することで、距離情報を過
不足なくまとめることを可能にし、その結果として物体
位置を検出する。

【０１９３】この場合、距離情報（視差情報）に物体面
モデルを当てはめてその良否から物体の有無を決定する
「物体検出処理」で必要となる、距離（視差）画像から
近隣の距離情報をまとめて平面部分を物体面候補として
抽出する。この処理において、３次元位置（奥行き）に
より変化する物体の観測大きさに合わせた適切な領域を
「近隣」として近隣領域内の距離情報をまとめることで
過不足ない距離情報を用いることを可能にする。

【０１９４】その結果、従来の固定大きさを「近隣」と
する方法で生じる、遠方で近隣する他物体を誤って一つ
の物体としてしまう過併合の問題や、近傍で一つの物体
面が多くの小平面に分割されて検出され、本来の物体面
に統合するのが困難になる過分割の問題を生じることな
く、物体の３次元位置（奥行き）によらず、常に安定し
て一つの物体面を一つの平面として抽出することができ
る。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】本発明の実施の形態におけるシステム説明図で
ある。

【図３】本発明の実施の形態における基本領域検出部、
及び物体面当てはめ／物体位置決定部の構成図である。

【図４】本発明の実施の形態における間引き視差画像と
元の視差画像の位置関係を示した図である。

【図５】本発明の実施の形態における基本領域生成部の
処理フローチャートである。

【図６】本発明の実施の形態における処理説明図（その
１）である。

【図７】本発明の実施の形態における処理説明図（その
２）である。

【図８】本発明の実施の形態における処理説明図（その
３）である。

【図９】本発明の実施の形態における前面領域当てはめ
部の処理フローチャート（その１）である。

【図１０】本発明の実施の形態における前面領域当ては
め部の処理フローチャート（その２）である。

【図１１】本発明の実施の形態における輪郭検出処理の
説明図である。

【図１２】本発明の実施の形態における側面領域当ては
め処理（確認用）フローチャートである。

【図１３】本発明の実施の形態における物体追跡処理フ
ローチャートである。

【図１４】本発明の実施の形態における具体的な装置例
である。

【符号の説明】

１ 距離計測器 ２ 視差画像変換器 ３ カメラ（ビデオカメラ） ４ 物体検出器 ４−１ 基本領域検出部 ４−２ 物体面当てはめ／物体位置決定部 ５ 物体速度計測器 １１ 視差画像間引き部 １２ 単位領域検出部 １３ 基本領域生成部 １４ 前面領域当てはめ部 １５ 側面領域領域当てはめ部 ２０ コンピュータ本体 ２１ ＣＰＵ ２２ ＲＯＭ ２３ メモリ ２４ Ｉ／Ｆ制御部（インターフェイス制御部） ２５ 通信制御部 ２６ Ｉ／Ｏ制御部（入出力制御部） ３１ ディスプレイ装置 ３２ 入力装置 ３３ リムーバブルディスクドライブ（ＲＤＤ） ３４ 磁気ディスク装置（ＭＤＤ）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｇ Ｋ Ｆターム(参考） 5B057 CH18 DA07 DA08 DB03 DB06 DB09 DC09 DC30 DC32 5C054 AA02 AA05 CA04 CC02 CG03 CG05 EA01 FA04 FB01 FB03 FC03 FC12 FC13 FC14 FD01 FE05 FE24 FF02 GA01 GA02 GA04 GB12 GB15 HA18 HA26 HA31 5L096 AA09 BA02 BA04 BA05 CA05 FA66 FA69 FA70 GA38 GA43 HA05 JA09 JA18

Claims (5)

【特許請求の範囲】
1. 【請求項１】３次元位置情報が、２次元の配列の各場所
   に奥行き情報を持つ画像形式や、３次元位置情報の集合
   の形で与えられた時に、３次元空間に存在し得る３次元
   物体の位置、形状を検出する３次元物体検出装置におい
   て、 前記３次元位置情報から物体面を構成する面の全部或い
   は一部を、部分特徴である基本領域として検出する基本
   領域検出手段と、 前記検出された物体面の基本領域について、予め用意し
   た物体形状モデルの構成面を当てはめる物体面当てはめ
   手段と、 前記物体面当てはめ手段による当てはめ結果の良否より
   物体の有無を判定する物体領域判定手段を備え、 前記基本領域検出手段は、或る近隣範囲に存在する３次
   元位置情報をまとめて基本領域とするが、その際、この
   まとめる近隣範囲の大きさを、３次元位置により変化す
   る物体の見かけの大きさに合わせた適切な大きさに設定
   することで、距離情報を過不足なくまとめることを可能
   にし、その結果として物体位置を検出する機能を備えて
   いる、 ことを特徴とする３次元物体検出装置。
2. 【請求項２】３次元位置情報が、２次元の配列の各場所
   に奥行き情報を持つ画像形式や、３次元位置情報の集合
   の形で与えられた時に、３次元空間に存在し得る３次元
   物体の位置、形状を検出する３次元物体検出装置におい
   て、 前記３次元位置情報から物体面を構成する面の全部或い
   は一部を、部分特徴である基本領域として検出する基本
   領域検出手段と、 前記検出された物体面の基本領域について、予め用意し
   た物体形状モデルの構成面を当てはめる物体面当てはめ
   手段と、 前記物体面当てはめ手段による当てはめ結果の良否より
   物体の有無を判定する物体領域判定手段を備え、 前記物体面当てはめ手段は、当てはめ対象である基本領
   域の３次元距離によって、距離情報の他に、対象情景を
   撮像する濃淡或いはカラー画像から得られる情報を使用
   するか不使用とするかを切り換える機能を備えている、 ことを特徴とする３次元物体検出装置。
3. 【請求項３】１つ或いは複数の物体について位置情報を
   検出する位置検出手段を備え、 前記位置検出手段の検出結果を時系列的に求めていき、
   その得られた物体位置の時系列的な対応を求めること
   で、各物体の速度情報を算出する３次元物体検出装置に
   おいて、 前記位置検出手段で物体が検出できず、その結果として
   時系列での対応が求まらない時、一定回数だけその物体
   を未対応状態で位置を残しておき、前記位置検出手段で
   再び物体が検出された時には、未対応であった期間での
   平均移動速度を参考に未対応状態の物体と矛盾なく対応
   できるかを調べ、もし矛盾なく対応できるならば、先の
   検出された物体を未対応物体が再び検出されたとして、
   未対応間の平均移動速度を再追跡の初期速度として与え
   て再び物体の追跡を行うことで、速度計測を再開できる
   ようにした速度検出手段を備えている、 ことを特徴とする３次元物体検出装置。
4. 【請求項４】３次元位置情報が、２次元の配列の各場所
   に奥行き情報を持つ画像形式や、３次元位置情報の集合
   の形で与えられた時に、３次元空間に存在し得る３次元
   物体の位置、形状を検出する３次元物体検出方法におい
   て、 前記３次元位置情報から物体面を構成する面の全部或い
   は一部を、部分特徴である基本領域として検出する基本
   領域検出処理と、 前記検出された物体面の基本領域について、予め用意し
   た物体形状モデルの構成面を当てはめる物体面当てはめ
   処理と、 前記物体面当てはめ手段による当てはめ結果の良否より
   物体の有無を判定する物体領域判定処理を有し、 前記基本領域検出処理では、或る近隣範囲に存在する３
   次元位置情報をまとめて基本領域とするが、その際、こ
   のまとめる近隣範囲の大きさを、３次元位置により変化
   する物体の見かけの大きさに合わせた適切な大きさに設
   定することで、距離情報を過不足なくまとめることを可
   能にし、その結果として物体位置を検出する、 ことを特徴とする３次元物体検出方法。
5. 【請求項５】３次元位置情報が、２次元の配列の各場所
   に奥行き情報を持つ画像形式や、３次元位置情報の集合
   の形で与えられた時に、３次元空間に存在し得る３次元
   物体の位置、形状を検出する３次元物体検出装置に、 ３次元位置情報から物体面を構成する面の全部或いは一
   部を、部分特徴である基本領域として検出する第１の手
   順と、 前記検出された物体面の基本領域について、予め用意し
   た物体形状モデルの構成面を当てはめる第２の手順と、 前記第２の手順による当てはめ結果の良否より物体の有
   無を判定する第３の手順と、 前記第１の手順を行う場合、或る近隣範囲に存在する３
   次元位置情報をまとめて基本領域とするが、その際、こ
   のまとめる近隣範囲の大きさを、３次元位置により変化
   する物体の見かけの大きさに合わせた適切な大きさに設
   定することで、距離情報を過不足なくまとめることを可
   能にし、その結果として物体位置を検出する第４の手順
   と、 を実行させるためのプログラムを記録したコンピュータ
   読み取り可能な記録媒体。