JP2009052940A - 移動物体検出装置および自律移動物体 - Google Patents

移動物体検出装置および自律移動物体 Download PDF

Info

Publication number
JP2009052940A
JP2009052940A JP2007218090A JP2007218090A JP2009052940A JP 2009052940 A JP2009052940 A JP 2009052940A JP 2007218090 A JP2007218090 A JP 2007218090A JP 2007218090 A JP2007218090 A JP 2007218090A JP 2009052940 A JP2009052940 A JP 2009052940A
Authority
JP
Japan
Prior art keywords
moving object
tracking
object detection
distance
measuring sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007218090A
Other languages
English (en)
Other versions
JP4413957B2 (ja
Inventor
Takashi Sonoura
隆史 園浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007218090A priority Critical patent/JP4413957B2/ja
Priority to US12/196,376 priority patent/US8218816B2/en
Publication of JP2009052940A publication Critical patent/JP2009052940A/ja
Application granted granted Critical
Publication of JP4413957B2 publication Critical patent/JP4413957B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image

Abstract

【課題】混雑環境下での移動物体の精度よいトラッキングが行える移動物体検出装置および移動ロボットを提供すること。
【解決手段】空間の混雑度を測定してトラッキングに利用するもので、方向成分では、混雑度が低ければレーザレンジセンサの計測値を重視し、混雑度が高くなると画像処理結果を重視したセンサフュージョンを行い、得られた移動物体推定方向に対してレーザレンジセンサの計測結果から距離を求める。
【選択図】図12

Description

本特許はロボット、センサ、システムおよびロボット制御手法に関するものである。
空間中を自由に移動する移動物体(例えば人など)の位置を検出・追跡(トラッキング)する手法として、カメラ画像を利用した画像処理や、レーザレンジセンサのような測距センサを利用した検出手法などがある。
測距センサを用いたトラッキングでは物体の形状や位置・速度の時間連続性が利用される。しかしこの手法では具体的に何を追いかけているのかといった対象を特定することが難しいため、混雑環境下でのトラッキングに弱い。
そこで、レーザレンジセンサが計測した検出点のグルーピングにレーザ反射強度の連続性を用いているものが提案されている(たとえば、特許文献1参照。)。
一方、画像処理を用いた手法では対象物体を特定しながらトラッキングができるものの、マッチング精度や誤認識、カメラセンサの分解能などの影響で正確な位置特定は難しい。
これらの課題を解決するため、複数センサの長所を組み合わせる「センサフュージョン」が使用されているが、混雑環境下を高速で不規則に動作するような移動物体に対するロバストなトラッキング手法はまだ確立されていない。
カメラ画像処理結果の成否判定にレーダの距離・方位情報を使用しこれをセンサフュージョン部とするものが提案されている(たとえば、特許文献2参照。)。同様に周囲の明暗状況に応じて画像情報の重みを変化させるものも提案されている(例えば、特許文献3参照。)。
特開2004−198323号公報 特開2005−297648号公報 特開2007−15676号公報
上記した特許文献1の場合、計測対象表面が均質でない場合にはトラッキング性能が弱く、自動車の表面のようにある程度の形・大きさの定まったものにしか通用しない。また、追跡対象付近に他の物体がある状態、いわゆる混雑状況下での検出が弱かった。
ステレオ画像処理による距離計測では、誤検出やマッチングエラーといった画像処理そのものの課題の他にカメラセンサの画素密度に起因する量子化誤差の影響がある。使用するカメラセンサの種類やカメラの視差状態によっては、数mの距離にある物体のステレオ視計測精度が±数十cmにおよぶこともある。また、特許文献2の手法では誤検出のチェックはできてもカメラ画像処理以上の分解能は得られず、高速な動作に対するトラッキングを行うことはできない。
さらに、特許文献3のように、画像を基準としたセンサフュージョンシステムでは、基本的にはカメラ画像処理以上の動作性能は望めず、また混雑環境下での動作も難しいという問題があった。
そこで、本発明はこれらの事情に基づいてなされたもので、混雑環境下での移動物体の精度よいトラッキングが行える移動物体検出装置および自律移動体を提供することを目的としている。
本発明の一態様によれば、画像取得手段と、この画像取得手段で取得された画像情報から追跡対象を抽出する画像処理手段と、該追跡対象までの距離と方位を推定する位置推定手段と、指定した方向に対する奥行き距離が計測可能な空間走査型の測距センサと、前回の移動物体検出点の周囲に混雑度計測領域を設定し、この領域内を通過する前記測距センサの走査ライン総数に対する、混雑度計測領域内で検出された測距センサの検出点数の比Cで表現される混雑度を計測する混雑度計測手段とを備え、前記測距センサを使用した移動物体トラッキング結果と前記画像処理を用いた移動物体トラッキング結果を、W=αCn+β(α,β,nは任意定数)で表される融合率Wをもとに演算し、融合推定結果として求めることを特徴とする移動物体検出装置が提供される。
また、本発明の別の一態様によれば、前記移動物体検出装置と、この移動物体検出装置が並進・旋回動作が可能な移動手段と、追跡対象推定位置を参照して移動物体を追跡することが可能な追従手段を備え、前記融合率Wと,前記測距センサの反射強度をR(R=0〜1)としたとき、W22*Rn2+β2(α22,n2は任意定数)で表される融合率W2としたとき、移動物体追跡時の追従ゲインGを、G∝Wなる関係で動的に変化させることを特徴とする自律移動物体が提供される。
本発明によれば、混雑環境下での移動物体の精度よいトラッキングを行うことができる。
以下、本発明の移動物体検出装置についての実施するための最良の形態を、図面を参照して説明する。
図1は、本発明にかかる移動物体検出装置を備えた自律移動ロボットの概略構成を示す概観図である。
移動ロボット100には、外界センサとしてレーザレンジファインダ10とカメラ20が備わっている。カメラ20は光軸が平行になる状態で2台配置されており、ステレオ画像が得られるカメラシステムが構築されている。カメラ20はロボット頭部に設置されている。ロボット頭部は、胴体から独立してパン方向およびチルト方向に可動可能となっている。
移動ロボット100の胴体底部には、左右の車軸に支持された移動用車輪30が備えられ、移動用車輪30を回転させることにより前後・旋回といったさまざまな動作が可能となっており、空間中を自由に移動する。
移動ロボット100には移動物体を検出する機能が備わっており、この機能により得られた情報をもとに移動物体の衝突の回避・追従といった動作が可能となっている。
この移動ロボット100は、移動物体検出のために、レーザレンジファインダ10による方位−距離データと、ステレオカメラ20による画像データの画像処理による方位−距離データを使用している。
(画像処理による移動物体のトラッキング)
本実施形態に係る移動ロボットでは、レーザレンジファインダの他にカメラ画像のステレオ画像処理による目標の距離・方位計測とトラッキングが可能になっている。まず、ステレオカメラ20で取得した画像データを画像処理して、追跡対象となっている移動物体を検出する。画像処理には、周知の手法を使用することができる。例えば、画像中のエッジ・コーナーに見られる特徴点の検出と検出された特徴点のマッチングを行う。画像処理で得られた特定特徴点または特徴点群を追跡対象としてトラッキングし、カメラ視野内位置によって対象物体の方位角を、2つのカメラ画像のステレオ視差によって対象物体までの距離を計測している。
(測距センサによる移動物体のトラッキング)
レーザレンジファインダ10は、ステレオカメラ20によるステレオ視と共に移動ロボット100の測距センサとして用いるもので、角度方向、距離方向共に高い解像度と測定精度を持っている。レーザレンジファインダ10によれば、周囲情報は、ある方向成分における最短障害物までの距離が計測できる。
本発明に係る移動物体検出装置では、レーザレンジファインダによる移動物体の検出・追従が可能となっている。
図2は、レーザレンジファインダによる移動物体のトラッキングの流れを示すフローチャートである。
まず、レーザレンジファインダのレーザビームをスキャンして情報を取得する(ステップ200)。次いで、スキャン情報から、追跡対象としている移動物体の前回予測位置に対し、追跡対象の過去の計測推定履歴から移動物体の現在の速度ベクトルを求め、今回の位置を予測する(ステップ201)。
次に、前回予測位置を次周期の移動予測位置にまで移動させる。速度ベクトルは、図3に示すように、単純に移動平面X軸,Y軸それぞれのn,n-1ステップの位置情報を用いて直線補間により求めることができる。尚、直前数点を使用した最小自乗法による高次多項式により速度ベクトルと次ステップ予測位置を求めてもよい。
(移動物体検出領域の展開)
図4により、移動物体検出領域について説明する。移動物体の移動予測位置が把握されると、続いて追跡対象の次ステップ移動予測位置を中心に、ある半径rを持つ円形の領域を展開し、この領域内を次ステップの移動物体検出領域とする(ステップ202)。
追跡対象となっている移動物体が例えば人間である等、移動物体の種別が判明している場合には、その対象物体が出しうる最大速度を、円形領域の半径rとする。追跡対象が判明しない場合には、それまでに計測された追跡対象の最大速度にある程度の係数を掛けたものを暫定的な出力可能最大速度とし、円形領域の半径rとする。
(現在速度補正後の検出領域)
図5は、移動物体の現在速度補正後の検出領域を説明する図である。いま、移動物体の現在の推定速度がV、上記にある追跡対象の出力可能最大速度がVmaxであったとき、円形領域の半径r は次式のように補正される。
r'= r -γ(1-|V|/Vmax) (γ:γ< r の定数)
ここでの速度は単位計測周期あたりの移動量を指す。これにより追跡対象が取り得るあらゆる動きに対応しつつ、余計な領域の検出点の誤判定を回避することが可能になる。
(動作方向補正後の移動物体検出領域)
次に、図6により、移動物体の動作方向を考慮した検出領域の補正を説明する。移動物体検出領域として用意した円形領域は、移動物体の現在の推定速度をVとし、上記にある追跡対象の出力可能最大速度が Vmaxであったとき、その円形領域を形成するベクトルr'(φ)(0<=φ<2π, |r'|:半径)を
ここでは、指向性の効果とは速度ベクトル方向になるほど検出領域幅が広くなり、逆に速度ベクトル逆方向ほど検出領域が狭くなることを意味している。また対象の速度が大きいほどこの補正効果が現れることを速度効果と表現している。これにより、移動物体の現在の移動速度の大きさと方向を考慮したより高精度な検出が可能となる。
(相対移動補正後の移動物体検出領域)
次に、図7により、移動物体検出装置自体が移動している場合を考慮した移動物体の相対移動補正後の検出領域について説明する。
これにより、レーザレンジファインダが移動ロボットに搭載された場合など、移動物体検出装置自体が移動するような相対的な運動時における検出率向上が可能となる。なお、このときの移動速度V0は、別途用意したセンサにより計測可能である。例えば、図1のような移動ロボットでは、両車輪に設置された車軸回転量を計測可能なエンコーダのオドメトリを利用して速度計測が可能なほか、周知の慣性センサ等を使用しても計測が可能である。
(レーザスキャン形式を考慮した移動物体検出領域)
次に、図8により、レーザのスキャン形式を考慮した移動物体検出領域について説明する。レーザレンジファインダによる距離計測は、1本のレーザ発光源を中心に放射線状に任意の平面上を走査している。そこで、本実施形態においては図8に示すように補正領域を内包するような扇形を最終的な移動物体検出領域とし、計算負荷を低減させることができる。
(レーザレンジファインダによる検出点)
図8に示すように定めた移動物体検出領域中に、レーザレンジファインダによる検出点がある場合には、この点を目標移動物体に反応した検出点であると見なす(ステップ203)。ここでは、検出領域中で反応した全ての点を移動目標に反応した点と見なし、カウントする(ステップ204)。
(平均重心位置による位置推定)
次に、図9により、平均重心位置による目標移動物体の位置の推定について説明する。
1スキャン中のデータのうち、検出領域中に存在する全検出点の平均重心位置を、現在追跡している目標移動物体の現在ステップの推定位置(raa)とするものである(ステップ205)。
ra , θaは、以下のような式で表現される。ここでは極座標系で表現しているが、ユークリッド座標系など別座標系で表現しても構わない。
ここまでの移動物体検出領域の設定過程において、追跡対象自体の移動速度やレーザレンジファインダと相対的な速度関係を考慮した補正を行うことで、移動物体の検出点の計測位置予測が行われており、上記の検出領域の中でも検出領域展開基準点が最も存在可能性が高いと考えられ、基準点から周囲へいくほど存在可能性は低くなると考えられる。
そこで、本発明の実施形態に係る移動物体検出装置では、上記した平均重心位置計算において、次式で表されるような重み付け計算を行っている。
検出点xnの重みPnは、Pn=(1-d)(1-rn/rZn)+dで表される。ここで、rnは移動物体検出領域の展開基準点であり、rZnは展開基準点から検出点xnを通過する直線と検出領域外周との交点を示し、dは0<d<1を満たす任意の定数でありオフセットを示している。このような重み付けを行うことにより、移動物体検出領域は図10のようになる。図10に示す確率分布による重み付けを行った移動物体の検出領域は、言わば、線形型の重み付けであり、高さ方向は存在確率的な重みを表現している。
また、図11に示すように、重み関数として、正規分布型の重み付けを行うことができる。分散値σr=√rznとする正規分布関数Eσr(r)とオフセットdにより、E'σr(r)=(1-d) Eσr(r)+dのような確率分布関数を用いて、
のように、トラッキング対象の位置xを推定してもよい。
また、計算負荷を低減させるため、極座標系の特徴を考慮して、r,θそれぞれを、ra,θaからの乖離度合いにあわせて|r−ra|,|θ−θa|が大きくなるほど重み付けが小さくなるようなアルゴリズムを採用することもできる。
ただし、現実には重み付けの変化を大きくしすぎると、検出すべき追跡対象情報を検出できずトラッキングに失敗する可能性が高くなるため、あまり大きな重み付けをかけることはできない。逆に重み付けの変化を小さくし存在確率を均質化してしまうと、追跡対象の付近にある別物体をトラッキング対象と誤認識してしまうという可能性が高くなるというトレードオフがある。
次に、算出した平均重心位置を次の追跡ステップの移動物体の位置と設定する(ステップ206)。次いで、位置設定した移動物体の方位・距離を算出する(ステップ207)。
移動物体検出領域中に推定位置候補点が検出されなかった場合には、移動物体検出領域の展開基準点としていた次周期の移動物体予測位置をそのまま今回のトラッキング対象推定位置とする。そして、推定位置候補点が連続して検出されなかった回数を記録するロストカウンタを加算し、次ステップのトラッキング処理を継続する(ステップ208)。
次に、ロストカウンタ値をあらかじめ定められた閾値と比較する(ステップ209)。閾値以下で臨界に達していなければ、位置設定した移動物体の方位・距離を算出する(ステップ207)。
一方、閾値を超えた場合、移動ロボットはこれまでのトラッキングおよび追従動作を中止し、全く別の動作形態に移行する。別の動作形態としては、例えば、胴体をその場で旋回させ、または首を水平方向に動かすことで頭部に設置されたカメラをパン方向に振る。このとき取得される画像から、それまでに記録した追跡対象の画像テンプレートとのマッチング探索を行う。他には、追跡対象者がマーカや発信器を携帯している場合には、環境に設置されたセンサを利用して探索し、大まかな位置を取得し、その付近へと移動して、上述にあるようなテンプレートマッチング探索を行うこともできる。
なお、ロストカウンタは、毎回のトラッキング処理中において、移動物体検出領域中に推定位置候補点が検出された場合にはゼロクリアされる。
(空間混雑度の把握)
本実施形態に係る移動ロボットは、移動物体追跡の中でも特に人物追従を意図している。人物追従のような場合には、混雑環境下では、追跡対象である人物の動作も周囲の影響で高速な動作は行えない。必然的に、移動ロボットの追従動作に関しても、開けた空間ほどの高速動作は要求されない。そこで、本実施形態に係る移動ロボットでは、混雑環境下ではカメラ情報に重きを置いて低速乃至中速で確実に動作させる。一方、人のまばらな開けた空間中では、レーザレンジファインダの高精度位置計測情報を基に素早く動作するようなセンサ融合処理が施される。
まず、カメラ情報とレーザレンジファインダ情報間のシームレスな移行を実現するため、追跡対象周囲の空間混雑度を指標化する。この連続的に変化する指標を元に両情報の融合を行わせることで、両情報間を滑らかに移行することを可能にしている。
図12は、センサ融合処理の融合指標である空間混雑度(以下、混雑度という。)を把握するための処理手順を示すフローチャートである。
まず、これまで使用していた移動物体検出領域の周囲にさらに拡張した範囲を混雑度計測領域として用意する(ステップ301)。図13は、混雑度計測領域を説明する図である。ここでの混雑度計測領域は、図13に示すように移動物体検出領域から法線方向外向きに距離Lだけ拡張している。
次いで、この混雑度計測領域内を通過するレーザレンジファインダの走査レーザ本数をカウントする(ステップ302)。次に、走査レーザ本数に対し、混雑度計測領域内で物体を検知したレーザ数の割合で決定される。
混雑度Cは、具体的には図14に示すように、混雑度計測領域中を通過するレーザレンジファインダの走査レーザ数がN本あり、そのうち混雑度計測領域中で物体を検知した走査レーザ数がM本(M≦N)であった場合、
となる。Cが1に近づくほど混雑していると見る(ステップ306)。
(センサフュージョンによる融合推定)
次に、オフセットと非線形性を自由に設定できるよう混雑度を拡張して、センサフュージョンによる融合推定を行う。
ここでは、融合率Wとして、
=αCn+β(α,β,nは任意定数)のように表されるものを用意する(ステップ307)。
レーザレンジファインダが、計測距離情報とともにそのときのレーザの反射強度も取得できる場合がある。そこで、反射強度データの取得について判断する(ステップ308)。反射強度データが取得できる場合には、上記距離情報の算出において混雑度の代わりに反射強度Rを用いて、例えば、W=α2Rn2+β2(α22,n2は任意定数)で表される融合率Wを作成する(ステップ309)。そして、追跡対象までの距離成分に関して、レーザレンジファインダとカメラの距離情報を融合率をもとにセンサ融合し(ステップ310)、
d=d・W+d・(1−W
のように、追跡対象までの最終的な距離成分dを決定してもよい。
同様にして、レーザレンジファインダにより定位した追跡対象方位成分θLとカメラ画像処理より求めた同一対象の方位成分θCを、上記Wを用いて次式
θ=θ・W+θ・(1−W
から最終的な追跡対象方位成分θとして決定している(ステップ311)。
尚、想定される状況下において、常にレーザレンジファインダで求められる距離情報の精度および分解能がステレオ視差を上回っているとみなせるなら、θ方向に最も近いレーザ計測距離成分を使用することも可能である。
次に、混雑度計測領域から追跡目標混入を防ぐ点について、図15により、説明する。混雑度計算において、混雑度計測領域中を通過する走査レーザ数N本および混雑度計測領域中で物体を検知した走査レーザ数M本のそれぞれから、移動物体検出領域にも含まれ、かつ移動物体検出領域中である閾値δ(0≦δ≦1)以上の確信度(前記PnまたはEnなどにより表現される存在確率)を超える移動対象候補点を超えるレーザ走査線の数を除外する(ステップ303)。そのうえで、上記したステップ306以降の混雑度を算出することにより、混雑度中に追跡目標物体自身を含むことを防ぐことが可能となる。
また、混雑度計測領域中で物体を検知した走査レーザ数Mは、混雑度計測領域内に含まれる検出点をカウントし、(ステップ304)、次いで、追跡目標物体を検出した可能性が高い検出点をカウントより除去(ステップ305)、移動物体検出領域を含まない混雑度計測領域に関してのみを混雑度計算の対象として行うことも可能である。
上記一連の処理により、追跡対象である移動物体が別の物体の裏側へ一時的に隠れてしまうようなオクルージョン状態に対しても堅牢なトラッキングシステムを実現できる。
(他の実施態様)
上記した移動物体検出装置は、移動ロボットに搭載することができる。係る移動ロボットは、移動物体追従時において、移動物体推定位置フィードバック情報との偏差より、移動ロボットの移動速度等追従動作出力を算出する。
図16に示すように、本実施形態に係る移動ロボットでは、このフィードバックループゲイン(以下、追従ゲインという。)を前記融合率W,Wにより、追従ゲインを算出している(ステップ312)。そして、追従ゲインを基に、移動ロボットの追従軌道を算出し、動的に変化させている。
具体的には追従ゲインGは、G ∝Wのように表現され、WおよびWが大きいほど、つまりレーザレンジセンサの情報重みが大きいほど高ゲインになるよう定義されている。これにより推定位置情報の精度に応じ、適切な追従速度を出力し、安定した追従動作が可能となる。また同様に、偏差情報生成時のノイズ除去に使用されるローパスフィルタのカットオフ周波数をレーザレンジセンサの情報重みが大きいほど高くなるような処理をおこなってもよい。
なお、本発明は上記の実施形態のそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。すなわち、人物追従機能を有する移動ロボットを例にとって説明したが、同様の移動物体検出装置および手法を備えた移動ロボットを用いて、移動物体との衝突を回避するような動的障害物回避機能としても利用することが可能であり、このような動作機能実現時の移動物体検出・追跡に関しても本発明に含まれる。
また、上記の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本発明の実施形態の一例を示す移動物体の検出等を行うロボットの模式構成図である。 レーザレンジファインダによる移動物体のトラッキングの流れを示すフローチャートである。 移動物体の移動予測を説明する図である。 移動物体の検出領域を説明する図である。 移動物体の現在速度補正後の検出領域を説明する図である。 移動物体の動作方向補正後の検出領域を説明する図である。 移動物体の相対移動補正後の検出領域を説明する図である。 移動物体の扇形検出領域を説明する図である。 目標移動物体の位置推定を説明する図である。 確率分布による重み付けを行った移動物体の検出領域を説明する図である。 確率分布による重み付けを行った移動物体の検出領域を説明する図である。 混雑度を把握するための処理手順を示すフローチャートである。 混雑度計測領域を説明する図である。 混雑度計測の状況を説明する図である。 追跡目標の混入を防いだ混雑度計測の状況を説明する図である。 移動ロボットの追従動作の流れを示すフローチャートである。
符号の説明
100…移動ロボット、10…レーザレンジファインダ装置本体、20…カメラ、30…移動用車輪。

Claims (7)

  1. 画像取得手段と、
    この画像取得手段で取得された画像情報から追跡対象を抽出する画像処理手段と、
    該追跡対象までの距離と方位を推定する位置推定手段と、
    指定した方向に対する奥行き距離が計測可能な空間走査型の測距センサと、
    前回の移動物体検出点の周囲に混雑度計測領域を設定し、この領域内を通過する前記測距センサの走査ライン総数に対する、混雑度計測領域内で検出された測距センサの検出点数の比Cで表現される混雑度を計測する混雑度計測手段とを備え、
    前記測距センサを使用した移動物体トラッキング結果と前記画像処理を用いた移動物体トラッキング結果を、W=αCn+β(α,β,nは任意定数)で表される融合率Wをもとに演算し、融合推定結果として求めることを特徴とする移動物体検出装置。
  2. 前記測距センサを使用した移動物体トラッキングアルゴリズムにより定位された追跡対象推定方位と、前記画像処理を用いた移動物体トラッキングアルゴリズムにより定位された追跡対象推定方位を、前記融合率Wをもとに演算して融合推定方位として求め、この融合推定方位における前記測距センサの計測距離を融合推定距離として求めることを特徴とすることを特徴とする請求項1記載の移動物体検出装置。
  3. 前記測距センサを使用した移動物体トラッキングアルゴリズムは、前回の検出ステップで得られた移動物体検出位置の周囲に移動物体検出領域を設定し、この移動物体検出領域内に存在する前記測距センサによる検出点を、今回の検出ステップにおける移動物体に反応した推定位置候補点とすることを特徴とする請求項1または2記載の移動物体検出装置。
  4. 前記測距センサを使用した移動物体トラッキングアルゴリズムは、前記移動物体検出領域を法線方向外側に向けて任意の距離Lだけ拡張した領域を前記混雑度計測領域とし、この混雑度計測領域中に存在する推定位置候補点のうち、その位置により定められた存在確率がある閾値δ(0≦δ≦1)を超える候補点を検出している測距センサ走査線を除外した、残りの走査線により上記混雑度計測を行うことを特徴とする請求項1記載の移動物体検出装置。
  5. 前記測距センサを使用した移動物体トラッキングアルゴリズムは、移動物体検出領域中に推定位置候補点が検出されなかった場合、前記位置補正手法により予想される移動物体位置検出予想位置を暫定的なトラッキング対象の今回推定位置とし、推定位置候補点の否検出を記録するロストカウンタを加算するとともにトラッキングを継続することを特徴とする請求項1乃至4のいずれか1項に記載の移動物体検出装置。
  6. 前記測距センサを使用した移動物体トラッキングアルゴリズムは、前記ロストカウンタが既定閾値を超えたときトラッキング対象を見失ったと判断し、追従動作を停止して別の動作モードへ移行することを特徴とする請求項5記載の移動物体検出装置。
  7. 請求項1乃至6のいずれか1項に記載の移動物体検出装置と、この移動物体検出装置が並進・旋回動作が可能な移動手段と、追跡対象推定位置を参照して移動物体を追跡することが可能な追従手段を備え、前記融合率Wと,前記測距センサの反射強度をR(R=0〜1)としたとき、W22*Rn2+β2(α22,n2は任意定数)で表される融合率W2としたとき、移動物体追跡時の追従ゲインGを、G∝Wなる関係で動的に変化させることを特徴とする自律移動物体。
JP2007218090A 2007-08-24 2007-08-24 移動物体検出装置および自律移動物体 Active JP4413957B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007218090A JP4413957B2 (ja) 2007-08-24 2007-08-24 移動物体検出装置および自律移動物体
US12/196,376 US8218816B2 (en) 2007-08-24 2008-08-22 Moving object detecting device and mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007218090A JP4413957B2 (ja) 2007-08-24 2007-08-24 移動物体検出装置および自律移動物体

Publications (2)

Publication Number Publication Date
JP2009052940A true JP2009052940A (ja) 2009-03-12
JP4413957B2 JP4413957B2 (ja) 2010-02-10

Family

ID=40382201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007218090A Active JP4413957B2 (ja) 2007-08-24 2007-08-24 移動物体検出装置および自律移動物体

Country Status (2)

Country Link
US (1) US8218816B2 (ja)
JP (1) JP4413957B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233938B1 (ko) 2010-08-26 2013-02-15 아주대학교산학협력단 객체 추적 로봇 및 그 방법
JP2014516816A (ja) * 2011-06-13 2014-07-17 マイクロソフト コーポレーション モバイルロボットによる移動対象物のトラッキング及びフォローイング
JPWO2012128096A1 (ja) * 2011-03-24 2014-07-24 古河電気工業株式会社 レーダ装置
WO2016084498A1 (ja) * 2014-11-28 2016-06-02 古野電気株式会社 追尾処理装置及び追尾処理方法
JP2016191735A (ja) * 2015-03-30 2016-11-10 シャープ株式会社 地図作成装置、自律走行体、自律走行体システム、携帯端末、地図作成方法、地図作成プログラム及びコンピュータ読み取り可能な記録媒体
US9563528B2 (en) 2011-12-23 2017-02-07 Samsung Electronics Co., Ltd. Mobile apparatus and localization method thereof
JP2017515111A (ja) * 2014-04-22 2017-06-08 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 少なくとも1個の物体を光学的に検出する検出器
JP2017219389A (ja) * 2016-06-06 2017-12-14 地方独立行政法人東京都立産業技術研究センター 物体追跡装置、物体追跡方法、及び物体追跡プログラム
WO2018180454A1 (ja) * 2017-03-28 2018-10-04 日本電産株式会社 移動体
US10775794B2 (en) 2015-08-26 2020-09-15 Hanwha Defense Co., Ltd. Following system for mobile robot to follow moving object
JP2020155033A (ja) * 2019-03-22 2020-09-24 株式会社豊田自動織機 移動車両
WO2021240623A1 (ja) * 2020-05-26 2021-12-02 三菱電機株式会社 予測追跡装置、予測追跡方法および予測追跡プログラム

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4815514B2 (ja) * 2009-07-13 2011-11-16 東芝テック株式会社 動線認識システム
KR101619076B1 (ko) * 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
JP2011154449A (ja) * 2010-01-26 2011-08-11 Sanyo Electric Co Ltd 混雑度測定装置
EP2626847B1 (en) 2010-10-05 2018-11-21 Toyota Jidosha Kabushiki Kaisha Collision determination device
US9131295B2 (en) 2012-08-07 2015-09-08 Microsoft Technology Licensing, Llc Multi-microphone audio source separation based on combined statistical angle distributions
US9269146B2 (en) 2012-08-23 2016-02-23 Microsoft Technology Licensing, Llc Target object angle determination using multiple cameras
US20140225886A1 (en) * 2013-02-13 2014-08-14 Corel Corporation Mapping a vision system output to a digital graphics system input
CN103522305B (zh) * 2013-10-29 2016-06-08 中国科学院自动化研究所 一种使移动机械臂趋近并抓取目标物体的方法
US9452530B2 (en) * 2014-09-12 2016-09-27 Toyota Jidosha Kabushiki Kaisha Robot motion replanning based on user motion
US20160110791A1 (en) 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US9623560B1 (en) * 2014-11-26 2017-04-18 Daniel Theobald Methods of operating a mechanism and systems related therewith
JP6650677B2 (ja) * 2015-02-26 2020-02-19 キヤノン株式会社 映像処理装置、映像処理方法、およびプログラム
WO2017068397A1 (en) 2015-10-23 2017-04-27 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi A moving object detection method
KR101892026B1 (ko) * 2015-11-10 2018-08-27 현대자동차주식회사 차량의 원격 주차 제어 방법 및 장치
US10906530B2 (en) 2015-11-10 2021-02-02 Hyundai Motor Company Automatic parking system and automatic parking method
US10606257B2 (en) * 2015-11-10 2020-03-31 Hyundai Motor Company Automatic parking system and automatic parking method
US10919574B2 (en) 2015-11-10 2021-02-16 Hyundai Motor Company Automatic parking system and automatic parking method
US10254402B2 (en) 2016-02-04 2019-04-09 Goodrich Corporation Stereo range with lidar correction
CN106683123B (zh) * 2016-10-31 2019-04-02 纳恩博(北京)科技有限公司 一种目标跟踪方法及目标跟踪装置
JP6830656B2 (ja) * 2017-03-30 2021-02-17 株式会社エクォス・リサーチ 対象物判定装置および対象物判定プログラム
JP1612118S (ja) * 2017-12-21 2018-08-27
CN114495283A (zh) * 2018-01-19 2022-05-13 腾讯科技(深圳)有限公司 骨骼运动预测处理方法、装置和肢体运动预测处理方法
GB2570910A (en) * 2018-02-09 2019-08-14 Hi Tec Security Systems Ltd Method and system for targeting and tracking an intruder using a laser detection and ranging device
CN108304834B (zh) * 2018-02-27 2018-10-09 弗徕威智能机器人科技(上海)有限公司 一种物体跟随方法
TWI725522B (zh) * 2018-08-28 2021-04-21 鈺立微電子股份有限公司 具有校正功能的影像擷取系統
CN109884616B (zh) * 2019-03-13 2021-09-14 浙江吉利汽车研究院有限公司 一种雷达测量距离融合方法、装置及终端
KR102369062B1 (ko) * 2019-08-27 2022-02-28 주식회사 케이티 이동 로봇 및 그 제어 방법
CN112511764A (zh) * 2019-09-16 2021-03-16 瑞昱半导体股份有限公司 移动图像整合方法及移动图像整合系统
CN111611938B (zh) * 2020-05-22 2023-08-29 浙江大华技术股份有限公司 一种逆行方向确定方法及装置
US11797013B2 (en) * 2020-12-25 2023-10-24 Ubtech North America Research And Development Center Corp Collision avoidance method and mobile machine using the same
CN113744299B (zh) * 2021-09-02 2022-07-12 上海安维尔信息科技股份有限公司 一种相机控制方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2000348265A (ja) * 1999-06-09 2000-12-15 Secom Co Ltd 複合型監視装置
JP2001216596A (ja) * 2000-01-31 2001-08-10 Mitsubishi Electric Corp 路上検出装置及び自動車両
JP2003217099A (ja) * 2002-01-23 2003-07-31 Mitsubishi Electric Corp 車載型周辺監視装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US5696503A (en) * 1993-07-23 1997-12-09 Condition Monitoring Systems, Inc. Wide area traffic surveillance using a multisensor tracking system
JP3619628B2 (ja) * 1996-12-19 2005-02-09 株式会社日立製作所 走行環境認識装置
JP3736521B2 (ja) 2002-12-19 2006-01-18 株式会社デンソー 車両用物体認識装置
JP4274028B2 (ja) * 2004-04-07 2009-06-03 株式会社デンソー 車両用レーダ装置
JP2005297648A (ja) 2004-04-07 2005-10-27 Denso Corp 物体検出装置、車両制御システム
CA2505715A1 (en) * 2004-05-03 2005-11-03 Her Majesty In Right Of Canada As Represented By The Minister Of National Defence Volumetric sensor for mobile robotics
JP4598653B2 (ja) 2005-05-13 2010-12-15 本田技研工業株式会社 衝突予知装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000329852A (ja) * 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2000348265A (ja) * 1999-06-09 2000-12-15 Secom Co Ltd 複合型監視装置
JP2001216596A (ja) * 2000-01-31 2001-08-10 Mitsubishi Electric Corp 路上検出装置及び自動車両
JP2003217099A (ja) * 2002-01-23 2003-07-31 Mitsubishi Electric Corp 車載型周辺監視装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233938B1 (ko) 2010-08-26 2013-02-15 아주대학교산학협력단 객체 추적 로봇 및 그 방법
JPWO2012128096A1 (ja) * 2011-03-24 2014-07-24 古河電気工業株式会社 レーダ装置
JP5972259B2 (ja) * 2011-03-24 2016-08-17 古河電気工業株式会社 レーダ装置
JP2014516816A (ja) * 2011-06-13 2014-07-17 マイクロソフト コーポレーション モバイルロボットによる移動対象物のトラッキング及びフォローイング
US9563528B2 (en) 2011-12-23 2017-02-07 Samsung Electronics Co., Ltd. Mobile apparatus and localization method thereof
JP2017515111A (ja) * 2014-04-22 2017-06-08 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 少なくとも1個の物体を光学的に検出する検出器
JPWO2016084498A1 (ja) * 2014-11-28 2017-09-07 古野電気株式会社 追尾処理装置及び追尾処理方法
WO2016084498A1 (ja) * 2014-11-28 2016-06-02 古野電気株式会社 追尾処理装置及び追尾処理方法
JP2018136337A (ja) * 2014-11-28 2018-08-30 古野電気株式会社 追尾処理装置及び追尾処理方法
US10585184B2 (en) 2014-11-28 2020-03-10 Furuno Electric Co., Ltd. Tracking processor and method of tracking processing
JP2016191735A (ja) * 2015-03-30 2016-11-10 シャープ株式会社 地図作成装置、自律走行体、自律走行体システム、携帯端末、地図作成方法、地図作成プログラム及びコンピュータ読み取り可能な記録媒体
US10775794B2 (en) 2015-08-26 2020-09-15 Hanwha Defense Co., Ltd. Following system for mobile robot to follow moving object
JP2017219389A (ja) * 2016-06-06 2017-12-14 地方独立行政法人東京都立産業技術研究センター 物体追跡装置、物体追跡方法、及び物体追跡プログラム
WO2018180454A1 (ja) * 2017-03-28 2018-10-04 日本電産株式会社 移動体
JP2020155033A (ja) * 2019-03-22 2020-09-24 株式会社豊田自動織機 移動車両
JP7196711B2 (ja) 2019-03-22 2022-12-27 株式会社豊田自動織機 移動車両
WO2021240623A1 (ja) * 2020-05-26 2021-12-02 三菱電機株式会社 予測追跡装置、予測追跡方法および予測追跡プログラム
JPWO2021240623A1 (ja) * 2020-05-26 2021-12-02
JP7126633B2 (ja) 2020-05-26 2022-08-26 三菱電機株式会社 予測追跡装置、予測追跡方法および予測追跡プログラム

Also Published As

Publication number Publication date
US20090052740A1 (en) 2009-02-26
US8218816B2 (en) 2012-07-10
JP4413957B2 (ja) 2010-02-10

Similar Documents

Publication Publication Date Title
JP4413957B2 (ja) 移動物体検出装置および自律移動物体
US10884110B2 (en) Calibration of laser and vision sensors
EP3285230B1 (en) Enhanced object detection and motion estimation for a vehicle environment detection system
EP3872791A1 (en) Method of avoiding collision of unmanned aerial vehicle
US9625908B2 (en) Methods and systems for mobile-agent navigation
US9864927B2 (en) Method of detecting structural parts of a scene
Stiller et al. Multisensor obstacle detection and tracking
JP4967062B2 (ja) オプティカルフロー、運動学及び深さ情報を使用して、物体の適切な運動を推定する方法
CN110794406B (zh) 多源传感器数据融合系统和方法
Nair et al. Moving obstacle detection from a navigating robot
US9098750B2 (en) Gradient estimation apparatus, gradient estimation method, and gradient estimation program
CN108844538B (zh) 一种基于视觉/惯导的无人机避障航点生成方法
US11080562B1 (en) Key point recognition with uncertainty measurement
KR20120048958A (ko) 객체 추적 및 위치 추정 방법
WO2020046203A1 (en) Device and method for tracking human subjects
JP2007280387A (ja) 物体移動の検出方法及び検出装置
US20130142388A1 (en) Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus
KR20200102108A (ko) 차량의 객체 검출 장치 및 방법
CN116385997A (zh) 一种车载障碍物精确感知方法、系统及存储介质
US20230012905A1 (en) Proximity detection for automotive vehicles and other systems based on probabilistic computing techniques
Hoang et al. Proposal of algorithms for navigation and obstacles avoidance of autonomous mobile robot
US20210149412A1 (en) Position estimating apparatus, method for determining position of movable apparatus, and non-transitory computer readable medium
Matsuyama et al. Estimation of pedestrian pose and velocity considering arm swing using point-cloud data
Dichgans et al. Robust Vehicle Tracking with Monocular Vision using Convolutional Neuronal Networks
JP2004212187A (ja) 画像レーダ装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091118

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4413957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131127

Year of fee payment: 4