JP2004280451A - 自律移動装置 - Google Patents

Abstract

【課題】自律移動装置において、障害物が何であるか判断でき、障害物に応じて自律移動装置の走行を制御し、安全かつスムースな走行動作を実現する。
【解決手段】自律移動装置１は、環境情報取得手段６により障害物及び自己位置を認識しつつ障害物を回避しながら走行経路に沿って自律的に走行する。環境情報取得手段６は、走行経路上の環境の画像を撮像する撮像装置７１及び撮像した画像を演算処理して予め定めた属性を有する物体を抽出する画像認識処理手段７２を含む画像情報取得手段７と、走行経路上の環境内に存在する物体までの距離とその方向を測定する距離測定装置８１及び得られた距離情報を演算処理する距離情報解析手段８２を含む距離情報取得手段８と、画像情報取得手段７で得られた物体の情報、及び距離情報取得手段８で得られた距離情報に基づき、走行経路上の環境情報を走行制御手段４に出力する環境認識手段９を備えている。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、人や台車などの他の移動物体の存在する領域において、障害物を回避して目的地まで移動することができる自律移動装置に関する。
【０００２】
【従来の技術】
従来、レーザレーダやソナー等の距離センサを使って障害物を検出し、走行制御を行う自律移動装置が知られている。自律移動装置が、安全な走行を行うには、障害物の検出だけでなく、検出物が何であるかを認識して制御を行う必要がある。検出物の認識には、３次元空間全域にわたって密な距離計測が必要である。そこで、カメラによって得られる画像から空間の情報を得て、走行制御を行うことが研究されている。例えば、距離情報と画像情報を用いて走行を行う技術や（例えば、特許文献１参照）、ＣＣＤカメラと超音波センサを利用して障害物の横位置を測定する技術（例えば、特許文献２参照）が知られている。
【０００３】
【特許文献１】
特開平７−１１６９８１号公報
【特許文献２】
特開２０００−１２３２９８号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１に示されるような方法は、走行の障害となる物体面をもつ障害物を対象としており、物体が何であるかの判断を行って走行制御を行うものではない。また、特許文献２に示されるような技術は、障害物の横方向の広がりを単に認識するのみであり、これも物体が何であるかの判断を行って制御を行うものではない。
【０００５】
本発明は、上記課題を解消するものであって、レーザレーダや超音波センサ（ソナー）等の距離計測手段により得られる部分的な障害物検出結果と、画像処理により得られる広範囲の障害物検出結果とを総合して障害物が何であるかを判断することにより、信頼性の高い障害物認識を実現し、障害物に応じて自律移動装置の走行を制御し、安全かつスムースな走行動作を実現できる自律移動装置を提供することを目的とする。
【０００６】
【課題を解決するための手段及び発明の効果】
上記課題を達成するために、請求項１の発明は、走行する領域の地図情報と走行のための各種パラメータを記憶する記憶手段と、目的地や走行指令を前記記憶手段に入力する入力指示手段と、目的地までの走行経路を生成する経路生成手段と、障害物及び自己位置を認識するための情報を得る環境情報取得手段と、走行を行うための走行手段と、前記環境情報取得手段で得られた情報と記憶した地図情報とに基づいて自己位置を認識する自己位置認識手段と、この自己位置認識手段により自己位置を認識しつつ障害物を回避しながら前記走行手段を制御して前記生成された走行経路に沿って走行する走行制御手段を有する自律移動装置であって、前記環境情報取得手段は、走行経路上の環境の画像を撮像する撮像装置及び撮像した画像情報を演算処理して人体の部位に関する属性を持つ領域を抽出する画像認識処理手段を含む画像情報取得手段と、走行経路上の環境内に存在する物体までの距離と物体の方向を測定する距離測定装置及び測定したこれらの距離情報を演算処理する距離情報解析手段を含む距離情報取得手段と、前記画像情報取得手段で得られた人体の部位に関する属性を持つ領域の情報、及び前記距離情報取得手段で得られた物体に関する距離情報に基づいて、走行経路上の環境情報を前記走行制御手段に出力する環境認識手段と、を備えるものである。
【０００７】
上記構成においては、撮像装置で撮像した走行経路上の環境の画像を、画像認識処理手段で演算処理して人体の部位に関する属性を持つ領域を抽出し、距離測定装置により走行経路上の環境内に存在する物体までの距離と物体の方向を測定して、距離情報解析手段でこれらの距離情報を演算処理し、これらの抽出した人体の部位に関する情報、及び物体に関する距離情報に基づいて、走行経路上の環境情報を走行制御手段に出力するようにしたので、部分的であるが計測精度の高い距離情報と、距離データを持たないが広いエリアの環境情報が得られる画像情報とを組み合わせて走行経路上の環境の認識、すなわち障害物が何であるかを判断することができ、信頼性の高い環境情報を得て、障害物に応じて自律移動装置の走行を制御し、自律移動装置の安全かつスムースな走行動作を実現することができる。
【０００８】
請求項２の発明は、請求項１に記載の自律移動装置において、画像情報取得手段は、距離情報取得手段が距離情報を演算処理して検出した物体の方向を含むように撮像し、環境認識手段は、得られた画像中の物体の方向に対応する部分について認識処理を行うものである。
【０００９】
上記構成においては、画像情報取得手段が、距離情報取得手段により検出された障害物の位置に対応する画像上の領域だけを認識処理し、障害物の存在しない領域は処理しないので、画像認識の計算量を削減することができる。また、障害物の存在する部分だけを画像により認識処理できるので信頼性の高い環境認識が行える。
【００１０】
請求項３の発明は、請求項１に記載の自律移動装置において、距離情報取得手段は、画像情報取得手段により抽出された物体の方向を含むように距離計測を行い、環境認識手段は、得られた距離計測データ中の物体の方向に対応する部分について認識処理を行うものである。
【００１１】
上記構成においては、距離情報取得手段が、画像情報取得手段により抽出された物体の方向を含むように距離計測を行うので、無駄な距離情報取得処理をなくすことができる。特に、距離情報によって識別したいものと同様の形状のものが多数存在する場合、例えば、人を柱状物として検出・識別しようとする場合に、柱や、テーブルの脚などが多数ある場合に、画像情報取得手段により得られる障害物の候補領域だけについて距離情報を取得することができるので、効率的な距離情報取得処理が行える。
【００１２】
請求項４の発明は、請求項１乃至請求項３のいずれかに記載の自律移動装置において、距離測定装置は、走行路面に平行な面内を予め設定した角度毎に走査して障害物までの距離を計測するレーザレーダによりなる。
【００１３】
上記構成においては、位置計測精度の高い計測データが得られ、障害物の形状認識ができる。また、計測平面上での障害物の形状が分かるので、障害物推定のためのデータとすることができる。
【００１４】
請求項５の発明は、請求項１乃至請求項３のいずれかに記載の自律移動装置において、距離測定装置は、超音波センサによりなる。
【００１５】
上記構成においては、超音波センサは安価であるため、安価に距離情報が得られるとともに、自律移動装置の周囲に複数設置して広範囲の距離計測ができる。また、距離情報の必要性に応じ、計測方向、設置間隔を任意に設定することができる。
【００１６】
請求項６の発明は、請求項１乃至請求項４のいずれかに記載の自律移動装置において、距離情報解析手段は、距離情報を演算処理して検出した物体の幅が予め決めた範囲内であるとき、その物体を人の候補として認識するものである。
【００１７】
上記構成においては、一般に、人が立っている場合の人の脚や人が椅子に座っている場合の人又は椅子の脚は柱状と仮定できるので、計測平面上での障害物の形状解析より、容易に障害物が人であるかどうか推定することができる。
【００１８】
請求項７の発明は、請求項１乃至請求項３のいずれか又は請求項５に記載の自律移動装置において、距離情報解析手段は、計測された物体までの距離が記憶された地図上の物体までの距離と一致しないとき、計測された物体を人の候補として認識するものである。
【００１９】
上記構成においては、地図上に無い物体は人である可能性が高いと判断することにより、簡単に人検出を実現することができる。壁に張られた人の写真などを人と誤認識することがなくなる。
【００２０】
請求項８の発明は、請求項１乃至請求項３のいずれかに記載の自律移動装置において、撮像装置は、自律移動装置本体の基準座標系に対して固定され自律移動装置本体に設置された１つのカメラである。
【００２１】
上記構成においては、特定の方向に固定して設置することにより構成が簡単であり、低コストの撮像装置が実現できる。
【００２２】
請求項９の発明は、請求項１乃至請求項３のいずれかに記載の自律移動装置において、撮像装置は、自律移動装置本体の基準座標系に対し、方向を制御して変更できる機構上に設置されたカメラである。
【００２３】
上記構成においては、カメラを動かすことができるので、広い範囲を１つのカメラで計測することができる。
【００２４】
請求項１０の発明は、請求項１乃至請求項３のいずれかに記載の自律移動装置において、撮像装置は、自律移動装置本体の全方位を撮像できるように、複数のカメラを設置してなるものである。この構成においては、機構部を持つことなく、広い範囲を計測することができる。
【００２５】
請求項１１の発明は、請求項１乃至請求項３のいずれかに記載の自律移動装置において、撮像装置は、自律移動装置本体の全方位を撮像できるように、全方位ミラーとカメラを組合せた撮像装置であるものである。この構成においては、広い範囲を１つのカメラで計測することができる。
【００２６】
請求項１２の発明は、請求項１乃至請求項３のいずれかに記載の自律移動装置において、画像認識処理手段は、少なくとも撮像した画像から特定色領域を検出する特定色領域検出部と検出された特定色領域の形状について演算処理する形状特徴処理部とを含み、検出された特定色領域が予め決めた形状特徴条件を満たすとき、その特定色領域を人の候補として認識するものである。
【００２７】
上記構成においては、画像上で、人の特徴を良く表す特定色領域、例えば肌色領域と、人の形状特徴を両方使うことにより、信頼性の高い人の検出を行うことができる。
【００２８】
請求項１３の発明は、請求項１乃至請求項３、請求項６、及び請求項１２のいずれかに記載の自律移動装置において、環境認識手段は、距離情報取得手段で検出された物体が人候補と認識される位置と、画像情報取得手段で検出された物体が人候補と認識される位置とが一致するとき、検出された物体を人と判断するものである。
【００２９】
上記構成においては、距離情報取得手段で得られた人検出結果と、画像情報取得手段で得られた人検出結果が一致する時、最終的に環境情報取得手段の結果として人を検出したと判断するので、信頼性の高い人の検出が実現できる。
【００３０】
請求項１４の発明は、請求項１乃至請求項３、請求項６、請求項１２、及び請求項１３のいずれかに記載の自律移動装置において、環境認識手段は、画像中で検出された人の肌の色領域の面積と、自律移動装置本体から人までの距離により予め決められたその距離における人の肌の色領域の面積との比を求め、この比と予め決められたしきい値とを比較することにより、検出された人が自律移動装置に気付いているかいないかを判断するものである。
【００３１】
上記構成においては、人の有無だけでなく、検出されたその人が自律移動装置に気付いているかいないかという、その人の状態まで認識することができるので、人の状態情報により、安全かつスムースな移動動作を実現することができる。
【００３２】
請求項１５の発明は、請求項１乃至請求項１４のいずれかに記載の自律移動装置において、走行制御手段は、人と認識される物体が自律移動装置の進行方向にあってかつ、予め記憶手段２に設定した一定の距離内にある場合には停止し、人と認識される物体が自律移動装置本体の進行方向にない場合、障害物があれば回避を行い、障害物がなければそのまま走行を継続するように走行手段を制御するものである。この構成においては、人に対して安全を確保できる。
【００３３】
請求項１６の発明は、請求項１乃至請求項１４のいずれかに記載の自律移動装置において、走行制御手段は、人と認識される物体が自律移動装置本体の進行方向にある場合、その人と認識される物体から予め定めた距離を隔てて回避して走行するように走行手段を制御するものである。
【００３４】
上記構成においては、人がいても回避して目的地に進む必要がある場合に、人に対して安全を確保しながら動作ができる。すなわち、人でない検出物体に対しては距離をとって回避する必要がなく回避距離を短くできるので、効率の良い自律移動装置の運行が可能となる。
【００３５】
請求項１７の発明は、請求項１乃至請求項１４のいずれかに記載の自律移動装置において、走行制御手段は、人と認識される物体が予め定めた距離内にある場合、その距離又は距離と角度に応じた移動速度となるように走行手段を制御するものである。
【００３６】
上記構成においては、人が不安を感じない動作で効率の良い移動ができる。また、検出物体が人でない場合は、速度を落とす必要がなく、効率の良い自律移動装置の運行が可能となる。
【００３７】
請求項１８の発明は、請求項１４に記載の自律移動装置において、走行制御手段は、検出された人が自律移動装置に気づいていると判断できる場合は接近し、そうでない場合は、検出された人には予め定めた距離以上に近づかないように走行手段を制御するものである。この構成においては、自律移動装置に気付いていない人に自律移動装置が近づかないので、人を脅かすことがない。
【００３８】
請求項１９の発明は、請求項１乃至請求項１８のいずれかに記載の自律移動装置において、走行制御手段は、検出された人の近くを通過する際に、人に対して注意喚起行動をとるものである。この構成においては、人に対する自律移動装置の親和性を向上することができる。
【００３９】
請求項２０の発明は、請求項１乃至請求項１９のいずれかに記載の自律移動装置において、画像情報取得手段は、検出された人を撮像してその画像を記憶手段に記憶する、又は画像を遠隔ステーションに送信するものである。この構成においては、自律移動装置に監視機能を持たせることができ、セキュリティ効果や防犯効果が得られる。
【００４０】
【発明の実施の形態】
以下、本発明の一実施形態に係る自律移動装置について、図面を参照して説明する。図１は本装置のブロック構成を示す。自律移動装置１は、走行する領域の地図情報と走行のための各種パラメータを記憶する記憶手段２と、目的地や走行指令を記憶手段２に入力する入力指示手段３と、目的地までの走行経路を生成する経路生成手段４１と、障害物及び自己位置を認識するための情報を得る環境情報取得手段６と、走行を行うための走行手段５と、環境情報取得手段６で得られた情報と記憶した地図情報とに基づいて自己位置を認識する自己位置認識手段４２と、この自己位置認識手段４２により自己位置を認識しつつ障害物を回避しながら走行手段５を制御して前記生成された走行経路に沿って走行する走行制御手段４を備えている。
【００４１】
また、環境情報取得手段６は、走行経路上の環境の画像を撮像する撮像装置７１及び撮像した画像情報を演算処理して予め定めた属性を有する物体を抽出する画像認識処理手段７２を含む画像情報取得手段７と、走行経路上の環境内に存在する物体までの距離と物体の方向を測定する距離測定装置８１及び測定したこれらの距離情報を演算処理する距離情報解析手段８２を含む距離情報取得手段８と、画像情報取得手段７で得られた予め定めた属性を有する物体の情報、及び距離情報取得手段８で得られた距離情報に基づいて、走行経路上の環境情報を走行制御手段４に出力する環境認識手段９を備えている。
【００４２】
自己位置認識手段４２は、例えば走行手段５に取付けられたエンコーダや内臓されたジャイロなどを用いて、走行中に自己位置が地図上のどの位置にあるかを推定するとともに、環境情報取得手段６で得られた自己位置情報を用いて自己位置推定値を補正する。
【００４３】
環境情報取得手段６から得られる自己位置情報として、例えば、環境情報取得手段６により認識可能な標識を予め走行環境内に設置しておき、また、その標識を地図情報に登録しておくことにより、走行中にその標識を認識して自己位置情報とすることができる。走行制御手段４は、自己の推定位置を基準にして送られてきた相対位置による標識位置情報をもとに、地図上の登録標識を探索する。標識が検出されると、その標識の位置を基準にして前記相対位置情報から自己位置認識ができる。標識が２個以上検出できると、自己位置は一意に決められる。
【００４４】
また、環境情報取得手段６は、走行中に障害物を検出し、その位置情報を走行制御手段４に送り、走行制御手段４は、その障害物を避けるように走行経路を修正し、制御出力を走行手段５に送る。このように、自律移動装置１は、自己位置を認識しつつ障害物を回避しながら走行経路に沿って指示された目的地まで走行する。
【００４５】
図２は自律移動装置１の外観を示す。この自律移動装置１は、距離情報取得手段８の距離測定装置８１として、レーザレーダ（レーザレンジファインダ）８３を備えており、画像情報取得手段７の撮像装置７１として、自律移動装置本体１０に対して回転（水平回転）可能な回転機構７０ａに設置されたカメラ７０を備えている。また、この装置は、例えば、電池により車輪５２が駆動されて走行するものであり、車輪５２の回転をモニタすることにより走行距離の計測が行われ、自己位置認識の情報とされる。以下、画像情報取得手段から順に、本装置の詳細を説明する。
【００４６】
（画像情報取得手段の構成）
本発明の自律移動装置１は、レーザレーダやソナー等の距離計測手段により得られる部分的な障害物検出結果と画像処理により得られる障害物検出結果の、２種類の障害物情報を総合して障害物が何であるかを判断する。まず、画像処理により障害物検出結果を得ることについて説明する。図３及び図４は画像情報取得手段７のブロック構成を示す。画像認識処理手段７２は、カラーカメラ（撮像装置）７０から入力される画像信号を、Ａ／Ｄ変換器６１によりデジタル化して、メモリ６２にデジタル画像として保存する。画像に対して演算処理を行うＣＰＵ６４には、プログラムメモリ６３から処理アルゴリズムが記載されたソフトウェアが呼び出されており、ＣＰＵ６４はそのソフトウエアを用いて以下に示す処理手順によりデジタル画像から人の検出処理を実行する。画像処理結果は、通信制御部６５により環境認識手段９を経由して走行制御手段４へと送信される。
【００４７】
また、ローカルに、つまり自律移動装置本体１０のところで操作者が自律移動装置本体１０の機器を操作して、画像情報取得手段７（カメラ７０と画像認識処理手段７２）の操作や処理結果の表示を行うために、図４に示すように、キーボード制御部６６、キーボード６７，表示制御部６８，及び表示部６９を画像認識処理手段７２に備えてもよい。また、通信制御部６５を介して、外部より画像情報取得手段７の操作を制御することもできる。
【００４８】
（撮像装置）
撮像装置７１について説明する。図５（ａ）（ｂ）は１つの固定カメラからなる撮像装置７１を示し、図５（ｃ）はそれにより撮像された画像を示す。このカメラ７０は、自律移動装置本体１０に固定されており、自律移動装置本体１０の進行方向１０ａ前方の景色を画像１１のように撮像する。このカメラ７０の座標系は、自律移動装置本体１０に固定して定義された基準座標系とともに動くことになる。
【００４９】
上記のカメラ７０よりも広い範囲を視野とすることができる撮像装置７１の例を説明する。図６（ａ）（ｂ）は自律移動装置本体１０の基準座標系に対し、撮像方向を制御して変更できる機構上に設置されたカメラを示し、図６（ｃ）はそれにより撮像された画像を示す。回転機構７３ａと傾転支持具７３ｂによるパン・チルト機構により、カメラ７３単体の姿勢が制御される。カメラ７３の撮像方向が上下（チルトｔ）、左右（パンｐ）方向に可動である。パン又はチルトにより複数の画像を取得して、検出対象である、例えば人を視野から外れることなく撮像でき、人検出に適した画像が得られる。図６（ｃ）に示すパン画像１２〜１４の例では、中央の画像では人の一部しか撮像されていないが、右にパンした画像があることにより、人の全体を画像として得ることができる。
【００５０】
複数のカメラを用いる例を説明する。図７（ａ）（ｂ）は自律移動装置本体１０にその全方位を撮像できるように固定した４つのカメラを示し、図７（ｃ）はそれらのカメラにより撮像された画像を示す。自律移動装置本体１０を制御するために、予め必要とされる複数の方向に固定カメラが設置される。例えば、自律移動装置本体１０の前後左右に設置した４つのカメラ７０からの画像１５〜１８により全方位における状況の観測ができる。
【００５１】
他の方法による全方位撮像について説明する。図８（ａ）（ｂ）は自律移動装置本体１０にその全方位を撮像できるように固定した全方位カメラ７４を示し、図８（ｃ）はそのカメラにより撮像された画像を示す。全方位カメラ７４は、例えば円錐状の鏡からなる全方位ミラー７４ｂとカメラ７４ａを組合せた撮像装置である。撮像装置７１として当該全方位カメラ７４を用いることにより、図８（ｃ）に示すように、１回の撮像で自律移動装置本体１０の全周の状況を示す画像１９が得られる。画像１９において、中心部はカメラ７４ａ自身の影であり、直立したものの像、例えば直立した人Ｍは画像中心から放射状に撮像される。
【００５２】
（画像認識処理手段）
撮像装置７１で取得された画像データを画像認識処理手段７２により演算処理して、人や特定の物体の検出を行う方法について説明する。図９は画像から人を認識するための全体の処理の流れ（人認識処理フロー）を示す。撮像装置７１であるカラーカメラにより、自律移動装置の周辺状況、例えば進行方向前方が撮像され（Ｓ１０１）、そのアナログ画像信号がＡ／Ｄ変換器６１によりデジタル化され（Ｓ１０２）、色の３成分であるＲ、Ｇ、Ｂ（赤、緑、青）からなる各色成分デジタル画像がメモリ６２に保存される（Ｓ１０３）。次に、ＣＰＵ６４において色の３成分を平均した輝度Ｉ＝（Ｒ＋Ｇ＋Ｂ）／３による画像が作成され、その輝度画像がメモリ６２に保存される（Ｓ１０４）。次に、画像中より肌色領域の検出処理（後述）が行われ（Ｓ１０５）、検出された肌色領域内についてエッジ画像に基づく頭部形状検出処理（後述）が行われる（Ｓ１０６）。検出された頭部の位置が人認識結果として環境認識手段９に出力される。
【００５３】
上述の処理の流れの様子を、処理対象となる画像により説明する。図１０（ａ）は入力画像、図１０（ｂ）は肌色領域検出結果の画像、図１０（ｃ）はエッジ画像上の肌色領域を示す画像、図１０（ｄ）は認識結果を出力した画像をそれぞれ示している。まず、入力画像２１において肌色領域２４〜２６が検出され（画像２３）、検出された肌色領域２４〜２６についてのみ、エッジ画像２７上において頭部形状検出処理が行われるので、効率の良い処理が行える。
【００５４】
画像における肌色領域の検出に用いられる正規化ｒ−ｇ空間について説明する。図１１は正規化ｒ−ｇ空間（平面）を示す。カラー画像におけるＲ成分、Ｇ成分は、各画素のカラー成分の輝度値Ｒ、Ｇ、Ｂを用いて、計算式ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）、ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）により、正規化され、正規化されたｒ，ｇ値が得られる。一般に、人の肌色は、図１１に示すように、ｒ−ｇ平面上で１つの領域２０を形成するので、カラー画像の各画素から求めた正規化ｒ、ｇ値が、この領域２０に入るかどうかにより、その画素が肌色かどうかが判定される。この肌色領域２０は予め多くの画像の肌色データに基づいて作成されたものである。
【００５５】
肌色領域の検出処理の詳細について説明する。図１２は肌色領域検出処理フローを示す。まず、ＣＰＵ６４において、メモリ６２の肌色領域を記憶する肌色画像部分が初期化される（Ｓ２０１）。次に、入力画像の１つの画素についてＲ成分、Ｇ成分が計算式ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）、ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）により正規化される（Ｓ２０２）。この正規化されたＲ成分、Ｇ成分のｒ、ｇ値が肌色領域２０内かどうかが検査され（Ｓ２０３）、肌色領域内であればその画素は肌色と判定され（Ｓ２０３でＹ）、肌色画像の対応する位置に肌色フラグが立てられる（Ｓ２０４）。入力画像の全画素についてこれらの処理が終了後（Ｓ２０５でＹ）、肌色画像上で、肌色フラグの立った画素がグループ化され、そのグループをもとに、例えば矩形の領域からなる肌色領域が作成される。このような肌色領域にラベリング処理がなされ、各領域の区別が行われて、前出の図１０（ｂ）に示すように肌色領域２４〜２６が得られる（Ｓ２０６）。
【００５６】
検出された肌色領域から投票処理により頭部形状を検出する方法について説明する。図１３（ａ）は投票処理において用いられる投票範囲を定める投票枠を示し、図１３（ｂ）はその投票枠の用い方を示す。頭部形状検出は、頭部がほぼ円形の形状を持つことを利用して行われる。例えば、人の顔を含む画像にエッジ抽出の画像処理（例えば画像輝度についての微分処理）を施したエッジ画像３４に、顔の輪郭を表すエッジ画素集合３５が得られたとする。このエッジ画像３４の各画素点を投票ビン（投票箱）とする投票空間が設定される。また、エッジ画素の集合３５の各画素について、例えば、画素３６に対して輝度勾配方向３６ａのように、各画素に輝度勾配方向が決定されているとする。一般に、人の顔とその背景の画像には濃淡変化があり、顔輪郭のエッジ画素における輝度勾配方向は、顔の中心から外へ、又は外から内へ向かうものとなる。
【００５７】
そこで、検出対象となる頭部の大きさを含むように設定された棒状の投票枠３１の中央点３２を、例えばエッジ画素３６に合わせ、投票枠３１の方向をそのエッジ画素３６における輝度勾配方向３６ａとして、投票枠３１の各投票ビン３３と重なる投票空間の全ての投票ビンに投票する。このような投票を顔の輪郭を表すエッジ画素集合３５の全ての画素について行うと、星印３９で示されるように、顔の中心にある投票ビンには、他よりも多くの投票がなされることになる。このように、頭部の外形上に沿う投票処理の結果は、頭部の中心部に集積するので、投票空間内で予め決められたしきい値よりも大きい投票値を持つ投票ビンが有るとき、その投票ビンを中心とする頭部が存在すると判定される。
【００５８】
頭部形状の検出処理の詳細について説明する。図１４は頭部形状検出処理フローを示す。まず、ＣＰＵ６４において、例えば肌色領域２４に対応する輝度画像を微分して、輝度勾配画像・エッジ画像を作成される（Ｓ３０１）。次に、投票値を記憶するメモリ空間である投票空間を初期化される（Ｓ３０２）。次に、肌色領域２４内の全エッジ画素について、各エッジ画素の輝度勾配方向に、棒状の投票範囲枠を配置して選択された投票空間の各投票ビンに投票が行われる（Ｓ３０３）。肌色領域２４内の全エッジ画素について投票終了後（Ｓ３０４）、予め決められたしきい値以上の投票値を持つ投票ビンの存在が調べられ、そのような投票ビンが存在する場合（Ｓ３０５でＹ）、その肌色領域の中心位置が頭部位置として通信制御部６５を介して環境認識手段９に出力される（Ｓ３０６）。全ての肌色領域について上記の処理が行われて、頭部形状検出処理が終了する（Ｓ３０７）。前出の図１０（ｄ）の場合、肌色領域２４，２５，２６のうち、肌色領域２４が頭部形状として検出され、星印２９の位置が頭部位置とされる。
【００５９】
画像上で肌色領域から頭部位置として検出された位置の、実空間における存在方向を特定する方法について説明する。実空間における人存在方向の特定は、画像認識処理手段７２において行われる。図１５は全方位カメラ７４を備えた自律移動装置本体１０と人の位置関係を示し、図１６はその全方位カメラにより撮像された人を含む画像を示す。撮像装置７１が、全方位カメラ７４の場合、その全方位カメラ画像１９における頭部位置の角度φが実空間における人存在の概略の方向角度φとなる。
【００６０】
また、図１７は水平回転機構７０ａ上のカメラ７０を備えた自律移動装置本体１０と人の位置関係を示し、図１８（ａ）〜（ｃ）は回転型カメラの回転状態と各カメラ角度で撮像された人を含む画像を示す。このように、パン動作可能な水平回転機構７０ａ上のカメラ７０の場合、パン画像１２における人（頭部位置）Ｍ画像が、画像中央に来るようにカメラ７０をパン（水平移動）するのに必要な水平回転機構７０ａの回転角度φから、人のいる概略の方向角度φを特定することができる。
【００６１】
上述のように直接的に、人のいる概略の方向角度φを特定できる場合の他に、撮像装置７１が前述の図５及び図７に示したいずれかのカメラ７０である場合、画像上の顔の大きさと画像上の顔の位置とから、人のいる概略の方向を算出することができる。以上のようにして特定された、人のいる概略の方向は、人が存在する方向の候補とされる。画像認識処理手段７２で人が存在する方向の候補であると認識されたこれらの結果は、画像上の頭部位置検出結果と同様に、通信制御部６５から環境認識手段９に送られる。もし、複数の認識結果があれば、その全ての結果が送られる。
【００６２】
（距離情報解析手段）
レーザレーダによる障害物の位置認識について説明する。図１９（ａ）はレーザレーダ８３による障害物の距離測定を示し、図１９（ｂ）は同レーザレーダによる距離測定結果を示す。距離測定装置８１として、レーザレーダ８３を用いた場合、例えば一定の角度Δθ毎にレーザビームを発射及び受光しながら所定の角度範囲が水平にスキャンされる。レーザレーダ８３により得られる距離データは、反射光が受光されないか、又はレーザ光反射物体が所定の距離より遠方にある場合の距離Ｌ以上のデータ、及び障害物Ｏからの反射光により得られた障害物Ｏの距離Ｌ１，Ｌ２等からなる。一定の角度Δθを、例えば０．５゜として測定した、一連の距離データを用いると、特定の形状物の位置を認識することができる（特開２００２−２０２８１５号公報参照）。
【００６３】
このような距離データを距離情報解析手段８２において演算処理して検出された障害物の幅が、予め決めた範囲内である物体（特定形状物）の場合、その物体を、例えば人の足であるとして人の候補を認識することができる。このように、記憶部２に予め設定した幅以下又は予め設定した幅の範囲内の物体が検出された位置に、人（の足）や椅子が存在する可能性があると判断される。その特定形状物の（分布）位置は、後述するように、その幅のスキャンに要した測定点数ｊと、その幅内における物体の距離及びスキャン角度組、Ｄ（ｉ）、θ（ｉ）、０≦ｉ＜ｊとして認識される。このような距離及び方向データが、距離情報解析手段８２から環境認識手段９に送られる。
【００６４】
環境認識手段９では、画像認識処理手段７２における画像認識結果から得られた、例えば人存在の候補方向と、距離情報解析手段８２から得られた人存在可能性の方向とが比較される。両者が略一致した場合、その方向が人の存在方向と判断され、その方向と距離が走行制御手段４に送られる。
【００６５】
また、距離測定装置８１であるレーザレーダ８３により得られた特定の形状物（人の候補位置）のデータＤ（ｉ）、θ（ｉ）は、レーザレーダ８３の座標系（センサ座標系）のデータである。そこで、距離情報解析手段において、後述の図３１に示すように、特定形状物の位置が座標変換され、自律移動装置本体１０の座標系（ＸＲ、ＹＲ）で表現される。
【００６６】
変換された人の候補位置データが、距離情報取得手段８から、画像情報取得手段７に送られると、後述するように、画像データと比較され、特定形状物が人であるかどうかが判断される。その候補位置の形状物が人であると判断された場合、その形状物の座標が走行制御手段４に送られる。また、後述するように、画像情報取得手段７から送られてきた人候補の位置を、距離情報取得手段８において、人であるかどうかの判断がなされる。
【００６７】
（特定形状物の検出）
レーザレーダによる特定形状物の位置認識について説明する。図２０（ａ）はレーザレーダによる距離測定の様子を示し、図２０（ｂ）はレーザレーダによる距離測定結果を示す。距離測定装置８１として、レーザレーダ８３を用いた場合、例えば一定の角度Δθ毎にレーザビームを発射及び受光しながら所定の角度範囲を水平にスキャンして、図２０（ｂ）に示すような、レーザ反射物体ＯＢ１，ＯＢ２とレーザ源との距離Ｄ（ｉ）を示す一連のデータが得られる。スキャンにおける角度θ＝０から数えてｉ番目の距離データがＤ（ｉ）である。以下の説明において、所定のスキャン角度範囲において、Ｎ回の距離測定が行われる（０≦ｉ＜Ｎ）とする。
【００６８】
特定形状物をスキャンした前後の距離データの特性について説明する。図２１（ａ）は特定形状物までの距離データＤ（ｉ）のグラフを示し、図２１（ｂ）は同距離データの差分ΔＤ（ｉ）のグラフを示す（これらのグラフは一般的なグラフとして図示されており、図中のパラメータｎを、ｎ＝ｍとおいたとき、前出の図２０の測定結果に一致する）。一般に、障害物が測定されると、その障害物の範囲において、距離データＤ（ｉ）が低い値を示す（ｉ＝ｍ，ｍ＋１，・・、ｎ＋２の点）。また、測定された距離データＤ（ｉ）は、障害物の前後で、遠−近−遠となる距離変化を示すので、距離の差分ΔＤ（ｉ）は、障害物の境界のところで正負のピークを示す（ｉ＝ｍ，ｎ＋３の点）。
【００６９】
そこで、距離の差分値のグラフにおいて、予め定めたしきい値ＤＲ、−ＤＲにより、特定形状物の境界を検出することができる。また、レーザレーダ８３に対向する特定形状物表面の距離変化に対して、最大値のしきい値ｄｄ，−ｄｄを定めて特定形状物の奥行きの判定を行うことができる。例えば、指定する特定形状物が柱状物体であり、検出する必要のある柱状物の中で最大の幅がｒｒ×２であるときには、ｄｄ＝ｒｒと設定することができる。
【００７０】
また、特定形状物までの距離の代表値を与えるデータ番号Ｈとして、特定形状物の境界の距離データを与えるデータ番号を用いて、例えば、図２１（ａ）の場合、番号ｍと（ｎ＋２）を用いて、Ｈ＝ｉｎｔ（ｍ＋（ｎ＋２））／２）とする。ここで、ｉｎｔ（Ｘ）は、Ｘを超えない最大の整数を与える関数である。特定形状物の検出フローにおいて、この距離の代表値を与える番号Ｈ、その番号における距離データＤ（Ｈ）、角度データθ（Ｈ）が記憶される。また、考慮すべき特定形状物が複数あれば、これらの複数のデータが記憶される。
【００７１】
また、特定形状物の距離測定値の連続する点の個数の上限についてしきい値ＤＮを定めておき、測定対象物の距離測定値が、特定形状物の距離測定点であると思われる点の個数Ｃが、しきい値ＤＮ以下の場合（Ｃ＜ＤＮ）、その測定対象物を特定形状物であると判定する。ＤＮの値は、固定の値でも良い。また、例えば１つの距離データで推定できる検出物の大きさを、Ｄ（ｉ）×ｓｉｎ（Δθ）と仮定し、特定形状の大きさを、Ｄ（ｉ）×ｓｉｎ（Δθ）×Ｃと推定する。特定形状の大きさを予め仮定して、距離ごとにＤＮの値を変化させても良い。つまり、特定形状物の最大の幅をＯｍａｘとすると、例えばＤ（ｍ）のＤＮを、Ｏｍａｘ／（Ｄ（ｍ）×ｓｉｎ（Δθ））以上の最小の整数とすることができる。
【００７２】
測定データから特定形状物を認識する処理フローについて説明する。図２２は特定形状認識処理フローを示す。図２０に示された測定結果に沿って説明する。各処理ルーティン毎にデータ番号ｉが１ずつインクリメントされ（Ｓ４０２）、隣合う距離データの差Δ（ｉ，ｉ−１）＝Ｄ（ｉ）−Ｄ（ｉ−１）の大きさが調べられる（Ｓ４０５）。図２０に示す例では、ｉ＝ｍにおいて、Δ（ｍ、ｍ−１）＜−ＤＲであるのでステップＳ４０７に行き、Ｃ＝１、ｍ＝ｉとされる。そしてｉ＝ｍ＋１において｜Δ（ｍ＋２，ｍ＋１）｜≦ＤＲ、かつ、Ｄ（ｍ＋１）−Ｄ（ｍ）＜ｄｄであるので、処理はステップＳ４０８，Ｓ４０９，Ｓ４１０を通り、Ｃ＝２となる。
【００７３】
また、ｉ＝ｍ＋２において、｜Δ（ｍ＋２、ｍ＋１）｜≦ＤＲ、かつ、Ｄ（ｍ＋２）−Ｄ（ｍ＋１）＜ｄｄであるので、同様にしてＣ＝３となる。
【００７４】
さらにｉ＝ｍ＋３において、Δ（ｍ＋３、ｍ＋２）＞ＤＲであるので、処理はステップＳ４１２，Ｓ４１３，Ｓ４１４を通る。また、ｉｎｔ（ｘ）はｘを越えない最大の整数を返す関数である。
【００７５】
こうしてＤ（ｍ），Ｄ（ｍ＋１），Ｄ（ｍ＋２）が１つの特定形状物からの反射によって得られた距離データであると判断され、複数ある特定形状物のｊ番目の特定形状物までの距離が、Ｈ（ｊ）＝ｉｎｔ（（ｍ＋ｍ＋２）／２）＝（ｍ＋１）番目の距離データであらわされる（Ｓ４１４）。なお、ステップＳ４１１，Ｓ４１５ではＣ＝０としてＣがリセットされる。
【００７６】
距離測定装置８１として測距可能な超音波センサを用いた場合について説明する。超音波センサは安価であり、自律移動装置本体１０の周囲に複数設置することができる。前述の画像認識処理手段７２が、ある方向に人候補が存在すると判断した場合、その方向に検出領域を有する超音波センサの検出結果（距離）について、距離情報解析手段８２は、その検出結果が壁を検出したものかどうかを判断する。壁と判断しない場合をその人候補を人とする。例えば、超音波センサによって計測された物体までの距離が、記憶された地図上の物体（壁）までの距離と一致しないとき、距離情報解析手段８２は、計測された物体を人の候補として認識する。距離情報解析手段８２において、地図上に無い物体は人である可能性が高いと判断することにより、簡単な人検出を実現することができる。画像認識処理手段７２の判断結果に、超音波センサの検出結果を組み合わせることによって、壁に張られた人の写真などを人と誤認識することがなくなる。記憶された地図上の物体（壁）までの距離の計算については、後述される。
【００７７】
（走行制御手段）
走行制御について説明する。走行制御手段４は、環境情報取得手段６から人であると認識された対象物体の方向と距離が送られてきた場合、人と認識される物体が自律移動装置本体１０のの進行方向にあってかつ、予め定めた距離内にある場合には停止するように走行手段５を制御して、人に対して安全を確保する。また、走行制御手段４は、人と認識される物体が自律移動装置本体１０の進行方向にない場合、他の障害物があれば回避を行い、他の障害物がなければそのまま走行を継続するように走行手段５を制御する。
【００７８】
人検知停止領域について説明する。図２３は超音波センサ８４に基づく人検知停止領域４３を示す。また、図２４（ａ）は人検知の場合の停止動作を示し、図２４（ｂ）は人以外の物体検知時の場合の回避動作を示す。図２３に示すように、自律移動装置１からの距離Ｄ１、進行方向１０ａに対する方向各±ψ内の領域を人検知停止領域４３とし、この領域４３において検知した物を人Ｍと判断した場合、図２４（ａ）に示すように、自律移動装置１は停止する。超音波センサ８４を用いることにより、安価にこのような人検知停止領域４３を設定することができる。人でないと判断した場合は、図２４（ｂ）に示すように、自律移動装置１は、所定の走行経路４４から離れて、障害物Ｏを回避した走行経路４５に沿って目的地Ｔに向かって移動を続ける。
【００７９】
また、走行制御手段４が、走行手段５を制御して自律移動装置本体１０を走行させる他の方法として、レーザレーダによる距離測定情報に基づいて、例えば、ＴａｎｇｅｎｔＢｕｇ（ Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ、 Ｖｏｌ．１７、 Ｎｏ．９、 Ｓｅｐｔｅｍｂｅｒ １９９８． ｐｐ．９３４−９５３ ）などの方法を用いて、障害物を回避して目的地に向かって移動を続けるようにしてもよい。
【００８０】
検出物体回避の他の方法について説明する。図２５（ａ）は人以外の物体検知時の回避動作を示し、図２５（ｂ）は人検知の場合の回避動作を示す。走行制御手段は、人と認識される物体が自律移動装置本体の進行方向にある場合、その人と認識される物体から予め定めた距離を隔てて回避して走行するように走行手段を制御する。この場合、検出された物体を人と認識した場合と、人でないと判断された場合に、その検出物体を回避する方法を変更するようにしてもよい。例えば、距離測定装置８１としてレーザレーダ８３を用いた場合で、障害物Ｏが検出領域４６として設定した範囲に入らないように経路を設定する場合に、予め設定した２種類の検出半径Ｒ１，Ｒ２を切り替える。
【００８１】
検出された物体を人でないと判断した場合は、図２５（ａ）に示すように小さな検出半径Ｒ１が用いられ、人と判断した場合は、図２５（ｂ）に示すように大きな検出半径Ｒ２が用いられる。人がいても回避して目的地に進む必要がある場合に、人に対して安全を確保しながら走行動作ができる。すなわち、人でない検出物体に対しては距離をとって回避する必要がなく回避距離を短くできるので、効率のよい自律移動装置の運行が可能となる。
【００８２】
検出された人に対する対応方法について説明する。走行制御手段４は、人と認識される物体が予め定めた距離内にある場合、その距離又は距離と角度に応じた移動速度となるように走行手段５を制御するようにしてもよい。環境情報取得手段６から人であると認識された対象の方向と距離が送られてきた場合、走行制御手段４は、その距離によって移動速度を変更する。障害物のない通常の走行状態で用いられる移動速度として速度ｖが設定されている場合、走行制御手段４は、衝突回避アルゴリズムにおいて、衝突回避時の速度ｖ１を次式のようにすることができる。
ｖ１＝ｆ（ｈ）×ｖ
ここで、ｈ≧ｄに対して、ｆ（ｈ）＝１であり、ｈ＜ｄに対して、０≦ｆ（ｈ）＜１である。判定値ｄは予め設定している距離であり、変数ｈは人と認識された検出物体までの最短距離である。関数ｆ（ｈ）は定数でも良い。
【００８３】
また、関数ｆ（ｈ）の代わりに、最短の人と認識された検出物体と自律移動装置の進行方向のなす角度の絶対値δをさらに考慮した関数ｇ（ｈ、δ）を用いてもよい。この場合、衝突回避時の速度ｖ２を次式のようにすることができる。
ｖ２＝ｇ（ｈ、δ）×ｖ
ここで、ｈ≧ｄに対してｇ（ｈ、δ）＝１であり、ｈ＜ｄに対して０≦ｇ（ｈ、δ）＜１である。例えば、ｈ＜ｄ、δ≦９０゜のとき、
ｇ（ｈ、δ）＝０．５×（１−０．２×（９０−δ）／９０）
とすることができる。
【００８４】
このように、人と認識される物体の距離や角度に応じた移動速度とすることにより、人に不安を感じさせない動作で、効率のよい自律移動装置の移動が実現できる。また、検出物体が人でない場合は、速度を落とす必要がなく、効率の良い自律移動装置の運行が可能となる。
【００８５】
検出された人に対する他の対応方法について説明する。図２６（ａ）は自律移動装置に気づいた人に対する回避動作を示し、図２６（ｂ）は同装置に気づいていない人に対する停止動作を示す。走行制御手段４は、検出された人が自律移動装置に気づいていると判断できる場合は接近し、そうでない場合は、検出された人には予め定めた距離以上に近づかないように走行手段を制御する。自律移動装置１に気づいているという情報が環境情報取得手段６から走行制御手段４に送られてくると、図２６（ａ）に示されるように、走行制御手段４は走行手段５を制御して回避動作を行いつつ、目的地Ｔに向かって走行を続ける。そうでない場合、図２６（ｂ）に示されるように、予め定めた距離Ｄ２以上は人Ｍに近づかないように停止制御がなされる。この制御によって、人が気づいていないときに自律移動装置が近づいて人を脅かすようなことをなくすことできる。検出された人が自律移動装置に気づいているかどうかは、後述する方法によって判断される。
【００８６】
検出された人に対するさらに他の対応方法について説明する。図２７（ａ）（ｂ）は人に対する自律移動装置の注意喚起行動を示す。自律移動装置が検出された人の近くを通過する際に、人に対してアクションをとる。例えば、自律移動装置本体１０上部の回転部分にモニタ画面４７が設置されている場合、環境情報取得手段から送られてきた人と認識された検出物の方向角αに従って回転部分を回転させ、モニタ画面４７をその方向に向ける。そのモニタ画面４７に、例えば人の顔を模した絵などの注意喚起表示があると、自律移動装置１が人を意識して走行していることが、周囲にいる人に認識される。また、同時に人に対して音声信号を発信して注意喚起するようにしても良い。検出された人の近くを通過する際に、走行制御手段４が人に対して注意喚起行動をとることで、人に対する親和性を向上することができる。
【００８７】
検出された人に対するさらに他の対応方法について説明する。検出された人について、撮像手段により撮像した画像を記憶手段に記憶したり、画像を自律移動装置に搭載した通信手段を用いて遠隔ステーションに送信することで、自律移動装置に監視機能を持たせ、セキュリティや防犯に適用することができる。
【００８８】
（超音波センサによる人候補の評価）
超音波センサについて詳細説明する。図２８は超音波距離センサの配置を示し、図２９（ａ）は超音波距離センサによる壁及び人の検出を示し、図２９（ｂ）は壁検出の判断方法を示す。自律移動装置の、例えば進行方向前面に検出領域Ｓ１〜Ｓ５が全体で略半円を描くように、超音波センサ８４が配置されているとする。超音波センサ８４の配置場所が円周上にある必要はない。検出領域が重ならないようにｎ個の超音波センサ８４を配置すれば、第ｋ番目の超音波センサで検出された距離は、自律移動装置１の進行方向に対して、
（１８０゜／ｎ）×（ｋ−１）から（１８０゜／ｎ）×ｋ
の角度範囲が、第ｋ番目の超音波センサの検出領域とみなせる。
【００８９】
超音波センサの検出データによる人候補の評価方法について説明する。人候補の評価は、距離情報解析手段８２において次の手順で行われる：（１）距離情報解析手段８２は、環境認識手段９から送られてきた人候補の方向を検出範囲に含む、第ｉ番目の超音波センサの座標算出、（２）第ｉ番目の超音波センサに検出がない場合、人Ｍでないと判断し、判断アルゴリズム終了し、検出がある場合次に進む、（３）予め記憶している自律移動装置の移動環境内の全ての壁Ｗの情報から、第ｉ番目の超音波センサの検出領域、かつその検出距離にある壁Ｗを検索、（５）壁が存在すれば人Ｍでないと判断し、判断アルゴリズム終了し、壁Ｗが存在しない場合には次に進む、（６）検出した方向（検出領域の角度の最小値と最大値）と距離を人Ｍと判断して、その結果を環境認識手段９に送る。
【００９０】
超音波センサの検出データによる人候補の評価具体例について説明する。図３０は超音波距離センサによる障害物検出計算のための座標間関係を示す。ここでは、さらに、前出の図２９を参照する。自律移動装置１は、自律移動装置１が置かれた環境の座標系ｘｇ−ｙｇにおける（別の言い方をすれば、記憶した地図上の）自己の座標値（ｘｇｏ、ｙｇｏ）、及びその座標軸に対する傾き角度φを認識している。
【００９１】
自律移動装置に固定された座標系ｘｒ−ｙｒにおける第ｉ番目の超音波センサの座標値（ｘｒｕｓ（ｉ）、ｙｒｕｓ（ｉ））は、設計値から既知である。従って、環境の座標系ｘｇ−ｙｇにおけるその超音波センサの座標値（ｘｇｕｓ（ｉ）、ｙｇｕｓ（ｉ））が算出される。また、超音波センサ８４は、その検出領域が立体的なコーン状であり、そのコーンを自律移動装置１の移動平面に平行かつコーンの頂点を含む面で切ったときの検出領域の境界を示す単位ベクトルａ，ｂは、予め判っており、
ａ（ｘｒｌ（ｉ）、ｙｒｌ（ｉ））
ｂ（ｘｒｒ（ｉ）、ｙｒｒ（ｉ））
と表わされる。自律移動装置１が置かれた環境の座標系ｘｇ−ｙｇにおける超音波センサ８４の位置は、
（ｘｇｕｓ（ｉ）、ｙｇｕｓ（ｉ））
であり、環境の座標系ｘｇ−ｙｇにおける超音波センサ８４の上記検出領域境界を示す単位ベクトルａ，ｂは、
ａ（ｘｇｌ（ｉ）、ｙｇｌ（ｉ））
ｂ（ｘｇｒ（ｉ）、ｙｇｒ（ｉ））
となる。これらの関係式の導出は後述される。
【００９２】
例えば、環境内のｐ個（０≦ｊ＜ｐ）の壁Ｗの情報が自律移動装置が置かれた環境の座標上の始点座標（ｘｇｓ（ｊ）、ｙｇｓ（ｊ））、終点座標（ｘｇｅ（ｊ）、ｙｇｅ（ｊ））で与えられているとき、第ｉ番目の超音波センサ８４とその壁Ｗとの距離ρが、超音波センサ８４の検出した検出物の距離と等しい、又は予め定めた範囲内（検出距離と同等）の壁Ｗを選択する。そして、その壁Ｗの方向ベクトルｗと、検出領域を示す２つのベクトルａ、ｂとの内積の積を計算し、その値が正、（ａ・ｗ）×（ｂ・ｗ）＞０、の場合（図２９参照）、その壁Ｗは第ｉ番目の超音波センサの検出領域にはないと判断する。従って、第ｉ番目の超音波センサで検出された検出物は人であると判断するのである。
【００９３】
（各種座標間の変換及び計算式）
超音波センサの検出データによる人候補の評価具体例の式について説明する。前出の図３０を参照する。壁Ｗを表す２点Ｓ，Ｅを通る直線の式は式（１）で、また、超音波センサ８４の位置する点Ｑと壁Ｗを表す直線との距離ρは式（２）で、座標系ｘｇ−ｙｇにおける超音波センサ８４の位置（点Ｑ）の座標は式（３）で、環境の座標系ｘｇ−ｙｇにおける超音波センサ８４の検出領域境界を示す単位ベクトルａ，ｂはそれぞれ式（４）（５）で、壁Ｗの方向ベクトルｗは式（６）で、壁Ｗが第ｉ番目の超音波センサの検知領域にないことを示す判別式は式（７）で表される。
【００９４】
【式１】

【００９５】
レーザレーダを距離測定装置として用いる場合の座標間関係について説明する。図３１（ａ）（ｂ）は自律移動装置１における座標の配置を示す。自律移動装置１に固定された座標である基準座標系ＸＲ−ＹＲは直交座標系であり、レーザレーダ８３のスキャン中心に原点を有する座標系ＸＳ−ＹＳも直交座標系である。ＸＲ−ＹＲ平面とＸＳ−ＹＳ平面は同一平面内にあり、ＸＲ軸とＸＳ軸は同一方向にあり、ＹＲ軸とＹＳ軸は、距離ｄＳだけずれている。レーザレーダ８３のスキャン中心から距離Ｄ３、方向角βの位置にあるＸＳ−ＹＳ平面内の物体Ｏ３の位置座標は、座標系ＸＳ−ＹＳにおいて、
ＸＳ＝Ｄ３×ｓｉｎ（β）
ＹＳ＝−Ｄ３×ｃｏｓ（β）
となり、座標系ＸＲ−ＹＲにおいて、
ＸＲ＝ＸＳ＋ｄＳ
ＹＲ＝ＹＳ
となる。
【００９６】
正規化画像座標系と自律移動装置の基準座標系との関係について説明する。図３２は自律移動装置１の基準座標系と正規化画像座標系との関係を示す。距離情報取得手段で得られる３次元空間中の点Ｍ１が、正規化画像上の点ｍ１として観測される場合、自律移動装置１の基準座標系、カメラ座標系、デジタル画像座標系、正規化画像座標系において観測位置が表現される。自律移動装置１の基準座標系での点Ｍ１の座標を（ＸＲ、ＹＲ、ＺＲ）とし、正規化画像座標系での点ｍ１の座標を（ｕ、ｖ）とすると、点Ｍ１の座標より点ｍ１の座標は式（８）を用いて計算される。
【００９７】
【式２】

【００９８】
このような変換を用いてレーザレーダ計測結果を画像上への投影することができる。上式において、Ｓは定数、ｆは焦点距離、ｋｕ、ｋｖは正規化画像座標を基準とした時のｕ、ｖ軸の単位、ｕ０、ｖ０はデジタル画像座標系における正規化画像座標原点の座標、θはｕ軸とｖ軸の成す角度、ｒ１１等は自律移動装置１の基準座標系とカメラ座標系間の回転行列、ｔ１，ｔ２，ｔ３は自律移動装置１の基準座標系とカメラ座標系間の並進行列を示す。これらのパラメータは、予めカメラキャリブレーションを行うことにより求められる。この式（８）の導出は基本的なものであり、例えば、「コンピュータビジョン技術評論と将来展望」（新技術コミュニケーションズ）の第６章コンピュータビジョンにおけるエピポーラ幾何に導出例がある。
【００９９】
（レーザレーダ計測結果に基づく画像処理）
距離情報取得手段８の情報に基づき、画像情報取得手段７において人認識を行い、環境を認識する例について説明する。この例では、距離情報取得手段８の距離測定装置８１としてレーザレーダ８３を使用する。レーザレーダ８３により計測を行い、距離情報取得手段８の距離情報解析手段８２において、人の大きさに対応する幅の物体を検出した場合、その物体を人候補として、画像情報取得手段７において人認識処理が行われる。
【０１００】
人候補が存在する場合の処理を詳述する。図３３はレーザレーダ計測結果に基づいて処理する画像を示し、図３４はレーザレーダ計測結果に基づく画像処理フローを示す。レーザレーダで計測され（Ｓ５０１）、距離情報解析手段８２において距離計測データより人候補が探索される（Ｓ５０２）。人候補が存在しない場合（Ｓ５０３でＮ）、人は存在しないとの結果が環境認識手段９に出力され（Ｓ５０５）、人候補が存在する場合（Ｓ５０３でＹ）、その位置がレーザレーダ座標系から自律移動装置の基準座標系に変換される（Ｓ５０５）。
【０１０１】
続いて、前述の式（８）を用い、人候補の位置を、自律移動装置の基準座標系から正規化画像座標系に変換し、正規化画像座標上での位置が求められ、図３３に示されるように、画像２１上に投影された人候補位置２２の周辺に、検出対象とする人の大きさに対応して予め決めておいた人検出エリア９０が設定される（Ｓ５０７）。人検出エリア９０内で人検出処理が行われ（Ｓ５０８）、人候補を検出したらレーザレーダで検出された人候補は人であったと判定し（Ｓ５０９でＹ）、レーザレーダからの検出結果は正しく人を検出したとして環境認識手段９に出力される（Ｓ５１０）。以上の処理が全ての人候補について行われる（Ｓ５１１）。レーザレーダの計測結果に基づき、画像処理による人検出処理を行うエリアを制限することにより、処理の効率を高め人検出の信頼性を向上させることができる。
【０１０２】
（画像処理結果に基づくレーザレーダ計測）
画像情報取得手段７の処理結果に基づき、距離情報取得手段８において距離情報を取得し、環境を認識する例について説明する。図３５（ａ）（ｂ）は画像処理結果に基づいたレーザレーダ計測を示し、図３５（ｃ）は計測結果の画像を示す。また、図３６は画像処理結果に基づくレーザレーダ計測処理フローを示す。この例では、画像情報取得手段７の撮像装置７１には全方位カメラ７４を、距離情報取得手段８の距離測定装置８１にはレーザレーダ８３が用いられる。図に示すように、全方位カメラ７４のカメラ座標系ＸＣ−ＹＣ−ＺＣと、レーザレーダの座標系ＸＬ−ＹＬ−ＺＬとは、各軸の方向が一致している。カメラ座標系の原点は、レーザレーダ座標系のＺＬ軸上を上方にシフトした位置になるように、全方位カメラ７４が設置されている。
【０１０３】
まず、全方位カメラ７４により取得された全方位画像１９について、画像認識処理手段７２により人候補の検出が行われる（Ｓ６０１）。人候補が存在しない場合（Ｓ６０２でＮ）、人は存在しないとの結果が環境認識手段９に出力され（Ｓ６０３）、人候補が存在する場合（Ｓ６０２でＹ）、検出された人候補の頭部位置方向とカメラ座標のＸＣ軸とのなす角度φが計算される（６０４）。次に、レーザレーダ８３により、レーザレーダ座標のＸＬ軸から角度φの方向の角度周辺が計測され（Ｓ６０５）、距離情報解析手段８２により人の大きさに対応する幅の物体の探索が行われ（Ｓ６０６）、人候補が検出されたら（Ｓ６０７でＹ）、人を検出したとして環境認識手段９に結果が出力される（Ｓ６０９）。以上の処理が、画像を処理して得られた全ての人候補について行われる（Ｓ６０９）。
【０１０４】
（人が自律移動装置に気付いているかどうかの判断処理）
人が自律移動装置に気が付いているかどうかの判断方法について説明する。図３７（ａ）は人が同装置に気づいている画像を示し、図３７（ｂ）は気づいていないとする画像を示し、図３８は人までの距離と顔の肌色面積の関係グラフを示す。画像認識処理手段７２において、距離情報取得手段８の情報に基づき人認識が行われた後、その人が、自律移動装置１に気付いているかどうかの判断が画像認識処理手段７２により行われる。画像認識処理手段７２は、少なくとも撮像した画像から肌色領域を検出する肌色領域検出部と、検出された肌色領域の形状について演算処理する形状特徴処理部とを含んでおり、検出された肌色領域が予め決めた形状特徴条件を満たすとき、画像認識処理手段７２は、その肌色領域を人の候補として認識する。
【０１０５】
そして、人が自律移動装置に対して正面を向いている程、気付き度合いが高く、逆に、横を向いている程、気付き度合いが低いとして気付き度合いが判定される。また、自立移動装置に対する顔の向き具合は、頭部領域における肌色領域面積の大きさで行われる。図３７に示すように、一般に、正面を向くほど肌色面積が増える。また、人の頭部の大きさは、個人差によらずある一定の大きさを仮定することができる。従って、図３８に示すように、正面を向いた標準の顔の肌色面積Ｓｉは、自律移動装置から人までの距離Ｄｉの関数として表すことができる。この自律移動装置から人までの距離Ｄｉと顔の標準肌色面積Ｓｉの関係は、実験により予め求めておくことができる。
【０１０６】
人が自律移動装置に気付いているかどうかの判断処理を含む処理フローについて説明する。図３９は人検出処理フローを示す。この例では、距離情報取得手段８の距離測定装置８１としてレーザレーダ８３を用い、画像情報取得手段７の撮像装置７１として固定カメラ７０を用いた場合について説明する。この処理フローにおけるステップＳ７０１〜Ｓ７０９は、前出の図３４におけるレーザレーダ計測結果による画像処理フローのステップＳ５０１〜Ｓ５０９と同じであり、説明は省略する。ステップＳ７０９において、人候補が検出された場合（Ｓ５０９でＹ）、その検出された人が自律移動装置に気付いているかの処理が行われ（Ｓ７１０）、その後、人の検出出力に人が自律移動装置に気が付いているかどうか判定されて、その判定結果を表す属性と、レーザレーダで検出された人候補は人であったと判定結果とが環境認識手段９に出力される（Ｓ７１１）。以上の処理が全ての人候補について行われる（Ｓ７１２）。
【０１０７】
上述のステップＳ７１０における、検出された人が自律移動装置に気付いているかどうかの判定処理の詳細を説明する。図４０は人が自律移動装置に気付いているかどうかの判断処理フローを示す。画像認識処理手段７２において、人を検出した肌色領域２４の面積ｓｍｉが、例えば画素数により計測される（Ｓ８０１）。次に、レーザレーダによる人の計測距離ｄｉ、及び自律移動装置から人までの距離と正面を向いた人の顔の肌色面積との関係（図３８）を使って、標準肌色面積ｓｉが求められる（Ｓ８０２）。次に、肌色領域内の面積ｓｍｉと標準肌色面積ｓｉとの比ｓｍｉ／ｓｉが求められて予め決められたしきい値ＴＨと比較される（Ｓ８０３）。比較の結果、ｓｍｉ／ｓｉ＞ＴＨであれば（Ｓ８０３でＹ）、人が自律移動装置に気が付いていると判定され（Ｓ８０４）、ｓｍｉ／ｓｉ＜ＴＨであれば（Ｓ８０３でＮ）、人が自律移動装置に気が付いていないと判定される（Ｓ８０５）。
【０１０８】
なお、本発明は、上記構成に限られることなく種々の変形が可能である。例えば、図４１（ａ）〜（ｃ）に示されるように、撮像装置と距離測定装置を組み合わせることができる。図４１（ａ）の自律移動装置１は、１つのレーザレーダ８３と回転機構７０ａ上の２つのカメラ７０を備えており、図４１（ｂ）の自律移動装置１は、２つのレーザレーダ８３と回転機構７０ａ上の２つのカメラ７０を備えており、図４１（ｃ）の自律移動装置１は、１つのレーザレーダ８３と１組の超音波センサ８４、及び回転機構７０ａ上の２つのカメラ７０を備えている。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る自律移動装置のブロック構成図。
【図２】同上装置の外観を示す斜視図。
【図３】同上装置の画像認識処理手段のブロック構成図。
【図４】同上装置の画像認識処理手段の他の例を示すブロック構成図。
【図５】（ａ）は同上装置の平面図、（ｂ）は同側面図、（ｃ）は同装置の撮像装置が撮像した画像を示す図。
【図６】（ａ）は同上装置の撮像装置の変形例を示す平面図、（ｂ）は同側面図、（ｃ）は同装置の撮像装置が撮像した画像を示す図。
【図７】（ａ）は同上装置のさらに他の撮像装置の変形例を示す平面図、（ｂ）は同側面図、（ｃ）は同装置の撮像装置が撮像した画像を示す図。
【図８】（ａ）は同上装置のさらに他の撮像装置の変形例を示す平面図、（ｂ）は同側面図、（ｃ）は同装置の撮像装置が撮像した画像を示す図。
【図９】同上装置における画像認識処理手段による人認識処理フロー図。
【図１０】（ａ）は同上装置における人認識処理の対象となる入力画像の図、（ｂ）は同処理による肌色領域検出結果を示す画像の図、（ｃ）は同処理による肌色領域を含むエッジ画像の図、（ｄ）は同処理による人認識結果を示すエッジ画像の図。
【図１１】同上装置により用いられる正規化色空間の概念図。
【図１２】同上装置における人認識処理フローに含まれる肌色領域検出処理フロー図。
【図１３】（ａ）は同上装置における人認識処理フローに含まれる投票による頭部形状検出処理に用いられる投票範囲の図、（ｂ）は投票による頭部検出を説明する概念図。
【図１４】同上装置における人認識処理フローに含まれる投票による頭部形状検出処理フロー図。
【図１５】全方位カメラを備えた同上装置における人存在方向特定方法を説明する同装置の斜視図。
【図１６】同上装置により撮像された全方位カメラ画像を示す図。
【図１７】回転型カメラを備えた同上装置における人存在方向特定方法を説明する同装置の斜視図。
【図１８】（ａ）〜（ｃ）は同上装置の回転型カメラの回転状態を示す平面図と各カメラ角度で撮像された画像を示す図。
【図１９】（ａ）は同上装置におけるレーザレーダによる障害物距離測定を説明する平面図、（ｂ）は同レーザレーダによる距離測定結果を示す図。
【図２０】（ａ）は同上装置におけるレーザレーダによる特定形状物距離測定を説明する平面図、（ｂ）は同レーザレーダによる距離測定結果を示す図。
【図２１】（ａ）は同上装置におけるレーザレーダによる特定形状物の距離測定結果のグラフを示す図、（ｂ）は同距離測定値の差分のグラフを示す図。
【図２２】同上装置における特定形状認識処理のフロー図。
【図２３】同上装置における人検知停止領域を説明する平面図。
【図２４】（ａ）は同上装置における人検知の場合の停止動作を示す平面図、（ｂ）は人以外の物体検知時の回避動作を示す平面図。
【図２５】（ａ）は同上装置における人以外の物体検知時の回避動作を示す平面図、（ｂ）は人検知の場合の回避動作を示す平面図。
【図２６】（ａ）は同上装置における同装置に気づいた人に対する回避動作を示す平面図、（ｂ）は同装置に気づいていない人に対する停止動作を示す平面図。
【図２７】（ａ）（ｂ）は同上装置における人に対する注意喚起行動を説明する斜視図。
【図２８】同上装置における超音波距離センサの配置を示す平面図。
【図２９】（ａ）は同上装置における超音波距離センサによる壁及び人の検出を説明する平面図、（ｂ）は同壁検出の判断方法を説明する図。
【図３０】同上装置における超音波距離センサによる障害物検出計算のための座標間関係図。
【図３１】（ａ）は同上装置における距離測定装置の座標変換を説明する斜視図、（ｂ）は同平面図。
【図３２】同上装置における自律移動装置の基準座標系と正規化画像座標系との関係説明図。
【図３３】同上装置におけるレーザレーダ計測結果に基づく画像処理を説明する画像を示す図。
【図３４】同上装置におけるレーザレーダ計測結果に基づく画像処理フロー図。
【図３５】同上装置における画像処理結果に基づくレーザレーダ計測を説明する装置平面図、（ｂ）は同側面図、（ｃ）は計測結果を示す画像を示す図。
【図３６】同上装置における画像処理結果に基づくレーザレーダ計測処理フロー図。
【図３７】（ａ）は同上装置において人が同装置に気づいていると判断する画像を示す図、（ｂ）同じく気づいていないとする画像を示す図。
【図３８】同上装置において用いられる人までの距離と顔の肌色面積の関係グラフを示す図。
【図３９】同上装置における人検出処理フロー図。
【図４０】同上装置における人が同装置に気づいているかどうかの判断処理フロー図。
【図４１】（ａ）〜（ｃ）は同上装置における撮像装置と距離測定装置の組み合わせを説明する斜視図。
【符号の説明】
１ 自律移動装置
２ 記憶手段
３ 入力支持手段
４ 走行制御手段
５ 走行手段
６ 環境情報取得手段
７ 画像情報取得手段
８ 距離情報取得手段
９ 環境認識手段
４１ 経路生成手段
４２ 自己位置認識手段
７０ カメラ
７０ａ 回転機構
７１ 撮像装置
７２ 画像認識処理手段
７３，７４ａ カメラ
７４ｂ 全方位ミラー
８１ 距離測定装置
８２ 距離情報解析手段
８３ レーザレーダ
８４ 超音波センサ

Claims (20)

1. 走行する領域の地図情報と走行のための各種パラメータを記憶する記憶手段と、目的地や走行指令を前記記憶手段に入力する入力指示手段と、目的地までの走行経路を生成する経路生成手段と、障害物及び自己位置を認識するための情報を得る環境情報取得手段と、走行を行うための走行手段と、前記環境情報取得手段で得られた情報と記憶した地図情報とに基づいて自己位置を認識する自己位置認識手段と、この自己位置認識手段により自己位置を認識しつつ障害物を回避しながら前記走行手段を制御して前記生成された走行経路に沿って走行する走行制御手段を有する自律移動装置であって、
   前記環境情報取得手段は、
   走行経路上の環境の画像を撮像する撮像装置及び撮像した画像情報を演算処理して人体の部位に関する属性を持つ領域を抽出する画像認識処理手段を含む画像情報取得手段と、
   走行経路上の環境内に存在する物体までの距離と物体の方向を測定する距離測定装置及び測定したこれらの距離情報を演算処理する距離情報解析手段を含む距離情報取得手段と、
   前記画像情報取得手段で得られた人体の部位に関する属性を持つ領域の情報、及び前記距離情報取得手段で得られた物体に関する距離情報に基づいて、走行経路上の環境情報を前記走行制御手段に出力する環境認識手段と、を備えることを特徴とする自律移動装置。
2. 画像情報取得手段は、距離情報取得手段が距離情報を演算処理して検出した物体の方向を含むように撮像し、環境認識手段は、得られた画像中の物体の方向に対応する部分について認識処理を行うことを特徴とする請求項１に記載の自律移動装置。
3. 距離情報取得手段は、画像情報取得手段により抽出された物体の方向を含むように距離計測を行い、環境認識手段は、得られた距離計測データ中の物体の方向に対応する部分について認識処理を行うことを特徴とする請求項１に記載の備える自律移動装置。
4. 距離測定装置は、走行路面に平行な面内を予め設定した角度毎に走査して障害物までの距離を計測するレーザレーダによりなることを特徴とする請求項１乃至請求項３のいずれかに記載の自律移動装置。
5. 距離測定装置は、超音波センサによりなることを特徴とする請求項１乃至請求項３のいずれかに記載の自律移動装置。
6. 距離情報解析手段は、距離情報を演算処理して検出した物体の幅が予め決めた範囲内であるとき、その物体を人の候補として認識することを特徴とする請求項１乃至請求項４のいずれかに記載の自律移動装置。
7. 距離情報解析手段は、計測された物体までの距離が記憶された地図上の物体までの距離と一致しないとき、計測された物体を人の候補として認識することを特徴とする請求項１乃至請求項３のいずれか又は請求項５に記載の自律移動装置。
8. 撮像装置は、自律移動装置本体の基準座標系に対して固定され自律移動装置本体に設置された１つのカメラであることを特徴とする請求項１乃至請求項３のいずれかに記載の自律移動装置。
9. 撮像装置は、自律移動装置本体の基準座標系に対し、方向を制御して変更できる機構上に設置されたカメラであることを特徴とする請求項１乃至請求項３のいずれかに記載の自律移動装置。
10. 撮像装置は、自律移動装置本体の全方位を撮像できるように、複数のカメラを設置してなることを特徴とする請求項１乃至請求項３のいずれかに記載の自律移動装置。
11. 撮像装置は、自律移動装置本体の全方位を撮像できるように、全方位ミラーとカメラを組合せた撮像装置であることを特徴とする請求項１乃至請求項３のいずれかに記載の自律移動装置。
12. 画像認識処理手段は、少なくとも撮像した画像から特定色領域を検出する特定色領域検出部と検出された特定色領域の形状について演算処理する形状特徴処理部とを含み、検出された特定色領域が予め決めた形状特徴条件を満たすとき、その特定色領域を人の候補として認識することを特徴とする請求項１乃至請求項３のいずれかに記載の自律移動装置。
13. 環境認識手段は、距離情報取得手段で検出された物体が人候補と認識される位置と、画像情報取得手段で検出された物体が人候補と認識される位置とが一致するとき、検出された物体を人と判断することを特徴とする請求項１乃至請求項３、請求項６、及び請求項１２のいずれかに記載の自律移動装置。
14. 環境認識手段は、画像中で検出された人の肌の色領域の面積と、自律移動装置本体から人までの距離により予め決められたその距離における人の肌の色領域の面積との比を求め、この比と予め決められたしきい値とを比較することにより、検出された人が自律移動装置に気付いているかいないかを判断することを特徴とする請求項１乃至請求項３、請求項６、請求項１２、及び請求項１３のいずれかに記載の自律移動装置。
15. 走行制御手段は、人と認識される物体が自律移動装置の進行方向にあってかつ、予め定めた距離内にある場合には停止し、人と認識される物体が自律移動装置本体の進行方向にない場合、障害物があれば回避を行い、障害物がなければそのまま走行を継続するように走行手段を制御することを特徴とする請求項１乃至請求項１４のいずれかに記載の自律移動装置。
16. 走行制御手段は、人と認識される物体が自律移動装置本体の進行方向にある場合、その人と認識される物体から予め定めた距離を隔てて回避して走行するように走行手段を制御することを特徴とする請求項１乃至請求項１４のいずれかに記載の自律移動装置。
17. 走行制御手段は、人と認識される物体が予め定めた距離内にある場合、その距離又は距離と角度に応じた移動速度となるように走行手段を制御することを特徴とする請求項１乃至請求項１４のいずれかに記載の自律移動装置。
18. 走行制御手段は、検出された人が自律移動装置に気づいていると判断できる場合は接近し、そうでない場合、検出された人には予め定めた距離以上に近づかないように走行手段を制御することを特徴とする請求項１４に記載の自律移動装置。
19. 走行制御手段は、検出された人の近くを通過する際に、人に対して注意喚起行動をとることを特徴とする請求項１乃至請求項１８のいずれかに記載の自律移動装置。
20. 画像情報取得手段は、検出された人を撮像してその画像を記憶手段に記憶する、又は画像を遠隔ステーションに送信することを特徴とする請求項１乃至請求項１９のいずれかに記載の自律移動装置。

Images