JP2004171165A

JP2004171165A - 移動装置

Info

Publication number: JP2004171165A
Application number: JP2002334553A
Authority: JP
Inventors: Shinichi Matsunaga; 慎一松永; Nobuo Higaki; 信男檜垣
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2002-11-19
Filing date: 2002-11-19
Publication date: 2004-06-17
Anticipated expiration: 2022-11-19
Also published as: JP3781370B2; US20040096083A1; US7277559B2

Abstract

【課題】物体を検出しながら移動する移動装置において、物体を検出する画像処理の負担を小さくする。
【解決手段】位置方位測定装置３で測定した移動装置１の現在位置・方位と、移動装置が移動する環境に存在する静止物体の少なくとも位置情報が登録されている地図データとに基づき、カメラ２が撮像している画像内での静止物体の位置を計算し、その静止物体の手前側の境界線までの距離を基準距離とする。一方、複数のカメラ２の画像から、視差を計算することで視認距離を計算し、画像処理範囲抽出部１３で前記基準距離と視認距離を比較して、視認距離が小さい画素のみを抽出して抽出画像を生成する。抽出画像から物体検出部１５で物体を検出し、移動手段制御部２０及び移動手段３１により移動装置１を移動させる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置によって撮像された画像から、周囲にある物体を認識し、移動するロボットや自動車等の移動装置に関する。
【０００２】
【従来の技術】
従来、ＣＣＤ等のカメラによって撮像された画像から、その画像上に存在する物体（障害物）を認識する画像処理装置が知られている。例えば、特許文献１は、ロボット等に適用可能な移動体検出装置であり、移動式の雲台に取り付けたカメラを水平に回転させて撮像した画像を蓄積し、この画像により差分処理を行って移動体を検出している。この方法は、撮影するカメラレンズの中心位置が一定した点になるようにカメラを回転させて撮影方向を変化させている。つまり、固定したカメラを回転させて撮像している。
【０００３】
【特許文献１】
特開平９−９１４３８号公報（第３頁）
【０００４】
【発明が解決しようとする課題】
しかし、このような移動体検出装置では、一般に撮像された画像の全体に対し画像処理を行って移動体の認識をするため、画像処理の負担が大きいという問題がある。また、ロボットや、自動車等の移動する装置にこのような移動体検出装置を適用しても、移動体等の障害物の認識は容易ではない。すなわち、移動装置では、その移動装置に搭載されたカメラの位置が変わることから、移動装置と壁や柵等の静止物体（障害物）の距離も常に変化し、移動体のみを認識するのが困難である。
【０００５】
これらの問題に鑑みて本発明がなされたもので、本発明は、画像処理の負担が小さく、移動をしても物体を認識しつつ移動することができる移動装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記した課題を解決するため、本発明は、複数の撮像装置で撮像対象を撮影した複数の撮像画像に基づき、物体を認識して移動する移動装置であって、前記撮像装置の現在位置及び方位を測定する位置方位測定装置と、前記移動装置が移動する環境に存在する静止物体の少なくとも位置情報が登録された地図データを保持する地図データ保持部と、前記複数の撮像画像の視差を求めることにより、前記撮像装置から撮像対象までの距離を視認距離として算出する視認距離算出部と、前記位置方位測定手段で測定された現在位置及び方位と、前記地図データとに基づき、前記撮像装置から前記静止物体の手前側境界線までの距離を基準距離として求める基準距離算出部と、前記撮像画像の各画素についての前記視認距離と、この各画素に対応する前記基準距離とを比較し、その比較結果に基づいて対象となる画素を抽出して抽出画像を生成する画像処理範囲抽出部と、前記抽出画像から物体を検出する物体検出部と、移動手段と、前記物体検出部が検出した物体の情報に基づき、移動手段の動作を制御する移動手段制御部とを備えたことを特徴とする。
【０００７】
このような移動装置では、物体検出部により人や障害物等の物体が検出されながら、移動手段制御部がロボットの足や車輪等の移動手段を制御して、移動していく。このときに、複数のＣＣＤカメラ等の撮像装置により撮影された画像が視認距離算出部に入力されて、撮像装置から撮像対象までの距離が視認距離として算出される。このときの撮像対象は、背景としての廊下や壁、机等の通常場所が変わることがない静止物体と、人や動物、一時的に置いてある荷物等の移動物体との両方が含まれる。
【０００８】
一方で、位置方位測定装置は、撮像装置の現在位置と方位を測定している。基準距離算出部は、地図データと現在位置及び方位に基づいて、撮像装置から静止物体の手前側、すなわち移動装置側の境界線までの距離を算出する。そして、各画素の視認距離と対応する基準距離との比較結果に基づいて、画像処理の対象となる画素を抽出して抽出画像を生成する。
【０００９】
この抽出画像は、静止物体の手前側にあるものだけの情報を有し、物体検出部は必要最小限の物体に対してだけ、詳細な画像処理をすればよいので、画像処理の計算負担が小さくなる。また、この移動装置では、位置方位測定装置で撮像装置の現在位置と方位を確認しながら地図データを参照し、画像処理を行っているので静止物体の認識を無駄なく正確に行うことができる。
【００１０】
前記した移動装置においては、前記画像処理範囲抽出部は、前記前記撮像画像の各画素についての前記視認距離と、この各画素に対応する前記基準距離とを比較し、視認距離の方が小さい画素のみを前記撮像画像から抽出して抽出画像を生成するよう構成することができる。
【００１１】
基準距離より遠い物体については、静止物体の陰や後ろにあるということになるので、移動装置の前に突然飛び出してくる可能性は低いと考えられる。そのため、この距離を基準距離として、基準距離より遠い物体については詳細な画像処理をしないように、画像処理の対象範囲を絞り込むことができる。すなわち、画像処理範囲抽出部は、撮像装置により撮影した画像について、各画素に対応する視認距離と、基準距離とを比較して、視認距離の方が小さい画素のみを抽出する。
【００１２】
また、前記した移動装置においては、前記画像処理範囲抽出部は、前記前記撮像画像の各画素についての前記視認距離と、この各画素に対応する前記基準距離とを比較し、視認距離が基準距離に対して所定値以上大きい画素が所定量以上あった場合に、撮像画像全体を抽出画像として生成するように構成するのが望ましい。
【００１３】
移動装置は、基本的に位置方位測定装置により現在位置を確認しながら、移動するが、地図データの未更新や、位置、方位の測定誤差など、何らかのエラーが発生した場合にも、フェールセーフ機能が働いて移動装置が安全に移動できるのが望ましい。そのため、このように視認距離が基準距離に対して所定値以上大きい画素が所定量以上あった場合には、何らかのエラーが含まれている可能性も考慮して、撮像画像全体を抽出画像として生成するのが良い。このようにすることで、移動装置の安全性をより高めることができる。なお、この場合の所定値は、例えば１ｍ〜５ｍで、所定量は、例えば、撮像した画像の３０％等であり、これらは、位置方位測定装置等の精度により適宜決定することができる。
なお、地図データが、壁、柱、机、棚等、静止物体の属性を有している場合には、壁や柱等、その静止物体の向こう側に何も見えないはずの物から決められた基準距離に対してのみ、このフェールセーフの判断を行うと、不要にフェールセーフ機能を働かせることなく、効率的な画像処理が可能となる。
【００１４】
また、前記した移動装置においては、前記基準距離算出部は、前記基準距離を所定の上限値以下にする上限距離設定部を有するように構成してもよい。
このような移動装置では、基準距離が所定の値以下に設定され、所定の距離より遠い物体に相当する画素については、画像処理範囲から除外される。従って、画像処理の負担が小さくなる。
なお、所定の上限値は、一定の値である必要はなく、条件に応じ変化する値でもよいという意味である。例えば画像の中心付近は大きく（遠く）、周辺は小さく（近く）設定したり、明るさ等の外部環境によって、変化させたりしても構わない。
【００１５】
また、前記した移動装置においては、前記物体検出部が検出した物体をラベル付けして記憶し、この物体が所定回数以上同じ位置で検出された場合には、その位置とその物体との関連を有する地図データとして前記地図データ保持部に記憶させる地図管理部をさらに有するように構成するのが望ましい。
【００１６】
このような移動装置によれば、検出された物体が複数回同じ場所で検出された場合に、静止物体であると判断し、その物体を地図データとして地図データ保持部に記憶し、以後、画像処理範囲から除外する。
【００１７】
なお、地図データとして記憶されるとは、位置と、物体の情報（例えば形状、大きさ等）が関連付けされて記憶されれば十分であるが、物体の属性（例えば人間等の移動物体、壁、机、荷物等の静止物体等）についても関連づけて記憶されるとより好都合である。地図データが記憶される領域は、前記した静止物体が登録された地図データのファイル内でもよいし、この地図データとは別のファイルであっても構わない。いずれにしても、物体が新たに登録された地図データは、基準処理算出部等により参照される。
【００１８】
さらに、前記した移動装置においては、前記地図データ中にある静止物体で、検出されなかった物体については、前記地図データ保持部から削除する消失物更新部を有するように構成するのが望ましい。
【００１９】
このような移動装置によれば、静止物体が無くなった場合に、逐次地図データが更新され、移動装置が確実に障害物等を検出することができ、安全を確保することができる。
【００２０】
なお、本発明の移動装置では、静止物体がある場所は、通常モードでは物体の検出から除外されることから、適宜画像全体に対し物体の検出を定期的又は不定期的に行うとよい。すなわち、移動装置が前記画像処理範囲抽出部による画像の抽出をすることなく、前記撮像画像から前記物体検出部により直接物体の検出を行う全体確認モードを有し、前記地図管理部は、定期的又は不定期的に全体確認モードにより撮像画像中のすべての物体を検出するとよい。
【００２１】
また、前記した移動装置においては、前記視認距離算出部で算出された視認距離の分布のうち、視認距離の変化率が基準値以上の場合に、警戒地帯であると判断し、前記移動制御部が移動手段に移動速度を下げる指示をするように構成するのが望ましい。
【００２２】
視認距離の分布のうち、変化率が大きい部分は、物体の陰になっている部分であり、変化率が大きい部分は、それだけ移動物体が隠れている可能性が高い。そこで、移動手段により移動速度を下げることで、安全性が確保される。なお、視認距離の分布の変化率が基準値以上かどうかは、例えば、視認距離算出部で算出した各画素の視認距離について、隣り合う画素の差分をとり、この差分が基準値以上かどうかで判定できる。
【００２３】
また、前記した移動装置においては、前記基準距離算出部で算出された基準距離の分布のうち、基準距離の変化率が基準値以上の場合に、警戒地帯であると判断し、前記移動制御部が移動手段に移動速度を下げる指示をするように構成するのが望ましい。
この移動装置の場合にも、前記した視認距離で警戒地帯を判断した場合と同様に、基準距離に基づいて警戒地帯と判断された場合に移動速度が下げられる。
【００２４】
さらに、前記した警戒地帯を検出する移動装置においては、警戒地帯であると判断した場合に、前記撮像装置の向きを変えるように構成するとよい。
このように構成することで、警戒地帯で撮像装置が周囲を見回すように撮像して、画像情報を取り入れるので、安全の確認をすることができる。
【００２５】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
［第１実施形態］
図１は、本発明の第１実施形態に係る移動装置の機能ブロック図である。
図１に示すように、第１実施形態に係る移動装置１は、カメラ（撮像装置）２で撮像された画像を物体検出装置１０で解析して、人等の主に移動物体を検出し、この検出した結果に基づいて移動手段制御部２０が、次の動作を決定し、移動手段３１に移動の指令をして、移動する装置である。移動装置１としては、ロボットや、自動車等があり得るが、ここでは、ロボットを例として取り上げて説明する。移動装置１は、地図データベース３５と、地図データベース３５の管理をする地図管理部３３とを有し、位置方位測定装置３により逐次測定された現在位置から、地図データベース３５が有する地図データを参照することで、物体検出の効率化、精度向上を図っている。なお、地図データベース３５が、特許請求の範囲にいう地図データ保持部に相当する。
【００２６】
カメラ２は、視差の情報を得るために右カメラ２ａ及び左カメラ２ｂの２つからなり、それぞれで撮像された画像が、物体検出装置１０に入力されている。カメラ２は、ロボットの左右の目に相当するものであり、互いに所定の間隔をあけて、およそ同じ方向を向いてロボットの頭部に設置されている。なお、本実施形態では、２つのカメラ２ａ，２ｂのうち、右カメラ２ａを基準カメラとする。
【００２７】
カメラ２は２台に限らず、３台以上のカメラを用いて視認距離を算出することとしてもよい。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて、撮像対象までの距離をより正確に測定することもできる。
【００２８】
位置方位測定装置３は、公知のジャイロセンサ、及びＧＰＳセンサ等を利用してカメラ２の位置及び方位を測定する装置である。
【００２９】
カメラ２が撮像した画像と、位置方位測定装置３が測定したカメラ２の位置及び方位とは、同時刻に撮影、測定したものをセットにして取り扱う必要がある。そのため、本実施形態では、図示しない制御装置により、カメラ２及び位置方位測定装置３を制御する制御装置を有しており、制御装置が発生する同期パルスに応じてカメラ２と位置方位測定装置３が撮像、測定を行い、撮像した画像と、測定したデータに同じフレームナンバーを付しておく。そして、画像とデータが物体検出装置１０に入力された時に、フレームナンバーに基づいて同期して、画像処理を行うように構成されている。
【００３０】
物体検出装置１０は、カメラ２が撮像した２枚の画像、及び位置方位測定装置３が測定したカメラ２の位置及び方位に基づいて、物体を検出する装置であり、視認距離算出部１１、基準距離算出部１２、画像処理範囲抽出部１３、及び物体検出部１５を含んで構成されている。
【００３１】
視認距離算出部１１は、同時刻に右カメラ２ａと左カメラ２ｂとで撮影された２枚のカメラ画像の視差を、カメラ２からカメラ２で撮像した撮像対象までの距離情報（より正確には、カメラ２の焦点位置から撮像対象までの距離の情報）として埋め込み、距離画像として生成するものである。
この視認距離算出部１１では、右カメラ２ａを基準カメラとして、この基準カメラ（右カメラ２ａ）で撮像された画像と、同時刻に左カメラ２ｂで撮像された画像とで、特定の大きさのブロック（例えば１６×１６画素）でブロックマッチングを行うことで、基準撮像画像からの視差を計測する。そして、その視差の大きさ（視差量）を基準撮像画像の各画素に対応付けた距離画像を生成する。
【００３２】
なお、視差をＺとしたとき、この視差Ｚに対応するカメラ２から物体までの距離Ｄは、カメラ２の焦点距離をｆ、右カメラ２ａと左カメラ２ｂとの距離をＢとすると、次の（１）式で求めることができる。
【００３３】
Ｄ＝Ｂ×ｆ／Ｚ …（１）
【００３４】
基準距離算出部１２は、位置方位測定装置３が測定したカメラ２の現在位置及び方位、地図データベース３５から読み込んだ地図データに基づいて、画像処理をするか、しないかの基準となる距離を画素ごと、又は水平位置ごとに決定する部分である。
【００３５】
ここで図を参照してより具体的に説明する。図２は、カメラが撮像した撮像画像の例であり、図３は、図２の画像における見取り図である。また、図４は、図２の画像の位置における地図データである。なお、基準距離算出部１２は、位置方位測定装置３から送信されたカメラ２の現在位置及び方位に基づいて、カメラ２の光軸を算出し、この視線から視野に入る範囲の地図のデータを地図データベース３５から取得する。図２及び図３に示す画像及び見取り図には、部屋の中に設置されたカウンター４１、机４２、書類棚４３が示されている。カウンター４１及び机４２の後ろ（カメラ２から遠い側）には、それぞれ人Ｍ１，Ｍ２が座っている。また、カウンター４１の後方には、柱４４が部屋の左壁から張り出している。カウンター４１の手前には、床の上に荷物Ｇが置かれ、荷物Ｇの右側には、人Ｍ３が立っている。
【００３６】
このような部屋の中で、通常、位置が変わることがない静止物体としては、カウンター４１、机４２、書類棚４３、柱４４があり、図３に示した地図データには、この４つの静止物体の平面視形状が登録されている。
本実施形態の移動装置では、静止物体の後ろにある物や、後ろにいる人は、通常、移動手段の前へ突然飛び出してくることはあり得ないことから、これらの後ろの部分を画像処理範囲から除外する。
【００３７】
図５は、移動装置１が図２の部屋を見たときの基準距離の決め方を示す見取り図である。図５に示すように、移動装置１が図における下から上の方を見ているとすると、カメラ２は、水平画角θ_Ｈの範囲（視野）を撮像する。
【００３８】
そして、例えば、水平方向の各画素に相当する視線ごとに、静止物の手前側境界線までの距離を算出する。一例として、視野の一番左からθ_１の視線ｌ_１の基準距離を求める場合には、カウンター４１の平面視における手前側の境界線ｎ_１との交点を計算し、カメラ２の現在位置及び方位から、その交点ｒまでの距離を基準距離とする。地図データのフォーマットの性質上、カウンター４１の後ろ側の境界線ｎ_２との交点も求められてしまう場合には、最も小さい距離を基準距離とすればよい。同様にして、各画素の水平位置に相当するすべての視線について基準距離が求められる。
【００３９】
この交点の求め方について、一例を説明する。地図データが、静止物の境界線をベクトルにより登録するフォーマットである場合、視線ベクトルと、境界線のベクトルの交点を求めることになる。
座標ｐ_０（ｘｒ_０，ｙｒ_０）と座標ｐ_１（ｘｒ_１，ｙｒ_１）を結ぶ線分と、座標ｑ_０（ｘｓ_０，ｙｓ_０）と座標ｑ_１（ｘｓ_１，ｙｓ_１）を結ぶ線分が交差する必要十分条件は、
｜ｑ_０−ｐ_０，ｐ_１−ｐ_０｜・｜ｑ_１−ｐ_０，ｐ_１−ｐ_０｜＜０
｜ｐ_０−ｑ_０，ｑ_１−ｑ_０｜・｜ｐ_１−ｑ_０，ｑ_１−ｑ_０｜＜０
の双方を満たすことである。なお、ここで、｜ａ，ｂ｜は、ベクトルａとベクトルｂの外積を示す。
この条件が成り立つとき、２つの線分の交点ｒの座標は、

で求めることができる。
【００４０】
また、図１に示すように、基準距離算出部１２は、上限距離設定部１２ａを有している。上限距離設定部１２ａは、基準距離が所定の上限値より大きい場合には、上限値に制限するように変換する手段である。この上限値は一定値である必要はなく、例えば、画像の中心付近は注意して見たい部分なので、大きい値とし、周辺付近は、小さくすることで、中心付近の物体は遠くまで認識するようにすることができる。また、周辺環境によって上限値に変えることもできる。例えば、建物の中を移動しているときは、上限値を全体的に小さい値、すなわち近くしか認識しないようにし、外を歩いているときは、上限値を大きくしてもよい。また、移動装置の移動速度が小さいときは上限値を小さくし、移動速度が大きいときは、上限値を大きくすると、安全性が確保できるので望ましい。
上限距離設定部１２ａによる処理を図で示すと、例えば、図５に示すように、基準距離が移動装置１から距離Ｌより大きい場合には、基準距離をＬに設定する場合等があげられる。
【００４１】
画像処理範囲抽出部１３は、視認距離と、基準距離に基づいて、撮像画像のうち、画像処理の対象とする範囲を決定する部分である。具体的には、視認距離算出部１１で求められた各画素の視認距離と、その画素に対応する基準距離とを比較して、視認距離が小さい画素は残し、視認距離が大きい画素は破棄するようにする。ここで、その画素に対応する基準距離とは、本実施の形態の場合、その画素の水平位置に対応する基準距離を意味する。これを図で示すと、図５に示す斜線の部分が破棄された画素になる。画素を破棄するとは、例えば、各画素に色の情報が割り当てられていた場合、色の情報を一定値、例えば、”０”として、黒にしてしまう等が考えられる。このようにして、基準距離より視認距離のほうが小さい画素のみを抽出した抽出画像は、例えば、図６のようになる。図６に示した斜線の範囲は、画素の情報が破棄された部分であり、例えば、画像上で真っ黒になっている。
【００４２】
さらに、画像処理範囲抽出部１３は、各画素の視認距離と基準距離とを比較する際に、視認距離が基準距離より所定値以上大きい画素数（これを「エラー画素数」という）をカウントする。この所定値は適宜に設定することができるが、例えば１ｍ〜５ｍである。本実施形態では、所定値を３ｍとする。そして、１枚の撮像画像における、エラー画素数が所定量以上、例えば、撮像画像全体の画素数に対して３０％以上であったときには、抽出画像を、画素を破棄する前の撮像画像に置き換える。このようにすることで、現在位置の認識や、地図にエラーが含まれていた場合に、撮像画像全体を画像処理対象として、一種のフェールセーフとなり、安全性を高めることができる。なお、このような判断の仕方の場合には、「エラー画素数」にカウントされる画素は、必ずしもエラーを含んだ画素ばかりではない。地図データに、壁、柱、机、棚等、静止物体の属性を持たせた場合には、壁や柱等、その静止物体の向こう側に何も見えないはずの物から決められた基準距離に対してのみ、このフェールセーフの判断を行うと、エラー画素数にカウントされる画素のうち、エラーを含む画素の割合が高くなるので、不要にフェールセーフ機能を働かせることなく、より効率的な画像処理が可能となる。この場合には、前記した基準としての３０％を、より低い値、例えば１０％等に設定変更しても良い。
【００４３】
本実施の形態では、２次元のデータからなる地図データを想定していたため、地図データ内の静止物は、結果的に上下方向に無限縁まで壁があるように、同じ位置として取り扱われたが、地図データがカウンター４１や書類棚４３の高さまで登録された３次元のフォーマットとして構成されている場合には、基準距離を画素ごとに設定し、画素ごとに視認距離と基準距離とを比較して、視認距離が小さい画素のみを抽出してもよい。このようにすることで、例えば、カウンター４１の奥にいる人Ｍ１を画像処理対象とすることもできる。
【００４４】
物体検出部１５は、対象となる画像から物体を検出する部分であり、公知の物体検出手段を利用することができる。
例えば、特開平８−３２９２５４号公報に記載されたような、画像内で物体の初期の曖昧な輪郭を輪郭モデルとして設定し、その輪郭モデルを所定の規則に従って収縮変形することで物体の輪郭を抽出する技術（動的輪郭モデル：ＳＮＡＫＥＳ）や、松岡，荒木，山澤，竹村，横矢，「移動カメラ画像からの移動物体輪郭の抽出・追跡とＤＳＰによる実時間処理」、社団法人電子情報通信学会、信学技報、ＰＲＭＵ９７−２３５、１９９８に記載されたような、時間的に連続する画像の輝度情報から移動カメラの動きを解析し、その動きを背景の動きであると仮定し、連続する画像の差分と背景の動きとに基づいて、移動物体の領域を検出し、輪郭を抽出する技術等、特に限定されることなく利用することができる。
【００４５】
物体検出部１５は、原則として前記した画像処理範囲抽出部１３が抽出した抽出画像について物体を検出する。例えば、図６のように、床、天井、左右の壁と、人Ｍ３、荷物Ｇのみが映っている画像について物体抽出の画像処理をする。そのため、画像処理の負担が小さい。
また、物体検出部１５は、定期的、例えば１００コマに一回や、不定期的、例えば移動装置１が所定距離移動するごとに一回等、カメラ２が撮影した全体から物体を検出する全体確認モードをも有している。この全体確認モードは、図１に示した波線矢印のように、右カメラ２ａが撮影した画像を画像処理範囲抽出部１３で画素を破棄することなく、物体検出部１５へ入力するように構成することで実現することができる。
【００４６】
移動手段制御部２０は、物体検出部１５が検出した物体の情報及び図示しないその他の情報に基づいて、移動装置１の次の動きを決定し、移動手段３１を動かす制御装置である。移動手段３１は、例えば、図示しないロボットの足のアクチュエータ等である。移動装置１が車両等の場合には、車輪、駆動系、エンジン、操舵機構等が移動手段３１に相当する。
【００４７】
地図管理部３３は、地図データベース３５を管理する部分である。すなわち、新たな静止物体を認識した時には、その静止物体を地図データベース３５上に、若しくは地図データベース３５と関連づけて登録し、あるいは登録されている静止物体が無くなった場合には、登録したデータを抹消する管理をする。
【００４８】
地図管理部３３は、一回認識された物体をメモリ上に仮登録しておき、その物体を一定回数以上同じ場所で検出した場合には、その物体を地図データ上に登録する。より具体的には、地図管理部３３は、物体検出部１５が検出した物体のデータが入力され、入力された物体に対し、その位置、形状等を特定し、既存の地図データ及び仮登録されている物体データとの照合をする。地図データ上の位置、形状等から同じものがあると認識された場合には、地図データを更新する必要は無いので、物体のデータを破棄し、仮登録された物体データと一致した場合には、検出回数をカウントする。地図データと仮登録された物体データのいずれとも一致しない場合には、初めて認識したものなので、物体を特定するＩＤをラベル付けした上で仮登録しておく。地図データ上に無い物体で、同じ位置で何度も認識された物体は、静止しているので、静止物体として、その位置と関連づけて地図データベース３５に登録する。この登録させるまでの認識回数は任意に設定でき、１０回でも５０回でもよい。本実施形態では、これを１０回とする。地図データベース３５への登録は、別のデータベース上へ登録するのでも構わない。なお、別のデータベース上に登録された場合でも、静止物体と位置の関連を有しており、本発明の特許請求の範囲にいう「地図データ」として基準距離算出部１２に参照される。
【００４９】
地図管理部３３は、さらに消失物更新部３３ａを有する。消失物更新部３３ａは、登録した静止物体が無くなった場合に地図データベース３５から抹消する部分である。具体的には、全体確認モードで撮像画像全体から物体を検出した場合に、その各物体について、地図データ内の物体と照合し、地図データ中の現在視野にある部分に登録されていながら、検出されなかった物体を抹消する。
【００５０】
以上のように構成された第１実施形態に係る移動装置１の動作について、図８から図１１を参照（適宜図１参照）しながら説明する。
図８は、通常モードでの処理を示すフローチャートである。
移動装置１は、まず、カメラ２と位置方位測定装置３を制御する制御装置（図示せず）により同期パルスを発生し（ステップＳ１）、位置方位測定装置３にカメラ２の現在位置及び方位を測定させる（ステップＳ２）と同時にカメラ２に撮像対象を撮像させる（ステップＳ３）。カメラ２で撮像した画像及び位置方位測定装置３で測定されたカメラ２の現在位置及び方位とは、それぞれ、フレームナンバーが付された上で物体検出装置１０に入力され、物体検出装置１０の図示しない入力部でフレームナンバーごとにセットにされることで同期される（ステップＳ４）。
【００５１】
カメラ２の現在位置及び方位が入力された基準距離算出部１２は、カメラ２の現在位置及び方位に基づいてカメラ２の光軸を算出し（ステップＳ５）、この光軸及びカメラ２の画角から想定される撮像画像の範囲の地図データを地図データベース３５から取得する（ステップＳ６）。
【００５２】
次に、撮像画像の画素ごとの水平位置に応じたカメラ視線と、静止物体の手前側の境界線との交点を求め、この交点からカメラ２までの距離を基準距離とする（ステップＳ７）。さらに、上限距離設定部１２ａにより、基準距離が距離Ｌより大きい場合には、基準距離をＬにする（ステップＳ７）。これにより、撮像画像の画素ごとの水平位置に応じた基準距離が設定される。
【００５３】
一方で、視認距離算出部１１は、右カメラ２ａと左カメラ２ｂの各画素の視差から、各画素について視認距離を算出する（ステップＳ８）。
【００５４】
次に、画像処理範囲抽出部１３において、画素ごとに基準距離と視認距離を比較する（ステップＳ９）。なお、このとき、ある画素の視認距離は、その画素の水平位置に対応する基準距離と比較をする。比較の結果、視認距離が基準距離より大きい場合には（ステップＳ１０，Ｎｏ）、画像情報を”０”にして破棄し（ステップＳ１１）、視認距離が基準距離より小さい場合には（ステップＳ１０，Ｙｅｓ）、画像情報をそのまま残す。
【００５５】
次に、画像処理範囲抽出部１３において、基準距離と視認距離を比較して、視認距離が基準距離より３ｍ以上大きいかどうか判断し、大きかった場合には（ステップＳ１２，Ｙｅｓ）、エラー画素数を１加えるようにカウントし、大きくなかった場合には（ステップＳ１２，Ｎｏ）、そのまま次の処理に進む。
【００５６】
そして、すべての画素についてステップＳ９〜Ｓ１１が終わっていなければこれらの処理を繰り返し（ステップＳ１４，Ｎｏ）、終わったならば（ステップＳ１４，Ｙｅｓ）、次の処理へ進む。
【００５７】
次に、画像処理範囲抽出部１３は、エラー画素数が、撮像画像全体の画素数の３０％以上かどうかを判断し、３０％以上だったときは（ステップＳ１５，Ｙｅｓ）、抽出画像を撮像画像で置き換え（ステップＳ１６）、３０％未満だったときは（ステップＳ１５，Ｎｏ）、そのまま次の処理へ進む。
【００５８】
次に、画像処理範囲抽出部１３により抽出された抽出画像を物体検出部１５が受信し、抽出画像内（画像処理範囲内）で物体を検出する（ステップＳ１７）。検出された物体の情報は、地図管理部３３において物体の登録処理に利用され（ステップＳ２０）、一方で、移動手段制御部２０に入力される。移動手段制御部２０では、物体検出部１５で検出された物体に基づいて、安全性や通行可能性を判断した上で次の動作を判断し（ステップＳ１８）、移動手段３１に移動の指示をする。移動手段３１は、この指示に基づき、移動装置１を移動させる（ステップＳ１９）。
【００５９】
また、前記したステップＳ２０の物体登録処理では、図９のような処理が行われる。
物体検出部１５で検出された物体は、各物体について、その位置、形状等を特定し、既存の地図データ及び仮登録されている物体データとの照合をして、初めて検出した物体かどうか確認する（ステップＳ２１）。地図データ上の位置、形状等から同じものが地図データ上にあると認識された場合には、地図データを更新する必要は無いので、物体のデータを破棄する。また、仮登録された物体データと一致した場合には、初めて検出した物体ではないので（ステップＳ２１，Ｎｏ）、検出回数をカウントする（ステップＳ２２）。地図データと仮登録された物体データのいずれとも一致しない場合には、初めて認識したものなので（ステップＳ２１，Ｙｅｓ）、物体を特定するＩＤをラベル付けした上で仮登録しておく（ステップＳ２３）。次に、その物体が１０回以上検出されたものかどうか判断し（ステップＳ２４）、１０回以上であれば（ステップＳ２４，Ｙｅｓ）、静止物体として地図データベース３５に、その物体の位置と関連づけて登録する（ステップＳ２５）。検出回数が１０回未満であった場合（ステップＳ２４，Ｎｏ）には、そのまま処理を終了する。
例えば、図７に示す地図データのように、荷物Ｇが１０回以上同じ位置で検出された場合には、荷物Ｇが地図データに登録される。
【００６０】
次に、本実施形態の全体確認モードでの動作を図１０を参照しながら説明する。なお、前記した通常モードと同じ処理については、第１実施形態と同じステップ符号を付して、適宜説明を省略する。
移動装置１は、制御装置により同期パルスを発生し（ステップＳ１）、位置方位測定装置３にカメラ２の現在位置及び方位を測定させる（ステップＳ２）と同時にカメラ２に撮像対象を撮像させる（ステップＳ３）。これらの画像と位置及び方位は、同期して物体検出装置１０へ入力される（ステップＳ４）。
【００６１】
物体検出装置１０では、画像処理範囲抽出部１３により画像処理範囲を制限されることなく、撮像画像を物体検出部１５へ入力し、物体検出部１５では、撮像画像に基づいて画像処理範囲内で物体の検出を行う（ステップＳ１７）。なお、ここでの画像処理範囲は撮像画像全体である。また、本実施形態においては、説明の容易のため、カメラ２ａが撮像した撮像画像のみから物体検出しているが、物体検出部１５の構成に応じ、適宜、視認距離算出部１１から出力される視認距離の画像等を利用してもよい。
【００６２】
次に、地図管理部３３において、物体の登録処理（ステップＳ２０）と、物体の抹消処理を行い（ステップＳ３０）、移動手段制御部２０が動作の判断をした上で（ステップＳ１８）、移動手段制御部２０が移動手段３１に移動の指示をして、移動装置１が移動する（ステップＳ１９）。
【００６３】
前記したステップＳ３０での物体の抹消処理は、図１１に示すように、まず、検出された物体群中に、地図データ中に登録されている物体があるかどうかを判断し（ステップＳ３１）、無かった場合には（ステップＳ３１，Ｎｏ）、登録された物体を抹消し（ステップＳ３２）、あった場合（ステップＳ３１，Ｙｅｓ）、特に抹消処理をしない。次に、視野の範囲内にある登録された物体について、照合・抹消処理が終了したか判断し（ステップＳ３３）、終了していない場合にはステップＳ３１，Ｓ３２を繰り返し（ステップＳ３３，Ｎｏ）、終了した場合には、物体抹消処理を終了する（ステップＳ３３，Ｙｅｓ）。
【００６４】
以上のようにして、本実施形態の移動装置１では、通常モードにおいて、画像処理範囲抽出部１３において、物体が突然飛び出してくる可能性の極めて低い範囲を物体抽出範囲から除外しているので、画像処理の負担が小さくなる。したがって、例えば、ステージ上でロボットである移動装置１が動く場合には、ステージ外を静止物体として地図上に登録しておくことで、ステージ上を円滑に移動することができるとともに、ステージ外のギャラリーが撮像装置で撮像された画像に入っても、ギャラリーを画像処理範囲から除外できれば、処理を速くすることができる。
また、本実施形態の移動装置１は、位置方位測定装置３でカメラ２の位置を確認しつつ、地図データ上の静止物体を確認した上で物体の認識をしているので、移動物体等の物体の認識を容易に行うことができる。
【００６５】
［第２実施形態］
次に、本発明の第２実施形態について説明する。第２実施形態は、移動装置が視認した視認距離から、警戒地帯を判断し、移動速度を下げるように構成された場合である。
図１２は、第２実施形態に係る移動装置１Ｂの機能ブロック図である。なお、本実施形態において、第１実施形態と同様の部分については、同じ符号を付して詳細な説明を省略する。
【００６６】
図１２に示すように、本実施形態の移動装置１Ｂでは、第１実施形態に対し、移動手段制御部２０において警戒判断部２０ａを有し、地図管理部３３において警戒地帯登録部３３ｂを有し、さらに報知手段３８を有する。
警戒判断部２０ａは、図示しないが、視認距離算出部１１から視認距離の画像を受け取り、移動装置１Ｂの前方の警戒の必要性の有無を判断する部分である。具体的には、視認距離の画像の隣り合う画素を比較した結果、視認距離の変化率が一定値以上の場合、つまり、視認距離の情報を比較し、視認距離の差分が所定のしきい値（基準値）以上であれば、人等の移動物体が物陰に隠れている可能性があると考え、警戒が必要と判断する。しかし、警戒が必要な場所が移動装置から遠い場合には、実際には安全なので、その警戒が必要と判断した位置（視認距離）が移動装置１Ｂから所定距離、例えば、本実施形態では２ｍよりも近い場合には、現在警戒地帯にいると判断する。なお、警戒の必要性の有無は、隣り合う数画素分について視認距離を比較し、視認距離の変化率が一定以上の場合には、警戒が必要であると判断するようにしてもよい。なお、警戒が必要であるか否かを判断する距離の２ｍは、これに限られず、任意であり、可変に設定することもできる。例えば、移動装置１Ｂが車両の場合には、車両が高速の場合には長く設定し、低速の場合には短く設定するとよい。
【００６７】
そして、警戒判断部２０ａにより、移動装置１Ｂが現在、警戒地帯にいると判断された場合には、移動手段３１に指令する移動速度を下げるように移動手段制御部２０がプログラムされている。また、移動手段制御部２０は、地図データベース３５に登録されている警戒地帯の情報を逐次参照し、移動装置１Ｂに安全に移動速度や移動方向を決定するように構成されている。
【００６８】
警戒地帯登録部３３ｂは、警戒判断部２０ａにより、移動装置１Ｂが現在警戒地帯にいると判断した場合に、地図データベース３５上に警戒地帯を示す情報を登録する部分である。
【００６９】
報知手段３８は、移動手段制御部２０により作動される手段であり、移動装置１Ｂが警戒判断部２０ａにいると判断された場合に、音声及び視覚的手段により周囲に移動装置１Ｂの存在を知らせる手段である。報知手段３８の具体例としては、「通ります」と発生したり、ブザーを鳴らしたり、回転灯を点灯させたりする手段がある。なお、音声又は視覚的手段のいずれか一方のみで報知してもよい。
【００７０】
以上のように構成された移動装置１Ｂの動作について説明する。図１３（ａ）は、移動物体１が廊下を進行しているときの見取り図であり、（ｂ）は、視線ベクトルの向きと視認距離の関係を示したグラフである。
図１３（ａ）に示すように、移動装置１Ｂは、水平方向にθ_Ｈの画角を有している。図において、ハッチングの部分は壁に仕切られた部屋を示し、移動装置１Ｂは、見通しの悪い廊下５１の交差点５０にさしかかっている。交差点５０に右から交差している通路５２には、人Ｍ４が交差点５０に向かってきている。
【００７１】
図１３（ｂ）に示すグラフは、移動装置１Ｂのカメラ２が撮像した画像の中心高さにおける画素列について、左の画素から順に視認距離をプロットしたものである。図をみて明らかなように、交差点５０の左手前側の壁Ｗ１を撮像した画素（視線ベクトル）から右の画素にいくにつれて、視認距離が長くなり、画素が壁Ｗ１から交差点左奥の壁Ｗ２を示すところで、視認距離が１．３ｍから２．８ｍへ急激に長くなっている。この距離の変化は、通路５２の幅を表しており、この幅が、移動物体の存在可能な大きさであるときには、移動装置とその移動物体が急に出会う可能性がある。
【００７２】
図１４は、警戒地帯の判断・登録処理を示すフローチャートであり、図１４を参照しながら、各処理を説明する。
警戒判断部２０ａは、画像の中心高さにおける画素の視認距離について、左から順に隣合う画素の視認距離を比較し、視認距離の差分を計算する（ステップＳ４１）。なお、ここでは説明を簡単にするため、画像の中心高さの１ラインのみで判断しているが、画像の全範囲にわたって隣り合う視認距離の差分を計算しても構わない。次に、この差分が、しきい値より大きいかどうかを判断する（ステップＳ４２）。ここでのしきい値は、例えば人が来るかどうかを判断する時は、１．４ｍ等と設定する。このしきい値は常に一定値であってもよいし、移動装置１Ｂがいる環境に応じ、可変としてもよい。例えば、移動装置１Ｂが車両の場合には、一般道路では４ｍ、高速道路では１５ｍ等と、場所に応じて変化させることもできる。
【００７３】
差分がしきい値よりも大きい場合には（ステップＳ４２，Ｙｅｓ）、視認距離が２ｍよりも大きいかどうか判断する（ステップＳ４３）。これは、警戒が必要な場所が２ｍよりも遠ければ、まだ警戒する必要がないからである。視認距離が２ｍよりも大きかった場合には（ステップＳ４３，Ｙｅｓ）、警戒判断部２０ａは、警戒地帯と判断して移動手段３１に指令する移動速度を低下させる（ステップＳ４４）。さらに、移動手段３１に移動装置１Ｂの頭を首振り制御させて、すなわちカメラ２の向きを変更させて、左右の状況を撮像し、安全の確認をする（ステップＳ４５）。また、音声と光で周囲に移動装置の存在を報知する（ステップＳ４６）。例えば、「通ります」と発話させたり、ブザーを鳴らしたり、回転灯を点灯したりする。そして、警戒地帯登録部３３ｂに、警戒地帯であることを通知し、警戒地帯登録部３３ｂが地図データベース３５内に現在位置が警戒地帯であるという情報を登録する（ステップＳ４７）。
【００７４】
一方、ステップＳ４２において、差分がしきい値よりも小さかった場合には（Ｎｏ）、すべての画素（視線）について差分の大きさの判断が済んだかどうかを判断し（ステップＳ４７）、終了していない場合には（ステップＳ４７，Ｎｏ）、ステップＳ４１から繰り返し、終了した場合には（ステップＳ４７，Ｙｅｓ）、処理を終了する。
【００７５】
以上のようにして、第２実施形態の移動装置１Ｂによれば、見通しの悪い場所に近づいたときに、警戒の必要性を察知して、移動速度を下げることで、移動装置１Ｂの安全を確保することができる。また、地図データベース３５上に警戒地帯の情報が登録されることで、次回同じ場所を通りかかった場合に、警戒地帯の情報を参照して、事前に安全確保の準備をすることが可能になる。
【００７６】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されず、適宜変更して実施することが可能である。例えば、第２実施形態においては、視認距離に基づいて警戒の必要性を判断したが、基準距離算出部１２が算出した基準距離から警戒の必要性を判断することもできる。すなわち、隣接する画素間で、基準距離の変化率が所定値以上の場合に警戒地帯であると判断することもできる。
【００７７】
【発明の効果】
以上詳述したとおり、静止物体が地図上に登録された静止物体より後ろにある対象物を撮影したと判断された画素を画像処理範囲から除外しているので、静止物体を移動物体として誤検出することが防止されるとともに、画像処理の負担が小さくなる。
【図面の簡単な説明】
【図１】本発明の第１実施形態にかかる移動装置の機能ブロック図である。
【図２】カメラが撮像した撮像画像の例である。
【図３】図２の画像における見取り図である。
【図４】図２の画像の位置における地図データである。
【図５】移動装置が図２の部屋を見たときの基準距離の決め方を示す見取り図である。
【図６】抽出画像を説明する図である。
【図７】物体登録後の地図データの例である。
【図８】通常モードでの処理を示すフローチャートである。
【図９】物体登録処理のフローチャートである。
【図１０】全体確認モードでの処理を示すフローチャートである。
【図１１】物体の抹消処理のフローチャートである。
【図１２】第２実施形態にかかる移動装置の機能ブロック図である。
【図１３】（ａ）は、移動物体が廊下を進行しているときの見取り図であり、（ｂ）は、視線ベクトルの向きと視認距離の関係を示したグラフである。
【図１４】警戒地帯の判断・登録処理のフローチャートである。
【符号の説明】
１移動装置
２カメラ
３位置方位測定装置
１１視認距離算出部
１２基準距離算出部
１２ａ上限距離設定部
１３画像処理範囲抽出部
１５物体検出部
２０移動手段制御部
２０ａ警戒判断部
３１移動手段
３３地図管理部
３３ａ消失物更新部
３３ｂ警戒地帯登録部
３５地図データベース

Claims

複数の撮像装置で撮像対象を撮影した複数の撮像画像に基づき、物体を認識して移動する移動装置であって、
前記撮像装置の現在位置及び方位を測定する位置方位測定装置と、
前記移動装置が移動する環境に存在する静止物体の少なくとも位置情報が登録された地図データを保持する地図データ保持部と、
前記複数の撮像画像の視差を求めることにより、前記撮像装置から撮像対象までの距離を視認距離として算出する視認距離算出部と、
前記位置方位測定手段で測定された現在位置及び方位と、前記地図データとに基づき、前記撮像装置から前記静止物体の手前側境界線までの距離を基準距離として求める基準距離算出部と、
前記撮像画像の各画素についての前記視認距離と、この各画素に対応する前記基準距離とを比較し、その比較結果に基づいて対象となる画素を抽出して抽出画像を生成する画像処理範囲抽出部と、
前記抽出画像から物体を検出する物体検出部と、
移動手段と、
前記物体検出部が検出した物体の情報に基づき、移動手段の動作を制御する移動手段制御部と
を備えたことを特徴とする移動装置。
前記画像処理範囲抽出部は、前記前記撮像画像の各画素についての前記視認距離と、この各画素に対応する前記基準距離とを比較し、視認距離の方が小さい画素のみを前記撮像画像から抽出して抽出画像を生成するよう構成されたことを特徴とする請求項１に記載の移動装置。
前記画像処理範囲抽出部は、前記前記撮像画像の各画素についての前記視認距離と、この各画素に対応する前記基準距離とを比較し、視認距離が基準距離に対して所定値以上大きい画素が所定量以上あった場合に、撮像画像全体を抽出画像として生成するように構成されたことを特徴とする請求項１又は請求項２に記載の移動装置。
前記基準距離算出部は、前記基準距離を所定の上限値以下にする上限距離設定部を有していることを特徴とする請求項１から請求項３のいずれか１項に記載の移動装置。
前記物体検出部が検出した物体をラベル付けして記憶し、この物体が所定回数以上同じ位置で検出された場合には、少なくともその位置情報とその物体との関連を地図データとして前記地図データ保持部に記憶させる地図管理部をさらに有することを特徴とする請求項１から請求項４のいずれか１項に記載の移動装置。
前記地図管理部は、前記地図データ中にある静止物体で、検出されなかった物体については、前記地図データ保持部から削除する消失物更新部を有することを特徴とする請求項５に記載の移動装置。
前記視認距離算出部で算出された視認距離の分布のうち、視認距離の変化率が基準値以上の場合に、警戒地帯であると判断し、前記移動制御部が移動手段に移動速度を下げる指示をするように構成されたことを特徴とする請求項１から請求項６のいずれか１項に記載の移動装置。
前記基準距離算出部で算出された基準距離の分布のうち、基準距離の変化率が基準値以上の場合に、警戒地帯であると判断し、前記移動制御部が移動手段に移動速度を下げる指示をするように構成されたことを特徴とする請求項１から請求項６のいずれか１項に記載の移動装置。
警戒地帯であると判断した場合に、前記撮像装置の向きを変えるように構成されたことを特徴とする請求項７又は請求項８に記載の移動装置。
警戒地帯であると判断した場合に、音声又は視覚的表示により周囲に報知するよう構成されたことを特徴とする請求項７又は請求項８に記載の移動装置。