JP2004171165A - 移動装置 - Google Patents
移動装置 Download PDFInfo
- Publication number
- JP2004171165A JP2004171165A JP2002334553A JP2002334553A JP2004171165A JP 2004171165 A JP2004171165 A JP 2004171165A JP 2002334553 A JP2002334553 A JP 2002334553A JP 2002334553 A JP2002334553 A JP 2002334553A JP 2004171165 A JP2004171165 A JP 2004171165A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- unit
- image
- mobile device
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims description 32
- 230000000007 visual effect Effects 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 23
- 238000005259 measurement Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 30
- 230000008569 process Effects 0.000 abstract description 27
- 238000012790 confirmation Methods 0.000 description 7
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ZRHANBBTXQZFSP-UHFFFAOYSA-M potassium;4-amino-3,5,6-trichloropyridine-2-carboxylate Chemical compound [K+].NC1=C(Cl)C(Cl)=NC(C([O-])=O)=C1Cl ZRHANBBTXQZFSP-UHFFFAOYSA-M 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】位置方位測定装置3で測定した移動装置1の現在位置・方位と、移動装置が移動する環境に存在する静止物体の少なくとも位置情報が登録されている地図データとに基づき、カメラ2が撮像している画像内での静止物体の位置を計算し、その静止物体の手前側の境界線までの距離を基準距離とする。一方、複数のカメラ2の画像から、視差を計算することで視認距離を計算し、画像処理範囲抽出部13で前記基準距離と視認距離を比較して、視認距離が小さい画素のみを抽出して抽出画像を生成する。抽出画像から物体検出部15で物体を検出し、移動手段制御部20及び移動手段31により移動装置1を移動させる。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、撮像装置によって撮像された画像から、周囲にある物体を認識し、移動するロボットや自動車等の移動装置に関する。
【0002】
【従来の技術】
従来、CCD等のカメラによって撮像された画像から、その画像上に存在する物体(障害物)を認識する画像処理装置が知られている。例えば、特許文献1は、ロボット等に適用可能な移動体検出装置であり、移動式の雲台に取り付けたカメラを水平に回転させて撮像した画像を蓄積し、この画像により差分処理を行って移動体を検出している。この方法は、撮影するカメラレンズの中心位置が一定した点になるようにカメラを回転させて撮影方向を変化させている。つまり、固定したカメラを回転させて撮像している。
【0003】
【特許文献1】
特開平9−91438号公報(第3頁)
【0004】
【発明が解決しようとする課題】
しかし、このような移動体検出装置では、一般に撮像された画像の全体に対し画像処理を行って移動体の認識をするため、画像処理の負担が大きいという問題がある。また、ロボットや、自動車等の移動する装置にこのような移動体検出装置を適用しても、移動体等の障害物の認識は容易ではない。すなわち、移動装置では、その移動装置に搭載されたカメラの位置が変わることから、移動装置と壁や柵等の静止物体(障害物)の距離も常に変化し、移動体のみを認識するのが困難である。
【0005】
これらの問題に鑑みて本発明がなされたもので、本発明は、画像処理の負担が小さく、移動をしても物体を認識しつつ移動することができる移動装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
前記した課題を解決するため、本発明は、複数の撮像装置で撮像対象を撮影した複数の撮像画像に基づき、物体を認識して移動する移動装置であって、前記撮像装置の現在位置及び方位を測定する位置方位測定装置と、前記移動装置が移動する環境に存在する静止物体の少なくとも位置情報が登録された地図データを保持する地図データ保持部と、前記複数の撮像画像の視差を求めることにより、前記撮像装置から撮像対象までの距離を視認距離として算出する視認距離算出部と、前記位置方位測定手段で測定された現在位置及び方位と、前記地図データとに基づき、前記撮像装置から前記静止物体の手前側境界線までの距離を基準距離として求める基準距離算出部と、前記撮像画像の各画素についての前記視認距離と、この各画素に対応する前記基準距離とを比較し、その比較結果に基づいて対象となる画素を抽出して抽出画像を生成する画像処理範囲抽出部と、前記抽出画像から物体を検出する物体検出部と、移動手段と、前記物体検出部が検出した物体の情報に基づき、移動手段の動作を制御する移動手段制御部とを備えたことを特徴とする。
【0007】
このような移動装置では、物体検出部により人や障害物等の物体が検出されながら、移動手段制御部がロボットの足や車輪等の移動手段を制御して、移動していく。このときに、複数のCCDカメラ等の撮像装置により撮影された画像が視認距離算出部に入力されて、撮像装置から撮像対象までの距離が視認距離として算出される。このときの撮像対象は、背景としての廊下や壁、机等の通常場所が変わることがない静止物体と、人や動物、一時的に置いてある荷物等の移動物体との両方が含まれる。
【0008】
一方で、位置方位測定装置は、撮像装置の現在位置と方位を測定している。基準距離算出部は、地図データと現在位置及び方位に基づいて、撮像装置から静止物体の手前側、すなわち移動装置側の境界線までの距離を算出する。そして、各画素の視認距離と対応する基準距離との比較結果に基づいて、画像処理の対象となる画素を抽出して抽出画像を生成する。
【0009】
この抽出画像は、静止物体の手前側にあるものだけの情報を有し、物体検出部は必要最小限の物体に対してだけ、詳細な画像処理をすればよいので、画像処理の計算負担が小さくなる。また、この移動装置では、位置方位測定装置で撮像装置の現在位置と方位を確認しながら地図データを参照し、画像処理を行っているので静止物体の認識を無駄なく正確に行うことができる。
【0010】
前記した移動装置においては、前記画像処理範囲抽出部は、前記前記撮像画像の各画素についての前記視認距離と、この各画素に対応する前記基準距離とを比較し、視認距離の方が小さい画素のみを前記撮像画像から抽出して抽出画像を生成するよう構成することができる。
【0011】
基準距離より遠い物体については、静止物体の陰や後ろにあるということになるので、移動装置の前に突然飛び出してくる可能性は低いと考えられる。そのため、この距離を基準距離として、基準距離より遠い物体については詳細な画像処理をしないように、画像処理の対象範囲を絞り込むことができる。すなわち、画像処理範囲抽出部は、撮像装置により撮影した画像について、各画素に対応する視認距離と、基準距離とを比較して、視認距離の方が小さい画素のみを抽出する。
【0012】
また、前記した移動装置においては、前記画像処理範囲抽出部は、前記前記撮像画像の各画素についての前記視認距離と、この各画素に対応する前記基準距離とを比較し、視認距離が基準距離に対して所定値以上大きい画素が所定量以上あった場合に、撮像画像全体を抽出画像として生成するように構成するのが望ましい。
【0013】
移動装置は、基本的に位置方位測定装置により現在位置を確認しながら、移動するが、地図データの未更新や、位置、方位の測定誤差など、何らかのエラーが発生した場合にも、フェールセーフ機能が働いて移動装置が安全に移動できるのが望ましい。そのため、このように視認距離が基準距離に対して所定値以上大きい画素が所定量以上あった場合には、何らかのエラーが含まれている可能性も考慮して、撮像画像全体を抽出画像として生成するのが良い。このようにすることで、移動装置の安全性をより高めることができる。なお、この場合の所定値は、例えば1m〜5mで、所定量は、例えば、撮像した画像の30%等であり、これらは、位置方位測定装置等の精度により適宜決定することができる。
なお、地図データが、壁、柱、机、棚等、静止物体の属性を有している場合には、壁や柱等、その静止物体の向こう側に何も見えないはずの物から決められた基準距離に対してのみ、このフェールセーフの判断を行うと、不要にフェールセーフ機能を働かせることなく、効率的な画像処理が可能となる。
【0014】
また、前記した移動装置においては、前記基準距離算出部は、前記基準距離を所定の上限値以下にする上限距離設定部を有するように構成してもよい。
このような移動装置では、基準距離が所定の値以下に設定され、所定の距離より遠い物体に相当する画素については、画像処理範囲から除外される。従って、画像処理の負担が小さくなる。
なお、所定の上限値は、一定の値である必要はなく、条件に応じ変化する値でもよいという意味である。例えば画像の中心付近は大きく(遠く)、周辺は小さく(近く)設定したり、明るさ等の外部環境によって、変化させたりしても構わない。
【0015】
また、前記した移動装置においては、前記物体検出部が検出した物体をラベル付けして記憶し、この物体が所定回数以上同じ位置で検出された場合には、その位置とその物体との関連を有する地図データとして前記地図データ保持部に記憶させる地図管理部をさらに有するように構成するのが望ましい。
【0016】
このような移動装置によれば、検出された物体が複数回同じ場所で検出された場合に、静止物体であると判断し、その物体を地図データとして地図データ保持部に記憶し、以後、画像処理範囲から除外する。
【0017】
なお、地図データとして記憶されるとは、位置と、物体の情報(例えば形状、大きさ等)が関連付けされて記憶されれば十分であるが、物体の属性(例えば人間等の移動物体、壁、机、荷物等の静止物体等)についても関連づけて記憶されるとより好都合である。地図データが記憶される領域は、前記した静止物体が登録された地図データのファイル内でもよいし、この地図データとは別のファイルであっても構わない。いずれにしても、物体が新たに登録された地図データは、基準処理算出部等により参照される。
【0018】
さらに、前記した移動装置においては、前記地図データ中にある静止物体で、検出されなかった物体については、前記地図データ保持部から削除する消失物更新部を有するように構成するのが望ましい。
【0019】
このような移動装置によれば、静止物体が無くなった場合に、逐次地図データが更新され、移動装置が確実に障害物等を検出することができ、安全を確保することができる。
【0020】
なお、本発明の移動装置では、静止物体がある場所は、通常モードでは物体の検出から除外されることから、適宜画像全体に対し物体の検出を定期的又は不定期的に行うとよい。すなわち、移動装置が前記画像処理範囲抽出部による画像の抽出をすることなく、前記撮像画像から前記物体検出部により直接物体の検出を行う全体確認モードを有し、前記地図管理部は、定期的又は不定期的に全体確認モードにより撮像画像中のすべての物体を検出するとよい。
【0021】
また、前記した移動装置においては、前記視認距離算出部で算出された視認距離の分布のうち、視認距離の変化率が基準値以上の場合に、警戒地帯であると判断し、前記移動制御部が移動手段に移動速度を下げる指示をするように構成するのが望ましい。
【0022】
視認距離の分布のうち、変化率が大きい部分は、物体の陰になっている部分であり、変化率が大きい部分は、それだけ移動物体が隠れている可能性が高い。そこで、移動手段により移動速度を下げることで、安全性が確保される。なお、視認距離の分布の変化率が基準値以上かどうかは、例えば、視認距離算出部で算出した各画素の視認距離について、隣り合う画素の差分をとり、この差分が基準値以上かどうかで判定できる。
【0023】
また、前記した移動装置においては、前記基準距離算出部で算出された基準距離の分布のうち、基準距離の変化率が基準値以上の場合に、警戒地帯であると判断し、前記移動制御部が移動手段に移動速度を下げる指示をするように構成するのが望ましい。
この移動装置の場合にも、前記した視認距離で警戒地帯を判断した場合と同様に、基準距離に基づいて警戒地帯と判断された場合に移動速度が下げられる。
【0024】
さらに、前記した警戒地帯を検出する移動装置においては、警戒地帯であると判断した場合に、前記撮像装置の向きを変えるように構成するとよい。
このように構成することで、警戒地帯で撮像装置が周囲を見回すように撮像して、画像情報を取り入れるので、安全の確認をすることができる。
【0025】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
[第1実施形態]
図1は、本発明の第1実施形態に係る移動装置の機能ブロック図である。
図1に示すように、第1実施形態に係る移動装置1は、カメラ(撮像装置)2で撮像された画像を物体検出装置10で解析して、人等の主に移動物体を検出し、この検出した結果に基づいて移動手段制御部20が、次の動作を決定し、移動手段31に移動の指令をして、移動する装置である。移動装置1としては、ロボットや、自動車等があり得るが、ここでは、ロボットを例として取り上げて説明する。移動装置1は、地図データベース35と、地図データベース35の管理をする地図管理部33とを有し、位置方位測定装置3により逐次測定された現在位置から、地図データベース35が有する地図データを参照することで、物体検出の効率化、精度向上を図っている。なお、地図データベース35が、特許請求の範囲にいう地図データ保持部に相当する。
【0026】
カメラ2は、視差の情報を得るために右カメラ2a及び左カメラ2bの2つからなり、それぞれで撮像された画像が、物体検出装置10に入力されている。カメラ2は、ロボットの左右の目に相当するものであり、互いに所定の間隔をあけて、およそ同じ方向を向いてロボットの頭部に設置されている。なお、本実施形態では、2つのカメラ2a,2bのうち、右カメラ2aを基準カメラとする。
【0027】
カメラ2は2台に限らず、3台以上のカメラを用いて視認距離を算出することとしてもよい。例えば、3行3列に配置した9台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて、撮像対象までの距離をより正確に測定することもできる。
【0028】
位置方位測定装置3は、公知のジャイロセンサ、及びGPSセンサ等を利用してカメラ2の位置及び方位を測定する装置である。
【0029】
カメラ2が撮像した画像と、位置方位測定装置3が測定したカメラ2の位置及び方位とは、同時刻に撮影、測定したものをセットにして取り扱う必要がある。そのため、本実施形態では、図示しない制御装置により、カメラ2及び位置方位測定装置3を制御する制御装置を有しており、制御装置が発生する同期パルスに応じてカメラ2と位置方位測定装置3が撮像、測定を行い、撮像した画像と、測定したデータに同じフレームナンバーを付しておく。そして、画像とデータが物体検出装置10に入力された時に、フレームナンバーに基づいて同期して、画像処理を行うように構成されている。
【0030】
物体検出装置10は、カメラ2が撮像した2枚の画像、及び位置方位測定装置3が測定したカメラ2の位置及び方位に基づいて、物体を検出する装置であり、視認距離算出部11、基準距離算出部12、画像処理範囲抽出部13、及び物体検出部15を含んで構成されている。
【0031】
視認距離算出部11は、同時刻に右カメラ2aと左カメラ2bとで撮影された2枚のカメラ画像の視差を、カメラ2からカメラ2で撮像した撮像対象までの距離情報(より正確には、カメラ2の焦点位置から撮像対象までの距離の情報)として埋め込み、距離画像として生成するものである。
この視認距離算出部11では、右カメラ2aを基準カメラとして、この基準カメラ(右カメラ2a)で撮像された画像と、同時刻に左カメラ2bで撮像された画像とで、特定の大きさのブロック(例えば16×16画素)でブロックマッチングを行うことで、基準撮像画像からの視差を計測する。そして、その視差の大きさ(視差量)を基準撮像画像の各画素に対応付けた距離画像を生成する。
【0032】
なお、視差をZとしたとき、この視差Zに対応するカメラ2から物体までの距離Dは、カメラ2の焦点距離をf、右カメラ2aと左カメラ2bとの距離をBとすると、次の(1)式で求めることができる。
【0033】
D=B×f/Z …(1)
【0034】
基準距離算出部12は、位置方位測定装置3が測定したカメラ2の現在位置及び方位、地図データベース35から読み込んだ地図データに基づいて、画像処理をするか、しないかの基準となる距離を画素ごと、又は水平位置ごとに決定する部分である。
【0035】
ここで図を参照してより具体的に説明する。図2は、カメラが撮像した撮像画像の例であり、図3は、図2の画像における見取り図である。また、図4は、図2の画像の位置における地図データである。なお、基準距離算出部12は、位置方位測定装置3から送信されたカメラ2の現在位置及び方位に基づいて、カメラ2の光軸を算出し、この視線から視野に入る範囲の地図のデータを地図データベース35から取得する。図2及び図3に示す画像及び見取り図には、部屋の中に設置されたカウンター41、机42、書類棚43が示されている。カウンター41及び机42の後ろ(カメラ2から遠い側)には、それぞれ人M1,M2が座っている。また、カウンター41の後方には、柱44が部屋の左壁から張り出している。カウンター41の手前には、床の上に荷物Gが置かれ、荷物Gの右側には、人M3が立っている。
【0036】
このような部屋の中で、通常、位置が変わることがない静止物体としては、カウンター41、机42、書類棚43、柱44があり、図3に示した地図データには、この4つの静止物体の平面視形状が登録されている。
本実施形態の移動装置では、静止物体の後ろにある物や、後ろにいる人は、通常、移動手段の前へ突然飛び出してくることはあり得ないことから、これらの後ろの部分を画像処理範囲から除外する。
【0037】
図5は、移動装置1が図2の部屋を見たときの基準距離の決め方を示す見取り図である。図5に示すように、移動装置1が図における下から上の方を見ているとすると、カメラ2は、水平画角θHの範囲(視野)を撮像する。
【0038】
そして、例えば、水平方向の各画素に相当する視線ごとに、静止物の手前側境界線までの距離を算出する。一例として、視野の一番左からθ1の視線l1の基準距離を求める場合には、カウンター41の平面視における手前側の境界線n1との交点を計算し、カメラ2の現在位置及び方位から、その交点rまでの距離を基準距離とする。地図データのフォーマットの性質上、カウンター41の後ろ側の境界線n2との交点も求められてしまう場合には、最も小さい距離を基準距離とすればよい。同様にして、各画素の水平位置に相当するすべての視線について基準距離が求められる。
【0039】
この交点の求め方について、一例を説明する。地図データが、静止物の境界線をベクトルにより登録するフォーマットである場合、視線ベクトルと、境界線のベクトルの交点を求めることになる。
座標p0(xr0,yr0)と座標p1(xr1,yr1)を結ぶ線分と、座標q0(xs0,ys0)と座標q1(xs1,ys1)を結ぶ線分が交差する必要十分条件は、
|q0−p0,p1−p0|・|q1−p0,p1−p0|<0
|p0−q0,q1−q0|・|p1−q0,q1−q0|<0
の双方を満たすことである。なお、ここで、|a,b|は、ベクトルaとベクトルbの外積を示す。
この条件が成り立つとき、2つの線分の交点rの座標は、
で求めることができる。
【0040】
また、図1に示すように、基準距離算出部12は、上限距離設定部12aを有している。上限距離設定部12aは、基準距離が所定の上限値より大きい場合には、上限値に制限するように変換する手段である。この上限値は一定値である必要はなく、例えば、画像の中心付近は注意して見たい部分なので、大きい値とし、周辺付近は、小さくすることで、中心付近の物体は遠くまで認識するようにすることができる。また、周辺環境によって上限値に変えることもできる。例えば、建物の中を移動しているときは、上限値を全体的に小さい値、すなわち近くしか認識しないようにし、外を歩いているときは、上限値を大きくしてもよい。また、移動装置の移動速度が小さいときは上限値を小さくし、移動速度が大きいときは、上限値を大きくすると、安全性が確保できるので望ましい。
上限距離設定部12aによる処理を図で示すと、例えば、図5に示すように、基準距離が移動装置1から距離Lより大きい場合には、基準距離をLに設定する場合等があげられる。
【0041】
画像処理範囲抽出部13は、視認距離と、基準距離に基づいて、撮像画像のうち、画像処理の対象とする範囲を決定する部分である。具体的には、視認距離算出部11で求められた各画素の視認距離と、その画素に対応する基準距離とを比較して、視認距離が小さい画素は残し、視認距離が大きい画素は破棄するようにする。ここで、その画素に対応する基準距離とは、本実施の形態の場合、その画素の水平位置に対応する基準距離を意味する。これを図で示すと、図5に示す斜線の部分が破棄された画素になる。画素を破棄するとは、例えば、各画素に色の情報が割り当てられていた場合、色の情報を一定値、例えば、”0”として、黒にしてしまう等が考えられる。このようにして、基準距離より視認距離のほうが小さい画素のみを抽出した抽出画像は、例えば、図6のようになる。図6に示した斜線の範囲は、画素の情報が破棄された部分であり、例えば、画像上で真っ黒になっている。
【0042】
さらに、画像処理範囲抽出部13は、各画素の視認距離と基準距離とを比較する際に、視認距離が基準距離より所定値以上大きい画素数(これを「エラー画素数」という)をカウントする。この所定値は適宜に設定することができるが、例えば1m〜5mである。本実施形態では、所定値を3mとする。そして、1枚の撮像画像における、エラー画素数が所定量以上、例えば、撮像画像全体の画素数に対して30%以上であったときには、抽出画像を、画素を破棄する前の撮像画像に置き換える。このようにすることで、現在位置の認識や、地図にエラーが含まれていた場合に、撮像画像全体を画像処理対象として、一種のフェールセーフとなり、安全性を高めることができる。なお、このような判断の仕方の場合には、「エラー画素数」にカウントされる画素は、必ずしもエラーを含んだ画素ばかりではない。地図データに、壁、柱、机、棚等、静止物体の属性を持たせた場合には、壁や柱等、その静止物体の向こう側に何も見えないはずの物から決められた基準距離に対してのみ、このフェールセーフの判断を行うと、エラー画素数にカウントされる画素のうち、エラーを含む画素の割合が高くなるので、不要にフェールセーフ機能を働かせることなく、より効率的な画像処理が可能となる。この場合には、前記した基準としての30%を、より低い値、例えば10%等に設定変更しても良い。
【0043】
本実施の形態では、2次元のデータからなる地図データを想定していたため、地図データ内の静止物は、結果的に上下方向に無限縁まで壁があるように、同じ位置として取り扱われたが、地図データがカウンター41や書類棚43の高さまで登録された3次元のフォーマットとして構成されている場合には、基準距離を画素ごとに設定し、画素ごとに視認距離と基準距離とを比較して、視認距離が小さい画素のみを抽出してもよい。このようにすることで、例えば、カウンター41の奥にいる人M1を画像処理対象とすることもできる。
【0044】
物体検出部15は、対象となる画像から物体を検出する部分であり、公知の物体検出手段を利用することができる。
例えば、特開平8−329254号公報に記載されたような、画像内で物体の初期の曖昧な輪郭を輪郭モデルとして設定し、その輪郭モデルを所定の規則に従って収縮変形することで物体の輪郭を抽出する技術(動的輪郭モデル:SNAKES)や、松岡,荒木,山澤,竹村,横矢,「移動カメラ画像からの移動物体輪郭の抽出・追跡とDSPによる実時間処理」、社団法人 電子情報通信学会、信学技報、PRMU97−235、1998に記載されたような、時間的に連続する画像の輝度情報から移動カメラの動きを解析し、その動きを背景の動きであると仮定し、連続する画像の差分と背景の動きとに基づいて、移動物体の領域を検出し、輪郭を抽出する技術等、特に限定されることなく利用することができる。
【0045】
物体検出部15は、原則として前記した画像処理範囲抽出部13が抽出した抽出画像について物体を検出する。例えば、図6のように、床、天井、左右の壁と、人M3、荷物Gのみが映っている画像について物体抽出の画像処理をする。そのため、画像処理の負担が小さい。
また、物体検出部15は、定期的、例えば100コマに一回や、不定期的、例えば移動装置1が所定距離移動するごとに一回等、カメラ2が撮影した全体から物体を検出する全体確認モードをも有している。この全体確認モードは、図1に示した波線矢印のように、右カメラ2aが撮影した画像を画像処理範囲抽出部13で画素を破棄することなく、物体検出部15へ入力するように構成することで実現することができる。
【0046】
移動手段制御部20は、物体検出部15が検出した物体の情報及び図示しないその他の情報に基づいて、移動装置1の次の動きを決定し、移動手段31を動かす制御装置である。移動手段31は、例えば、図示しないロボットの足のアクチュエータ等である。移動装置1が車両等の場合には、車輪、駆動系、エンジン、操舵機構等が移動手段31に相当する。
【0047】
地図管理部33は、地図データベース35を管理する部分である。すなわち、新たな静止物体を認識した時には、その静止物体を地図データベース35上に、若しくは地図データベース35と関連づけて登録し、あるいは登録されている静止物体が無くなった場合には、登録したデータを抹消する管理をする。
【0048】
地図管理部33は、一回認識された物体をメモリ上に仮登録しておき、その物体を一定回数以上同じ場所で検出した場合には、その物体を地図データ上に登録する。より具体的には、地図管理部33は、物体検出部15が検出した物体のデータが入力され、入力された物体に対し、その位置、形状等を特定し、既存の地図データ及び仮登録されている物体データとの照合をする。地図データ上の位置、形状等から同じものがあると認識された場合には、地図データを更新する必要は無いので、物体のデータを破棄し、仮登録された物体データと一致した場合には、検出回数をカウントする。地図データと仮登録された物体データのいずれとも一致しない場合には、初めて認識したものなので、物体を特定するIDをラベル付けした上で仮登録しておく。地図データ上に無い物体で、同じ位置で何度も認識された物体は、静止しているので、静止物体として、その位置と関連づけて地図データベース35に登録する。この登録させるまでの認識回数は任意に設定でき、10回でも50回でもよい。本実施形態では、これを10回とする。地図データベース35への登録は、別のデータベース上へ登録するのでも構わない。なお、別のデータベース上に登録された場合でも、静止物体と位置の関連を有しており、本発明の特許請求の範囲にいう「地図データ」として基準距離算出部12に参照される。
【0049】
地図管理部33は、さらに消失物更新部33aを有する。消失物更新部33aは、登録した静止物体が無くなった場合に地図データベース35から抹消する部分である。具体的には、全体確認モードで撮像画像全体から物体を検出した場合に、その各物体について、地図データ内の物体と照合し、地図データ中の現在視野にある部分に登録されていながら、検出されなかった物体を抹消する。
【0050】
以上のように構成された第1実施形態に係る移動装置1の動作について、図8から図11を参照(適宜図1参照)しながら説明する。
図8は、通常モードでの処理を示すフローチャートである。
移動装置1は、まず、カメラ2と位置方位測定装置3を制御する制御装置(図示せず)により同期パルスを発生し(ステップS1)、位置方位測定装置3にカメラ2の現在位置及び方位を測定させる(ステップS2)と同時にカメラ2に撮像対象を撮像させる(ステップS3)。カメラ2で撮像した画像及び位置方位測定装置3で測定されたカメラ2の現在位置及び方位とは、それぞれ、フレームナンバーが付された上で物体検出装置10に入力され、物体検出装置10の図示しない入力部でフレームナンバーごとにセットにされることで同期される(ステップS4)。
【0051】
カメラ2の現在位置及び方位が入力された基準距離算出部12は、カメラ2の現在位置及び方位に基づいてカメラ2の光軸を算出し(ステップS5)、この光軸及びカメラ2の画角から想定される撮像画像の範囲の地図データを地図データベース35から取得する(ステップS6)。
【0052】
次に、撮像画像の画素ごとの水平位置に応じたカメラ視線と、静止物体の手前側の境界線との交点を求め、この交点からカメラ2までの距離を基準距離とする(ステップS7)。さらに、上限距離設定部12aにより、基準距離が距離Lより大きい場合には、基準距離をLにする(ステップS7)。これにより、撮像画像の画素ごとの水平位置に応じた基準距離が設定される。
【0053】
一方で、視認距離算出部11は、右カメラ2aと左カメラ2bの各画素の視差から、各画素について視認距離を算出する(ステップS8)。
【0054】
次に、画像処理範囲抽出部13において、画素ごとに基準距離と視認距離を比較する(ステップS9)。なお、このとき、ある画素の視認距離は、その画素の水平位置に対応する基準距離と比較をする。比較の結果、視認距離が基準距離より大きい場合には(ステップS10,No)、画像情報を”0”にして破棄し(ステップS11)、視認距離が基準距離より小さい場合には(ステップS10,Yes)、画像情報をそのまま残す。
【0055】
次に、画像処理範囲抽出部13において、基準距離と視認距離を比較して、視認距離が基準距離より3m以上大きいかどうか判断し、大きかった場合には(ステップS12,Yes)、エラー画素数を1加えるようにカウントし、大きくなかった場合には(ステップS12,No)、そのまま次の処理に進む。
【0056】
そして、すべての画素についてステップS9〜S11が終わっていなければこれらの処理を繰り返し(ステップS14,No)、終わったならば(ステップS14,Yes)、次の処理へ進む。
【0057】
次に、画像処理範囲抽出部13は、エラー画素数が、撮像画像全体の画素数の30%以上かどうかを判断し、30%以上だったときは(ステップS15,Yes)、抽出画像を撮像画像で置き換え(ステップS16)、30%未満だったときは(ステップS15,No)、そのまま次の処理へ進む。
【0058】
次に、画像処理範囲抽出部13により抽出された抽出画像を物体検出部15が受信し、抽出画像内(画像処理範囲内)で物体を検出する(ステップS17)。検出された物体の情報は、地図管理部33において物体の登録処理に利用され(ステップS20)、一方で、移動手段制御部20に入力される。移動手段制御部20では、物体検出部15で検出された物体に基づいて、安全性や通行可能性を判断した上で次の動作を判断し(ステップS18)、移動手段31に移動の指示をする。移動手段31は、この指示に基づき、移動装置1を移動させる(ステップS19)。
【0059】
また、前記したステップS20の物体登録処理では、図9のような処理が行われる。
物体検出部15で検出された物体は、各物体について、その位置、形状等を特定し、既存の地図データ及び仮登録されている物体データとの照合をして、初めて検出した物体かどうか確認する(ステップS21)。地図データ上の位置、形状等から同じものが地図データ上にあると認識された場合には、地図データを更新する必要は無いので、物体のデータを破棄する。また、仮登録された物体データと一致した場合には、初めて検出した物体ではないので(ステップS21,No)、検出回数をカウントする(ステップS22)。地図データと仮登録された物体データのいずれとも一致しない場合には、初めて認識したものなので(ステップS21,Yes)、物体を特定するIDをラベル付けした上で仮登録しておく(ステップS23)。次に、その物体が10回以上検出されたものかどうか判断し(ステップS24)、10回以上であれば(ステップS24,Yes)、静止物体として地図データベース35に、その物体の位置と関連づけて登録する(ステップS25)。検出回数が10回未満であった場合(ステップS24,No)には、そのまま処理を終了する。
例えば、図7に示す地図データのように、荷物Gが10回以上同じ位置で検出された場合には、荷物Gが地図データに登録される。
【0060】
次に、本実施形態の全体確認モードでの動作を図10を参照しながら説明する。なお、前記した通常モードと同じ処理については、第1実施形態と同じステップ符号を付して、適宜説明を省略する。
移動装置1は、制御装置により同期パルスを発生し(ステップS1)、位置方位測定装置3にカメラ2の現在位置及び方位を測定させる(ステップS2)と同時にカメラ2に撮像対象を撮像させる(ステップS3)。これらの画像と位置及び方位は、同期して物体検出装置10へ入力される(ステップS4)。
【0061】
物体検出装置10では、画像処理範囲抽出部13により画像処理範囲を制限されることなく、撮像画像を物体検出部15へ入力し、物体検出部15では、撮像画像に基づいて画像処理範囲内で物体の検出を行う(ステップS17)。なお、ここでの画像処理範囲は撮像画像全体である。また、本実施形態においては、説明の容易のため、カメラ2aが撮像した撮像画像のみから物体検出しているが、物体検出部15の構成に応じ、適宜、視認距離算出部11から出力される視認距離の画像等を利用してもよい。
【0062】
次に、地図管理部33において、物体の登録処理(ステップS20)と、物体の抹消処理を行い(ステップS30)、移動手段制御部20が動作の判断をした上で(ステップS18)、移動手段制御部20が移動手段31に移動の指示をして、移動装置1が移動する(ステップS19)。
【0063】
前記したステップS30での物体の抹消処理は、図11に示すように、まず、検出された物体群中に、地図データ中に登録されている物体があるかどうかを判断し(ステップS31)、無かった場合には(ステップS31,No)、登録された物体を抹消し(ステップS32)、あった場合(ステップS31,Yes)、特に抹消処理をしない。次に、視野の範囲内にある登録された物体について、照合・抹消処理が終了したか判断し(ステップS33)、終了していない場合にはステップS31,S32を繰り返し(ステップS33,No)、終了した場合には、物体抹消処理を終了する(ステップS33,Yes)。
【0064】
以上のようにして、本実施形態の移動装置1では、通常モードにおいて、画像処理範囲抽出部13において、物体が突然飛び出してくる可能性の極めて低い範囲を物体抽出範囲から除外しているので、画像処理の負担が小さくなる。したがって、例えば、ステージ上でロボットである移動装置1が動く場合には、ステージ外を静止物体として地図上に登録しておくことで、ステージ上を円滑に移動することができるとともに、ステージ外のギャラリーが撮像装置で撮像された画像に入っても、ギャラリーを画像処理範囲から除外できれば、処理を速くすることができる。
また、本実施形態の移動装置1は、位置方位測定装置3でカメラ2の位置を確認しつつ、地図データ上の静止物体を確認した上で物体の認識をしているので、移動物体等の物体の認識を容易に行うことができる。
【0065】
[第2実施形態]
次に、本発明の第2実施形態について説明する。第2実施形態は、移動装置が視認した視認距離から、警戒地帯を判断し、移動速度を下げるように構成された場合である。
図12は、第2実施形態に係る移動装置1Bの機能ブロック図である。なお、本実施形態において、第1実施形態と同様の部分については、同じ符号を付して詳細な説明を省略する。
【0066】
図12に示すように、本実施形態の移動装置1Bでは、第1実施形態に対し、移動手段制御部20において警戒判断部20aを有し、地図管理部33において警戒地帯登録部33bを有し、さらに報知手段38を有する。
警戒判断部20aは、図示しないが、視認距離算出部11から視認距離の画像を受け取り、移動装置1Bの前方の警戒の必要性の有無を判断する部分である。具体的には、視認距離の画像の隣り合う画素を比較した結果、視認距離の変化率が一定値以上の場合、つまり、視認距離の情報を比較し、視認距離の差分が所定のしきい値(基準値)以上であれば、人等の移動物体が物陰に隠れている可能性があると考え、警戒が必要と判断する。しかし、警戒が必要な場所が移動装置から遠い場合には、実際には安全なので、その警戒が必要と判断した位置(視認距離)が移動装置1Bから所定距離、例えば、本実施形態では2mよりも近い場合には、現在警戒地帯にいると判断する。なお、警戒の必要性の有無は、隣り合う数画素分について視認距離を比較し、視認距離の変化率が一定以上の場合には、警戒が必要であると判断するようにしてもよい。なお、警戒が必要であるか否かを判断する距離の2mは、これに限られず、任意であり、可変に設定することもできる。例えば、移動装置1Bが車両の場合には、車両が高速の場合には長く設定し、低速の場合には短く設定するとよい。
【0067】
そして、警戒判断部20aにより、移動装置1Bが現在、警戒地帯にいると判断された場合には、移動手段31に指令する移動速度を下げるように移動手段制御部20がプログラムされている。また、移動手段制御部20は、地図データベース35に登録されている警戒地帯の情報を逐次参照し、移動装置1Bに安全に移動速度や移動方向を決定するように構成されている。
【0068】
警戒地帯登録部33bは、警戒判断部20aにより、移動装置1Bが現在警戒地帯にいると判断した場合に、地図データベース35上に警戒地帯を示す情報を登録する部分である。
【0069】
報知手段38は、移動手段制御部20により作動される手段であり、移動装置1Bが警戒判断部20aにいると判断された場合に、音声及び視覚的手段により周囲に移動装置1Bの存在を知らせる手段である。報知手段38の具体例としては、「通ります」と発生したり、ブザーを鳴らしたり、回転灯を点灯させたりする手段がある。なお、音声又は視覚的手段のいずれか一方のみで報知してもよい。
【0070】
以上のように構成された移動装置1Bの動作について説明する。図13(a)は、移動物体1が廊下を進行しているときの見取り図であり、(b)は、視線ベクトルの向きと視認距離の関係を示したグラフである。
図13(a)に示すように、移動装置1Bは、水平方向にθHの画角を有している。図において、ハッチングの部分は壁に仕切られた部屋を示し、移動装置1Bは、見通しの悪い廊下51の交差点50にさしかかっている。交差点50に右から交差している通路52には、人M4が交差点50に向かってきている。
【0071】
図13(b)に示すグラフは、移動装置1Bのカメラ2が撮像した画像の中心高さにおける画素列について、左の画素から順に視認距離をプロットしたものである。図をみて明らかなように、交差点50の左手前側の壁W1を撮像した画素(視線ベクトル)から右の画素にいくにつれて、視認距離が長くなり、画素が壁W1から交差点左奥の壁W2を示すところで、視認距離が1.3mから2.8mへ急激に長くなっている。この距離の変化は、通路52の幅を表しており、この幅が、移動物体の存在可能な大きさであるときには、移動装置とその移動物体が急に出会う可能性がある。
【0072】
図14は、警戒地帯の判断・登録処理を示すフローチャートであり、図14を参照しながら、各処理を説明する。
警戒判断部20aは、画像の中心高さにおける画素の視認距離について、左から順に隣合う画素の視認距離を比較し、視認距離の差分を計算する(ステップS41)。なお、ここでは説明を簡単にするため、画像の中心高さの1ラインのみで判断しているが、画像の全範囲にわたって隣り合う視認距離の差分を計算しても構わない。次に、この差分が、しきい値より大きいかどうかを判断する(ステップS42)。ここでのしきい値は、例えば人が来るかどうかを判断する時は、1.4m等と設定する。このしきい値は常に一定値であってもよいし、移動装置1Bがいる環境に応じ、可変としてもよい。例えば、移動装置1Bが車両の場合には、一般道路では4m、高速道路では15m等と、場所に応じて変化させることもできる。
【0073】
差分がしきい値よりも大きい場合には(ステップS42,Yes)、視認距離が2mよりも大きいかどうか判断する(ステップS43)。これは、警戒が必要な場所が2mよりも遠ければ、まだ警戒する必要がないからである。視認距離が2mよりも大きかった場合には(ステップS43,Yes)、警戒判断部20aは、警戒地帯と判断して移動手段31に指令する移動速度を低下させる(ステップS44)。さらに、移動手段31に移動装置1Bの頭を首振り制御させて、すなわちカメラ2の向きを変更させて、左右の状況を撮像し、安全の確認をする(ステップS45)。また、音声と光で周囲に移動装置の存在を報知する(ステップS46)。例えば、「通ります」と発話させたり、ブザーを鳴らしたり、回転灯を点灯したりする。そして、警戒地帯登録部33bに、警戒地帯であることを通知し、警戒地帯登録部33bが地図データベース35内に現在位置が警戒地帯であるという情報を登録する(ステップS47)。
【0074】
一方、ステップS42において、差分がしきい値よりも小さかった場合には(No)、すべての画素(視線)について差分の大きさの判断が済んだかどうかを判断し(ステップS47)、終了していない場合には(ステップS47,No)、ステップS41から繰り返し、終了した場合には(ステップS47,Yes)、処理を終了する。
【0075】
以上のようにして、第2実施形態の移動装置1Bによれば、見通しの悪い場所に近づいたときに、警戒の必要性を察知して、移動速度を下げることで、移動装置1Bの安全を確保することができる。また、地図データベース35上に警戒地帯の情報が登録されることで、次回同じ場所を通りかかった場合に、警戒地帯の情報を参照して、事前に安全確保の準備をすることが可能になる。
【0076】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されず、適宜変更して実施することが可能である。例えば、第2実施形態においては、視認距離に基づいて警戒の必要性を判断したが、基準距離算出部12が算出した基準距離から警戒の必要性を判断することもできる。すなわち、隣接する画素間で、基準距離の変化率が所定値以上の場合に警戒地帯であると判断することもできる。
【0077】
【発明の効果】
以上詳述したとおり、静止物体が地図上に登録された静止物体より後ろにある対象物を撮影したと判断された画素を画像処理範囲から除外しているので、静止物体を移動物体として誤検出することが防止されるとともに、画像処理の負担が小さくなる。
【図面の簡単な説明】
【図1】本発明の第1実施形態にかかる移動装置の機能ブロック図である。
【図2】カメラが撮像した撮像画像の例である。
【図3】図2の画像における見取り図である。
【図4】図2の画像の位置における地図データである。
【図5】移動装置が図2の部屋を見たときの基準距離の決め方を示す見取り図である。
【図6】抽出画像を説明する図である。
【図7】物体登録後の地図データの例である。
【図8】通常モードでの処理を示すフローチャートである。
【図9】物体登録処理のフローチャートである。
【図10】全体確認モードでの処理を示すフローチャートである。
【図11】物体の抹消処理のフローチャートである。
【図12】第2実施形態にかかる移動装置の機能ブロック図である。
【図13】(a)は、移動物体が廊下を進行しているときの見取り図であり、(b)は、視線ベクトルの向きと視認距離の関係を示したグラフである。
【図14】警戒地帯の判断・登録処理のフローチャートである。
【符号の説明】
1 移動装置
2 カメラ
3 位置方位測定装置
11 視認距離算出部
12 基準距離算出部
12a 上限距離設定部
13 画像処理範囲抽出部
15 物体検出部
20 移動手段制御部
20a 警戒判断部
31 移動手段
33 地図管理部
33a 消失物更新部
33b 警戒地帯登録部
35 地図データベース
Claims (10)
- 複数の撮像装置で撮像対象を撮影した複数の撮像画像に基づき、物体を認識して移動する移動装置であって、
前記撮像装置の現在位置及び方位を測定する位置方位測定装置と、
前記移動装置が移動する環境に存在する静止物体の少なくとも位置情報が登録された地図データを保持する地図データ保持部と、
前記複数の撮像画像の視差を求めることにより、前記撮像装置から撮像対象までの距離を視認距離として算出する視認距離算出部と、
前記位置方位測定手段で測定された現在位置及び方位と、前記地図データとに基づき、前記撮像装置から前記静止物体の手前側境界線までの距離を基準距離として求める基準距離算出部と、
前記撮像画像の各画素についての前記視認距離と、この各画素に対応する前記基準距離とを比較し、その比較結果に基づいて対象となる画素を抽出して抽出画像を生成する画像処理範囲抽出部と、
前記抽出画像から物体を検出する物体検出部と、
移動手段と、
前記物体検出部が検出した物体の情報に基づき、移動手段の動作を制御する移動手段制御部と
を備えたことを特徴とする移動装置。 - 前記画像処理範囲抽出部は、前記前記撮像画像の各画素についての前記視認距離と、この各画素に対応する前記基準距離とを比較し、視認距離の方が小さい画素のみを前記撮像画像から抽出して抽出画像を生成するよう構成されたことを特徴とする請求項1に記載の移動装置。
- 前記画像処理範囲抽出部は、前記前記撮像画像の各画素についての前記視認距離と、この各画素に対応する前記基準距離とを比較し、視認距離が基準距離に対して所定値以上大きい画素が所定量以上あった場合に、撮像画像全体を抽出画像として生成するように構成されたことを特徴とする請求項1又は請求項2に記載の移動装置。
- 前記基準距離算出部は、前記基準距離を所定の上限値以下にする上限距離設定部を有していることを特徴とする請求項1から請求項3のいずれか1項に記載の移動装置。
- 前記物体検出部が検出した物体をラベル付けして記憶し、この物体が所定回数以上同じ位置で検出された場合には、少なくともその位置情報とその物体との関連を地図データとして前記地図データ保持部に記憶させる地図管理部をさらに有することを特徴とする請求項1から請求項4のいずれか1項に記載の移動装置。
- 前記地図管理部は、前記地図データ中にある静止物体で、検出されなかった物体については、前記地図データ保持部から削除する消失物更新部を有することを特徴とする請求項5に記載の移動装置。
- 前記視認距離算出部で算出された視認距離の分布のうち、視認距離の変化率が基準値以上の場合に、警戒地帯であると判断し、前記移動制御部が移動手段に移動速度を下げる指示をするように構成されたことを特徴とする請求項1から請求項6のいずれか1項に記載の移動装置。
- 前記基準距離算出部で算出された基準距離の分布のうち、基準距離の変化率が基準値以上の場合に、警戒地帯であると判断し、前記移動制御部が移動手段に移動速度を下げる指示をするように構成されたことを特徴とする請求項1から請求項6のいずれか1項に記載の移動装置。
- 警戒地帯であると判断した場合に、前記撮像装置の向きを変えるように構成されたことを特徴とする請求項7又は請求項8に記載の移動装置。
- 警戒地帯であると判断した場合に、音声又は視覚的表示により周囲に報知するよう構成されたことを特徴とする請求項7又は請求項8に記載の移動装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002334553A JP3781370B2 (ja) | 2002-11-19 | 2002-11-19 | 移動装置 |
US10/702,478 US7277559B2 (en) | 2002-11-19 | 2003-11-07 | Mobile apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002334553A JP3781370B2 (ja) | 2002-11-19 | 2002-11-19 | 移動装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004171165A true JP2004171165A (ja) | 2004-06-17 |
JP3781370B2 JP3781370B2 (ja) | 2006-05-31 |
Family
ID=32290324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002334553A Expired - Fee Related JP3781370B2 (ja) | 2002-11-19 | 2002-11-19 | 移動装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7277559B2 (ja) |
JP (1) | JP3781370B2 (ja) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004081683A1 (ja) * | 2003-03-14 | 2004-09-23 | Matsushita Electric Works, Ltd. | 自律移動ロボット |
JP2004326264A (ja) * | 2003-04-22 | 2004-11-18 | Matsushita Electric Works Ltd | 障害物検出装置と同装置を用いた自律移動ロボット、障害物検出方法、及び障害物検出プログラム |
JP2006079325A (ja) * | 2004-09-09 | 2006-03-23 | Matsushita Electric Works Ltd | 自律移動装置 |
US7119715B2 (en) | 2004-03-31 | 2006-10-10 | Honda Motor Co., Ltd. | Parking lot attendant robot system |
JP2007206805A (ja) * | 2006-01-31 | 2007-08-16 | Secom Co Ltd | 移動ロボット |
JP2007310572A (ja) * | 2006-05-17 | 2007-11-29 | Toyota Motor Corp | 認識装置および認識方法 |
JP2008276731A (ja) * | 2007-04-06 | 2008-11-13 | Honda Motor Co Ltd | 自律移動体の経路設定装置 |
JP2009169845A (ja) * | 2008-01-18 | 2009-07-30 | Toyota Motor Corp | 自律移動ロボット及び地図更新方法 |
JP2009294934A (ja) * | 2008-06-05 | 2009-12-17 | Ihi Corp | 自律移動装置及び自律移動装置の制御方法 |
JP2010134656A (ja) * | 2008-12-03 | 2010-06-17 | Sogo Keibi Hosho Co Ltd | 自律移動体および速度制御方法 |
JP2010277384A (ja) * | 2009-05-29 | 2010-12-09 | Nissan Motor Co Ltd | 走行支援装置および走行支援方法 |
JP2011002880A (ja) * | 2009-06-16 | 2011-01-06 | Hitachi Industrial Equipment Systems Co Ltd | 移動ロボット |
US8019475B2 (en) | 2007-04-06 | 2011-09-13 | Honda Motor Co., Ltd. | Routing apparatus for autonomous mobile unit |
JP2014126990A (ja) * | 2012-12-26 | 2014-07-07 | Yamaha Motor Co Ltd | 障害物検出装置及びそれを用いた車両 |
JP2015227223A (ja) * | 2014-05-30 | 2015-12-17 | ニチユ三菱フォークリフト株式会社 | 荷役車両 |
JP2019089636A (ja) * | 2017-11-15 | 2019-06-13 | 株式会社豊田自動織機 | 安全装置 |
JP2021087578A (ja) * | 2019-12-03 | 2021-06-10 | 日本電気株式会社 | ショッピングカート、制御方法、及び、プログラム |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE374501T1 (de) * | 2004-03-02 | 2007-10-15 | Seiko Epson Corp | Erzeugung einer bilddatei mit zusätzlichen informationen zur weiterverarbeitung aus einer zeitfolge von quellbilddaten |
JP4595436B2 (ja) * | 2004-03-25 | 2010-12-08 | 日本電気株式会社 | ロボット、その制御方法及び制御用プログラム |
US7840308B2 (en) * | 2004-09-10 | 2010-11-23 | Honda Motor Co., Ltd. | Robot device control based on environment and position of a movable robot |
JP4246691B2 (ja) * | 2004-11-30 | 2009-04-02 | 本田技研工業株式会社 | 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車 |
KR100727033B1 (ko) * | 2005-12-07 | 2007-06-12 | 한국전자통신연구원 | 네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한 시스템 |
JP4506685B2 (ja) * | 2006-02-17 | 2010-07-21 | トヨタ自動車株式会社 | 移動型ロボット |
US20090015425A1 (en) * | 2007-07-13 | 2009-01-15 | Sony Ericsson Mobile Communications Ab | Camera of an electronic device used as a proximity detector |
JP5337408B2 (ja) * | 2008-05-28 | 2013-11-06 | 村田機械株式会社 | 自律移動体及びその移動制御方法 |
JP5068779B2 (ja) * | 2009-02-27 | 2012-11-07 | 現代自動車株式会社 | 車両周囲俯瞰画像表示装置及び方法 |
US8799496B2 (en) * | 2009-07-21 | 2014-08-05 | Eloy Technology, Llc | System and method for video display transfer between video playback devices |
KR101741583B1 (ko) * | 2009-11-16 | 2017-05-30 | 엘지전자 주식회사 | 로봇 청소기 및 그의 제어 방법 |
US8215550B2 (en) * | 2009-12-18 | 2012-07-10 | Motorola Solutions, Inc. | Orienting a scanning device with respect to a target location |
ES2498193T3 (es) * | 2010-02-05 | 2014-09-24 | Kuka Laboratories Gmbh | Procedimiento y dispositivo para la supervisión de un espacio de un manipulador |
JP5161353B2 (ja) * | 2010-10-19 | 2013-03-13 | パナソニック株式会社 | 電動車両及びその制御方法 |
JP5452442B2 (ja) * | 2010-10-25 | 2014-03-26 | 株式会社日立製作所 | ロボットシステム及び地図更新方法 |
JP2012129843A (ja) * | 2010-12-16 | 2012-07-05 | Olympus Corp | 撮像装置 |
JP5919665B2 (ja) * | 2011-07-19 | 2016-05-18 | 日本電気株式会社 | 情報処理装置、物体追跡方法および情報処理プログラム |
US8954267B2 (en) | 2013-02-21 | 2015-02-10 | Qualcomm Incorporated | Mobile device positioning |
US9185675B2 (en) | 2013-11-18 | 2015-11-10 | Qualcomm Incorporated | Method and apparatus for classifying a mobile device location |
ES2773136T3 (es) * | 2014-06-05 | 2020-07-09 | Softbank Robotics Europe | Robot humanoide con capacidades para evitar colisiones y de recuperación de trayectoria |
CN104238558B (zh) * | 2014-07-16 | 2017-01-25 | 宁波韦尔德斯凯勒智能科技有限公司 | 一种基于单摄像头的循迹机器人直角转弯检测方法及装置 |
KR20160026532A (ko) * | 2014-09-01 | 2016-03-09 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
CN109744945B (zh) * | 2017-11-08 | 2020-12-04 | 杭州萤石网络有限公司 | 一种区域属性确定方法、装置、系统及电子设备 |
US10835096B2 (en) * | 2018-08-30 | 2020-11-17 | Irobot Corporation | Map based training and interface for mobile robots |
CN113260293B (zh) * | 2018-12-20 | 2023-02-28 | 尚科宁家运营有限公司 | 具有用于估计机器人清洁器的速度的距离传感器的机器人清洁器 |
US10867402B2 (en) | 2019-03-01 | 2020-12-15 | Here Global B.V. | System and method for determining distance to object on road |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6426913A (en) * | 1987-07-23 | 1989-01-30 | Nissan Motor | Controller for self-traveling vehicle |
JPH0986315A (ja) * | 1995-09-20 | 1997-03-31 | Mitsubishi Motors Corp | 障害物認識装置 |
JPH11104984A (ja) * | 1997-10-06 | 1999-04-20 | Fujitsu Ltd | 実環境情報表示装置及び実環境情報表示処理を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JPH11222882A (ja) * | 1998-02-05 | 1999-08-17 | Komatsu Ltd | 危険領域監視装置 |
JP2001188988A (ja) * | 1999-12-28 | 2001-07-10 | Mitsubishi Electric Corp | 車両検出装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4119900A (en) * | 1973-12-21 | 1978-10-10 | Ito Patent-Ag | Method and system for the automatic orientation and control of a robot |
JPS5975357A (ja) * | 1982-10-22 | 1984-04-28 | Hitachi Ltd | 画像処理装置 |
JPS59182688A (ja) * | 1983-03-31 | 1984-10-17 | Toshiba Corp | ステレオ視処理装置 |
JPH0628967Y2 (ja) | 1987-08-11 | 1994-08-10 | ヤンマー農機株式会社 | 歩行型田植機 |
JPH0695008B2 (ja) * | 1987-12-11 | 1994-11-24 | 株式会社東芝 | 監視装置 |
DE69417824D1 (de) * | 1993-08-26 | 1999-05-20 | Matsushita Electric Ind Co Ltd | Stereoskopischer Abtastapparat |
US5638116A (en) * | 1993-09-08 | 1997-06-10 | Sumitomo Electric Industries, Ltd. | Object recognition apparatus and method |
US5793310A (en) * | 1994-02-04 | 1998-08-11 | Nissan Motor Co., Ltd. | Portable or vehicular navigating apparatus and method capable of displaying bird's eye view |
JPH07225126A (ja) * | 1994-02-14 | 1995-08-22 | Mitsubishi Motors Corp | 車両用路上物体認識装置 |
JPH08329254A (ja) | 1995-03-24 | 1996-12-13 | Matsushita Electric Ind Co Ltd | 輪郭抽出装置 |
JP3421957B2 (ja) | 1995-09-20 | 2003-06-30 | 松下電器産業株式会社 | 移動体検出方法および装置 |
US6577334B1 (en) * | 1998-02-18 | 2003-06-10 | Kabushikikaisha Equos Research | Vehicle control |
JP2001018898A (ja) | 1999-07-06 | 2001-01-23 | Sumitomo Heavy Ind Ltd | 無人探査車 |
AU6894100A (en) * | 1999-08-06 | 2001-03-05 | Roadrisk Technologies, Llc | Methods and apparatus for stationary object detection |
JP2001101415A (ja) * | 1999-09-29 | 2001-04-13 | Fujitsu Ten Ltd | 画像認識装置および画像処理装置 |
JP3721973B2 (ja) * | 2000-09-28 | 2005-11-30 | 日産自動車株式会社 | 車両の操舵装置 |
US6975246B1 (en) * | 2003-05-13 | 2005-12-13 | Itt Manufacturing Enterprises, Inc. | Collision avoidance using limited range gated video |
-
2002
- 2002-11-19 JP JP2002334553A patent/JP3781370B2/ja not_active Expired - Fee Related
-
2003
- 2003-11-07 US US10/702,478 patent/US7277559B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6426913A (en) * | 1987-07-23 | 1989-01-30 | Nissan Motor | Controller for self-traveling vehicle |
JPH0986315A (ja) * | 1995-09-20 | 1997-03-31 | Mitsubishi Motors Corp | 障害物認識装置 |
JPH11104984A (ja) * | 1997-10-06 | 1999-04-20 | Fujitsu Ltd | 実環境情報表示装置及び実環境情報表示処理を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JPH11222882A (ja) * | 1998-02-05 | 1999-08-17 | Komatsu Ltd | 危険領域監視装置 |
JP2001188988A (ja) * | 1999-12-28 | 2001-07-10 | Mitsubishi Electric Corp | 車両検出装置 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7684894B2 (en) | 2003-03-14 | 2010-03-23 | Panasonic Electric Works Co., Ltd. | Autonomously moving robot |
WO2004081683A1 (ja) * | 2003-03-14 | 2004-09-23 | Matsushita Electric Works, Ltd. | 自律移動ロボット |
JP2004326264A (ja) * | 2003-04-22 | 2004-11-18 | Matsushita Electric Works Ltd | 障害物検出装置と同装置を用いた自律移動ロボット、障害物検出方法、及び障害物検出プログラム |
US7119715B2 (en) | 2004-03-31 | 2006-10-10 | Honda Motor Co., Ltd. | Parking lot attendant robot system |
JP4645108B2 (ja) * | 2004-09-09 | 2011-03-09 | パナソニック電工株式会社 | 自律移動装置 |
JP2006079325A (ja) * | 2004-09-09 | 2006-03-23 | Matsushita Electric Works Ltd | 自律移動装置 |
JP2007206805A (ja) * | 2006-01-31 | 2007-08-16 | Secom Co Ltd | 移動ロボット |
JP2007310572A (ja) * | 2006-05-17 | 2007-11-29 | Toyota Motor Corp | 認識装置および認識方法 |
JP2008276731A (ja) * | 2007-04-06 | 2008-11-13 | Honda Motor Co Ltd | 自律移動体の経路設定装置 |
US8019475B2 (en) | 2007-04-06 | 2011-09-13 | Honda Motor Co., Ltd. | Routing apparatus for autonomous mobile unit |
JP2009169845A (ja) * | 2008-01-18 | 2009-07-30 | Toyota Motor Corp | 自律移動ロボット及び地図更新方法 |
JP2009294934A (ja) * | 2008-06-05 | 2009-12-17 | Ihi Corp | 自律移動装置及び自律移動装置の制御方法 |
JP2010134656A (ja) * | 2008-12-03 | 2010-06-17 | Sogo Keibi Hosho Co Ltd | 自律移動体および速度制御方法 |
JP2010277384A (ja) * | 2009-05-29 | 2010-12-09 | Nissan Motor Co Ltd | 走行支援装置および走行支援方法 |
JP2011002880A (ja) * | 2009-06-16 | 2011-01-06 | Hitachi Industrial Equipment Systems Co Ltd | 移動ロボット |
JP2014126990A (ja) * | 2012-12-26 | 2014-07-07 | Yamaha Motor Co Ltd | 障害物検出装置及びそれを用いた車両 |
JP2015227223A (ja) * | 2014-05-30 | 2015-12-17 | ニチユ三菱フォークリフト株式会社 | 荷役車両 |
JP2019089636A (ja) * | 2017-11-15 | 2019-06-13 | 株式会社豊田自動織機 | 安全装置 |
JP2021087578A (ja) * | 2019-12-03 | 2021-06-10 | 日本電気株式会社 | ショッピングカート、制御方法、及び、プログラム |
JP7516749B2 (ja) | 2019-12-03 | 2024-07-17 | 日本電気株式会社 | ショッピングカート、制御方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3781370B2 (ja) | 2006-05-31 |
US20040096083A1 (en) | 2004-05-20 |
US7277559B2 (en) | 2007-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3781370B2 (ja) | 移動装置 | |
Possatti et al. | Traffic light recognition using deep learning and prior maps for autonomous cars | |
US10495753B2 (en) | Video to radar | |
KR101907548B1 (ko) | 휴먼 추종을 위한 이동로봇의 주행 및 탐색방법 | |
García et al. | Directional people counter based on head tracking | |
KR101788269B1 (ko) | 이상 상황을 감지하는 장치 및 방법 | |
US9158979B2 (en) | Vehicle vicinity monitoring device | |
KR100773184B1 (ko) | 자율 이동로봇 | |
US9201425B2 (en) | Human-tracking method and robot apparatus for performing the same | |
EP2243125B1 (en) | Vision based real time traffic monitoring | |
US7684590B2 (en) | Method of recognizing and/or tracking objects | |
RU2251739C2 (ru) | Система распознавания объектов и слежения за ними | |
US20120086778A1 (en) | Time of flight camera and motion tracking method | |
KR101877294B1 (ko) | 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 cctv 시스템 | |
WO2004004320A1 (en) | Digital processing of video images | |
JP2015057690A (ja) | 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム | |
JP2007334751A (ja) | 車両周辺監視装置 | |
JP2021026644A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
JP2003284057A (ja) | 車両周辺監視装置 | |
JP3043925B2 (ja) | 移動物体検出判定装置 | |
JP2005352974A (ja) | 車両周辺監視装置 | |
CN112363494A (zh) | 机器人前进路径的规划方法、设备及存储介质 | |
US8929603B1 (en) | Autonomous lock-on target tracking with geospatial-aware PTZ cameras | |
García et al. | Enhanced obstacle detection based on Data Fusion for ADAS applications | |
JP6609588B2 (ja) | 自律型モビリティシステムおよび自律型モビリティの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3781370 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120317 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140317 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |