JP2005315746A - Own position identifying method, and device therefor - Google Patents
Own position identifying method, and device therefor Download PDFInfo
- Publication number
- JP2005315746A JP2005315746A JP2004134492A JP2004134492A JP2005315746A JP 2005315746 A JP2005315746 A JP 2005315746A JP 2004134492 A JP2004134492 A JP 2004134492A JP 2004134492 A JP2004134492 A JP 2004134492A JP 2005315746 A JP2005315746 A JP 2005315746A
- Authority
- JP
- Japan
- Prior art keywords
- landmark
- coordinates
- self
- candidate point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000000284 extract Substances 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 29
- 238000001514 detection method Methods 0.000 description 20
- 238000005286 illumination Methods 0.000 description 18
- 239000002245 particle Substances 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 5
- 230000004397 blinking Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
Abstract
Description
本発明は、屋内を自律走行する移動体の絶対座標系を基準とした現在位置を同定する方法及び該装置に関し、特に前記移動体に搭載された広角カメラにより取得した撮像画像に基づき、移動体位置を同定する自己位置同定方法及び該装置に関する。 The present invention relates to a method and apparatus for identifying a current position based on an absolute coordinate system of a moving body that autonomously travels indoors, and in particular, based on a captured image acquired by a wide-angle camera mounted on the moving body. The present invention relates to a self-position identification method and apparatus for identifying a position.
従来より、自律的に行動する移動体に関する技術は種々提案されており、またこのような移動体は各種工業にて広く利用されている。さらに近年においては、一般家庭や各種施設等においても移動体の導入が要望されており、あらゆる動作環境に対応できる移動体が必要とされている。
移動体を円滑に自律走行させるには、移動体の自己位置を認識させ、さらには移動体周囲に存在する人物等の移動対象物の位置を正確に把握する必要がある。
そこで、移動体の主要な技術の一つとして、移動体の自己位置同定、及び移動対象物位置検出方法に関する技術が種々提案されている。
Conventionally, various technologies related to a mobile body that acts autonomously have been proposed, and such mobile bodies are widely used in various industries. Furthermore, in recent years, introduction of a moving body has been demanded in general homes and various facilities, and a moving body that can cope with any operating environment is required.
In order to make the moving body autonomously travel smoothly, it is necessary to recognize the self position of the moving body and to accurately grasp the position of a moving object such as a person around the moving body.
Thus, various techniques relating to the self-position identification of the moving body and the method of detecting the position of the moving object have been proposed as one of the main techniques of the moving body.
移動体の自己位置を検出する一般的な方法として、移動体が駆動車輪で駆動される場合、車輪に取り付けられたエンコーダの回転量から走行距離を、また２輪の相対的な回転量の差から移動体の方位を検出し、この走行距離と方位に基づき自己位置を推定するデッドレコニング法が広く採用されている。
しかし、上記した方法では、車輪のスリップが生じたり、移動体が段差に乗り上げたりした場合に誤差が発生し、自己位置同定の正確性に問題が残る。
そこで、移動体に搭載した撮像手段からの取得画像に基づき移動体の自己位置を検出する方法が、特許文献１（特開２００４−１２４２９号公報）等に開示されている。これは、前記移動体に搭載されたカメラにより撮像された撮像画像と、予め撮像された複数の事前撮像画像とに基づいて、これらの画像のエッジ特徴量を比較して自己位置を同定する方法である。
As a general method for detecting the self-position of the moving body, when the moving body is driven by a driving wheel, the travel distance is calculated from the rotation amount of the encoder attached to the wheel, and the difference between the relative rotation amounts of the two wheels. A dead reckoning method is widely adopted in which the azimuth of the moving body is detected from the above and the self-position is estimated based on the travel distance and azimuth.
However, in the above-described method, an error occurs when the wheel slips or the moving body rides on a step, and a problem remains in the accuracy of self-position identification.
Therefore, a method for detecting the self-position of a moving body based on an acquired image from an imaging unit mounted on the moving body is disclosed in Patent Document 1 (Japanese Patent Laid-Open No. 2004-12429) and the like. This is a method for identifying a self-position by comparing edge feature amounts of these images based on a captured image captured by a camera mounted on the moving body and a plurality of pre-captured images captured in advance. It is.
また、特許文献２（特開２００２−２１３９２０号公報）には、絶対空間において、床面から略同一の高さに設けた発光色の異なる３つのＬＥＤを、移動体に搭載したＣＣＤカメラによって撮像し、この撮像画像をもとに絶対空間の所定位置を原点とした絶対座標系における移動体の絶対座標を求める方法を開示している。
しかし前記特許文献２の方法では、前記ランドマークの個々の識別が必要であり、また、前記ランドマークの全てが前記ＣＣＤカメラの視野範囲に入っている必要がある。従って、前記ランドマークが明瞭に撮像できない場合や、前記ＣＣＤカメラにより全ランドマークを撮像できない場合には対応できない。
また、特許文献１及び２に記載されるように、ランドマークや撮像画像の特徴量を利用した位置同定方法において最も問題とされるのが、前記ランドマークや前記特徴量を安定して抽出することが困難である点であり、特に乱雑な環境下において照明変化等の環境外乱に対して安定してこれらを抽出することは困難であった。
In Patent Document 2 (Japanese Patent Laid-Open No. 2002-213920), three LEDs having different emission colors provided at substantially the same height from the floor surface in an absolute space are imaged by a CCD camera mounted on a moving body. A method for obtaining the absolute coordinates of a moving body in an absolute coordinate system with a predetermined position in the absolute space as the origin based on the captured image is disclosed.
However, in the method of Patent Document 2, it is necessary to individually identify the landmarks, and it is necessary that all the landmarks are within the field of view of the CCD camera. Therefore, it is not possible to deal with a case where the landmark cannot be imaged clearly or when all the landmarks cannot be imaged by the CCD camera.
Further, as described in Patent Documents 1 and 2, the most problematic point in the position identification method using the feature amount of the landmark and the captured image is to stably extract the landmark and the feature amount. In particular, it was difficult to extract them stably against environmental disturbances such as lighting changes in a messy environment.
一方、前記移動体の周囲に存在する人物等の移動対象を検出する方法は、赤外線や超音波を利用した検知センサによる検知方法、広視野範囲を有する全方位カメラ、或いは前方カメラによる検知方法、全方位カメラと固定の複数カメラによる検知方法、複数の前方カメラによるステレオ視による検知方法等が用いられていた。
特許文献３（特開平１１−２５０３６４号公報）には、移動体周囲を広範囲に撮像する広角カメラと、該移動体周囲を複数の方向から夫々撮像する複数のカメラとを有し、前記広角カメラの動画像信号から人物の動きを検出し、前記複数のカメラのうち、人物の正面方向に近いカメラを選択して該カメラの画像出力を取得する方法が提案されている。
On the other hand, a method for detecting a moving target such as a person existing around the moving body is a detection method using a detection sensor using infrared rays or ultrasonic waves, an omnidirectional camera having a wide field of view, or a detection method using a front camera, A detection method using an omnidirectional camera and a plurality of fixed cameras, a detection method using stereo vision using a plurality of front cameras, and the like have been used.
Patent Document 3 (Japanese Patent Laid-Open No. 11-250364) has a wide-angle camera that captures a wide area around a moving body and a plurality of cameras that respectively image the periphery of the mobile body from a plurality of directions. A method has been proposed in which the movement of a person is detected from the moving image signal, and a camera close to the front direction of the person is selected from the plurality of cameras to obtain an image output of the camera.
しかしながら、赤外線や超音波を利用した検知センサは、物体までの距離を比較的精度良く検出することができるが、計測した対象物が何なのかを正確に識別することは困難である。また、全方位カメラは広い視野範囲をカバーすることはできるが、画像の歪みが大きいため移動対象物の細かい動作を捉えるには適さない。逆に、前方カメラは、狭い視野範囲に映っている対象物にしか対応できず、さらに１台のカメラのみでは対象物までの距離を計算することが困難である。また、前記特許文献３のように全方位カメラと固定の複数のカメラを利用する方法では、これらのカメラにより広い範囲を見る必要があるので、カメラ台数が増え、装置が大型化し、装置コストが増大する。さらにまた、前記ステレオ視は、複数のカメラにより撮影された画像において同一物体の対応点を見つける必要があり、計算負荷が高くなる。また対応点を精度良く探索すること自体が難しい。
このように、画像認識上の課題により、移動対象物、特に人物を正確に認識することが出来なかった。
However, a detection sensor using infrared rays or ultrasonic waves can detect the distance to an object with relatively high accuracy, but it is difficult to accurately identify what the measured object is. An omnidirectional camera can cover a wide visual field range, but is not suitable for capturing detailed movements of a moving object due to large image distortion. On the contrary, the front camera can deal only with an object reflected in a narrow field of view, and it is difficult to calculate the distance to the object with only one camera. Further, in the method using an omnidirectional camera and a plurality of fixed cameras as in Patent Document 3, since it is necessary to see a wide range with these cameras, the number of cameras increases, the size of the device increases, and the device cost increases. Increase. Furthermore, the stereo view requires finding corresponding points of the same object in images taken by a plurality of cameras, which increases the calculation load. In addition, it is difficult to search for corresponding points with high accuracy.
As described above, due to a problem in image recognition, it is impossible to accurately recognize a moving object, particularly a person.
従って、本発明は上記従来技術の問題点に鑑み、照明変化のような環境外乱に対してもロバストで、かつ視野範囲が限られている場合においても精度良く自己位置を検出可能であり、さらには安定してランドマークを抽出可能な自己位置同定方法及び該装置を提供することを目的とする。 Therefore, in view of the above-mentioned problems of the prior art, the present invention is robust against environmental disturbances such as illumination changes and can detect the self-position accurately even when the field of view is limited. An object of the present invention is to provide a self-position identification method and apparatus capable of stably extracting landmarks.
そこで、本発明はかかる課題を解決するために、
複数のランドマークが屋内上方に配置された環境下で自律走行する移動体の自己位置同定方法において、
予め前記複数のランドマーク位置を計測し、絶対座標系を基準とした３次元の登録位置座標として事前登録するステップと、
前記移動体に搭載された広角カメラによる上方撮像画像からランドマーク候補点を抽出し、該抽出した候補点に対応する２次元の候補点座標を算出するステップと、
絶対座標系上の移動体走行領域内に任意の仮想点を複数設定し、該仮想点に前記移動体が存在する場合に得られる画像上の前記ランドマークの２次元座標を、前記３次元の登録位置座標より夫々導出するステップと、
前記候補点座標と前記２次元座標とを夫々比較して、前記候補点座標に最も近似する２次元座標に対応する前記移動体の仮想点を、該移動体の自己位置と推定するステップと、を有することを特徴とする。
Therefore, in order to solve this problem, the present invention provides
In the self-localization method for a mobile object that autonomously runs in an environment in which a plurality of landmarks are arranged indoors,
Measuring the plurality of landmark positions in advance and pre-registering them as three-dimensional registered position coordinates based on an absolute coordinate system;
Extracting landmark candidate points from an upper captured image by a wide-angle camera mounted on the moving body, and calculating two-dimensional candidate point coordinates corresponding to the extracted candidate points;
A plurality of arbitrary virtual points are set in the moving body traveling area on the absolute coordinate system, and the two-dimensional coordinates of the landmarks on the image obtained when the moving body is present at the virtual points are represented by the three-dimensional coordinates. Respectively deriving from the registered position coordinates;
Comparing the candidate point coordinates with the two-dimensional coordinates, respectively, and estimating a virtual point of the moving object corresponding to the two-dimensional coordinate closest to the candidate point coordinates as the self-position of the moving object; It is characterized by having.
本発明において、前記自己位置推定ステップでは、前記２次元座標の近似解を導出する際に、前記２次元座標値に最も近い前記ランドマーク候補点座標との距離を計算し、事前登録された全てのランドマークについての距離を評価し、最も評価値が小さくなる位置を近似解とすることが好ましい。
本発明によれば、前記仮想点を複数設定して、該仮想点における前記ランドマークの２次元座標と、前記広角カメラの撮像画像より抽出したランドマークの候補点座標とから自己位置を推定するようにしているため、個々のランドマークの識別を必要とせず、さらに、視野範囲が不明瞭で、前記広角カメラの撮像画像から前記ランドマークのうち一部しか抽出出来ない場合においても、安定的にかつ精度良く移動体の自己位置を推定することが可能となる。このように本発明では、照明変化等の環境外乱に対してロバストな自己位置同定を達成することができる。
また、本発明によれば、天井等の上方の画像を利用するため、遮蔽物等の外乱に強い自己位置同定が行なえる。さらに、魚眼レンズや全方位カメラ等の広角カメラを利用しているため、視野が広範囲となり、多数のランドマークを必要とせず自己位置同定を行なうことができる。
In the present invention, in the self-position estimation step, when an approximate solution of the two-dimensional coordinate is derived, a distance from the landmark candidate point coordinate closest to the two-dimensional coordinate value is calculated, and all pre-registered It is preferable to evaluate the distance with respect to the landmarks and use the position where the evaluation value is the smallest as the approximate solution.
According to the present invention, a plurality of the virtual points are set, and the self-position is estimated from the two-dimensional coordinates of the landmarks at the virtual points and the landmark candidate point coordinates extracted from the captured image of the wide-angle camera. Therefore, it is not necessary to identify individual landmarks, and the field of view is unclear, and even when only a part of the landmarks can be extracted from the captured image of the wide-angle camera, it is stable. In addition, it is possible to accurately estimate the self-position of the moving object. Thus, according to the present invention, self-position identification that is robust against environmental disturbances such as illumination changes can be achieved.
In addition, according to the present invention, since an image above the ceiling or the like is used, self-position identification that is resistant to disturbances such as a shielding object can be performed. Furthermore, since a wide-angle camera such as a fisheye lens or an omnidirectional camera is used, the field of view is wide, and self-position identification can be performed without requiring many landmarks.
また、前記移動体が発光手段を備えており、前記候補点座標を算出するステップにて、前記広角カメラにて前記ランドマーク候補点を抽出する際に、光反射シートで形成された前記ランドマークに対して前記発光手段を点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする。
これにより、前記ランドマークを確実に抽出でき、かつ該抽出する画像処理が容易となる。尚、前記発光手段は赤外光を照射する手段としても良く、このとき前記光反射シートは赤外光のみを選択的に反射する材料を用いる。赤外光は人間の目には見えないため、一般家庭の部屋等に設置しても邪魔にならない利点がある。
In addition, the moving body includes a light emitting unit, and the landmark formed by a light reflecting sheet is used when the landmark candidate point is extracted by the wide-angle camera in the step of calculating the candidate point coordinates. The light emitting means is blinked, and the landmark candidate points are extracted using an image difference between images taken by the wide-angle camera.
Thereby, the landmark can be reliably extracted, and the image processing to be extracted becomes easy. The light emitting means may be a means for irradiating infrared light. At this time, the light reflecting sheet is made of a material that selectively reflects only infrared light. Since infrared light is invisible to the human eye, there is an advantage that it does not get in the way even if it is installed in a room at home.
さらに、前記ランドマークを発光手段で形成し、前記候補点座標を算出するステップにて、前記広角カメラにて前記ランドマーク候補点を抽出する際に、前記ランドマークを点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする。
これにより、前記ランドマークの画像処理が容易となり、安定的にランドマークを抽出することができる。
Furthermore, when the landmark candidate point is extracted by the wide-angle camera in the step of forming the landmark with light emitting means and calculating the candidate point coordinates, the landmark is blinked, and the wide-angle camera The landmark candidate point is extracted using an image difference of a captured image.
Thereby, the image processing of the landmark becomes easy, and the landmark can be extracted stably.
さらにまた、前記ランドマークとして事前登録した画像中の特徴部位を設定し、前記候補点座標を算出するステップにて、前記広角カメラにて前記ランドマーク候補点を抽出する際に、前記事前登録画像とのマッチングにより前記ランドマーク候補点を抽出することを特徴とする。
これは、例えば走行環境の壁面や天井に存在する、画像として特徴のある箇所を選択し、ランドマークとして設定することにより、特別なランドマークを設置する必要がなく、かつランドマークのミスマッチによる同定失敗を避けることができる。
Furthermore, in the step of setting the feature part in the image pre-registered as the landmark and calculating the candidate point coordinates, the pre-registration is performed when the landmark candidate point is extracted by the wide-angle camera. The landmark candidate points are extracted by matching with an image.
For example, it is not necessary to install special landmarks by selecting locations that are characteristic as images, such as those present on the walls and ceilings of the driving environment, and identification by landmark mismatching You can avoid failure.
また、前記ランドマークを、前記移動体の充電ステーションと一体化することが好適である。これにより、充電ステーションへの侵入において、精度良い自己位置同定が可能となり、さらに、前記充電ステーションが移動しても、ランドマークが一体化しているため、充電ステーションとの相対位置関係の自己位置同定が簡単に行なえる。
さらに、前記移動体の車輪に付設したエンコーダからオドメトリデータを検出し、該オドメトリデータに基づき前記移動体の概略位置を検出するとともに、前記請求項１記載の自己位置同定方法により該移動体の自己位置補正を行なうことを特徴とする。このように、上記した発明を他の自己位置同定方法の補正機能として利用することにより、演算処理の負荷が軽減し、短時間でかつ正確な自己位置同定が行なえる。
Further, it is preferable that the landmark is integrated with a charging station of the mobile body. This enables accurate self-position identification when entering the charging station. Furthermore, even if the charging station moves, the landmarks are integrated so that the self-position identification relative to the charging station can be performed. Is easy to do.
Furthermore, the odometry data is detected from an encoder attached to the wheel of the moving body, the approximate position of the moving body is detected based on the odometry data, and the self-position identification method according to claim 1 Position correction is performed. In this way, by using the above-described invention as a correction function of another self-position identification method, the processing load is reduced, and accurate self-position identification can be performed in a short time.
また、本発明を好適に実施する装置の発明として、
複数のランドマークが屋内上方に配置された環境下で自律走行する移動体の自己位置同定装置において、
予め前記複数のランドマーク位置を計測し、絶対座標系を基準とした３次元の登録位置座標として事前登録する手段と、
前記移動体に搭載された広角カメラによる上方撮像画像からランドマーク候補点を抽出し、該抽出した候補点に対応する２次元の候補点座標を算出する手段と、
絶対座標系上の移動体走行領域内に任意の仮想点を複数設定し、該仮想点に前記移動体が存在する場合に得られる画像上の前記ランドマークの２次元座標を、前記３次元の登録位置座標より夫々導出する手段と、
前記候補点座標と前記２次元座標とを夫々比較して、前記候補点座標に最も近似する２次元座標に対応する前記移動体の仮想点を、該移動体の自己位置と推定する手段とを、備えたことを特徴とする。
In addition, as an invention of an apparatus for suitably carrying out the present invention,
In the self-localization device for a mobile object that autonomously travels in an environment in which a plurality of landmarks are arranged indoors,
Means for previously measuring the plurality of landmark positions and pre-registering them as three-dimensional registration position coordinates based on an absolute coordinate system;
Means for extracting landmark candidate points from an upper captured image by a wide-angle camera mounted on the moving body, and calculating two-dimensional candidate point coordinates corresponding to the extracted candidate points;
A plurality of arbitrary virtual points are set in the moving body traveling area on the absolute coordinate system, and the two-dimensional coordinates of the landmarks on the image obtained when the moving body is present at the virtual points are represented by the three-dimensional coordinates. Means for deriving from the registered position coordinates respectively;
Means for comparing the candidate point coordinates with the two-dimensional coordinates, and estimating the virtual point of the moving object corresponding to the two-dimensional coordinate closest to the candidate point coordinates as the self-position of the moving object; , Provided.
また、前記移動体が発光手段を備えるとともに、前記ランドマークを光反射シートで形成し、
前記候補点座標を算出する手段が、前記広角カメラにて前記ランドマーク候補点を抽出する際に、光反射シートで形成された前記ランドマークに対して前記発光手段を点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする。
さらに、前記ランドマークを発光手段で形成し、前記候補点座標を算出する手段が、前記広角カメラにて前記ランドマーク候補点を抽出する際に、前記ランドマークを点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする。
Further, the moving body includes a light emitting means, and the landmark is formed of a light reflecting sheet.
When the means for calculating the candidate point coordinates extracts the landmark candidate point with the wide-angle camera, the light-emitting means blinks with respect to the landmark formed with a light reflecting sheet, and the wide-angle camera The landmark candidate point is extracted using an image difference of a captured image.
Further, the landmark is formed by a light emitting means, and the means for calculating the candidate point coordinates blinks the landmark when the landmark candidate point is extracted by the wide-angle camera, and imaging by the wide-angle camera is performed. The landmark candidate point is extracted using an image difference between images.
さらにまた、前記ランドマークとして事前登録した画像中の特徴部位を設定し、前記候補点座標を算出する手段にて、前記広角カメラにて前記ランドマーク候補点を抽出する際に、前記事前登録画像とのマッチングにより前記ランドマーク候補点を抽出することを特徴とする。
また、前記ランドマークを、前記移動体の充電ステーションと一体化して構成することが好ましい。
Furthermore, when the feature point in the image pre-registered as the landmark is set and the candidate point coordinates are calculated, the pre-registration is performed when the landmark candidate point is extracted by the wide-angle camera. The landmark candidate points are extracted by matching with an image.
Further, it is preferable that the landmark is integrated with a charging station of the moving body.
以上記載のごとく本発明によれば、前記仮想点を複数設定して、該仮想点における前記ランドマークの２次元座標と、前記広角カメラの撮像画像より抽出したランドマークの候補点座標とから自己位置を推定するようにしているため、個々のランドマークの識別を必要とせず、さらに、視野範囲が不明瞭で、前記広角カメラの撮像画像から前記ランドマークのうち一部しか抽出出来ない場合においても、安定的にかつ精度良く移動体の自己位置を推定することが可能となる。
本発明では、照明変化等の環境外乱に対してロバストな自己位置同定を達成することができる。
また、本発明によれば、天井等の上方の画像を利用するため、遮蔽物等の外乱に強い自己位置同定が行なえる。さらに、魚眼レンズや全方位カメラ等の広角カメラを利用しているため、視野が広範囲となり、多数のランドマークを必要とせず自己位置同定を行なうことができる。
As described above, according to the present invention, a plurality of the virtual points are set, and the landmarks are extracted from the two-dimensional coordinates of the landmarks at the virtual points and the landmark candidate point coordinates extracted from the captured image of the wide-angle camera. Since the position is estimated, it is not necessary to identify each landmark, and the field of view is unclear and only a part of the landmark can be extracted from the image captured by the wide-angle camera. However, it becomes possible to estimate the self-position of the moving body stably and accurately.
In the present invention, it is possible to achieve self-localization robust to environmental disturbances such as illumination changes.
In addition, according to the present invention, since an image above the ceiling or the like is used, self-position identification that is resistant to disturbances such as a shielding object can be performed. Furthermore, since a wide-angle camera such as a fisheye lens or an omnidirectional camera is used, the field of view is wide, and self-position identification can be performed without requiring many landmarks.
また、本発明では、前記移動体に発光手段と設けるとともに前期ランドマークを光反射シートで形成することにより、前記ランドマークを確実に抽出でき、かつ該抽出する画像処理が容易となる。
さらに、前記ランドマークを発光手段で形成することもでき、これにより、前記ランドマークの画像処理が容易となり、安定的に該ランドマークを抽出することができる。
さらにまた、前記ランドマークとして事前登録した画像中の特徴部位を設定することにより、特別なランドマークを設置する必要がなく、かつランドマークのミスマッチによる同定失敗を避けることができる。
また、前記ランドマークを、前記移動体の充電ステーションと一体化して設けることにより、充電ステーションへの侵入において、精度良い自己位置同定が可能となり、さらに、前記充電ステーションが移動しても、ランドマークが一体化しているため、充電ステーションとの相対位置関係の自己位置同定が簡単に行なえる。
In the present invention, the moving body is provided with a light emitting means, and the landmark is formed of a light reflecting sheet, so that the landmark can be reliably extracted and the image processing to be extracted becomes easy.
Further, the landmark can be formed by a light emitting means, whereby image processing of the landmark is facilitated, and the landmark can be extracted stably.
Furthermore, by setting a characteristic part in the image pre-registered as the landmark, it is not necessary to install a special landmark, and identification failure due to a landmark mismatch can be avoided.
In addition, by providing the landmark integrated with the charging station of the mobile object, accurate self-position identification can be performed when entering the charging station, and even if the charging station moves, the landmark Since they are integrated, self-position identification of the relative positional relationship with the charging station can be easily performed.
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
本実施例に示す移動体の走行空間としては、一般家庭、各種施設、工場内等が挙げられるが、特に前記移動体は一般家庭内にてユーザの生活を補助、支援、介護するロボットであることが好適である。
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the dimensions, materials, shapes, relative arrangements, and the like of the components described in this embodiment are not intended to limit the scope of the present invention unless otherwise specified, but are merely illustrative examples. Not too much.
Examples of the travel space of the mobile body shown in the present embodiment include a general home, various facilities, and a factory. In particular, the mobile body is a robot that assists, supports, and cares for the user's life in the general home. Is preferred.
図１は本実施例１に係る自己位置同定アルゴリズムを示すフロー、図２は本実施例１に係る移動体の概略構成図である。
図２に示すように、本実施例１に係る移動体１０は、頭部１１と胴部１２と台車部１３を有し、好適には腕部（不図示）等の人間の部位を備え、人間を模した形状とする。前記台車部１３に装備された車輪１４は、駆動制御装置１５の指令に基づき制御される車輪モータ１６により操舵、走行可能であり、該車輪１４の回転量を検出する回転計測装置１７により移動体１０の移動距離、姿勢方位変化量からなるオドメトリデータを検出可能としている。
FIG. 1 is a flowchart showing a self-position identification algorithm according to the first embodiment, and FIG. 2 is a schematic configuration diagram of a moving body according to the first embodiment.
As shown in FIG. 2, the moving body 10 according to the first embodiment includes a head portion 11, a trunk portion 12, and a carriage portion 13, and preferably includes a human part such as an arm portion (not shown). A shape that imitates humans. The wheels 14 mounted on the carriage unit 13 can be steered and traveled by a wheel motor 16 controlled based on a command from a drive control device 15, and a moving body is detected by a rotation measuring device 17 that detects the amount of rotation of the wheels 14. It is possible to detect odometry data consisting of 10 movement distances and posture / azimuth change amounts.
前記頭部１１には、前記移動体１０の上方空間を広視野範囲で撮像する全方位カメラ１８と、該移動体１０の前方空間を狭視野範囲で撮像する前方カメラ１９と、これらのカメラからの撮像画像を基に各種画像処理を行なう画像処理装置２０と、天井方向に光を放射するＬＥＤ照明２１と、該ＬＥＤ照明２１を点滅等を制御する照明制御装置２２が設けられている。
前記全方位カメラ１８は公知のカメラであって、例えば双曲面ミラーとカメラから構成され、周囲360°から双曲面に届く光をミラーで反射して丸画像を生成し、該丸画像を画像処理することにより、移動体の周囲360°に亘る全方位の動画像が取得できる。尚、前記全方位カメラ１８は、このような構成のカメラに限定されるものではなく、例えば魚眼レンズのような広角カメラであれば何れでも良い。
The head 11 includes an omnidirectional camera 18 that images the space above the moving body 10 in a wide field of view, a front camera 19 that images the front space of the moving body 10 in a narrow field of view, and these cameras. An image processing device 20 that performs various image processing based on the captured image, an LED illumination 21 that emits light toward the ceiling, and an illumination control device 22 that controls blinking of the LED illumination 21 are provided.
The omnidirectional camera 18 is a known camera, and is composed of, for example, a hyperboloid mirror and a camera. Light that reaches the hyperboloid surface from 360 ° is reflected by the mirror to generate a round image, and the round image is subjected to image processing. By doing this, it is possible to acquire a moving image in all directions over 360 ° around the moving body. The omnidirectional camera 18 is not limited to the camera having such a configuration, and may be any wide-angle camera such as a fisheye lens.
前記前方カメラ１９は、狭視野範囲内にて歪みの少ない画像を撮像可能で、移動体１０の周囲に存在する移動対象物、特に人物を認識可能であることが好ましい。尚、本実施例の自己位置同定に際しては、前記前方カメラ１９を具備しない構成とすることもできる。
前記画像処理装置２０は、前記全方位カメラ１８等で取得した撮像画像に対して、二値化処理、差分処理等の画像の基本的な処理を行なうプログラムが格納されている。
前記ＬＥＤ照明２１は、可視光領域若しくは赤外領域の波長の光を発するＬＥＤが好適であり、前記照明制御装置２２により発光間隔等が制御される。尚、前記ＬＥＤ照明２１及び照明制御装置２２は具備しない構成とすることもできる。
It is preferable that the front camera 19 can capture an image with little distortion within a narrow visual field range and can recognize a moving object, particularly a person, present around the moving body 10. In the self-position identification of the present embodiment, the front camera 19 may not be provided.
The image processing apparatus 20 stores a program for performing basic image processing such as binarization processing and difference processing on a captured image acquired by the omnidirectional camera 18 or the like.
The LED illumination 21 is preferably an LED that emits light having a wavelength in the visible light region or infrared region, and the light emission interval and the like are controlled by the illumination control device 22. Note that the LED illumination 21 and the illumination control device 22 may be omitted.
また、前記胴部１２には、前記頭部１１と該胴部１２を回動自在に連結する頭部傾倒モータ２３と、該頭部傾倒モータ２３の動作を制御するとともに、該頭部傾動モータ２３の動作を検出することにより頭部１１の姿勢角、姿勢方位を検出する頭部傾倒制御装置２４と、該頭部傾倒制御装置２４、前記駆動制御装置１５、前記回転計測装置１７、及び前記画像処理装置２０に接続された制御装置２５が設けられている。
前記制御部２５は、自己位置同定部と、移動対象物検出部と、データベース等を具備している。
The body 12 includes a head tilting motor 23 that rotatably connects the head 11 and the body 12, and controls the operation of the head tilting motor 23, and the head tilting motor A head tilt control device 24 that detects the posture angle and posture orientation of the head 11 by detecting the motion of the head 23, the head tilt control device 24, the drive control device 15, the rotation measuring device 17, and the A control device 25 connected to the image processing device 20 is provided.
The control unit 25 includes a self-position identification unit, a moving object detection unit, a database, and the like.
図３に前記移動体１０の走行環境を示す。該走行環境は天井を有する部屋３０であり、ｘｙｚ直交座標系（絶対座標系）が定められている。ｘｙ面は、部屋３０の床と同一平面を有し、ｚ軸は該床面に垂直な高さ方向と規定される。前記部屋３０内における移動体１０の位置は、座標（ｘ，ｙ）によって表現される。
前記屋内３０には、天井面若しくは壁面上方に添付された、またはポール等で空間上方に設置された、複数のランドマーク３１が設けられている。該ランドマーク３１は、少なくとも３個以上設けるものとする。前記移動体１０は該屋内３０の床部を自律走行し、前記全方位カメラ１５により前記ランドマーク３１を撮像可能としている。本実施例における移動体位置同定処理では、前記全方位カメラ１５は床面に垂直上方に向けて撮像するようにし、前記頭部傾倒制御装置２４により前記頭部傾倒モータ２３を制御し、前記全方位カメラ１５の向きを調整する。
FIG. 3 shows a traveling environment of the moving body 10. The traveling environment is a room 30 having a ceiling, and an xyz orthogonal coordinate system (absolute coordinate system) is defined. The xy plane has the same plane as the floor of the room 30, and the z axis is defined as a height direction perpendicular to the floor surface. The position of the moving body 10 in the room 30 is expressed by coordinates (x, y).
The indoor 30 is provided with a plurality of landmarks 31 attached above the ceiling surface or wall surface, or installed above the space with poles or the like. It is assumed that at least three landmarks 31 are provided. The moving body 10 autonomously travels on the floor portion of the indoor 30 and the landmark 31 can be imaged by the omnidirectional camera 15. In the moving body position identification process in this embodiment, the omnidirectional camera 15 captures an image vertically upward on the floor surface, the head tilt control device 24 controls the head tilt motor 23, and the omnidirectional camera 15 The direction of the orientation camera 15 is adjusted.
次に、図１及び図４を参照して本実施例１に係る自己位置同定アルゴリズムにつき説明する。まず、予め、前記ランドマーク３１の各位置を計測し、絶対座標系を基準とした３次元の登録位置座標を前記画像処理装置２０の記憶部（不図示）に事前登録しておく（Ｓ１）。
そして、前記移動体１０の概略の自己位置を予測し、探索範囲を設定する。この自己位置の予測には、例えば車輪１４の回転量と操舵角からなるオドメトリデータを前記回転計測装置１７により検出し、これを積分して自己位置と方位を検出する方法等を用いると良い。
このようにして自己位置を予測したら、前記移動体１０に搭載された前記全方位カメラ１８により天井画像（天井近傍の壁、空間を含む）を撮像する（Ｓ２）。該天井画像の一例を、図４（Ａ）に示す。
Next, a self-location identification algorithm according to the first embodiment will be described with reference to FIGS. 1 and 4. First, each position of the landmark 31 is measured in advance, and three-dimensional registered position coordinates based on the absolute coordinate system are pre-registered in a storage unit (not shown) of the image processing apparatus 20 (S1). .
And the approximate self-position of the said mobile body 10 is estimated and a search range is set. For the prediction of the self position, for example, a method of detecting the odometry data including the rotation amount and the steering angle of the wheel 14 by the rotation measuring device 17 and integrating the data to detect the self position and the direction may be used.
When the self-position is predicted in this way, a ceiling image (including a wall and space near the ceiling) is captured by the omnidirectional camera 18 mounted on the moving body 10 (S2). An example of the ceiling image is shown in FIG.
前記撮像した天井画像に対して、前記画像処理装置２０にて二値化処理等により前記ランドマーク候補点を抽出し（図４（Ｂ）参照）、該抽出したランドマーク候補点の２次元の候補点座標を算出する（Ｓ３）。このとき、例えば２次元座標系を天井画像の座標系（左上原点）とした場合、複数のランドマーク３１に対して、図４（Ｃ）に示されるようなラベル座標が得られる。
さらに、前記予測した探索範囲内において、絶対座標系上の移動体走行領域内に複数の仮想点をランダムに設定し、該仮想点に移動体１０の自己位置が存在すると仮定し、夫々の仮想点にて得られる画像上の前記ランドマーク３１の２次元座標を、前記３次元の登録位置座標から計算する（Ｓ４）。これにより、図４（Ｄ）に示されるような各ランドマーク３１の２次元座標が得られる。
The landmark candidate points are extracted from the imaged ceiling image by binarization processing or the like in the image processing device 20 (see FIG. 4B), and the extracted landmark candidate points are two-dimensionally extracted. Candidate point coordinates are calculated (S3). At this time, for example, when the two-dimensional coordinate system is the coordinate system (upper left origin) of the ceiling image, label coordinates as shown in FIG.
Further, within the predicted search range, it is assumed that a plurality of virtual points are randomly set in the moving area of the moving body on the absolute coordinate system, and that the self position of the moving body 10 exists at the virtual point. The two-dimensional coordinates of the landmark 31 on the image obtained by the points are calculated from the three-dimensional registered position coordinates (S4). Thereby, the two-dimensional coordinate of each landmark 31 as shown in FIG. 4D is obtained.
図５に、前記仮想点におけるランドマーク位置Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５と、前記天井画像から抽出したランドマーク候補点位置Ｍ１、Ｍ２、Ｍ３を示す。
前記ランドマーク位置Ｌ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５の２次元座標値と、これに最も近いランドマーク候補点Ｍ１、Ｍ２、Ｍ３の候補点座標値との距離を計算して距離評価値を計算し（Ｓ６）、全ての仮定した自己位置に対して、前記距離評価値を計算し、最も距離が小さくなる位置を移動体１０の同定位置と推定する（Ｓ７）。そして、前記制御装置２５に結果を出力する（Ｓ８）。
このように、本実施例では自己位置を仮定した仮想点を複数設定し、各仮想点におけるランドマークの２次元座標と、前記全方位カメラの撮像画像より抽出したランドマーク候補点座標とを比較し、近似解を求めるようにしているため、前記ランドマークの個々の識別を必要とせず、また前記全方位カメラ１８により全てのランドマークが撮像できない場合においても、安定して自己位置を同定することができる。
勿論、本実施例においても前記ランドマーク３１を個々に異なる形状とし、画像処理上で個々のランドマーク３１を識別可能としても良く、これにより、より一層精度良く自己位置を同定することができる。
FIG. 5 shows landmark positions L 1 , L 2 , L 3 , L 4 , and L 5 at the virtual point, and landmark candidate point positions M 1 , M 2 , and M 3 extracted from the ceiling image.
The distance between the two-dimensional coordinate values of the landmark positions L 1 , L 2 , L 3 , L 4 , and L 5 and the candidate point coordinate values of the landmark candidate points M 1 , M 2 , and M 3 that are closest thereto The distance evaluation value is calculated and calculated (S6), the distance evaluation value is calculated for all assumed self-positions, and the position where the distance becomes the smallest is estimated as the identification position of the mobile body 10 (S7). . Then, the result is output to the control device 25 (S8).
In this way, in this embodiment, a plurality of virtual points assuming the self-position are set, and the two-dimensional coordinates of the landmarks at each virtual point are compared with the landmark candidate point coordinates extracted from the captured image of the omnidirectional camera. In addition, since the approximate solution is obtained, it is not necessary to individually identify the landmarks, and even when all the landmarks cannot be imaged by the omnidirectional camera 18, the self-position is stably identified. be able to.
Of course, also in this embodiment, the landmarks 31 may have different shapes so that the individual landmarks 31 can be identified in the image processing, whereby the self-position can be identified with higher accuracy.
また、前記ランドマーク３１の別の実施例として、以下の構成の何れか、若しくはこれらを組み合わせた構成を採用することができる。
まず第１の構成として、前記ランドマーク３１を光反射シートとするとともに、前記移動体１０に搭載された全方位カメラ１８の近傍に前記ＬＥＤ照明２１を設ける構成が挙げられる。これは、前記照射制御装置２２により該ＬＥＤ照明２１を点滅させて、前記全方位カメラ１８により、前記ＬＥＤ照明２１を照射した時と照射しない時の画像を撮像し、差分画像の変化率により前記ランドマーク３１を抽出する。これにより、ランドマークを正確に抽出でき、かつ該抽出する画像処理が容易となる。尚、前記ＬＥＤ照明２１は、赤外光を照射する照明としても良く、このとき前記光反射シートは赤外光のみを選択的に反射する材料を用いる。赤外光は人間の目には見えないため、一般家庭の部屋等に設置しても邪魔にならない利点がある。
さらに、この第１の構成において、前記反射シートを個々に異なる形状とすることが好適である。画像処理において、個々の反射シートを識別し、個々のランドマーク３１の計算された座標と、画像上で得られた座標との距離を評価する。これにより、ランドマーク３１のミスマッチによる同定失敗を避けることができる。
Further, as another embodiment of the landmark 31, any one of the following configurations or a combination of these can be employed.
First, as the first configuration, there is a configuration in which the landmark 31 is a light reflecting sheet and the LED illumination 21 is provided in the vicinity of the omnidirectional camera 18 mounted on the moving body 10. The illumination control device 22 blinks the LED illumination 21, and the omnidirectional camera 18 captures images when the LED illumination 21 is illuminated and when it is not illuminated. The landmark 31 is extracted. As a result, the landmark can be accurately extracted, and the image processing to be extracted becomes easy. In addition, the said LED illumination 21 is good also as illumination which irradiates infrared light, and the said light reflection sheet uses the material which selectively reflects only infrared light at this time. Since infrared light is invisible to the human eye, there is an advantage that it does not get in the way even if it is installed in a room at home.
Furthermore, in the first configuration, it is preferable that the reflection sheets have different shapes. In image processing, each reflective sheet is identified, and the distance between the calculated coordinates of each landmark 31 and the coordinates obtained on the image is evaluated. Thereby, the identification failure due to the mismatch of the landmark 31 can be avoided.
また、第２の構成として、前記ランドマーク３１を点滅するＬＥＤで形成する構成が挙げられる。そして、ＬＥＤが点灯している時と消灯している時の画像を撮像し、差分画像の変化率により前記ランドマーク３１を抽出する。これにより、ランドマーク抽出の画像処理が容易となる。
さらにまた、この第２の構成において、前記ＬＥＤの色や点滅パターンを個々に異なるものにすることが好適である。このように、異なるＬＥＤ種類とすることにより、画像処理で個々を識別し、画像上で得られた座標との距離を評価する。これにより、ランドマーク３１のミスマッチによる同定失敗を避けることができる。
Further, as a second configuration, a configuration in which the landmark 31 is formed by a blinking LED can be given. Then, images are taken when the LED is on and off, and the landmark 31 is extracted based on the change rate of the difference image. This facilitates landmark extraction image processing.
Furthermore, in the second configuration, it is preferable that the colors and blinking patterns of the LEDs are individually different. In this way, by using different LED types, each is identified by image processing, and the distance from the coordinates obtained on the image is evaluated. Thereby, the identification failure due to the mismatch of the landmark 31 can be avoided.
さらに、第３の構成として、前記ランドマーク３１を事前登録画像ブロックとしても良い。これは壁面や天井に存在する、画像として特徴のある場所を選択しておき、前記事前登録画像とのマッチングによりランドマークとして抽出する。これにより、特別なランドマークを設置する必要がなく、かつランドマークのミスマッチによる同定の失敗を回避することができる。
また、第４の構成として、前記ランドマーク３１を、移動体の充電ステーションと一体化して設置する構成が挙げられる。これにより、充電ステーションへの侵入において、精度良い自己位置同定が可能となり、さらに、前記充電ステーションが移動しても、ランドマークが一体化しているため、充電ステーションとの相対位置関係の自己位置同定が簡単に行なえる。
Furthermore, as a third configuration, the landmark 31 may be a pre-registered image block. In this case, a place having a characteristic as an image existing on a wall surface or a ceiling is selected and extracted as a landmark by matching with the pre-registered image. Thereby, it is not necessary to install a special landmark, and it is possible to avoid an identification failure due to a mismatch of the landmark.
Further, as a fourth configuration, there is a configuration in which the landmark 31 is installed integrally with a charging station of a moving body. This enables accurate self-position identification when entering the charging station. Furthermore, even if the charging station moves, the landmarks are integrated so that the self-position identification relative to the charging station can be performed. Is easy to do.
次に、図２に示した移動体の構成により、前記移動体１０の周囲に存在する移動対象物を検出する処理につき、図６及び図７を参照して説明する。
図６は本実施例に係る人検知アルゴリズムを示すフロー、図７は本実施例に係る全方位カメラの撮像画像からの移動対象物抽出処理を示すフローである。本実施例では、検出する移動対象を人としているが、これに限定されるものではない。
図６を参照して、まず初期化３次元空間上に、仮想的な計測点（particle）をランダムな配置で多数設定する（Ｓ２０）。前記全方位カメラ１８及び前方カメラ１９にて撮像した画像を夫々前記画像処理装置２０に読み込み（Ｓ２１）、前記設定した各particle位置を、全方位カメラ画像及び前方カメラ画像の点に座標変換する（Ｓ２２）。このとき、前記各カメラの位置、向きを移動体１０の位置姿勢、及び前記頭部傾倒モータ２３の角度に基づき前記頭部傾倒制御装置２４により計算しておく。
Next, with reference to FIGS. 6 and 7, processing for detecting a moving object existing around the moving body 10 with the configuration of the moving body shown in FIG. 2 will be described.
FIG. 6 is a flow showing a human detection algorithm according to the present embodiment, and FIG. 7 is a flow showing moving object extraction processing from an image captured by the omnidirectional camera according to the present embodiment. In this embodiment, the movement target to be detected is a person, but the present invention is not limited to this.
Referring to FIG. 6, first, a large number of virtual measurement points (particles) are set in a random arrangement on the initialized three-dimensional space (S20). Images taken by the omnidirectional camera 18 and the front camera 19 are read into the image processing device 20 (S21), and the set particle positions are coordinate-converted to points of the omnidirectional camera image and the front camera image (S21). S22). At this time, the position and orientation of each camera is calculated by the head tilt control device 24 based on the position and orientation of the moving body 10 and the angle of the head tilt motor 23.
次に、前記全方位カメラ画像により移動対象の検知処理を行う（Ｓ２３）。これは、該全方位カメラ画像のフレーム間差分処理を行なって移動領域を抽出し、該移動領域を２値化して移動対象物を検知する。
ここで、前記移動対象物の検知処理の詳細なアルゴリズムを図７に示す。
まず、前記全方位カメラ画像よりブロック単位で画像特徴量を抽出する（Ｓ４０）。さらに、時系列的に連続する２画像を取り出し、該２画像間で変化有りのブロックを抽出する（Ｓ４１）。そして、変化有りのブロック数が予め設定した閾値より小さい場合には、ブロック座標リストを出力する（Ｓ４３）。
前記移動対象検知処理を行なった後、前記設定した各particleの全方位カメラ画像内に投影された座標位置に対して、その点が移動領域であるかどうかを、前記抽出したブロック座標リストを用いて評価し、スコア化する（Ｓ２４）。
Next, a moving object detection process is performed using the omnidirectional camera image (S23). In this method, an inter-frame difference process of the omnidirectional camera image is performed to extract a moving area, and the moving area is binarized to detect a moving object.
Here, the detailed algorithm of the detection process of the said moving target object is shown in FIG.
First, an image feature amount is extracted in block units from the omnidirectional camera image (S40). Further, two images that are continuous in time series are extracted, and a block having a change between the two images is extracted (S41). If the number of changed blocks is smaller than a preset threshold value, a block coordinate list is output (S43).
After performing the moving object detection process, the extracted block coordinate list is used to determine whether or not the point is a moving region with respect to the coordinate position projected in the omnidirectional camera image of each set particle. Are evaluated and scored (S24).
一方、前記全方位カメラ画像による移動体検知処理と同時に、前記前方カメラ画像による移動体検知を行なう。まず、前記設定された各particleの前方カメラ画像内に投影された各座標位置に対して、顔候補領域サイズを設定しておく（Ｓ２５）。
さらに、前記設定した夫々の顔候補領域に対して、フレーム間差分処理を行なって移動領域を抽出し、該移動領域を２値化して移動対象物の有無を検知する（Ｓ２６）。そして、前記投影された各particleに対して、その点が移動領域であるかどうかを評価し、スコア化する（Ｓ２７）。
同様に前記設定した顔候補領域に対して、肌色抽出処理を行ない（Ｓ２８）、投影された各particleに対して肌色抽出処理の評価値に基づき肌色らしさを評価し、スコア化する（Ｓ２９）。
また同様に前記設定した顔候補領域に対して、形状識別による顔検知処理を行ない（Ｓ３０）、投影された各particleに対して顔類似度に基づき顔らしさを評価し、スコア化する（Ｓ３１）。
On the other hand, simultaneously with the moving object detection process based on the omnidirectional camera image, the moving object detection based on the front camera image is performed. First, a face candidate area size is set for each coordinate position projected in the front camera image of each set particle (S25).
Further, the inter-frame difference process is performed on each of the set face candidate areas to extract a moving area, and the moving area is binarized to detect the presence or absence of a moving object (S26). Then, for each projected particle, it is evaluated whether the point is a moving region and scored (S27).
Similarly, skin color extraction processing is performed on the set face candidate region (S28), and the likelihood of skin color is evaluated based on the evaluation value of the skin color extraction processing for each projected particle and scored (S29).
Similarly, face detection processing based on shape identification is performed on the set face candidate area (S30), and the likelihood of a face is evaluated based on the face similarity for each projected particle and scored (S31). .
次に、前記全方位カメラ画像による移動体検知から導出された出力スコアと、前記前方カメラ画像による移動対象物検知、肌色らしさ、顔らしさの出力スコアに基づき、各particleに対して、全方位カメラによる人物らしさ評価値：val(f)、及び前方カメラによる人物らしさ評価値：val(e)が求められるため、両者の積（val(f)＊val(e)）によりそのparticleの評価値pとする（評価値が高い程、人物らしい）。
さらに、上記のようにして求めた全particleの評価値を正規化して重みとし、各particleの３次元座標値を重み付け平均化することにより、３次元位置を算出する（Ｓ３２）。これは、前記particleの３次元座標を[Xi，Yi，Zi]とし、その評価値をpi、正規化された評価値（重み）をwiとすると、時刻ｔにおける３次元位置[Xt，Yt，Zt]は、下記式となる。
particleのスコア：pi
particleの重み：wi = pi／Σpi
Xt = Σwi＊Xi， Yt = Σwi＊Yi， Zt = Σwi＊Zi
Next, based on the output score derived from the moving object detection by the omnidirectional camera image and the moving object detection by the front camera image, the skin color-likeness, and the face-likeness output score, an omnidirectional camera for each particle The person-likeness evaluation value by: val (f) and the person-likeness evaluation value by the front camera: val (e) are obtained, so the evaluation value p of the particle by the product (val (f) * val (e)) (The higher the evaluation value, the more likely it is to be a person).
Further, the three-dimensional position is calculated by normalizing the evaluation values of all the particles obtained as described above as weights and averaging the three-dimensional coordinate values of each particle (S32). When the three-dimensional coordinates of the particle are [Xi, Yi, Zi], the evaluation value is pi, and the normalized evaluation value (weight) is wi, the three-dimensional position [Xt, Yt, Zt] is represented by the following formula.
particle score: pi
Particle weight: wi = pi / Σpi
Xt = Σwi * Xi, Yt = Σwi * Yi, Zt = Σwi * Zi
時刻t+1の位置は、[Xi，Yi，Zi]を中心として、その近傍にランダムに新たにparticleを設定して（Ｓ３３）、前記全方位カメラ画像及び前方カメラ画像の読み込み（Ｓ２１）〜時刻ｔ+1における３次元位置の算出（Ｓ３２）までの処理を行なう。
本実施例によれば、人の動きの時系列データの過去の履歴情報を基に、次の時刻における人の動き方向を状態推定しながら、人のシンボリックな動きを認識することにより、人の検知精度が向上する。尚、前記状態推定には、Kalman FilterやParticle Filter等の状態推定手法が利用可能である。
また、本実施例によれば、全方位カメラ１８、前方カメラ１９による撮像画像を用いて、移動対象（人）の位置情報を統合して検出することにより、精度良い移動対象（人）の検知ができる。
さらに、本実施例にて移動対象を人とした場合、人を検知する手段として、肌色らしさ情報、または顔形状類似度情報を適宜組み合わせて用いることにより、人検知の制度の向上が図れ、また移動量が少ない人であっても検知可能となる。
このように、全方位カメラ１８と前方カメラ１９を併用することにより、前方カメラ１９の視野に入っていなくても、全方位カメラ画像にて人を検知、追跡し、その方向に移動するなどして前方カメラ１８を向けることにより、顔を含む人等の移動対象物を検知することができ、より親和性の高いコミュニケーションをとることができる。
The position at time t + 1 is centered on [Xi, Yi, Zi], a new particle is randomly set in the vicinity thereof (S33), and the omnidirectional camera image and the front camera image are read (S21) to Processing up to the calculation of the three-dimensional position at time t + 1 (S32) is performed.
According to the present embodiment, based on past history information of time series data of human movement, by recognizing a person's symbolic movement while estimating the direction of movement of the person at the next time, Detection accuracy is improved. For the state estimation, a state estimation method such as Kalman Filter or Particle Filter can be used.
In addition, according to the present embodiment, accurate detection of a moving object (person) is performed by integrating and detecting position information of the moving object (person) using images captured by the omnidirectional camera 18 and the front camera 19. Can do.
Furthermore, when the movement target is a person in this embodiment, the human detection system can be improved by appropriately combining skin color likelihood information or face shape similarity information as means for detecting a person, and Even a person with a small amount of movement can be detected.
In this way, by using the omnidirectional camera 18 and the front camera 19 together, even if the omnidirectional camera 18 is not in the field of view of the front camera 19, a person can be detected and tracked in the omnidirectional camera image and moved in that direction. Then, by pointing the front camera 18, it is possible to detect a moving object such as a person including a face, and to perform communication with higher affinity.
１０ 移動体
１１ 頭部
１４ 車輪
１５ 駆動制御装置
１６ 車輪モータ
１７ 回転計測装置
１８ 全方位カメラ
１９ 前方カメラ
２０ 画像処理装置
２１ ＬＥＤ照明
２２ 照明制御装置
２３ 頭部傾倒モータ
２４ 頭部傾倒制御装置
２５ 制御装置
３１ ランドマーク
DESCRIPTION OF SYMBOLS 10 Mobile body 11 Head 14 Wheel 15 Drive control apparatus 16 Wheel motor 17 Rotation measuring apparatus 18 Omnidirectional camera 19 Front camera 20 Image processing apparatus 21 LED illumination 22 Illumination control apparatus 23 Head tilting motor 24 Head tilt control apparatus 25 Control Equipment 31 landmark
Claims (11)
予め前記複数のランドマーク位置を計測し、絶対座標系を基準とした３次元の登録位置座標として事前登録するステップと、
前記移動体に搭載された広角カメラによる上方撮像画像からランドマーク候補点を抽出し、該抽出した候補点に対応する２次元の候補点座標を算出するステップと、
絶対座標系上の移動体走行領域内に任意の仮想点を複数設定し、該仮想点に前記移動体が存在する場合に得られる画像上の前記ランドマークの２次元座標を、前記３次元の登録位置座標より夫々導出するステップと、
前記候補点座標と前記２次元座標とを夫々比較して、前記候補点座標に最も近似する２次元座標に対応する前記移動体の仮想点を、該移動体の自己位置と推定するステップと、を有することを特徴とする自己位置同定方法。 In the self-localization method for a mobile object that autonomously runs in an environment in which a plurality of landmarks are arranged indoors,
Measuring the plurality of landmark positions in advance and pre-registering them as three-dimensional registered position coordinates based on an absolute coordinate system;
Extracting landmark candidate points from an upper captured image by a wide-angle camera mounted on the moving body, and calculating two-dimensional candidate point coordinates corresponding to the extracted candidate points;
A plurality of arbitrary virtual points are set in the moving body traveling area on the absolute coordinate system, and the two-dimensional coordinates of the landmarks on the image obtained when the moving body is present at the virtual points are represented by the three-dimensional coordinates. Respectively deriving from the registered position coordinates;
Comparing the candidate point coordinates with the two-dimensional coordinates, respectively, and estimating a virtual point of the moving object corresponding to the two-dimensional coordinate closest to the candidate point coordinates as the self-position of the moving object; A self-localization method characterized by comprising:
予め前記複数のランドマーク位置を計測し、絶対座標系を基準とした３次元の登録位置座標として事前登録する手段と、
前記移動体に搭載された広角カメラによる上方撮像画像からランドマーク候補点を抽出し、該抽出した候補点に対応する２次元の候補点座標を算出する手段と、
絶対座標系上の移動体走行領域内に任意の仮想点を複数設定し、該仮想点に前記移動体が存在する場合に得られる画像上の前記ランドマークの２次元座標を、前記３次元の登録位置座標より夫々導出する手段と、
前記候補点座標と前記２次元座標とを夫々比較して、前記候補点座標に最も近似する２次元座標に対応する前記移動体の仮想点を、該移動体の自己位置と推定する手段と、を備えたことを特徴とする自己位置同定装置。 In the self-localization device for a mobile object that autonomously travels in an environment in which a plurality of landmarks are arranged indoors,
Means for previously measuring the plurality of landmark positions and pre-registering them as three-dimensional registration position coordinates based on an absolute coordinate system;
Means for extracting landmark candidate points from an upper captured image by a wide-angle camera mounted on the moving body, and calculating two-dimensional candidate point coordinates corresponding to the extracted candidate points;
A plurality of arbitrary virtual points are set in the moving body traveling area on the absolute coordinate system, and the two-dimensional coordinates of the landmarks on the image obtained when the moving body is present at the virtual points are represented by the three-dimensional coordinates. Means for deriving from the registered position coordinates respectively;
Means for comparing the candidate point coordinates with the two-dimensional coordinates, respectively, and estimating the moving object's virtual point corresponding to the two-dimensional coordinates closest to the candidate point coordinates as the self-position of the moving object; A self-position identification device comprising:
前記候補点座標を算出する手段が、前記広角カメラにて前記ランドマーク候補点を抽出する際に、光反射シートで形成された前記ランドマークに対して前記発光手段を点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする請求項７記載の自己位置同定装置。 The moving body includes a light emitting unit, and the landmark is formed of a light reflecting sheet.
When the means for calculating the candidate point coordinates extracts the landmark candidate point with the wide-angle camera, the light-emitting means blinks with respect to the landmark formed with a light reflecting sheet, and the wide-angle camera The self-position identification device according to claim 7, wherein the landmark candidate point is extracted using an image difference of a captured image.
8. The self-position identification device according to claim 7, wherein the landmark is integrated with a charging station of the mobile body.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004134492A JP4264380B2 (en) | 2004-04-28 | 2004-04-28 | Self-position identification method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004134492A JP4264380B2 (en) | 2004-04-28 | 2004-04-28 | Self-position identification method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005315746A true JP2005315746A (en) | 2005-11-10 |
| JP4264380B2 JP4264380B2 (en) | 2009-05-13 |
Family
ID=35443330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004134492A Expired - Lifetime JP4264380B2 (en) | 2004-04-28 | 2004-04-28 | Self-position identification method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4264380B2 (en) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100749923B1 (en) | 2005-12-08 | 2007-08-21 | 한국전자통신연구원 | Localization system of mobile robot based on camera and landmarks and method there of |
| JP2007249632A (en) * | 2006-03-16 | 2007-09-27 | Fujitsu Ltd | Mobile robot moving autonomously under environment with obstruction, and control method for mobile robot |
| JP2007257226A (en) * | 2006-03-23 | 2007-10-04 | Honda Motor Co Ltd | Self-location detection device and system for traveling object |
| WO2007113956A1 (en) * | 2006-03-31 | 2007-10-11 | Murata Kikai Kabushiki Kaisha | Estimation device, estimation method and estimation program for position of mobile unit |
| JP2007316966A (en) * | 2006-05-26 | 2007-12-06 | Fujitsu Ltd | Mobile robot, control method thereof and program |
| KR100784125B1 (en) | 2006-09-28 | 2007-12-12 | 전자부품연구원 | Method for extracting coordinates of landmark of mobile robot with a single camera |
| KR100854653B1 (en) | 2006-05-12 | 2008-08-27 | 주식회사 한울로보틱스 | Localization system of the mobile robot using the charging station |
| JP2008229834A (en) * | 2007-03-20 | 2008-10-02 | Samsung Electronics Co Ltd | Position recognition method for mobile robot |
| JP2009544966A (en) * | 2006-07-27 | 2009-12-17 | 韓國電子通信研究院 | Position calculation system and method using linkage between artificial sign and odometry |
| JP2010033447A (en) * | 2008-07-30 | 2010-02-12 | Toshiba Corp | Image processor and image processing method |
| JP2010539581A (en) * | 2007-09-12 | 2010-12-16 | アジョン ユニバーシティ インダストリー コーポレーション ファウンデーション | Self-position recognition method using parallel projection model |
| KR20120001532A (en) * | 2010-06-29 | 2012-01-04 | 삼성전자주식회사 | Apparatus for reconizing location using range signal and method thereof |
| JP2013508874A (en) * | 2009-10-30 | 2013-03-07 | ユージン ロボット シーオー．， エルティーディー． | Map generation and update method for mobile robot position recognition |
| KR101448500B1 (en) * | 2013-04-17 | 2014-10-16 | 전자부품연구원 | Camera based apparatus for travelling on outer wall and method for tracking position thereof |
| WO2016016955A1 (en) * | 2014-07-30 | 2016-02-04 | 株式会社日立製作所 | Autonomous mobile device and current location self-estimation method |
| JP2018044793A (en) * | 2016-09-12 | 2018-03-22 | 株式会社リコー | Information processing system, position information management server, information processing method, and program |
| WO2019116784A1 (en) | 2017-12-12 | 2019-06-20 | ソニー株式会社 | Information processing device, moving body, control system, information processing method, and program |
| JP2019220035A (en) * | 2018-06-22 | 2019-12-26 | 株式会社明電舎 | Unmanned guided vehicle, global map creation system for unmanned guided vehicle, and global map creation method |
| WO2020137110A1 (en) * | 2018-12-27 | 2020-07-02 | クラリオン株式会社 | Movement amount estimation device |
| JP2020139273A (en) * | 2019-02-26 | 2020-09-03 | センクシア株式会社 | Self-travelling robot and marking method using the same |
| JP2020139274A (en) * | 2019-02-26 | 2020-09-03 | センクシア株式会社 | Self-travelling robot and marking method using the same |
| CN111630465A (en) * | 2017-11-22 | 2020-09-04 | 轨迹机器人公司 | Docking positioning of robot charger |
| CN111758118A (en) * | 2020-05-26 | 2020-10-09 | 蜂图科技有限公司 | Visual positioning method, device and equipment and readable storage medium |
| JP2021042978A (en) * | 2019-09-06 | 2021-03-18 | 日本電気株式会社 | Measuring device and measuring method |
| JP2021515881A (en) * | 2018-03-14 | 2021-06-24 | 京東方科技集團股▲ふん▼有限公司Ｂｏｅ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ Ｃｏ．，Ｌｔｄ． | Positioning methods, positioning devices, and computer program products |
| JP2022050929A (en) * | 2020-09-18 | 2022-03-31 | カシオ計算機株式会社 | Mobile object positioning device, mobile object positioning method and program |
| CN114729807A (en) * | 2020-11-30 | 2022-07-08 | 深圳市大疆创新科技有限公司 | Positioning method, positioning device, movable platform, landmark and landmark array |
| JP7350671B2 (en) | 2020-02-25 | 2023-09-26 | 三菱重工業株式会社 | Position estimation device, control device, industrial vehicle, logistics support system, position estimation method and program |
-
2004
- 2004-04-28 JP JP2004134492A patent/JP4264380B2/en not_active Expired - Lifetime
Cited By (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100749923B1 (en) | 2005-12-08 | 2007-08-21 | 한국전자통신연구원 | Localization system of mobile robot based on camera and landmarks and method there of |
| JP2007249632A (en) * | 2006-03-16 | 2007-09-27 | Fujitsu Ltd | Mobile robot moving autonomously under environment with obstruction, and control method for mobile robot |
| JP2007257226A (en) * | 2006-03-23 | 2007-10-04 | Honda Motor Co Ltd | Self-location detection device and system for traveling object |
| KR101013392B1 (en) | 2006-03-31 | 2011-02-14 | 무라타 기카이 가부시키가이샤 | Estimation device, estimation method and estimation program for position of mobile unit |
| WO2007113956A1 (en) * | 2006-03-31 | 2007-10-11 | Murata Kikai Kabushiki Kaisha | Estimation device, estimation method and estimation program for position of mobile unit |
| JP4753103B2 (en) * | 2006-03-31 | 2011-08-24 | 村田機械株式会社 | MOBILE POSITION ESTIMATION DEVICE, ESTIMATION METHOD, AND ESTIMATION PROGRAM |
| KR100854653B1 (en) | 2006-05-12 | 2008-08-27 | 주식회사 한울로보틱스 | Localization system of the mobile robot using the charging station |
| JP2007316966A (en) * | 2006-05-26 | 2007-12-06 | Fujitsu Ltd | Mobile robot, control method thereof and program |
| JP2009544966A (en) * | 2006-07-27 | 2009-12-17 | 韓國電子通信研究院 | Position calculation system and method using linkage between artificial sign and odometry |
| KR100784125B1 (en) | 2006-09-28 | 2007-12-12 | 전자부품연구원 | Method for extracting coordinates of landmark of mobile robot with a single camera |
| JP2008229834A (en) * | 2007-03-20 | 2008-10-02 | Samsung Electronics Co Ltd | Position recognition method for mobile robot |
| JP4572240B2 (en) * | 2007-03-20 | 2010-11-04 | 三星電子株式会社 | Mobile robot and mobile robot position recognition method |
| US8588512B2 (en) | 2007-03-20 | 2013-11-19 | Samsung Electronics Co., Ltd. | Localization method for a moving robot |
| JP2010539581A (en) * | 2007-09-12 | 2010-12-16 | アジョン ユニバーシティ インダストリー コーポレーション ファウンデーション | Self-position recognition method using parallel projection model |
| JP2010033447A (en) * | 2008-07-30 | 2010-02-12 | Toshiba Corp | Image processor and image processing method |
| JP2013508874A (en) * | 2009-10-30 | 2013-03-07 | ユージン ロボット シーオー．， エルティーディー． | Map generation and update method for mobile robot position recognition |
| US8849036B2 (en) | 2009-10-30 | 2014-09-30 | Yujin Robot Co., Ltd. | Map generating and updating method for mobile robot position recognition |
| KR20120001532A (en) * | 2010-06-29 | 2012-01-04 | 삼성전자주식회사 | Apparatus for reconizing location using range signal and method thereof |
| KR101663650B1 (en) * | 2010-06-29 | 2016-10-07 | 삼성전자주식회사 | Apparatus for reconizing location using range signal and method thereof |
| KR101448500B1 (en) * | 2013-04-17 | 2014-10-16 | 전자부품연구원 | Camera based apparatus for travelling on outer wall and method for tracking position thereof |
| WO2016016955A1 (en) * | 2014-07-30 | 2016-02-04 | 株式会社日立製作所 | Autonomous mobile device and current location self-estimation method |
| JPWO2016016955A1 (en) * | 2014-07-30 | 2017-04-27 | 株式会社日立製作所 | Autonomous mobile device and self-position estimation method |
| US20170205832A1 (en) * | 2014-07-30 | 2017-07-20 | Hitachi, Ltd. | Autonomous moving device and self position estimation method |
| US10061324B2 (en) * | 2014-07-30 | 2018-08-28 | Hitachi, Ltd. | Autonomous moving device and self position estimation method |
| JP2018044793A (en) * | 2016-09-12 | 2018-03-22 | 株式会社リコー | Information processing system, position information management server, information processing method, and program |
| JP7134234B2 (en) | 2017-11-22 | 2022-09-09 | ローカス ロボティクス コーポレイション | Robot charger docking self localization |
| JP2021504794A (en) * | 2017-11-22 | 2021-02-15 | ローカス ロボティクス コーポレイション | Robot charger docking self-position estimation |
| CN111630465A (en) * | 2017-11-22 | 2020-09-04 | 轨迹机器人公司 | Docking positioning of robot charger |
| US11698642B2 (en) | 2017-12-12 | 2023-07-11 | Sony Corporation | Information processing apparatus, mobile object, control system, and information processing method |
| KR20200096518A (en) | 2017-12-12 | 2020-08-12 | 소니 주식회사 | Information processing device, moving object, control system, information processing method and program |
| WO2019116784A1 (en) | 2017-12-12 | 2019-06-20 | ソニー株式会社 | Information processing device, moving body, control system, information processing method, and program |
| JP7246395B2 (en) | 2018-03-14 | 2023-03-27 | 京東方科技集團股▲ふん▼有限公司 | POSITIONING METHOD, POSITIONING DEVICE, AND COMPUTER PROGRAM PRODUCT |
| JP2021515881A (en) * | 2018-03-14 | 2021-06-24 | 京東方科技集團股▲ふん▼有限公司Ｂｏｅ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ Ｃｏ．，Ｌｔｄ． | Positioning methods, positioning devices, and computer program products |
| JP2019220035A (en) * | 2018-06-22 | 2019-12-26 | 株式会社明電舎 | Unmanned guided vehicle, global map creation system for unmanned guided vehicle, and global map creation method |
| US11814056B2 (en) | 2018-12-27 | 2023-11-14 | Faurecia Clarion Electronics Co., Ltd. | Travel amount estimation apparatus |
| JP2020106357A (en) * | 2018-12-27 | 2020-07-09 | クラリオン株式会社 | Movement amount estimating device |
| WO2020137110A1 (en) * | 2018-12-27 | 2020-07-02 | クラリオン株式会社 | Movement amount estimation device |
| JP7171425B2 (en) | 2018-12-27 | 2022-11-15 | フォルシアクラリオン・エレクトロニクス株式会社 | Movement estimation device |
| JP7274889B2 (en) | 2019-02-26 | 2023-05-17 | センクシア株式会社 | SELF-PROPELLED ROBOT AND MARKING METHOD USING THE SAME |
| JP7240897B2 (en) | 2019-02-26 | 2023-03-16 | センクシア株式会社 | SELF-PROPELLED ROBOT AND MARKING METHOD USING THE SAME |
| JP2020139274A (en) * | 2019-02-26 | 2020-09-03 | センクシア株式会社 | Self-travelling robot and marking method using the same |
| JP2020139273A (en) * | 2019-02-26 | 2020-09-03 | センクシア株式会社 | Self-travelling robot and marking method using the same |
| JP2021042978A (en) * | 2019-09-06 | 2021-03-18 | 日本電気株式会社 | Measuring device and measuring method |
| JP7363225B2 (en) | 2019-09-06 | 2023-10-18 | 日本電気株式会社 | Measuring device, measuring system, measuring method and program |
| JP7350671B2 (en) | 2020-02-25 | 2023-09-26 | 三菱重工業株式会社 | Position estimation device, control device, industrial vehicle, logistics support system, position estimation method and program |
| CN111758118A (en) * | 2020-05-26 | 2020-10-09 | 蜂图科技有限公司 | Visual positioning method, device and equipment and readable storage medium |
| CN111758118B (en) * | 2020-05-26 | 2024-04-16 | 蜂图志科技控股有限公司 | Visual positioning method, device, equipment and readable storage medium |
| JP2022050929A (en) * | 2020-09-18 | 2022-03-31 | カシオ計算機株式会社 | Mobile object positioning device, mobile object positioning method and program |
| US11900632B2 (en) | 2020-09-18 | 2024-02-13 | Casio Computer Co., Ltd. | Moving body position determination device, moving body position determination method, and moving body position determination system |
| CN114729807A (en) * | 2020-11-30 | 2022-07-08 | 深圳市大疆创新科技有限公司 | Positioning method, positioning device, movable platform, landmark and landmark array |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4264380B2 (en) | 2009-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4264380B2 (en) | Self-position identification method and apparatus | |
| US9911226B2 (en) | Method for cleaning or processing a room by means of an autonomously mobile device | |
| WO2019138836A1 (en) | Information processing device, information processing system, information processing method, and program | |
| KR100790860B1 (en) | Human tracking apparatus and method thereof, and recording media and removing electronic system therefor | |
| US8265425B2 (en) | Rectangular table detection using hybrid RGB and depth camera sensors | |
| US7684894B2 (en) | Autonomously moving robot | |
| JP4753103B2 (en) | MOBILE POSITION ESTIMATION DEVICE, ESTIMATION METHOD, AND ESTIMATION PROGRAM | |
| WO2008013355A1 (en) | System and method for calculating location using a combination of odometry and landmarks | |
| JP2008200770A (en) | Robot, and control method thereof | |
| JP4042517B2 (en) | Moving body and position detection device thereof | |
| JP5221939B2 (en) | POSITION SPECIFICATION DEVICE, OPERATION INSTRUCTION DEVICE, AND SELF-RUNNING ROBOT | |
| JP2006234453A (en) | Method of registering landmark position for self-position orientation | |
| JP5085230B2 (en) | Mobile system | |
| Fernández et al. | Guidance of a mobile robot using an array of static cameras located in the environment | |
| CN114252071A (en) | Self-propelled vehicle navigation device and method thereof | |
| KR100784125B1 (en) | Method for extracting coordinates of landmark of mobile robot with a single camera | |
| Frese et al. | Multi-sensor obstacle tracking for safe human-robot interaction | |
| Nagai et al. | Path tracking by a mobile robot equipped with only a downward facing camera | |
| Naser et al. | Infrastructure-free NLoS obstacle detection for autonomous cars | |
| KR100593503B1 (en) | Position recognition device and method of mobile robot | |
| Rostkowska et al. | Improving self-localization efficiency in a small mobile robot by using a hybrid field of view vision system | |
| Milella et al. | Model-based relative localization for cooperative robots using stereo vision | |
| Jia et al. | Vision based target tracking for autonomous land vehicle navigation: a brief survey | |
| Wang et al. | Real-time human body motion estimation based on multi-layer laser scans | |
| KR101248308B1 (en) | Method for recognizing the self position of a mobile robot unit using the lamp directionality on the ceiling image/feature map and mobile robot unit using the method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080912 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090123 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4264380 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |