JP2001522079A - 一次元カメラを備えた可動性ユニットの所在位置決定及びその誘導のための方法並びに装置 - Google Patents

一次元カメラを備えた可動性ユニットの所在位置決定及びその誘導のための方法並びに装置

Info

Publication number
JP2001522079A
JP2001522079A JP2000519338A JP2000519338A JP2001522079A JP 2001522079 A JP2001522079 A JP 2001522079A JP 2000519338 A JP2000519338 A JP 2000519338A JP 2000519338 A JP2000519338 A JP 2000519338A JP 2001522079 A JP2001522079 A JP 2001522079A
Authority
JP
Japan
Prior art keywords
beacon
respect
beacons
mobile
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000519338A
Other languages
English (en)
Inventor
パラン，ミシェル
ガリーノ，ダヴィッド
Original Assignee
アンリア・インスティテュ・ナショナル・ド・ルシェルシュ・アン・アンフォマティーク・エ・アン・オートマティーク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アンリア・インスティテュ・ナショナル・ド・ルシェルシュ・アン・アンフォマティーク・エ・アン・オートマティーク filed Critical アンリア・インスティテュ・ナショナル・ド・ルシェルシュ・アン・アンフォマティーク・エ・アン・オートマティーク
Publication of JP2001522079A publication Critical patent/JP2001522079A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 道路に沿った経路を予測するのが不可能とされる。 【解決手段】 断続的に発光したビーコンに対して相対的に可動性ユニットの所在位置を決定する方法は、可動性ユニットの動きに関係するデータに基づいて、同一画像領域における二つの一次元画像を逐一引き算することによって得られた一次元バレッタ上で不連続散乱の位置（ｅ）と、位置（ｅ）の微分係数とを計算することにある。二つの一次元画像のうち一方ではビーコンが輝き、他方では輝かない。そのデータに基づいて、こうして表示されたビーコン（Ｂ１）と可動性ユニットに関する点（Ａ）とを分離する距離（Ｄ１）は打ち消され、ビーコンの角度は可動性ユニットにリンクされた点に関係している。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一次元カメラを備えた移動体の所在位置決定及び誘導に関する。
【０００２】 それは、道路に沿って操縦する動力車の所在位置決定及び（又は）誘導におけ
る一つの応用である。その道路に沿って基準経路を形成する複数の固定ビーコン
が分配されている。そのビーコンは、活発（断続的に放出するソース）、又は不
活発（フラッシュによって照らされた逆反射ビーコン）で断続的に照らされてい
る。
【０００３】
【従来の技術】
動力車の所在位置を決定し、且つ誘導するために多くの技術が既に公知となっ
ている。
【０００４】 これらの技術のうち一つは、「ワイヤ誘導」装置として知られ、地面に埋設さ
れ、且つ選択した振動数で動力を供給された伝導性ワイヤに、動力車を継続的に
束縛することにある。
【０００５】 別の公知技術は、地面に埋設された磁気マーカーに、動力車を束縛することに
ある。動力車が前記磁気マーカーを通過すると、動力車のボード上の一つ又はそ
れ以上の検出器が磁気マーカーの存在を検出する。それ故に、磁気マーカーで動
力車の所在位置を示すことが可能となる。
【０００６】 更に別の公知技術は、道路沿いに置かれた放射状ケーブルに沿ってワイヤ誘導
を提供することにある。動力車は道路に沿って移動する。動力車のボード上のセ
ンサがケーブルと動力車との間の距離を決定する。動力車を束縛することによっ
て、この距離が一定値に維持される。
【０００７】 そのような技術は、地面内及び動力車内で実行するために一般的に高価なイン
フラストラクチャを必要とする不都合を持っていた。更に、これらの技術は、道
路（ルート）において動力車の直近部分沿いにだけ情報を提供している。その結
果、この情報によって、道路に沿った経路を予測するのが不可能とされる。これ
により、動力車の速度を規制するのに使用すべき次の経路が妨げられている。
【０００８】 他の公知技術は、道路上で白線のような基準の目視点に関して移動体の所在位
置を決定する画像処理を使用している。しかしながら、画像処理を混乱させる欠
陥マーキング（くすんだ白線、道路工事、水たまり、太陽からの反射）のため、
この技術もまた満足できない。
【０００９】
【発明が解決しようとする課題】
本発明はこれらの問題に対する解決法を提供する。
【００１０】
【課題を解決するための手段】
本発明は、光電性素子の直線状アレイを有し、移動体に設けられた基準軸に関
して既知方向に向けられたカメラと、画像処理と、移動体の動きに関する情報を
捕獲するための手段と備えた移動体の所在位置を決定する方法から出発している
。
【００１１】 本発明の一般的な定義によれば、方法は、 ａ）移動体の移動中における領域内に、活発又は不活発的に断続的に照らす固定
ビーコンを分配し、 ｂ）移動体で、同一画像分野における一対の異なる一次元画像を選択速度で撮影
し、該一対の画像のうち一方では一つ又は複数のビーコンが照らされ、他方では
一つ又は複数のビーコンが照らされず、 ｃ）他方から一方を逐一引き算することによって一対の一次元画像を処理し、 ｄ）二つの一次元画像の引き算から少なくとも一つの輝き地点を得て、該輝き地
点が周囲状況内で少なくとも一つの発光ビーコンを表示し、 ｅ）移動体の動きに関する情報に基づいて、直線状アレイの輝き地点の位置とそ
の微分係数とを計算し、表示されたビーコンと移動体に設けられた基準系とを分
離する距離に関する情報の第１アイテムと、移動体に設けられた前記基準系に関
してビーコンの関する情報の第２アイテムとにより、計算された第１及び第２ア
イテムの関数として、前記ビーコンに関して相対的関係で移動体の所在位置を決
定するステップを有している。
【００１２】 本発明の第１の実施の態様によれば、ステップｅ）は、更に、同時に確認可能
な二つの分離ビーコンに設けられた固定基準系に関して絶対的関係で移動体の所
在位置を決定することを有し、前記絶対的位置が、一回の既定瞬間で、上述され
たような各ビーコンに関して相対的位置と、二つのビーコンに関して移動体の進
行方向と、二つのビーコンに設けられた前記固定基準系に関して移動体の選択点
の座標とを計算することにある。
【００１３】 本発明の第２の実施の態様によれば、ステップｅ）が、更に、移動体の移動中
に少なくとも順番に確認可能な二つのビーコンに設けられた固定基準系に関して
絶対的関係で移動体の所在位置を決定することを備え、前記絶対的位置が、第１
既定瞬間で、上述されたような第１ビーコンを計算し、第１既定瞬間後の第２既
定瞬間で、上述されたように、移動体の進行方向へ第１ビーコンに従う第２ビー
コンに関して移動体の相対的所在位置を決定し、走行距離計を使って移動体の動
きと、第１及び第２ビーコンに関して移動体の進行方向とを計算し、前記固定基
準系に関して移動体の選択点の座標を計算することにある。
【００１４】 あるいは又、多数のビーコンが基準系を定義するため道路沿いに分配され、前
記方法が、上述されたように、移動体の相対的及び（又は）絶対的所置を使って
前記基準経路を決定し、移動体を誘導し、移動体と前記基準経路との間で一定距
離を維持するステップｆ）を差らに有している。このような方法によって、移動
体が、例えば、自己の速度を調節するために、ルートに沿って経路を予測するこ
とが可能となる。
【００１５】 本発明の他の主題は、本発明による方法を実施するための装置である。
【００１６】 本発明の更なる特徴及び利点は、詳細に後述される文書と添付図面とから明ら
かになる。
【００１７】
【発明の実施の形態】
図１では、動力車のような移動体Ｍが道路ＣＨに沿って移動している。道路Ｃ
Ｈに沿って少なくとも一つのビーコンＢ１が配置されている。移動体は、カメラ
や、ふさわしくは以下詳細に説明されるフラッシュから成る識別装置を携帯して
いる。カメラは視線Ｖで広がりＦ内の周囲状況を写真に撮る。
【００１８】 移動体の周囲状況は、便宜的には他のモータリストの目を反らさないようなタ
イプの赤外部ＩＲの光を、移動体Ｍに向けて断続的に放出又は反射できるＢ１の
ような一続きのビーコンを有している。
【００１９】 第１の実施の形態では、ビーコン自身は活発で断続的な光放出ソースＩＲも可
能である。その光放出ソースＩＲは、自給式の電力供給を備えられ、又は本体か
ら代わりに給電されている。
【００２０】 好適な代わりの形式では、移動体Ｍはフラッシュを装備されている。そのフラ
ッシュは、選択速度で赤外光を備えた識別装置の視界領域を照らしている。その
時、ビーコンは不活発であり、カタディオプトリック（catadioptric）屈折媒体
のような屈折媒体から単になる。例えば、移動体自身は自主的、即ち、一方では
自動推進式であり、他方では以下更に詳細に説明されるように、自動操縦装置で
作動でき、又は横誘導用の援助を提供できる。
【００２１】 識別装置は、例えば、動力車の室内で操縦者用の内部バックミラーの近くにあ
る。カメラを略下向き、例えば、水平面に対して約５度の角度に向けることも可
能である。
【００２２】 識別装置の視線Ｖは、移動体に設けられた基準軸に関して既知方向へ向けられ
ている。それに続けて、この方向が固定されて移動体の前方に向けられている。
【００２３】 公知の方法では、動力車は、移動体の動きに関する情報、例えば、走行距離計
タイプの情報を捕獲する手段を有している。例えば、暗号器（encoder）ＯＤＯ が動力車の非駆動輪に配置されている（この例では、図１に関して動力車の点Ａ
は移動体の後方回転軸の中心に対応している）。動力車のボード上における（不
図示の）計算手段は、カルマンフィルタ（kalman filter）のおかげでかなりの 精度で、例えば、並進速度Ｖａと、このような走行距離計暗号器を使った動力車
における後方回転軸の中点Ａの角度速度とを計算できる。あるいは又、レートジ
ャイロスコープ（rate gyro）を使って動力車の角速度を計算できる。
【００２４】 図２及び図３に関して、識別装置ＲはカメラＣＡと同一方向に向けられたフラ
ッシュＦＨからなる。フラッシュＦＨは、開口１２を備えた支柱１０に置かれて
いる。光線は開口１２を通過できる。
【００２５】 開口１２の外縁１４の周囲には、赤外光を操作できる多くの光放出ダイオード
Ｅが配置されている。
【００２６】 例えば、開口１２は平行六面体状であり、支柱１０は数度の凹面を備えた凹状
である。開口１２の寸法は、例えば、４７．５ｍｍ×３０ｍｍである。
【００２７】 数列の光放出ダイオードは、開口の端からの選択距離、例えば１ｍｍ離れてい
る。例えば、７個のダイオードからなる一列が開口の各長辺に沿って配列されて
いる。これらのダイオードは、第１長辺に沿ってＥ１〜Ｅ７として、及び、第２
長辺に沿ってＥ８〜Ｅ１４として個々に名付けられている。ダイオードＥ４，Ｅ
１１は視線Ｖの領域に整列されている。
【００２８】 開口の各短辺に沿って四個のダイオードからなる一列がある。都合上、３個又
は４個のダイオードからなる他の平行列が開口の短辺に沿って配列されている。
全く明らかに、望ましい放射パターンに従うダイオードの分配は、図３に関して
図示された分配と異なる。こうして、仮に道路の一端をその他端以上に照らした
いならば、開口１２の両辺のうちの一方にもっと多くのダイオードを配置すれば
よい。
【００２９】 カメラＣＡは、例えば、ＣＣＤタイプの２０４８個の光電池である線形状のア
レイ９を有している。アレイ９の長さは３０ｍｍ（ミリメートル）である。これ
は、動力車の進行軸に対して垂直な一直線に沿って水平に配列されている。アレ
イに加えて、カメラは、２８ｍｍの焦点距離を備えたグラフィック装置で使用さ
れるタイプの球面レンズ２０と、約１００ｍｍの焦点距離ｆを有する円柱レンズ
２２と、水平母線とを備えている。
【００３０】 最後に、光学的組立部品が、赤外放射だけを通す（不図示の）フィルタによっ
て満たされている。
【００３１】 カメラをだいたい下向き、例えば、水平面に対して数度の角度に向けることも
可能である。こうして、カメラの視界は、垂直面内で数度（例えば１０度）であ
り、且つ水平面内で約６０度である。
【００３２】 円柱レンズ２２によってビーコンの水平面内における射影を観測できることが
指摘されるべきである。そのビーコンは垂直面内の位置に関係なく視界内に位置
されている。
【００３３】 光学的組立部品は約１５ｍの距離に対して最大限に利用される。
【００３４】 カメラは動力車のボード上の処理手段に接続されている。その処理手段はカメ
ラと、走行距離計の情報捕獲手段とからの情報を処理する。
【００３５】 本発明によれば、同じ画像領域における二つの一次元画像ＩＬ１，ＩＬ２が、
ある選択速度（約１０００Ｈｚ）で撮影される。第１画像ＩＬ１（図４（Ａ））
はフラッシュなく（又は、代わりに一つ又は複数のビーコンが活発な放出ビーコ
ンの場合で照らされた時、）太陽光線に直面して多分得られる。
【００３６】 信号ＳＩＬ１は一次元カメラにおける２０４８画素の光強度値に対応している
。例えば、一元カメラにおけるその画素の光強度値は１２ビット、即ち、任意ユ
ニット内で０〜４０９６で暗号化されている。図４（Ａ）に関して、背景ノイズ
は、１１００〜１１７０画素に対して１０００画素のオーダーの強度を有する。
【００３７】 第２画像ＩＬ２（図４（Ｂ））はフラッシュを備えて（又は、代わりに一つ又
は複数のビーコンが活発な照射ビーコンの場合で照らされた時）得られる。図４
（Ｂ）に関して、高強度画素が、発光ビーコンを示すスパイクＥＰ１を形成し、
スパイクＥＰ１の基部は、連続的な背景ノイズのため、ノンゼロ強度である。
【００３８】 画像ＩＬ１，ＩＬ２において一方を他方から逐一引き算することにより、信頼
できるものとして背景ノイズなく、輝き地点Ｐ１における少なくとも一つの集団
を得ることができる。図４（Ｃ）に関して、一組の輝き地点Ｐ１における中点ｅ
はしきい値Ｓ１，Ｓ２を基にして計算され、そのしきい値Ｓ１，Ｓ２は二つの画
像ＩＬ１，ＩＬ２を引き算することに対応する信号強度に対して設けられている
。例えば、しきい値Ｓ１は４００であり、しきい値Ｓ２は８００である。例えば
、中点ｅは全ての輝き地点Ｐ１の平均から推定される。この例では、その平均は
、しきい値Ｓ１の場合における点ＰＳ１１，ＰＳ１２の中点と、しきい値Ｓ２の
場合における点ＰＳ２１，ＰＳ２２の中点とに相当している。
【００３９】 直線状アレイ上の中点ｅ（例えば、中点ｅは２０４８画素のスケール上で１１
３６に等しい）は、図１に関して記述されたように、移動体の周囲状況における
発光ビーコンＢ１を示している。
【００４０】 移動体の動きに関する情報（例えば、走行距離計情報）、即ち、直線状アレイ
上の一つ又は複数の輝き地点Ｐ１の位置ｅと、該点ｅの微分係数ｅ′とに基づい
て、算術平均が、ビーコンＢ１と、移動体に設けられた基準系とを分離する距離
Ｄ１を決定する。実際には、移動体に設けられた基準系は、図１に関して説明さ
れた点Ａを、始点として有している。
【００４１】 また、その算術平均は上述の情報を使い、移動体に設けられた前記基準系Ａに
関してビーコンＢ１の角度ψを決定する。
【００４２】 この情報Ｄ１とtan ψ1 とが、以下の公知パラメータの助けを借りて式Ｉ，Ｉ
Ｉを使い求められる。
【００４３】 ｅ ：アレイ上の輝き地点Ｐ１の位置 Ｖａ ：移動体の並進速度（走行距離計量） ｆ ：カメラの焦点距離 ｄ ：後方回転軸の中点Ａと直線状アレイとの間の距離 ψ1′ ：角度の微分係数、即ち角速度（走行距離計量）（式内ではψ1 の上 部に・を付けて表示する。） ｅ′ ：ｅの微分係数（式内ではｅの上部に・を付けて表示する。） 計算の最後で、移動体の所在位置がビーコンＢ１に関して相対的関係で決定さ
れる。
【００４４】 多くのビーコンを道路に沿って分配し、基準経路を形成することも可能である
。それから、本発明による方法は、ビーコンによって作られた基準経路を、上述
の相対的位置を使った移動体の所在位置を示すことによって、決定することにあ
る。次に、算術平均は、移動体と、このように決定された前記基準経路との間で
一定距離を維持できる。
【００４５】 このような方法によって、例えば、動力車の速度を規制するために、動力車が
ルートに沿った経路を予測することを可能としている。また、その方法によって
、移動体が基準経路に関し横誘導を与えることを可能としている。
【００４６】 好ましくは、移動体がその移動の全ての点で少なくとも二つのビーコンを見る
ことができるような方法で、ビーコンを分配する（例えば、５ｍ毎にビーコンが
分配されている）。
【００４７】 本発明によれば、動力車を「自動操縦装置」で操縦可能とするために、動力車
はその操縦、即ち、電気的に制御されたブレーキングとステアリングとを有する
実行可能な手段を持たなければならない。
【００４８】 例えば、これらの電気的制御は、ブレーキング、ステアリング、及び駆動アク
チュエータを操作可能にする（不図示の）ボード上マイクロコンピュータ装置か
ら生じる。
【００４９】 また、一つ又はそれ以上のビーコンによって形成された固定基準系に関して絶
対的関係で移動体の所在位置を決定することも必要であるかもしれない。
【００５０】 図５に関して、絶対的位置が二つのビーコンＢ１，Ｂ２を使って達成される。
二つのビーコンＢ１，Ｂ２は同時に確認され、移動体に関して固定基準系Ｒ０を
定義している。この固定基準系Ｒ０では、ビーコンＢ１は座標（０，０）であり
、ビーコンＢ２は座標（ＸB2，０）であり、点Ａは座標（ＸA ，ＹA ）である。
【００５１】 動力車の方向ｔａｎψV は、（図１に関して記載されたように計算される）以
下のパラメータを使い式ＩＩＩ，ＩＶに従って定義される。
【００５２】 Ｄ１：点ＡとビーコンＢ１との間の距離 Ｄ２：点ＡとビーコンＢ２との間の距離 ψ1 ：ビーコンＢ１に関して点Ａの角度 ψ2 ：ビーコンＢ２に関して点Ａの角度 点Ａの座標は、ビーコンＢ１，Ｂ２をそれぞれ中心とし、式Ｖ，ＶＩに従った
各半径Ｄ１，Ｄ２を備えた円Ｃ１，Ｃ２の交点によって定義される。
【００５３】 動力車の座標（ＸA ，ＹA ）は式ＶＩＩ，ＶＩＩＩに従って決定される。
【００５４】 ここでは、絶対的位置が、カメラによって同時に確認されたビーコンＢ１，Ｂ
２に関して、一回の既定瞬間で達成される。
【００５５】 図６に関して、絶対的位置が、二回の既定瞬間で二つのビーコンに関して移動
体の移動中に達成される。二つのビーコンは一次元カメラによって少なくとも順
番に確認され得る。絶対的位置は、既定瞬間ｔ１で計算されたビーコンＢ１に関
して移動体の第１相対的位置と、既定瞬間ｔ１から数秒置かれた別の既定瞬間ｔ
２で計算されたビーコンＢ２に関して移動体の第２相対的位置とを使って達成さ
れる。
【００５６】 既定瞬間ｔ１で、移動体はビーコンＢ１（位置Ａ１）を見る。既定瞬間ｔ２で
移動体はビーコンＢ２（点Ａ２）を見る。
【００５７】 二つの相対的位置は、図５に関して記述した相対的位置のために利用されたも
のと類似した方法を使って計算される。第１所在位置によって、パラメータＤ１
及びψ1 を得ることができる。第２所在位置によってパラメータＤ２及びψ2 を
得ることができる。
【００５８】 要約すれば、ここでは、その探索は、以下のような二つの円Ｃ′１，Ｃ２と移
動体の進行方向ｔａｎψV との交点から基準系Ｒ０内における移動体の点Ａ２の
絶対座標（ＸA2，ＹA2）のためである。
【００５９】 先ず第１に、四つの検討基準系Ｒ0，Ｒ1，Ｒ1′，Ｒ2が式ＩＸに従って定義さ
れる。基準系Ｒ0 はビーコンＢ１に設けられている。他の基準系は移動体に設け
られている。
【００６０】 それから、相対的位置を使って点Ａ１をビーコンＢ１から、及び、点Ａ２をビ
ーコンＢ２からそれぞれ分離した距離Ｄ１，Ｄ２が式ＩＩを使って決定される。
【００６１】 移動体の所在位置はビーコンＢ１を中心として半径Ｄ１の円Ｃ１上に示されて
いる。同様に、点Ａ２はビーコンＢ２を中心として半径Ｄ２の円Ｃ２上に示され
ている。また、点Ａ２はビーコンＢ１を中心として半径Ｄ′１の円Ｃ′１上にあ
る。
【００６２】 距離Ｄ′１は点Ａ２をビーコンＢ１から分離した距離である。
【００６３】 それから、走行距離計が、パラメータｄＸ，ｄＹ，ｄψに基づいて、式Ｘ，Ｘ
Ｉ，ＸＩＩを使って距離Ｄ′１を計算するために必要とされる。これらの式では
、ｄＸは移動体の移動における縦方向で点Ａ１，Ａ２を引き離す距離であり、ｄ
Ｙは移動体の移動における横方向で移動体の点Ａ１，Ａ２を引き離す距離であり
、ｄψは角度ψ1，ψ2の間の差である。
【００６４】 式ＸＩＩを解いて、基準系Ｒ0 における点Ａ２の座標が式ＸＩＩＩを使って得
られる。
【００６５】 図６に関して移動体の進行方向、即ち、ｔａｎψV は、式ＸＩＶ，ＸＶを使っ
て決定される。
【００６６】 明らかに、相対的位置及び（又は）絶対的位置の計算は、他の式を使って行わ
れる。
【００６７】 もっと早く知られていることは、カメラがぱっと周期的に点滅され、一つ又は
それ以上のビーコンを見る。この点滅により、二つの連続した画像の間での相違
を理解することによって背景ノイズを放出できる。二つの画像のうち一方ではビ
ーコンが照らされ、他方ではビーコンが照られていない。こうして、スパイク（
即ち、輝き地点）をもっと容易に、とりわけ、もっと信頼できるものとして検出
できる。
【００６８】 しかしながら、カメラと発光ビーコンとを同調させる問題は依然としてそのま
まである。この理由は、カメラが露出状態であるが、発光ビーコンが状態を変え
たならば、感知された画像が事実に反しているかもしれない。
【００６９】 この問題に対する一つの解決法は、ビーコンのフラッシュ信号と協調してカメ
ラ露出信号を持って来ることにある。
【００７０】 この同調を正しく行うために、ビーコンが点滅する振動数を、一次元カメラの
ライン（line）における捕捉振動数に一致させるように選択する。しかしながら
、固有振動数変化（異なる発振器、温度）が黙認されている。
【００７１】 次に、二つの電気信号の間の位相差が調節されなければならない。一つの公知
な解決法は、ＰＬＬとしても知られるフェーズロックループを達成するためにソ
フトウエアの使用可能な電気的手段を使うことにある。例えば、カメラ信号とビ
ーコン信号との間の位相差を補うために、ソフトウエア解決法は、カメラ捕捉周
期を調節して周囲にちょうつがいで動かす。
【００７２】 フラッシュによって照らされた不活発なビーコンの場合には、同調手段がフラ
ッシュ操作とカメラ操作とを同調させるように設計される。
【００７３】
【発明の効果】 本発明による方法は、ビーコンによって作られた基準経路を、上述の相対的位
置を使った移動体の所在位置を示すことによって、決定することにある。次に、
算術平均は、移動体と、このように決定された前記基準経路との間で一定距離を
維持できる。
【００７４】 このような方法によって、例えば、動力車の速度を規制するために、動力車が
ルートに沿った経路を予測することを可能としている。また、その方法によって
、移動体が基準経路に関し横誘導を与えることを可能としている。
【００７５】
【数１】
【００７６】
【数２】
【００７７】
【数３】
【００７８】
【数４】
【００７９】
【数５】
【００８０】
【数６】
【００８１】
【数７】
【００８２】
【数８】
【００８３】
【数９】
【００８４】
【数１０】
【００８５】
【数１１】
【００８６】
【数１２】
【００８７】
【数１３】
【００８８】
【数１４】
【００８９】
【数１５】
【図面の簡単な説明】
【図１】 特に、ビーコンを含んだ周囲状況の写真を撮影する（動力車のような）移動体
を、図式的に表示する図である。
【図２】 本発明による一次元カメラとフラッシュとの本質的な構成手段を図式的に表示
する図である。
【図３】 フラッシュを作るように、本発明によるカメラの対象物レンズの周囲に配列さ
れた光放出ダイオードを有するカメラ支柱の上部正面図である。
【図４Ａ】 同一画像領域における二つの一次元画像を得ることを示す図であり、一方の一
次元画像がフラッシュを備えている場合である。
【図４Ｂ】 同一画像領域における二つの一次元画像を得ることを示す図であり、他方の一
次元画像がフラッシュを備えていない場合である。
【図４Ｃ】 同一画像領域における二つの一次元画像を得ることを示す図であり、直線状ア
レイ上で発光ビーコンの所在位置を決定する逐一引き算を行った場合である。
【図５】 本発明に従って同時に確認可能な二つの分離ビーコンに関して既定瞬間で達成
され、絶対的関係内で移動体の所在位置を決定する第１方法を示す図である。
【図６】 本発明に従って少なくとも順番に確認可能な二つのビーコンに関して二回の既
定瞬間で達成され、絶対的関係内で移動体の所在位置を決定する第２方法を示す
図である。
【符号の説明】
Ａ 中点 Ｂ１，Ｂ２ ビーコン ＣＡ カメラ ＣＨ 道路 Ｃ１，Ｃ２ 円 Ｄ１，Ｄ２ 半径（距離） Ｅ，Ｅ１，Ｅ２，…Ｅ１４ ダイオード ＥＰ１ スパイク Ｆ 領域 ＦＨ フラッシュ ＩＬ１ 第１画像 ＩＬ２ 第２画像 ＩＲ 赤外部 Ｍ 移動体 ＯＤＯ 暗号器 Ｐ１ 輝く地点 Ｒ 識別装置 ＲＯ 固定基準系 Ｓ１，Ｓ２ しきい値 ＳＩＬ１ 信号 Ｖ 視線 Ｖａ 並進速度 ｅ 中点 ｆ 焦点距離 （０，０） ビーコンＢ１の座標 （ＸＢ２，０） ビーコンＢ２の座標 （ＸＡ，ＹＡ） 点Ａの座標 ｔ１ 既定瞬間 ｔ２ 別の既定瞬間 ９ アレイ １０ 支柱 １２ 開口 １４ 外縁 ２０ 球面レンズ ２２ 円柱レンズ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 パラン，ミシェル フランス国、Ｆ−78000 ヴェルサイユ、 ブールヴァール・ド・ラ・レーヌ、７ (72)発明者 ガリーノ，ダヴィッド フランス国、Ｆ−78860 サン・ノム・ ラ・ブレテシュ、リュ・シャルル・ド・ゴ ール、21

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】 光電性素子の直線状アレイを有するタイプであり、移動体に
    設けられた基準軸に関して既知方向に向けられたカメラ（ＣＡ）と、画像処理手
    段と、移動体（Ｍ）の動きに関する情報を捕獲するための手段（ＯＤＯ）とを備
    えた前記移動体の所在位置を決定する方法であって、 前記方法は、 ａ）前記移動体が移動する領域内で活発に及び（又は）不活発に断続的に照らさ
    れた複数の固定ビーコン（Ｂ１，Ｂ２）を分配し、 ｂ）前記移動体（Ｍ）で、選択速度において同一画像領域のうちで一対の異なる
    一次元画像（ＩＬ１，ＩＬ２）を撮影し、該一次元画像の一方の中では一つ又は
    複数のビーコンが照らされ、前記一次元画像の他方の中では一つ又は複数のビー
    コンが照らされず、 ｃ）他方から一方を逐一引き算することによって前記一対の一次元画像を処理し
    、 ｄ）前記二つの一次元画像（ＩＬ１，ＩＬ２）の引き算から少なくとも一つの輝
    き地点（Ｐ１）を得て、該輝き地点が周囲状況内で少なくとも一つの発光ビーコ
    ンを表示し、 ｅ）前記移動体の移動に関する情報に基づいて、前記直線状アレイ上の輝き地点
    （Ｐ１）の位置（ｅ）とその微分係数とを計算し、こうして表示された前記ビー
    コン（Ｂ１）と前記移動体に設けられた基準系（Ａ）とを分離する距離（Ｄ１）
    に関する情報の第１アイテムと、前記移動体に設けられた前記基準系に関してビ
    ーコンの角度に関する情報の第２アイテムとにより、こうして計算された前記第
    １及び第２アイテムの関数として、前記ビーコンに関して相対的関係で前記移動
    体の所在位置を決定することを可能とすることにあるステップを有することを特
    徴とする移動体の所在位置の決定方法。
  2. 【請求項２】 請求項１記載の移動体の所在位置の決定方法であって、 前記ステップｅ）が、更に、同時に確認可能な二つの分離ビーコンを使って形
    成された固定基準系に関して絶対的関係で前記移動体の所在位置を決定すること
    であり、 該絶対的な位置が、既定瞬間で、請求項１によるビーコンのそれぞれに関して
    前記移動体の相対的な位置を計算し、前記二つのビーコンに関して前記移動体の
    進行方向を計算し、前記二つのビーコンに関連される前記固定基準系に関して前
    記移動体の選択座標を計算することにあることを特徴とする移動体の所在位置の
    決定方法。
  3. 【請求項３】 請求項１記載の移動体の所在位置の決定方法であって、 前記ステップｅ）が、更に、移動体の移動中に少なくとも順番に確認可能な二
    つのビーコン（Ｂ１，Ｂ２）に関連される固定基準系（Ｒ0 ）に関して絶対的関
    係で前記移動体の所在位置を決定することであり、 該絶対的な位置が、第１既定瞬間で、請求項１による第１ビーコンに関して前
    記移動体の第１相対的位置を計算し、前記第１既定瞬間後の第２既定瞬間で、請
    求項１による第１ビーコンに従う第２ビーコンに関して前記移動体の第２相対的
    位置を計算し、走行距離計を使って前記第１及び第２ビーコンに関して前記移動
    体の動きとその進行方向とを計算し、前記固定基準系（Ｒ0 ）に関して前記移動
    体における選択位置（Ａ２）の座標を計算することにあることを特徴とする移動
    体の所在位置の決定方法。
  4. 【請求項４】 請求項１〜３のいずれか一項に記載の移動体の所在位置の決
    定方法であって、 多数のビーコン（Ｂ１，Ｂ２，…）が基準経路を形成するため道路（ＣＨ）沿
    いに分配され、 前記方法は、更に、請求項１〜３のいずれか一項による前記ビーコンに関して
    前記移動体の相対的及び（又は）絶対的な位置を使って前記基準経路を決定し、 前記移動体を誘導して前記移動体と基準経路との間で一定距離を維持すること
    にあるステップｆ）を有することを特徴とする移動体の所在位置の決定方法。
  5. 【請求項５】 移動体に設けられた基準軸に関して既知方向に向けられた光
    電性素子の直線状アレイと、画像処理手段と、移動体の動きに関する情報を捕獲
    するための手段（ＯＤＯ）とを有するタイプのカメラ（ＣＡ）を備えた前記移動
    体の所在位置を決定する装置であって、 前記装置が、活発に及び（又は）不活発に断続的に照らされ、前記移動体の移
    動領域内で分配された複数の固定ビーコンを有し、 前記一次元カメラ（ＣＡ）が、選択速度で、同一画像領域のうちで一対の異な
    る一次元画像（ＩＬ１，ＩＬ２）を撮影可能であり、前記一対の一次元画像のう
    ち一方では一つ又は複数のビーコンが照らされ、他方では複数のビーコンが照ら
    されず、 前記画像処理手段が、前記一対の一次元画像を処理して他方から一方を逐一引
    き算し、前記二つの一次元画像の引き算から少なくとも一つの輝き地点を得るこ
    とを可能とし、該輝き地点が周囲状況の中に少なくとも一つのビーコンを表示し
    、 前記移動体が、その動きに関する情報に基づいて、前記直線状アレイ上の輝き
    地点（Ｐ１）の点（ｅ）とその微分係数とを計算することを可能とし、 こうして表示されたビーコンと前記移動体に設けられた基準系（Ａ）とを分離
    して距離（Ｄ１）に関する情報の第１アイテムと、前記移動体に設けられた前記
    基準系に関して前記ビーコンの角度に関する情報の第２アイテムとにより、こう
    して前記ビーコンに関して相対的関係で前記移動体の所在位置を決定することを
    可能としたことを特徴とする移動体の所在位置の決定装置。
  6. 【請求項６】 請求項５記載の移動体の所在位置の決定装置であって、 前記計算手段が、同時に確認可能な二つの分離ビーコン（Ｂ１，Ｂ２）を使っ
    て形成された基準系に関して絶対的関係内で前記移動体の所在位置を決定可能と
    し、 前記計算手段が、既定瞬間で、請求項５によるビーコンのそれぞれに関して相
    対的位置と、前記ビーコン（Ｂ１，Ｂ２）に関して前記移動体の進行方向と、前
    記二つのビーコンに設けられた前記固定基準系に関して前記移動体の選択点の座
    標とを計算可能とすることにあることを特徴とする移動体の所在位置の決定装置
    。
  7. 【請求項７】 請求項５記載の移動体の所在位置の決定装置であって、 前記計算手段が、前記移動体の移動中に少なくとも順番に確認可能な二つのビ
    ーコンに関して絶対的関係で前記移動体の所在位置を決定可能とし、 前記計算手段が、第１既定瞬間で、請求項５による第１ビーコンに関して前記
    移動体の第１相対的位置と、第１既定瞬間後の第２既定瞬間で、請求項５による
    第１ビーコンに従った第２ビーコンに関して前記移動体の第２相対的位置とを計
    算し、走行距離計を使って前記第１及び第２ビーコンに関して前記移動体の動き
    とその進行方向とを計算し、 前記固定基準系（Ｒ0 ）に関して前記移動体の選択点（Ａ２）の座標を計算す
    ることを可能とすることを特徴とする移動体の所在位置の決定装置。
  8. 【請求項８】 請求項５〜７のいずれか一項に記載の移動体の所在位置の決
    定装置であって、 多数のビーコンが基準経路を形成するために道路（ＣＨ）沿いに分配され、 前記装置は、前記計算手段が請求項５〜７のいずれか一項による前記ビーコン
    に関して前記移動体の相対的及び（又は）絶対的な位置を使って前記基準経路を
    決定し、前記移動体を誘導して前記移動体と基準経路との間で一定距離を維持す
    ることを可能とすることを特徴とする移動体の所在位置の決定装置。
  9. 【請求項９】 請求項５〜８のいずれか一項に記載の移動体の所在位置の決
    定装置であって、 前記発光ビーコン（Ｂ１，Ｂ２）が逆反射タイプであり、 前記移動体が、更に、前記発光ビーコンを不活発に断続的に照らすことが可能
    なフラッシュを有し、 前記フラッシュとカメラとが同期的に制御されたことを特徴とする移動体の所
    在位置の決定装置。
  10. 【請求項１０】 請求項９記載の移動体の所在位置の決定装置であって、 前記フラッシュ（ＦＨ）が、前記カメラと同一方向に向けられ、開口（１２）
    を備えた支柱（１０）を有し、 光放射が前記開口を通過して前記カメラに到達し、多数の光放出ダイオード（
    ＥＬ）が前記開口の外縁にあることを特徴とする移動体の所在位置の決定装置。
  11. 【請求項１１】 請求項１０記載の移動体の所在位置の決定装置であって、 前記フラッシュのための前記支柱（１０）が全体的に凹形状であることを特徴
    とする移動体の所在位置の決定装置。
  12. 【請求項１２】 請求項９記載の移動体の所在位置の決定装置であって、 前記ビーコンが不活発に照らされ、 前記移動体が、前記フラッシュからの光信号を備えた相に、カメラ捕捉信号を
    到達することが可能な同期手段を有することを特徴とする移動体の所在位置の決
    定装置。
  13. 【請求項１３】 請求項５記載の移動体の所在位置の決定装置であって、 前記ビーコンが活発に照らされ、 前記移動体が、前記ビーコンからの光信号を備えた相に、カメラ捕捉信号を到
    達することが可能な同期手段を有することを特徴とする移動体の所在位置の決定
    装置。
JP2000519338A 1997-11-04 1998-10-06 一次元カメラを備えた可動性ユニットの所在位置決定及びその誘導のための方法並びに装置 Pending JP2001522079A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR9713849A FR2770672B1 (fr) 1997-11-04 1997-11-04 Procede et dispositif de localisation et de guidage d'un mobile muni d'une camera lineaire
FR97/13849 1997-11-04
PCT/FR1998/002129 WO1999023543A1 (fr) 1997-11-04 1998-10-06 Procede et dispositif de localisation et de guidage d'un mobile muni d'une camera lineaire

Publications (1)

Publication Number Publication Date
JP2001522079A true JP2001522079A (ja) 2001-11-13

Family

ID=9513009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000519338A Pending JP2001522079A (ja) 1997-11-04 1998-10-06 一次元カメラを備えた可動性ユニットの所在位置決定及びその誘導のための方法並びに装置

Country Status (8)

Country Link
US (1) US6654482B1 (ja)
EP (1) EP1027636B1 (ja)
JP (1) JP2001522079A (ja)
AT (1) ATE261138T1 (ja)
DE (1) DE69822187T2 (ja)
ES (1) ES2216315T3 (ja)
FR (1) FR2770672B1 (ja)
WO (1) WO1999023543A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007530978A (ja) * 2004-03-29 2007-11-01 エヴォリューション ロボティクス インコーポレイテッド 反射光源を使用する位置推定方法および装置
JP2008268204A (ja) * 2007-04-17 2008-11-06 Itt Manufacturing Enterprises Inc 明滅する光学的ビーコンを使用した、車両のための目標ナビゲーション
US8930023B2 (en) 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
US9002511B1 (en) 2005-10-21 2015-04-07 Irobot Corporation Methods and systems for obstacle detection using structured light
US9026302B2 (en) 2009-11-06 2015-05-05 Irobot Corporation Methods and systems for complete coverage of a surface by an autonomous robot
US9310806B2 (en) 2010-01-06 2016-04-12 Irobot Corporation System for localization and obstacle detection using a common receiver

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1728196A4 (en) * 2004-03-24 2012-11-14 Cernium Corp IMPROVEMENT OF VIDEO ANALYSIS USING SEGMENTATION REINFORCEMENT PER AREA
FR2883649A1 (fr) * 2005-03-23 2006-09-29 Cnes Epic Procede de guidage d'un robot, et robot apte a etre guide par ce procede
JP4944635B2 (ja) * 2007-02-15 2012-06-06 本田技研工業株式会社 環境認識装置
WO2009038797A2 (en) 2007-09-20 2009-03-26 Evolution Robotics Robotic game systems and methods
WO2010044927A1 (en) * 2008-06-26 2010-04-22 Flir Systems, Inc. Emitter tracking system
EP2920773A4 (en) 2012-11-16 2016-07-06 Flir Systems SYNCHRONIZED INFRARED BAKE / INFRARED DETECTION SYSTEM
US9043146B2 (en) * 2013-06-19 2015-05-26 The Boeing Company Systems and methods for tracking location of movable target object
US11036946B2 (en) 2016-05-07 2021-06-15 Canyon Navigation, LLC Navigation using self-describing fiducials
US11828859B2 (en) 2016-05-07 2023-11-28 Canyon Navigation, LLC Navigation using self-describing fiducials
US10417469B2 (en) 2016-05-07 2019-09-17 Morgan E. Davidson Navigation using self-describing fiducials
CN106610490A (zh) * 2016-12-30 2017-05-03 北京大学 一种基于led和图像传感器的光定位方法、系统和装置
US20190187721A1 (en) * 2017-12-15 2019-06-20 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same
IT202100016460A1 (it) * 2021-06-23 2022-12-23 Stevanato Group Spa Apparato per il confezionamento di contenitori di dispositivi per uso farmaceutico

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3374570B2 (ja) * 1995-01-31 2003-02-04 いすゞ自動車株式会社 車線逸脱警報装置
DE4310580A1 (de) * 1993-03-31 1994-10-06 Siemens Ag Automatisches Gebührenerfassungssystem
JP3169483B2 (ja) * 1993-06-25 2001-05-28 富士通株式会社 道路環境認識装置
JP3246243B2 (ja) * 1994-12-26 2002-01-15 いすゞ自動車株式会社 車線逸脱警報装置
JP3556766B2 (ja) * 1996-05-28 2004-08-25 松下電器産業株式会社 道路白線検出装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007530978A (ja) * 2004-03-29 2007-11-01 エヴォリューション ロボティクス インコーポレイテッド 反射光源を使用する位置推定方法および装置
US9360300B2 (en) 2004-03-29 2016-06-07 Irobot Corporation Methods and apparatus for position estimation using reflected light sources
US7996097B2 (en) 2004-03-29 2011-08-09 Evolution Robotics, Inc. Methods and apparatus for position estimation using reflected light sources
US8295955B2 (en) 2004-03-29 2012-10-23 Evolutions Robotics, Inc. Methods and apparatus for position estimation using reflected light sources
US8780342B2 (en) 2004-03-29 2014-07-15 Irobot Corporation Methods and apparatus for position estimation using reflected light sources
US9002511B1 (en) 2005-10-21 2015-04-07 Irobot Corporation Methods and systems for obstacle detection using structured light
US9632505B2 (en) 2005-10-21 2017-04-25 Irobot Corporation Methods and systems for obstacle detection using structured light
JP2008268204A (ja) * 2007-04-17 2008-11-06 Itt Manufacturing Enterprises Inc 明滅する光学的ビーコンを使用した、車両のための目標ナビゲーション
US8930023B2 (en) 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
US9026302B2 (en) 2009-11-06 2015-05-05 Irobot Corporation Methods and systems for complete coverage of a surface by an autonomous robot
US9188983B2 (en) 2009-11-06 2015-11-17 Irobot Corporation Methods and systems for complete coverage of a surface by an autonomous robot
US9895808B2 (en) 2009-11-06 2018-02-20 Irobot Corporation Methods and systems for complete coverage of a surface by an autonomous robot
US10583562B2 (en) 2009-11-06 2020-03-10 Irobot Corporation Methods and systems for complete coverage of a surface by an autonomous robot
US11052540B2 (en) 2009-11-06 2021-07-06 Irobot Corporation Methods and systems for complete coverage of a surface by an autonomous robot
US9310806B2 (en) 2010-01-06 2016-04-12 Irobot Corporation System for localization and obstacle detection using a common receiver

Also Published As

Publication number Publication date
US6654482B1 (en) 2003-11-25
DE69822187T2 (de) 2004-12-30
ATE261138T1 (de) 2004-03-15
FR2770672B1 (fr) 2000-01-21
FR2770672A1 (fr) 1999-05-07
WO1999023543A1 (fr) 1999-05-14
EP1027636A1 (fr) 2000-08-16
DE69822187D1 (de) 2004-04-08
ES2216315T3 (es) 2004-10-16
EP1027636B1 (fr) 2004-03-03

Similar Documents

Publication Publication Date Title
JP2001522079A (ja) 一次元カメラを備えた可動性ユニットの所在位置決定及びその誘導のための方法並びに装置
US11573090B2 (en) LIDAR and rem localization
JP4791262B2 (ja) 運転支援装置
CN100423964C (zh) 用于支持路径控制的方法和系统
JP4406507B2 (ja) 自動車のホイールアラインメントおよび／またはアクスルアラインメントを求めるための装置
JP6120859B2 (ja) 自律的、乃至、部分自律的運転マヌーバを実施するための車載アシスタント・システム用の方法、並びに、装置
US7652686B2 (en) Device for image detecting objects, people or similar in the area surrounding a vehicle
King et al. Helpmate autonomous mobile robot navigation system
JP2022553491A (ja) 車両ナビゲーション用のシステムおよび方法
CN111741872B (zh) 雪地车辆
JP2019525148A (ja) 自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信
US20070177011A1 (en) Movement control system
JPH11212640A (ja) 自律走行車両及び自律走行車両を制御する方法
JPH10341458A (ja) 車載ステレオカメラの校正方法、および、その方法を適用した車載ステレオカメラ
NO309885B1 (no) Automatisert styresystem for et kjøretøy
JP2001001832A (ja) 車両用照明装置
US20130113935A1 (en) Active vision system with subliminally steered and modulated lighting
JP2007011432A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
CN103925541A (zh) 机动车聚光灯
JP2017090189A (ja) 走行ガイドシステム
JP7259685B2 (ja) 自動運転車両用の運転制御装置、停車用物標、運転制御システム
Busch et al. Generation and communication of dynamic maps using light projection
KR20240007674A (ko) 자동 헤드라이트 정렬을 갖는 차량들
JP2006315636A (ja) 安全確認履行検出装置
JPS61251911A (ja) 無人移動体の誘導方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060502

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060728

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060809

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070206