JP2004239791A - ズームによる位置計測方法 - Google Patents
ズームによる位置計測方法 Download PDFInfo
- Publication number
- JP2004239791A JP2004239791A JP2003030249A JP2003030249A JP2004239791A JP 2004239791 A JP2004239791 A JP 2004239791A JP 2003030249 A JP2003030249 A JP 2003030249A JP 2003030249 A JP2003030249 A JP 2003030249A JP 2004239791 A JP2004239791 A JP 2004239791A
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- image
- data
- zoom
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Lens Barrels (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】自律移動するロボット等にも最適な単眼レンズを用いたズーム制御による低コストかつコンパクトな装置が実現できるズームによる位置計測方法を提供することを目的とする。
【解決手段】感光面を原点とする三次元座標に、ズーム制御とともに探索しつつ追跡した前記計測対象の画像を取得し、該取得した画像データから視差による三角測量法の原理により計測対象の位置を計測して該計測データを保存、処理するので、ロボット等のように移動する計測主体に適用しても、注視による計測点の追跡技術の適用により計測対象が類似パターンであっても容易に視認して、感光面を原点とする三次元座標にて画像の取得と処理が確実に行え、複数のカメラの設置やカメラ・パラメータの調整が不要で、ズーム機能を装備した一台のカメラを用いるだけで、設備的にも簡便で小型化が可能となる。
【選択図】 図２
【解決手段】感光面を原点とする三次元座標に、ズーム制御とともに探索しつつ追跡した前記計測対象の画像を取得し、該取得した画像データから視差による三角測量法の原理により計測対象の位置を計測して該計測データを保存、処理するので、ロボット等のように移動する計測主体に適用しても、注視による計測点の追跡技術の適用により計測対象が類似パターンであっても容易に視認して、感光面を原点とする三次元座標にて画像の取得と処理が確実に行え、複数のカメラの設置やカメラ・パラメータの調整が不要で、ズーム機能を装備した一台のカメラを用いるだけで、設備的にも簡便で小型化が可能となる。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、計測対象を単眼カメラのズーム機能により移動する焦点におけるスクリーン上に結像させて視差による三角測量法の原理により前記計測対象の位置を計測するズームによる位置計測方法に関する。特に、本発明は、自律ロボット等の、動き等が画像計測によって自動化される機械への適用を狙ったものである。つまり、視覚（カメラ）を有し、撮像した画像から環境や作業対象などの抽出、特定、認識等が行える自動化機械（ロボット）等に適用して有用である。
【０００２】
【従来の技術】
一般的なロボットには、信号を対象物等に放出し、信号の変化から検出を行う能動センサが広く用いられている。能動センサの大きな欠点は、同種の信号を放出するセンサが同一環境下に複数個存在した場含、信号の混信が避けられないことである。例えば、能動センサとして一般的な超音波センサや赤外線センサは、互いの信号の干渉のために計測不可能となる場合が多い。このように、ロボットに搭載可能なセンサの種類は混信しない信号の組合せまでに制限されてしまう。さらに、複数のロボットが存在する環境下では、混信しない組合せのセンサを用意することはきわめて非現実的である。
【０００３】
このような能動センサによる信号の混信間題に対して、視覚（カメラ）は、外部からの光を受けるだけなので信号の混信はない。また、将来、ロボットが周囲に複数存在するような県境を想定するならぱ、非干渉のセンサは不可欠であり、その点で視覚の利用は有力である。しかしながら、視覚の利用による間題点もあり、以下に述べる。ロボットの視覚では、二台以上のカメラから構成されるステレオ視による画像計測が広く利用されている。ステレオ視は、見え方の異なる二枚以上の画像から計測対象の位置を算出することになる。
【０００４】
計測の前提条件としては、それぞれの画像上の計測対象が一致していなけれぱならないが、このために、類似のパターンが存在する環境では計測対象の対応付け（見分け、分解能）が困難な場合が生じる。また、計測対象の対応付けを行うためには、二台のカメラの正確な設置、明度やコントラスト等のカメラ・パラメータの調整は不可欠である。特に、複数のカメラの、明度などのカメラ・パラメータを完全に合わせることはほぽ不可能であり、殆どのステレオ視では色彩までの調整は行われていない。実際には、モノクロ・カメラでの明度・コントラスト調整までが限界である。
【０００５】
そのようなことから、カメラのパラメータ調整およびステレオ視の対応付け間題を避けるために、単眼のカメラによる位置計測法が提案されている。これはマニピユレータ（ロボット・ハンド）等、先端にカメラを取り付けたもので、計測対象を迫跡（トラッキング）しながら、視点を移動させることにより、ステレオ視と同様に視差を得て、三角測量の原理で位置計測を行うものである。この方法では、マニピュレータの精度により比較的高精度に計測を行うことができるが、設備的には大規模となり、小型の移動型ロボット等には搭載できない。
【０００６】
そこで、単眼カメラのズーム機能だけで位置計測を行う方法として、レンズの被写界深度を利用したレンズ焦点法（例えば下記非特許文献１参照）やズームレンズによる相似形撮像の画像処理装置（下記特許文献１参照）が拳げられる。これらの方法では、被写体のピントと焦点合わせ（焦点）の関係から、被写体までの距離を求める方法である。具体的には、オートフオーカス・カメラに広く利用された方法であるが、ロボットへ適用するには次の２つの間題がある。
【０００７】
【非特許文献１】
Ｋ．Ｏｈｂａ，Ｊ．Ｃ．Ｐｅｄｒａｚａ Ｏｒｔｅｇａ：”Ｍｉｃｒｏ−ｏｂｓｅｒｖａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｔｅｌｅ−ｍｉｃｒｏ−ｏｐｅｒａｔｉｏｎ”，Ａｄｖａｎｃｅｄ Ｒｏｂｏｔｉｃｓ，ｖｏｌ．１５，Ｎｏ．８，ｐｐ．７７９−８７８，２０００．
【特許文献１】
特開平５−２０９７３０号公報（図２および段落００１８）
【０００８】
【発明が解決しようとする課題】
（ｌ）これらの計測方法では被写体のピント合わせを行えることが前提であり、これらの技術を口ボットに搭載した場合、絶えず移動するロボットにピント合わせを自動的に判断させる必要がある。現時点で、ロボットにこの判断を要求することは困難である。また、（２）これらの方法による計測精度はカメラの被写体深度に依存するが、被写界深度が浅くなるほど、ピント合わせが困難になり、また、ロボットによる画像認識を考慮すると、ロボットが処理する画像はできるだけピントが合っていることが望ましい。したがって、ロボットの視覚には被写界の深度の浅いレンズは不適切である。さらに、前記特許文献１のズームレンズによる相似形撮像の画像処理装置では、微小な視差を精度良く測定する必要があって、事実上大きな誤差を生じ、実際の使用に耐えるものではない。
【０００９】
そこで、本発明は、前記従来のズームによる位置計測方法の諸課題を解決して、誤差の予測や画像補間技術を用いて高解像度化技術を駆使することにより、自律移動するロボット等にも最適な単眼レンズを用いたズーム制御による低コストかつコンパクトな装置が実現できるズームによる位置計測方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
このため本発明は、計測対象を単眼カメラのズーム機能により移動する焦点におけるスクリーン上に結像させて視差による三角測量法の原理により前記計測対象の位置を計測するズームによる位置計測方法において、感光面を原点とする三次元座標に、ズーム制御とともに探索しつつ追跡した前記計測対象の画像を取得し、該取得した画像データから計測対象の位置を計測して該計測データを保存、処理することを特徴とする。また本発明は、前記取得した計測データにつき、画像が撮影された時点でのカメラの内部パラメータに基づいて、レンズの歪み補正を行うようにしたことを特徴とする。また本発明は、前記画像の拡大処理を行うようにしたことを特徴とする。また本発明は、少なくとも二つの焦点位置から計測点の三次元位置を求めるにあたり、画像上での計測点の位置と焦点距離の組合せから求められた計測不可能な領域である計測の不確かさを計測精度の評価指標として採用し、取得された複数の画像データから最も計測精度の高い組合せを選定して計測データとすることを特徴とする。また本発明は、前記ズーム制御とともに探索しつつ追跡した前記計測対象の画像の取得および該画像データからの計測データの保存制御と、前記レンズの歪み補正、画像の拡大処理、不確かさを計測精度の評価指標とした計測データの確定制御とを並列的に行うようにするとともに、最も新しいデータを基準として、過去に遡るデータの探索を可能にしたことを特徴とするもので、これらを課題解決のための手段とするものである。
【００１１】
【実施の形態】
以下、本発明のズームによる位置計測方法の実施の形態を図面に基づいて説明する。本発明の基本的な構成は、図２に示すように、計測対象Ｍを単眼カメラのズーム機能により移動する焦点におけるスクリーン上に結像させて視差による三角測量法の原理により前記計測対象の位置を計測するズームによる位置計測方法において、感光面を原点とする三次元座標に、ズーム制御とともに探索しつつ追跡した前記計測対象の画像を取得し、該取得した画像データから計測対象の位置を計測して該計測データを保存、処理することを特徴とするものである。
【００１２】
以下、原理の説明および実験結果による優位性について詳述する。始めに、本発明のズームによる位置計測方法のロボット業界での有用性について述べる。現在、ヒューマノイドなどの高度知能ロボットの研究が盛んであるが、現在の成果は、手足等の機構が完成したに過ぎない。次のステップとしては、身体を持ったロボットが知能を獲得することであると考えられるが、現状ではセンシング・デバイスは貧弱であると言わざるを得ない。視覚（カメラ）は、知能ロボットの実現に有力なデバイスであるが、位置計測技術に関してステレオ視に代わるものはなく、本発明の計測方法はステレオ視とは別のアプローチとして確立する可能性が高い。将来的には、ロボットは小型化に向かう傾向もあり、本位置計測方法はその点でもステレオ視より有利である。
【００１３】
＜基本計測原理＞
ズームによる位置計測方法は基本的にはステレオ視による計測方法と同様で、異なる二つの視点から計測点を求める方法である。その計測原理を図１に示す。この図はカメラの横から見た場合である。カメラから見える計測点Ｍは、ズームによって移動した焦点ｆ１ ， ｆ２ ， ・・・ｆｎ の位置により、スクリーン上の位置ｖ１ ，ｖ２ ，・・・ｖｎ のように見え方が異なる。これはステレオ視と同様に視差が生じていることを意味し、三角測量の計測原理より計測点Ｍの位置を求めることができる。
【００１４】
図１および図２のように座標を定義したとき、感光面の位置を原点とし、スクリーン上に写る計測点の位置を時ｕ，ｖとする。さらに、スクリーン上の計測点の位置（ｕ，ｖ）より、計測点Ｍの存在する方位θ，φと定義する。この座標系において、計測点Ｍの位置は次式で求めることができる。
ただし、ｑ１ ＝ｔａｎφ１ 、ｑ２ ＝ｔａｎφ１ 、ｐ１ ＝ｔａｎθ１ 、ｐ２ ＝ｔａｎθ２ であり、ピンホール・モデルで考えると、ｑ１ ＝ｖ１ ／ｆ１ ，ｑ２ ＝ｖ２ ／ｆ２ ，ｐ１ ＝ｕ１ ／ｆ１ ，ｐ２ ＝ｕ２ ／ｆ２ として求めることができる。また、連続的に焦点距離を移動させた場合の焦点距離ｆ１ ，ｆ２ ，ｆ３ ，・・・ｆｎ より、任意の焦点距離ｆｉ ，ｆｊ の画像から計測点の位置を求めることもできる。
【００１５】
＜計測のアルゴリズム＞
本計測方法のおおまかなアルゴリズムを次の図３に示す。本アルゴリズムは、大きく二つの処理に分かれる。一つは、「計測対象の探索」を行い、画像を取得し、計測対象の追跡（トラッキング）をしながらズーム機構を制御し、計測データを記録する。この処理は連続的に行われる。追跡された計測対象については、撮像した画像のフレーム番号（撮像した時間）、その時点での計測対象の画像（スクリーン）上の位置と焦点距離等のカメラの内部パラメータ等、これらの組のデータが複数記録される。記録されたデータは、好適にはコンピユータ上のメモリに保存し、ある程度のデータを蓄積するようにする。また、追跡アルゴリズム上、過去の画像が必要となる場合もあるので、必要に応じてメモリ容量がある限り画像データを保存する場合もある。
【００１６】
もう一つの処理の流れについて説明する。記録されたデータを取得し、画像が撮影された時点でのカメラの内部パラメータに基づいて「レンズの歪み補正」を行い、正確に、画像上の計測対象の位置（計測点）を定める。また、画像の解像度が不充分なときは、画像の拡大処理を行い、「画像解像度の分解能」を向上させる。本計測方法では、最低二つの焦点位置から計測点の三次元の位置を求めることができるが、計測精度として「計測の不確かさ」を画像上での計測点の位置と焦点距離の組合せから求めることができる。この計測の不確かさを計測精度の評価指標とし、記録された複数のデータから最も計測精度の高い組合せを選び、それを計測データと決定する。以上の二つの処理は、並列的に行わせるようにし、撮像遅れの影響を最小限に留めるために、現時点で記録されたばかりのデータを基準として、過去に遡るようにデータの探索を行う。
【００１７】
＜計測対象の探索＞
本計測方法では、ズームの効果を有効利用するために、計測対象の追跡（トラッキング）を利用する。このためには、パン・チルト制御機構を有するカメラの利用が望ましい。図４に計測対象の追跡方法を示す、図４において、まず画像中から対象物の探索を行う（ステップ１）。たとえば図中の箱を計測する場合には、箱が画像の中心となるようにカメラの向きを制御する（ステップ２）。例えば、一般的な線分抽出アルゴリズムを適用した場合、箱の稜線（エッジ）を抽出することができ、線分の交点を計測点として選択することができる（図５はその一例）。このとき、箱を画像の中心になるようカメラを向けた状態であれば、ズームイン（望遠）によって計測点は画像上の縁に移動する。計測点が画像上を移動することは、「焦点の移動によって視差が生じていること」を意味する。本計測方法では、この原理を積極的に利用するために、カメラの向きを制御することが望ましい。
【００１８】
＜レンズの歪み補正＞
本計測方法では、画像上の位置から計測点の方位を正確に求める必要がある。理想的には、光学系が既知のズーム・カメラを用いることが望ましい。しかし、一般的には複数のレンズを組合せてズーム機能が実現されており、この場合にはレンズの歪みが生じてしまう。このような場合には、レンズの歪みを補正する必要がある。レンズ補正のモデルの概要を図６に示す。図６は、ズーム・レンズのモデルを横から見た図である。これはピンホール・モデルを想定した場合で、例えば、ある計測点の方位を求める場合、モデル上から求められる計測点の方位と、実際に存在する計測点の方位との誤差があった場合には、係数αでレンズの歪みを補正する。ｐ点における実際の計測点の方位θは、
θ＝αｔａｎ−１（ｖ／ｆ）
より求められる。ただし、レンズの歪みは焦点距離と画像上の位置（感光面上の位置）によって、歪みの程度が異なる。このため、焦点距離、感光面上の位置毎に求め、これによって部分的な歪みをも補正することが可能となる。
【００１９】
＜計測の不確かさ＞
デジタル画像における計測では、ｌ画素が占める領域が不確かさとして考えることができる。すなわち、図７に示すように、１画素が占める領域よりも高い分解能で計測点を求めることはできない。この領域は位置計測上の不確かさとなる。ズームによる位置計測方法では、図８のように各焦点からの不確かな領域が重なった部分が、位置計測の不確かな領域となり、これを計測精度とすることできる。図８のような計測の不確かさを求めるには、図９に示すように画像上の計測点を画素の寸法（△ｕ，△ｖ）の領域である４点の位置ａ，ｂ，ｃ，ｄ点から求める。ズームによる位置計測方法では、二つの焦点での画像上の位置ａ，ｂ，ｃ，ｄおよびａ’，ｂ’，ｃ’，ｄ’の計８点の位置から、それぞれに対応した画像上の位置を前記式（１）に代入することによって、計測の不確かな領域を求めることができる。
【００２０】
以上のように計測の不確かさを求めることによって、計測精度を評価することが可能となる。高い計測精度を得るためには、「視差を大きくとること」、「高い画像解像度を有すること（図９の画素が精細であれぱ不確かさの領域が狭くなる）」の二つを満たす必要がある。視差については、「画像上での計測点の見え方が大きく異なること」、「２焦点間の距離が長いこと」の二つの条件が必要である。ただし、２焦点間の距離を長くとることは計測点が画像枠から外れてしまうので、常に計測点を追跡しながら、計測対象が画像から消えないようにズームを制御する必要がある。本位置計測方法のアルゴリズムでは、計測対象の追跡（トラッキング）を行いながら、焦点の異なる複数の画像から、以上で述べた条件を評価しながら最も計測精度の高い組合せを探索し、それを計測値とする。
【００２１】
＜画像解像度の分解能＞
不確かさについて述べたとおり、デジタル画像を利用する場合には可能な限り精細な画素を得る必要がある。このため計測精度が不充分なときは、画像拡大法を適用し、画像解像度を上げる。これによって画像上の画素寸法が小さくなり、不確かな領域は小さくなる。
【００２２】
以上説明したような理論構成に基づくズーム計測方法の効果を検証するために、実際にカメラを用いて行った実験結果について以下に述べる。
＜実験装置＞
本研究では、ズーム計測方法の効果を検証するために、実際にカメラを用いて計測実険を行った。本実険では、画像キヤプチヤ・ボードを実装したパソコン（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ以下ＰＣ）を用意し、ズーム機構を制御することができるＣＣＤカメラ（Ｓｏｎｙ製ＥＶＩ‐Ｄ３０）をＰＣに接続した。本カメラは、ＲＳ‐２３２Ｃ準拠のシリアル・インタフェースを装備しており、ＰＣからのコマンドによって視点の向きおよぴズーム機構を制御することができる。ズームによる焦点距離ｆは５．４〜６４．８〔ｍｍ〕まである。このシステム構成を図１０に示す。そして、カメラの仕様を図１１の表図に示す。本カメラからの映像はＮＴＳＣビデオ信号として出力され、この映像をＰＣによって有効画素数内の３２０×２４０〔ｐｉｘｅｌ〕または６４０×４８０〔ｐｉｘｅ１〕の解像度で画像を取得することができる。
【００２３】
＜計測点の注視＞
本研究では、ＰＣ上に画像上のある特徴的なパターンを探索し、これを注視しながら画像上の計測点を求めるプログラムを作成した。また本ブログラムは、ズーム機能を制御することも可能であるので、ズームによって視点を移動させながら、視点の異なった画像上の計測点の位置から、三次元上の計測点の位置を計測することにした。図１２のような計測対象を用意した。図１２は、高さ８．０〔ｍｍ〕、幅８．０〔ｍｍ〕の矩形が６０〔ｍｍ〕間隔で６個横一列に並んだ画像である。この画像中の矩形を計測対象とした。図１２のような類似パターンが規則的に配列された画像では、ステレオ視では左右画像の計測点の対応付けが困難な場合が生じる。本発明のズーム計測方法では、一般的なトラッキング手法（注視点の追跡手法）を適用することによって、計測点の対応付けをロバストに行うことが可能となる。
【００２４】
本実験では、計測点の抽出に、「二値化（Ｂｉｎａｒｉｚａｔｉｏｎ）」、「ラベリング（Ｌａｂｅ１ｉｎｇ）」、「微粒子除去（Ｒｅｍｏｖｅ Ｎｏｉｓｅ）」の画倹処理を行い、ラベリングによって計測点の抽出を行った。そして、抽出パターンの中心を計測点とすることとした。図１２のパターン画像をカメラの前方（ｚ方向〉に０．４３〔ｍ〕、カメラの高さ（ｘ方向）に０．０〔ｍ〕の位置に設置した（図１３）。このとき、パターンは、ｙ方向に一０．１６、−０．１０、一０．０４、０．０２、０．０８〔ｍ〕の位置となる。そして、焦点距離がｆ＝５．４［ｍｍ］からｆ＝８．０およぴ２０．０〔ｍｍ〕までズームしながら、計測点のトラッキングを行った。この様子を図１４に示す。本実験のような簡単なトラッキング手法を適用するだけで、ロバストに計測点を追跡することが可能であることが分かった。
【００２５】
＜サブピクセル・オーダの計測点の抽出＞
本実験では実時間での注視を考慮し、３２０×２４０〔ｐｉｘｅ１〕で画像の取込みを行うこととした。ズーム計測方法では、微小な視差から計測点の位置を算出するため、可能な限り高い解像度を得る必要があるため、ラベリングされた領域を縦横６倍まで拡大し、その領域で重心演算を行い、計測点の中心を求めることとした。これはサブピクセル（Ｋａｚｕｎｏｒｉ ＵＭＥＤＡ，Ｔａｋａｔｏｓｈｉ ＴＡＫＡＨＡＳＨＩ：”Ｓｕｂｐｉｘｅｌ Ｓｔｅｒｅｏ Ｍｅｔｈｏｄ：ａ Ｎｅｗ Ｍｅｔｈｏｄｏｌｏｇｙ ｏｆ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ”）まで画像上の計測点を求めることに相当する。一例として抽出した領域を縦横６倍まで拡大した画像の一部を図１５示す。画像の拡大に関しては一次補間法を適用した。
【００２６】
＜計測結果＞
本研究で用いたＣＣＤカメラの素子寸法、焦点距離等の値はすべて理論値であり、本実験で画像計測に用いるためにはそれらの値を補正しなけれぱならない。しかも焦点距離毎の補正は複雑であるので、ズーム計測方法におけるパラメータである焦点距離ｆｗ ， ｆｔ スクリーン上の計測点の位置ｕｗ ， ｖｗ およびｕｔ ， ｖｔ からなる多項式を立て補正係数αを求めることにした。本実験では、画像の歪みとなるレンズに入射する光の屈折を想定し、式（１）より、ｐ＝α・ｕｔ ／ ｆｔ とし、α＝Ａ・Ｐ（Ａ、Ｐは行列）より任意の計測点（ｚ＝０．４３〔ｍ〕以外）の６か所のｆｗ ，ｆｔ ， ｕｗ ， ｖｗ ， ｕｔ ， ｖｔ および真値より求められるαから各項の係数を求めた。ただし、Ａ＝〔α１ ，α２ ，α３ ，α４ ，α５ ，α６ 〕，Ｐ＝〔ｆｗ ， ｆｔ ， ｕｗ ， ｖｗ ， ｕｔ ， ｖｔ 〕Ｔ である。
【００２７】
その結果、α１ ＝３．０６×１０２ ，α２ ＝５．１０×１０−６，α３ ＝８．４８×１０−４，α４ ＝３．８，α５ ＝６．５７×１０−６，α６ ＝−１．８３×１０−３となり、補正係数αはおおよそ１．０〜１．２となった。計測結果を図１６に示す。本実険での前方６点の内、中心に近い４点が充分な精度で計測することができた。図１６において、破線上の「＋」は真の計測点の位魔（Ｔｒｕｅ Ｐｏｉｎｔｓ）、「○」は計測値（Ｍｅａｓｕｒｅｄ Ｐｏｉｎｔｓ）を意味する。また、○上に描かれている線分は本実験で用いたＣＣＤカメラおよぴ画像の解像度から算出される計測の不確かさの領域を示している。線分で表された計測の不確かさより、ｚ方向に比ベ、ｙ方向の不確かさが極めて狭いことを確認した。計測点Ａ、ＢおよぴＤは誤差が僅かであり、不確かさも真値を含めるように位置しているため、充分な計測精度が得られたことが分かった。特に、ｙ軸方向で数ミリ程度の誤差で計測することができた。これに対して計測点Ｃはやや真値から離れており、不確かさの領域で見ても誤差と分かった。その理由は、画像処理上のノイズ等の影響で計測点がずれたためだと考えられる。
【００２８】
＜ズームによる計測点の高分解能化＞
ズーム計測方法の特長として、ズームによる画像拡大（計測点の高分解能化）が挙げられる。ズーム計測方法では、微小な視差から計測を行うため、計測の不確かさの領域がｚ方向に広がる。しかし、計測点の高分解能化によって領域がある程度小さくなるので、図１６の結果のように４点全てに対して菱形てはなく、焦点と計測結果を結んだ線分のような狭い領域になる。
【００２９】
＜考察＞
＜視差と計測箱度との関係＞
本実験結果に基づいて、視差による影響について考察する。ズーム計測方法では、視点の移動に伴い視差が変化する。このため、視差と計測精度の開係を把握することが必要である。そこで、ｙ軸およぴｚ軸方向の不確かさの領域を計測精度として考え、視差と不確かさの関係を調べることにした。図１７およぴ図１８は横軸に視差、縦軸に不確かさをとり、これらの関係を表している。白のプロットは真値より、前記式（１）に基づいて理論値から算出した。黒のプロツトは計測結果における計測精度を表しており、すなわち、図１６で示した不確かさの領域である。図１７および図１８において、視差が大きいほど不碓かさが縮小し、精度の高い計測が可能となることを確認した。
【００３０】
＜ズーム計測方法におげる計測の不確かさ＞
図１７および図１８において、各計測点における計測値と真値はともに近い値となった。このことからも、充分な計測結果が得られたことが確認できた。さらに、すべての計測結果が、真値から求めた理論的な視差と不確かさの関係を表す曲線上に位置した。このことは、近似的な補正が正しく行えたことと、サブピクセルまで計測点を求められたことを意味する。よって、計測点Ｃの誤差の原因は、レンズ等の歪みによるものではなく、画像上のノイズやゆらぎによる画像処理上の問題であることが分かった。
【００３１】
＜ズーム計測方法の実用化の課題＞
本実験結果より、微小な視差であってもサブピクセル・オーダまで計測点を求めることによって、充分な計測が可能であることが分かった。ズーム計測方法で、より実用的な計測結果を得るためには、（１）高解像度で画像を取得すること。（２）レンズの歪みなどのカメラ内部パラメータを補正できること。の２つが要求される。（１）に関しては、ＤＶカメラなどのデバイスがディジタル化されるだけでなく高解像度化しており、将来的にはズーム計測方法にとって充分な解像度が得られるようになると考えられる。また、近年のコンピュータの処理速度の向上を考慮すると、画像の取込みおよぴ処理も高速に行われるようになると期待される。（２）に関しては、さまざまな歪み補正法が提案されている。しかし、ズーム機能を有するカメラは複数のレンズを組み合わせており、これを理論的に補正するのは手問のかかる作業である。より簡便な補正方法の開発が望まれる。
【００３２】
＜おわりに＞
本研究では、ステレオ視のような計測点の対応付け問題を回避するために、単眼による注視に着目し、注視しながら焦点距離を変え視点を移動させる「ズーム視」について述べた。そして、ズーム視に基づいて計測点の位置を求める新たな画像計測方法として「ズーム計測方法」を提案した。本研究では、ズーム視の定式化およぴ不確かさの算出方法を給じ、実際にズーム機構付きＣＣＤカメラを用いて、類似パターンの位置を計測した。そして、計測結果と不確かさの評価によりズーム計測方法の有用性を示した。
【００３３】
以上述べたように、本ズーム計測方法によれば、（１）一台のカメラだけを利用するため、ステレオ視のように複数のカメラの設置やカメラ・パラメータの調整は不要となる。また、ズーム機能を装備したカメラを用いるだけなので、設備的にも簡便で小型である。（２）注視による計測点の追跡（トラッキング）技術を適用することにより、ステレオ視で問題となる計測点の対応付け問題を回避することができる。具体的には、タイル張り、格子模様の等類似パターンが存在する対象物であっても、本計測方法ではある計測対象を常に注視し追跡できるので、ステレオ視のような対応付け間題が生じない。（３）レンズ焦点法のようにピントぽけの画像を作り出す必要がないので、本計測方法を適用しながら、画像認識等の高度画像処理、知覚処理等も、同時に適用することができる。
【００３４】
以上、本発明の実施の形態について説明してきたが、本発明の趣旨の範囲内で、単眼カメラの形式、ズーム機能の形態、スクリーンの形状、形式およびその三次元座標の設定形態、ズーム制御形態、単眼カメラによる探索、追跡形態、計測対象画像の取得形態、画像データからの位置の計測形態、該計測データの保存形態、カメラの内部パラメータの設定形態、レンズの歪み補正形態、画像の拡大処理形態、計測精度の評価指標としての計測の不確かさの設定形態、計測データの保存制御形態および計測データの確定制御形態との並列的制御形態、新しいデータを基準とする過去に遡るデータの探索形態等については適宜選定することができる。また、実験装置の各諸元等は例示的なもので、これらを限定的に解釈してはならない。
【００３５】
【発明の効果】
以上、詳細に説明したように、本発明では、計測対象を単眼カメラのズーム機能により移動する焦点におけるスクリーン上に結像させて視差による三角測量法の原理により前記計測対象の位置を計測するズームによる位置計測方法において、感光面を原点とする三次元座標に、ズーム制御とともに探索しつつ追跡した前記計測対象の画像を取得し、該取得した画像データから計測対象の位置を計測して該計測データを保存、処理するようにしたので、ロボット等のように移動する計測主体に適用しても、注視による計測点の追跡技術の適用により計測対象が類似パターンであっても容易に視認して、感光面を原点とする三次元座標にて画像の取得と処理が確実に行え、しかも、複数のカメラの設置やカメラ・パラメータの調整が不要で、ズーム機能を装備した一台のカメラを用いるだけで、設備的にも簡便で小型化が可能となる。
【００３６】
また、前記取得した計測データにつき、画像が撮影された時点でのカメラの内部パラメータに基づいて、レンズの歪み補正を行うようにした場合は、対象物である計測点のより正確な方位を求めることが可能となる。さらに、画像の拡大処理を行うようにした場合は、画像の解像度が不充分なときには、画像解像度の分解能を高めて計測値をより正確に求めることが可能となる。さらにまた、少なくとも二つの焦点位置から計測点の三次元位置を求めるにあたり、画像上での計測点の位置と焦点距離の組合せから求められた計測不可能な領域である計測の不確かさを計測精度の評価指標として採用し、取得された複数の画像データから最も計測精度の高い組合せを選定して計測データとする場合は、計測の不確かさを認識することでより高い精度で計測値を求めることができる。
【００３７】
また、前記ズーム制御とともに探索しつつ追跡した前記計測対象の画像の取得および該画像データからの計測データの保存制御と、前記レンズの歪み補正、画像の拡大処理、不確かさを計測制度の評価指標とした計測データの確定制御とを並列的に行うようにするとともに、最も新しいデータを基準として、過去に遡るデータの探索を可能にした場合は、撮像遅れの影響を最小限に留めることができる。かくして、誤差の予測や画像補間技術を用いて高解像度化技術を駆使することにより、自律移動するロボット等にも最適な単眼レンズを用いたズーム制御による低コストかつコンパクトな装置が実現できるズームによる位置計測方法が提供される。
【図面の簡単な説明】
【図１】本発明の基礎となるズームによる位置計測の基本原理の説明図である。
【図２】本発明のズームによる位置計測方法にて採用される感光面を原点とする三次元座標図である。
【図３】本発明のズームによる位置計測方法のアルゴリズムの概要図である。
【図４】同、計測対象の追跡方法例図である。
【図５】同、ズームインによる計測点の移動例図である。
【図６】同、レンズの歪み補正の概念図である。
【図７】同、デジタル画像における計測の不確かさの説明図である。
【図８】同、ズームによる位置計測方法における計測の不確かさの説明図である。
【図９】同、デジタル画像上の１画素の領域説明図である。
【図１０】本発明のズームによる位置計測法の効果を検証する実験装置のシステム構成図である。
【図１１】同、カメラの仕様例の表図である。
【図１２】同、計測対象である計測点の配列例図である。
【図１３】同、カメラの前方に設置された計測点の配列例図である。
【図１４】同、計測点の追跡例状態図である。
【図１５】同、計測点の拡大例図である。
【図１６】同、計測点の計測結果例図である。
【図１７】同、ｙ方向における視差と不確かさとの関係図による計測値と真値との計測結果例図である。
【図１８】同、ｚ方向における視差と不確かさとの関係図による計測値と真値との計測結果例図である。
【符号の説明】
Ｍ 計測対象
【発明の属する技術分野】
本発明は、計測対象を単眼カメラのズーム機能により移動する焦点におけるスクリーン上に結像させて視差による三角測量法の原理により前記計測対象の位置を計測するズームによる位置計測方法に関する。特に、本発明は、自律ロボット等の、動き等が画像計測によって自動化される機械への適用を狙ったものである。つまり、視覚（カメラ）を有し、撮像した画像から環境や作業対象などの抽出、特定、認識等が行える自動化機械（ロボット）等に適用して有用である。
【０００２】
【従来の技術】
一般的なロボットには、信号を対象物等に放出し、信号の変化から検出を行う能動センサが広く用いられている。能動センサの大きな欠点は、同種の信号を放出するセンサが同一環境下に複数個存在した場含、信号の混信が避けられないことである。例えば、能動センサとして一般的な超音波センサや赤外線センサは、互いの信号の干渉のために計測不可能となる場合が多い。このように、ロボットに搭載可能なセンサの種類は混信しない信号の組合せまでに制限されてしまう。さらに、複数のロボットが存在する環境下では、混信しない組合せのセンサを用意することはきわめて非現実的である。
【０００３】
このような能動センサによる信号の混信間題に対して、視覚（カメラ）は、外部からの光を受けるだけなので信号の混信はない。また、将来、ロボットが周囲に複数存在するような県境を想定するならぱ、非干渉のセンサは不可欠であり、その点で視覚の利用は有力である。しかしながら、視覚の利用による間題点もあり、以下に述べる。ロボットの視覚では、二台以上のカメラから構成されるステレオ視による画像計測が広く利用されている。ステレオ視は、見え方の異なる二枚以上の画像から計測対象の位置を算出することになる。
【０００４】
計測の前提条件としては、それぞれの画像上の計測対象が一致していなけれぱならないが、このために、類似のパターンが存在する環境では計測対象の対応付け（見分け、分解能）が困難な場合が生じる。また、計測対象の対応付けを行うためには、二台のカメラの正確な設置、明度やコントラスト等のカメラ・パラメータの調整は不可欠である。特に、複数のカメラの、明度などのカメラ・パラメータを完全に合わせることはほぽ不可能であり、殆どのステレオ視では色彩までの調整は行われていない。実際には、モノクロ・カメラでの明度・コントラスト調整までが限界である。
【０００５】
そのようなことから、カメラのパラメータ調整およびステレオ視の対応付け間題を避けるために、単眼のカメラによる位置計測法が提案されている。これはマニピユレータ（ロボット・ハンド）等、先端にカメラを取り付けたもので、計測対象を迫跡（トラッキング）しながら、視点を移動させることにより、ステレオ視と同様に視差を得て、三角測量の原理で位置計測を行うものである。この方法では、マニピュレータの精度により比較的高精度に計測を行うことができるが、設備的には大規模となり、小型の移動型ロボット等には搭載できない。
【０００６】
そこで、単眼カメラのズーム機能だけで位置計測を行う方法として、レンズの被写界深度を利用したレンズ焦点法（例えば下記非特許文献１参照）やズームレンズによる相似形撮像の画像処理装置（下記特許文献１参照）が拳げられる。これらの方法では、被写体のピントと焦点合わせ（焦点）の関係から、被写体までの距離を求める方法である。具体的には、オートフオーカス・カメラに広く利用された方法であるが、ロボットへ適用するには次の２つの間題がある。
【０００７】
【非特許文献１】
Ｋ．Ｏｈｂａ，Ｊ．Ｃ．Ｐｅｄｒａｚａ Ｏｒｔｅｇａ：”Ｍｉｃｒｏ−ｏｂｓｅｒｖａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｔｅｌｅ−ｍｉｃｒｏ−ｏｐｅｒａｔｉｏｎ”，Ａｄｖａｎｃｅｄ Ｒｏｂｏｔｉｃｓ，ｖｏｌ．１５，Ｎｏ．８，ｐｐ．７７９−８７８，２０００．
【特許文献１】
特開平５−２０９７３０号公報（図２および段落００１８）
【０００８】
【発明が解決しようとする課題】
（ｌ）これらの計測方法では被写体のピント合わせを行えることが前提であり、これらの技術を口ボットに搭載した場合、絶えず移動するロボットにピント合わせを自動的に判断させる必要がある。現時点で、ロボットにこの判断を要求することは困難である。また、（２）これらの方法による計測精度はカメラの被写体深度に依存するが、被写界深度が浅くなるほど、ピント合わせが困難になり、また、ロボットによる画像認識を考慮すると、ロボットが処理する画像はできるだけピントが合っていることが望ましい。したがって、ロボットの視覚には被写界の深度の浅いレンズは不適切である。さらに、前記特許文献１のズームレンズによる相似形撮像の画像処理装置では、微小な視差を精度良く測定する必要があって、事実上大きな誤差を生じ、実際の使用に耐えるものではない。
【０００９】
そこで、本発明は、前記従来のズームによる位置計測方法の諸課題を解決して、誤差の予測や画像補間技術を用いて高解像度化技術を駆使することにより、自律移動するロボット等にも最適な単眼レンズを用いたズーム制御による低コストかつコンパクトな装置が実現できるズームによる位置計測方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
このため本発明は、計測対象を単眼カメラのズーム機能により移動する焦点におけるスクリーン上に結像させて視差による三角測量法の原理により前記計測対象の位置を計測するズームによる位置計測方法において、感光面を原点とする三次元座標に、ズーム制御とともに探索しつつ追跡した前記計測対象の画像を取得し、該取得した画像データから計測対象の位置を計測して該計測データを保存、処理することを特徴とする。また本発明は、前記取得した計測データにつき、画像が撮影された時点でのカメラの内部パラメータに基づいて、レンズの歪み補正を行うようにしたことを特徴とする。また本発明は、前記画像の拡大処理を行うようにしたことを特徴とする。また本発明は、少なくとも二つの焦点位置から計測点の三次元位置を求めるにあたり、画像上での計測点の位置と焦点距離の組合せから求められた計測不可能な領域である計測の不確かさを計測精度の評価指標として採用し、取得された複数の画像データから最も計測精度の高い組合せを選定して計測データとすることを特徴とする。また本発明は、前記ズーム制御とともに探索しつつ追跡した前記計測対象の画像の取得および該画像データからの計測データの保存制御と、前記レンズの歪み補正、画像の拡大処理、不確かさを計測精度の評価指標とした計測データの確定制御とを並列的に行うようにするとともに、最も新しいデータを基準として、過去に遡るデータの探索を可能にしたことを特徴とするもので、これらを課題解決のための手段とするものである。
【００１１】
【実施の形態】
以下、本発明のズームによる位置計測方法の実施の形態を図面に基づいて説明する。本発明の基本的な構成は、図２に示すように、計測対象Ｍを単眼カメラのズーム機能により移動する焦点におけるスクリーン上に結像させて視差による三角測量法の原理により前記計測対象の位置を計測するズームによる位置計測方法において、感光面を原点とする三次元座標に、ズーム制御とともに探索しつつ追跡した前記計測対象の画像を取得し、該取得した画像データから計測対象の位置を計測して該計測データを保存、処理することを特徴とするものである。
【００１２】
以下、原理の説明および実験結果による優位性について詳述する。始めに、本発明のズームによる位置計測方法のロボット業界での有用性について述べる。現在、ヒューマノイドなどの高度知能ロボットの研究が盛んであるが、現在の成果は、手足等の機構が完成したに過ぎない。次のステップとしては、身体を持ったロボットが知能を獲得することであると考えられるが、現状ではセンシング・デバイスは貧弱であると言わざるを得ない。視覚（カメラ）は、知能ロボットの実現に有力なデバイスであるが、位置計測技術に関してステレオ視に代わるものはなく、本発明の計測方法はステレオ視とは別のアプローチとして確立する可能性が高い。将来的には、ロボットは小型化に向かう傾向もあり、本位置計測方法はその点でもステレオ視より有利である。
【００１３】
＜基本計測原理＞
ズームによる位置計測方法は基本的にはステレオ視による計測方法と同様で、異なる二つの視点から計測点を求める方法である。その計測原理を図１に示す。この図はカメラの横から見た場合である。カメラから見える計測点Ｍは、ズームによって移動した焦点ｆ１ ， ｆ２ ， ・・・ｆｎ の位置により、スクリーン上の位置ｖ１ ，ｖ２ ，・・・ｖｎ のように見え方が異なる。これはステレオ視と同様に視差が生じていることを意味し、三角測量の計測原理より計測点Ｍの位置を求めることができる。
【００１４】
図１および図２のように座標を定義したとき、感光面の位置を原点とし、スクリーン上に写る計測点の位置を時ｕ，ｖとする。さらに、スクリーン上の計測点の位置（ｕ，ｖ）より、計測点Ｍの存在する方位θ，φと定義する。この座標系において、計測点Ｍの位置は次式で求めることができる。
【００１５】
＜計測のアルゴリズム＞
本計測方法のおおまかなアルゴリズムを次の図３に示す。本アルゴリズムは、大きく二つの処理に分かれる。一つは、「計測対象の探索」を行い、画像を取得し、計測対象の追跡（トラッキング）をしながらズーム機構を制御し、計測データを記録する。この処理は連続的に行われる。追跡された計測対象については、撮像した画像のフレーム番号（撮像した時間）、その時点での計測対象の画像（スクリーン）上の位置と焦点距離等のカメラの内部パラメータ等、これらの組のデータが複数記録される。記録されたデータは、好適にはコンピユータ上のメモリに保存し、ある程度のデータを蓄積するようにする。また、追跡アルゴリズム上、過去の画像が必要となる場合もあるので、必要に応じてメモリ容量がある限り画像データを保存する場合もある。
【００１６】
もう一つの処理の流れについて説明する。記録されたデータを取得し、画像が撮影された時点でのカメラの内部パラメータに基づいて「レンズの歪み補正」を行い、正確に、画像上の計測対象の位置（計測点）を定める。また、画像の解像度が不充分なときは、画像の拡大処理を行い、「画像解像度の分解能」を向上させる。本計測方法では、最低二つの焦点位置から計測点の三次元の位置を求めることができるが、計測精度として「計測の不確かさ」を画像上での計測点の位置と焦点距離の組合せから求めることができる。この計測の不確かさを計測精度の評価指標とし、記録された複数のデータから最も計測精度の高い組合せを選び、それを計測データと決定する。以上の二つの処理は、並列的に行わせるようにし、撮像遅れの影響を最小限に留めるために、現時点で記録されたばかりのデータを基準として、過去に遡るようにデータの探索を行う。
【００１７】
＜計測対象の探索＞
本計測方法では、ズームの効果を有効利用するために、計測対象の追跡（トラッキング）を利用する。このためには、パン・チルト制御機構を有するカメラの利用が望ましい。図４に計測対象の追跡方法を示す、図４において、まず画像中から対象物の探索を行う（ステップ１）。たとえば図中の箱を計測する場合には、箱が画像の中心となるようにカメラの向きを制御する（ステップ２）。例えば、一般的な線分抽出アルゴリズムを適用した場合、箱の稜線（エッジ）を抽出することができ、線分の交点を計測点として選択することができる（図５はその一例）。このとき、箱を画像の中心になるようカメラを向けた状態であれば、ズームイン（望遠）によって計測点は画像上の縁に移動する。計測点が画像上を移動することは、「焦点の移動によって視差が生じていること」を意味する。本計測方法では、この原理を積極的に利用するために、カメラの向きを制御することが望ましい。
【００１８】
＜レンズの歪み補正＞
本計測方法では、画像上の位置から計測点の方位を正確に求める必要がある。理想的には、光学系が既知のズーム・カメラを用いることが望ましい。しかし、一般的には複数のレンズを組合せてズーム機能が実現されており、この場合にはレンズの歪みが生じてしまう。このような場合には、レンズの歪みを補正する必要がある。レンズ補正のモデルの概要を図６に示す。図６は、ズーム・レンズのモデルを横から見た図である。これはピンホール・モデルを想定した場合で、例えば、ある計測点の方位を求める場合、モデル上から求められる計測点の方位と、実際に存在する計測点の方位との誤差があった場合には、係数αでレンズの歪みを補正する。ｐ点における実際の計測点の方位θは、
θ＝αｔａｎ−１（ｖ／ｆ）
より求められる。ただし、レンズの歪みは焦点距離と画像上の位置（感光面上の位置）によって、歪みの程度が異なる。このため、焦点距離、感光面上の位置毎に求め、これによって部分的な歪みをも補正することが可能となる。
【００１９】
＜計測の不確かさ＞
デジタル画像における計測では、ｌ画素が占める領域が不確かさとして考えることができる。すなわち、図７に示すように、１画素が占める領域よりも高い分解能で計測点を求めることはできない。この領域は位置計測上の不確かさとなる。ズームによる位置計測方法では、図８のように各焦点からの不確かな領域が重なった部分が、位置計測の不確かな領域となり、これを計測精度とすることできる。図８のような計測の不確かさを求めるには、図９に示すように画像上の計測点を画素の寸法（△ｕ，△ｖ）の領域である４点の位置ａ，ｂ，ｃ，ｄ点から求める。ズームによる位置計測方法では、二つの焦点での画像上の位置ａ，ｂ，ｃ，ｄおよびａ’，ｂ’，ｃ’，ｄ’の計８点の位置から、それぞれに対応した画像上の位置を前記式（１）に代入することによって、計測の不確かな領域を求めることができる。
【００２０】
以上のように計測の不確かさを求めることによって、計測精度を評価することが可能となる。高い計測精度を得るためには、「視差を大きくとること」、「高い画像解像度を有すること（図９の画素が精細であれぱ不確かさの領域が狭くなる）」の二つを満たす必要がある。視差については、「画像上での計測点の見え方が大きく異なること」、「２焦点間の距離が長いこと」の二つの条件が必要である。ただし、２焦点間の距離を長くとることは計測点が画像枠から外れてしまうので、常に計測点を追跡しながら、計測対象が画像から消えないようにズームを制御する必要がある。本位置計測方法のアルゴリズムでは、計測対象の追跡（トラッキング）を行いながら、焦点の異なる複数の画像から、以上で述べた条件を評価しながら最も計測精度の高い組合せを探索し、それを計測値とする。
【００２１】
＜画像解像度の分解能＞
不確かさについて述べたとおり、デジタル画像を利用する場合には可能な限り精細な画素を得る必要がある。このため計測精度が不充分なときは、画像拡大法を適用し、画像解像度を上げる。これによって画像上の画素寸法が小さくなり、不確かな領域は小さくなる。
【００２２】
以上説明したような理論構成に基づくズーム計測方法の効果を検証するために、実際にカメラを用いて行った実験結果について以下に述べる。
＜実験装置＞
本研究では、ズーム計測方法の効果を検証するために、実際にカメラを用いて計測実険を行った。本実険では、画像キヤプチヤ・ボードを実装したパソコン（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ以下ＰＣ）を用意し、ズーム機構を制御することができるＣＣＤカメラ（Ｓｏｎｙ製ＥＶＩ‐Ｄ３０）をＰＣに接続した。本カメラは、ＲＳ‐２３２Ｃ準拠のシリアル・インタフェースを装備しており、ＰＣからのコマンドによって視点の向きおよぴズーム機構を制御することができる。ズームによる焦点距離ｆは５．４〜６４．８〔ｍｍ〕まである。このシステム構成を図１０に示す。そして、カメラの仕様を図１１の表図に示す。本カメラからの映像はＮＴＳＣビデオ信号として出力され、この映像をＰＣによって有効画素数内の３２０×２４０〔ｐｉｘｅｌ〕または６４０×４８０〔ｐｉｘｅ１〕の解像度で画像を取得することができる。
【００２３】
＜計測点の注視＞
本研究では、ＰＣ上に画像上のある特徴的なパターンを探索し、これを注視しながら画像上の計測点を求めるプログラムを作成した。また本ブログラムは、ズーム機能を制御することも可能であるので、ズームによって視点を移動させながら、視点の異なった画像上の計測点の位置から、三次元上の計測点の位置を計測することにした。図１２のような計測対象を用意した。図１２は、高さ８．０〔ｍｍ〕、幅８．０〔ｍｍ〕の矩形が６０〔ｍｍ〕間隔で６個横一列に並んだ画像である。この画像中の矩形を計測対象とした。図１２のような類似パターンが規則的に配列された画像では、ステレオ視では左右画像の計測点の対応付けが困難な場合が生じる。本発明のズーム計測方法では、一般的なトラッキング手法（注視点の追跡手法）を適用することによって、計測点の対応付けをロバストに行うことが可能となる。
【００２４】
本実験では、計測点の抽出に、「二値化（Ｂｉｎａｒｉｚａｔｉｏｎ）」、「ラベリング（Ｌａｂｅ１ｉｎｇ）」、「微粒子除去（Ｒｅｍｏｖｅ Ｎｏｉｓｅ）」の画倹処理を行い、ラベリングによって計測点の抽出を行った。そして、抽出パターンの中心を計測点とすることとした。図１２のパターン画像をカメラの前方（ｚ方向〉に０．４３〔ｍ〕、カメラの高さ（ｘ方向）に０．０〔ｍ〕の位置に設置した（図１３）。このとき、パターンは、ｙ方向に一０．１６、−０．１０、一０．０４、０．０２、０．０８〔ｍ〕の位置となる。そして、焦点距離がｆ＝５．４［ｍｍ］からｆ＝８．０およぴ２０．０〔ｍｍ〕までズームしながら、計測点のトラッキングを行った。この様子を図１４に示す。本実験のような簡単なトラッキング手法を適用するだけで、ロバストに計測点を追跡することが可能であることが分かった。
【００２５】
＜サブピクセル・オーダの計測点の抽出＞
本実験では実時間での注視を考慮し、３２０×２４０〔ｐｉｘｅ１〕で画像の取込みを行うこととした。ズーム計測方法では、微小な視差から計測点の位置を算出するため、可能な限り高い解像度を得る必要があるため、ラベリングされた領域を縦横６倍まで拡大し、その領域で重心演算を行い、計測点の中心を求めることとした。これはサブピクセル（Ｋａｚｕｎｏｒｉ ＵＭＥＤＡ，Ｔａｋａｔｏｓｈｉ ＴＡＫＡＨＡＳＨＩ：”Ｓｕｂｐｉｘｅｌ Ｓｔｅｒｅｏ Ｍｅｔｈｏｄ：ａ Ｎｅｗ Ｍｅｔｈｏｄｏｌｏｇｙ ｏｆ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ”）まで画像上の計測点を求めることに相当する。一例として抽出した領域を縦横６倍まで拡大した画像の一部を図１５示す。画像の拡大に関しては一次補間法を適用した。
【００２６】
＜計測結果＞
本研究で用いたＣＣＤカメラの素子寸法、焦点距離等の値はすべて理論値であり、本実験で画像計測に用いるためにはそれらの値を補正しなけれぱならない。しかも焦点距離毎の補正は複雑であるので、ズーム計測方法におけるパラメータである焦点距離ｆｗ ， ｆｔ スクリーン上の計測点の位置ｕｗ ， ｖｗ およびｕｔ ， ｖｔ からなる多項式を立て補正係数αを求めることにした。本実験では、画像の歪みとなるレンズに入射する光の屈折を想定し、式（１）より、ｐ＝α・ｕｔ ／ ｆｔ とし、α＝Ａ・Ｐ（Ａ、Ｐは行列）より任意の計測点（ｚ＝０．４３〔ｍ〕以外）の６か所のｆｗ ，ｆｔ ， ｕｗ ， ｖｗ ， ｕｔ ， ｖｔ および真値より求められるαから各項の係数を求めた。ただし、Ａ＝〔α１ ，α２ ，α３ ，α４ ，α５ ，α６ 〕，Ｐ＝〔ｆｗ ， ｆｔ ， ｕｗ ， ｖｗ ， ｕｔ ， ｖｔ 〕Ｔ である。
【００２７】
その結果、α１ ＝３．０６×１０２ ，α２ ＝５．１０×１０−６，α３ ＝８．４８×１０−４，α４ ＝３．８，α５ ＝６．５７×１０−６，α６ ＝−１．８３×１０−３となり、補正係数αはおおよそ１．０〜１．２となった。計測結果を図１６に示す。本実険での前方６点の内、中心に近い４点が充分な精度で計測することができた。図１６において、破線上の「＋」は真の計測点の位魔（Ｔｒｕｅ Ｐｏｉｎｔｓ）、「○」は計測値（Ｍｅａｓｕｒｅｄ Ｐｏｉｎｔｓ）を意味する。また、○上に描かれている線分は本実験で用いたＣＣＤカメラおよぴ画像の解像度から算出される計測の不確かさの領域を示している。線分で表された計測の不確かさより、ｚ方向に比ベ、ｙ方向の不確かさが極めて狭いことを確認した。計測点Ａ、ＢおよぴＤは誤差が僅かであり、不確かさも真値を含めるように位置しているため、充分な計測精度が得られたことが分かった。特に、ｙ軸方向で数ミリ程度の誤差で計測することができた。これに対して計測点Ｃはやや真値から離れており、不確かさの領域で見ても誤差と分かった。その理由は、画像処理上のノイズ等の影響で計測点がずれたためだと考えられる。
【００２８】
＜ズームによる計測点の高分解能化＞
ズーム計測方法の特長として、ズームによる画像拡大（計測点の高分解能化）が挙げられる。ズーム計測方法では、微小な視差から計測を行うため、計測の不確かさの領域がｚ方向に広がる。しかし、計測点の高分解能化によって領域がある程度小さくなるので、図１６の結果のように４点全てに対して菱形てはなく、焦点と計測結果を結んだ線分のような狭い領域になる。
【００２９】
＜考察＞
＜視差と計測箱度との関係＞
本実験結果に基づいて、視差による影響について考察する。ズーム計測方法では、視点の移動に伴い視差が変化する。このため、視差と計測精度の開係を把握することが必要である。そこで、ｙ軸およぴｚ軸方向の不確かさの領域を計測精度として考え、視差と不確かさの関係を調べることにした。図１７およぴ図１８は横軸に視差、縦軸に不確かさをとり、これらの関係を表している。白のプロットは真値より、前記式（１）に基づいて理論値から算出した。黒のプロツトは計測結果における計測精度を表しており、すなわち、図１６で示した不確かさの領域である。図１７および図１８において、視差が大きいほど不碓かさが縮小し、精度の高い計測が可能となることを確認した。
【００３０】
＜ズーム計測方法におげる計測の不確かさ＞
図１７および図１８において、各計測点における計測値と真値はともに近い値となった。このことからも、充分な計測結果が得られたことが確認できた。さらに、すべての計測結果が、真値から求めた理論的な視差と不確かさの関係を表す曲線上に位置した。このことは、近似的な補正が正しく行えたことと、サブピクセルまで計測点を求められたことを意味する。よって、計測点Ｃの誤差の原因は、レンズ等の歪みによるものではなく、画像上のノイズやゆらぎによる画像処理上の問題であることが分かった。
【００３１】
＜ズーム計測方法の実用化の課題＞
本実験結果より、微小な視差であってもサブピクセル・オーダまで計測点を求めることによって、充分な計測が可能であることが分かった。ズーム計測方法で、より実用的な計測結果を得るためには、（１）高解像度で画像を取得すること。（２）レンズの歪みなどのカメラ内部パラメータを補正できること。の２つが要求される。（１）に関しては、ＤＶカメラなどのデバイスがディジタル化されるだけでなく高解像度化しており、将来的にはズーム計測方法にとって充分な解像度が得られるようになると考えられる。また、近年のコンピュータの処理速度の向上を考慮すると、画像の取込みおよぴ処理も高速に行われるようになると期待される。（２）に関しては、さまざまな歪み補正法が提案されている。しかし、ズーム機能を有するカメラは複数のレンズを組み合わせており、これを理論的に補正するのは手問のかかる作業である。より簡便な補正方法の開発が望まれる。
【００３２】
＜おわりに＞
本研究では、ステレオ視のような計測点の対応付け問題を回避するために、単眼による注視に着目し、注視しながら焦点距離を変え視点を移動させる「ズーム視」について述べた。そして、ズーム視に基づいて計測点の位置を求める新たな画像計測方法として「ズーム計測方法」を提案した。本研究では、ズーム視の定式化およぴ不確かさの算出方法を給じ、実際にズーム機構付きＣＣＤカメラを用いて、類似パターンの位置を計測した。そして、計測結果と不確かさの評価によりズーム計測方法の有用性を示した。
【００３３】
以上述べたように、本ズーム計測方法によれば、（１）一台のカメラだけを利用するため、ステレオ視のように複数のカメラの設置やカメラ・パラメータの調整は不要となる。また、ズーム機能を装備したカメラを用いるだけなので、設備的にも簡便で小型である。（２）注視による計測点の追跡（トラッキング）技術を適用することにより、ステレオ視で問題となる計測点の対応付け問題を回避することができる。具体的には、タイル張り、格子模様の等類似パターンが存在する対象物であっても、本計測方法ではある計測対象を常に注視し追跡できるので、ステレオ視のような対応付け間題が生じない。（３）レンズ焦点法のようにピントぽけの画像を作り出す必要がないので、本計測方法を適用しながら、画像認識等の高度画像処理、知覚処理等も、同時に適用することができる。
【００３４】
以上、本発明の実施の形態について説明してきたが、本発明の趣旨の範囲内で、単眼カメラの形式、ズーム機能の形態、スクリーンの形状、形式およびその三次元座標の設定形態、ズーム制御形態、単眼カメラによる探索、追跡形態、計測対象画像の取得形態、画像データからの位置の計測形態、該計測データの保存形態、カメラの内部パラメータの設定形態、レンズの歪み補正形態、画像の拡大処理形態、計測精度の評価指標としての計測の不確かさの設定形態、計測データの保存制御形態および計測データの確定制御形態との並列的制御形態、新しいデータを基準とする過去に遡るデータの探索形態等については適宜選定することができる。また、実験装置の各諸元等は例示的なもので、これらを限定的に解釈してはならない。
【００３５】
【発明の効果】
以上、詳細に説明したように、本発明では、計測対象を単眼カメラのズーム機能により移動する焦点におけるスクリーン上に結像させて視差による三角測量法の原理により前記計測対象の位置を計測するズームによる位置計測方法において、感光面を原点とする三次元座標に、ズーム制御とともに探索しつつ追跡した前記計測対象の画像を取得し、該取得した画像データから計測対象の位置を計測して該計測データを保存、処理するようにしたので、ロボット等のように移動する計測主体に適用しても、注視による計測点の追跡技術の適用により計測対象が類似パターンであっても容易に視認して、感光面を原点とする三次元座標にて画像の取得と処理が確実に行え、しかも、複数のカメラの設置やカメラ・パラメータの調整が不要で、ズーム機能を装備した一台のカメラを用いるだけで、設備的にも簡便で小型化が可能となる。
【００３６】
また、前記取得した計測データにつき、画像が撮影された時点でのカメラの内部パラメータに基づいて、レンズの歪み補正を行うようにした場合は、対象物である計測点のより正確な方位を求めることが可能となる。さらに、画像の拡大処理を行うようにした場合は、画像の解像度が不充分なときには、画像解像度の分解能を高めて計測値をより正確に求めることが可能となる。さらにまた、少なくとも二つの焦点位置から計測点の三次元位置を求めるにあたり、画像上での計測点の位置と焦点距離の組合せから求められた計測不可能な領域である計測の不確かさを計測精度の評価指標として採用し、取得された複数の画像データから最も計測精度の高い組合せを選定して計測データとする場合は、計測の不確かさを認識することでより高い精度で計測値を求めることができる。
【００３７】
また、前記ズーム制御とともに探索しつつ追跡した前記計測対象の画像の取得および該画像データからの計測データの保存制御と、前記レンズの歪み補正、画像の拡大処理、不確かさを計測制度の評価指標とした計測データの確定制御とを並列的に行うようにするとともに、最も新しいデータを基準として、過去に遡るデータの探索を可能にした場合は、撮像遅れの影響を最小限に留めることができる。かくして、誤差の予測や画像補間技術を用いて高解像度化技術を駆使することにより、自律移動するロボット等にも最適な単眼レンズを用いたズーム制御による低コストかつコンパクトな装置が実現できるズームによる位置計測方法が提供される。
【図面の簡単な説明】
【図１】本発明の基礎となるズームによる位置計測の基本原理の説明図である。
【図２】本発明のズームによる位置計測方法にて採用される感光面を原点とする三次元座標図である。
【図３】本発明のズームによる位置計測方法のアルゴリズムの概要図である。
【図４】同、計測対象の追跡方法例図である。
【図５】同、ズームインによる計測点の移動例図である。
【図６】同、レンズの歪み補正の概念図である。
【図７】同、デジタル画像における計測の不確かさの説明図である。
【図８】同、ズームによる位置計測方法における計測の不確かさの説明図である。
【図９】同、デジタル画像上の１画素の領域説明図である。
【図１０】本発明のズームによる位置計測法の効果を検証する実験装置のシステム構成図である。
【図１１】同、カメラの仕様例の表図である。
【図１２】同、計測対象である計測点の配列例図である。
【図１３】同、カメラの前方に設置された計測点の配列例図である。
【図１４】同、計測点の追跡例状態図である。
【図１５】同、計測点の拡大例図である。
【図１６】同、計測点の計測結果例図である。
【図１７】同、ｙ方向における視差と不確かさとの関係図による計測値と真値との計測結果例図である。
【図１８】同、ｚ方向における視差と不確かさとの関係図による計測値と真値との計測結果例図である。
【符号の説明】
Ｍ 計測対象
Claims (5)
- 計測対象を単眼カメラのズーム機能により移動する焦点におけるスクリーン上に結像させて視差による三角測量法の原理により前記計測対象の位置を計測するズームによる位置計測方法において、感光面を原点とする三次元座標に、ズーム制御とともに探索しつつ追跡した前記計測対象の画像を取得し、該取得した画像データから計測対象の位置を計測して該計測データを保存、処理することを特徴とするズームによる位置計測方法。
- 前記取得した計測データにつき、画像が撮影された時点でのカメラの内部パラメータに基づいて、レンズの歪み補正を行うようにしたことを特徴とする請求項１に記載のズームによる位置計測方法。
- 前記画像の拡大処理を行うようにしたことを特徴とする請求項１または２に記載のズームによる位置計測方法。
- 少なくとも二つの焦点位置から計測点の三次元位置を求めるにあたり、画像上での計測点の位置と焦点距離の組合せから求められた計測不可能な領域である計測の不確かさを計測精度の評価指標として採用し、取得された複数の画像データから最も計測精度の高い組合せを選定して計測データとすることを特徴とする請求項１から３のいずれかに記載のズームによる位置計測方法。
- 前記ズーム制御とともに探索しつつ追跡した前記計測対象の画像の取得および該画像データからの計測データの保存制御と、前記レンズの歪み補正、画像の拡大処理、不確かさを計測精度の評価指標とした計測データの確定制御とを並列的に行うようにするとともに、最も新しいデータを基準として、過去に遡るデータの探索を可能にしたことを特徴とする請求項４に記載のズームによる位置計測方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003030249A JP4044454B2 (ja) | 2003-02-07 | 2003-02-07 | ズームによる位置計測方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003030249A JP4044454B2 (ja) | 2003-02-07 | 2003-02-07 | ズームによる位置計測方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004239791A true JP2004239791A (ja) | 2004-08-26 |
| JP2004239791A5 JP2004239791A5 (ja) | 2005-07-28 |
| JP4044454B2 JP4044454B2 (ja) | 2008-02-06 |
Family
ID=32957187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003030249A Expired - Fee Related JP4044454B2 (ja) | 2003-02-07 | 2003-02-07 | ズームによる位置計測方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4044454B2 (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006153768A (ja) * | 2004-11-30 | 2006-06-15 | Honda Motor Co Ltd | 位置検出装置及びその補正方法 |
| JP2007323616A (ja) * | 2006-06-05 | 2007-12-13 | Topcon Corp | 画像処理装置及びその処理方法 |
| JP2007323615A (ja) * | 2006-06-05 | 2007-12-13 | Topcon Corp | 画像処理装置及びその処理方法 |
| US7567688B2 (en) | 2004-11-30 | 2009-07-28 | Honda Motor Co., Ltd. | Apparatus for and method of extracting image |
| US7590263B2 (en) | 2004-11-30 | 2009-09-15 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| US7599521B2 (en) | 2004-11-30 | 2009-10-06 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| US7620237B2 (en) | 2004-11-30 | 2009-11-17 | Honda Motor Co., Ltd. | Position detecting apparatus and method of correcting data therein |
| US8767057B2 (en) | 2010-03-30 | 2014-07-01 | Olympus Corporation | Image processing device, image processing method, and program |
| JP2014178124A (ja) * | 2013-03-13 | 2014-09-25 | Ricoh Co Ltd | ３次元計測システム、プログラム及び方法。 |
| JP2015061200A (ja) * | 2013-09-18 | 2015-03-30 | コニカミノルタ株式会社 | 画像表示装置、画像表示方法、および画像表示プログラム |
| US9076267B2 (en) | 2011-07-19 | 2015-07-07 | Panasonic Intellectual Property Corporation Of America | Image coding device, integrated circuit thereof, and image coding method |
| CN106324790A (zh) * | 2016-08-12 | 2017-01-11 | 中国科学院光电技术研究所 | 一种基于单目视觉位姿测量的耦合镜自动调整方法 |
| US10060728B2 (en) | 2012-07-26 | 2018-08-28 | Nec Corporation | Three-dimensional object-measurement device, medium, and control method |
| CN110132225A (zh) * | 2019-05-10 | 2019-08-16 | 西安电子科技大学 | 单目斜置非共轴透镜测距装置 |
-
2003
- 2003-02-07 JP JP2003030249A patent/JP4044454B2/ja not_active Expired - Fee Related
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006153768A (ja) * | 2004-11-30 | 2006-06-15 | Honda Motor Co Ltd | 位置検出装置及びその補正方法 |
| US7567688B2 (en) | 2004-11-30 | 2009-07-28 | Honda Motor Co., Ltd. | Apparatus for and method of extracting image |
| US7590263B2 (en) | 2004-11-30 | 2009-09-15 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| US7599521B2 (en) | 2004-11-30 | 2009-10-06 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| US7616806B2 (en) | 2004-11-30 | 2009-11-10 | Honda Motor Co., Ltd. | Position detecting apparatus and method of correcting data therein |
| US7620237B2 (en) | 2004-11-30 | 2009-11-17 | Honda Motor Co., Ltd. | Position detecting apparatus and method of correcting data therein |
| JP2007323616A (ja) * | 2006-06-05 | 2007-12-13 | Topcon Corp | 画像処理装置及びその処理方法 |
| JP2007323615A (ja) * | 2006-06-05 | 2007-12-13 | Topcon Corp | 画像処理装置及びその処理方法 |
| US8767057B2 (en) | 2010-03-30 | 2014-07-01 | Olympus Corporation | Image processing device, image processing method, and program |
| US9076267B2 (en) | 2011-07-19 | 2015-07-07 | Panasonic Intellectual Property Corporation Of America | Image coding device, integrated circuit thereof, and image coding method |
| US10060728B2 (en) | 2012-07-26 | 2018-08-28 | Nec Corporation | Three-dimensional object-measurement device, medium, and control method |
| JP2014178124A (ja) * | 2013-03-13 | 2014-09-25 | Ricoh Co Ltd | ３次元計測システム、プログラム及び方法。 |
| JP2015061200A (ja) * | 2013-09-18 | 2015-03-30 | コニカミノルタ株式会社 | 画像表示装置、画像表示方法、および画像表示プログラム |
| CN106324790A (zh) * | 2016-08-12 | 2017-01-11 | 中国科学院光电技术研究所 | 一种基于单目视觉位姿测量的耦合镜自动调整方法 |
| CN110132225A (zh) * | 2019-05-10 | 2019-08-16 | 西安电子科技大学 | 单目斜置非共轴透镜测距装置 |
| CN110132225B (zh) * | 2019-05-10 | 2021-03-12 | 西安电子科技大学 | 单目斜置非共轴透镜测距装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4044454B2 (ja) | 2008-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136208B (zh) | 一种机器人视觉伺服系统的联合自动标定方法及装置 | |
| CN109308693B (zh) | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 | |
| CN105894499B (zh) | 一种基于双目视觉的空间物体三维信息快速检测方法 | |
| CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
| JP5911934B2 (ja) | 輪郭線計測装置およびロボットシステム | |
| CN109658457B (zh) | 一种激光与相机任意相对位姿关系的标定方法 | |
| JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
| JP4044454B2 (ja) | ズームによる位置計測方法 | |
| CN108177143A (zh) | 一种基于激光视觉引导的机器人定位抓取方法及系统 | |
| JP2006010376A (ja) | ステレオ画像の関連付け方法及び３次元データ作成装置 | |
| AU8636298A (en) | Scanning apparatus and methods | |
| JP2903964B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| Cvišić et al. | Recalibrating the KITTI dataset camera setup for improved odometry accuracy | |
| JP7353757B2 (ja) | アーチファクトを測定するための方法 | |
| WO2023245708A1 (zh) | 基于机器视觉的电极植入方法及系统 | |
| JP3988574B2 (ja) | 画像処理装置 | |
| KR101972432B1 (ko) | 레이저비전 센서 및 그 보정방법 | |
| JPH07181024A (ja) | ３次元形状計測方法および装置 | |
| CN112288801A (zh) | 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置 | |
| JP2020194454A (ja) | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 | |
| JP2002318344A (ja) | 光学機器のオートフォーカシング方法および装置 | |
| JP2021122080A (ja) | データ処理装置、データ処理方法、及び、プログラム | |
| JP2007094536A (ja) | 対象物追跡装置及び対象物追跡方法 | |
| CN110381257B (zh) | 映射的目标定位云台控制方法 | |
| JP2006190121A (ja) | トラッキング装置およびトラッキング方法、並びに、このトラッキング装置を備えた生物顕微鏡 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041217 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070814 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071115 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4044454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |