JP2003156316A - 光学的形状測定装置 - Google Patents

光学的形状測定装置

Info

Publication number
JP2003156316A
JP2003156316A JP2001354457A JP2001354457A JP2003156316A JP 2003156316 A JP2003156316 A JP 2003156316A JP 2001354457 A JP2001354457 A JP 2001354457A JP 2001354457 A JP2001354457 A JP 2001354457A JP 2003156316 A JP2003156316 A JP 2003156316A
Authority
JP
Japan
Prior art keywords
light
shape
area
partial
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001354457A
Other languages
English (en)
Other versions
JP4097421B2 (ja
Inventor
Yasuhiro Osawa
康宏 大澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2001354457A priority Critical patent/JP4097421B2/ja
Publication of JP2003156316A publication Critical patent/JP2003156316A/ja
Application granted granted Critical
Publication of JP4097421B2 publication Critical patent/JP4097421B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 正確かつ効率的に3次元形状を測定しうる光
学的形状測定装置を提供する。 【解決手段】 光学的形状測定装置1500は、照射手
段1503と、検知手段1510と、形状推定手段15
15と、形状補正手段1516とを備える。照射手段1
503は、検知手段1510と照射手段1503とを結
ぶ視差方向に対して垂直に分割され互いに重なりの無
い、被測定対象を含む測定領域の中の分割されたスリッ
ト状の部分領域に、1種類以上の光パターンを照射す
る。検知手段1510は測定領域に照射された光パター
ンの反射光を検知し、形状推定手段1515は、検知手
段が検知した測定領域に照射された光パターンの反射光
量から、照射手段と検知手段の視差を利用して測定領域
の形状データを推定し、形状補正手段1516は、推定
された測定領域の形状データに関連する部分領域の番号
を決定して被測定対象の形状データを求める。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、物体の形状と距離
計測を行なう光学的形状測定装置に関し、特に3次元光
学的形状測定装置に関する。
【0002】
【従来の技術】従来、物体の3次元の形状測定を行なう
形状測定装置には、スリット状のレーザー光を測定物体
に照射し、スリットの長手方向と垂直に走査しながら、
スリット光の照射方向と異なる視野から観察することで
生じる物体形状に応じたスリット光の変形を、3角測量
の原理を用いて形状として測定するものがあった(以
下、光切断法または切断法と呼ぶ)。
【0003】図1は、従来型の光切断法を用いた3次元
計測装置の模式的斜視図である。図1を用いて光切断法
を説明する。図1に示されるように、産業用によく用い
られている切断法を用いた形状測定装置は、半導体レー
ザーユニット101と、ガルバノミラー102、シリン
ドリカルレンズ103を備えた照射光学系と、結像レン
ズ107とCCD108とを備えた検知光学系からなる
場合が多い。半導体レーザーユニット101からビーム
状に放射された光がガルバノミラー102で図面左右方
向に走査され、シリンドリカルレンズ103で上下方向
に拡大されて、縦に長いスリット光105となって測定
物体104に照射される。このとき、スリット光105
が走査される方向、即ち基線方向にずれた位置から、結
像レンズ107を通して測定物体104から反射される
反射光106を受光素子であるCCD108で観察する
と、測定物体104の奥行き方向の凹凸に応じてCCD
108上で直線状のスリット光105の変形と結像位置
の移動が生じる。CCD108で反射光106の像を観
察することは、反射光106が結像レンズ107に入射
する測定物体104の各点の位置を3角測量しているこ
とになり、スリット光105を照射する位置とCCD1
08の基線方向の位置の差(基線長)があらかじめ分か
れば、この変形からスリット光105が照射されている
部分の測定物体104の形状を測定することができる。
こうして、ガルバノミラー102を振動させることで、
スリット光105を測定物体全体に走査しながら形状測
定を繰り返せば、測定物体104全体の形状を得ること
ができる。
【0004】図2は、3角測量を説明する説明図であ
る。図2を用いて3角測量についてさらに詳細に説明す
る(参考文献として例えば、吉澤徹著、 「光三次元計
測」、29−30頁、 新技術コミュニケーションズ、
1993年など)。
【0005】スリット光源202(図1のガルバノミラ
ー102のビーム光の反射位置に相当)と受光器205
(図1のCCD108に相当)が基線長Lだけ離れてい
るとする。スリット光源202から角度θで放射された
光が203aの位置にある測定物体203の表面で反射
され、受光器205のある位置に角度φで入射し結像す
る場合、式1の関係
【0006】
【数1】
【0007】が成り立つ。結像レンズ210と受光器2
05の距離dと、基線長から垂直方向への測定物体の距
離Zaがあらかじめ分かっていると、入射角度φが求ま
る。もし測定物体203が203bの位置にある場合
に、受光器205での結像位置に対してxだけずれて結
像したとして、Ψ = arctan(x / d)の関係からΨがわ
かるので、式2の関係
【0008】
【数2】
【0009】からZbが求まる。スリット光202を測
定物体203全体を照射するように放射角度θを走査
し、各θ毎に上記の手続きを繰り返せば、測定物体の各
反射点と基線との距離Z、即ち形状が求められる。
【0010】しかしながら、スリット光を測定物体に順
次走査する光切断法の短所は、各スリット光を走査する
光走査光学系が必要であり、通常、図1のガルバノミラ
ー102のような可動部品が用いられるため装置の振動
に弱くなること、および角度θ毎に形状測定を繰り返す
必要があるため、計測時間が長いことである。また測定
物体の表面の反射率に依存して受光器205で観測され
る光量に変動が生じ、受光器のどこに測定物体の像が結
像しているかは、結像光量の最大値等から推定すること
が必要になることなどの短所がある。
【0011】スリット光を順次に走査する必要があると
いう光切断法の短所を改良した形状計測方法に、パター
ン光投影法がある。これは、スリット光を走査する代わ
りに、複数のスリット光を1つのパターン光として測定
物体上に一括に照射する方法である。ただしそのままで
はパターン光のどの位置がどのスリット光に相当するか
が分からないため、あらかじめ何らかの方法でスリット
光との対応、つまりどの照射角度で照射されたかを照射
されたパターン光自体に情報を付加(インデクス付け)
しておく必要がある。
【0012】パターン光投影法の一種に、測定物体に分
光スペクトルパターンを一括して投影する方法(以下で
はレインボー法と称する)がある(特開昭61−752
10)。図3は、レインボー法を説明する説明図であ
る。図3に従って説明する。光源312からスリット3
13を透過した光はプリズム314で分光され、物体面
305上に虹のような光パターンとして照射される。プ
リズム314とスリット313に配置によって放射角度
θに依存した色の分布が決まるので、物体305の表面
で反射された光を、レンズ308で物体面を結像面30
9に結像させた像をカメラ307で観察された色から、
入射光θが判断できる。つまりパターン光の色でインデ
クス付けしている。
【0013】光源312とカメラ307が距離Dだけ離
れているので、放射角θが分かれば、その情報から3角
測量法により物体面5の形状が求まる。色の同定はフィ
ルタ315の透過波長を変えることで、物体面305の
各点での反射光のうち、2種類の波長の光量比率を求め
ることで行なう。つまり、次の例に示す強度比法の2つ
のパターンを、波長を変えて重ね合わせたものと考える
ことができるので、レインボー法は強度比法の1つであ
る。この方式では、光切断法のようにスリット光を順次
走査する必要がなく、虹状の光を一括で測定物体に投影
し、カラーカメラで一括に反射パターンを取り込めるた
め、スリット光の走査を行なう機械的に脆弱な可動部が
なく、形状測定時間を短くできる特徴がある。
【0014】しかしながら、その一方で、フィルタ31
5により2つの波長の反射光の比率をとることで照射光
の放射方向θを決めるため、この精度が低い場合、形状
データの奥行き方向の精度が下がることになる。反射光
の測定精度を向上させるために、信号光である反射光量
を雑音である背景光量に対してS/Nを十分高くするこ
とが必要である。フィルタの透過波長幅を狭くすれば背
景光の影響を除く事は可能であるが、同時に信号光も減
少するのでS/Nに限界が生じる、即ち分解能に限界が
生じることになる。さらに、測定物体に色がついている
場合、その色以外の光が反射しにくいため、形状を計測
できない場合が生じる問題もある。
【0015】別のパターン光投影法として、強度比法
(Intensity Ratio method)がある(参考文献としてB.
Carrihill and R. Hummel、 "Experiments with the I
ntensity Ratio Depth Sensor"、 Computer Vision、 G
raphics、 and Image Processing、 vol. 32、 pp.
337−358、 1985年、 あるいは特開平10−
48336等)。
【0016】図4は、強度比法を説明する説明図であ
る。図4を参照しながら強度比法の説明を行なう。図4
の左右方向が基線方向であり、パターン光源401(図
2のスリット光源202に相当)と受光器404(図2
の受光器205に相当)が基線方向406に対して異な
る位置にある。パターン光源401からは基線方向40
6に対して光量分布を持つ測定面403全体を同時に照
射する面状の光パターンを照射する。放射角θに対する
2つの光パターンの強度分布をG1(θ)とG2(θ)
とすると、各々の強度分布に対して測定面のある反射率
σを持つ点で反射され、受光器404で受光された光量
をP1、P2、パターン光源401の光量をSとすると、
式3a、3bの関係
【0017】
【数3】 P1 = K・σ・G1(θ)・S (式3a) P2 = K・σ・G2(θ)・S (式3b)
【0018】が成り立つ。ここでKはパターン光源40
1と受光器404、測定面403の位置関係から決まる
係数である。測定面403の反射率σは測定面の表面の
特性に依存するため、あらかじめ決めることができない
が、式3a、3bの比を取ると、式4の関係
【0019】
【数4】 P2/P1 = G2(θ)/G1(θ) (式4)
【0020】が得られ、P2とP1の比は放射角度θだけ
に依存する。すなわち、2つのパターン光の光強度の比
(強度比)でインデクス付けされている。2つの強度分
布光G1(θ)とG2(θ)を持つ光パターンで測定面を
照射し、強度比P2/P1を測定することで、放射角θに
対して一意にθを求めることができるので、図1のよう
にスリット光を基線方向に対して走査しながら順次にC
CDで光量を検知する必要がなく、2つのパターン光に
対してCCDの像を観測すれば良いため、非常に計測時
間が短縮される利点がある。ただしG2(θ)/G1
(θ)がθに対して一価関数であることが必要である。
例えば、G1(θ)がθに対して単調減少関数、G2
(θ)がθに対して単調増加関数であれば、G2(θ)/
G1(θ)はθに対して単調増加関数となり、強度比P2
/P1からθが一意に求まる。
【0021】先に挙げたB. Carrihillの論文では、G1
(θ)をθによらず一定な一様分布とし、G2(θ)を
直線的に光量が増加する分布としているが、それに対し
て特開平10−48336では、G1(θ)が直線的に
減少する分布、G2(θ)が直線的に増加する分布を採
用している違いがあるが、2つの放射パターンは単調で
あれば良いので、両者に本質的な差があるわけではな
い。
【0022】強度比法は光切断法と比較して、測定面の
反射率に依存せず、2つのパターンを各々一括に照射し
て測れるという利点をもつが、一方で欠点もある。強度
比法の問題は、2つの光パターンを受光素子で受光した
光量の比率をとる時に、測定のS/Nを上げるために、
信号光である反射光量を雑音である背景光量に対して十
分高くする必要があることである。つまり、G1(θ)
やG2(θ)の最小値が小さすぎるとS/Nが低下し、
その影響が形状誤差となって現れることである。即ち強
度比P2/P1のダイナミックレンジが大きくならない。
一方、CCDの光量分解能には下限があるため、測定で
きる放射角θの分解能に下限が生じ、結局測定された形
状の分解能が下がるという問題がある。このように反射
光の測定光量のS/Nに依存して形状の奥行き精度が決
まるのは、先に示したレインボー法と同じである。
【0023】ここまで見てきたように、レインボー法や
強度比法といったパターン光投影法は、光パターンを一
括で照射するので、従来の光切断法に比べて画像の取得
回数が少なく、照射光学系が簡単になる利点がある。そ
の反面、光切断法のような切断位置をデジタルに決定す
る手法と異なり、光量のアナログ値を距離情報として用
いるため、外乱光やCCDなどの受光装置のノイズに弱
く、測定精度はあまり高くない欠点がある。パターン光
投影法には空間符号化法のように、光量のアナログ値を
用いない方法もあるが、ここではそのような手法は除外
して考える。
【0024】これらの方法に対し、光量値というアナロ
グデータから形状を求めるパターン光投影法の光学的S
/Nを改善する多領域法および多領域強度比法が提案さ
れている(特許出願番号0004117)。この方法は
測定物体に照射する光パターンを照射する際に、照射範
囲を複数の部分領域に分け、各々の部分領域毎に光パタ
ーンを同時に照射するもので、部分領域当りの照射角度
に対する光量変化が部分領域の数に応じて増加するた
め、従来のパターン光投影法に比べて測定精度が高いと
いう特徴を有する。多領域法の光パターンには、基線方
向に連続的に光量が変化するグレーパターン、あるいは
照射波長が変化するレインボーパターン、光量が周期的
に変化するパターン、あるいは部分領域毎にそれぞれ異
なるパターンなど、パターン光投影法に用いられる光パ
ターンであれば何でも良い。多領域強度比法は多領域法
の各部分領域に対して強度比法を適用したもので、多領
域法の個別の例である。
【0025】図5は、従来の多領域強度比法を説明する
模式的説明図である。図5を参照しながら説明する。照
射装置504に組み込まれた光源501a、1b、1c
から放射される光はフィルタ521、502b、502
cを透過し、プリズム503で合成され、測定物体50
6の上に照射光505として照射される。反射光507
はカメラ510の中に組み込まれた結像レンズ508で
集光され、カラーCCD509で受光される。
【0026】図6は、フィルタの、視差方向に対する透
過率を示すグラフである。図6の(b)と(c)の場合は
測定領域506を6つの部分領域515−1、515−
2、...、515−6において同じパターン光を照射し
ている。光源501aとフィルタ502aの組み合わせ
では図6の(a)、光源501aとフィルタ502bの
組み合わせでは図6の(b)、光源501cとフィルタ
502cの組み合わせでは図6の(c)、光源501
b、501cとフィルタ502b、502cの組み合わ
せでは図6の(d)であり、これに比例した光量で測定
領域506を照射する。図6の(a)と(d)の放射パタ
ーンを用いると、その時の反射光量分布を入力とし、上
記の強度比法の原理で光量データ513を概略形状推定
装置518で概略形状データ517が生成できる。この
データは通常の強度比法で得られたものなので、あまり
精度が高くない。
【0027】次に図6(b)と(c)の放射パターンを用
いると、測定領域506の6つの部分領域515−1、
515−2、...、515−6に対して強度比法を適用
することで各々の部分領域での形状データを求められる
が、普通の強度比法では、強度比を計測しても6つのう
ちどの領域からの反射光で得られたのか判断できず部分
領域の曖昧性が生じるが、ここでは概略形状データ51
7が得られているので、CCD509の各画素に対し
て、おおまかな領域判定ができる。形状推定装置511
では、図5の(b)、(c)と概略形状データ517か
ら、領域の曖昧さをなくして測定領域506全体の形状
を計算できる。この方式の良い点は、図6の(b)、
(c)の放射パターンが、視差方向に対して急激に変化
する光量分布で照射するため、CCD509での光量の
検知精度が高くなり、その結果として形状測定精度が向
上することである。視差方向に対して光量分布の変化を
大きくすることで、CCD509の光量分解能が高くな
ったのと同じ効果が得られる。逆に、通常の強度比法で
精度が低い理由は、測定領域全体に光量変化が連続した
パターン光を照射しているので視差方向に隣接する計測
点の間で光量変化が小さく、これに外乱光やCCDのノ
イズが重なると形状誤差を生じやすくなるからである。
【0028】ただし、測定領域506を部分領域に分割
しているため、部分領域の判定を行わなくてはならな
い。この例では通常の強度比法を併用して部分領域判定
の曖昧さ(領域曖昧)を除去しており、通常の強度比法
だけの場合に比べて、多領域法では、光源数とフィルタ
数、撮影回数が増える点が問題になる。また、部分領域
間の境界部では、照射する光パターンのぼけが生じ、境
界部がどちらに属すか判定が難しい問題もある。
【0029】多領域法もパターン光投影法の一種なの
で、CCDカメラなどで得られた光量データから部分領
域毎にパターン光投影法を適用することで3次元形状デ
ータを求めるが、測定された光量データだけではどの部
分領域から得られた光量データであるかが分からない
(領域曖昧)という、多領域法に固有の問題がある。こ
の問題は、測定物体の概形データから推定するなどの方
法により領域を一意に決定する(領域判定)ことで解決
できるが、この解決手段はなるべく簡単であることが望
ましい。上記の多領域強度比法の例でいうと、測定領域
506を部分領域に分割して部分領域の判定を行うた
め、通常の強度比法を併用して部分領域判定の曖昧さを
除去している。
【0030】多領域法では、複数の部分領域に対して各
々光パターンを照射するため、多かれ少なかれ部分領域
の境界で光パターンにぼけが生じる。以下では、部分領
域の境界にある光パターンがぼけた領域を遷移領域と呼
ぶことにする。遷移領域のデータを用いても、公知の多
領域法では正常な形状に回復できないため、ここで得ら
れたデータは無効データとなる。
【0031】形状データが得られた後では無効データと
有効データの差が分からなくなるので、形状データの正
しさを保証できなくなる問題がある。一般に、3次元形
状が得られた後で無効データを除去する編集作業を行う
必要があるが、この形状編集作業においては、形状異常
判断が必要であり、計算機による自動化が進んでいな
い。そのため作業者が形状の判断をしながら無効データ
を除去することが必要になり、不要な時間を費やす必要
が生じる。これを避けるためには、無効データはなるべ
く計測時に除去しておく必要がある。また、遷移領域の
データでもあっても、有効データや形状測定のための何
らかの情報として活用できればさらに望ましい。
【0032】
【発明が解決しようとする課題】本発明の目的は、上述
の光学的3次元形状測定における問題に鑑み、通常の多
領域法で必然的に生じる部分領域の境界周辺の遷移領域
で得られるデータの取り扱いを工夫することによって、
多領域法を改善し、より正確に能率良く3次元形状を測
定しうる光学的形状測定装置を提供することにある。
【0033】
【課題を解決するための手段】上記課題は、以下に述べ
る本発明に係る光学的形状測定装置によって達成され
る。即ち、請求項1に係る光学的形状測定装置は、照射
手段と、検知手段と、形状推定手段と、形状補正手段と
を備え、前記照射手段は、前記検知手段と前記照射手段
とを結ぶ視差方向Bに対して垂直に分割され互いに重な
りの無い、被測定対象を含む測定領域Aの中のn個に分
割されたスリット状の部分領域Ai(iは1からnまで
の部分領域の番号であり、nは自然数)の各々Ai当た
り1種類以上の光パターンPiを被測定物に照射し、前
記検知手段は前記測定領域Aに照射された前記光パター
ンPiの反射光を検知し、前記形状推定手段は、前記検
知手段が検知した前記測定領域Aに照射された光パター
ンPiの反射光の光量Riから、部分領域の番号iを未
決定としながらも、前記照射手段と前記検知手段の視差
を利用して前記測定領域Aiの形状データSiを推定
し、前記形状補正手段は、該推定された測定領域の形状
データSiに関連する部分領域Aiの番号iを決定して
被測定対象の形状データZを求める光学的形状測定装置
において、前記形状補正手段は、前記部分領域Aiに照
射されたそれぞれの光パターンPiの光量が部分領域A
iの境界で不連続であるように設定し、且つ各部分領域
Aiの境界を含む無効領域Wiを設定し、該無効領域W
iで得られたデータを無効データとして該形状データZ
から除去することを特徴とする。図7に示すように、多
領域法では測定物体を含む測定領域を、基線方向(受光
手段から照明手段を見た方向、図7の矢印K)に複数に
分割した部分領域に各々光パターンを照射するので、部
分領域間の境界部周辺に照射された光パターンは、照射
手段に起因する光学的ぼけのため、所望の光パターンが
生成されない場合がある。このパターンぼけは、部分領
域の境界で照射する光パターンの光量が不連続であれ
ば、多かれ少なかれどの照射系でも生じる。所望の光量
分布が形成されていないパターンぼけが生じた部分で
は、予期したパターンが得られないため、正常に形状が
再現できない。部分領域の境界で、このパターンぼけが
生じると予想される領域、あるいはパターンぼけが生じ
たと判断できる領域を無効領域と設定し、そこから得ら
れた光量データあるいは形状データに無効データのマー
クをつけるなどして、形状データZにこの無効データが
反映されないようにする。こうすることで、最終的な形
状データに不要な無効データが入り込まないので、3次
元形状エディタで形状データを編集する場合に、無効デ
ータを操作者が自分で取り除く必要がなくなる。一般に
3次元形状測定にかかる時間に比べて、後処理の形状編
集作業の方が時間がかかるため、このような構成によっ
てあらかじめ誤った無効データを除いておくと時間的な
無駄を省くことができる。
【0034】請求項2に係る光学的形状測定装置は、請
求項1の光学的形状測定装置において、前記1種類以上
の光パターンPiが、前記視差方向Bに対して単調に光量
が増加する光パターンPi_aと、単調に光量が減少する光
パターンPi_bとの2つのパターンを有し、前記視差方向
Bに走査した光量Rの増分が部分領域内と逆転する領域を
無効領域Wiと設定することを特徴とする。図8に示すよ
うに、視差方向Bに対して、すなわち照射角度に対し
て、光量が鋸歯状に増加する光パターン図8の(a)と
鋸歯状に減少する光パターン(b)を用いるのは、強度
比法では一般的である。この場合、(c)のように部分
領域の両端で強度比が各々最小値と最大値を取る。隣接
する部分領域の境界では、理想的には強度比が最大値か
ら最小値に急峻に変化するが、実際の光学系では
(d)、(e)のように照射する光パターンがぼけるた
め、強度比の最大値から最小値へとなまった分布(f)
を持つ。部分領域内で視差方向への強度比の増加率が正
なら、パターンぼけがあるところでは強度比の急峻な変
化がなまることによって、強度比の増加率は領域内と逆
に負になる。この性質を利用すれば、強度比の変化率だ
けからパターンぼけの領域、つまり無効領域とすべき領
域を判断できるので、請求項1の無効領域の判定とその
設定が容易にできる。
【0035】請求項3に係る光学的形状測定装置は、請
求項1の光学的形状測定装置において、前記照射する光
パターンPiをずらして、相互に無効領域Wiが重ならない
ように複数回、形状計測を行って得られた複数の形状デ
ータZを用いて、無効なデータを除去した形状データを
得ることを特徴とする。請求項1に記載された方法で設
定された無効領域で得られたデータは、形状データとし
て利用できないので、実際に得られた形状データには、
無効領域毎にデータの抜けが生じている。そして、この
ままでは測定領域全体の形状データを取ることができな
いので、無効領域が重ならないように光パターンをずら
して照射する測定を複数回(最低で2回)行えば、それ
らの形状データを合わせることによって、全体の形状デ
ータが得られることになる。測定領域に対する無効領域
の割合が1/nで無効領域が周期的に並んでいれば、お
おむねn回測定すれば全体の形状データを得るのに十分
な形状データを得られる。図9は測定領域に対する無効
領域の割合が1/2の場合の例である。測定1と測定2
のようにパターンをずらして形状を計測すると、この2
回の測定から無効なデータのない形状データが得られ
る。照射する光パターンをずらすには、照射に用いるマ
スクの位置をずらすこと、光源の照射方向をずらすこと
など様々な方法を用いることができる。マスク位置をず
らす方法としては、マスクとして液晶パネルやマイクロ
ミラーアレーなどの動的に透過率あるいは反射率分布を
適用することで可能になる。光源の照射方向を変える方
法としては、照射光を角度を可変としうるミラーに反射
させる方法、あらかじめ照射方向が異なる光源を複数用
意して電気的に切り替える方法などがある。
【0036】請求項4に係る光学的形状測定装置は、照
射手段と、検知手段と、形状推定手段と、形状補正手段
とを備え、前記照射手段は、前記検知手段と前記照射手
段とを結ぶ視差方向Bに対して垂直に分割され互いに重
なりの無い、被測定対象を含む測定領域Aの中のn個に
分割されたスリット状の部分領域Ai(iは1からnま
での部分領域の番号であり、nは自然数)の各々Ai当
たり2種類の光パターンを有する光パターンPiを該被
測定対象に照射し、前記検知手段は前記測定領域Aに照
射された前記2種類の光パターンPiの反射光を検知
し、前記形状推定手段は、前記検知手段が検知した前記
2種類の反射光の光量の比Yiから、部分領域の番号i
を未決定としながらも、前記照射手段と前記検知手段の
視差を利用して測定領域Aiの形状データSiを推定し、
前記形状補正手段は、該推定された測定領域の形状デー
タSiにおける部分領域Aiの番号iを決定して形状デー
タZを求める光学的形状測定装置において、前記2種類
の光パターンが、視差方向Bに対して各部分領域内で光
量の変化が連続的、かつ単調に増加と減少とを繰り返す
光パターンPi_aおよびPi_bであって、同一部分領
域内で前記Pi_aおよびPi_bの光量変化の方向が逆
であるように設定され、かつ、前記形状補正手段が、前
記強度比Yiの視差方向に対する増加率の符号の正負毎
に該領域のグループ分けを行い、各々のグループ毎に形
状データを求め、それらを加え合わせたデータから最終
的な形状データを得ることを特徴とする。請求項1のよ
うに、部分領域の境界に生じる光パターンのぼけがある
場合でも、パターンぼけに再現性があれば、部分領域内
部と強度比の増加率の符号が反転する遷移領域でも、形
状を再現させることができる。あるいは、パターンぼけ
ではなく、元々のパターンそのものが部分領域境界で強
度比の増加率が反転するように設計しておけばよい。そ
の時、強度比の増加率の符号により2つのグループに分
けることで各々のグループ内の部分領域同士を空間的に
離すことができるので、部分領域を判断する精度を改善
できる。例えば、図10を参照すると、図10の(a)
と(b)のように、領域境界端で光量が急峻に変化しな
い2つの光パターンを照射すると、得られた強度比は
(c)のように照射角度に対する強度比の変化率が本来
の正の部分と、境界部の負の部分が交互に現れる。これ
を正の部分(d)と負の部分(e)に分割すれば、各々の
符号の領域同士が照射角度に対して完全に2つのグルー
プに分離できる。多領域法では、同じ強度比に対応する
複数の照射角度が対応するが、照射角度範囲を2グルー
プに分離し各々で形状を再現することで、各々のグルー
プに対して同じ強度比に対応する照射角度の候補数を半
分に低減できるので、部分領域の判断の誤りが低減す
る。これらの光パターンは、特許出願番号000411
7号で開示された図6a、6bに似ているが、00041
17号では形状を求める際の詳細については触れていな
い。本請求項では、強度比の増加率の符号を基準に2つ
にグループ分けすることで、領域の判断誤りを低減させ
る点が異なる。
【0037】請求項5に係る光学的形状測定装置は、請
求項4に記載の光学的形状測定装置において、照射角度
に対する強度比の増加率が正の領域と負の領域の幅と
が、概略等しいことを特徴とする。強度比の増加率の符
号が異なる領域同士で照射角度に大幅な差があると、照
射角度当りの強度比の増加率が部分領域と遷移領域で大
きく変わり、同じ光量変化に対して照射角度の推定値の
精度が異なるため、結果として得られる形状精度が大き
く異なってしまう。本請求項のように、強度比の増加率
の符号によらず照射角度幅をおおむね等しくすること
で、測定領域全体の形状精度をおおむね等しくすること
ができる。図11に示すように強度比の増加率の符号に
よらずに照射角度の幅をおおむね等しくすると、強度比
の増加率が正の図11の(a)と負の(b)で絶対値は逆
であるが変化率の絶対値の範囲がおおむね等しくなる。
強度比法では得られる形状精度は強度比の変化率に依存
するので、結局、測定領域全体でおおむね形状精度が等
しくなる。
【0038】請求項6に係る光学的形状測定装置は、照
射手段と、検知手段と、形状推定手段と、形状補正手段
とを備え、前記照射手段は、前記検知手段と前記照射手
段とを結ぶ視差方向Bに対して垂直に分割され互いに重
なりの無い、被測定対象を含む測定領域Aの中のn個に
分割されたスリット状の部分領域Ai(iは1からnま
での部分領域の番号であり、nは自然数)の各々Ai当
たり1種類以上の光パターンPiを被測定物に照射し、
前記検知手段は前記測定領域Aに照射された前記光パタ
ーンPiの反射光を検知し、前記形状推定手段は、前記
検知手段が検知した前記測定領域Aに照射された光パタ
ーンPiの反射光の光量Riから、部分領域の番号iを
未決定としながらも、前記照射手段と前記検知手段の視
差を利用して前記測定領域Aiの形状データSiを推定
し、前記形状補正手段は、該推定された測定領域の形状
データSiに関連する部分領域Aiの番号iを決定して
被測定対象の形状データZを求める光学的形状測定装置
において、前記形状補正手段が、前記部分領域Aiの境
界線に対して3角測量法を適用することによって前記部
分領域Aiの該番号iを決定することを特徴とする。従
来の多領域法では、部分領域毎に受光手段で得られた反
射光の光量データだけを使って形状データを得るので、
部分領域の判定を行うためには、得られた形状データの
連続性などの情報を用いることが必要だった。本請求項
では、まず図12の部分領域の複数の境界線を光切断法
のスリットとみなし、この線に沿って三角測量法を適用
することで、境界線の3次元での位置を求める。形状補
正手段でこの情報を利用すれば、境界線の左右の部分領
域がどの領域か判断できる。部分領域は複数あるため境
界線も複数存在する。そのためどの境界線を測定したか
は絶対的には求められないが、前述の形状データの連続
性などの仮定をおけば、境界線の3次元位置に拘束条件
を課せるので、境界線の3次元の絶対位置の推定は比較
的容易である。また、部分領域境界では照射パターンが
変化しているため、境界線は光量に光量ノイズがあって
も精度良く求められると期待される。つまり、強度比法
のような光量のアナログ値を用いた形状測定に比べて境
界線の位置決定は光量変動に鈍感で、結果として得られ
る位置精度が高いことが期待される。
【0039】請求項7に係る光学的形状測定装置は、請
求項6に記載の光学的形状測定装置において、前記形状
補正手段が、前記部分領域の境界線に3角測量法を適用
して得られた複数の位置情報を、該反射光の光量Riか
ら得られた形状データSiに対して補正を加えることを特
徴とする。部分領域の領域判定に請求項6では境界線の
位置情報を用いたが、境界位置が精度良く求まるので、
これを強度比法の形状の補正に用いることができる。強
度比から求めた3次元位置は、光量ノイズ等により精度
が下がる。領域両端の境界線では位置精度が高いので、
境界線の位置情報を基準にして、領域両端で強度比法か
ら求められた位置情報がどの程度位置がずれているか測
定できるので、領域両端での形状データの補正量が決ま
る。部分領域両端の補正量を部分領域内部で補間して補
正すれば、より精度の高い形状データが得られる。例え
ば最も簡単な例をあげる。部分領域端の一方の境界で3
次元位置(x1、y1、z1)のずれ量が(dx1、dy1、d
z1)で、反対の境界の3次元位置(x2、y2、z2)で
(dx2、dy2、dz2)だとすると、x、y、zで独立に線
形補間により部分領域内の点(xo、yo、zo)で補正する
なら、補正量はx、y、z成分それぞれ、−(dx2−dx
1)(xo−x1)/(x2−x1)+dx1、 −(dy2−dy
1)(yo−y1)/(y2−y1)+dy1、 −(dz2−dz
1)(zo−z1)/(z2−z1)+dz1、となる。もちろ
ん補正量を求める際に、補正量をx、y、zに依存したさ
らに高次な依存性を持たせた複雑な補間を行うことも可
能である。
【0040】請求項8に係る光学的形状測定装置は、照
射手段と、検知手段と、形状推定手段と、形状補正手段
とを備え、前記照射手段は、前記検知手段と前記照射手
段とを結ぶ視差方向Bに対して垂直に分割され互いに重
なりの無い、被測定対象を含む測定領域Aの中のn個に
分割されたスリット状の部分領域Ai(iは1からnま
での部分領域の番号であり、nは自然数)の各々Ai当
たり1種類以上の光パターンPiを被測定物に照射し、
前記検知手段は前記測定領域Aに照射された前記光パタ
ーンPiの反射光を検知し、前記形状推定手段は、前記
検知手段が検知した前記測定領域Aに照射された光パタ
ーンPiの反射光の光量Riから、部分領域の番号iを
未決定としながらも、前記照射手段と前記検知手段の視
差を利用して前記測定領域Aiの形状データSiを推定
し、前記形状補正手段は、該推定された測定領域の形状
データSiに関連する部分領域Aiの番号iを決定して
被測定対象の形状データZを求める光学的形状測定装置
において、前記2種類の光パターンが、視差方向Bに対
して各部分領域内で光量の変化が連続的、かつ単調に増
加と減少とを繰り返す光パターンPi_aおよびPi_b
であって、同一部分領域内で前記Pi_aおよびPi_b
の光量変化の方向が逆であるように設定され、かつ、前
記形状補正手段が、該部分領域の境界で得られた、検知
手段で検知した前記2種類の反射光の光量のうち光量が
極大となる線(光量極大線)に対して三角測量法を適用
することで部分領域を特定することを特徴とする。本請
求項では、請求項6の境界線を決定するために、光パタ
ーンとして2種類の光パターンを与え、どちらかの光パ
ターンが領域端で最大光量になることを利用し、検知手
段で得られた光量データを基線方向に走査して、受光量
の極大値を探すことで容易に境界線を求められ。光量の
最大値で基準線を求めるため、光量ノイズの影響を受け
にくく、安定に境界線が定められる。
【0041】請求項9に係る光学的形状測定装置は、照
射手段と、検知手段と、形状推定手段と、形状補正手段
とを備え、前記照射手段は、前記検知手段と前記照射手
段とを結ぶ視差方向Bに対して垂直に分割され互いに重
なりの無い、被測定対象を含む測定領域Aの中のn個に
分割されたスリット状の部分領域Ai(iは1からnま
での部分領域の番号であり、nは自然数)の各々Ai当
たり1種類以上の光パターンPiを被測定物に照射し、
前記検知手段は前記測定領域Aに照射された前記光パタ
ーンPiの反射光を検知し、前記形状推定手段は、前記
検知手段が検知した前記測定領域Aに照射された光パタ
ーンPiの反射光の光量Riから、部分領域の番号iを
未決定としながらも、前記照射手段と前記検知手段の視
差を利用して前記測定領域Aiの形状データSiを推定
し、前記形状補正手段は、該推定された測定領域の形状
データSiに関連する部分領域Aiの番号iを決定して
被測定対象の形状データZを求める光学的形状測定装置
において、前記2種類の光パターンが、視差方向Bに対
して各部分領域内で光量の変化が連続的、かつ単調に増
加と減少とを繰り返す光パターンPi_aおよびPi_b
であって、同一部分領域内で前記Pi_aおよびPi_b
の光量変化の方向が逆であるように設定され、かつ、前
記形状補正手段が、該部分領域の境界で得られた、検知
手段で検知した前記2種類の反射光の光量の比Yiが極
値(極大値あるいは極小値)を取る線(強度比極大線あ
るいは強度比極小線)に対して三角測量法を適用するこ
とで部分領域を特定することを特徴とする。本請求項で
は、請求項6の境界線を決定するために、光パターンと
して2種類の光パターンを与え、どちらかの光パターン
が領域端で最大光量になることを利用する。請求項8と
異なるのは、光量ではなく強度比の極値から境界線を求
めることである。強度比を用いると測定物体の反射率に
依存しにくくなるため、反射率に依存する光量を用いる
より安定に境界線を求めることができる。特に請求項5
との組み合わせで、強度比の増加率の符号が変わる幅が
おおむね等しい相補鋸歯パターンを用いると、強度比の
極大値と極小値が交互に現れるので、請求項8の光量極
大線に比べて、極大線同士と極小線同士の間隔が約2倍
に広がるので、極大線同士と極小線同士にグループ分け
することで、境界線の決定精度をあげることができる。
【0042】請求項10に係る光学的形状測定装置は、
請求項6乃至9のいずれか1に記載の光学的形状測定装
置において、測定物体を配置する範囲を限定し、限定し
た範囲内のすべての点で、境界線あるいは光量極大線あ
るいは強度比極大線と強度比極小線の受光手段の視野に
おける変化範囲に重なりを無くしたことを特徴とする。
この構成を取ることで、図13に示すように、受光手段
の視野における境界線(光量極大線、強度比極大線、強
度比極小線でも良い)の位置の変化範囲が事前に分かっ
ており、同時に境界線の変化範囲が相互に重なっていな
いので、境界線がどの方向に照射されたかを厳密に決定
できる。そのため部分領域の同定に曖昧さがないという
特長がある。
【0043】請求項11に係る光学的形状測定装置は、
請求項8乃至10のいずれか1に記載の光学的形状測定
装置において、1つの部分領域の境界だけに特別なマー
カーを設けることを特徴とする。部分領域の境界に特別
なマーカーを設けることで、その境界線の絶対位置を曖
昧さなく決定できる。この境界線を基準にすれば基線長
方向に隣接する境界線を探索することで、残りの境界線
の絶対位置を曖昧さなく決定でき、結果として部分領域
の同定を曖昧さなく行える。特別なマーカーとしては、
ある境界だけに赤外線などの別な波長の光を照射するな
ども考えられる。
【0044】請求項12に係る光学的形状測定装置は、
請求項6乃至11のいずれか1に記載の光学的形状測定
装置において、1つの部分領域の境界においてのみ、Pi
_aとPi_bの光量変化方向の増加と減少の順序が逆転しな
いことを特徴とする。請求項12の特別なマーカーとし
て、図14の(a)と(b)のように、鋸歯状光パターン
の増加方向を一箇所の境界だけで反転させている。こう
すると、基線方向に強度比(c)を走査すると、強度比
が極大値を取るところで、他の部分領域の境界では強度
比が急峻に変化するが、光パターンを反転させた境界で
は強度比が連続的に変化する。これを検知することでマ
ーカー付きの境界線を簡単に求めることができる。
【0045】
【発明の実施の形態】(第1の実施の形態(請求項
1))図15は、本発明の第1の実施の形態による光学
的形状測定装置の構成を示す模式的構成図である。図中
の符号は、1500は光学的形状測定装置である。そし
て、請求項の照明手段が照射装置1503に、検知手段
はカメラ1510に、光パターンはランプ等の光源15
01から液晶パネル1502を照射し、結像レンズ15
11で測定領域1506上に照射される照射光1504
の分布に、形状推定手段は形状推定装置1515に、形
状補正手段は形状補正装置1516に、それぞれ対応す
る。本実施の形態の構成は図15に示すように、照射装
置1503から照射した照射光1504で測定領域にあ
る測定物体1505を照明する。この時、測定領域15
06を部分領域1506−1、1506−2、……、1
506−6に6分割して、各々の部分領域毎に光パター
ンを照射している。測定物体1505の反射光1507
をカメラで光量データ1512として検知する。得られ
た光量データ1512は、形状推定装置1515で3角
測量の原理から概略形状データ1513に変換される。
概略形状データはどの部分領域で得られた形状データか
不明である曖昧性(領域曖昧性)を持ち、未決定である
が、いったんどの領域に属すか決定すれば、形状の詳細
が求めることができるデータである。この概略形状デー
タが形状補正装置1516で処理され、ここで領域の曖
昧性を除去することによって、最終的な形状データ15
14が得られる。視差方向はカメラから照明装置を見た
方向であり、図においては右方向の矢印1500Zであ
る。ここでは図を簡単にするため、部分領域1506−
4についてのみ反射光を記載している。この反射光は、
乱反射である。
【0046】照射装置1503の内部では、光源150
1で液晶パネル1502を照射することで照射光150
4を生成する。液晶パネルドライバで液晶パネルの透過
率光を制御することによって、光パターンの種類を動的
に変化させられるので、カメラでのデータ取り込みと液
晶パネルの表示とを同期させれば、複数の光パターンに
対応して反射光のデータが得られる。カメラ1510
は、CCD1509と、反射光1507をCCD上に結
像するための結像レンズ1508とを備える。そして、
結像レンズ1508でCCD1509に結像されること
で光電変換されて光量データ1512が得られる。
【0047】本実施の形態では、形状計算の方式として
強度比法を用いている。液晶パネルが投射する光パター
ンは、図16の(1)の照射角度(視差方向と照射光の
方向がなす角度)に対して単調に光量が増加する光パタ
ーン、図16の(4)および(5)のように、各部分領
域毎に照射角度に対して光量が単調に増加・減少するパ
ターンの3種類の光パターンを照射する。光量データは
この3種類の光パターンに対して得られるが、まず
(1)の光パターンと(4)および(5)の光パターン
から得られた光量データの和から形状推定装置で概略形
状データを得る。後者の光量データは、(2)の、光量
が照射角度によらず平坦な光パターンの光量データに相
当する。CCDの各セルで得られた(1)と(2)の光
量データの強度比が照射角度が一意に決まるので、強度
比法を用いることによって概略形状データが得られる。
概略という意味は、測定範囲全体の形状はわかるが、形
状精度が低いという意味である。なぜなら、照射角度に
対する強度比の増加率が大きいほど形状精度の精度が向
上するが、(1)と(2)の光パターンを用いた強度比
法は、多領域法に比べて強度比の増加率が小さいからで
ある。
【0048】次に形状補正装置1516で、(4)
(5)のデータに領域毎に強度比法を適用することで部
分領域の曖昧さがある各部分領域毎の詳細形状が求めら
れる。上述の概形形状データをもとに、各CCDのセル
に対応した空間点がどの部分領域に属すか推定できるの
で、形状補正装置1516で部分領域を確定し、詳細形
状から曖昧さを除いた領域ごとの形状データが得られ
る。ただし、形状補正装置では、次のように無効領域の
除去が可能である。液晶パネルを介して(4)(5)の
光パターンを測定領域に照射した場合に、光学系の不完
全性や焦点深度の影響などで光パターンがぼけるので、
(4)と(5)から得られる強度比は、図16の(6)
のように照射角度に対して強度比が減少する部分が生じ
る。この部分に関する強度比と照射角度の対応がつかな
いため、ここで得られたデータは誤った形状を与える。
そこで、照射角度に対して強度比を走査することで、強
度比の増加率が負になる部分を無効領域とし、形状補正
装置で除去する。こうすることで、誤った形状データが
混入しないようにする。さらに、液晶パネルを介して
(4)(5)の光パターンを領域の半分だけずらして得
られた反射光データの強度比は、図16(7)のように
無効領域が(6)と重ならならないようにずらしてい
る。(6)の形状データと(7)の形状データを統合す
ることで、最終的に無効データがない形状データが得ら
れる。
【0049】本実施の形態では、照明装置として、通常
の液晶プロジェクタの光学系に類似した液晶パネルと結
像レンズとの組み合わせで光パターンを生成するので、
比較的明るい照射光を動的に与えることができる。また
無効領域のデータを除去しているので、信頼性の低いデ
ータが混入しない。また照射する光パターンをずらして
2回、形状測定することで、最終的に測定領域全面で欠
けのない形状データが得られる。
【0050】(第2の実施の形態(請求項4))図17
は、本発明の第2の実施の形態による光学的形状測定装
置の構成を示す模式的構成図である。符号については、
請求項における照射手段は照射装置1703、検知手段
はカメラ1710、光パターンはランプ等の光源170
1a、b、cからフィルタ1702a,b,cを介して
照射し、測定領域1706上に照射される照射光170
4の3つの分布、形状推定手段は形状推定装置171
5、形状補正手段は形状補正装置1716に対応する。
【0051】本実施の形態の構成は、図17に示すよう
に、照明系以外は第1の実施の形態と同じであるので、
共通部分に関する説明は省く。照明装置1703は、3
つの光パターンを照射できるように、光源1701a、
1701b、1701cと、これに対応するフィルタ1
702a,1702b,1702cによる光パターン
を、プリズム1718で光軸が一致するように合成す
る。光パターンはフィルタの透過率の設計で決まり、光
パターンの切り替えは3つの光源の切り替えで行う。フ
ィルタ1702a,2b,2cを介して照射する光パタ
ーンは図18の(1)(4)(5)である。第1の実施
の形態と同様に(4)(5)の光量データの和は(2)
の一定光量の光パターンに相当するので、照射角度に対
する(1)と(2)、つまり(1)と(4)+(5)の
強度比は(3)の形になり、強度比が照射角度と1対1
の関係になるので、強度比から照射角度が決まり、形状
推定装置で測定領域全体で概略形状が求められる。同じ
く形状推定装置では、(4)と(5)のデータから、属
する領域は曖昧、即ち未決定であるが、属する領域が決
まれば測定精度の高い形状データが得られる。この時
(4)(5)の光パターンが境界でぼけるため、実際に
光パターン(4)と(5)から得られる強度比は、図1
8の(6)のように部分領域境界で急峻さがくずれ、照
射角度に対する増加率が負になる領域が生じる(図19
の(6)の負領域、後述)。形状補正装置では、強度比
の増加率の符号に応じて(4)と(5)から得られたデ
ータを2つにグループ分けし、各々のグループ毎に強度
比法を適用して形状データを得る。
【0052】本実施の形態の照射装置は、光源でフィル
タの影を投影するので焦点深度が深く、光パターンのぼ
けは測定領域の距離によらず一定で再現性が良い。その
ため、この光パターンのぼけの部分で計測された強度比
を用いて強度比法により形状データを得ることができ
る。強度比のデータをを2グループに分離したことで、
特に光パターンのぼけが生じている部分では、ある強度
比に対応する照射角度範囲が狭く限定されるので、形状
データの誤りが少なくなる。このデータを用いること
で、隣接する領域の領域判断に誤りがあれば、これを修
正することができるので、2つのグループから得られる
最終的な形状データの信頼性を向上させることができ
る。
【0053】本実施の形態において、照射する光パター
ンを異なったものとすることもできる(請求項5の場
合)。基本構成は図17と同じであるが、照射する光パ
ターンが異なり、図18の如くである。図17のフィル
タ1702b、2cが照射する光パターンが図19の
(4)と(5)である。図19の(4)と(5)から得
られた光量データを加算すると図19の(2)のように
照射角度によらない一定の光量分布で照射した結果と等
価な光量データが得られる。既に述べた実施の形態2と
同じく、形状推定装置では、図19(1)と(2)の検
知光量に対して強度比(3)を取ることで概略形状デー
タが得られる。同時に(4)と(5)の光パターンの照
射で得られた光量データの強度比から、属する領域が曖
昧な形状データが得られる。ここで照射する図19の
(4)と(5)の光パターンは光量が常に連続なので、
照射される光パターンが多少ぼけても、部分領域の境界
で強度比(図19の(6))の増加率の符号は、理想的
なぼけずに照射された光パターンで得られる強度比の増
加率の符号と一致する。図19の(6)の強度比のデー
タを、照射角度の対する強度比の増加率の符号(図19
の(6)の正領域と負領域)により(7)と(8)に分
離すれば、各々の符号の強度比のデータに対して、同じ
強度比に対する照射角度の候補が半分になって、領域推
定の判断精度を上げる事ができる。また、部分領域によ
らずに強度比の変化率の変化範囲がほぼ等しいため、測
定領域全体で形状精度をほぼ一定し、精度のむらを生じ
させない。
【0054】(第3の実施の形態(請求項4,6,8,
10))本実施の形態の構成は、図20に示すように、
照明系以外は第1の実施の形態と同じである。照明装置
2003は、2つの光パターンを照射できるように、光
源2001a、1bと、これに対応するフィルタ200
1a、2bの光パターンを、プリズム2018で光軸が
一致するように合成する。光パターンはフィルタの透過
率の設計で決まり、光パターンの切り替えは2つの光源
の切り替えで行う。フィルタ1a、1bが照射する光パ
ターンは図21の(1)と(2)である。光パターンの
切り替えは光源1a,1bの切り替えで行う。光パター
ン図21の(1)と(2)を照射して得られる強度比
は、図21の(3)のように部分領域端で多少ぼける
が、実施の形態2のように、本実施の形態の照射装置
は、光源でフィルタの影を投影するので焦点深度が深
く、光パターンのぼけが測定領域の距離によらず一定で
再現性が良い。そのため、この光パターンのぼけの部分
で計測された強度比を用いて強度比法により形状データ
を得ることができる。さらに強度比のデータを2グルー
プに分離することで、ある強度比に対応する照射角度範
囲の候補を減らすことができるので、形状データの誤り
が少なくなる。形状推定装置ではここまでの処理を行
い、(1)と(2)の光量データを用いて、部分領域の
曖昧さを残しつつ概形形状データが得る。
【0055】形状補正装置2016では、この領域曖昧
さをなくすために、次の処理を行う。図21の(1)あ
るいは(2)の光パターンを照射することで得られる光
量データを視差方向に走査すると、部分領域の境界で光
量が最大になる線(光量最大線)のCCD位置を検知で
きる(図22)。CCDになんらかのノイズが重なって
いても、光量の最大値位置はノイズに影響されにくいた
め、領域境界を精度良く検知できる。さらに、フィルタ
2002a,2002bで与える境界線の照射角度はあ
らかじめ分かっているので、三角測量法を用いて、CC
D画面上に結像する境界線の変化範囲の相互の重なりを
生じない測定物体の配置範囲を決定することができる。
この範囲内に入る測定物体についてだけ形状測定を行う
ことで、境界線を曖昧さなく一意に決定することができ
る。境界線が決まれば、その境界線に隣接した部分領域
が一意に決まる。また、境界線上以外の部分で得られた
強度比は、CCDで得られた光量のアナログ値を用いて
計算されるため、CCDの光量ノイズなどの影響を受け
やすく、上記の光量最大線の位置精度に比べて精度が低
い。そこで、光量最大線の情報を部分領域の境界線とし
て、図21の(1)と(2)を照射することで得られた
概形形状データの位置ずれを補正する。
【0056】形状データの補正方法は、形状補正手段2
016が、部分領域の境界線に3角測量法を適用して得
られた複数の位置情報を、該反射光の光量Riから得ら
れた形状データSiに対して補正を加えることによって行
われる(請求項6)。
【0057】本実施の形態では、測定物体の配置範囲を
限定すること、形状補正装置2016で部分領域の境界
位置を一意に決定し、この境界線位置で境界線に隣接す
る部分領域の形状データの補正を行う処理を追加するこ
とで、照射する光パターンが2つだけでも、形状精度の
改善と信頼性向上を行うことができる。
【0058】(第4の実施の形態(請求項9))本実施
の形態の基本構成は第3の実施の形態と同じで、光学系
の構成は図20、照射パターンは図23の(1)と
(2)である。形状データを得る手順は第3の実施の形
態と共通するが、第3の実施の形態と異なり、境界線の
決定するのに、光量データの最大値検出ではなく、強度
比の極値(極大と極小)で行う。部分領域の境界では、
強度比が極大あるいは極小となる。強度比を用いること
で、測定物体の反射率に依存せずに境界線を検知するこ
とができる。光量データの最大値を使えば、境界線の検
出アルゴリズムが簡単になるが、特に反射率の変化が大
きい物体では、反射率の高い部分での光量データを光量
の最大値を誤る場合がある。本実施の形態のように、強
度比の極値を用いることで、反射率に依存しない境界線
検出が可能になる。また、本実施の形態のように光量変
化が連続する光パターンを照射すると、強度比極大線と
強度比極小線が交互に現れ、両者を独立に検出できるた
め、強度比極大線同士、あるいは強度比極小線同士が重
ならない限り、強度比極大線と強度比極小線の変化範囲
が重なっても構わない(図24)。すなわち、部分領域
数が同じなら、測定物体の配置範囲を第3の実施の形態
に比べて広く取れ、おおむね倍にすることができ、測定
可能な範囲が広がる利点がある。
【0059】さらにここで、基本構成は第3の実施の形
態と同じで、光学系の構成は図20とし、照射パターン
を図25の(1)と(2)とすることができる(請求項
4,11,12)。形状データを得る手順は第3の実施
の形態と共通するが、第3の実施の形態と異なる点は、
境界線として強度比極大線と強度比極小線を用いるこ
と、その前後で強度比が連続に変わる強度比極大線がた
だ一本あること(図25の(3))、測定物体の配置範
囲には制限を設けないことである。視差方向に強度比を
走査すると、強度比極大線のうちで強度比極大線に隣接
した部分領域で強度比が連続で変わる線を見つけること
ができる。この特別なマーカー付き強度比極大線を基点
に、これに隣接する境界線(強度比極大線と強度比極小
線)を、曖昧さなく決定することができる。この処理は
形状補正装置で行われる。本実施の形態によれば、CC
D上にマーカー付き強度比極大線が結像していれば、測
定物体の配置範囲に対する限定なしに、2つの光パター
ンだけで形状を求めることができる。
【0060】
【発明の効果】本発明に従う光学的形状測定装置によれ
ば、次のような効果を奏することができる。即ち、請求
項1に係る発明によれば、領域境界の無効領域で得られ
た誤った形状データをあらかじめ除去しておくので、形
状データ取得後の形状編集時の作業が減少し、効率的に
形状測定のできる光学的形状測定装置を提供できる。請
求項2に係る発明によれば、誤った形状データを除去す
る簡単に判断できるので、誤った形状データの除去が容
易になり、効率的に形状測定のできる光学的形状測定装
置を提供できる。請求項3に係る発明によれば、無効領
域が重ならないように照射パターンをずらすことで測定
領域全体の形状データが得られるので、簡便な手段で、
効率的に形状測定のできる光学的形状測定装置を提供で
きる。請求項4に係る発明によれば、強度比の増加率の
符号によってグループ分けすることで、領域端で強度比
の変化率の符号が本来の符号の逆になっても形状データ
を測定できるので、形状測定できない領域が減少し、効
率的に形状測定のできる光学的形状測定装置を提供でき
る。請求項5に係る発明によれば、強度比の増加率が正
の領域と負の領域の照射角度の幅がおおむね等しいた
め、強度比の符号によらず角度当りの光量変化がほぼ等
しく、形状精度が強度比の符号によらずでおおむね等し
くできるため、測定領域全面でおおむねむらない精度で
形状データを得られるため、効率的に形状測定のできる
光学的形状測定装置を提供できる。請求項6に係る発明
によれば、部分領域境界を通常の光切断法の光切断面と
見るため、光切断面の位置情報から部分領域の位置を推
定することができるので、局所的な精度の高い多領域法
の問題である大域的な精度を容易に解決することがで
き、効率的に形状測定のできる光学的形状測定装置を提
供できる。請求項7に係る発明によれば、部分領域境界
を通常の光切断法の光切断面と見るため、一括で形状を
得られるパターン光投影法の利点と、光量変動に強い光
切断法の利点を兼ね備えるため、効率的に形状測定ので
きる光学的形状測定装置を提供できる。請求項8に係る
発明によれば、光切断面の判断を光量の極大値検知だけ
で行えるので、形状測定のアルゴリズムを簡単化でき、
効率的に形状測定のできる光学的形状測定装置を提供で
きる。請求項9に係る発明によれば、光切断面の判断を
強度比の極値検知だけで行えるので、形状測定のアルゴ
リズムを簡単化でき、効率的に形状測定のできる光学的
形状測定装置を提供できる。請求項10に係る発明によ
れば、光切断法を適用するべき境界線が複数あることの
曖昧さが除去できるので、部分領域の判定が簡単にな
り、効率的に形状測定のできる光学的形状測定装置を提
供できる。請求項11に係る発明によれば、部分領域の
境界線のうち絶対位置の基準となる一本を特定でき、こ
の境界線を基準に残りの境界線の位置を曖昧性なく決定
できるので、部分領域の判定を簡単化することができ、
効率的に形状測定のできる光学的形状測定装置を提供で
きる。請求項12に係る発明によれば、部分領域の境界
線の判定を強度比の増減の符号判定だけで判断できるの
で、境界線を用いた絶対位置特定を簡単化でき、効率的
に形状測定のできる光学的形状測定装置を提供できる。
【図面の簡単な説明】
【図1】従来型の光切断法を用いた3次元計測装置の模
式的斜視図である。
【図2】3角測量を説明する説明図である。
【図3】レインボー法を説明する説明図である。
【図4】従来の強度比法を説明する説明図である。
【図5】従来の多領域強度比法を説明する模式的説明図
である。
【図6】フィルタの、視差方向に対する透過率を示すグ
ラフである。
【図7】本発明による無効領域の設定の仕方を説明する
説明図である。
【図8】照射角度と光量、および強度比の関係を表すグ
ラフである。
【図9】測定領域と無効領域の比が2対1の場合を示す
模式図である。
【図10】照射角度と光量、および強度比の関係を表す
グラフである。
【図11】照射角度と強度比の関係を表すグラフであ
る。
【図12】部分領域と境界線との関係を示す模式図であ
る。
【図13】部分領域と変化範囲との関係を示す模式図で
ある。
【図14】照射角度と光量、および強度比の関係を表す
グラフである。
【図15】本発明の第1の実施の形態による光学的形状
測定装置の構成を示す模式的構成図である。
【図16】照射角度と光量、および強度比の関係を表す
グラフである。
【図17】本発明の第2の実施の形態による光学的形状
測定装置の構成を示す模式的構成図である。
【図18】照射角度と光量、および強度比の関係を表す
グラフである。
【図19】照射角度と光量、および強度比の関係を表す
グラフである。
【図20】本発明の第3の実施の形態による光学的形状
測定装置の構成を示す模式的構成図である。
【図21】照射角度と光量、および強度比の関係を表す
グラフである。
【図22】被測定対象の光量最大線を示す模式図であ
る。
【図23】照射角度と光量、および強度比の関係を表す
グラフである。
【図24】強度比最大線および強度比最小線を示す模式
図である。
【図25】照射角度と光量、および強度比の関係を表す
グラフである。
【符号の説明】 1500 光学的形状測定装置 1501 光源 1502 液晶パネル 1503 照射装置 1504 照射光 1505 測定物体 1506−1、1506−2、……、1506−6
部分領域 1510 カメラ 1507 反射光1507 1508 結像レンズ 1509 CCD 1511 結像レンズ 1512 光量データ 1515 形状推定手段 1516 形状補正手段

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 照射手段と、検知手段と、形状推定手段
    と、形状補正手段とを備え、 前記照射手段は、前記検知手段と前記照射手段とを結ぶ
    視差方向Bに対して垂直に分割され互いに重なりの無
    い、被測定対象を含む測定領域Aの中のn個に分割され
    たスリット状の部分領域Ai(iは1からnまでの部分
    領域の番号であり、nは自然数)の各々Ai当たり1種
    類以上の光パターンPiを被測定物に照射し、 前記検知手段は前記測定領域Aに照射された前記光パタ
    ーンPiの反射光を検知し、 前記形状推定手段は、前記検知手段が検知した前記測定
    領域Aに照射された光パターンPiの反射光の光量Ri
    から、部分領域の番号iを未決定としながらも、前記照
    射手段と前記検知手段の視差を利用して前記測定領域A
    iの形状データSiを推定し、 前記形状補正手段は、該推定された測定領域の形状デー
    タSiに関連する部分領域Aiの番号iを決定して被測
    定対象の形状データZを求める光学的形状測定装置にお
    いて、 前記形状補正手段は、前記部分領域Aiに照射されたそ
    れぞれの光パターンPiの光量が部分領域Aiの境界で
    不連続であるように設定し、且つ各部分領域Aiの境界
    を含む無効領域Wiを設定し、該無効領域Wiで得られ
    たデータを無効データとして該形状データZから除去す
    ることを特徴とする光学的形状測定装置。
  2. 【請求項2】 前記1種類以上の光パターンPiが、前記
    視差方向Bに対して単調に光量が増加する光パターンPi_
    aと、単調に光量が減少する光パターンPi_bとの2つの
    パターンを有し、前記視差方向Bに走査した光量Rの増分
    が部分領域内と逆転する領域を無効領域Wiと設定するこ
    とを特徴とする請求項1に記載の光学的形状測定装置。
  3. 【請求項3】 前記照射する光パターンPiをずらして、
    相互に無効領域Wiが重ならないように複数回、形状計測
    を行って得られた複数の形状データZを用いて、無効な
    データを除去した形状データを得ることを特徴とする請
    求項1に記載の光学的形状測定装置。
  4. 【請求項4】 照射手段と、検知手段と、形状推定手段
    と、形状補正手段とを備え、 前記照射手段は、前記検知手段と前記照射手段とを結ぶ
    視差方向Bに対して垂直に分割され互いに重なりの無
    い、被測定対象を含む測定領域Aの中のn個に分割され
    たスリット状の部分領域Ai(iは1からnまでの部分
    領域の番号であり、nは自然数)の各々Ai当たり2種
    類の光パターンを有する光パターンPiを該被測定対象
    に照射し、 前記検知手段は前記測定領域Aに照射された前記2種類
    の光パターンPiの反射光を検知し、 前記形状推定手段は、前記検知手段が検知した前記2種
    類の反射光の光量の比Yiから、部分領域の番号iを未
    決定としながらも、前記照射手段と前記検知手段の視差
    を利用して測定領域Aiの形状データSiを推定し、 前記形状補正手段は、該推定された測定領域の形状デー
    タSiにおける部分領域Aiの番号iを決定して形状デー
    タZを求める光学的形状測定装置において、 前記2種類の光パターンが、視差方向Bに対して各部分
    領域内で光量の変化が連続的、かつ単調に増加と減少と
    を繰り返す光パターンPi_aおよびPi_bであって、
    同一部分領域内で前記Pi_aおよびPi_bの光量変化
    の方向が逆であるように設定され、かつ、 前記形状補正手段が、前記強度比Yiの視差方向に対す
    る増加率の符号の正負毎に該領域のグループ分けを行
    い、各々のグループ毎に形状データを求め、それらを加
    え合わせたデータから最終的な形状データを得ることを
    特徴とする光学的形状測定装置。
  5. 【請求項5】 照射角度に対する強度比の増加率が正の
    領域と負の領域の幅とが、概略等しいことを特徴とする
    請求項4に記載の光学的形状測定装置。
  6. 【請求項6】 照射手段と、検知手段と、形状推定手段
    と、形状補正手段とを備え、 前記照射手段は、前記検知手段と前記照射手段とを結ぶ
    視差方向Bに対して垂直に分割され互いに重なりの無
    い、被測定対象を含む測定領域Aの中のn個に分割され
    たスリット状の部分領域Ai(iは1からnまでの部分
    領域の番号であり、nは自然数)の各々Ai当たり1種
    類以上の光パターンPiを被測定物に照射し、 前記検知手段は前記測定領域Aに照射された前記光パタ
    ーンPiの反射光を検知し、 前記形状推定手段は、前記検知手段が検知した前記測定
    領域Aに照射された光パターンPiの反射光の光量Ri
    から、部分領域の番号iを未決定としながらも、前記照
    射手段と前記検知手段の視差を利用して前記測定領域A
    iの形状データSiを推定し、 前記形状補正手段は、該推定された測定領域の形状デー
    タSiに関連する部分領域Aiの番号iを決定して被測
    定対象の形状データZを求める光学的形状測定装置にお
    いて、 前記形状補正手段が、前記部分領域Aiの境界線に対し
    て3角測量法を適用することによって前記部分領域Ai
    の該番号iを決定することを特徴とする光学的形状測定
    装置。
  7. 【請求項7】 前記形状補正手段が、前記部分領域の境
    界線に3角測量法を適用して得られた複数の位置情報
    を、該反射光の光量Riから得られた形状データSiに対
    して補正を加えることを特徴とする請求項6に記載の光
    学的形状測定装置。
  8. 【請求項8】 照射手段と、検知手段と、形状推定手段
    と、形状補正手段とを備え、 前記照射手段は、前記検知手段と前記照射手段とを結ぶ
    視差方向Bに対して垂直に分割され互いに重なりの無
    い、被測定対象を含む測定領域Aの中のn個に分割され
    たスリット状の部分領域Ai(iは1からnまでの部分
    領域の番号であり、nは自然数)の各々Ai当たり1種
    類以上の光パターンPiを被測定物に照射し、 前記検知手段は前記測定領域Aに照射された前記光パタ
    ーンPiの反射光を検知し、 前記形状推定手段は、前記検知手段が検知した前記測定
    領域Aに照射された光パターンPiの反射光の光量Ri
    から、部分領域の番号iを未決定としながらも、前記照
    射手段と前記検知手段の視差を利用して前記測定領域A
    iの形状データSiを推定し、 前記形状補正手段は、該推定された測定領域の形状デー
    タSiに関連する部分領域Aiの番号iを決定して被測
    定対象の形状データZを求める光学的形状測定装置にお
    いて、 前記2種類の光パターンが、視差方向Bに対して各部分
    領域内で光量の変化が連続的、かつ単調に増加と減少と
    を繰り返す光パターンPi_aおよびPi_bであって、
    同一部分領域内で前記Pi_aおよびPi_bの光量変化
    の方向が逆であるように設定され、かつ、 前記形状補正手段が、該部分領域の境界で得られた、検
    知手段で検知した前記2種類の反射光の光量のうち光量
    が極大となる線(光量極大線)に対して三角測量法を適
    用することで部分領域を特定することを特徴とする光学
    的形状測定装置。
  9. 【請求項9】 照射手段と、検知手段と、形状推定手段
    と、形状補正手段とを備え、 前記照射手段は、前記検知手段と前記照射手段とを結ぶ
    視差方向Bに対して垂直に分割され互いに重なりの無
    い、被測定対象を含む測定領域Aの中のn個に分割され
    たスリット状の部分領域Ai(iは1からnまでの部分
    領域の番号であり、nは自然数)の各々Ai当たり1種
    類以上の光パターンPiを被測定物に照射し、 前記検知手段は前記測定領域Aに照射された前記光パタ
    ーンPiの反射光を検知し、 前記形状推定手段は、前記検知手段が検知した前記測定
    領域Aに照射された光パターンPiの反射光の光量Ri
    から、部分領域の番号iを未決定としながらも、前記照
    射手段と前記検知手段の視差を利用して前記測定領域A
    iの形状データSiを推定し、 前記形状補正手段は、該推定された測定領域の形状デー
    タSiに関連する部分領域Aiの番号iを決定して被測
    定対象の形状データZを求める光学的形状測定装置にお
    いて、 前記2種類の光パターンが、視差方向Bに対して各部分
    領域内で光量の変化が連続的、かつ単調に増加と減少と
    を繰り返す光パターンPi_aおよびPi_bであって、
    同一部分領域内で前記Pi_aおよびPi_bの光量変化
    の方向が逆であるように設定され、かつ、 前記形状補正手段が、該部分領域の境界で得られた、検
    知手段で検知した前記2種類の反射光の光量の比Yiが
    極値(極大値あるいは極小値)を取る線(強度比極大線
    あるいは強度比極小線)に対して三角測量法を適用する
    ことで部分領域を特定することを特徴とする光学的形状
    測定装置。
  10. 【請求項10】 測定物体を配置する範囲を限定し、限
    定した範囲内のすべての点で、境界線あるいは光量極大
    線あるいは強度比極大線と強度比極小線の受光手段の視
    野における変化範囲に重なりを無くしたことを特徴とす
    る請求項6乃至9のいずれか1に記載の光学的形状測定
    装置。
  11. 【請求項11】 1つの部分領域の境界だけに特別なマ
    ーカーを設けることを特徴とする請求項8乃至10のい
    ずれか1に記載の光学的形状測定装置。
  12. 【請求項12】 1つの部分領域の境界においてのみ、
    Pi_aとPi_bの光量変化方向の増加と減少の順序が逆転し
    ないことを特徴とする請求項6乃至11のいずれか1に
    記載の光学的形状測定装置。
JP2001354457A 2001-11-20 2001-11-20 光学的形状測定装置 Expired - Fee Related JP4097421B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001354457A JP4097421B2 (ja) 2001-11-20 2001-11-20 光学的形状測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001354457A JP4097421B2 (ja) 2001-11-20 2001-11-20 光学的形状測定装置

Publications (2)

Publication Number Publication Date
JP2003156316A true JP2003156316A (ja) 2003-05-30
JP4097421B2 JP4097421B2 (ja) 2008-06-11

Family

ID=19166312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001354457A Expired - Fee Related JP4097421B2 (ja) 2001-11-20 2001-11-20 光学的形状測定装置

Country Status (1)

Country Link
JP (1) JP4097421B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009129058A (ja) * 2007-11-21 2009-06-11 Mitsubishi Heavy Ind Ltd 位置特定装置および動作指示装置並びに自走式ロボット

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009129058A (ja) * 2007-11-21 2009-06-11 Mitsubishi Heavy Ind Ltd 位置特定装置および動作指示装置並びに自走式ロボット

Also Published As

Publication number Publication date
JP4097421B2 (ja) 2008-06-11

Similar Documents

Publication Publication Date Title
US6252623B1 (en) Three dimensional imaging system
US6377298B1 (en) Method and device for geometric calibration of CCD cameras
JP5515432B2 (ja) 三次元形状計測装置
US20070211258A1 (en) Three-dimensional shape measurement apparatus and method for eliminating2pi ambiguity of moire principle and omitting phase shifting means
JP3411829B2 (ja) 表面形状の評価方法および評価装置
US6509559B1 (en) Binary optical grating and method for generating a moire pattern for 3D imaging
JP2004053606A (ja) 絶対二次元位置検出装置および絶対二次元位置測定方法
JP2002071328A (ja) 表面形状の決定方法
CN111971525B (zh) 用立体镜测量物体的方法和系统
JP2001124534A (ja) 3次元形状計測方法
US8615128B2 (en) Method for 3D, measurement of the surface of an object, in particular for dental purposes
WO2002090876A2 (en) Method and apparatus for determining the coordinates of an object
CN111476788B (zh) 一种显示屏夹层缺陷检测方法及系统
JP2014059164A (ja) 形状計測装置及び形状計測方法
JP6781969B1 (ja) 測定装置及び測定方法
JP2006084286A (ja) 3次元計測方法とその計測装置
JP4097421B2 (ja) 光学的形状測定装置
JP3912666B2 (ja) 光学的形状測定装置
JP3871115B2 (ja) 形状測定装置、文書スキャナ及びプロジェクタ
JP2009036631A (ja) 三次元形状計測装置、および当該三次元形状計測装置の製造方法
JP2004108950A (ja) 光学式形状測定システム
JP5786999B2 (ja) 三次元形状計測装置、三次元形状計測装置のキャリブレーション方法
JP2004037272A (ja) 光学的形状測定装置
KR100714821B1 (ko) 단일영상을 이용한 거리영상 획득방법
JP2009216650A (ja) 三次元形状測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041029

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20041105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070320

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080311

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120321

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130321

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140321

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees