JP2012168136A - 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム - Google Patents

画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム Download PDF

Info

Publication number
JP2012168136A
JP2012168136A JP2011031482A JP2011031482A JP2012168136A JP 2012168136 A JP2012168136 A JP 2012168136A JP 2011031482 A JP2011031482 A JP 2011031482A JP 2011031482 A JP2011031482 A JP 2011031482A JP 2012168136 A JP2012168136 A JP 2012168136A
Authority
JP
Japan
Prior art keywords
image
autofocus
imaging
information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011031482A
Other languages
English (en)
Other versions
JP5740649B2 (ja
Inventor
Hiroyuki Yoshida
博行 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Original Assignee
Mitutoyo Corp
Mitsutoyo Kiko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitutoyo Corp, Mitsutoyo Kiko Co Ltd filed Critical Mitutoyo Corp
Priority to JP2011031482A priority Critical patent/JP5740649B2/ja
Priority to US13/368,640 priority patent/US8766153B2/en
Priority to EP15198413.5A priority patent/EP3029930B1/en
Priority to EP12155814.2A priority patent/EP2490438B1/en
Priority to CN201210037364.8A priority patent/CN102647553B/zh
Publication of JP2012168136A publication Critical patent/JP2012168136A/ja
Priority to US14/259,480 priority patent/US8809756B1/en
Application granted granted Critical
Publication of JP5740649B2 publication Critical patent/JP5740649B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】安価に測定誤差を校正し高精度且つ高速なコントラスト式のオートフォーカスを実現する。
【解決手段】画像測定装置は、ワークを撮像してその画像情報を転送するカメラと、カメラの合焦位置を制御してこれをZ軸方向の位置情報として出力する位置制御部と、画像及び位置情報に基づいてワークの画像測定を行う画像測定機とを備える。位置制御部は、カメラの所定の撮像タイミングで位置情報を取得保持し、画像測定機は、合焦軸方向に沿って移動速度及び移動方向の少なくとも一つが異なるように複数回のAFサーチを行い、各AFサーチのカメラからの画像情報及び位置制御部からの位置情報に基づき撮像タイミングと位置情報の取得タイミングとのずれ量を求め、このずれ量に基づいてAFサーチで求められた合焦位置を補正する。
【選択図】図1

Description

この発明は、被測定対象を撮像して得られた画像に基づき、非接触で被測定対象の測定を行う画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラムに関する。
画像測定装置においては、一般消費者向けのデジタルカメラ等と比較して、精密な精度が要求されると共に、用途によってはスループットが要求される。このような要件を満たし、迅速且つ高精度な測定を行うべく、自動合焦(オートフォーカス)機能を備えた三次元画像測定装置が一般に知られている(特許文献1)。
特開2001−319219号公報
コントラスト式のオートフォーカスでは、カメラ等の撮像手段の合焦位置を徐々に変化させつつ撮像を行い、撮像した画像のコントラストに基づき合焦位置を判断している。このような方法は、例えばカメラとソフトウェアのみによる容易な構成で実現が可能であるが、カメラとソフトウェアとを繋ぐ通信方式によっては、通信の競合などによって画像転送に不確定な遅延が生じたり、撮像手段が移動しながら撮像するため実際の画像の撮像位置とこの画像の取得位置とに一定のずれが生じたりする。このため、実際に画像を取得した位置の判断ができなくなり、正確な合焦位置の取得が困難となる場合があった。また、このずれは装置の個体差などによりそれぞれ異なり、そのまま測定誤差になってしまうため個別に校正するなどの対応が必要となっていた。
この発明は、上述した従来技術による問題点を解消するため、安価に測定誤差を校正して高精度且つ高速なコントラスト式のオートフォーカスを実現することができる画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するため、本発明に係る画像測定装置は、被測定対象を撮像してその画像情報を転送する撮像手段と、前記撮像手段の合焦位置を制御してこの合焦位置を合焦軸方向の位置情報として出力する位置制御手段と、前記画像情報及び位置情報に基づいて前記被測定対象の画像測定を行う画像測定手段とを備え、前記位置制御手段は、前記撮像手段の所定の撮像タイミングで前記位置情報を取得保持し、前記画像測定手段は、前記合焦軸方向に沿って移動速度及び移動方向の少なくとも一つが異なるように複数回のオートフォーカスサーチを行い、各オートフォーカスサーチにおいて前記撮像手段から転送された画像情報と前記位置制御手段から出力された位置情報とに基づいて前記撮像タイミングと前記位置情報の取得タイミングとのずれ量を求め、求められたずれ量に基づいてオートフォーカスサーチで求められた合焦位置を補正することを特徴とする。
前記画像測定手段は、例えば前記オートフォーカスサーチにおいて、前記撮像手段から転送された画像情報と前記位置制御手段から出力された位置情報とに基づいて合焦位置を求め、これら合焦位置の誤差分と前記撮像手段の移動速度とに基づいて前記ずれ量を求める。
また、前記画像測定手段は、例えば前記ずれ量に所定の初期値を設定し、前記各オートフォーカスサーチにおいて前記ずれ量を用いて補正された合焦位置の差分から前記ずれ量を補正する補正値を求め、この補正値で前記ずれ量を補正する処理を、前記補正値が所定値よりも小さくなるまで繰り返す。
前記ずれ量は、例えば前記撮像手段を第1の移動方向及びこの第1の移動方向とは反対の第2の移動方向に同一の移動速度でそれぞれ駆動することで求められる。
また、前記ずれ量は、前記撮像手段を一の移動方向に第1の移動速度及びこの第1の移動速度とは異なる第2の移動速度でそれぞれ駆動することで求められてもよい。
更に、前記ずれ量は、前記撮像手段を第1の移動方向に第1の移動速度で駆動すると共に、前記第1の移動方向とは反対の第2の移動方向に前記第1の移動速度とは異なる第2の移動速度で駆動することで求められてもよい。
前記ずれ量は、例えば時間により表される前記撮像手段のフレームレイテンシーである。
また、前記ずれ量は、前記撮像手段の前記移動速度及び移動方向と予め前記移動速度に対応した移動距離と前記撮像手段のフレームレイテンシーとからテーブルを参照して求められる距離により表されてもよい。
本発明に係るオートフォーカス制御方法は、被測定対象を撮像してその画像情報を転送する撮像手段と、前記撮像手段の合焦位置を制御してこの合焦位置を合焦軸方向の位置情報として出力する位置制御手段と、前記画像情報及び位置情報に基づいて前記被測定対象の画像測定を行う画像測定手段とを備えた画像測定装置におけるオートフォーカス制御方法であって、前記位置制御手段によって前記撮像手段の所定の撮像タイミングで前記位置情報を取得保持する工程と、前記画像測定手段によって前記合焦軸方向に沿って移動速度及び移動方向の少なくとも一つが異なるように複数回のオートフォーカスサーチを行い、各オートフォーカスサーチにおいて前記撮像手段から転送された画像情報と前記位置制御手段から出力された位置情報とに基づいて前記撮像タイミングと前記位置情報の取得タイミングとのずれ量を求め、求められたずれ量に基づいてオートフォーカスサーチで求められた合焦位置を補正する工程とを備えたことを特徴とする。
本発明に係るオートフォーカス制御プログラムは、被測定対象を撮像してその画像情報を転送する撮像手段と、前記撮像手段の合焦位置を制御してこの合焦位置を合焦軸方向の位置情報として出力する位置制御手段と、前記画像情報及び位置情報に基づいて前記被測定対象の画像測定を行う画像測定手段とを備えた画像測定装置において実行されるオートフォーカス制御プログラムであって、コンピュータに、前記位置制御手段によって前記撮像手段の所定の撮像タイミングで前記位置情報を取得保持させる工程と、前記画像測定手段によって前記合焦軸方向に沿って移動速度及び移動方向の少なくとも一つが異なるように複数回のオートフォーカスサーチを行わせ、各オートフォーカスサーチにおいて前記撮像手段から転送された画像情報と前記位置制御手段から出力された位置情報とに基づいて前記撮像タイミングと前記位置情報の取得タイミングとのずれ量を求めさせ、求められたずれ量に基づいてオートフォーカスサーチで求められた合焦位置を補正させる工程とを実行させることを特徴とする。
本発明によれば、安価に測定誤差を校正して高精度且つ高速なコントラスト式のオートフォーカスを実現することができる。
本発明の第1の実施形態に係る画像測定装置の全体構成を示す図である。 同画像測定装置の一部の構成を示すブロック図である。 同画像測定装置の一部の構成を示すブロック図である。 同画像測定装置におけるオートフォーカスの方法を示す図である。 同画像測定装置におけるオートフォーカスの方法を示すタイミングチャートである。 トリガ信号を用いたカメラマスタ方式による同画像測定装置の一部の構成を示すブロック図である。 同画像測定装置の画像取得タイミングとZ値取得タイミングとのずれを示すタイミングチャートである。 同画像測定装置の画像取得タイミングとZ値取得タイミングとのずれを示すタイミングチャートである。 同画像処理装置によるオートフォーカス制御処理の一部の補正値算出処理手順を示すフローチャートである。 同算出処理工程の一部を示す説明図である。 本発明の第2の実施形態に係る画像処理装置によるオートフォーカス制御処理の一部の補正値算出処理手順を示すフローチャートである。 同算出処理工程の一部を示す説明図である。 本発明の第3の実施形態に係る画像測定装置において、トリガ信号を用いたカメラスレーブ方式による画像測定装置の一部の構成を示すブロック図である。 同画像測定装置の画像取得タイミングとZ値取得タイミングとのずれを示すタイミングチャートである。 同画像測定装置の画像取得タイミングとZ値取得タイミングとのずれを示すタイミングチャートである。
以下に、添付の図面を参照して、この発明に係る画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラムの実施の形態を詳細に説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態に係る画像測定装置の全体構成を示すブロック図である。図2及び図3は、この画像測定装置の一部の構成を示すブロック図である。画像測定装置は、非接触型の画像測定機1と、この画像測定機1を駆動制御すると共に必要なデータ処理を実行するコンピュータシステム(以下、「PC」と呼ぶ。)2とを備えた構成されている。なお、PC2は、例えば測定結果等をプリントアウトするプリンタ4を備えている。
画像測定機1は、次のように構成されている。すなわち、試料移動手段である架台11の上には、ワーク(被測定対象)3が載置される試料台(ステージ)12がその上面をベース面として水平面と一致するように載置されている。架台11は、その両側端から立設されたアーム支持体13a,13bの上端でX軸ガイド13cを支持している。
試料台12は、例えば架台11に備えられた図示しないY軸駆動機構によってY軸方向に沿って駆動可能に構成されている。また、X軸ガイド13cには、図示しないX軸駆動機構によってX軸方向に沿って駆動される撮像ユニット14が支持されている。
撮像ユニット14の下端には、カメラ141が試料台12と対向するように装着されている。このカメラ141としては、CCD、CMOS等の種々のカメラを使用することが可能である。また、第1の実施形態においては、試料台12上に配置されたワーク3を上方から撮像する方式を採用しているが、例えば床に設置されたワークを横方向から撮像するなどの他の方式を採用するようにしてもよい。
PC2は、コンピュータ本体21と、入力手段であるキーボード22、ジョイスティックボックス(以下、「J/S」と呼ぶ。)23及びマウス24と、ディスプレイの一例としてのCRT25とを備えて構成されている。コンピュータ本体21は、例えば図2に示すように構成されている。
すなわち、コンピュータ本体21において、カメラ141から汎用のデジタルシリアル通信線としてのUSBケーブル及びUSBポート(図3参照)を介して転送され入力される撮像されたワーク3の画像情報は、インタフェース(以下、「I/F」と呼ぶ。)31を介して多値画像として画像メモリ32に格納される。
また、例えばCADデータによるオフラインティーチングが実行される場合は、図示しないCADシステムにより作成されるワーク3のCADデータは、I/F33を介してCPU35に入力される。CPU35に入力されたCADデータは、例えばCPU35にてビットマップ等の画像情報に展開された後、画像メモリ32に格納される。この画像メモリ32に格納された画像情報は、表示制御部36を介してCRT25に表示される。
一方、キーボード22、J/S23及びマウス24から入力されるコード情報や位置情報等は、I/F34を介してCPU35に入力される。CPU35は、ROM37に格納されたマクロプログラム及びHDD38からI/F39を介してROM40に格納された本発明に係るオートフォーカス(AF)制御プログラムを含む測定実行プログラムや測定結果表示プログラム等の各種プログラムに従って、測定実行処理や測定結果の表示処理等を実行する。
また、CPU35は、上記測定実行処理に従って、I/F41を介して画像測定機1を駆動制御する。例えば、CRT25に表示されるカメラ141の撮像範囲外におけるワーク3の画像をCRT25上のビデオウィンドウ25a(図3参照)に表示する場合は、オペレータの操作によりJ/S23やマウス24から入力された入力情報に基づき、画像測定機1のX,Y軸駆動機構を制御して、試料台12や撮像ユニット14をX,Y軸方向に相対的に移動させる。
そして、試料台12や撮像ユニット14が移動した位置において、後述するZ軸駆動機構によってカメラ141をZ軸方向(合焦軸方向)に沿って駆動してオートフォーカス処理を実行し、フォーカス位置(合焦位置)によりワーク3の撮像を行う。これにより、新たな撮像範囲内のワーク3の画像をCRT25に表示する。なお、HDD38は、上記各種プログラムやデータ等を格納する記録媒体であり、RAM40は、各種プログラムを格納する他、各種処理におけるCPU35のワーク領域を提供する。
第1の実施形態においては、画像測定機1は、図示しないコントローラを備えており、コントローラには、位置制御部151(図3参照)が含まれている。PC2は、例えばカメラ141に対してフレームレートを指定する信号や図示しない照明装置の光量を指定する信号等を送信することができるように構成されている。
カメラ141は、照明装置から光を照射されたワーク3をPC2により指定されたフレームレートで撮像し、撮像した画像情報を上述したようにUSBケーブル等を介してバルク転送によりPC2に転送する。この際、位置制御部151からは同様にUSBケーブルやUSBポートを介してカメラ141の位置情報がPC2に送信される。なお、照明装置としては、種々の照明が使用可能であり、例えばPWM制御のLED等も用いることができる。
撮像ユニット14は、カメラ141のZ座標を検出して出力するリニアエンコーダ143と、カメラ141を測定ヘッド14aと共にZ軸方向に沿って駆動するZ軸駆動機構としてのカメラ駆動機構144と、カメラ駆動機構144を駆動するZ軸モータ145十を備えている。Z軸モータ145は、画像測定機1に備えられたパワーユニット16を介して位置制御部151に接続されている。
また、リニアエンコーダ143は、スケール又は測定(検出)ヘッド14aがカメラ141と連動してZ軸方向に移動するように取り付けられている。位置制御部151は、カメラ141のZ座標を位置情報であるZ値として取得するラッチカウンタ152と、取得したZ値を例えば配列データとして保持するZ値ラッチバッファ153とを備えている。
すなわち、位置制御部151は、後述するトリガ信号に応じてラッチカウンタ152がリニアエンコーダ143からカメラ141のZ座標情報を取得し、Z値ラッチバッファ153がこの取得したZ座標情報をZ値として保持するように構成されている。なお、カメラ141は、専用デジタル通信線である専用DIO(デジタル入出力)ケーブルを介して位置制御部151と接続されている。
位置制御部151は、パワーユニット16に対してZ軸駆動命令を出力する。パワーユニット16は、Z軸モータ145に駆動電力を供給し、Z軸モータ145は、カメラ駆動機構144によってカメラ141を駆動する。カメラ141は、上述したように任意のフレームレートでワーク3の撮像を行い、USBケーブル等を介してPC2に画像情報を転送する。
トリガ信号は、カメラ141及び位置制御部151のいずれか一方から他方に出力されるもので、第1の実施形態においては、カメラ141から位置制御部151に出力される垂直同期(Vsync)信号がトリガ信号として用いられるカメラマスタ方式が採用される。この場合、位置制御部151は、この垂直同期信号を受信し、これに応じてリニアエンコーダ143からラッチカウンタ152がカメラ141のZ座標を取得して、Z値ラッチバッファ153に保持する。
これに伴い、ラッチカウンタ152が更新され、Z値ラッチバッファ153に保持されたZ値は、PC2からの読み出し命令(要求命令)に応じてZ値配列データとしてPC2に出力され、CRT25上のカウンタウィンドウ25b(図3参照)に表示される。なお、第1の実施形態においては、カメラ141をZ軸方向に沿って駆動しているが、カメラ141に設けられたレンズ等の光学系を調整することによっても同様の動作が可能である。また、汎用のデジタルシリアル通信線としてUSBインタフェースを使用しているが、例えばGig−E、FireWire等の他のデジタルシリアル規格により通信を行うようにしてもよい。また、デジタルシリアル規格でなく、アナログ通信手段(NTSC出力、コンポジット出力)を用いることも可能である。アナログ通信手段を用いる場合には、PC2側は、フレームグラバを介して画像を取得する。
このように構成された画像測定装置においては、本発明に係るオートフォーカス制御方法により例えば次のようにオートフォーカス処理が実行される。図4は、画像測定装置におけるオートフォーカスの方法を示す図である。オートフォーカス処理に際して、まず、例えばカメラ141をワーク3に近い下方のオートフォーカス開始位置に移動させる。そして、これを上方に所定の移動速度で移動させながら一定の画像取得間隔で複数のZ座標(Z0〜Z8)において撮像を行う。
その後、それぞれのZ座標位置における画像情報からコントラストを算出することで、図4に示すようなコントラストカーブCUVが得られる。こうして得られたコントラストカーブCUVにおける算出された複数のコントラストの中で、最も高い数値を示したものに対応するZ座標がフォーカス(合焦)位置と判断される。
ここで、例えば9箇所のZ座標(Z0〜Z8)において撮像を行い、転送先のPC2側でZ0〜Z8の画像情報をナンバリングし、それぞれのZ座標におけるコントラスト(P0〜P8)が計算されているとする。この場合、Z4の位置におけるコントラストP4が最も高くなる。このため、Z4の位置がフォーカス位置と判断され、カメラ141のZ座標はZ合わされることとなる。
しかし、上記のように9箇所のZ座標(Z0〜Z8)において撮像を行ったとしても、実際に位置制御部151にてラッチされるZ値は、Z値取得タイミングの遅延(すなわち、撮像期間(露光期間)の中心とZ値の取得タイミングとのずれ量)の影響で、Z座標(Z0〜Z8)とはずれることとなる。これにより、正確なコントラストカーブCUVを得ることができなくなってしまう。第1の実施形態に係る画像測定装置では、このようなずれを予め補正して垂直同期信号に応じてZ位置をラッチすることで、コントラストカーブCUVのピーク位置を正確に算出できる構成としている。
なお、このようなコントラスト式のオートフォーカスにおいては、画像情報の出力位置を増やすことによってより正確なフォーカス位置を把握することができるが、出力位置を増やした場合、カメラ141からPC2へ転送するデータ量が増加してしまうこととなる。上記のようにカメラ141とPC2とはUSBケーブル等によって接続されているため、画像情報の転送速度は例えば最大で400Mbps程度に制限されてしまい、オートフォーカス処理にかかる時間が増えてしまうこととなる。
このため、第1の実施形態に係る画像測定装置では、オートフォーカスの際にカメラ141による撮像範囲のうちの一部の画像のみを切り出してPC2へ転送することによって、カメラ141からPC2へ送信するデータ量を低減させて、フレームレートを挙げるようにしている。
この様子の概略的な全体像を、図5を参照して説明する。図5は、画像測定装置におけるオートフォーカスの方法を示すタイミングチャート、すなわちオートフォーカス時においてカメラ141とPC2との間で通信される信号を示すタイミングチャートである。図5の上段にはPC2のソフトウェア(以下、「S/W」と呼ぶ。)からカメラ141に送信される信号の一部を、下段にはカメラ141からPC2のS/Wに送信される信号を示している。なお、以降において、特に明記しない限りPC2及びS/Wを含めてPC2と略記することとする。
まず、オートフォーカスが開始される前のライブ表示においては、カメラ141からPC2へ、撮像範囲全ての画像情報が送信されている。このとき送信される画像は、例えば図5の左下に示すようになる。そして、タイミングS1においてPC2からカメラ141へ画像出力停止命令が送信される。
カメラ141の画像出力が停止されると、カメラ141から位置制御部151に、ラッチカウンタ152をリセットする旨の命令が送信される。ラッチカウンタ152がリセットされると、カメラ141は上述したようにカメラ駆動機構144によりオートフォーカスサーチ開始位置まで駆動される。なお、カメラ141のオートフォーカスサーチ開始位置への移動後にラッチカウンタ152がリセットされてもよい。
タイミングS2においては、PC2からカメラ141に送信される画像の範囲が、例えば図5の中央下に示すように限定される。この際、同時に垂直同期信号を出力する旨の命令を行うことも可能である。続いて、タイミングS3においてPC2からカメラ141に画像出力命令がなされ、カメラ141からPC2へ画像情報が出力(転送)される。なお、この画像情報と共にシリアル番号情報(タイムスタンプ)が出力されてもよい。
また、タイミングS2において垂直同期信号を出力する旨の命令がされていた場合には、カメラ141から位置制御部151へ垂直同期信号が送信され、垂直同期信号に同期してカメラ141の画像取得時のZ座標が保持される。なお、上記タイムスタンプが出力されている場合は、Z座標と共に保持されてもよい。
また、垂直同期信号を使用しない場合には、後述するものの他、例えばカメラ141のフレームレートからカメラ141の撮像のタイミングを計算し、計算したタイミングでカメラ141のZ座標を取得するなど、種々の異なる方式によってカメラ141と位置制御部151との同期を行うこともできる。
オートフォーカスが終了したタイミングS4では、PC2からカメラ141へ画像出力停止命令がなされる。続いて、タイミングS5において、オートフォーカス中のカメラ141の設定(画像出力範囲の指定及び垂直同期信号の出力)を解除する旨の信号が送信される。
また、位置制御部151には、PC2からZ軸方向の移動停止命令、ラッチ終了(停止)命令及びラッチ数読み出し(要求)命令が送信される。位置制御部151は、カメラ141の移動を停止させ、ラッチカウンタ152及びZ値ラッチバッファ153の動作を停止させ、PC2にラッチ数を送信する。
続いて、PC2から位置制御部151にラッチされたZ値配列データの読み出し命令が行われ、位置制御部151からPC2にZ値ラッチバッファ153内のZ値配列データ(Z座標等)が送信される。PC2は、転送された画像情報とZ座標との整合を行い、画像情報から算出したコントラストとZ値との関係を把握する。その後、上記の方法によってフォーカス位置を判断し、カメラ141のZ座標を算出したフォーカス位置まで移動させる。
最後に、タイミングS6においてライブ表示の画像出力を再開する旨の命令がされると、オートフォーカス動作が終了し、通常の測定が再開される。この際、カメラ141からPC2へ転送される画像は、図5の右下に示すように、オートフォーカス開始前と同様のサイズになる。
このような方法では、オートフォーカス時にカメラ141からPC2に転送する画像のサイズを減縮しており、USBケーブル等の転送レートに拘わらずカメラ141のフレームレートを大幅に増加させることが可能となる。次に、第1の実施形態に係る垂直同期信号を用いたオートフォーカス処理での上記ずれの補正処理についてのカメラマスタ方式によるものを説明する。
図6は、垂直同期信号を用いたカメラマスタ方式による画像測定装置の一部の構成を示すブロック図である。図7及び図8は、画像測定装置の画像取得タイミングとZ値取得タイミングとのずれを示すタイミングチャートである。また、図9は、同画像処理装置によるオートフォーカス制御処理の一部の補正値算出処理手順を示すフローチャート、図10はこの算出処理工程の一部を示す説明図である。
なお、図6に示す構成は、上記図3において示したものと同様である。この場合においては、撮像ユニット14のカメラ141からUSBケーブル等を介してPC2に画像情報(image)が転送されると共に、ワーク3の撮像完了後にカメラ141から専用DIOケーブルを介して位置制御部151に垂直同期(Vsync)信号が出力される。そして、位置制御部151においてこのときのZ座標(Z位置)がラッチされる。
すなわち、図7に示すように、カメラ141がグローバルシャッタ方式のCCDで構成された場合は、撮像による1フレームの露光期間(撮像期間)の中心(中間点)の画像取得タイミングと、実際のZ位置取得タイミングとのずれ量(Frame Latency:以下、「FL」と呼ぶ。)だけ上記中心より後の露光期間の終了時にカメラ141から垂直同期信号が出力される。そして、位置制御部151においてこのときのZ座標(Z位置)がラッチされる。
一方、図8に示すように、カメラ141がローリングシャッタ方式のCMOSで構成された場合は、FLだけ1フレームの露光期間の中心から前の1ピクセルの露光期間の終了時にカメラ141から垂直同期信号が出力され、位置制御部151においてこのときのZ位置がラッチされる。
従って、オートフォーカス処理に際して上記FLを測定してZ値の補正値を求めてこれを用いるようにすれば、画像測定機1の構成変更や仕様変更などに影響されずにコントラストカーブCUVのピーク位置を正確に算出して高精度なオートフォーカス動作を確実に行うことができる。より具体的には、FLにオートフォーカス動作時のカメラ141の移動速度を掛けた値でZ値を補正すればよい。
このように、第1の実施形態においては、例えばUSBケーブル等を介した通信において通信競合などにより、カメラ141からの画像情報のPC2への転送に遅延が生じたとしても、専用DIOケーブルを介して撮像完了後に出力された垂直同期信号に応じて各画像に対応するZ位置は位置制御部151にてラッチされる。
また、後述するようにFLを測定してZ値の補正値を算出した上で、PC2で転送された画像情報とZ位置との整合を行えば、この補正値を用いた高精度なオートフォーカスが可能となる。このオートフォーカス動作における補正値の算出処理は、例えば次のように実行される。以下に、図9のフローチャートと共に図10を参照しながら、第1の実施形態による補正値の算出処理について説明する。
まず、オートフォーカス動作が開始されると、図9に示すように、PC2は例えばFLを0にして(ステップS100)、位置制御部151に測定ヘッド14aを下端のAFサーチ開始位置に移動させる(ステップS102)。そして、移動速度V1(例えば、3mm/sec)で測定ヘッド14aを上方に移動させてAFサーチを実行する(ステップS104)。
このとき、図10の左側に示すように、カメラ141はワーク3から離れる上方向へ移動速度V1で移動するため、図10の右側に示すような真の画像取得位置IPからZ位置のずれE1(=E/2)mmだけずれた状態でZ値が位置制御部151にラッチされることとなる。
上方向へのAFサーチを実行したら、PC2は得られたZ値に基づきFLによる補正処理も含めてコントラストカーブCUVを求め、フォーカス位置Zfocus1を取得する(ステップS106)。次に、上方に移動した測定ヘッド14aを、図10の中央に示すように、移動速度V1で下方に移動させてAFサーチを実行する(ステップS108)。
このとき、図10の中央に示すように、カメラ141はワーク3に近付く下方向へ移動速度V1で移動するため、図10の右側に示すような真の画像取得位置IPからZ位置のずれE2(=E/2)mmだけずれた状態でZ値が位置制御部151にラッチされることとなる。
下方向へのAFサーチを実行したら、PC2は得られたZ値に基づきFLによる補正処理も含めてコントラストカーブCUVを求め、フォーカス位置Zfocus2を取得する(ステップS110)。なお、このときのフォーカス位置Zfocus1,2のずれは−Emmとなる。そして、PC2は、FLの補正値FLtempを算出する(ステップS112)。補正値FLtempは、次式により算出することができる。
[数1]
FLtemp=−E/(−2V1)
=E/(2V1)
={(Zfocus2−Zfocus1)/V1}/2
そして、PC2は、算出した補正値FLtempをFLに加算して新たなFLを設定する(ステップS114)。FLを設定したら、補正値FLtempが予め設定された基準値よりも小さいか否かを判断し(ステップS116)、小さいと判断した場合(ステップS116のY)は本フローチャートによる一連の処理を終了する。
一方、小さくないと判断した場合(ステップS116のN)は、AFサーチの繰り返し数が予め設定された上限数よりも少ないか否かを判断する(ステップS118)。少ないと判断した場合(ステップS118のY)は、上記ステップS102に移行して処理を繰り返し、少なくないと判断した場合(ステップS118のN)は、CRT25等にエラー警告表示等を行ってエラーを報知し(ステップS120)、一連の処理を終了する。なお、AFサーチの移動方向は入れ替えて実行してもよい。
このような処理で設定されたFLを用いてオートフォーカス制御を実行すれば、画像測定装置のパラメータ校正を自動化して安価に測定誤差を校正することができる。これと共に、画像測定機1やカメラ141等の構成変更や仕様変更などがあってもコントラストカーブCUVのピーク位置を正確に算出して高精度なオートフォーカス動作を確実に行うことができる。
なお、ずれ量は、FLのように時間として求める他、距離として求めることもできる。この場合、例えばカメラ141の移動速度とFLとから移動距離が求められるテーブルを予めPC2に設けておけばよい。
[第2の実施形態]
図11は、本発明の第2の実施形態に係る画像処理装置によるオートフォーカス制御処理の一部の補正値算出処理手順を示すフローチャートである。図12は、算出処理工程の一部を示す説明図である。なお、以降において、既に説明した部分と重複する箇所には同一の符号を附して説明を割愛し、本発明に特に関連のない部分については説明を省略することがあるとする。
第2の実施形態に係る画像測定装置は、上記第1の実施形態に係るものと同様であり、トリガ信号として垂直同期信号を用いる点も同じであるが、AFサーチの実行態様が第1の実施形態のものとは相違している。すなわち、AFサーチの移動方向が同一で移動速度が異なるように実施される。第2の実施形態に係るオートフォーカス動作における補正値の算出処理は、例えば次のように実行される。以下に、図9のフローチャートと共に図11のフローチャートを参照しつつ図12を参照して本処理について説明する。
図9及び図11に示すように、上記ステップS100〜S106までの処理の後、PC2は、位置制御部151に測定ヘッド14aを下端のAFサーチ開始位置に再度移動させる(ステップS107)。なお、ここまでの処理においては、図12の左側に示すように、カメラ141はワーク3から離れる上方向へ移動速度V1で移動し、図12の右側に示すような真の画像取得位置IPからZ位置のずれE1mmだけずれた状態でZ値が位置制御部151にラッチされており、コントラストカーブCUVに基づくフォーカス位置Zfocus1が取得されている。
そして、移動速度V1とは異なる移動速度V2(例えば、5mm/sec)で測定ヘッド14aを上方に移動させてAFサーチを実行する(ステップS109)。これにより、図12の中央に示すように、真の画像取得位置IPからZ位置のずれE2mmだけずれた状態でZ値が位置制御部151にラッチされる。その後、上記ステップS110へ移行してフォーカス位置Zfocus2を取得し、図9に示す以降の処理を実行する。
なお、このときのフォーカス位置Zfocus1,2のずれはE2−E1mmとなる。PC2は、上記ステップS112においてFLの補正値FLtempを、例えば次式により算出する。
[数2]
FLtemp=(E2−E1)/(V2−V1)
=E/(V2−V1)
=(Zfocus2−Zfocus1)/(V2−V1)
なお、第2の実施形態においては、AFサーチ時のカメラ141の移動方向を下から上へ向かう方向としたが、上から下へ向かう方向で実行するようにしてもよい。このようにしても画像測定装置のパラメータ校正を自動化して安価に測定誤差を校正し、コントラストカーブCUVのピーク位置を正確に算出して高精度なオートフォーカス動作を確実に行うことができる。
その他、図示は省略するが、例えばAFサーチを、カメラ141を下から上へ移動速度V1で移動させると共に、上から下へ移動速度V2で移動させるようにしてFLを測定し、これに基づき補正値FLtempを得てオートフォーカス動作を実行するようにしてもよい。
[第3の実施形態]
図13は、本発明の第3の実施形態に係る画像測定装置において、トリガ信号を用いたカメラスレーブ方式による画像測定装置の一部の構成を示すブロック図である。図14及び図15は、画像測定装置の画像取得タイミングとZ値取得タイミングとのずれを示すタイミングチャートである。
第3の実施形態に係る画像測定装置の構成は、上記第1及び第2の実施形態に係るものと同様であるが、図13に示すように、トリガ信号が位置制御部151からカメラ141に専用DIOケーブルを介して出力されるカメラスレーブ方式が採用されている点が第1の実施形態のものとは相違している。
すなわち、図14及び図15に示すように、カメラ141がグローバルシャッタ方式のCCDで構成された場合であっても、ローリングシャッタ方式のCMOSで構成された場合であっても、撮像による1フレームの露光期間の中心から、FLだけ前の露光期間の開始時に位置制御部151から出力されたトリガ信号がカメラ141に入力される。そして、位置制御部151においては、トリガ信号の出力と同時にZ位置がラッチされる。このような構成であっても画像測定装置のパラメータ校正を自動化して安価に測定誤差を校正し、コントラストカーブCUVのピーク位置を正確に算出して高精度なオートフォーカス動作を確実に行うことができる。
1 画像測定機
2 コンピュータシステム(PC)
3 ワーク(被測定対象)
4 プリンタ
11 架台
12 試料台(ステージ)
13a,13b アーム支持体
13c X軸ガイド
14 撮像ユニット
14a 測定(検出)ヘッド
16 パワーユニット
21 コンピュータ本体
22 キーボード
23 ジョイスティックボックス(J/S)
24 マウス
25 CRT
141 カメラ
143 リニアエンコーダ
144 カメラ駆動機構
145 Z軸モータ
151 位置制御部
152 ラッチカウンタ
153 Z値ラッチバッファ

Claims (10)

  1. 被測定対象を撮像してその画像情報を転送する撮像手段と、
    前記撮像手段の合焦位置を制御してこの合焦位置を合焦軸方向の位置情報として出力する位置制御手段と、
    前記画像情報及び位置情報に基づいて前記被測定対象の画像測定を行う画像測定手段とを備え、
    前記位置制御手段は、前記撮像手段の所定の撮像タイミングで前記位置情報を取得保持し、
    前記画像測定手段は、前記合焦軸方向に沿って移動速度及び移動方向の少なくとも一つが異なるように複数回のオートフォーカスサーチを行い、各オートフォーカスサーチにおいて前記撮像手段から転送された画像情報と前記位置制御手段から出力された位置情報とに基づいて前記撮像タイミングと前記位置情報の取得タイミングとのずれ量を求め、求められたずれ量に基づいてオートフォーカスサーチで求められた合焦位置を補正する
    ことを特徴とする画像測定装置。
  2. 前記画像測定手段は、前記オートフォーカスサーチにおいて、前記撮像手段から転送された画像情報と前記位置制御手段から出力された位置情報とに基づいて合焦位置を求め、これら合焦位置の誤差分と前記撮像手段の移動速度とに基づいて前記ずれ量を求める
    ことを特徴とする請求項1記載の画像測定装置。
  3. 前記画像測定手段は、前記ずれ量に所定の初期値を設定し、前記各オートフォーカスサーチにおいて前記ずれ量を用いて補正された合焦位置の差分から前記ずれ量を補正する補正値を求め、この補正値で前記ずれ量を補正する処理を、前記補正値が所定値よりも小さくなるまで繰り返す
    ことを特徴とする請求項2記載の画像測定装置。
  4. 前記ずれ量は、前記撮像手段を第1の移動方向及びこの第1の移動方向とは反対の第2の移動方向に同一の移動速度でそれぞれ駆動することで求められる
    ことを特徴とする請求項1〜3のいずれか1項記載の画像測定装置。
  5. 前記ずれ量は、前記撮像手段を一の移動方向に第1の移動速度及びこの第1の移動速度とは異なる第2の移動速度でそれぞれ駆動することで求められる
    ことを特徴とする請求項1〜3のいずれか1項記載の画像測定装置。
  6. 前記ずれ量は、前記撮像手段を第1の移動方向に第1の移動速度で駆動すると共に、前記第1の移動方向とは反対の第2の移動方向に前記第1の移動速度とは異なる第2の移動速度で駆動することで求められる
    ことを特徴とする請求項1〜3のいずれか1項記載の画像測定装置。
  7. 前記ずれ量は、時間により表される前記撮像手段のフレームレイテンシーである
    ことを特徴とする請求項1〜6のいずれか1項記載の画像測定装置。
  8. 前記ずれ量は、前記撮像手段の前記移動速度及び移動方向と予め前記移動速度に対応した移動距離と前記撮像手段のフレームレイテンシーとからテーブルを参照して求められる距離により表される
    ことを特徴とする請求項1〜6のいずれか1項記載の画像測定装置。
  9. 被測定対象を撮像してその画像情報を転送する撮像手段と、前記撮像手段の合焦位置を制御してこの合焦位置を合焦軸方向の位置情報として出力する位置制御手段と、前記画像情報及び位置情報に基づいて前記被測定対象の画像測定を行う画像測定手段とを備えた画像測定装置におけるオートフォーカス制御方法であって、
    前記位置制御手段によって前記撮像手段の所定の撮像タイミングで前記位置情報を取得保持する工程と、
    前記画像測定手段によって前記合焦軸方向に沿って移動速度及び移動方向の少なくとも一つが異なるように複数回のオートフォーカスサーチを行い、各オートフォーカスサーチにおいて前記撮像手段から転送された画像情報と前記位置制御手段から出力された位置情報とに基づいて前記撮像タイミングと前記位置情報の取得タイミングとのずれ量を求め、求められたずれ量に基づいてオートフォーカスサーチで求められた合焦位置を補正する工程とを備えた
    ことを特徴とするオートフォーカス制御方法。
  10. 被測定対象を撮像してその画像情報を転送する撮像手段と、前記撮像手段の合焦位置を制御してこの合焦位置を合焦軸方向の位置情報として出力する位置制御手段と、前記画像情報及び位置情報に基づいて前記被測定対象の画像測定を行う画像測定手段とを備えた画像測定装置において実行されるオートフォーカス制御プログラムであって、
    コンピュータに、
    前記位置制御手段によって前記撮像手段の所定の撮像タイミングで前記位置情報を取得保持させる工程と、
    前記画像測定手段によって前記合焦軸方向に沿って移動速度及び移動方向の少なくとも一つが異なるように複数回のオートフォーカスを行わせ、各オートフォーカスサーチにおいて前記撮像手段から転送された画像情報と前記位置制御手段から出力された位置情報とに基づいて前記撮像タイミングと前記位置情報の取得タイミングとのずれ量を求めさせ、求められたずれ量に基づいてオートフォーカスサーチで求められた合焦位置を補正させる工程とを実行させる
    ことを特徴とするオートフォーカス制御プログラム。
JP2011031482A 2011-02-17 2011-02-17 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム Active JP5740649B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2011031482A JP5740649B2 (ja) 2011-02-17 2011-02-17 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
US13/368,640 US8766153B2 (en) 2011-02-17 2012-02-08 Vision measuring device and auto-focusing control method
EP15198413.5A EP3029930B1 (en) 2011-02-17 2012-02-16 Vision measuring device with auto-focusing control
EP12155814.2A EP2490438B1 (en) 2011-02-17 2012-02-16 Vision measuring device
CN201210037364.8A CN102647553B (zh) 2011-02-17 2012-02-17 图像测量装置以及自动对焦控制方法
US14/259,480 US8809756B1 (en) 2011-02-17 2014-04-23 Vision measuring device and auto-focusing control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011031482A JP5740649B2 (ja) 2011-02-17 2011-02-17 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム

Publications (2)

Publication Number Publication Date
JP2012168136A true JP2012168136A (ja) 2012-09-06
JP5740649B2 JP5740649B2 (ja) 2015-06-24

Family

ID=46972426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011031482A Active JP5740649B2 (ja) 2011-02-17 2011-02-17 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム

Country Status (1)

Country Link
JP (1) JP5740649B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014208549A1 (de) 2013-05-08 2014-11-13 Mitutoyo Corporation Bildverarbeitungsmessgerät und bildverarbeitungsmessprogramm
JP5941209B1 (ja) * 2015-10-15 2016-06-29 株式会社シーアイエス 撮像装置
JP2018151163A (ja) * 2017-03-09 2018-09-27 キヤノン株式会社 計測装置、処理装置および物品製造方法
JP2020166127A (ja) * 2019-03-29 2020-10-08 株式会社ディスコ 合焦位置の検出方法、及び撮像装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62253107A (ja) * 1986-03-31 1987-11-04 Minolta Camera Co Ltd 自動焦点調節装置
JPS6370812A (ja) * 1986-09-12 1988-03-31 Fuji Photo Film Co Ltd オ−トフオ−カス方法
JPH11351858A (ja) * 1998-06-09 1999-12-24 Mitsutoyo Corp 非接触三次元測定装置
JP2000098475A (ja) * 1998-09-22 2000-04-07 Olympus Optical Co Ltd 交換レンズ
JP2003110825A (ja) * 2001-09-27 2003-04-11 Fuji Photo Film Co Ltd 合焦制御方法及び画像読取装置
JP2003140032A (ja) * 2001-11-06 2003-05-14 Konica Corp 撮像装置
JP2005156554A (ja) * 2003-11-24 2005-06-16 Mitsutoyo Corp 画像測定検査システムの推定最良焦点位置決定制御方法、画像測定検査システムの訓練モード動作の制御方法
JP2005292779A (ja) * 2004-03-12 2005-10-20 Fujinon Corp オートフォーカスシステム
US20080124068A1 (en) * 2006-05-11 2008-05-29 Samsung Electronics Co.; Ltd Mobile terminal and auto-focusing method using a lens position error compensation
JP2008165141A (ja) * 2007-01-05 2008-07-17 Elmo Co Ltd 焦点調整装置、撮影装置および焦点調整方法
JP2010091709A (ja) * 2008-10-07 2010-04-22 Canon Inc オートフォーカス装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62253107A (ja) * 1986-03-31 1987-11-04 Minolta Camera Co Ltd 自動焦点調節装置
JPS6370812A (ja) * 1986-09-12 1988-03-31 Fuji Photo Film Co Ltd オ−トフオ−カス方法
JPH11351858A (ja) * 1998-06-09 1999-12-24 Mitsutoyo Corp 非接触三次元測定装置
JP2000098475A (ja) * 1998-09-22 2000-04-07 Olympus Optical Co Ltd 交換レンズ
JP2003110825A (ja) * 2001-09-27 2003-04-11 Fuji Photo Film Co Ltd 合焦制御方法及び画像読取装置
JP2003140032A (ja) * 2001-11-06 2003-05-14 Konica Corp 撮像装置
JP2005156554A (ja) * 2003-11-24 2005-06-16 Mitsutoyo Corp 画像測定検査システムの推定最良焦点位置決定制御方法、画像測定検査システムの訓練モード動作の制御方法
JP2005292779A (ja) * 2004-03-12 2005-10-20 Fujinon Corp オートフォーカスシステム
US20080124068A1 (en) * 2006-05-11 2008-05-29 Samsung Electronics Co.; Ltd Mobile terminal and auto-focusing method using a lens position error compensation
JP2008165141A (ja) * 2007-01-05 2008-07-17 Elmo Co Ltd 焦点調整装置、撮影装置および焦点調整方法
JP2010091709A (ja) * 2008-10-07 2010-04-22 Canon Inc オートフォーカス装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014208549A1 (de) 2013-05-08 2014-11-13 Mitutoyo Corporation Bildverarbeitungsmessgerät und bildverarbeitungsmessprogramm
JP2014220657A (ja) * 2013-05-08 2014-11-20 株式会社ミツトヨ 画像測定装置及び画像測定プログラム
JP5941209B1 (ja) * 2015-10-15 2016-06-29 株式会社シーアイエス 撮像装置
JP2018151163A (ja) * 2017-03-09 2018-09-27 キヤノン株式会社 計測装置、処理装置および物品製造方法
US10638021B2 (en) 2017-03-09 2020-04-28 Canon Kabushiki Kaisha Measurement device, processing device, and article manufacturing method
JP2020166127A (ja) * 2019-03-29 2020-10-08 株式会社ディスコ 合焦位置の検出方法、及び撮像装置

Also Published As

Publication number Publication date
JP5740649B2 (ja) 2015-06-24

Similar Documents

Publication Publication Date Title
US8809756B1 (en) Vision measuring device and auto-focusing control method
CN110154017B (zh) 输送机跟踪系统以及校准方法
JP5589823B2 (ja) ステレオカメラの校正装置および校正方法
TWI404609B (zh) 機械手臂系統參數的校正方法與校正裝置
US10451410B2 (en) Shape measurement apparatus and shape measurement method
JP2016061687A (ja) 輪郭線計測装置およびロボットシステム
EP3988254A1 (en) Robot hand-eye calibration method and apparatus, computing device, medium and product
JP5740649B2 (ja) 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
JP2019119027A (ja) ロボットシステムの制御方法、およびロボットシステム
JP2014219292A (ja) 画像測定装置の照明設定方法、装置及びブライトネスツール用コンピュータソフトウェア
JP5668227B2 (ja) 画像測定装置
JP6210722B2 (ja) 画像測定装置及び画像測定プログラム
JP2008045983A (ja) ステレオカメラの調整装置
JP5740648B2 (ja) 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
JP7427370B2 (ja) 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
JP5222430B1 (ja) 寸法計測装置、寸法計測方法及び寸法計測装置用のプログラム
JP2008089357A (ja) タイヤの3次元形状測定システム、及び、タイヤの3次元形状測定方法
US20170328706A1 (en) Measuring apparatus, robot apparatus, robot system, measuring method, control method, and article manufacturing method
EP3385663B1 (en) Height measuring and estimation method of uneven surface of microscope slide, and microscope
KR20130075712A (ko) 레이저비전 센서 및 그 보정방법
JP5079779B2 (ja) カメラ較正方法、カメラ較正装置
JP2012151714A (ja) 画像測定装置
JP2020064034A (ja) 計測装置、その校正方法、およびプログラム
JP7035902B2 (ja) 計測システム、計測方法、および計測プログラム
CN110702001A (zh) 非接触式光学测量方法与系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150401

R150 Certificate of patent or registration of utility model

Ref document number: 5740649

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250