JP2006214914A - 鏡面形状測定方法および装置並びに検査方法および装置 - Google Patents

鏡面形状測定方法および装置並びに検査方法および装置 Download PDF

Info

Publication number
JP2006214914A
JP2006214914A JP2005029132A JP2005029132A JP2006214914A JP 2006214914 A JP2006214914 A JP 2006214914A JP 2005029132 A JP2005029132 A JP 2005029132A JP 2005029132 A JP2005029132 A JP 2005029132A JP 2006214914 A JP2006214914 A JP 2006214914A
Authority
JP
Japan
Prior art keywords
color
pattern
measured
shape
normal vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005029132A
Other languages
English (en)
Other versions
JP4613626B2 (ja
Inventor
Yoshiyuki Sonda
嘉之 尊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AGC Inc
Original Assignee
Asahi Glass Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Glass Co Ltd filed Critical Asahi Glass Co Ltd
Priority to JP2005029132A priority Critical patent/JP4613626B2/ja
Publication of JP2006214914A publication Critical patent/JP2006214914A/ja
Application granted granted Critical
Publication of JP4613626B2 publication Critical patent/JP4613626B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】(1)安価な装置で実現でき、(2)大きな曲率を有する被測定対象であっても形状検査ができるようにする。
【解決手段】第1の色成分に着目した場合に第1のストライプパタンが認識され、かつ第2の色成分に着目した場合に第2のストライプパタンが認識されるカラーパタン3を、被測定物1の鏡面状の表面に映り込ませるとともに、この表面におけるカラーパタン3の反射像をカラーカメラ5、6、7で撮像するステップと、この反射像から得られる情報を用いて、鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求めるステップと、これらの法線ベクトルを用いて被測定物1の表面形状を求めるステップとを有する。
【選択図】図1

Description

本発明は、鏡面形状測定方法および装置並びに検査方法および装置に関し、特に自動車用ガラスの形状測定方法および形状測定装置並びに検査方法および装置に関する。
従来、自動車用ガラスの形状測定方法としては、接触式センサを利用した方法がある。これは接触を感知するセンサによりガラスの形状を読み取る方法であるが、製品形状が変わる度にセンサを含む測定装置を用意しなければならない、配置できるセンサの数に制限がありガラス全面の形状情報が得られないといった問題がある。
一方、カメラを使った非接触式の形状測定技術も多くの分野で実用化されている。これまでに実用化されている非接触式の形状測定方法としては、三角測量の原理に基づくパタン光投影方式(井口征士・佐藤宏介「三次元画像計測」、昭晃堂、1990年、2章参照)がある。ところが、パタン光投影方式は、被測定物が完全拡散反射面あるいはそれに準ずる拡散反射面であることを仮定しており、自動車用ガラスのように鏡面を有する被測定物に適用することはできない。
また、鏡面を対象とした非接触式の形状測定方法としては、鏡面の光学的性質を積極的に利用した形状測定方法が考案されている。この方法は正反射の法則、すなわち鏡面反射において光の入射角と反射角が等しくなる性質を利用している。鏡面を有する被測定物にパタン光源を照射すると、被測定物に映るパタン光源の反射像を観測することができる。反射像をカメラで撮像することにより、パタン光源から被測定物を経由してカメラへと進む光線経路を特定することができる。光線経路がわかれば正反射の法則から、被測定物の法線ベクトルを求めることができ、さらに被測定物の形状を得ることができる。
ここで、下記特許文献1には、被測定物に対してカラーパタンを照射し、被測定物に映るカラーパタンの反射像を得て被測定物の形状を求める方式が開示されている。色にパタンの位置情報を持たせることにより、被測定物にカラーパタンのどの位置が映っているかを特定することができる。また、特許文献1では、ブルー、シアン、グリーン、イエロー、レッド、マゼンダの6色からなるストライプパタンが用いられている。カラーパタンは2次元的な広がりを持っているので、パタン内の任意の位置を指定するためには2つの座標軸が必要となる。そして、天頂角成分のセンシング用および方位角成分のセンシング用に合計2種類のカラーパタンが用意され、カラー画像表示装置の表示を切り替えることで、被測定対象に投光するパタンを替えている。
特許第3553652号公報
しかしながら、この方法を自動車用ガラスの形状測定に適用するには、自動車用ガラスよりも大きいサイズのカラー画像表示装置を用意せねばならず、装置が高価となる。また、曲率の大きい自動車用ガラスには用意すべきカラー画像表示装置が広範囲となり、そのような装置を用意すること自体が困難となる。それを裏付けるように、特許文献1の実施例においては、はんだの形状検査装置への応用事例が挙げられ、カラー画像表示装置に比べて小さい被測定物を対象としている。よって、このような特許文献1に開示の技術をそのまま自動車用ガラスの形状測定に適用するには無理がある。
本発明はこのような課題を解決するものであり、(1)安価な装置で実現でき、(2)大きな曲率を有する被測定対象であっても形状の測定・検査をできるようにした鏡面形状測定方法および装置並びに検査方法および装置を提供することを目的とする。
以上の目的を達成するために本発明は、鏡面状の表面を有する被測定物の表面形状を測定する方法であって、第1の色成分に着目した場合に第1のストライプパタンが認識され、かつ第2の色成分に着目した場合に前記第1のストライプパタンと所定角度を成す第2のストライプパタンが認識されるカラーパタンを、前記被測定物の鏡面状の表面に映り込ませるとともに、この表面における前記カラーパタンの反射像をカラーカメラで撮像するステップと、この反射像から得られる情報を用いて、前記鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求めるステップと、前記複数のサンプリング点における法線ベクトルを用いて前記被測定物の表面形状を求めるステップとを有することを特徴とする鏡面形状測定方法を提供する。
また、本発明の一態様において、前記鏡面状の表面に複数の領域を設定し、この領域毎に用意されたカラーカメラを用いて前記表面における前記カラーパタンの反射像を撮像するステップと、これらの反射像から得られる情報を用いて、前記領域毎に前記鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求めるステップと、前記被測定物の測定対象表面の全域にわたる法線ベクトルが得られるように、前記領域毎に算出された法線ベクトルを統合するステップと、前記統合された法線ベクトルを用いて積分演算することにより、前記被測定物の表面形状を算出するステップとを有してもよい。また、本発明の一態様において、前記第1の色成分は赤色成分であり、前記第2の色成分は青色成分であってもよい。
また、本発明は、鏡面状の表面を有する被測定物の表面形状を測定する装置であって、第1の色成分に着目した場合に第1のストライプパタンが認識され、かつ第2の色成分に着目した場合に前記第1のストライプパタンと所定角度を成す第2のストライプパタンが認識されるカラーパタンを、発光面に備えた面光源と、前記被測定物の鏡面状の表面に映り込んだ前記カラーパタンの反射像を撮像するカラーカメラと、この反射像から得られる情報を用いて、前記鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求め、前記複数のサンプリング点における法線ベクトルを用いて前記被測定物の表面形状を求める計算機とを備えたことを特徴とする鏡面形状測定装置を提供する。
また、本発明の一態様において、前記カラーカメラは、前記鏡面状の表面に設定された複数の領域毎に用意され、前記領域毎に前記表面における前記カラーパタンの反射像を撮像し、前記計算機は、これらの反射像から得られる情報を用いて、前記領域毎に前記鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求めるステップと、前記被測定物の測定対象表面の全域にわたる法線ベクトルが得られるように、前記領域毎に算出された法線ベクトルを統合するステップと、前記統合された法線ベクトルを用いて積分演算することにより、前記被測定物の表面形状を算出するステップとを有してもよい。また、本発明の一態様において、前記第1の色成分は赤色成分であり、前記第2の色成分は青色成分であってもよい。
また、本発明は、鏡面状の表面を有する被測定物の表面形状を検査する方法であって、第1の色成分に着目した場合に第1のストライプパタンが認識され、かつ第2の色成分に着目した場合に前記第1のストライプパタンと所定角度を成す第2のストライプパタンが認識されるカラーパタンを、前記被測定物の鏡面状の表面に映り込ませるとともに、この表面における前記カラーパタンの反射像をカラーカメラで撮像するステップと、この反射像から得られる情報を用いて、前記鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求め、この法線ベクトルに関する情報またはこの法線ベクトルを用いて演算処理することで得られた情報に基づいて前記被測定物の表面形状を検査するステップとを有することを特徴とする鏡面形状検査方法を提供する。
さらに、本発明は、鏡面状の表面を有する被測定物の表面形状を検査する装置であって、第1の色成分に着目した場合に第1のストライプパタンが認識され、かつ第2の色成分に着目した場合に前記第1のストライプパタンと所定角度を成す第2のストライプパタンが認識されるカラーパタンを、発光面に備えた面光源と、前記被測定物の鏡面状の表面に映り込んだ前記カラーパタンの反射像を撮像するカラーカメラと、この反射像から得られる情報を用いて、前記鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求め、この法線ベクトルに関する情報またはこの法線ベクトルを用いて演算処理することで得られた情報に基づいて前記被測定物の表面形状を検査する計算機とを備えたことを特徴とする鏡面形状検査装置を提供する。
以上説明したとおり、本発明は、発光面に所定のカラーパタンを付けた光源装置を使用するので光源の大型化が容易に行える。したがって、自動車用ガラスの形状測定へ適用することができる。また、複数のカラーカメラを使用することで、サイズが大きくかつ大きな曲率を持った鏡面体(例えば自動車用ウインドシールド、サイドガラスおよびリアガラス等)の形状測定にも適用することができる。さらに、本発明により得られた法線ベクトルまたは法線ベクトルを用いて演算処理することにより得られた値を所定の閾値(所望のデザイン形状に基づいて設定された値等)と比較することにより、被測定物の形状の良否を検査することができる。例えば法線ベクトルの微分値は曲率に相当するため、被測定物の表面におけるハイライト(反射歪)の評価および検査に有効である。
次に、本発明の一実施形態について説明する。
図1は、形状検査装置の基本的構成を示す説明図である。同図に示すように、自動車用ガラス等の鏡面を有する被測定物1の上方に、面光源2を設置する。面光源2の発光面にはカラーパタン3を取り付ける。カラーパタン3の被測定物1に映る反射像を撮像するために、主となるカラーカメラ1つと、少なくとも1つの副となるカラーカメラを配置する。カラーカメラの数に制限はないが、ここでは主となるカラーカメラ5と、副となるカラーカメラ6および7の合計3台のカラーカメラを使用する。主となるカラーカメラ5は面光源2の内部に配置され、カラーパタン3に開けられた穴4を通じて被測定物1に映る反射像を撮像する。副となるカラーカメラ6および7は、面光源2の外側に配置され、被測定物1に映る反射像を撮像する。パーソナルコンピュータ等の計算機8は、カラーカメラ5、6、7と接続されており、これらのカメラにより撮像された反射像を公知の画像処理技術を用いて解析し、被測定物1の形状を求める。光学系および被測定物はXYZ座標系に置かれているものとし、Z軸を鉛直方向にとる。面光源2の辺はX軸、Y軸に平行であるものとする。以下においては光学系全体の配置を記述するXYZ座標系をグローバル座標系と呼び、グローバル座標系における座標をグローバル座標と呼ぶ。
面光源2としては、筐体内部に複数の蛍光灯を配置し、発光面をガラス板でカバーしたものを用いている。この発光面に貼付されるカラーパタン3としては、透明または光拡散性の樹脂フィルムにカラーパタンを印刷(例えばインクジェット・プリント)したものが使用できる。カラーパタン3は1枚のカバーガラスの表面に貼付してもよいし、2枚のカバーガラスで挟むようにしてもよい。面光源2の明るさはできる限り均一にすることが望ましく、このために筐体内部に入れた蛍光灯の配置を工夫する。また、カラーパタン3に使用される樹脂フィルムは、透明ではなく光を拡散透過させる材質のものが望ましい。これにより面光源2の明るさむらが軽減される。カラーカメラ5、6および7は、エリアカメラ方式であれば特に制限はない。
図2は、光学系のYZ平面での一部破断側面図であり、3つのカラーカメラの位置、視野の関係を示している。主となるカラーカメラ5の姿勢は鉛直下向きであるり、視野9の範囲で反射像を撮像する。副となるカラーカメラ6は視野10の範囲で反射像を撮像し、被測定物1上において視野10の一部が視野9の一部と重なるような姿勢をとっている。同様に副となるカラーカメラ7も視野11の範囲で反射像を撮像し、被測定物1上において視野11の一部が視野9の一部と重なるような姿勢をとっている。これら3つのカラーカメラは、グローバル座標系において固定されており、よって位置および姿勢は既知情報として得られる。
図3は、カラーパタン3の説明図である。カラーパタン3は、基本パタン12を一単位として、複数の基本パタンを互いに重複することなく密に並べたものである。よって、カラーパタン3は縦および横の何れの方向においても、基本パタン12が周期的に現れるパタンである。
図4は、基本パタン12の詳細説明図である。基本パタン12は、6×6の微小矩形パタンによって構成され、各微小矩形パタンは色12aから色12hまでの計8色のうちの何れかの彩色が施されている。そして、図4に示すように基本パタン12には、水平および垂直方向からなる局所座標系が付随している。以下、基本パタン12内部の点の位置を示す座標を局所座標と呼ぶ。図4に示す基本パタンの場合、局所座標の成分は0から6までの無次元化された値をとる。これらの局所座標により、基本パタン12の内部の任意の位置を記述することができる。例えば図4の基本パタン12においては、左下の点は(0,0)、中央の点は(3,3)、右上の点は(6,6)を表す。局所座標の各成分は整数に限られず例えば(2.5,3.3)といった記述もできる。以下、基本パタン12内部の点の位置を局所座標と呼ぶ。
基本パタン12を構成する8色については、あらかじめ次のように色を調整する。
図5は、基本パタンを構成する8色をカラーカメラで撮像した際に得られる画像の赤成分、緑成分、青成分を示す。グラフの縦軸が各色成分の強さを示す。色12a、色12b、色12cには青成分を含まないようにし、赤成分についてはいずれも同じ強さとなるようにしている。色12a、色12b、色12cの違いは、緑成分の強さにある。同様に色12d、色12e、色12fは赤成分を含まないようにし、青成分については何れも同じ強さとしている。色12d、色12e、色12fの違いは、緑成分の強さにある。色12gは赤成分、緑成分および青成分が何れも同じ強さであり、色12hは赤成分、緑成分および青成分のいずれも無いようにしている。なお、色12gの赤成分、青成分の強さは、色12a、色12b、色12cの赤成分(および色12d、色12e、色12fの青成分)と同じとする。
基本パタン12を構成する8色を上記のように調整することにより、基本パタン12の中に、互いに直交する2つのストライプパタンを内在させることができる。基本パタン12をカラーカメラで撮像して赤成分だけに着目すると図6(a)のようにストライプパタン13が現れる。同様に青成分だけに着目すると図6(b)のようにストライプパタン14が現れる。このように本実施の形態によれば、使用するカラーパタンは1つであるが、着目する色成分を変えることにより、互いに直交する2つのストライプパタンを得ることができる。図6からも明らかなように、ストライプパタン13はH方向の局所座標に、ストライプパタン14はV方向の局所座標に、それぞれ対応している。但し、ストライプパタン13と14は直交していることが好ましいが、その他の角度でもよく、平行とならない範囲の傾斜角度を選択することができる。
次に、本発明における形状測定の原理について述べる。
図7は、形状測定の一実施形態を示すフローチャートである。同図に示すように、正反射の法則に基づいて、被測定物上にあらかじめ生成されたサンプリング点における法線ベクトルを求め、最終的に積分計算を行うことにより、被測定物の形状が求められる。まず、主となるカラーカメラの視野内にあるサンプリング点の法線ベクトルを求め、その後に副となるカラーカメラの視野内にあるサンプリング点の法線ベクトルを求める(ステップS11、S12、S13)。さらに、副となるカラーカメラで求めた法線ベクトルに対しては、主となるカラーカメラで求めた法線ベクトルと連続性を持つように修正を加える(ステップS14)。最後に法線ベクトルより得られる面の傾きを積分して被測定物の形状を得る(ステップS15)。積分計算の具体的な手法については、公知の手法を適用でき、例えば特願2004−167621号の明細書や特開平11−211440号公報に開示されているものを適用することができる。
図8は、1つのサンプリング点に対して、法線ベクトルを求める様子を示す。ここでは主となるカラーカメラ5を使って、法線ベクトルを求める考え方について説明する。視点5に位置するカラーカメラ(図示せず)から被測定物1上のサンプリング点16を撮像したときに、カラーパタン3上の参照点17の反射像が映っていたとする。ここで、サンプリング点16における法線ベクトル18を求めることを考える。サンプリング点16に参照点17の反射像が映っているとき、参照点17から発した光は、被測定物1上のサンプリング点16で反射された後に、カラーカメラの視点15に到達している。正反射の法則により、サンプリング点16においては、光の入射角19と反射角20が等しい。したがって、視点15、反射点16、参照点17のグローバル座標がわかれば、法線ベクトル18を特定することができる。
以上のように法線ベクトル18の算出には、視点15、サンプリング点16、参照点17のグローバル座標が必要であるが、これらを既知情報と未知情報とに分けて整理すると次のようになる。まず、カラーカメラ5は固定されていることから、その視点15は既知情報である。サンプリング点16はこれから形状を求めようとする被測定物1上の点であり本来は未知情報であるが、自動車用ガラスであれば設計形状のような近似値を与えることができる。測定時に自動車用ガラスを置く位置も既知であるので、サンプリング点16は既知情報として扱うことができる。これに対して参照点17は実際の被測定物1の形状に依存して変化するため、被測定物1が変わる度に参照点17の位置を求めねばならない。カラーパタン3の位置は固定されているため、参照点17のグローバル座標のうちZ成分は既知情報であるが、XY成分は未知情報である。以上をまとめると、法線ベクトル18を求めるのに必要な情報のうち未知情報は、参照点17のグローバル座標のXY成分であり、これを求めることが反射像解析の主目的となる。
図9は、1つのサンプリング点の法線ベクトルを算出する手順を示すフローチャートである。最初にサンプリング点近傍の反射像に着目し、サンプリング点に映っている参照点の局所座標を求める(ステップS21)。続いて局所座標と後述する拘束条件をもとに参照点のグローバル座標を特定する(ステップS22)。最後に正反射の法則を用いてサンプリング点における法線ベクトルを計算する(ステップS23)。
ここで、図9のフローチャートの最初のステップである参照点の局所座標算出の方法について説明する。図3に示したように、カラーパタン3は基本パタン12を周期的に敷き詰めたパタンとなっている。したがって、いかなる参照点も、必ず基本パタン12のいずれかの場所に位置し、その局所座標を求めることができる。
図10は、サンプリング点16の近傍に映っている、基本パタン12の反射像である。図10(a)が反射像の赤成分、図10(b)が反射像の青成分に対応している。なお図10は鏡像であるので図10(a)は、図6(a)に対して左右が入れかわっていることに注意を要する。また自動車用ガラスは曲面であるので、一般には図10のように歪められたパタンが撮像される。点21はカラーカメラ5で捉えたサンプリング点16の像である。本実施の形態では、点21近傍の反射像を解析することにより、参照点17の局所座標を求める。
図10において、局所座標を求める上で重要な情報が3つある。それらは、
その1:点21がストライプパタンの白い領域にあるか、黒い領域にあるか、
その2:近傍にあるストライプパタンの白い領域(但し図4における色12gの領域は除く)の、カラー画像における緑成分の強さ、
その3:点21を挟むストライプ境界までの長さである。
図11は、図10の点21の近傍をさらに拡大した画像である。図11(a)が反射像の赤成分、図11(b)が反射像の青成分に対応している。図11(a)において点21からストライプ境界までの長さをd0_h、d1_hとする。但し、水平方向の局所座標が小さいストライプ境界までの長さをd0_hとし、両境界の水平方向の局所座標のうち小さいほうをh0とする。同様に図11(b)において点21からストライプ境界までの長さをd0_v、d1_vとする。やはり、垂直方向の局所座標が小さいストライプ境界までの長さをd0_vとし、両境界の垂直方向の局所座標のうち小さいほうをv0とする。このとき、点21の局所座標は式(1)、式(2)により与えられる。
Figure 2006214914
h0あるいはv0を正しく求めるために、本実施の形態においては、前記3つの情報のうち、その1、その2の情報を使って、h0あるいはv0を正確に定める。例としてh0を特定する場合を考える。この場合、点21が図10(a)において白い領域にあれば、h0の候補は0、2、4に絞られる。逆に黒い領域にあればh0の候補は1、3、5に絞られる。さらに図10(a)において点21近傍でかつ白い領域(但し図4における色12gの領域は除く)の、カラー画像における緑成分を調べることにより、3つあるh0の候補から一つを選ぶことができる。
以上のように、サンプリング点近傍に映る反射像を調べることにより、参照点の局所座標を求めることができる。しかしながら、基本パタン12はカラーパタン3の内部に周期的に複数配置されているため、局所座標が分かったとしても参照点のグローバル座標が唯一に特定されるわけではない。参照点のグローバル座標は、前記の方法で求めた局所座標の情報に拘束条件を付加することで特定される。拘束条件の与え方は状況によって3種類あるので、以下個別に説明する。表1に3種類の拘束条件を示す。
Figure 2006214914
ここで、1つ目の拘束条件に関して説明する。
図12は、カラーカメラ5がサンプリング点22を撮像した際に、参照点23の反射像が映っている状況を示している。ここでサンプリング点22は、カラーカメラ5の視野に入るサンプリング点のうち、最初に法線ベクトルを求めるサンプリング点であるとする。図12においてカラーパタン3上の基準点24は、そのグローバル座標が既知であるとする。基準点24はカラーパタン3における他の点と容易に区別できる、明確な特徴を持っていることが望ましい。例えばカラーパタン3に空けられた穴4の近傍の点することが一つの方法である。あるいは図4に示した8色以外の色で基本パタン中の1区画を彩色し、その中心点を基準点24とする方法も考えられる。参照点23ができるだけ基準点24に近くなるようなサンプリング点22を選ぶことにより、参照点23のグローバル座標を基準点24との位置関係から正しく求めることができる。
サンプリング点22の選定は、計算機シミュレーションにより行う。被測定物1が設計形状であると仮定し、光線追跡により各サンプリング点に対する参照点位置を予測する。このうち参照点が最も基準点24に近くなるサンプリング点を、サンプリング点22とすればよい。以上のように本実施の形態だけでは、最初に法線ベクトルを計算するサンプリング点に対しては、グローバル座標が既知である基準点を拘束条件に法線ベクトルを算出する。
続いて2つめの拘束条件について説明する。
図13は、カラーカメラ5がサンプリング点25を撮像した際に、参照点26の反射像が映っている状況を示している。ここでサンプリング点25は、図12において最初に法線ベクトルを求めたサンプリング点22の近傍にある点とする。すでにサンプリング点22に映る参照点23のグローバル座標は、前記の方法により明らかになっている。参照点26のグローバル座標を特定するにあたり、参照点23を新たな拘束点とすることを考える。サンプリング点の間隔を十分短くとれば、近傍の2つのサンプリング点に映る参照点2点間の距離を、基本パタン12のサイズ以下に抑えることができる。このとき、参照点26と同じ局所座標を持つ点の中で、最も参照点23に近い点を、真の参照点26と見なしてよい。このように近傍のサンプリング点に映る参照点位置を拘束条件とすることで、法線ベクトルが算出される。サンプリング点22を出発点にして同様な計算を周囲に伝播させることにより、カラーカメラ5の視野内のサンプリング点に対して法線ベクトルを求めることができる。
最後に3つめの拘束条件について説明する。
図14は、カラーカメラ7がサンプリング点27を撮像した際に、参照点28の反射像が映っている状況を示している。ここで、サンプリング点27はカラーカメラ5および7の視野が重なった領域にあるとする。サンプリング点27はカラーカメラ5の視野に入っているので、図12、図13を使って説明したプロセスにより、既に法線ベクトル29が求められているはずである。いま、カラーカメラ7が撮像した反射像を使ってサンプリング点27における法線ベクトルをあらためて求めることを考える。そのためには参照点28のグローバル座標が必要であるが、本実施の形態では参照点28のグローバル座標を算出するにあたり、既知の法線ベクトル29を活用する。
図14において予測参照点30は、サンプリング点27の法線ベクトルが既知の法線ベクトル29に等しいと仮定した場合に、カラーカメラ7に映る参照点の予測位置である。光線経路31は、正反射の法則に基づいて算出され、光線経路31とカラーパタン3の交点が予測参照点30となる。カラーカメラ5および7の位置、姿勢が正しく把握されていれば、参照点28と同じ局所座標を持つ点の中で、最も予測参照点30に近い点を、真の参照点28とみなすことができる。この結果、カラーカメラ7の視点情報をもとにサンプリング点28の法線ベクトルを求めることができる。以後、サンプリング点27を出発点として、カラーカメラ7の視野にある他のサンプリング点の法線ベクトルを求めることができる。その際は上述の2つめの拘束条件を適用すればよい。
図14に示したように、同一のサンプリング点が複数のカラーカメラの視野に入る場合、本実施の形態ではそれぞれのカラーカメラの画像から法線ベクトルを求める。法線ベクトルを求めるにはカラーカメラの視点、サンプリング点、参照点のグローバル座標が必要であるが、現実の測定においてはこれらに誤差が含まれており、それぞれのカラーカメラの画像から求めた法線ベクトルは厳密に一致しない。
図15は、図14におけるサンプリング点27近傍の拡大図である。法線ベクトル29はカラーカメラ5の画像から求めたサンプリング点27の法線ベクトルであり、法線ベクトル32はカラーカメラ7の画像から求めたサンプリング点27の法線ベクトルである。サンプリング点27の法線ベクトルは唯一であるので、本実施の形態においては法線ベクトル29と法線ベクトル32の差で与えられる修正ベクトル33を求め、カラーカメラ7の画像から求めた法線ベクトルを修正する。すなわちカラーカメラ7の画像から求めた法線ベクトルに修正ベクトル33を加算したベクトルを正しい法線ベクトルとみなす。この修正ベクトルはカラーカメラ5とカラーカメラ7の視野が重なっている領域内のサンプリング点だけでなく、カラーカメラ7の視野内にあるサンプリング点すべてに適用される。以上の修正プロセスにより、カラーカメラ5および7の視野内にあるサンプリング点には、連続的な法線ベクトル分布が形成される。
カラーカメラ6についてもカラーカメラ7と同様に法線ベクトルの計算と修正を行う。これにより被測定物1に生成された全てのサンプリング点に対して法線ベクトルが求まり、それら法線ベクトルは連続的な分布を形成する。法線ベクトルから得られる面の傾きを積分することにより、被測定物1の形状を得る。
次に、本発明の実施例について説明するが、これらが本発明を限定するものではないことは明らかである。被測定物としてサイドドア用の自動車用ガラスを用い、本発明による形状測定結果と別に行った接触式測定結果を比較し、本発明による形状測定の精度を調べた。
図16は、本実施例において用いたカラーパタン(1200mm×2250mmの矩形状)を示す。カラーパタンは図4および図5で示した合計8色からなるものを使用した。図4において個々の色ごとの正方形領域の大きさを40mm角とした。したがって基本パタンのサイズは240mm角とした。カラーパタンにはカラーカメラの視野を確保するため、直径Φ50mmの穴をあけた。
図17は、実施例における光学系のYZ断面である。図1と同様に、正となるカラーカメラを1台、副となるカラーカメラを2台、合計3台のカラーカメラを使用した。正となるカラーカメラを面光源の筐体内部に配置し、その向きを鉛直下向きとした。一方、副となるカラーカメラについては、面光源の筐体の外側に配置し、それぞれ視線を30度内側に向けた。被測定物上において、このことにより、正となるカラーカメラの視野は、副となるカラーカメラの視野と重なっている。
図18は、自動車用ガラスの断面形状を本発明による方法および接触式測定により求めた結果を重ねたものである。最大0.2mm程度の誤差で本発明による測定が可能であることが確認された。この断面形状はカラーカメラ3台の視野にまたがっており、カラーカメラが複数であっても、本発明によれば各カラーカメラから得られる法線およびを統合して、形状を測定できることを示している。
以上説明したとおり、本発明によれば特許第3553652号に記載されているようなカラー画像表示装置が不要となる。本発明は、面光源にカラーパタンを取り付けた簡易な光源装置を用いているので、光源装置を自動車用ガラスの測定用に大型化することに対して支障がない。
また、本発明によれば、カラーカメラを複数利用することができるので、曲率の大きい自動車用ガラスに対して光源を極端に大型化する、あるいは複雑化する必要が無い。よって適用できる自動車用ガラスの種類が広がる。本発明による形状測定機は自動車用ガラスの形状に依存しない汎用性があり、形状に依存して測定系を用意しなければならない接触式形状測定機と比べて装置費用で安くなり、得られる形状情報も増える。
以上の利点によって、本発明は従来よりも優れた自動車用ガラスの形状検査システムの構築に大きく貢献するものである。なお、本発明による形状測定方法は、対象が鏡面を有していればよく、自動車用ガラスだけでなく、鉄道車両、船舶、航空機、建築物等で使用される窓ガラス、レンズ、反射鏡等の鏡面を有する部材全般に適用可能である。
なお、以上においては、治具100上で静止した状態の被測定物1の検査について説明したが、本発明はこれに限られるものではない。例えば、図19に示すように治具100をベルトコンベア等の搬送手段上に設置し、治具100とともに搬送される被測定物1を撮像し検査する構成を採ることもできる。その場合、被測定物1の両サイドに副のカメラ6a、6b、7a、7bを適当な傾斜角を持たせて設置することにより、曲率の大きな被測定物(例えば自動車用リアガラス)であっても容易に撮像および検査が可能となる。
本発明の一実施形態を示す説明図である。 形状測定をするための光学系を示す断面図である。 カラーパタンの概略を示す説明図である。 基本パタンを示す平面図である。 基本パタンを構成する8色について、カラーカメラで撮像した際の赤成分、緑成分および青成分の強さを示すグラフである。 (a)赤成分に着目した場合に現れるストライプパタン、(b)青成分に着目した場合に現れるストライプパタンを示す平面図である。 形状測定の一実施形態を示すフローチャートである。 法線ベクトルの求め方を示す説明図である。 1つのサンプリング点に対して、反射像から法線ベクトルを求める手順を示すフローチャートである。 (a)、(b)サンプリング点近傍に映っている基本パタンの反射像を示す平面図である。 (a)、(b)サンプリング点近傍に映っている基本パタンの反射像の一部を拡大した平面図である。 反射像が形成される様子を示す説明図である。 反射像が形成される様子を示す説明図である。 反射像が形成される様子を示す説明図である。 法線ベクトルの修正に用いられる修正ベクトルを示す説明図である。 カラーパタンの一実施例を示す平面図である。 光学系の一実施例を示す説明図である。 同一の自動車用ガラスに対して、本実施例による測定結果と接触式測定による測定結果とを比較したグラフである。 本発明のその他の実施形態を示す説明図である。
符号の説明
1:被測定物
2:面光源
3:カラーパタン
4:カラーパタンに空けられた穴
5:主となるカラーカメラ
6、7:副となるカラーカメラ
8:計算機
9:主となるカラーカメラの視野
10、11:副となるカラーカメラの視野
12:カラーパタンを構成する基本パタン
13:基本パタンに内在する第1のストライプパタン
14:基本パタンに内在する第2のストライプパタン
15:主となるカラーカメラの視点
16:被測定物上のサンプリング点
17:カラーパタン上の参照点
18:法線ベクトル
19:入射角
20:反射角
21:サンプリング点をカラーカメラで捉えた像
22:主となるカラーカメラの視野にあるサンプリング点のうち最初に法線ベクトルをもとめるもの
23:主となるカラーカメラで反射像を撮像した際に、点22に映る参照点
24:基準点
25:点22の近傍のサンプリング点
26:主となるカラーカメラで反射像を撮像した際に、点25に映る参照点
27:同時に主となるカラーカメラ、副となるカラーカメラの視野に入っているサンプリング点
28:副となるカラーカメラで反射像を撮像した際に、点27に映る参照点
29:主となるカラーカメラの反射像をもとに求めた点27の法線ベクトル
30:予測参照点
31:予測参照点を算出する際に計算される光線経路
32:副となるカラーカメラの反射像をもとに求めた点27の法線ベクトル
33:修正ベクトル
100:治具

Claims (8)

  1. 鏡面状の表面を有する被測定物の表面形状を測定する方法であって、
    第1の色成分に着目した場合に第1のストライプパタンが認識され、かつ第2の色成分に着目した場合に前記第1のストライプパタンと所定角度を成す第2のストライプパタンが認識されるカラーパタンを、前記被測定物の鏡面状の表面に映り込ませるとともに、この表面における前記カラーパタンの反射像をカラーカメラで撮像するステップと、
    この反射像から得られる情報を用いて、前記鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求めるステップと、
    前記複数のサンプリング点における法線ベクトルを用いて前記被測定物の表面形状を求めるステップとを有することを特徴とする鏡面形状測定方法。
  2. 前記鏡面状の表面に複数の領域を設定し、この領域毎に用意されたカラーカメラを用いて前記表面における前記カラーパタンの反射像を撮像するステップと、
    これらの反射像から得られる情報を用いて、前記領域毎に前記鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求めるステップと、
    前記被測定物の測定対象表面の全域にわたる法線ベクトルが得られるように、前記領域毎に算出された法線ベクトルを統合するステップと、
    前記統合された法線ベクトルを用いて積分演算することにより、前記被測定物の表面形状を算出するステップとを有する請求項1に記載の鏡面形状測定方法。
  3. 前記第1の色成分は赤色成分であり、前記第2の色成分は青色成分である請求項1または2に記載の鏡面形状測定方法。
  4. 鏡面状の表面を有する被測定物の表面形状を測定する装置であって、
    第1の色成分に着目した場合に第1のストライプパタンが認識され、かつ第2の色成分に着目した場合に前記第1のストライプパタンと所定角度を成す第2のストライプパタンが認識されるカラーパタンを、発光面に備えた面光源と、
    前記被測定物の鏡面状の表面に映り込んだ前記カラーパタンの反射像を撮像するカラーカメラと、
    この反射像から得られる情報を用いて、前記鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求め、前記複数のサンプリング点における法線ベクトルを用いて前記被測定物の表面形状を求める計算機とを備えたことを特徴とする鏡面形状測定装置。
  5. 前記カラーカメラは、
    前記鏡面状の表面に設定された複数の領域毎に用意され、前記領域毎に前記表面における前記カラーパタンの反射像を撮像し、
    前記計算機は、
    これらの反射像から得られる情報を用いて、前記領域毎に前記鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求めるステップと、
    前記被測定物の測定対象表面の全域にわたる法線ベクトルが得られるように、前記領域毎に算出された法線ベクトルを統合するステップと、
    前記統合された法線ベクトルを用いて積分演算することにより、前記被測定物の表面形状を算出するステップとを実施する請求項4に記載の鏡面形状測定装置。
  6. 前記第1の色成分は赤色成分であり、前記第2の色成分は青色成分である請求項4または5に記載の鏡面形状測定装置。
  7. 鏡面状の表面を有する被測定物の表面形状を検査する方法であって、
    第1の色成分に着目した場合に第1のストライプパタンが認識され、かつ第2の色成分に着目した場合に前記第1のストライプパタンと所定角度を成す第2のストライプパタンが認識されるカラーパタンを、前記被測定物の鏡面状の表面に映り込ませるとともに、この表面における前記カラーパタンの反射像をカラーカメラで撮像するステップと、
    この反射像から得られる情報を用いて、前記鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求め、この法線ベクトルに関する情報またはこの法線ベクトルを用いて演算処理することで得られた情報に基づいて前記被測定物の表面形状を検査するステップとを有することを特徴とする鏡面形状検査方法。
  8. 鏡面状の表面を有する被測定物の表面形状を検査する装置であって、
    第1の色成分に着目した場合に第1のストライプパタンが認識され、かつ第2の色成分に着目した場合に前記第1のストライプパタンと所定角度を成す第2のストライプパタンが認識されるカラーパタンを、発光面に備えた面光源と、
    前記被測定物の鏡面状の表面に映り込んだ前記カラーパタンの反射像を撮像するカラーカメラと、
    この反射像から得られる情報を用いて、前記鏡面状の表面に設定された複数のサンプリング点における法線ベクトルを求め、この法線ベクトルに関する情報またはこの法線ベクトルを用いて演算処理することで得られた情報に基づいて前記被測定物の表面形状を検査する計算機とを備えたことを特徴とする鏡面形状検査装置。
JP2005029132A 2005-02-04 2005-02-04 鏡面形状測定方法および装置並びに検査方法および装置 Expired - Fee Related JP4613626B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005029132A JP4613626B2 (ja) 2005-02-04 2005-02-04 鏡面形状測定方法および装置並びに検査方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005029132A JP4613626B2 (ja) 2005-02-04 2005-02-04 鏡面形状測定方法および装置並びに検査方法および装置

Publications (2)

Publication Number Publication Date
JP2006214914A true JP2006214914A (ja) 2006-08-17
JP4613626B2 JP4613626B2 (ja) 2011-01-19

Family

ID=36978264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005029132A Expired - Fee Related JP4613626B2 (ja) 2005-02-04 2005-02-04 鏡面形状測定方法および装置並びに検査方法および装置

Country Status (1)

Country Link
JP (1) JP4613626B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012522997A (ja) * 2009-04-10 2012-09-27 オムロン株式会社 表面形状計測装置、計測装置、及び観察装置
JP2013543591A (ja) * 2010-10-08 2013-12-05 オムロン株式会社 形状計測装置および形状計測方法
JP2015232483A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN108317967A (zh) * 2017-12-27 2018-07-24 山东省青岛第四十五中学(青岛工贸职业学校) 一种三维坐标组合扫描测量系统及其使用方法
CN109772723A (zh) * 2019-03-14 2019-05-21 福耀集团长春有限公司 一种汽车玻璃检测系统及检测方法
JP2020042527A (ja) * 2018-09-10 2020-03-19 地方独立行政法人北海道立総合研究機構 符号化された照明パターンを用いる画像処理装置および画像処理プログラム
CN111623723A (zh) * 2020-05-06 2020-09-04 深圳中科飞测科技有限公司 检测设备及检测方法
CN112504162A (zh) * 2020-12-04 2021-03-16 江苏鑫晨光热技术有限公司 一种定日镜面形快速解算系统及方法
WO2023042346A1 (ja) * 2021-09-16 2023-03-23 株式会社東芝 光学装置、情報処理方法、および、プログラム

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5256558A (en) * 1975-11-04 1977-05-10 Nippon Telegr & Teleph Corp <Ntt> Three-dimentional object measuring system
JPS58122409A (ja) * 1981-10-09 1983-07-21 インタ−ナシヨナル ビジネス マシ−ンズ コ−ポレ−シヨン 光セクシヨニング法
JPS61260107A (ja) * 1985-05-15 1986-11-18 Agency Of Ind Science & Technol 3次元計測方法および装置
JPH1089957A (ja) * 1996-09-13 1998-04-10 Sakurada:Kk 構造部材の三次元計測方法
JPH11257930A (ja) * 1998-03-13 1999-09-24 Nidek Co Ltd 三次元形状測定装置
JP2000290933A (ja) * 1999-04-07 2000-10-17 Yokogawa Bridge Corp プレキャストセグメントの形状管理方法およびプレキャストセグメント工法による橋梁架設方法
JP2002022444A (ja) * 2000-07-04 2002-01-23 Takenaka Komuten Co Ltd 座標情報収集システム、座標情報収集方法及びマーク部材
JP2002191058A (ja) * 2000-12-20 2002-07-05 Olympus Optical Co Ltd 3次元画像取得装置および3次元画像取得方法
JP2002318109A (ja) * 2001-04-20 2002-10-31 Teruaki Yogo 3次元形状測定方法
JP2003518614A (ja) * 1999-12-27 2003-06-10 シーメンス アクチエンゲゼルシヤフト 三次元の表面座標の決定方法
JP2003528303A (ja) * 2000-03-24 2003-09-24 ソルビション インコーポレイテッド 物体の三次元検査用多重移相パターンの同時投影装置
JP3553652B2 (ja) * 1994-08-19 2004-08-11 茂樹 小林 形状計測装置、検査装置、及び製品の製造方法
JP2005003631A (ja) * 2003-06-16 2005-01-06 Fuji Xerox Co Ltd 3次元形状測定装置および方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5256558A (en) * 1975-11-04 1977-05-10 Nippon Telegr & Teleph Corp <Ntt> Three-dimentional object measuring system
JPS58122409A (ja) * 1981-10-09 1983-07-21 インタ−ナシヨナル ビジネス マシ−ンズ コ−ポレ−シヨン 光セクシヨニング法
JPS61260107A (ja) * 1985-05-15 1986-11-18 Agency Of Ind Science & Technol 3次元計測方法および装置
JP3553652B2 (ja) * 1994-08-19 2004-08-11 茂樹 小林 形状計測装置、検査装置、及び製品の製造方法
JPH1089957A (ja) * 1996-09-13 1998-04-10 Sakurada:Kk 構造部材の三次元計測方法
JPH11257930A (ja) * 1998-03-13 1999-09-24 Nidek Co Ltd 三次元形状測定装置
JP2000290933A (ja) * 1999-04-07 2000-10-17 Yokogawa Bridge Corp プレキャストセグメントの形状管理方法およびプレキャストセグメント工法による橋梁架設方法
JP2003518614A (ja) * 1999-12-27 2003-06-10 シーメンス アクチエンゲゼルシヤフト 三次元の表面座標の決定方法
JP2003528303A (ja) * 2000-03-24 2003-09-24 ソルビション インコーポレイテッド 物体の三次元検査用多重移相パターンの同時投影装置
JP2002022444A (ja) * 2000-07-04 2002-01-23 Takenaka Komuten Co Ltd 座標情報収集システム、座標情報収集方法及びマーク部材
JP2002191058A (ja) * 2000-12-20 2002-07-05 Olympus Optical Co Ltd 3次元画像取得装置および3次元画像取得方法
JP2002318109A (ja) * 2001-04-20 2002-10-31 Teruaki Yogo 3次元形状測定方法
JP2005003631A (ja) * 2003-06-16 2005-01-06 Fuji Xerox Co Ltd 3次元形状測定装置および方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012522997A (ja) * 2009-04-10 2012-09-27 オムロン株式会社 表面形状計測装置、計測装置、及び観察装置
JP2013543591A (ja) * 2010-10-08 2013-12-05 オムロン株式会社 形状計測装置および形状計測方法
JP2015232483A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN108317967B (zh) * 2017-12-27 2020-08-04 于振 一种三维坐标组合扫描测量系统及其使用方法
CN108317967A (zh) * 2017-12-27 2018-07-24 山东省青岛第四十五中学(青岛工贸职业学校) 一种三维坐标组合扫描测量系统及其使用方法
JP2020042527A (ja) * 2018-09-10 2020-03-19 地方独立行政法人北海道立総合研究機構 符号化された照明パターンを用いる画像処理装置および画像処理プログラム
JP7090899B2 (ja) 2018-09-10 2022-06-27 地方独立行政法人北海道立総合研究機構 符号化された照明パターンを用いる画像処理装置および画像処理プログラム
CN109772723A (zh) * 2019-03-14 2019-05-21 福耀集团长春有限公司 一种汽车玻璃检测系统及检测方法
CN109772723B (zh) * 2019-03-14 2021-05-28 福耀集团长春有限公司 一种汽车玻璃检测系统及检测方法
CN111623723A (zh) * 2020-05-06 2020-09-04 深圳中科飞测科技有限公司 检测设备及检测方法
CN112504162A (zh) * 2020-12-04 2021-03-16 江苏鑫晨光热技术有限公司 一种定日镜面形快速解算系统及方法
CN112504162B (zh) * 2020-12-04 2022-07-26 江苏鑫晨光热技术有限公司 一种定日镜面形快速解算系统及方法
WO2023042346A1 (ja) * 2021-09-16 2023-03-23 株式会社東芝 光学装置、情報処理方法、および、プログラム

Also Published As

Publication number Publication date
JP4613626B2 (ja) 2011-01-19

Similar Documents

Publication Publication Date Title
JP4613626B2 (ja) 鏡面形状測定方法および装置並びに検査方法および装置
CN104040324B (zh) 外观检查设备和外观检查方法
US8107737B2 (en) Shape evaluation method, shape evaluation device, and 3D inspection device
US20170038197A1 (en) Apparatus and method for measuring a three dimensional shape
US8432395B2 (en) Method and apparatus for surface contour mapping
US6226080B1 (en) Method for detecting defect of transparent body, method for producing transparent body
JP4645068B2 (ja) 表面形状の検査方法および検査装置
JP4924426B2 (ja) 形状検査方法および装置
TWI490445B (zh) 用於估計一物件之一三維表面形狀之方法、裝置及機器可讀非暫時性儲存媒體
JP2015508499A (ja) 光学測定用配置および関連方法
JP6519265B2 (ja) 画像処理方法
KR101794964B1 (ko) 검사 시스템 및 검사 방법
JP2011512533A (ja) 反射光学画像法によるガラス表面形状及び光学歪の測定方法
US9797833B2 (en) Method for determining the refractive power of a transparent object, and corresponding device
KR101630596B1 (ko) 차량하부 촬영장치 및 이를 운용하는 차량하부 촬영방법
US10444162B2 (en) Method of testing an object and apparatus for performing the same
JP2019197018A (ja) 平坦度検出方法、平坦度検出装置及び平坦度検出プログラム
JPH11271038A (ja) 塗装欠陥検査装置
JP2012127675A (ja) 表面形状の評価方法および評価装置
JP4151306B2 (ja) 被検査物の検査方法
KR20170027892A (ko) 3차원 형상 측정 장치에서의 기준 패턴 생성 방법
JPH0875542A (ja) 表示画素の光量測定方法並びに表示画面の検査方法及び装置
CN103189714A (zh) 用于测量镜子形状或镜表面形状的设备和方法
KR101198406B1 (ko) 패턴 검사 장치
JP2008224540A (ja) 歪み検査方法および検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100921

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101004

R151 Written notification of patent or utility model registration

Ref document number: 4613626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 3

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees