JP2010026214A - Autofocus device - Google Patents
Autofocus device Download PDFInfo
- Publication number
- JP2010026214A JP2010026214A JP2008186956A JP2008186956A JP2010026214A JP 2010026214 A JP2010026214 A JP 2010026214A JP 2008186956 A JP2008186956 A JP 2008186956A JP 2008186956 A JP2008186956 A JP 2008186956A JP 2010026214 A JP2010026214 A JP 2010026214A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- sample
- program
- projected
- arbitrary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、オートフォーカス装置に関する。 The present invention relates to an autofocus device.
従来、光学顕微鏡の焦点合わせを自動で行う硬さ試験機には、レーザーを使用してフォーカスを合わせるレーザーフォーカス法や、CCDカメラを使用して試料表面のコントラストを検出して、フォーカスを合わせるコントラスト法が知られている。 Conventional hardness testing machines that automatically focus an optical microscope include a laser focus method that uses a laser to focus, and a contrast that focuses by detecting the contrast of the sample surface using a CCD camera. The law is known.
上述したレーザーフォーカス法では、コントラストの低いものにもフォーカスを合わせることが可能であるが、レーザーがあたっている点でしかフォーカスできない。また、装置自体が高価であり、当該装置を組み込むことにより、硬さ試験機の機構が複雑となる。一方、コントラスト法では、鏡面やガラス面などのコントラストの低いものにはフォーカスを合わせることが困難であった。 In the laser focus method described above, it is possible to focus even on a low-contrast device, but focusing is possible only at the point where the laser is hit. Further, the device itself is expensive, and the mechanism of the hardness tester becomes complicated by incorporating the device. On the other hand, in the contrast method, it is difficult to focus on a low contrast material such as a mirror surface or a glass surface.
そして、上述したレーザーフォーカス法やコントラスト法の問題点を解決するオートフォーカス法として、グリッドフォーカスと呼ばれる、ワークの表面に結像する任意パターンを照明系の光路上に配置し、かかる任意パターンを測定面に投影してオートフォーカス値を計算し、オートフォーカス処理を行う手法が知られている(特許文献1、2参照)。
しかしながら、上記従来技術の場合、例えば、ワーク表面に引き目や傷が形成されている場合、ワークの表面に投影したパターンの選択によっては、そのワーク表面の引き目や傷によって計算されたオートフォーカス値と、ワークの表面に投影した任意パターンから計算されたオートフォーカス値と、が近似した値となる場合があり、その場合は、どちらのオートフォーカス値が、真の焦点位置を指し示すものであるのかが判別できず、フォーカス処理エラーとなり、上記オートフォーカス処理機能を備えた試験機器や測定機器が停止してしまうという問題があった。 However, in the case of the above prior art, for example, when a mark or scratch is formed on the workpiece surface, depending on the selection of the pattern projected on the workpiece surface, the autofocus calculated by the mark or scratch on the workpiece surface Value and the autofocus value calculated from the arbitrary pattern projected on the surface of the workpiece may be approximate values, in which case either autofocus value indicates the true focus position Therefore, there is a problem that a focus processing error occurs and the test equipment and measurement equipment having the autofocus processing function are stopped.
本発明の課題は、ワーク表面の影響を受けずに、好適に焦点合わせを行うことができるオートフォーカス装置を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide an autofocus device that can suitably perform focusing without being affected by the work surface.
以上の課題を解決するため、請求項1に記載の発明は、
試料表面を照射する光源と、
前記試料もしくは対物レンズの少なくとも一方を前記対物レンズの光軸に沿って移動させる移動手段と、
前記試料もしくは前記対物レンズの少なくとも一方を、前記移動手段により移動させて前記対物レンズの焦点合わせを行う自動焦点合わせ手段と、
を備えるオートフォーカス装置において、
前記試料表面に投影する任意のパターンを作成するパターン作成手段と、
前記試料表面に、前記パターン作成手段により作成された任意のパターンを投影するパターン投影手段と、
前記パターン投影手段により任意のパターンが投影された試料表面を画像として撮像する撮像手段と、
前記撮像手段により撮像された画像より、周波数成分に基づく周波数解析を行い、前記周波数成分ごとのスペクトル強度を算出するスペクトル強度算出手段と、
を備え、
前記自動焦点合わせ手段は、
前記試料もしくは前記対物レンズの少なくとも一方が前記移動手段により移動される度に、移動された位置で、前記スペクトル強度算出手段により算出される、DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回るか否かを判断する判断手段と、
前記判断手段により、DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回ると判断された場合に、前記移動された位置にて焦点を合わせることを特徴とする。
In order to solve the above problems, the invention described in claim 1
A light source for illuminating the sample surface;
Moving means for moving at least one of the sample or the objective lens along the optical axis of the objective lens;
Automatic focusing means for focusing the objective lens by moving at least one of the sample or the objective lens by the moving means;
In an autofocus device comprising:
Pattern creating means for creating an arbitrary pattern to be projected onto the sample surface;
Pattern projection means for projecting an arbitrary pattern created by the pattern creation means on the sample surface;
An imaging unit that images a sample surface on which an arbitrary pattern is projected by the pattern projection unit as an image;
From the image picked up by the image pickup means, performing a frequency analysis based on the frequency component, spectrum intensity calculation means for calculating the spectrum intensity for each frequency component,
With
The automatic focusing means includes
Each time at least one of the sample or the objective lens is moved by the moving means, the spectral intensity of the frequency component at a position away from the DC component calculated by the spectral intensity calculating means at the moved position. Determining means for determining whether or not is greater than a predetermined value;
When the determination means determines that the spectral intensity of the frequency component at a position away from the DC component by a predetermined distance exceeds a predetermined value, focusing is performed at the moved position.
請求項2に記載の発明は、請求項1記載のオートフォーカス装置において、前記判断手段により、前記移動手段により移動された何れの位置においても、前記DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回ると判断されなかった場合に、前記試料表面に投影された任意のパターンとは異なるパターンを、前記パターン作成手段により作成することを促す旨を、所定の表示手段に表示させる表示制御手段と、を備えることを特徴とする。 According to a second aspect of the present invention, in the autofocus device according to the first aspect, the frequency component at a position away from the DC component by a predetermined distance at any position moved by the moving unit by the determining unit. When it is not determined that the spectrum intensity exceeds a predetermined value, a message indicating that a pattern different from an arbitrary pattern projected on the sample surface is encouraged to be created by the pattern creating means is displayed on the predetermined display means. Display control means.
請求項3に記載の発明は、請求項1又は2記載のオートフォーカス装置において、前記パターン作成手段は、前記任意のパターンのパターン形状、前記任意のパターンの周期、及び/又は前記任意のパターンの方向角のうち少なくともいずれか一つを指定できることを特徴とする。 According to a third aspect of the present invention, in the autofocus device according to the first or second aspect, the pattern creating means includes the pattern shape of the arbitrary pattern, the period of the arbitrary pattern, and / or the arbitrary pattern. It is characterized in that at least one of the direction angles can be specified.
本発明によれば、パターン作成手段により、試料表面に投影する任意のパターンを作成することができる。そして、パターン投影手段によりその任意のパターンを投影し、撮像手段により任意のパターンが投影された試料表面が画像として撮像されると、その画像に基づいて、スペクトル強度算出手段により周波数成分に基づく周波数解析を行い、その周波数成分ごとのスペクトル強度が算出される。そして、自動焦点合わせ手段により、試料もしくは対物レンズの少なくとも一方が移動手段により移動される度に、スペクトル強度算出手段により算出される、DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回るか否かが、判断手段によって判断され、上回ると判断された場合に、その移動された位置にて焦点を合わせることができる。
従って、ユーザは事前にワーク表面に形成された引き目や傷と任意のパターンが重なり合わないように任意のパターンを作成し、その任意のパターンが投影された試料表面に対する周波数解析に基づいて、焦点を合わせることが出来るので、フォーカス処理エラーを確実に防止することが出来る。
つまり、本発明にかかるオートフォーカス装置は、ワーク表面の影響を受けずに、好適に焦点合わせを行うことができるオートフォーカス装置であるといえる。
According to the present invention, an arbitrary pattern to be projected onto the sample surface can be created by the pattern creating means. Then, when an arbitrary pattern is projected by the pattern projecting means, and the sample surface on which the arbitrary pattern is projected is imaged as an image, the frequency based on the frequency component is calculated by the spectrum intensity calculating means based on the image. Analysis is performed, and the spectrum intensity for each frequency component is calculated. Then, every time at least one of the sample or the objective lens is moved by the moving means by the automatic focusing means, the spectral intensity of the frequency component at a position away from the DC component by a predetermined distance is calculated by the spectral intensity calculating means. Whether or not the value is exceeded is determined by the determining means. When it is determined that the value is exceeded, the focus can be adjusted at the moved position.
Therefore, the user creates an arbitrary pattern so that any pattern does not overlap with the pull marks and scratches formed on the workpiece surface in advance, and based on the frequency analysis on the sample surface on which the arbitrary pattern is projected, Since the focus can be adjusted, a focus processing error can be surely prevented.
That is, it can be said that the autofocus device according to the present invention is an autofocus device that can perform focusing appropriately without being affected by the work surface.
以下、本発明の実施の形態を図1から図9に基づいて説明する。
図1は、本発明に係るオートフォーカス装置としての硬さ試験機100の全体構成を示す斜視図であり、図2は、硬さ試験機100の試験機本体10を示す模式図であり、図3は、試験機本体10の硬さ測定部1を示す模式図であり、図4は、硬さ試験機100の主要動作に必要な構成を示すブロック図であり、図5は試料Sの表面の模式図で、(a)は試料Sの表面に縦向きに縞状の引き目パターンが形成された状態を、(b)は試料Sの表面に横向きに縞状の引き目パターンが形成された状態を示しており、図6は試料Sの表面に任意のパターンを投影した状態を示す模式図で、(a)は、図5(a)の引き目パターン上に斜めの縞状のパターンを投影した状態を、(b)は図5(b)の引き目パターン上に斜めの縞状のパターンを投影した状態を示しており、図7は本発明に係る任意のパターンの変形例を示す図であり、(a)は任意のパターンを所定角度回転させて投影させた状態を、(b)は(a)のパターンよりも間隔の広いパターンを投影した状態を示し、図8は、試料Sの表面上で周波数解析を行った結果を示す模式図であり、(a)は図6(a)のスペクトル分布を、(b)は図6(b)のスペクトル分布を、(c)は(a)のA−A´線上のスペクトル分布を、(d)は(b)のA−A´線上のスペクトル分布を示しており、図9は、本発明に係る自動焦点合わせ方法に関するフローチャートである。
なお、図1における試験機本体10の左右方向をX方向、前後方向をY方向、高さ方向をZ方向とする。
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
FIG. 1 is a perspective view showing an overall configuration of a
In addition, let the left-right direction of the testing machine
硬さ試験機100は、例えば、図1、2に示すように、試験機本体10を有し、試験機本体10は、硬さ測定部1と、試料Sを載置する試料台2と、試料台2を移動させるXYステージ3と、試料Sの表面に焦点を合わせるためのAF(Z)ステージ4と、試料台2(XYステージ3、AF(Z)ステージ4)を昇降する昇降機構部5等を備えている。また、硬さ試験機100は試験機本体10の外部に、制御部6と、操作部7と、モニタ8等を備えている。
For example, as shown in FIGS. 1 and 2, the
硬さ測定部1は、例えば、図3に示すように、試料Sの表面を照明する照明装置11と、試料Sの表面を撮像するCCDカメラ12と、試料Sの表面に任意のパターンを投影するためのパターン投影部13と、圧子14aを備える圧子軸14と対物レンズ15を備え、回転することにより圧子軸14と対物レンズ15との切り替えが可能なターレット16等により構成されている。
For example, as shown in FIG. 3, the hardness measurement unit 1 projects an
照明装置11は、光を照射することにより試料Sの表面を照明するものであり、照明装置11から照射される光は、レンズ1a、レンズ1b、レンズ1c、ハーフミラー1d、ミラー1e、対物レンズ15を介して試料Sの表面に到達する。
これにより、照明11は、光源として機能する。
The
Thereby, the
CCDカメラ12は、対物レンズ15、ミラー1e、ハーフミラー1d、レンズ1f、ミラー1g、及びレンズ1hを介して、試料Sの表面からの反射光に基づき、当該試料Sの表面の所定の撮像範囲を撮像して、画像データを取得し、複数フレームの画像データを同時に蓄積、格納可能なフレームグラバ17を介して、制御部6に出力される。
また、CCDカメラ12は、後述のパターン投影プログラム63bの実行により試料Sの表面に任意のパターンが投影されると、その任意のパターンの投影された試料Sの表面を画像として撮像する撮像手段として機能している。
The
Further, when an arbitrary pattern is projected onto the surface of the sample S by execution of a
パターン投影部13は、レンズ1bとレンズ1cとの間に配置された液晶パネル13aと、液晶パネル13aを駆動するLCDドライバ13b等を備えている。パターン投影部13は、制御部6に接続されており、制御部6がLCDドライバ13bへ出力する制御信号に応じて、液晶パネル13aを駆動し、任意のパターンを投影する。ここで、「任意のパターン」とは、後述のパターン作成プログラム63aの実行により作成される、縞パターン、同心円パターン、格子パターン、斜め格子パターン等である。なお、任意のパターンは、これらに限らず、複数の三角形パターンや波状パターン等であっても良い。
これにより、パターン投影部13は、パターン投影手段として機能する。
The
Thereby, the
圧子軸14は、制御部6が出力する制御信号に応じて駆動される負荷機構部(図示省略)により、試料台2に載置された試料Sに向け移動され、先端部に備えた圧子14aが試料Sの表面に所定の試験力で押し付ける。
The
試料台2は、載置される試料Sを試料台2に固定する試料固定部2aを有している。
XYステージ3は、制御部6が出力する制御信号に応じて駆動する駆動機構部(図示省略)により駆動され、試料台2を圧子14aの移動方向に垂直な方向に移動させる。例えば、鉛直方向に備えられた圧子軸14が、鉛直方向に移動するように圧子14aを移動させる場合、試料台2を水平方向(前後左右方向)に移動させる。
AF(Z)ステージ4は、制御部6が出力する制御信号に応じて駆動され、CCDカメラ12が撮像した画像データに基づき試料台2を微細に昇降させ、試料Sの表面に焦点を合わせる。
昇降機構部5は、制御部6が出力する制御信号に応じて駆動され、試料台2(XYステージ3、AF(Z)ステージ4)を上下方向に移動させる。
この昇降機構部5及びAF(Z)ステージ4により、移動手段が構成される。
The sample stage 2 has a
The
The AF (Z)
The elevating
The
操作部7は、キーボード71、マウス72等により構成されており、硬さ試験を行う際の操作入力や、後述のパターン作成プログラム63aの実行による任意のパターン作成時の操作入力が行われる。そして、操作部7により所定の入力操作がなされると、その入力操作に応じた所定の操作信号が制御部6に出力される。
この操作部7は、パターン作成手段を構成する。
The
The
モニタ8は、例えば、LCDなどの表示装置により構成されており、操作部7において入力された硬さ試験の設定条件、硬さ試験の結果、CCDカメラ12が撮像した試料Sの表面や引き目パターン、任意のパターンの画像等を表示する。また、モニタ8は、後述の表示制御プログラム63eの実行時にメッセージを表示する表示手段として機能している。
The
制御部6は、図4に示すように、CPU(Central Processing Unit)61,RAM(Random Access Memory)62,記憶部63等を備えて構成され、記憶部63に記憶された所定のプログラムが実行されることにより、所定の硬さ試験を行うための動作制御等を行う機能を有する。
As shown in FIG. 4, the
CPU61は、記憶部63に格納された処理プログラム等を読み出して、RAM62に展開して実行することにより、硬さ試験機100全体の制御を行う。
The
RAM62は、CPU61により実行された処理プログラム等を、RAM62内のプログラム格納領域に展開するとともに、入力データや上記処理プログラムが実行される際に生じる処理結果等をデータ格納領域に格納する。
The
記憶部63は、例えば、プログラムやデータ等が予め記憶されている記録媒体(図示省略)を有しており、この記録媒体は、半導体メモリ等で構成されている。また、記憶部63は、CPU61が硬さ試験機100全体を制御する機能を実現させるための各種データ,各種処理プログラム,これらプログラムの実行により処理されたデータ等を記憶する。より具体的には、記憶部63は、例えば、図4に示すように、パターン作成プログラム63a、パターン投影プログラム63b、スペクトル強度算出プログラム63c、判断プログラム63d、表示制御プログラム63e、自動焦点合わせプログラム63f等を格納している。
The
パターン作成プログラム63aは、CPU61に、試料Sの表面に投影する任意のパターンを作成する機能を実現させるプログラムである。
具体的には、例えば、図5(a)に示すように、試料Sの表面に、縦向きに(Y方向の)縞状の引き目パターンが形成された画像がCCDカメラ12に撮像されて、モニタ8に表示されると、CPU61がパターン作成プログラム63aを実行し、後述のパターン投影プログラム63bにより試料Sの表面に投影する、引き目パターンに対応した任意のパターンを、ユーザに操作部7を介して作成させることが出来る。上記任意のパターンの作成にあっては、操作部7のキーボード71やマウス72を操作することにより、任意のパターンの形状(例えば、縞状、格子状、同心円状、逆三角形状等)、任意のパターンの周期、及び/又は任意のパターンの方向角等を指定することが出来る。
そのため、例えば、図6(a)、(b)に示すような、縦向き、横向きの縞状の引き目パターンに対して、Y方向軸より45度傾斜した方向に、引き目パターンとは周期の異なる、等間隔で並んだ縞状のパターンを作成したり、図7(a)に示すような、図6(a)のパターンを所定角度回転させて、引き目パターンと直交する方向に等間隔で並んだ縞状のパターンを作成したり、図7(b)に示すように、図7(a)のパターンよりも間隔の広い縞状のパターンを作成することが容易に可能となる。
CPU61は、かかるパターン作成プログラム63aを実行することで、操作部7とともに、パターン作成手段として機能する。
The
Specifically, for example, as shown in FIG. 5A, an image in which a striped stitch pattern is formed in the vertical direction (Y direction) on the surface of the sample S is captured by the
Therefore, for example, with respect to the vertical and horizontal stripe pattern as shown in FIGS. 6A and 6B, the pattern is a period in a direction inclined 45 degrees from the Y-direction axis. A striped pattern arranged at equal intervals, which is different from each other, or a pattern shown in FIG. 6A is rotated by a predetermined angle as shown in FIG. It is possible to easily create a striped pattern arranged at intervals, or to create a striped pattern having a wider interval than the pattern of FIG. 7A as shown in FIG. 7B.
The
パターン投影プログラム63bは、CPU61に、パターン作成プログラム63aの実行により作成される任意のパターンを、試料Sの表面に投影する機能を実現させるプログラムである。
具体的には、例えば、CPU61がパターン作成プログラム63aの実行し、ユーザにより操作部7が操作され、試料Sの表面に投影される任意のパターンの形状や周期、及び/又は任意のパターンの方向角等が指定入力されると、CPU61はパターン投影プログラム63bを実行し、LCDドライバ13bへ制御信号を送信し、当該制御信号に応じて液晶パネル13aを駆動し、図6(a)に示すように、試料Sの表面を投影するとともに、試料Sの表面に任意のパターンを投影する。
CPU61は、かかるパターン投影プログラム63bを実行することで、パターン投影部13とともにパターン投影手段として機能する。
The
Specifically, for example, the
The
スペクトル強度算出プログラム63cは、CPU61に、CCDカメラ12により撮像された任意のパターンが投影された試料Sの表面の画像より、周波数成分に基づく周波数解析を行い、その周波数成分ごとのスペクトル強度を算出する機能を実現させるプログラムである。
具体的には、スペクトル強度の算出は以下のようにして行う。
The spectrum
Specifically, the spectrum intensity is calculated as follows.
例えば、AF(Z)ステージ4を駆動させて、試料SのZ方向位置を変化させる度に、図6(a)に示すように、縦方向(Y方向)の縞状の引き目パターンが形成された試料Sの表面に対して、Y方向軸より45度傾斜した方向に等間隔で並んだ縞状のパターンが投影された画像や、図6(b)に示すように、横方向(X方向)の縞状の引き目パターンが形成された試料Sの表面に対して、Y方向軸より45度傾斜した方向に等間隔で並んだ縞状のパターンが投影された画像が、CCDカメラ12により撮像される。すると、CPU61はスペクトル強度算出プログラム63cを実行し、そのZ方向位置ごとの画像に対して2次元フーリエ変換を実行する。その結果、例えば、図6(a)に示される試料Sの表面に対しては、図8(a)のような周波数成分に基づくスペクトル分布が、図6(b)に示される試料Sの表面に対しては、図8(b)のような周波数成分に基づくスペクトル分布が生成される。なお、図8(a)(b)において、白色の円で表示される部分はスペクトル強度が低い箇所を、黒色の円で表示される部分はスペクトル強度が高い箇所を模式的に表している。
For example, each time the AF (Z)
図8(a)(b)における線A−A´は、この時に投影されている任意のパターン(図8(a)では図6(a)に示すパターン、図8(b)では図6(b)に示すパターン)と直交する方向の直線であり、線A−A´上にあらわれる、点P0及びP0´、点P1及びP1´の周波数成分、又は、DC成分(直流成分)におけるスペクトルが、任意のパターンを投影することにより生ずるスペクトルであることを示している。
一方で、線A−A´上にあらわれていない、点Q0やQ0´、点Q1やQ1´の周波数成分におけるスペクトルは、試料Sの表面の引き目パターンに起因して生ずるスペクトルであり、点P0やP0´、点P1やP1´の周波数成分におけるスペクトルとは空間的に分離された形で生じていることがわかる。
つまり、図6(a)(b)に示すように、任意のパターンとして、引き目パターンとは異なる方向からなる縞状のパターンを投影しているので、引き目パターンに起因して生ずるスペクトルと空間的に分離することが可能になっている。
そのため、図8(a)(b)における線A−A´上に生ずる空間周波数ごとのスペクトルにのみ着目すると、図8(c)(d)に示されるように、任意のパターンを投影することで生ずる空間周波数ごとのスペクトル強度のみを算出することが可能となる。
Lines AA ′ in FIGS. 8A and 8B are arbitrary patterns projected at this time (the pattern shown in FIG. 6A in FIG. 8A and the pattern shown in FIG. 8B in FIG. 8B). b) is a straight line in a direction orthogonal to the pattern), and the spectrum of the frequency components or DC components (DC components) of the points P0 and P0 ′, the points P1 and P1 ′ appearing on the line A-A ′. , The spectrum generated by projecting an arbitrary pattern.
On the other hand, the spectrum at the frequency components of the points Q0 and Q0 ′, the points Q1 and Q1 ′ not appearing on the line A-A ′ is a spectrum generated due to the catch pattern on the surface of the sample S. It can be seen that the spectrums in the frequency components of P0 and P0 ′ and points P1 and P1 ′ are generated in a spatially separated form.
That is, as shown in FIGS. 6A and 6B, since a striped pattern having a different direction from the pull pattern is projected as an arbitrary pattern, the spectrum generated due to the pull pattern and Spatial separation is possible.
Therefore, if attention is paid only to the spectrum for each spatial frequency generated on the line AA ′ in FIGS. 8A and 8B, an arbitrary pattern is projected as shown in FIGS. 8C and 8D. It is possible to calculate only the spectral intensity for each spatial frequency generated in (1).
さらに、図8(a)の点P0及び点P0´は、点Q0及びQ0´と比べて、スペクトル分布の中心(線A−A´の中点)より離れた位置にスペクトルを生じており、図8(b)の点P1及び点P1´も、点Q1及びQ1´と比べて、スペクトル分布の中心(線A−A´の中点)より離れた位置にスペクトルを生じている。
つまり、図6(a)(b)に示すように、任意のパターンとして、引き目パターンの縞の周期と異なる周期からなる縞状のパターンを投影しているので、任意のパターンを投影することで生ずるスペクトルを、引き目パターンに起因して生ずるスペクトルから遠ざけることが出来るため、図8(c)(d)に示されるようなスペクトル強度の分布を形成する上で有利となる。
Further, the point P0 and the point P0 ′ in FIG. 8A have a spectrum at a position farther from the center of the spectrum distribution (the midpoint of the line A-A ′) than the points Q0 and Q0 ′. The point P1 and the point P1 ′ in FIG. 8B also generate a spectrum at a position farther from the center of the spectrum distribution (the midpoint of the line AA ′) than the points Q1 and Q1 ′.
That is, as shown in FIGS. 6 (a) and 6 (b), as an arbitrary pattern, a striped pattern having a period different from the period of the stripe pattern is projected, so that an arbitrary pattern is projected. 8 can be separated from the spectrum generated due to the pulling pattern, which is advantageous in forming the spectral intensity distribution as shown in FIGS.
判断プログラム63dは、CPU61に、スペクトル強度算出プログラム63cの実行により算出されたスペクトル強度に基づいて、DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回るか否かを判断する機能を実現させるプログラムである。
具体的には、例えば、CPU61のスペクトル強度算出プログラム63cの実行により、図8(c)や図8(d)に示されるような空間周波数(周波数成分)ごとのスペクトル強度が算出されると、CPU61は判断プログラム63dを実行し、DC成分から所定距離離れた位置における周波数成分(例えば、図8(c)では点P0やP0´、図8(d)では点P1やP1´)のスペクトル強度が所定値を上回るか否か、即ち、予め定められた所定のピーク値(例えば、図8(c)(d)におけるスペクトル強度T値)を超えた値となっているか否かを判断する。
つまり、CPU61が判断プログラム63dを実行すると、例えば、図8(d)の点P1やP1´のようにスペクトル強度がT値を超える場合、スペクトル強度が所定値を上回ると判断し、そのスペクトル強度が算出された時の試料SのZ方向位置に基づいて、後述の自動焦点合わせプログラム63fを実行し、焦点を合わせることが可能となる。
一方で、CPU61が判断プログラム63dを実行して、例えば、AF(Z)ステージ4を下限位置から上限位置まで駆動させて、試料SのZ方向位置を変化させる度にスペクトル強度を算出しても、図8(c)の点P0やP0´のようにスペクトル強度がT値を超えない場合、スペクトル強度が所定値を上回っていないと判断し、後述の表示制御プログラム63eの実行により、ユーザに試料Sの表面に投影された任意のパターンとは異なるパターンを作成することを促すことになる。
CPU61は、かかる判断プログラム63dを実行することで、判断手段として機能する。
なお、図8(c)における点P0やP0´、又は図8(d)における点P1やP1´のような、スペクトルを生じさせる、DC成分から所定距離離れた位置は、パターン投影プログラム63bにより投影される任意のパターンによって定まる。そのため、予めパターンの形状や周期、方向角等に応じてスペクトルが生ずる位置を記憶部63に記憶しておき、CPU61がパターン作成プログラム63aを実行して、ユーザにより任意のパターンが作成されると、CPU61が記憶部63よりスペクトルの生ずる位置を読み出して、判断プログラム63dにおける上記スペクトル強度を判断する位置を算出すればよい。
The
Specifically, for example, when the spectral intensity for each spatial frequency (frequency component) as shown in FIG. 8C or FIG. 8D is calculated by executing the spectral
That is, when the
On the other hand, even if the
The
It should be noted that a position that is a predetermined distance away from the DC component that causes a spectrum, such as the points P0 and P0 ′ in FIG. 8C or the points P1 and P1 ′ in FIG. 8D, is determined by the
表示制御プログラム63eは、CPU61に、判断プログラム63dにより、試料Sの何れのZ方向位置においても、DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回ると判断されなかった場合に、ユーザに試料Sの表面に投影された任意のパターンとは異なるパターンを作成することを促す旨を、モニタ8に表示させる機能を実現させるプログラムである。
具体的には、例えば、図8(c)における所定距離離れた位置にある点P0やP0´の様に、AF(Z)ステージ4を下限位置から上限位置まで駆動させて、試料SのZ方向位置を変化させる度にスペクトル強度を算出しても、CPU61の判断プログラム61dの実行により、スペクトル強度が所定値を上回っていないと判断された場合、CPU61が表示制御プログラム63eを実行し、試料Sの表面に投影された任意のパターンとは異なるパターンを作成することを、モニタ8に所定のメッセージを表示してユーザに促す。
つまり、上記表示を行うことにより、試料Sの何れのZ方向位置でも、スペクトル強度が所定値を上回っていない状態で、CPU61が後述の自動焦点合わせプログラム63fを実行し、試料Sの焦点合わせができなくなる(フォーカス処理エラーとなる)事態を回避することができる。
The
Specifically, for example, the AF (Z)
In other words, by performing the above display, the
自動焦点合わせプログラム63fは、CPU61に、判断プログラム63dにより、スペクトル強度算出プログラム63cにより算出される、DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回ると判断された場合に、その試料SのZ方向位置にて対物レンズ15の焦点合わせを行う機能を実現させるプログラムである。
具体的には、例えば、図8(d)における所定距離離れた位置にある点P1やP1´のようなT値を超えるスペクトル強度が算出された場合、CPU61の判断プログラム61dの実行により、スペクトル強度が所定値を上回ると判断するので、CPU61が表示制御プログラム63eを実行し、そのスペクトル強度の算出された試料SのZ方向位置に基づいて、対物レンズ15の焦点合わせを行う。
CPU61は、かかる自動焦点合わせプログラム63fを実行することで、自動焦点合わせ手段として機能する。
The automatic focusing
Specifically, for example, when a spectrum intensity exceeding a T value such as the points P1 and P1 ′ located at a predetermined distance in FIG. 8D is calculated, the spectrum is determined by executing the determination program 61d of the
The
(自動焦点合わせ方法について)
次に、試料Sの表面に引き目パターンが形成されている時の自動焦点合わせ方法について、図9のフローチャートを用いて説明する。
まず、CCDカメラ12が撮像した試料Sの表面がモニタ8に表示されると(ステップS1)、CPU61は、パターン作成プログラム63aを実行し、ユーザに試料Sの表面に形成された引き目パターンに対応した任意のパターンを作成させる(ステップS2)。
次いで、CPU61は、パターン投影プログラム63bを実行し、液晶パネル13aを駆動して、ステップS2で作成された任意のパターンを試料Sの表面に投影する(ステップS3)。
(About automatic focusing method)
Next, an automatic focusing method when a stitch pattern is formed on the surface of the sample S will be described with reference to the flowchart of FIG.
First, when the surface of the sample S picked up by the
Next, the
次いで、CPU61は、所定の制御信号を出力し、AF(Z)ステージ4を微細に駆動させて、試料SをZ方向に移動させる(ステップS4)。
次いで、CPU61は、AF(Z)ステージ4を下限位置から上限位置まで駆動させたか否かを判断する(ステップS5)。
Next, the
Next, the
ステップS5にて、AF(Z)ステージ4を下限位置から上限位置まで駆動させたと判断した場合(ステップS5;Yes)、CPU61は表示制御プログラム63eを実行し、現在試料Sの表面に投影されている任意のパターンとは異なるパターンの作成を促す旨をモニタ8に表示し(ステップS6)、ステップS2以降の処理を繰り返す。
If it is determined in step S5 that the AF (Z)
一方で、ステップS5にて、AF(Z)ステージ4を下限位置から上限位置まで駆動させていないと判断した場合(ステップS5;No)、CPU61はスペクトル強度算出プログラム63cを実行し、試料Sの表面に任意のパターンが投影された画像をCCDカメラ12で撮像し、その画像に対する周波数解析を行い、スペクトル強度を算出する(ステップS7)。
次いで、CPU61は判断プログラム63dを実行し、ステップS7で算出されるDC成分と所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回るか否かを判断し(ステップS8)、上回っていない場合は、ステップS4以降の処理を繰り返す(ステップS8;No)。
On the other hand, if it is determined in step S5 that the AF (Z)
Next, the
一方で、ステップS8でスペクトル強度が所定値を上回ると判断された場合は(ステップS8;Yes)、CPU61は自動焦点合わせプログラム63fを実行し、その時の試料SのZ方向位置にて対物レンズ15の焦点合わせを実行する(ステップS9)。
On the other hand, when it is determined in step S8 that the spectral intensity exceeds the predetermined value (step S8; Yes), the
このように、本発明に係る硬さ試験機100によれば、パターン作成プログラム63aにより、試料Sの表面に投影する任意のパターンを作成することができる。そして、パターン投影プログラム63bよりその任意のパターンを投影し、CCDカメラ12により任意のパターンが投影された試料Sの表面が画像として撮像されると、その画像に基づいて、スペクトル強度算出プログラム63cにより周波数成分に基づく周波数解析を行い、その周波数成分ごとのスペクトル強度が算出される。そして、自動焦点合わせプログラム63fにより、試料SをAF(Z)ステージ4により移動させる度、その移動させた位置で、スペクトル強度算出プログラム63cにより算出される、所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回るか否かが、判断プログラム63dによって判断され、上回ると判断された場合に、その位置にて焦点を合わせることができる。
従って、ユーザは事前にワーク表面に形成された引き目や傷とパターンが重なり合わないように任意のパターンを作成し、その任意のパターンが投影された試料表面に対する周波数解析に基づいて、焦点を合わせることが出来るので、フォーカス処理エラーを確実に防止することが出来る。
つまり、本発明にかかるオートフォーカス装置は、ワーク表面の影響を受けずに、好適に焦点合わせを行うことができるオートフォーカス装置であるといえる。
Thus, according to the
Therefore, the user creates an arbitrary pattern so that the patterns and scratches or scratches formed on the workpiece surface in advance do not overlap, and focuses on the sample surface on which the arbitrary pattern is projected. Since it can be adjusted, a focus processing error can be surely prevented.
That is, it can be said that the autofocus device according to the present invention is an autofocus device that can perform focusing appropriately without being affected by the work surface.
また、本発明に係る硬さ試験機100によれば、判断プログラム63dにより、AF(Z)ステージ4により移動させた何れの位置においても、DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回ると判断されなかった場合に、表示制御プログラム63eにより、試料Sの表面に投影された任意のパターンとは異なるパターンを、パターン作成プログラム63aにより作成することを促す旨を、モニタ8に表示させることができる。
これによって、DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回らず、自動焦点合わせプログラム63fを実行することによって、フォーカス処理エラーとなる事態を未然に防止することが可能となる。
Further, according to the
As a result, the spectral intensity of the frequency component at a position away from the DC component by a predetermined distance does not exceed a predetermined value, and it is possible to prevent a situation in which a focus processing error occurs by executing the automatic focusing
また、本発明に係る硬さ試験機100によれば、パターン作成プログラム63aによって、及び、ユーザが操作部7のキーボード71やマウス72を操作することによって、任意のパターンの形状(例えば、縞状、格子状、同心円状、逆三角形状等)、任意のパターンの周期、及び/又は任意のパターンの方向角等を指定することが出来る。
これによって、試料Sの表面に多様な引き目パターンが形成される場合にあっても、ユーザは自由度の高い作成条件下で、その引き目パターンごとに最適となる任意のパターンを作成することが可能となる。
Further, according to the
As a result, even when various catch patterns are formed on the surface of the sample S, the user can create an optimum pattern for each catch pattern under creation conditions with a high degree of freedom. Is possible.
なお、本発明は、上記実施の形態に限定されるものではない。例えば、硬さ試験機は、ビッカース硬さ試験機、ブリネル硬さ試験機、ヌープ硬さ試験機等に利用することができる。
また、硬さ試験機に限定されるものではなく、例えば、本発明に係るオートフォーカス装置を用いたものであれば、画像測定機器や顕微鏡等であっても当然良い。
また、予め記憶部63にパターン投影プログラム63bにより投影するパターンを複数記憶しておき、CPU61の判断プログラム63dの実行によって、AF(Z)ステージ4により移動させた試料Sの何れの位置においても、DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回ると判断されなかった場合に、予め記憶部63に記憶された投影パターンを、CPU61が所定の順番で選択し、それを任意のパターンとしてパターン投影プログラム63bにより投影するものであってもよい。
また、上記実施の形態において、移動手段として、昇降機構部5及びAF(Z)ステージ4により試料を移動させたが、対物レンズ15側を移動させてもよい。その他、本発明は、発明の要旨を逸脱しない範囲内で自由に変更、改良が可能である。
The present invention is not limited to the above embodiment. For example, the hardness tester can be used for a Vickers hardness tester, a Brinell hardness tester, a Knoop hardness tester, and the like.
Further, the present invention is not limited to a hardness tester. For example, an image measuring device, a microscope, or the like may be used as long as the autofocus device according to the present invention is used.
Further, a plurality of patterns projected by the
Moreover, in the said embodiment, although the sample was moved by the raising /
100 硬さ試験機(オートフォーカス装置)
1 硬さ測定部
11 照明装置(光源)
12 CCDカメラ(撮像手段)
13a 液晶パネル(パターン投影手段)
13b LCDドライバ(パターン投影手段)
15 対物レンズ
4 AF(Z)ステージ(移動手段)
5 昇降機構部(移動手段)
61 CPU(パターン作成手段、パターン投影手段、スペクトル強度算出手段、判断手段、表示制御手段、自動焦点合わせ手段)
63a パターン作成プログラム(パターン作成手段)
63b パターン投影プログラム(パターン投影手段)
63c スペクトル強度算出プログラム(スペクトル強度算出手段)
63d 判断プログラム(判断手段)
63e 表示制御プログラム(表示制御手段)
63f 自動焦点合わせプログラム(自動焦点合わせ手段)
7 操作部(パターン作成手段)
8 モニタ
S 試料
100 Hardness tester (autofocus device)
1
12 CCD camera (imaging means)
13a Liquid crystal panel (pattern projection means)
13b LCD driver (pattern projection means)
15
5 Lifting mechanism (moving means)
61 CPU (pattern creation means, pattern projection means, spectrum intensity calculation means, determination means, display control means, automatic focusing means)
63a Pattern creation program (pattern creation means)
63b Pattern projection program (pattern projection means)
63c Spectrum intensity calculation program (spectrum intensity calculation means)
63d Judgment program (judgment means)
63e Display control program (display control means)
63f Automatic focusing program (automatic focusing means)
7 Operation part (pattern creation means)
8 Monitor S Sample
Claims (3)
前記試料もしくは対物レンズの少なくとも一方を前記対物レンズの光軸に沿って移動させる移動手段と、
前記試料もしくは前記対物レンズの少なくとも一方を、前記移動手段により移動させて前記対物レンズの焦点合わせを行う自動焦点合わせ手段と、
を備えるオートフォーカス装置において、
前記試料表面に投影する任意のパターンを作成するパターン作成手段と、
前記試料表面に、前記パターン作成手段により作成された任意のパターンを投影するパターン投影手段と、
前記パターン投影手段により任意のパターンが投影された試料表面を画像として撮像する撮像手段と、
前記撮像手段により撮像された画像より、周波数成分に基づく周波数解析を行い、前記周波数成分ごとのスペクトル強度を算出するスペクトル強度算出手段と、
を備え、
前記自動焦点合わせ手段は、
前記試料もしくは前記対物レンズの少なくとも一方が前記移動手段により移動される度に、移動された位置で、前記スペクトル強度算出手段により算出される、DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回るか否かを判断する判断手段と、
前記判断手段により、DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回ると判断された場合に、前記移動された位置にて焦点を合わせることを特徴とするオートフォーカス装置。 A light source for illuminating the sample surface;
Moving means for moving at least one of the sample or the objective lens along the optical axis of the objective lens;
Automatic focusing means for focusing the objective lens by moving at least one of the sample or the objective lens by the moving means;
In an autofocus device comprising:
Pattern creating means for creating an arbitrary pattern to be projected onto the sample surface;
Pattern projection means for projecting an arbitrary pattern created by the pattern creation means on the sample surface;
An imaging unit that images a sample surface on which an arbitrary pattern is projected by the pattern projection unit as an image;
From the image picked up by the image pickup means, performing a frequency analysis based on the frequency component, spectrum intensity calculation means for calculating the spectrum intensity for each frequency component,
With
The automatic focusing means includes
Each time at least one of the sample or the objective lens is moved by the moving means, the spectral intensity of the frequency component at a position away from the DC component calculated by the spectral intensity calculating means at the moved position. Determining means for determining whether or not is greater than a predetermined value;
An autofocus device characterized in that when the determination means determines that the spectral intensity of the frequency component at a position away from the DC component by a predetermined distance exceeds a predetermined value, focusing is performed at the moved position.
前記判断手段により、前記移動手段により移動された何れの位置においても、前記DC成分から所定距離離れた位置における周波数成分のスペクトル強度が所定値を上回ると判断されなかった場合に、前記試料表面に投影された任意のパターンとは異なるパターンを、前記パターン作成手段により作成することを促す旨を、所定の表示手段に表示させる表示制御手段と、を備えることを特徴とするオートフォーカス装置。 The autofocus device according to claim 1, wherein
When the determination means does not determine that the spectral intensity of the frequency component at a position away from the DC component by a predetermined distance at any position moved by the moving means exceeds a predetermined value, An autofocus apparatus comprising: display control means for displaying on a predetermined display means that the pattern creation means prompts creation of a pattern different from the projected arbitrary pattern.
前記パターン作成手段は、
前記任意のパターンのパターン形状、前記任意のパターンの周期、及び/又は前記任意のパターンの方向角のうち少なくともいずれか一つを指定できることを特徴とするオートフォーカス装置。 The autofocus device according to claim 1 or 2,
The pattern creating means includes
An autofocus device, wherein at least one of a pattern shape of the arbitrary pattern, a period of the arbitrary pattern, and / or a direction angle of the arbitrary pattern can be designated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008186956A JP5065189B2 (en) | 2008-07-18 | 2008-07-18 | Autofocus device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008186956A JP5065189B2 (en) | 2008-07-18 | 2008-07-18 | Autofocus device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010026214A true JP2010026214A (en) | 2010-02-04 |
JP5065189B2 JP5065189B2 (en) | 2012-10-31 |
Family
ID=41732111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008186956A Active JP5065189B2 (en) | 2008-07-18 | 2008-07-18 | Autofocus device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5065189B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102621658A (en) * | 2011-01-31 | 2012-08-01 | 株式会社三丰 | Autofocus device |
JP2016071010A (en) * | 2014-09-29 | 2016-05-09 | 株式会社ミツトヨ | Autofocus device, autofocus method, and program |
JP2016099306A (en) * | 2014-11-26 | 2016-05-30 | 株式会社ミツトヨ | Image measuring device and measuring device |
CN106454059A (en) * | 2015-07-24 | 2017-02-22 | 联想(北京)有限公司 | Focusing realizing method, focusing realizing device and electronic equipment |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01154012A (en) * | 1987-12-11 | 1989-06-16 | Hitachi Ltd | Automatic focusing device |
JPH0560528A (en) * | 1991-09-03 | 1993-03-09 | Hitachi Ltd | Input device for three-dimensional information |
JPH09304685A (en) * | 1996-05-20 | 1997-11-28 | Mitsutoyo Corp | Autofocusing device |
JP2000249901A (en) * | 1999-03-02 | 2000-09-14 | Mitsutoyo Corp | Focus detection unit and optical measuring machine provided therewith |
JP2004112255A (en) * | 2002-09-18 | 2004-04-08 | Ricoh Co Ltd | Image reading apparatus, image forming apparatus, program, and storage medium |
JP2007279483A (en) * | 2006-04-10 | 2007-10-25 | Casio Comput Co Ltd | Imaging apparatus, autofocus auxiliary light emitting method, and program |
-
2008
- 2008-07-18 JP JP2008186956A patent/JP5065189B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01154012A (en) * | 1987-12-11 | 1989-06-16 | Hitachi Ltd | Automatic focusing device |
JPH0560528A (en) * | 1991-09-03 | 1993-03-09 | Hitachi Ltd | Input device for three-dimensional information |
JPH09304685A (en) * | 1996-05-20 | 1997-11-28 | Mitsutoyo Corp | Autofocusing device |
JP2000249901A (en) * | 1999-03-02 | 2000-09-14 | Mitsutoyo Corp | Focus detection unit and optical measuring machine provided therewith |
JP2004112255A (en) * | 2002-09-18 | 2004-04-08 | Ricoh Co Ltd | Image reading apparatus, image forming apparatus, program, and storage medium |
JP2007279483A (en) * | 2006-04-10 | 2007-10-25 | Casio Comput Co Ltd | Imaging apparatus, autofocus auxiliary light emitting method, and program |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102621658A (en) * | 2011-01-31 | 2012-08-01 | 株式会社三丰 | Autofocus device |
JP2012159549A (en) * | 2011-01-31 | 2012-08-23 | Mitsutoyo Corp | Autofocus device |
JP2016071010A (en) * | 2014-09-29 | 2016-05-09 | 株式会社ミツトヨ | Autofocus device, autofocus method, and program |
JP2016099306A (en) * | 2014-11-26 | 2016-05-30 | 株式会社ミツトヨ | Image measuring device and measuring device |
CN105627919A (en) * | 2014-11-26 | 2016-06-01 | 株式会社三丰 | Image measuring apparatus and measuring apparatus |
CN106454059A (en) * | 2015-07-24 | 2017-02-22 | 联想(北京)有限公司 | Focusing realizing method, focusing realizing device and electronic equipment |
CN106454059B (en) * | 2015-07-24 | 2019-10-29 | 联想(北京)有限公司 | A kind of focusing implementation method, device and electronic equipment |
Also Published As
Publication number | Publication date |
---|---|
JP5065189B2 (en) | 2012-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5501189B2 (en) | Hardness testing machine | |
JP5972563B2 (en) | Edge detection using structured illumination | |
JP6016620B2 (en) | Hardness tester and hardness test method | |
JP5841379B2 (en) | Hardness testing machine | |
JP5977557B2 (en) | Hardness testing machine | |
JP5977556B2 (en) | Hardness testing machine | |
JP5955716B2 (en) | Hardness tester and hardness test method | |
US9032784B2 (en) | Hardness tester for maintaining image resolution by using image clipping | |
JP6559023B2 (en) | Hardness tester and hardness test method | |
JP5403458B2 (en) | Surface shape measuring method and surface shape measuring apparatus | |
JP5065189B2 (en) | Autofocus device | |
JP5559587B2 (en) | Hardness tester and hardness test method | |
JP5258678B2 (en) | Hardness testing machine | |
JP2019074470A (en) | Adjustment method of image measurement device | |
JP6530287B2 (en) | Hardness tester and hardness test method | |
JP6199692B2 (en) | Hardness tester and hardness test method | |
CN107121058B (en) | Measuring method | |
JP2010243212A (en) | Tilt detection method and device of the same | |
US20090168054A1 (en) | 3-D Shape Measuring Method for Auto-Grinding Equipment of LCD Color Filter and 3-D Shape Measuring Apparatus for the Same | |
JP6560937B2 (en) | Hardness tester and hardness test method | |
JP2010026212A (en) | Autofocus device | |
JP2002257517A (en) | Microscopic dimension measuring device | |
JP6631650B2 (en) | Scanning probe microscope | |
JP2010164635A (en) | Confocal microscope | |
JP2008233041A (en) | Hardness tester |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120724 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5065189 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150817 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |