JP4447441B2 - Displacement sensor and displacement measurement method - Google Patents

Displacement sensor and displacement measurement method Download PDF

Info

Publication number
JP4447441B2
JP4447441B2 JP2004349741A JP2004349741A JP4447441B2 JP 4447441 B2 JP4447441 B2 JP 4447441B2 JP 2004349741 A JP2004349741 A JP 2004349741A JP 2004349741 A JP2004349741 A JP 2004349741A JP 4447441 B2 JP4447441 B2 JP 4447441B2
Authority
JP
Japan
Prior art keywords
image
measurement
displacement
indicating
reflected light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004349741A
Other languages
Japanese (ja)
Other versions
JP2005091374A (en
Inventor
達也 松永
雅弘 河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2004349741A priority Critical patent/JP4447441B2/en
Publication of JP2005091374A publication Critical patent/JP2005091374A/en
Application granted granted Critical
Publication of JP4447441B2 publication Critical patent/JP4447441B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

この発明は、例えば、光切断画像に基づいて物品の寸法等の変位を測定する変位センサ及び変位計測方法に関する。   The present invention relates to a displacement sensor and a displacement measuring method for measuring a displacement such as a dimension of an article based on a light cut image, for example.

光切断画像(光切断法で得られる画像)に基づいて物品の寸法等の変位を測定する変位センサは公知である。この種の変位センサにあっては、センサヘッド内蔵の撮像素子から取得した画像から、所定の測定点抽出アルゴリズムを用いて測定点座標を自動抽出し、この自動抽出された測定点座標から目的とする変位量を算出する。   Displacement sensors that measure displacement such as the dimensions of an article based on a light section image (an image obtained by a light section method) are known. In this type of displacement sensor, the measurement point coordinates are automatically extracted from the image acquired from the image sensor incorporated in the sensor head by using a predetermined measurement point extraction algorithm, and the purpose is determined from the automatically extracted measurement point coordinates. The amount of displacement to be calculated is calculated.

センサヘッドには、切断光となるスポットビーム(断面微小円形ビーム)やラインビーム(断面直線状ビーム)を出力するレーザダイオードと、それらのビーム照射点を含む領域を別の角度から撮影して、検出対象変位に相当する変動分を含む画像を生成出力する撮像素子(一次元CCD、二次元CCD等)とが内蔵される。   In the sensor head, a laser diode that outputs a spot beam (cross-sectional minute circular beam) and a line beam (cross-sectional linear beam) to be cutting light, and a region including those beam irradiation points are photographed from different angles, An image pickup device (one-dimensional CCD, two-dimensional CCD, etc.) that generates and outputs an image including a variation corresponding to the detection target displacement is incorporated.

本体装置の側では、1若しくは2台以上のセンサヘッドのそれぞれから取得する画像から、ユーザ指定の計測アルゴリズムを用いて測定点座標を自動的に抽出する。その後、この自動的に抽出された測定点座標から、例えば三角測量演算によって実際の変位量が算出される。   On the main device side, the measurement point coordinates are automatically extracted from the images acquired from each of one or two or more sensor heads using a user-specified measurement algorithm. Thereafter, the actual displacement is calculated from the automatically extracted measurement point coordinates by, for example, triangulation calculation.

変位量の変動許容値(しきい値)が設定されている場合には、さらに、許容値判定処理が行われ、対象製品の良否判定結果である二値信号が出力される。   In the case where an allowable variation value (threshold value) of the displacement amount is set, an allowable value determination process is further performed, and a binary signal that is a quality determination result of the target product is output.

このような従来の変位センサは、予め測定点抽出アルゴリズム等を指定しておけば、取得された画像から自動的に測定点が抽出されて、最終的に対応する変位量が算出されるから、ユーザにとっては手間が掛からない。   In such a conventional displacement sensor, if a measurement point extraction algorithm or the like is specified in advance, a measurement point is automatically extracted from the acquired image, and finally a corresponding displacement amount is calculated. It does not take much time for the user.

しかし、画像取得から変位量算出に至る過程で使用されたデータ(撮像素子からの生画像、自動抽出された測定点座標、自動設定された各種のしきい値等)については一切確認するすべがない。   However, all data used in the process from image acquisition to displacement calculation (raw image from the image sensor, automatically extracted measurement point coordinates, various automatically set threshold values, etc.) should be checked at all. Absent.

そのため、測定された変位量が異常値を示したり、判定値が不良とされた場合、計測対象物に真に異常があるのか、それとも外乱光等を原因としてセンサが誤作動した結果なのか判別することができない。   Therefore, if the measured displacement value shows an abnormal value or the judgment value is bad, it is determined whether the measurement object is truly abnormal or whether the sensor malfunctioned due to ambient light, etc. Can not do it.

加えて、従来の変位センサにあっては、撮像素子の視野を任意に限定して測定点の抽出等を行うことができない。この問題は、特に、二次元撮像素子(二次元CCD等)を使用した変位センサでは顕著である。すなわち、二次元撮像素子を使用する変位センサでは、変位方向に延びるピクセル列が平行に多数列(数十列以上)存在するのが普通であるから、常にその全てのピクセル列の中から、ピーク点やボトム点を抽出せねばならないとすれば、著しく使い勝手が悪い製品となってしまう。   In addition, in the conventional displacement sensor, it is not possible to extract the measurement points by arbitrarily limiting the field of view of the image sensor. This problem is particularly noticeable in a displacement sensor using a two-dimensional image sensor (such as a two-dimensional CCD). That is, in a displacement sensor using a two-dimensional image sensor, there are usually a large number of pixel columns extending in the displacement direction in parallel (several tens of columns). If the points and bottom points have to be extracted, the product becomes extremely inconvenient.

この発明は、上述の従来問題に着目してなされたものであり、その目的とするところは、この種の変位センサの使い勝手を向上させることにある。   The present invention has been made paying attention to the above-mentioned conventional problems, and its object is to improve the usability of this type of displacement sensor.

この発明のより具体的な目的とするところは、画像取得から変位量算出に至る過程で使用されたデータを容易に確認可能とした変位センサを提供することにある。   A more specific object of the present invention is to provide a displacement sensor capable of easily confirming data used in the process from image acquisition to displacement amount calculation.

この発明のさらに他の目的乃至効果については、明細書の以下の記述を参照することにより、当業者であれば容易に理解される筈である。   Other objects and effects of the present invention should be easily understood by those skilled in the art by referring to the following description of the specification.

本発明の変位センサは、撮像素子から取得した受光輝度分布から、所定の測定点抽出アルゴリズムを用いて前記受光輝度分布上における、計測対象物品の高さの変化に伴って、前記撮像素子上の反射光像の位置が変化する方向の測定点座標を自動抽出し、該自動抽出された測定点座標に基づいて計測対象物品表面の高さ方向の変位量を算出する光切断法に基づく変位センサである。 The displacement sensor according to the present invention is based on the received light intensity distribution acquired from the image sensor, and a predetermined measurement point extraction algorithm is used to change the height of the measurement target article on the received light intensity distribution. Displacement sensor based on the optical cutting method that automatically extracts the measurement point coordinates in the direction in which the position of the reflected light image changes , and calculates the displacement amount in the height direction of the surface of the article to be measured based on the automatically extracted measurement point coordinates It is.

ここで、『撮像素子』とは、変位測定方向へと複数のピクセルを配列することにより、変位に対応する受光位置のアドレスを特定可能な撮像素子を意図している。そのため、PSDのような受光位置のアドレスを特定できない撮像素子は除外される。ここで言う撮像素子には、少なくとも、一次元CCD並びに二次元CCDが含まれる。   Here, the “imaging element” is intended to be an imaging element that can identify the address of the light receiving position corresponding to the displacement by arranging a plurality of pixels in the displacement measuring direction. Therefore, an image sensor that cannot specify the address of the light receiving position such as PSD is excluded. The imaging element referred to here includes at least a one-dimensional CCD and a two-dimensional CCD.

『測定点抽出アルゴリズム』には、従来公知の種々のアルゴリズムが含まれる。例えば、ピーク値サーチアルゴリズム、ボトム値サーチアルゴリズム、平均値サーチアルゴリズム、センサからの最接近値サーチアルゴリズム等は少なくともこれに含まれるであろう。   The “measurement point extraction algorithm” includes various conventionally known algorithms. For example, a peak value search algorithm, a bottom value search algorithm, an average value search algorithm, a closest approach value search algorithm from a sensor, and the like will be included in at least this.

『測定点座標』とは、変位量算出の基礎となる座標データである。この座標データの精度は、ピクセル単位やサブピクセル単位で規定することができる。撮像素子として、二次元撮像素子が使用される場合には、測定点座標は二次元の値を持つことができるであろう。もっとも、その内で変位算出の基礎とされるのは、一般的には、変位方向の座標値とされるであろう。   “Measurement point coordinates” is coordinate data that is the basis for calculating the displacement. The accuracy of this coordinate data can be defined in pixel units or sub-pixel units. If a two-dimensional image sensor is used as the image sensor, the measurement point coordinates could have a two-dimensional value. However, in general, the basis for the displacement calculation will be the coordinate value in the displacement direction.

『自動抽出』とは、人手を介さずにの意味である。もっとも、測定点座標の抽出過程でユーザに対して、モードの選択を問い合わせる等の対話処理までをも排除する意図ではない。   “Automatic extraction” means meaning without human intervention. However, it is not intended to exclude even interactive processing such as inquiring the user to select a mode in the process of extracting measurement point coordinates.

『測定点座標からの算出式』は、センサヘッドの光学的な配置により様々であろう。一般には、三角測量の原理で、測定点座標から対応する変位量を求めることができるであろう。   The “calculation formula from the measurement point coordinates” will vary depending on the optical arrangement of the sensor head. In general, the corresponding displacement amount can be obtained from the measurement point coordinates by the principle of triangulation.

なお、変位センサから出力されるデータは、算出された変位量データだけではないことは言うまでもない。例えば、ユーザの指定した許容範囲しきい値に変位量データをあてはめて、良品又は不良品に相当する判定結果を出力したりすることができる。   Needless to say, the data output from the displacement sensor is not limited to the calculated displacement amount data. For example, the displacement amount data can be applied to an allowable range threshold specified by the user, and a determination result corresponding to a non-defective product or a defective product can be output.

以上の構成に加えて、本発明の変位センサにあっては、前記撮像素子上の反射光像の位置が変化する方向における受光輝度分布を示すラインブライト波形上に、前記反射光像の位置が変化する方向の測定値許容範囲を示す図形を重ねた画像を表示するための、画像モニタ用の表示データを編集する表示データ編集手段を有する。 In addition to the above configuration, in the displacement sensor of the present invention, on the line bright waveform indicating the received light intensity distribution in the direction is changed the position of the reflected light image on the imaging device, the position of the reflected light image Display data editing means for editing display data for an image monitor for displaying an image in which a graphic showing the allowable range of measurement values in the changing direction is displayed.

このような構成によれば、ラインブライト波形のピーク部分と測定値許容範囲を示す境界線等の図形とを照らし合わせることにより、製品良否判定の経過を検証できる。   According to such a configuration, the product quality determination process can be verified by comparing the peak portion of the line bright waveform with a figure such as a boundary line indicating the allowable range of measurement values.

ここで、『表示データ編集手段』とあることから、本発明の変位センサにおける画像モニタは、必須の要件ではない。すなわち、本発明の変位センサにあっては、少なくとも、表示データ編集手段を具備していれば足り、画像モニタについては当初から一体に具備してもよく、また、必要により市販の画像モニタを備え付けてもよい。 Here, since it is “display data editing means”, the image monitor in the displacement sensor of the present invention is not an essential requirement. That is, in the displacement sensor of the present invention, it is sufficient that at least the display data editing means is provided, and the image monitor may be provided integrally from the beginning, and if necessary, a commercially available image monitor is provided. May be.

好ましい実施の形態では、画像モニタ用の表示データが、ラインブライト波形の上に、前記撮像素子上の反射光像の位置が変化する方向の測定値許容範囲を示す図形に加えて、前記測定点座標を示す図形及び変位測定方向の測定値許容範囲を示す図形を重ねて表示する画像に相当するようにしてもよい。 In a preferred embodiment, the display data for the image monitor, on a line bright waveform, in addition to the figure indicating the measurement value tolerance range in the direction of position changes of the reflected light image on the imaging device, the measuring point You may make it correspond to the image which overlays and displays the figure which shows a coordinate, and the figure which shows the measured value tolerance | permissible_range in a displacement measurement direction.

このような構成によれば、自動抽出された測定点を示すマーク等の図形と、測定値許容範囲を示す境界線等の図形と、ラインブライト波形とを照らし合わせることにより、ラインブライト波形のピーク部分と自動抽出された測定点座標と測定値許容範囲との関係を容易に確認できる。   According to such a configuration, by comparing the line bright waveform with a figure such as a mark indicating the automatically extracted measurement point, a figure such as a boundary line indicating the allowable measurement value range, and the line bright waveform, the peak of the line bright waveform is obtained. The relationship between the part, the automatically extracted measurement point coordinates, and the measurement value allowable range can be easily confirmed.

好ましい他の実施の形態では、画像モニタ用の表示データが、ラインブライト波形の上に、前記撮像素子上の反射光像の位置が変化する方向の測定値許容範囲を示す図形に加えて、前記測定点座標前記測定値許容範囲との比較により得られた判定結果を示す記号を重ねて表示する画像に相当するようにしてもよい。 In another preferred embodiment, the display data for the image monitor, on a line bright waveform, in addition to the figure indicating the measurement value tolerance range in the direction of position changes of the reflected light image on the imaging device, wherein You may make it correspond to the image which overlaps and displays the symbol which shows the determination result obtained by the comparison with a measurement point coordinate and the said measurement value tolerance | permissible_range.

以上の説明で明らかなように、本発明によれば、画像取得から変位量算出、判定の過程で使用されたデータを画像モニタ上の表示を介して確認可能となり、これにより、測定された変位量が異常値を示す場合や判定結果に異常がある場合に、計測対象物に真に異常があるのか、それとも外乱光等を原因としてセンサが誤動作した結果なのかを判別することが容易となる。 As is clear from the above description, according to the present invention, it is possible to check the data used in the process of image acquisition, displacement amount calculation, and determination through the display on the image monitor, and thereby the measured displacement When the quantity shows an abnormal value or when the determination result is abnormal, it is easy to determine whether the measurement object is truly abnormal or whether the sensor malfunctioned due to ambient light or the like .

以下に、この発明の好適な実施の一形態を添付図面に従って説明する。   A preferred embodiment of the present invention will be described below with reference to the accompanying drawings.

先に説明したように、本発明の変位センサは、撮像素子から取得した受光輝度分布から、所定の計測アルゴリズムを用いて測定点座標を自動抽出し、該自動抽出された測定点座標から目的とする変位量を算出する変位センサであって、前記画像取得から変位量算出に至る過程で使用されたデータを画像モニタ用の表示データに編集する表示データ編集手段を有するものである。   As described above, the displacement sensor of the present invention automatically extracts the measurement point coordinates from the received light luminance distribution acquired from the image sensor using a predetermined measurement algorithm, and uses the automatically extracted measurement point coordinates. A displacement sensor for calculating a displacement amount to be displayed has display data editing means for editing data used in the process from image acquisition to displacement amount calculation into display data for an image monitor.

かかる本発明が適用された変位センサのシステム構成の一例を示すブロック図が図1に示されている。   A block diagram showing an example of a system configuration of a displacement sensor to which the present invention is applied is shown in FIG.

同図に示されるように、この変位センサ1は、本体装置10と、2台のセンサヘッド20A,20Bと、画像モニタ30と、操作器40とを含んでいる。尚、符号50で示されるのは、PLC等の外部機器である。本体装置10は、本変位センサの中枢をなすものであり、マイクロプロセッサを主体として構成されている。この本体装置10の内部には、後に図3を参照して説明するように、各種の処理機能がソフトウエア的に実現されている。   As shown in the figure, the displacement sensor 1 includes a main body device 10, two sensor heads 20A and 20B, an image monitor 30, and an operating device 40. Reference numeral 50 indicates an external device such as a PLC. The main unit 10 forms the center of the present displacement sensor and is mainly composed of a microprocessor. As will be described later with reference to FIG. 3, various processing functions are implemented in software in the main body device 10.

センサヘッド20A,20Bは、対象となる変位量を受光画面上の位置情報に変換して検出する装置である。センサヘッド20A,20Bの一例が図2に示されている。同図に示されるように、センサヘッド20A,20Bは、レーザ光を発するレーザダイオード201と、レーザダイオード201の前面側に配置されたスリット板202と、スリット板202を通ったレーザ光を検出物体60上に集束して照射するレンズ系203と、検出物体60からの光を集束するレンズ系204と、レンズ系204を介して得られた光像が受光面に結ばれるように配置した撮像素子205とを含んでいる。   The sensor heads 20A and 20B are devices that detect a displacement amount to be converted into position information on the light receiving screen. An example of the sensor heads 20A and 20B is shown in FIG. As shown in the figure, the sensor heads 20A and 20B include a laser diode 201 that emits laser light, a slit plate 202 disposed on the front side of the laser diode 201, and laser light that has passed through the slit plate 202 as an object to be detected. A lens system 203 for focusing and irradiating on the lens 60; a lens system 204 for focusing the light from the detection object 60; and an image sensor arranged so that a light image obtained via the lens system 204 is connected to the light receiving surface. 205.

スリット板202のスリットは、直線状となっているため、検出物体60上に照射される光線は、ラインビーム(断面が直線状のビーム)とされている。この例では、ラインビームの軸方向(ラインビームの断面の長手方向)は紙面と直交する方向とされている。   Since the slit of the slit plate 202 has a linear shape, the light beam irradiated on the detection object 60 is a line beam (a beam having a linear cross section). In this example, the axial direction of the line beam (the longitudinal direction of the cross section of the line beam) is a direction orthogonal to the paper surface.

一方、撮像素子205は、この例では二次元CCD素子が採用されている。特にこの二次元CCD素子は、細長い長方形状の視野を有する。一例としては、このCCD素子の受光面上には、長辺方向1077個及びそれに直交する短辺方向68個のピクセルが配列されている。又、受光面上に結像されるラインビームの方向はCCD素子の受光面の長手方向と直交する方向となっている。   On the other hand, the image sensor 205 is a two-dimensional CCD element in this example. In particular, this two-dimensional CCD element has an elongated rectangular field of view. As an example, 1077 pixels in the long side direction and 68 pixels in the short side direction orthogonal thereto are arranged on the light receiving surface of the CCD element. The direction of the line beam formed on the light receiving surface is a direction orthogonal to the longitudinal direction of the light receiving surface of the CCD element.

図1に戻って、操作器40はハンディタイプのもので、その表面にはテンキー、各種ファンクションキーの他に、カーソル移動用のアップキーやダウンキー(図示せず)が配置されている。この操作器40は、所定の電気コードを介して本体装置10に接続される。   Returning to FIG. 1, the operating device 40 is of a handy type, and on the surface thereof, an up key and a down key (not shown) for moving a cursor are arranged in addition to a numeric keypad and various function keys. The operation device 40 is connected to the main body device 10 via a predetermined electric cord.

画像モニタ30は、本体装置10から出力されるモニタ出力(表示データ)を受けて、対応する画像を画面上に表示するものである。この画像モニタ30としては、CRT表示器、液晶表示器等の任意の市販の表示器が採用可能となっている。   The image monitor 30 receives the monitor output (display data) output from the main device 10 and displays a corresponding image on the screen. As this image monitor 30, any commercially available display such as a CRT display or a liquid crystal display can be adopted.

外部機器50は、本体装置10から出力される変位量データ出力D1や判定出力D2を受け取るものであり、例えばプログラマブルコントローラ(PLC)等がこれに相当する。本体装置10は、本発明の要部をなすものであり、2台のセンサヘッド20A,20Bから取得した画像に対して、ユーザ指定の測定点抽出アルゴリズムを用いて測定点座標を自動的に抽出し、この自動的に抽出された測定点座標から、例えば三角測量演算によって実際の変位量を算出し、また変位量の変動許容値(しきい値)が設定されている場合には、更に、許容値判定処理を行い、対象製品の良否判定結果である二値信号を生成する。そして、これら生成された変位量データ出力D1並びに二値信号である判定出力D2を外部機器50に送出する。   The external device 50 receives the displacement amount data output D1 and the determination output D2 output from the main device 10, and for example, a programmable controller (PLC) corresponds to this. The main device 10 is a main part of the present invention, and automatically extracts measurement point coordinates from the images acquired from the two sensor heads 20A and 20B using a user-specified measurement point extraction algorithm. Then, from the automatically extracted measurement point coordinates, the actual displacement amount is calculated by, for example, triangulation calculation, and when the displacement variation allowable value (threshold value) is set, An allowable value determination process is performed to generate a binary signal that is a quality determination result of the target product. Then, the generated displacement amount data output D1 and the determination output D2 which is a binary signal are sent to the external device 50.

本体装置の内部機能構成を示すブロック図が図3に示されている。同図に示されるように、この本体装置は、計測部110と制御部120とから概略構成されている。計測部110内には、センサヘッド用のインタフェース部111と、インタフェース部111を介してセンサヘッド20A,20Bから取り込まれた画像データを処理する画像演算部112とが含まれている。   A block diagram showing the internal functional configuration of the main unit is shown in FIG. As shown in the figure, the main body apparatus is roughly composed of a measurement unit 110 and a control unit 120. The measurement unit 110 includes an interface unit 111 for the sensor head and an image calculation unit 112 that processes image data captured from the sensor heads 20A and 20B via the interface unit 111.

一方、制御部120内には、画像モニタ30並びに操作器40とのインタフェースとして機能するGUI部121と、計測部110から送られてくる画像データに対して適当な処理を加えてGUI部121へと送り出す画像処理部122と、先ほど説明した変位量データ出力D1並びに判定出力D2を外部機器へと送り出すための外部出力インタフェース部124と、装置全体を統括制御するための制御処理部123とを含んでいる。   On the other hand, in the control unit 120, a GUI unit 121 that functions as an interface with the image monitor 30 and the operation unit 40, and an appropriate process is applied to the image data sent from the measurement unit 110 to the GUI unit 121. An image processing unit 122 for sending out, an external output interface unit 124 for sending out the displacement data output D1 and the determination output D2 described above to an external device, and a control processing unit 123 for overall control of the entire apparatus. It is out.

次に、同装置におけるデータの流れについて説明する。インタフェース部111に含まれるセンサヘッド制御部111Bは、センサヘッド20A,20Bに内蔵されたCCDの受光量が適切となるようにレーザダイオード201(図2参照)の光量制御を行う。この状態で、センサヘッド20A,20B内のCCDが撮影した画像データD3は、画像取込部111Aの作用で、計測部110内に取り込まれる。   Next, a data flow in the apparatus will be described. The sensor head control unit 111B included in the interface unit 111 controls the light amount of the laser diode 201 (see FIG. 2) so that the received light amount of the CCD built in the sensor heads 20A and 20B is appropriate. In this state, the image data D3 captured by the CCDs in the sensor heads 20A and 20B is captured into the measuring unit 110 by the action of the image capturing unit 111A.

こうして計測部110に取り込まれた画像データは、画像演算部112内の画像転送部112A並びに計測処理部112Bへと送られる。画像転送部112Aは、画像取込部111Aから到来する画像データD3を、制御部120内の画像処理部122へと送出する。又、計測処理部112Bでは、画像データD3に基づいて計測処理を行い、変位量データD1や判定出力D2を求め、これらのデータD7を制御部120内の制御処理部123へと送出する。   The image data thus captured by the measurement unit 110 is sent to the image transfer unit 112A and the measurement processing unit 112B in the image calculation unit 112. The image transfer unit 112A sends the image data D3 coming from the image capture unit 111A to the image processing unit 122 in the control unit 120. Further, the measurement processing unit 112B performs measurement processing based on the image data D3, obtains the displacement amount data D1 and the determination output D2, and sends these data D7 to the control processing unit 123 in the control unit 120.

本発明の要部である測定点座標の自動抽出処理や変位量測定処理は、主として、この計測処理部112Bにて実現される。   The measurement point coordinate automatic extraction processing and displacement amount measurement processing, which are the main parts of the present invention, are mainly realized by the measurement processing unit 112B.

制御部120内の制御処理部123は、計測処理部112Bから送られてきたデータD7に基づき、ラインビーム方向測定点座標データD8を求め、これを画像処理部122へと送出する。画像処理部122は、画像データ並びにラインブライトを含むデータD4をGUI部121へ送出する。GUI部121は操作器40からの各種指令を受け付けると共に、表示用データを編集し、これをモニタ出力D5として画像モニタ30へと送出する。   The control processing unit 123 in the control unit 120 obtains line beam direction measurement point coordinate data D8 based on the data D7 sent from the measurement processing unit 112B, and sends this to the image processing unit 122. The image processing unit 122 sends image data and data D4 including line bright to the GUI unit 121. The GUI unit 121 receives various commands from the operation device 40, edits the display data, and sends this to the image monitor 30 as the monitor output D5.

本発明の要部である表示データ編集処理は、主として、これら画像処理部122及びGUI(グラフィック・ユーザ・インタフェース)部121にて実現される。   The display data editing process, which is a main part of the present invention, is mainly realized by the image processing unit 122 and the GUI (graphic user interface) unit 121.

次に、以上説明した変位センサの変位量測定動作を図4のフローチャートを参照しながら詳細に説明する。同図において、まず最初のステップでは、センサヘッド内のCCDで撮影された画像を装置本体へと取り込む(ステップ401)。   Next, the displacement amount measuring operation of the displacement sensor described above will be described in detail with reference to the flowchart of FIG. In the figure, in the first step, an image photographed by the CCD in the sensor head is taken into the apparatus main body (step 401).

センサヘッド内のCCDで撮像された画像の説明図が図5に示されている。同図に示されるように、センサヘッドに内蔵されたCCDは、細長い長方形状の視野71を有する。この視野の長辺に沿うX方向は変位方向とされており、また短辺に沿うY方向はラインビーム方向(以下、単にライン方向とも言う)とされている。又、センサの視野71内には、この例ではジグザグ状の直線としてラインビームの像(照射光像)72が描かれている。又、変位方向において、図中左側がセンサヘッドに近い方向、逆に右側がセンサヘッドに遠い方向とされている。   FIG. 5 shows an explanatory diagram of an image captured by the CCD in the sensor head. As shown in the figure, the CCD built in the sensor head has an elongated rectangular visual field 71. The X direction along the long side of the field of view is the displacement direction, and the Y direction along the short side is the line beam direction (hereinafter also simply referred to as the line direction). In the field of view 71 of the sensor, a line beam image (irradiation light image) 72 is drawn as a zigzag straight line in this example. In the displacement direction, the left side in the figure is the direction closer to the sensor head, and the right side is the direction farther from the sensor head.

図4に戻って、次のステップとして、測定範囲内の特徴点抽出処理を実行する(ステップ402)。測定範囲内における測定点抽出処理の説明図が図6に示されている。同図に示されるように、センサの視野71内には、図中左右方向へ延びる2本の互いに平行な点線74,75によって測定範囲73が示されている。そしてこの測定点抽出処理では、この測定範囲(測定点抽出範囲)73内において、所定の特徴点抽出アルゴリズムを使用することにより、ピーク位置(Px,Py)並びにボトム位置(Bx,By)が抽出される。尚、後述するように、測定範囲(測定点抽出範囲)73を特定する始点直線74及び終点直線75は予めユーザにより設定されたものである。   Returning to FIG. 4, as a next step, a feature point extraction process within the measurement range is executed (step 402). An explanatory diagram of the measurement point extraction process within the measurement range is shown in FIG. As shown in the figure, in the field of view 71 of the sensor, a measurement range 73 is indicated by two parallel dotted lines 74 and 75 extending in the left-right direction in the figure. In this measurement point extraction process, the peak position (Px, Py) and the bottom position (Bx, By) are extracted by using a predetermined feature point extraction algorithm within the measurement range (measurement point extraction range) 73. Is done. As will be described later, the start point straight line 74 and the end point straight line 75 that specify the measurement range (measurement point extraction range) 73 are set in advance by the user.

図4に戻って、次のステップでは特徴点を含むラインのラインブライトを抽出する(ステップ403)。CCDによる撮像画像とラインブライト波形との関係を示す説明図が図7に示されている。同図に示されるように、このラインブライト抽出処理では、図中一点鎖線で示されるピーク位置を含むライン上において、各ピクセルの受光輝度が抽出され、これが変位方向に配列されることによって、図に示されるラインブライト波形76が生成される。図7に示されるように、このラインブライト波形76は、横軸を変位方向及び縦軸を階調とする直交座標上において描かれている。   Returning to FIG. 4, in the next step, the line bright of the line including the feature point is extracted (step 403). An explanatory diagram showing the relationship between the image captured by the CCD and the line bright waveform is shown in FIG. As shown in the figure, in this line bright extraction process, the received light intensity of each pixel is extracted on the line including the peak position indicated by the alternate long and short dash line in the figure, and this is arranged in the displacement direction. The line bright waveform 76 shown in FIG. As shown in FIG. 7, the line bright waveform 76 is drawn on orthogonal coordinates with the horizontal axis as the displacement direction and the vertical axis as the gradation.

図4に戻って、次のステップでは、所定の抽出アルゴリズムに従って、ラインブライト上の測定点座標が抽出される(ステップ404)。この測定点座標の抽出は、しきい値決定処理と測定点座標抽出処理を経て行われる。しきい値決定方法の一例を示す説明図が図8に示されている。同図に示されるように、しきい値THの決定はピーク値を示すピクセルPPの輝度Vpに対してa%として決定される。すなわち、TH=Vp×a%として自動的に決定される。又、測定点座標抽出処理の説明図が図9に示されている。測定点座標抽出方法には、この例では重心モードとエッジ中心モードと片側エッジモードとの3種類のモードが用意されている。重心モードにおいては、図9(a)に示されるように、図中ハッチングで示されるしきい値THを越える部分の濃淡重心として測定点が求められる。又、エッジ中心モードにおいては、ラインブライト波形としきい値THとの交点である2つのエッジの中心として測定点が求められる。更に、片側エッジモードにおいては、ラインブライト波形としきい値THとの片側エッジとして測定点が求められる。   Returning to FIG. 4, in the next step, the measurement point coordinates on the line bright are extracted according to a predetermined extraction algorithm (step 404). The extraction of the measurement point coordinates is performed through a threshold value determination process and a measurement point coordinate extraction process. An explanatory diagram showing an example of the threshold value determining method is shown in FIG. As shown in the figure, the threshold value TH is determined as a% with respect to the luminance Vp of the pixel PP indicating the peak value. That is, it is automatically determined as TH = Vp × a%. An explanatory diagram of the measurement point coordinate extraction process is shown in FIG. In this example, three types of measurement point coordinate extraction methods are prepared: a centroid mode, an edge center mode, and a one-side edge mode. In the center-of-gravity mode, as shown in FIG. 9A, the measurement point is obtained as the density center of gravity of the portion exceeding the threshold value TH indicated by hatching in the figure. In the edge center mode, a measurement point is obtained as the center of two edges that are the intersections of the line bright waveform and the threshold value TH. Further, in the one-side edge mode, a measurement point is obtained as one-side edge between the line bright waveform and the threshold value TH.

図4に戻って、次のステップでは、測定点座標から変位量が算出される(ステップ405)。この変位量算出処理は例えば光学系が三角測距である場合、変位量Z=A×B/(C×X)として求められる。ここで、Xは変位方向座標、A,B,Cはそれぞれ光学系により決定される定数である。   Returning to FIG. 4, in the next step, the displacement amount is calculated from the measurement point coordinates (step 405). This displacement amount calculation processing is obtained as displacement amount Z = A × B / (C × X), for example, when the optical system is triangulation. Here, X is a displacement direction coordinate, and A, B, and C are constants determined by the optical system.

図4に戻って、次のステップでは、得られた変位量(必要であれば判定出力)を画像モニタ30並びに外部機器50へと出力する(ステップ406)。尚、ユーザの指定する判定値に基づく判定結果の算出は例えば次のようにして行う。   Returning to FIG. 4, in the next step, the obtained displacement amount (determination output if necessary) is output to the image monitor 30 and the external device 50 (step 406). The calculation of the determination result based on the determination value designated by the user is performed as follows, for example.

判定結果HIGH:HIGH判定値より変位量が大である場合
判定結果PASS:LOW判定値?変位量?HIGH判定値の場合(良品)
判定結果LOW:LOW判定より変位量が小である場合
判定結果ERROR:センサが計測不能となった場合
モニタ画面上に画像を生成する方法の説明図が図10に示されている。同図に示されるように、この実施の形態においては、4枚(層)の画像メモリ(0)〜(3)が使用される。それらのうちで、画像メモリ(0)はセンサヘッドから取り込まれた生画像が、画像メモリ(1)には画面枠判定値や固定描画部品などが、画像メモリ(2)にはラインブライト並びに測定点が、画像メモリ(3)には変位量並びに判定基準などがそれぞれ格納される。そして、これらの画面メモリ(0)〜(3)上のデータは、GUI部121及び画像処理部122の作用により、互いに重ねて読み出され、モニタ出力(表示データ)D5として画像モニタ30へと送られる。
Judgment result HIGH: When the displacement is larger than the HIGH judgment value Judgment result PASS: LOW judgment value? Displacement amount? HIGH judgment value (good product)
Judgment result LOW: When displacement is smaller than LOW judgment Judgment result ERROR: When sensor becomes incapable of measurement An explanatory diagram of a method of generating an image on the monitor screen is shown in FIG. As shown in the figure, in this embodiment, four (layer) image memories (0) to (3) are used. Among them, the image memory (0) is the raw image captured from the sensor head, the image memory (1) is the screen frame judgment value, the fixed drawing component, etc., and the image memory (2) is the line bright and measurement. In the image memory (3), the amount of displacement and the criterion are stored. The data on the screen memories (0) to (3) are read out by being overlapped with each other by the actions of the GUI unit 121 and the image processing unit 122, and are output to the image monitor 30 as monitor output (display data) D5. Sent.

次に、画像モニタ30における具体的ないくつかの表示例について図11〜図15を参照しながら説明する。   Next, some specific display examples on the image monitor 30 will be described with reference to FIGS.

正常な計測値が得られた状態におけるモニタ画面の一例を示す図が図11に示されている。尚、同図(b)に示されるように、この例にあっては、センサヘッドと測定対象物との基準距離を100mmと設定し、その前後20mmの範囲内において変位量を測定するものと想定する。同図(a)に示されるように、画像モニタの画面は上下方向4段に分割されている。それらの領域は上から順に画像表示領域77、グラフ表示領域78、数値表示領域79、ガイド表示領域80とされている。   FIG. 11 shows an example of a monitor screen in a state where normal measurement values are obtained. As shown in FIG. 4B, in this example, the reference distance between the sensor head and the measurement object is set to 100 mm, and the displacement is measured within a range of 20 mm before and after that. Suppose. As shown in FIG. 5A, the screen of the image monitor is divided into four stages in the vertical direction. These areas are an image display area 77, a graph display area 78, a numerical value display area 79, and a guide display area 80 in order from the top.

画像表示領域77には、撮像素子である二次元CCDから取得された生画像(階調画像)が表示される。図において符号81で示されるのはラインビームの像であり、符号82で示されるのは生画像上における測定点座標を示す十字記号である。   In the image display area 77, a raw image (gradation image) acquired from a two-dimensional CCD as an image sensor is displayed. In the figure, reference numeral 81 indicates a line beam image, and reference numeral 82 indicates a cross symbol indicating the measurement point coordinates on the raw image.

グラフ表示領域78には、ラインブライト波形が縦横の罫線と共に表示される。符号83で示されるのがラインブライト波形であり、符号84で示されるのが縦横の罫線である。又、符号85で示されるのがラインブライト波形上における測定点座標を示す十字記号である。さらに、図中上下方向に延びる2本の点線86,87は、LOWならびにHIGHの判定基準値である。   In the graph display area 78, the line bright waveform is displayed together with vertical and horizontal ruled lines. Reference numeral 83 indicates a line bright waveform, and reference numeral 84 indicates vertical and horizontal ruled lines. Reference numeral 85 represents a cross symbol indicating the measurement point coordinates on the line bright waveform. Further, two dotted lines 86 and 87 extending in the vertical direction in the figure are determination reference values for LOW and HIGH.

数値表示領域79には変位量を表す数値並びに判定結果を表す記号が表示される。図中符号88で示されるものが測定値を示す数値(+101.5345)であり、符号89で示されるのが判定結果を示す記号(PASS)である。   The numerical value display area 79 displays a numerical value indicating the displacement amount and a symbol indicating the determination result. In the figure, numeral 88 indicates a numerical value (+101.5345) indicating a measured value, and numeral 89 indicates a symbol (PASS) indicating a determination result.

画像及びラインブライト波形を変位軸方向に拡大した状態におけるモニタ画面の一例を示す説明図が図12に示されている。尚、同図において、図11と同一構成部分には同符号を付して説明を省略する。同図に示されるように、この例にあっては、画像表示領域77上の生画像並びにグラフ表示領域78上のラインブライト波形83はいずれも変位測定方向へと大きく拡大されている。尚、符号81で示されるラインビームの像が線状ではなく円形状に太って描かれているのはそのためである。このように生画像並びにラインブライト波形を拡大して表示すれば、測定点座標と生画像並びにラインブライト波形との関係をより明確なものとすることができ、両者の関係を精密に確認することができる。   FIG. 12 illustrates an example of a monitor screen in a state where the image and the line bright waveform are enlarged in the displacement axis direction. In the figure, the same components as those in FIG. As shown in the figure, in this example, both the raw image on the image display area 77 and the line bright waveform 83 on the graph display area 78 are greatly enlarged in the displacement measurement direction. For this reason, the line beam image indicated by reference numeral 81 is drawn thick in a circular shape instead of a linear shape. By enlarging and displaying the raw image and the line bright waveform in this way, the relationship between the measurement point coordinates and the raw image and the line bright waveform can be made clearer, and the relationship between the two must be confirmed precisely. Can do.

外乱による誤計測が発生した状態におけるモニタ画面の一例を示す説明図が図13に示されている。尚、同図において図11と同一構成部分については同符号を付して説明を省略する。この例では、正常なラインビームに基づく光像81は許容範囲内に収まっているにもかかわらず、符号89で示されるように、判定結果は不良品であるLOWとされている。一方、画像表示領域77の生画像を見ると、符号90で示されるように下限値よりも下方へはずれた位置に外乱光に基づく光像が現れており、符号82に示されるように測定点座標を示す十字記号82はこの誤った光像90に位置していることがわかる。同様にして、グラフ表示領域78を見ると、ラインブライト曲線83上の真のピークは許容範囲内に収まっているにもかかわらず、外乱に基づくピークは下限値よりも下方へ位置している。符号85に示される測定点座標を示す十字記号は、この外乱光によるピーク値に位置していることがわかる。これらの表示によって、ユーザは、実際の製品の変位量が異常なのではなくて、外乱光による誤った光像90によって誤作動したことが理解される。   An explanatory diagram showing an example of a monitor screen in a state where erroneous measurement due to disturbance has occurred is shown in FIG. In the figure, the same components as those in FIG. In this example, although the optical image 81 based on the normal line beam is within the allowable range, as shown by reference numeral 89, the determination result is LOW, which is a defective product. On the other hand, when the raw image in the image display area 77 is viewed, a light image based on the disturbance light appears at a position deviated below the lower limit value as indicated by reference numeral 90, and the measurement point as indicated by reference numeral 82. It can be seen that the cross symbol 82 indicating the coordinates is located in the erroneous light image 90. Similarly, when the graph display region 78 is viewed, the true peak on the line bright curve 83 is within the allowable range, but the peak based on the disturbance is located below the lower limit value. It can be seen that the cross symbol indicating the measurement point coordinates indicated by reference numeral 85 is located at the peak value due to the disturbance light. From these displays, the user understands that the actual product displacement amount is not abnormal, but malfunctioned due to an erroneous light image 90 caused by ambient light.

2つのセンサヘッドを同時に使用して段差計測を行なう状態におけるモニタ画面の一例を示す説明図が図14に示されている。尚、同図において、図11と同一構成部分については同符号を付して説明を省略する。図14(b)に示されるように、この例にあっては、2個のセンサヘッド(0),(1)をそれぞれ測定対象物と対向配置し、それぞれからの距離を測定すると共に、それらの距離の偏差(段差)を自動的に演算出力するようにしたものである。すなわち、同図(a)に示されるように、この例にあっては、数値表示領域79には符号88で示されるように、段差を示す数値(+4.5345)が表示される。又、画像表示領域77は上下2列に分割されており、そのうち上段にはセンサヘッド(0)に関する生画像が、下段にはセンサヘッド(1)に関する生画像が表示される。又、それぞれの生画像上にはラインビームに相当する光像81a,82aと測定点座標を示す十字記号81b,82bが表示される。又、グラフ表示領域78には、センサヘッド(0),(1)にそれぞれ対応するラインブライト波形83a,83bと測定点座標を示す十字記号85a,85bが表示される。従って、以上の画像表示によれば、何らかの異常が発生した場合、センサヘッド(0),(1)のいずれに異常が生じたかを確認することができる。尚、この場合、符号89で示される判定結果を示す記号(PASS)は段差に対する許容幅に対応している。   FIG. 14 is an explanatory diagram showing an example of a monitor screen in a state where a step difference measurement is performed using two sensor heads simultaneously. In the figure, the same components as those in FIG. As shown in FIG. 14 (b), in this example, two sensor heads (0) and (1) are arranged opposite to the measurement object, respectively, and the distance from each is measured. The distance deviation (step) is automatically calculated and output. That is, as shown in FIG. 9A, in this example, a numerical value (+4.5345) indicating a step is displayed in the numerical value display area 79 as indicated by reference numeral 88. In addition, the image display area 77 is divided into two upper and lower rows, in which a raw image relating to the sensor head (0) is displayed in the upper part, and a raw image relating to the sensor head (1) is displayed in the lower part. In addition, optical images 81a and 82a corresponding to line beams and cross symbols 81b and 82b indicating measurement point coordinates are displayed on each raw image. In the graph display area 78, line bright waveforms 83a and 83b corresponding to the sensor heads (0) and (1) and cross symbols 85a and 85b indicating measurement point coordinates are displayed. Therefore, according to the above image display, when any abnormality occurs, it can be confirmed which of the sensor heads (0) and (1) has occurred. In this case, the symbol (PASS) indicating the determination result indicated by reference numeral 89 corresponds to the allowable width for the step.

変位量データを時系列的に表示する状態におけるモニタ画面の一例を示す図が図15に示されている。尚、図11と同一構成部分については同符号を付して説明を省略する。図15(a)に示されるように、この例にあっては、ベルトコンベア上を順次搬送されてくる部品A,Bとセンサヘッドとの距離を順次測定し、その結果を図15(a)に示されるように、グラフ表示領域78上に時系列波形(トレンドグラフ)91として表示させるものである。尚、このとき、画像表示領域77には、その時点におけるラインビームの光像81並びに測定点を示す十字記号82が表示される。このような表示内容によれば、順次送られてくる部品A,Bの公差乃至ばらつきを明確に把握しつつ、計測処理を円滑に行うことができる。   FIG. 15 shows an example of a monitor screen in a state in which the displacement amount data is displayed in time series. In addition, about the same component as FIG. 11, the same code | symbol is attached | subjected and description is abbreviate | omitted. As shown in FIG. 15 (a), in this example, the distance between the parts A and B sequentially conveyed on the belt conveyor and the sensor head is sequentially measured, and the result is shown in FIG. 15 (a). As shown in FIG. 4, the time-series waveform (trend graph) 91 is displayed on the graph display area 78. At this time, in the image display area 77, a light image 81 of the line beam at that time and a cross symbol 82 indicating the measurement point are displayed. According to such display contents, it is possible to smoothly perform the measurement process while clearly grasping the tolerance or variation of the parts A and B sent sequentially.

次に、先の測定において説明した測定範囲73の設定処理などについて説明する。先に説明したように、この実施形態の変位センサにあっては、2個のセンサヘッド20A,20Bを接続可能とされている。又、図14に示されるように、それらセンサヘッドを同時に作動させつつ段差測定などを可能としている。当然に、これら2台のセンサヘッドに対しては別々に選択設定操作が可能とされている。   Next, the setting process of the measurement range 73 described in the previous measurement will be described. As described above, in the displacement sensor of this embodiment, two sensor heads 20A and 20B can be connected. Further, as shown in FIG. 14, it is possible to measure a step while simultaneously operating these sensor heads. Naturally, it is possible to select and set these two sensor heads separately.

センサヘッド選択操作時のモニタ画面を示す説明図が図16に示されている。尚、同図において図11と同一構成部分には同一符号を付して説明を省略する。装置本体に接続された操作器40で所定操作を行うことによりダイアログボックス92を開き、その状態で所定の選択操作によりセンサヘッド20A,20Bのいずれかを指定することができる。   An explanatory view showing a monitor screen at the time of the sensor head selection operation is shown in FIG. In the figure, the same components as those in FIG. A dialog box 92 is opened by performing a predetermined operation with the operating device 40 connected to the apparatus main body, and one of the sensor heads 20A and 20B can be designated by a predetermined selection operation in that state.

ビームライン方向の測定領域の始点決定操作中のモニタ画面を示す説明図が図17に示されている。尚、図11と同一構成部分には同符号を付して説明を省略する。測定領域選択中にあっては、画像表示領域77には、図中左右方向へ延びる点線で示されるように始点ライン92と終点ライン93とが描かれる。これらのライン92,93は所定操作により画面上において上下方向へ平行移動可能となされている。始点ライン92を決定する場合、所定操作によってカーソル94を始点ライン(A)92側に設定する。この状態において始点ライン92を所望の画素位置(pixel)に合わせ、所定の確定操作を行うことによって始点ライン92を希望の位置に合わせることができる。図では、始点ライン92は16pixel目に位置合わせされている。   FIG. 17 is an explanatory diagram showing a monitor screen during the operation of determining the start point of the measurement area in the beam line direction. Note that the same components as those in FIG. While the measurement area is being selected, a start point line 92 and an end point line 93 are drawn in the image display area 77 as indicated by dotted lines extending in the horizontal direction in the figure. These lines 92 and 93 can be translated in the vertical direction on the screen by a predetermined operation. When determining the start point line 92, the cursor 94 is set to the start point line (A) 92 side by a predetermined operation. In this state, the start point line 92 can be adjusted to a desired position by adjusting the start point line 92 to a desired pixel position (pixel) and performing a predetermined determination operation. In the figure, the start point line 92 is aligned at the 16th pixel.

ビームライン方向の測定領域の終点決定操作中のモニタ画面を示す説明図が図18に示されている。尚、図11と同一構成部分には同符号を付して説明を省略する。終点ライン93を所望の位置に設定する場合、まずカーソル94を終点ライン(B)93側へと合わせ、その状態で終点ライン93を上下方向へ移動して希望の位置に移動したのち、所定の確定操作を行うことによって終点ライン93の決定を完了する。この例では、終点ライン93は40pixel目に設定されている。尚、以上の設定操作中、始点ライン92並びに終点ライン93の移動位置は、数値表示領域79に表示される。これにより、測定領域(測定点抽出範囲)95を16pixelと40pixelの間に特定できる。   An explanatory diagram showing a monitor screen during the end point determination operation of the measurement region in the beam line direction is shown in FIG. Note that the same components as those in FIG. When setting the end point line 93 to a desired position, first, the cursor 94 is moved to the end point line (B) 93 side, and in this state, the end point line 93 is moved up and down to move to a desired position. The determination of the end point line 93 is completed by performing the confirmation operation. In this example, the end point line 93 is set at the 40th pixel. During the above setting operation, the movement positions of the start point line 92 and the end point line 93 are displayed in the numerical value display area 79. Thereby, the measurement region (measurement point extraction range) 95 can be specified between 16 pixels and 40 pixels.

次に、測定領域を決定したのち、その測定領域内において3つのモード(ノーマルモード、ピークモード、ボトムモード)にて特徴点(測定点)を抽出する処理について説明する。   Next, a process of extracting a feature point (measurement point) in three modes (normal mode, peak mode, and bottom mode) in the measurement region after determining the measurement region will be described.

測定領域内におけるライン方向測定点抽出操作中のモニタ画面を示す説明図(ノーマルモード)が図19に示されている。尚、図11と同一構成部分には同符号を付して説明を省略する。同図に示されるように、画像表示領域77には、それぞれ平坦なピークとボトムとを有するラインビームの像96が表示されている。そしてノーマルモードの場合、測定点はこれらピーク位置とボトム位置との中間に自動設定される。符号97で示される十字記号(カーソル)が測定点の位置を示している。このようにノーマルモードにおいては、16pixelと40pixelとで挟まれる測定範囲内において、ピーク位置とボトム位置との中間に測定点が自動設定される。   FIG. 19 shows an explanatory diagram (normal mode) showing a monitor screen during the line direction measurement point extraction operation in the measurement region. Note that the same components as those in FIG. As shown in the figure, a line beam image 96 having a flat peak and a bottom is displayed in the image display area 77. In the normal mode, the measurement point is automatically set between the peak position and the bottom position. A cross symbol (cursor) indicated by reference numeral 97 indicates the position of the measurement point. As described above, in the normal mode, the measurement point is automatically set between the peak position and the bottom position within the measurement range sandwiched between 16 pixels and 40 pixels.

測定領域内におけるライン方向測定点抽出操作中のモニタ画面を示す説明図(ピークモード)が図20に示されている。尚、図11と同一構成部分には同符号を付して説明を省略する。同図に示されるように、画像表示領域77には、それぞれ平坦なピークとボトムとを有するラインビームの像96が表示されている。そしてピークモードの場合、測定点はこれらピーク位置に設定される。符号97で示される十字記号(カーソル)が測定点の位置を示している。このようにピークモードにおいては、16pixelと40pixelとで挟まれる測定範囲内において、ピーク位置に測定点が自動設定される。   FIG. 20 shows an explanatory diagram (peak mode) showing a monitor screen during the line direction measurement point extraction operation in the measurement region. Note that the same components as those in FIG. As shown in the figure, a line beam image 96 having a flat peak and a bottom is displayed in the image display area 77. In the peak mode, the measurement points are set at these peak positions. A cross symbol (cursor) indicated by reference numeral 97 indicates the position of the measurement point. As described above, in the peak mode, the measurement point is automatically set at the peak position within the measurement range between 16 pixels and 40 pixels.

測定領域内におけるライン方向測定点抽出操作中のモニタ画面を示す説明図(ボトムモード)が図21に示されている。尚、図11と同一構成部分には同符号を付して説明を省略する。同図に示されるように、画像表示領域77には、それぞれ平坦なピークとボトムとを有するラインビームの像96が表示されている。そしてボトムモードの場合、測定点はこれらピーク位置に設定される。符号97で示される十字記号(カーソル)が測定点の位置を示している。このようにボトムモードにおいては、16pixelと40pixelとで挟まれる測定範囲内において、ボトム位置に測定点が自動設定される。   FIG. 21 shows an explanatory diagram (bottom mode) showing the monitor screen during the line direction measurement point extraction operation in the measurement region. Note that the same components as those in FIG. As shown in the figure, a line beam image 96 having a flat peak and a bottom is displayed in the image display area 77. In the bottom mode, the measurement points are set at these peak positions. A cross symbol (cursor) indicated by reference numeral 97 indicates the position of the measurement point. As described above, in the bottom mode, the measurement point is automatically set at the bottom position within the measurement range between 16 pixels and 40 pixels.

ラインブライト上の測定点抽出操作中のモニタ画面を示す説明図が図22に示されている。尚、図11と同一構成部分には同符号を付して説明を省略する。同図に示されるように、グラフ表示領域78にはラインブライト波形が描かれ、そのピーク位置近傍には測定点座標を示すカーソル98が表示される。尚、カーソル97とカーソル98とは上下方向へ延びる直線状に整合させてもよい。そうすれば、画像表示領域77とグラフ表示領域78とを照らし合わせることにより測定点座標をより精密に確認することができる。   An explanatory diagram showing a monitor screen during the measurement point extraction operation on the line bright is shown in FIG. Note that the same components as those in FIG. As shown in the figure, a line bright waveform is drawn in the graph display area 78, and a cursor 98 indicating measurement point coordinates is displayed in the vicinity of the peak position. The cursor 97 and the cursor 98 may be aligned in a straight line extending in the vertical direction. Then, the measurement point coordinates can be confirmed more precisely by comparing the image display area 77 and the graph display area 78.

ラインブライト上の測定点抽出中のモニタ画面を示す説明図が図23に示されている。尚、図11と同一構成部分には同符号を付して説明を省略する。グラフ表示領域(通常サイズ)78とグラフ表示領域(拡大サイズ)78'とを比較して明らかなように、この例にあっては、ラインブライト波形が変位測定方向へと拡大されている。その結果、グラフ表示領域(拡大サイズ)78'に示されたラインブライト波形によれば、測定点座標とラインブライト波形との関係をより一層精度よく確認することができる。この操作は、例えばグラフ表示領域(通常サイズ)78にて測定点座標を確認したのち、所定の操作で拡大モードを選択することによって行うことができる。   An explanatory diagram showing a monitor screen during extraction of measurement points on the line bright is shown in FIG. Note that the same components as those in FIG. As is clear from a comparison between the graph display area (normal size) 78 and the graph display area (enlarged size) 78 ′, in this example, the line bright waveform is expanded in the displacement measurement direction. As a result, according to the line bright waveform shown in the graph display area (enlarged size) 78 ′, the relationship between the measurement point coordinates and the line bright waveform can be confirmed with higher accuracy. This operation can be performed, for example, by confirming the measurement point coordinates in the graph display area (normal size) 78 and then selecting the enlargement mode by a predetermined operation.

以上、各実施形態の説明でも明らかなように、この変位センサによれば、単に変位測定結果を確認するのみならず、生画像取得から変位量測定に至る過程で用いられた種々のデータ(生画像、ラインブライト波形、各種しきい値)をモニタ画面上に表示させることができるため、測定結果に異常が現れたような場合その原因が測定対象そのものの異常なのか外乱光による誤動作なのかを容易に判別することができ、例えば生産ラインに適用した場合トラブル発生時の対策を迅速にとることが可能となる。   As described above, as is apparent from the description of each embodiment, according to this displacement sensor, not only the displacement measurement result is confirmed, but also various data (raw data) used in the process from the acquisition of the raw image to the measurement of the displacement amount. Images, line bright waveforms, and various threshold values) can be displayed on the monitor screen, so if an abnormality appears in the measurement result, whether the cause is an abnormality in the measurement object itself or a malfunction due to ambient light For example, when it is applied to a production line, it is possible to quickly take measures when a trouble occurs.

特にモニタ画面上には生画像とラインブライト波形とを平行に並べて表示させるため、計測結果に異常が生じたような場合、その原因が外乱光にあるような場合には生画像とラインブライト波形とを照らし合わせつつその原因を精密に把握することができる。   In particular, since the raw image and the line bright waveform are displayed side by side in parallel on the monitor screen, if there is an abnormality in the measurement result or the cause is disturbance light, the raw image and the line bright waveform are displayed. It is possible to accurately grasp the cause of the situation.

又、測定範囲については変位測定方向のみならず、これと直交する方向についても設定可能としたため、二次元CCDの視野内にラインビームの像が片寄って位置していたり、あるいは測定対象物上の測定点がCCDの視野内において同様に片寄って位置しているような場合、それらの偏りを考慮して測定点を絞り込むことにより、より精密な計測が可能となる。   In addition, since the measurement range can be set not only in the displacement measurement direction but also in the direction orthogonal to this, the line beam image is offset in the field of view of the two-dimensional CCD, or on the measurement object. If the measurement points are similarly offset in the field of view of the CCD, more precise measurement is possible by narrowing down the measurement points in consideration of the deviation.

さらに、モニタ画面上には同時に作動する2台のセンサヘッドからの情報を並列にあるいは重ねて表示させることもできるため、2台のセンサヘッドを用いて段差計測を行うような場合、何らかのエラーが発生した場合いずれのセンサヘッドに原因があるかを迅速かつ的確に把握することができる。   Furthermore, since information from two sensor heads that operate simultaneously can be displayed in parallel or superimposed on the monitor screen, there is some error when performing step measurement using two sensor heads. When this occurs, it is possible to quickly and accurately grasp which sensor head has the cause.

加えて、コンベア上を次々と物品が搬送されてくるような場合、逐次検出される変位量をモニタ画面上に時系列的に表示させることもできるため、生産ラインにおける検査工程などにおいてはより使い勝手の良いものとなる。   In addition, when articles are conveyed one after another on the conveyor, the amount of displacement detected sequentially can be displayed on the monitor screen in chronological order, making it easier to use in the inspection process on the production line. Will be good.

本発明が適用された変位センサのシステム構成の一例を示すブロック図である。It is a block diagram which shows an example of the system configuration | structure of the displacement sensor to which this invention was applied. センサヘッドの内部構成を概略的に示す説明図である。It is explanatory drawing which shows the internal structure of a sensor head roughly. 本体装置の内部機能構成を示すブロック図である。It is a block diagram which shows the internal function structure of a main body apparatus. 変位センサの変位量測定動作を概略的に示すゼネラルフローチャートである。It is a general flowchart which shows roughly the displacement amount measurement operation | movement of a displacement sensor. センサヘッド内のCCDで撮像された画像の説明図である。It is explanatory drawing of the image imaged with CCD in a sensor head. 測定範囲内における測定点抽出処理の説明図である。It is explanatory drawing of the measurement point extraction process in a measurement range. CCDによる撮像画像とラインブライト波形との関係を示す説明図である。It is explanatory drawing which shows the relationship between the picked-up image by CCD, and a line bright waveform. しきい値決定方法の説明図である。It is explanatory drawing of the threshold value determination method. 測定点座標抽出処理の説明図である。It is explanatory drawing of a measurement point coordinate extraction process. モニタ画面生成方法の説明図である。It is explanatory drawing of the monitor screen production | generation method. 正常な計測値が得られた状態におけるモニタ画面の一例を示す図である。It is a figure which shows an example of the monitor screen in the state in which the normal measurement value was obtained. 画像及びラインブライト波形を変位軸方向に拡大した状態におけるモニタ画面の一例を示す説明図である。It is explanatory drawing which shows an example of the monitor screen in the state which expanded the image and the line bright waveform to the displacement axis direction. 外乱による誤計測が発生した状態におけるモニタ画面の一例を示す説明図である。It is explanatory drawing which shows an example of the monitor screen in the state in which the erroneous measurement by disturbance generate | occur | produced. 2つのセンサヘッドを同時に使用して段差計測を行なう状態におけるモニタ画面の一例を示す説明図である。It is explanatory drawing which shows an example of the monitor screen in the state which uses two sensor heads simultaneously, and performs a level | step difference measurement. 変位量データを時系列的に表示する状態におけるモニタ画面の一例を示す図である。It is a figure which shows an example of the monitor screen in the state which displays displacement amount data in time series. センサヘッド選択操作時のモニタ画面を示す説明図である。It is explanatory drawing which shows the monitor screen at the time of sensor head selection operation. ビームライン方向の測定領域の始点決定操作中のモニタ画面を示す説明図である。It is explanatory drawing which shows the monitor screen in operation in the starting point determination operation of the measurement area | region of a beam line direction. ビームライン方向の測定領域の終点決定操作中のモニタ画面を示す説明図である。It is explanatory drawing which shows the monitor screen during the end point determination operation of the measurement area | region of a beam line direction. 測定領域内におけるライン方向測定点抽出操作中のモニタ画面を示す説明図(ノーマルモード)である。It is explanatory drawing (normal mode) which shows the monitor screen in line direction measurement point extraction operation in a measurement area | region. 測定領域内におけるライン方向測定点抽出操作中のモニタ画面を示す説明図(ピークモード)である。It is explanatory drawing (peak mode) which shows the monitor screen in line direction measurement point extraction operation in a measurement area | region. 測定領域内におけるライン方向測定点抽出操作中のモニタ画面を示す説明図(ボトムモード)である。It is explanatory drawing (bottom mode) which shows the monitor screen in line direction measurement point extraction operation in a measurement area | region. ラインブライト上の測定点抽出操作中のモニタ画面を示す説明図である。It is explanatory drawing which shows the monitor screen during measurement point extraction operation on a line bright. ラインブライト上の測定点抽出操作中のモニタ画面を示す説明図である。It is explanatory drawing which shows the monitor screen during measurement point extraction operation on a line bright.

符号の説明Explanation of symbols

10 本体装置
20A,20B センサヘッド
30 画像モニタ
40 操作器
50 外部機器
60 検出対象物体
71 センサの視野
72 ラインビームの像
73 測定範囲
74 測定範囲の始点
75 測定範囲の終点
76 ラインブライト波形
77 画像表示領域
78 グラフ表示領域
79 数値表示領域
80 ガイド表示領域
81 ラインビームの光像
82 測定点座標を示す十字記号
83 ラインブライト波形
84 罫線
85 測定点座標を示す十字記号
86 許容範囲の下限値
87 許容範囲の上限値
88 測定結果を示す数値
89 判定結果を示す記号
90 外乱に基づく光像
92 始点ライン
93 終点ライン
94 選択ラインを示すカーソル
96 ラインビームの像
97 測定点座標を示すカーソル
98 測定点座標を示すカーソル
110 計測部
111 センサヘッド用インタフェース
111A 画像取込部
111B センサヘッド制御部
112 画像演算処理部
112A 画像転送部
112B 計測処理部
120 制御部
121 GUI部
122 画像処理部
123 制御処理部
124 外部出力インタフェース部
201 レーザダイオード
202 スリット板
203 投光レンズ系
204 受光レンズ系
205 撮像素子(二次元CCD)
D1 変位量データ出力
D2 判定出力
DESCRIPTION OF SYMBOLS 10 Main body apparatus 20A, 20B Sensor head 30 Image monitor 40 Controller 50 External apparatus 60 Object to be detected 71 Sensor field of view 72 Line beam image 73 Measurement range 74 Measurement range start point 75 Measurement range end point 76 Line bright waveform 77 Image display Area 78 Graph display area 79 Numerical display area 80 Guide display area 81 Optical image of line beam 82 Cross symbol indicating measurement point coordinate 83 Line bright waveform 84 Ruled line 85 Cross symbol indicating measurement point coordinate 86 Lower limit of allowable range 87 Allowable range 88 A numerical value indicating the measurement result 89 A symbol indicating the determination result 90 A light image based on disturbance 92 A starting point line 93 An end point line 94 A cursor indicating a selected line 96 A line beam image 97 A cursor indicating a measuring point coordinate 98 A measuring point coordinate Cursor shown 110 Measuring unit 1 DESCRIPTION OF SYMBOLS 1 Sensor head interface 111A Image acquisition part 111B Sensor head control part 112 Image arithmetic processing part 112A Image transfer part 112B Measurement processing part 120 Control part 121 GUI part 122 Image processing part 123 Control processing part 124 External output interface part 201 Laser diode 202 Slit plate 203 Projecting lens system 204 Receiving lens system 205 Imaging device (two-dimensional CCD)
D1 Displacement data output D2 Judgment output

Claims (6)

撮像素子から取得した受光輝度分布から、所定の測定点抽出アルゴリズムを用いて前記受光輝度分布上における、計測対象物品の高さの変化に伴って、前記撮像素子上の反射光像の位置が変化する方向の測定点座標を自動抽出し、該自動抽出された測定点座標に基づいて計測対象物品表面の高さ方向の変位量を算出する光切断法に基づく変位センサであって、
前記撮像素子上の反射光像の位置が変化する方向における受光輝度分布を示すラインブライト波形上に、前記反射光像の位置が変化する方向の測定値許容範囲を示す図形を重ねた画像を表示するための、画像モニタ用の表示データを編集する表示データ編集手段を有する変位センサ。
From receiving the luminance distribution obtained from the image sensor, on the light receiving intensity distribution by using a predetermined measuring point extraction algorithm, with the height change of the measurement target object, the position change of the reflection light image on the imaging device A displacement sensor based on a light cutting method that automatically extracts measurement point coordinates in a direction to be calculated and calculates a displacement amount in the height direction of the surface of the measurement target article based on the automatically extracted measurement point coordinates,
An image is displayed in which a line bright waveform indicating a light-receiving luminance distribution in a direction in which the position of the reflected light image on the image sensor changes is superimposed with a figure indicating a measurement value allowable range in the direction in which the position of the reflected light image changes. A displacement sensor having display data editing means for editing display data for image monitoring.
前記表示データ編集手段は、前記撮像素子上の反射光像の位置が変化する方向における受光輝度分布を示すラインブライト波形上に、前記反射光像の位置が変化する方向の測定値許容範囲を示す図形に加えて、前記測定点座標を示す図形を重ねた画像を表示するための、画像モニタ用の表示データを編集する、ことを特徴とする請求項1に記載の変位センサ。 The display data editing means indicates a measurement value allowable range in a direction in which the position of the reflected light image changes on a line bright waveform indicating a light reception luminance distribution in a direction in which the position of the reflected light image on the image sensor changes. displacement sensor according to claim 1 in addition to the graphics, for displaying an image of extensive figure indicating the measuring point coordinate, to edit the display data for an image monitor, characterized in that. 前記表示データ編集手段は、前記撮像素子上の反射光像の位置が変化する方向における受光輝度分布を示すラインブライト波形上に、前記反射光像の位置が変化する方向の測定値許容範囲を示す図形に加えて、前記測定点座標前記測定値許容範囲との比較により得られた判定結果を示す記号を表示するための、画像モニタ用の表示データを編集する、ことを特徴とする請求項1に記載の変位センサ。 The display data editing means indicates a measurement value allowable range in a direction in which the position of the reflected light image changes on a line bright waveform indicating a light reception luminance distribution in a direction in which the position of the reflected light image on the image sensor changes. in addition to graphics, the claims wherein the editing measurement point coordinates and for displaying the symbol indicating the determination result obtained by comparison of the measured value tolerance range, the display data for an image monitor, characterized in that The displacement sensor according to 1. 光切断法に基づく変位計測方法であって、
撮像素子から受光輝度分布を取得するステップと、
取得した受光輝度分布から、所定の測定点抽出アルゴリズムを用いて受光輝度分布上における、計測対象物品の高さの変化に伴って、前記撮像素子上の反射光像の位置が変化する方向の測定点座標を自動抽出し、該自動抽出された測定点座標に基づいて計測対象物品表面の高さ方向の変位量を算出するステップと、
前記撮像素子上の反射光像の位置が変化する方向における受光輝度分布を示すラインブライト波形上に前記反射光像の位置が変化する方向の測定値許容範囲を示す図形を重ねた画像を表示するための表示データを編集するステップと、
前記表示データを画像モニタに与えて、画像モニタの画面上にラインブライト波形の画像を表示させるステップと
を具備することを特徴とする変位計測方法。
A displacement measurement method based on a light cutting method,
Obtaining a received light intensity distribution from the image sensor;
Measurement in the direction in which the position of the reflected light image on the image sensor changes in accordance with the change in the height of the article to be measured on the received light brightness distribution using the predetermined measurement point extraction algorithm from the received received light brightness distribution Automatically extracting point coordinates and calculating the amount of displacement in the height direction of the surface of the measurement target article based on the automatically extracted measurement point coordinates;
An image is displayed in which a graphic indicating a measurement value allowable range in the direction in which the position of the reflected light image changes is superimposed on a line bright waveform indicating a light reception luminance distribution in the direction in which the position of the reflected light image on the image sensor changes. Editing the display data for
Providing the display data to an image monitor, and displaying an image of a line bright waveform on a screen of the image monitor.
前記編集するステップは、前記撮像素子上の反射光像の位置が変化する方向における受光輝度分布を示すラインブライト波形上に、前記反射光像の位置が変化する方向の測定値許容範囲を示す図形に加えて、前記測定点座標を示す図形を重ねた画像を表示するための表示データを編集する、ことを特徴とする請求項4に記載の変位計測方法。 In the editing step, a figure indicating a measurement value allowable range in a direction in which the position of the reflected light image changes on a line bright waveform indicating a light reception luminance distribution in a direction in which the position of the reflected light image on the image sensor changes. The displacement measurement method according to claim 4, wherein display data for displaying an image in which a graphic indicating the measurement point coordinates is superimposed is edited. 前記編集するステップは、前記撮像素子上の反射光像の位置が変化する方向における受光輝度分布を示すラインブライト波形上に、前記反射光像の位置が変化する方向の測定値許容範囲を示す図形に加えて、前記測定点座標前記測定値許容範囲との比較により得られた判定結果を示す記号を重ねた画像を表示するための表示データを編集する、ことを特徴とする請求項4に記載の変位計測方法。 In the editing step, a figure indicating a measurement value allowable range in a direction in which the position of the reflected light image changes on a line bright waveform indicating a light reception luminance distribution in a direction in which the position of the reflected light image on the image sensor changes. in addition, editing the display data for displaying an image of extensive symbol indicating a determination result obtained by the comparison of the measured value tolerance range and the measuring point coordinate, it in claim 4, wherein the The displacement measuring method described.
JP2004349741A 2000-01-31 2004-12-02 Displacement sensor and displacement measurement method Expired - Lifetime JP4447441B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004349741A JP4447441B2 (en) 2000-01-31 2004-12-02 Displacement sensor and displacement measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000027429 2000-01-31
JP2004349741A JP4447441B2 (en) 2000-01-31 2004-12-02 Displacement sensor and displacement measurement method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000382665A Division JP2001289614A (en) 2000-01-31 2000-12-15 Displacement sensor

Publications (2)

Publication Number Publication Date
JP2005091374A JP2005091374A (en) 2005-04-07
JP4447441B2 true JP4447441B2 (en) 2010-04-07

Family

ID=34466541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004349741A Expired - Lifetime JP4447441B2 (en) 2000-01-31 2004-12-02 Displacement sensor and displacement measurement method

Country Status (1)

Country Link
JP (1) JP4447441B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008096118A (en) * 2006-10-05 2008-04-24 Keyence Corp Optical displacement gauge, optical displacement measurement method, optical displacement measurement program, computer readable recording medium and recording equipment
JP5507050B2 (en) * 2008-01-24 2014-05-28 パナソニック株式会社 3D sensor

Also Published As

Publication number Publication date
JP2005091374A (en) 2005-04-07

Similar Documents

Publication Publication Date Title
US8107685B2 (en) Displacement sensor having a display data output
KR101155816B1 (en) Image processing device and image processing method for performing three dimensional measurements
KR100785594B1 (en) Image process apparatus
JP7082715B2 (en) Detection of machining errors in laser machining systems using deep convolutional neural networks
EP2033747A2 (en) Robot simulation apparatus
KR20210091789A (en) Laser Machining Process Monitoring System and Method Using Deep Convolutional Neural Network
US20200033109A1 (en) Workpiece measurement device, workpiece measurement method and non-transitory computer readable medium recording a program
JP2002357408A (en) Optical measuring device
JP3963975B2 (en) Mounting position data creation method and mounting inspection method
CN107429997A (en) For the method and apparatus for the dimensional characteristic for determining measurement object
JP2010133744A (en) Defect detection method, and visual inspection device using the same
JP4447441B2 (en) Displacement sensor and displacement measurement method
JP4788475B2 (en) Image processing apparatus and image processing method
JP6572117B2 (en) Microscope, image pasting method, program
CN110044296B (en) Automatic tracking method and measuring machine for 3D shape
JP3855254B2 (en) Displacement sensor
JP4778855B2 (en) Optical measuring device
US20230066200A1 (en) Workpiece image analyzing device, workpiece image analyzing method, and program
JP2963328B2 (en) Method and apparatus for creating wafer map for semiconductor wafer
JP2021189143A (en) Three-dimensional measuring machine and data processing device
WO2020065854A1 (en) Workpiece position detecting method and machine tool
JP5350082B2 (en) Accuracy determination device for shape measuring device
US20020159073A1 (en) Range-image-based method and system for automatic sensor planning
JP2501150B2 (en) Laser welding method
JP2004301668A (en) Measuring route generation method, apparatus and method for non-contact three-dimensional measurement

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070404

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070604

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4447441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140129

Year of fee payment: 4

EXPY Cancellation because of completion of term