JP2010266406A - Measuring device - Google Patents

Measuring device Download PDF

Info

Publication number
JP2010266406A
JP2010266406A JP2009120174A JP2009120174A JP2010266406A JP 2010266406 A JP2010266406 A JP 2010266406A JP 2009120174 A JP2009120174 A JP 2009120174A JP 2009120174 A JP2009120174 A JP 2009120174A JP 2010266406 A JP2010266406 A JP 2010266406A
Authority
JP
Japan
Prior art keywords
image
height
unit
confocal microscope
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009120174A
Other languages
Japanese (ja)
Inventor
Tetsuya Ito
哲也 伊藤
Takahiro Shimizu
高博 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2009120174A priority Critical patent/JP2010266406A/en
Publication of JP2010266406A publication Critical patent/JP2010266406A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem wherein, whereas an imaging surface is scanned with light in a confocal microscope by rotating a Nipkow disk, an acquired image is differentiated according to rotational speed of the Nipkow disk and a frame rate of a camera (on the assumption that shutter speed is the same as the frame rate), for example, when four images are acquired by one revolution of the Nipkow disk, if a characteristic of an optical element such as the Nipkow disk is different according to a rotation position, brightness appears as flicker changing irregularly. <P>SOLUTION: In a height measuring device using a confocal microscope, each frame buffer having a time difference in each vertical synchronous signal on a height measuring part is provided on a plurality of stages, and each image is averaged relative to each pixel, and height is measured by using the average image. Preferably, the number of stages of the frame buffer is the same as the number of images of one revolution portion of the Nipkow disk. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は被写体像を共焦顕微鏡で拡大し、拡大した被写体像の画像に基づいて、被写体の高さを測定する高さ測定装置に関わり、特に医療用若しくは産業用の高さ測定装置に関するものである。   The present invention relates to a height measuring device that magnifies a subject image with a confocal microscope and measures the height of the subject based on the enlarged image of the subject image, and more particularly to a medical or industrial height measuring device. It is.

高さ測定装置に用いる共焦点顕微鏡は、合焦点位置と光学的に共役な位置にピンホールを設け、合焦点以外の光が通るのを防ぐことで、通常の光学顕微鏡より、精細な画像を得ることが可能な顕微鏡である。
従来の共焦点顕微鏡を図1によって説明する。図1は、従来の共焦点顕微鏡の基本原理を説明するための模式的な図である。100 は光源、101 は結像レンズ、102 はハーフミラー、103 はニポウディスク、104 はピンホール、105 は対物レンズ、106 は被測定対象物の試料面、107 は結像レンズ、108 は撮像面である。
The confocal microscope used in the height measurement device has a pinhole at a position optically conjugate with the in-focus position, and prevents light other than the in-focus position from passing through. It is a microscope that can be obtained.
A conventional confocal microscope will be described with reference to FIG. FIG. 1 is a schematic diagram for explaining the basic principle of a conventional confocal microscope. 100 is a light source, 101 is an imaging lens, 102 is a half mirror, 103 is a Niipou disc, 104 is a pinhole, 105 is an objective lens, 106 is a sample surface of an object to be measured, 107 is an imaging lens, and 108 is an imaging surface is there.

図1において、光源 100 から出力された平行光は、結像レンズ 101 によって、ニポウディスク 103 の特定のピンホール 104 に結像する。ニポウディスク 103 の前にはハーフミラー 102 があるが、結像レンズ 101 からの光を透過させ、逆方向から入る反射光を反射させるもの(後述)である。
ピンホール 104 を通過した光は対物レンズ 105 に入り、試料面 106 に到達する。試料面 106 からの反射光は対物レンズ 105 に戻り、再びピンホール 104 を通過して、共焦点効果を得る。
この再びピンホール 104 を通過した反射光は、ハーフミラー 102 に入り、90[°]( π/2[rad])方向を変え、結像レンズ 107 を通過して、撮像面 108 に結像する。
In FIG. 1, the parallel light output from the light source 100 forms an image on a specific pinhole 104 of the Niipou disc 103 by the imaging lens 101. There is a half mirror 102 in front of the Niipou disc 103, which transmits light from the imaging lens 101 and reflects reflected light entering from the opposite direction (described later).
The light that has passed through the pinhole 104 enters the objective lens 105 and reaches the sample surface 106. The reflected light from the sample surface 106 returns to the objective lens 105 and passes through the pinhole 104 again to obtain a confocal effect.
The reflected light that has passed through the pinhole 104 again enters the half mirror 102, changes the direction of 90 [°] (π / 2 [rad]), passes through the imaging lens 107, and forms an image on the imaging surface 108. .

ニポウディスクは、数千のピンホールを持っており、これらが回転することで、数千本の光が、試料面 106 をスキャンすることとなる。即ち、試料面 106 に到達し、試料面 106 からの反射光は対物レンズ 105 に戻り、再びピンホール 104 を通過した反射光は、ハーフミラー 102 を介して、撮像面 108 に結像し、撮像面 108 をスキャンし、撮像面 108 で1枚の画像を得ることができる。   The Nipkow disc has thousands of pinholes, and by rotating these, thousands of light scan the sample surface 106. That is, the light reaching the sample surface 106, the reflected light from the sample surface 106 returns to the objective lens 105, and the reflected light that has passed through the pinhole 104 again forms an image on the imaging surface 108 via the half mirror 102. The surface 108 is scanned, and one image can be obtained on the imaging surface 108.

共焦点顕微鏡は、合焦点以外の光をほとんど通さないために、通常の光学顕微鏡よりも、被写体深度が極めて浅い。
例えば、図2に示すように、中央部がなだらかな山形をした形状の試料 201 を Z 軸方向(高さ方向)に向かって、裾野から頂上に移動しながら、映像を取得すると共にその時の Z 座標値を記録していく。図2は、試料の高さ方向の変化を模式的に示した図である。
図2の破線に沿って、山形形状部の断面をとると図3(a) となる。図3(a) は、縦軸に高さ( Z 軸方向)、横軸に X 軸方向の位置座標をとった模式図である。この図では便宜的に、横軸を X 軸方向の位置座標としたが、 XY 平面上の位置 座標としても良い。
また、図3は試料の高さ方向の変化と輝度値との関係を模式的に示した図である。図3(b) は、図3(a) において、合焦点位置の高さ( Z 軸座標)を Z1 、Z2 、Z3 、・・・、Z7 、Z8 それぞれで撮像した画素の輝度値を示した図である。図3(b) において、縦軸は、山形形状の高さ、横軸は、それぞれ、合焦点位置の高さ Z1 、Z2 、Z3 ・・・、Z7 、Z8 それぞれで撮像した画素の輝度値である。
Since the confocal microscope hardly transmits light other than the in-focus point, the object depth is extremely shallower than that of a normal optical microscope.
For example, as shown in FIG. 2, a sample 201 having a gentle mountain shape at the center is moved from the skirt to the top in the Z-axis direction (height direction), and an image is acquired and Z at that time is acquired. Record the coordinate values. FIG. 2 is a diagram schematically showing a change in the height direction of the sample.
If the cross section of the mountain-shaped portion is taken along the broken line in FIG. 2, the result is FIG. FIG. 3 (a) is a schematic diagram in which the vertical axis represents height (Z-axis direction) and the horizontal axis represents position coordinates in the X-axis direction. In this figure, for convenience, the horizontal axis is the position coordinate in the X-axis direction, but it may be the position coordinate on the XY plane.
FIG. 3 is a diagram schematically showing the relationship between the change in the height direction of the sample and the luminance value. FIG. 3 (b) shows the luminance values of the pixels imaged in FIG. 3 (a) with the in-focus position height (Z-axis coordinate) Z1, Z2, Z3,..., Z7, Z8. FIG. In FIG. 3 (b), the vertical axis is the height of the chevron shape, and the horizontal axis is the brightness value of the pixels imaged at the in-focus position heights Z1, Z2, Z3..., Z7, Z8, respectively. is there.

図3(b) に示すように、各合焦点位置の高さ、即ち、各 Z 座標位置( Z1 、Z2 、Z3 、・・・、Z7 、Z8 )に、それぞれの輝度値のピーク( I1 、I2 、I3 、・・・、I7 、I8 )があることがわかる。なお、この図3(b) のそれぞれの曲線を、以後、Z カーブと呼ぶ。
共焦点顕微鏡では、この Z カーブは、一般的な光学的顕微鏡よりも、被写体深度が浅いために、急峻なカーブとなる。そのため、Z カーブ(輝度値)のピーク位置の Z 座標値で、合焦点位置の特定が極めて容易である。
即ち、撮値面の各画素に対して、Z カーブを取得することで、各画素位置の高さ情報を得ることができる。また、本明細書では、各画素に対して、 Z カーブの頂点位置の輝度値を取り出して作成した画像を全焦点画像と称する。
As shown in FIG. 3 (b), the peak of each luminance value (I1,...) At the height of each focal point, that is, each Z coordinate position (Z1, Z2, Z3,..., Z7, Z8). It can be seen that there are I2, I3,..., I7, I8). The respective curves in FIG. 3 (b) are hereinafter referred to as Z curves.
In a confocal microscope, this Z curve is steeper because the depth of field is shallower than that of a general optical microscope. Therefore, it is very easy to specify the in-focus position using the Z coordinate value of the peak position of the Z curve (luminance value).
That is, the height information of each pixel position can be obtained by obtaining a Z curve for each pixel on the imaging surface. Further, in this specification, an image created by extracting the luminance value at the vertex position of the Z curve for each pixel is referred to as an omnifocal image.

特開2001−111887号公報JP 2001-1111887 A

上述したように、共焦点顕微鏡はニポウディスクを回転することによって、光が撮像面をスキャンする。得られた画像は、ニポウディスクの回転速度とカメラのフレームレート(シャッタースピードはフレームレートと同じと仮定)により、異なるものとなる。
例えば、
(1)回転速度を1800[rpm]、カメラのフレームレートを30[fps]とすると、ニポウディスク1回転で、1枚の画像が得られる。
(2)回転速度を1800[rpm]、カメラのフレームレートを120[fps]とすると、ニポウディスク1/4回転で、1枚の画像が得られる。
As described above, the confocal microscope rotates the Nipkow disk, so that light scans the imaging surface. The obtained image differs depending on the rotation speed of the Nipkow disc and the frame rate of the camera (assuming that the shutter speed is the same as the frame rate).
For example,
(1) Assuming that the rotation speed is 1800 [rpm] and the camera frame rate is 30 [fps], one image can be obtained by one rotation of the Nipo disk.
(2) Assuming that the rotation speed is 1800 [rpm] and the camera frame rate is 120 [fps], one image can be obtained by 1/4 rotation of the Niipou disc.

上述の(2)において、ニポウディスク1/4回転で1枚の画像を構成する場合では、ニポウディスク1回転で4枚の画像が得られる。しかし、ニポウディスクなどの光学素子の特性が、回転している位置によって異なると、4枚の画像の輝度などが不均一になる。これらの不均一な画像は連続表示させると、輝度が不定期に変化するフリッカとして現れる。   In the above (2), when one image is formed by ¼ rotation of the nippo disk, four images are obtained by one rotation of the nipou disk. However, if the characteristics of an optical element such as a Niipou disc vary depending on the position of rotation, the luminance of the four images becomes non-uniform. When these non-uniform images are continuously displayed, they appear as flicker whose luminance changes irregularly.

特許文献1には、画素の輝度値を1ライン毎に積算し、現在のフレーム画像及び過去の複数フレーム画像にわたって、各フレーム画像の同一ラインに対して1ライン毎の積算結果を平均化し、1ライン毎の積算結果について、積算結果の平均値で除算し、その除算結果から電源周波数が50[Hz]か60[Hz]かを判定し、その判定結果に基づいて、シャッタースピードを所定の値に切替えることで、電源周波数の違いに起因するフリッカの発生を抑圧している。
しかし、上記特許文献1と異なり、本発明の課題は、電源周波数の違いではなく、ニポウディスクなどの光学素子の特性が、回転している位置によって異なること起因するものである。
上記の問題に鑑み、本発明は、共焦点顕微鏡の出力画像を平均化することによって、フリッカを低減可能な、高さ測定装置を提供することを目的とする。
In Patent Document 1, pixel luminance values are integrated for each line, and the integration results for each line are averaged over the same line of each frame image over the current frame image and a plurality of past frame images. The integration result for each line is divided by the average value of the integration results, and it is determined whether the power frequency is 50 [Hz] or 60 [Hz] based on the division result, and the shutter speed is set to a predetermined value based on the determination result. By switching to, the occurrence of flicker due to the difference in power supply frequency is suppressed.
However, unlike the above-mentioned Patent Document 1, the problem of the present invention is caused not by the difference in power supply frequency but by the fact that the characteristics of an optical element such as a nippo disk differ depending on the rotating position.
In view of the above problems, an object of the present invention is to provide a height measuring apparatus that can reduce flicker by averaging output images of a confocal microscope.

上記の課題を解決するために、本発明は、測定制御部内の高さ測定のために、1垂直同期信号毎に時間差を持ったフレームバッフアを複数段設け、それぞれの画像の画素毎に平均を行い、その平均画像を用いて、高さ測定を行うものである。   In order to solve the above problems, the present invention provides a plurality of frame buffers having a time difference for each vertical synchronization signal for height measurement in the measurement control unit, and averages each pixel of each image. The height is measured using the average image.

即ち、本発明の共焦点顕微鏡を使用した高さ測定装置において、前記共焦顕微鏡のZ軸座標位置を移動可能な制御部と、前記共焦顕微鏡の結像画像を撮像するカメラと、前記Z軸の座標位置を出力するリニアスケールと、装置の制御と高さ測定を行う測定制御部とを有した高さ測定装置において、前記測定制御部は、前記共焦顕微鏡のZ軸座標位置を始点位置から終点位置に移動時、前記共焦顕微鏡の画像を過去の連続した所定数の画像の平均を行いながら取り込み、1つ前の平均画像の輝度値を比較しながら、より輝度値の高い画素とそのリニアスケールから読み出したZ座標を残す機能を有する高さ測定部を具備することで、ニポウディスクやそれに付随する光学的素子の輝度むらを低減できるものである。。   That is, in the height measuring apparatus using the confocal microscope of the present invention, a control unit that can move the Z-axis coordinate position of the confocal microscope, a camera that captures an image formed by the confocal microscope, and the Z In a height measuring device having a linear scale for outputting the coordinate position of the axis and a measurement control unit for controlling the device and measuring the height, the measurement control unit starts the Z-axis coordinate position of the confocal microscope. When moving from the position to the end position, the image of the confocal microscope is captured while averaging a predetermined number of consecutive images in the past, and the pixel having a higher luminance value is compared while comparing the luminance values of the previous average image. And a height measuring unit having a function of leaving the Z coordinate read from the linear scale can reduce unevenness in brightness of the Nipkow disc and its associated optical elements. .

好ましくは、フレームバッファの段数は、ニポウディスクが1回転当たり取得する画像の枚数と同一にするものである。即ち、フレームバッファの段数は、ニポウディスクが1回転をするように設計する。つまり、回転速度を1800[rpm]、カメラのフレームレートが120[fps]であるとすると、ニポウディスクが1回転すると画像が4枚得られる。従って、フレームバッファを4段設け、これらの画像を平均して、高さ測定を行うものである。
即ち、本発明は、共焦点顕微鏡を使用した高さ測定装置において、Z 軸を駆動可能な制御部を有し、Z 軸にリニアスケールを有し、Z 軸を始点位置から終点位置に移動時、顕微鏡の画像を過去の連続した複数画像の平均を行いながら取り込み、1つ前の平均画像の輝度値を比較しながら、より輝変値の高い画素とそのリニアスケールから読み出したZ 座標を残す機能を有することで、ニポウディスクやそれに付随する光学的素子の輝度むらを低減できる共焦点顕微鏡を使用した高さ測定装置である。
Preferably, the number of stages of the frame buffer is the same as the number of images acquired by the Nipkow disc per rotation. That is, the number of stages of the frame buffer is designed so that the Nipkow disk makes one rotation. In other words, assuming that the rotation speed is 1800 [rpm] and the camera frame rate is 120 [fps], four images are obtained when the Nipkow disk rotates once. Accordingly, four frame buffers are provided, and these images are averaged to measure the height.
In other words, the present invention is a height measurement apparatus using a confocal microscope, having a control unit capable of driving the Z axis, having a linear scale on the Z axis, and moving the Z axis from the start position to the end position. The image of the microscope is taken while averaging a plurality of consecutive images in the past, and the luminance value of the previous average image is compared, and the pixel having a higher brightness change value and the Z coordinate read from the linear scale are left. It is a height measuring device using a confocal microscope that has a function and can reduce luminance unevenness of the Niipou disc and optical elements associated therewith.

本発明によれば、共焦点顕微鏡からの画像のフリッカを低減できるため、高さ測定を行うと、より精度の高い測定が可能となる。   According to the present invention, since flicker of an image from a confocal microscope can be reduced, more accurate measurement can be performed by performing height measurement.

従来の共焦点顕微鏡の基本原理を説明するための模式的な図である。It is a schematic diagram for demonstrating the basic principle of the conventional confocal microscope. 試料の高さ方向の変化を模式的に示した図である。It is the figure which showed typically the change of the height direction of a sample. 試料の高さ方向の変化と輝度値との関係を模式的に示した図である。It is the figure which showed typically the relationship between the change of the height direction of a sample, and a luminance value. 本発明の高さ測定装置の一実施例の構成を示すブロック図である。It is a block diagram which shows the structure of one Example of the height measuring apparatus of this invention. 本発明の高さ測定装置の測定制御部413における高さ測定ユニットの構成の一実施例を示す図である。It is a figure which shows one Example of a structure of the height measurement unit in the measurement control part 413 of the height measuring apparatus of this invention.

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、各図の説明において、従来の技術を説明した図1と図2を含め、同一の機能を有する構成要素には同一の参照番号を付し、重複を避けるため、できるだけ説明を省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description of each figure, components having the same function are given the same reference numerals, including those in FIGS. 1 and 2 describing the prior art, and the description will be omitted as much as possible to avoid duplication.

本発明の共焦点顕微鏡を用いた高さ測定装置の一実施例の構成を図4によって説明する。図4は、本発明の高さ測定装置の一実施例の全体構成を示す模式的なブロック図である。高さ測定装置は、線幅測定装置とほぼ同様の構成で、その構成上の違いは、顕微鏡が図4に示した共焦点の部品を含む顕微鏡であること、また、正確な Z 座標(高さ座標)が取得できるように、リニアスケールを備え、カメラ等のイメージセンサからの映像と Z 座標より、高さ測定を可能とする高さ測定手段を有することである。   The configuration of an embodiment of the height measuring apparatus using the confocal microscope of the present invention will be described with reference to FIG. FIG. 4 is a schematic block diagram showing the overall configuration of an embodiment of the height measuring apparatus of the present invention. The height measuring device has almost the same configuration as the line width measuring device, and the difference in configuration is that the microscope is a microscope including the confocal part shown in FIG. It has a linear scale and has a height measuring means that can measure the height from the image from the image sensor such as a camera and the Z coordinate.

図4において、401 はカメラ、402 は共焦点顕微鏡、403 は対物レンズ、404 は被測定対象物である試料、405 は試料台、406 は Y 軸駆動部、407 は X 軸駆動部、408 はリニアスケール、409 は Z 軸駆動部、410 は XYZ 軸制御部、411 は PC( Personal Computer )、412 は光源、413 は測定制御部である。
光源 412 は、例えば、ランプの中に封じ込まれているガスが金属ハロゲン化合物(例えば、水銀灯、等)のメタルハライドランプである。また、カメラ 401 は、TV( Tele-Vision )カメラ等の連写撮影可能なイメージセンサであれば良い。
なお、図4では、Z 軸の移動のために、試料を上下する。しかし、対物レンズを含む顕微鏡部分全体を上下しても良い。また更に、試料と顕微鏡部の双方を移動することによっても良い。
In FIG. 4, 401 is a camera, 402 is a confocal microscope, 403 is an objective lens, 404 is a sample to be measured, 405 is a sample stage, 406 is a Y-axis drive unit, 407 is an X-axis drive unit, and 408 is A linear scale, 409 is a Z-axis drive unit, 410 is an XYZ-axis control unit, 411 is a PC (Personal Computer), 412 is a light source, and 413 is a measurement control unit.
The light source 412 is, for example, a metal halide lamp in which the gas enclosed in the lamp is a metal halide compound (for example, a mercury lamp). The camera 401 may be an image sensor capable of continuous shooting such as a TV (Tele-Vision) camera.
In FIG. 4, the sample is moved up and down to move the Z axis. However, the entire microscope portion including the objective lens may be moved up and down. Still further, both the sample and the microscope unit may be moved.

光源 412 から出力された光は、共焦点顕微鏡 402 に入力され、対物レンズ 403 を通り、試料 404 の表面に到達する。試料 404 は、到達した光に対する反射光を出射し、出射された反射光は、再び対物レンズ 403 を通り、カメラ 401 の撮像面で結像する。
カメラ 401 は、撮像面に結像された像を撮像して映像信号に変換し、測定制御部 413 に出力する。これによって、撮像された映像は、測定制御部 413 で取り込まれ、画像処理が実行される、高さ測定が為される。
試料 404 の高さ測定の制御は、測定制御部 413 が行う。即ち、測定制御部 413 は、X 軸駆動部 407 、Y 軸駆動部 406 、及び、Z 軸駆動部 409 を、XYZ 軸制御部 410 を介して制御することによって、高さを変更する。例えば、Z 軸駆動部 409 を制御することによって、試料 404 とカメラ 401 、及び試料 404 とニポウディスクのピンホール高さ間の距離が、指定された数値となるように、Z 座標が相対的に変更される。
The light output from the light source 412 is input to the confocal microscope 402, passes through the objective lens 403, and reaches the surface of the sample 404. The sample 404 emits reflected light with respect to the arrived light, and the emitted reflected light passes through the objective lens 403 again and forms an image on the imaging surface of the camera 401.
The camera 401 captures an image formed on the imaging surface, converts it into a video signal, and outputs it to the measurement control unit 413. As a result, the imaged image is captured by the measurement control unit 413, and height measurement is performed in which image processing is executed.
The measurement control unit 413 controls the height measurement of the sample 404. That is, the measurement control unit 413 changes the height by controlling the X-axis drive unit 407, the Y-axis drive unit 406, and the Z-axis drive unit 409 via the XYZ axis control unit 410. For example, by controlling the Z-axis drive unit 409, the Z coordinate is relatively changed so that the distance between the pinhole height of the sample 404 and the camera 401, and between the sample 404 and the Niipou disc becomes a specified numerical value. Is done.

図5によって、本発明の一実施例を更に説明する。図5は、図4の本発明の高さ測定装置の測定制御部 413 における高さ測定部の構成の一実施例を示す図である。500 は高さ測定部、501 はフレームバッファ、502 は比較画像部、503 は比較部、504 は更新部、505 は計算結果出力部、506 〜 509 はフレームバッファ、510 は平均部、513 は Z 座標部、514 は比較データ部、515 は選択部、516 は高さデータ出力部である。なお、高さ測定部を構成する各部を制御するコントロール部は図示しないが、例えば、CPU であり、測定制御部 413 全体を制御する制御部であり、PC 411 からオペレータが測定制御部 413 を操作することによって動作する。   An embodiment of the present invention will be further described with reference to FIG. FIG. 5 is a diagram showing an embodiment of the configuration of the height measuring unit in the measurement control unit 413 of the height measuring apparatus of the present invention shown in FIG. 500 is a height measurement unit, 501 is a frame buffer, 502 is a comparison image unit, 503 is a comparison unit, 504 is an update unit, 505 is a calculation result output unit, 506 to 509 are frame buffers, 510 is an average unit, and 513 is Z A coordinate part, 514 is a comparison data part, 515 is a selection part, and 516 is a height data output part. Although not shown in the figure, a control unit that controls each part of the height measurement unit is, for example, a CPU, a control unit that controls the entire measurement control unit 413, and an operator operates the measurement control unit 413 from the PC 411. To work.

図5の実施例では、ニポウディスクの回転速度を1800[rpm]、カメラのフレームレートを120[fps]とし、カメラのシャッター速度はフレームレートと同一として説明する。
図5は、測定制御部 413 の一部を構成する高さ測定部 500 の構成を示したものである。高さ測定部 500 は、カメラ 401 の出力画像とリニアスケール 408 の出力データである Z 座標位置を示す値( Z 座標値)を入力とし、各画素の高さをデータ化した高さデータと全焦点画像とを出力する。
In the embodiment shown in FIG. 5, it is assumed that the rotation speed of the Nipkow disk is 1800 [rpm], the frame rate of the camera is 120 [fps], and the shutter speed of the camera is the same as the frame rate.
FIG. 5 shows the configuration of the height measuring unit 500 that constitutes a part of the measurement control unit 413. The height measurement unit 500 receives the output image of the camera 401 and the value indicating the Z coordinate position (Z coordinate value) as the output data of the linear scale 408 (Z coordinate value) as input, and the height data obtained by converting the height of each pixel into data. Output a focus image.

図5において、カメラ 401 は、Z 軸を始点位置から終点位置に移動時、共焦点顕微鏡の画像を撮像し、その出力画像を、高さ測定部 500 のフレームバッファ 506 に出力する。フレームバッファ 506 〜 509 、及び 501 は、カメラ 401 の垂直同期信号に同期して更新される。即ち、フレームバッファ 506 〜 509 、及びフレームバッファ 501 は、それぞれ、測定制御部 413 の内部で、カメラ 401 の映像信号に基づいて生成される垂直同期信号が入力される。これによって、各フレームバッファは、1V毎に同期及び更新を行う。
フレームバッファ 506 は、入力された画像を、平均部 510 と共に、1垂直同期信号の時間差(以降、1Vと称する)遅延して、フレームバッファ 507 に出力する。フレームバッファ 507 は、入力された画像を、平均部 510 と共に、1垂直同期信号の時間差(以降、1Vと呼ぶ)遅延して、フレームバッファ 508 に出力する。フレームバッファ 508 は、入力された画像を、1垂直同期信号の時間差(以降、1Vと呼ぶ)遅延して、平均部 510 に出力する。このように、フレームバッファ 506 〜 509 は、1V毎に次々と更新されて行く。
In FIG. 5, when the camera 401 moves the Z axis from the start point position to the end point position, the camera 401 takes an image of the confocal microscope and outputs the output image to the frame buffer 506 of the height measuring unit 500. The frame buffers 506 to 509 and 501 are updated in synchronization with the vertical synchronization signal of the camera 401. That is, each of the frame buffers 506 to 509 and the frame buffer 501 receives a vertical synchronization signal generated based on the video signal of the camera 401 inside the measurement control unit 413. Thereby, each frame buffer synchronizes and updates every 1V.
The frame buffer 506 delays the input image together with the averaging unit 510 with a time difference of 1 vertical synchronization signal (hereinafter referred to as 1V) and outputs the delayed image to the frame buffer 507. The frame buffer 507 delays the input image together with the averaging unit 510 with a time difference (hereinafter referred to as 1V) of one vertical synchronization signal and outputs the delayed image to the frame buffer 508. The frame buffer 508 delays the input image by a time difference (hereinafter referred to as 1V) of one vertical synchronization signal and outputs the delayed image to the averaging unit 510. As described above, the frame buffers 506 to 509 are successively updated every 1V.

平均部 510 は、フレームバッファ 506 〜 509 から入力される画像の画素毎の輝度値を平均値を算出し、フレームバッファ 501 に出力する。フレームバッファ 501 は、入力された平均値画像を比較部 503 に出力する。なお、例えば、平均部 510 は、1V毎にリセットされ、フレームバッファ 506 〜 509 から入力される画像の画素毎の輝度値を平均値を算出する。
比較部 503 は、フレームバッファ 501 から入力された画像と、比較画像部 502 から入力された1V前の合焦点画像と、画素毎に輝度値を比較する。そして、輝度値が大きい方の輝度値を画素毎に選択し、フレームバッファである計算結果出力部 505 に出力する。
計算結果出力部 505 の出力は、入力された画像を、合焦点画像として、更新部 504 に出力すると共に、選択部 515 に出力する。また、計算結果出力部 505 は、入力された画像を、高さ測定部 500 の外部に合焦点画像として出力する。更新部 504 は、入力された画像を比較画像部 502 に出力する。比較画像部 502 は、更新部 504 から入力された画像を比較部 503 に出力する。
The averaging unit 510 calculates an average value of the luminance values for each pixel of the image input from the frame buffers 506 to 509 and outputs the average value to the frame buffer 501. The frame buffer 501 outputs the input average value image to the comparison unit 503. For example, the averaging unit 510 is reset every 1V, and calculates the average value of the luminance values for each pixel of the image input from the frame buffers 506 to 509.
The comparison unit 503 compares the luminance value for each pixel with the image input from the frame buffer 501 and the in-focus image before 1V input from the comparison image unit 502. Then, the luminance value with the larger luminance value is selected for each pixel, and is output to the calculation result output unit 505 which is a frame buffer.
The calculation result output unit 505 outputs the input image as a focused image to the update unit 504 and also to the selection unit 515. The calculation result output unit 505 outputs the input image as a focused image outside the height measurement unit 500. The update unit 504 outputs the input image to the comparison image unit 502. The comparison image unit 502 outputs the image input from the update unit 504 to the comparison unit 503.

リニアスケール 408 の出力は、1V毎に、Z 座標部 513 の Z 座標位置の値を更新する。Z 座標部 513 は、Z 座標位置の値を選択部 515 に出力する。
選択部 515 は、比較部 503 で選択された画素毎の輝度値が、フレームバッファ 501 の輝度値である場合には、Z 座標部 513 から入力された数値を選択し、比較画像部 502 からの入力である場合には、比較データ部 514 から入力された Z 座標位置の数値を選択し、高さデータ出力部 516 に出力する。
比較データ部 514 は、現在選択されている画素の1V前の高さデータ出力部 516 から読み出した Z 座標位置の数値を選択部 515 に出力する。
高さデータ出力部 516 は、選択部 515 が選択した Z 座標位置の数値を、画素毎に蓄積する。なお、高さデータ出力部 516 は、測定開始時の Z 座標位置の数値に初期化され、計算結果出力部 505 の全焦点画像、及び比較画像部 502 の画像は、測定開始時の平均画像に初期化される。
The output of the linear scale 408 updates the value of the Z coordinate position of the Z coordinate unit 513 every 1V. The Z coordinate unit 513 outputs the value of the Z coordinate position to the selection unit 515.
When the luminance value for each pixel selected by the comparison unit 503 is the luminance value of the frame buffer 501, the selection unit 515 selects the numerical value input from the Z coordinate unit 513, and the selection unit 515 selects the numerical value input from the comparison image unit 502. In the case of input, the numerical value of the Z coordinate position input from the comparison data portion 514 is selected and output to the height data output portion 516.
The comparison data unit 514 outputs the numerical value of the Z coordinate position read from the height data output unit 516 1V before the currently selected pixel to the selection unit 515.
The height data output unit 516 stores the numerical value of the Z coordinate position selected by the selection unit 515 for each pixel. Note that the height data output unit 516 is initialized to the numerical value of the Z coordinate position at the start of measurement, and the omnifocal image of the calculation result output unit 505 and the image of the comparison image unit 502 are the average images at the start of measurement. It is initialized.

以上のように、本発明の高さ測定装置は、共焦点顕微鏡を使用した高さ測定装置において、Z 軸を駆動可能な制御部と、Z 軸の座標位置を出力するリニアスケールを有し、Z 軸を始点位置から終点位置に移動時、共焦顕微鏡の画像を過去の連続した複数画像の平均を行いながら取り込み、1つ前の平均画像の輝度値を比較しながら、より輝度値の高い画素とそのリニアスケールから読み出したZ 座標を残す機能を有することで、ニポウディスクやそれに付随する光学的素子の輝度むらを低減できる。
上記実施例によれば、共焦点顕微鏡を使用した高さ測定装置において、Z 軸を駆動可能な制御部と、Z 軸にリニアスケールとを有し、Z 軸を始点位置から終点位置に移動時、顕微鏡の画像を過去の連続した複数画像の平均を行いながら取り込み、取り込まれた平均画像と1つ前のへ平均画像の輝度値と比較しながら、より輝度値の高い画素とそのリニアスケールから読み出した Z 座標位置の数値を残す機能を有することができる。この結果、ニポウディスクやそれに付随する光学的素子の輝度むらを低減することができる。
As described above, the height measuring device of the present invention has a control unit capable of driving the Z axis and a linear scale that outputs the coordinate position of the Z axis in the height measuring device using the confocal microscope, When moving the Z-axis from the start point position to the end point position, the confocal microscope image is taken in while averaging the multiple consecutive images in the past, and the brightness value is higher while comparing the brightness value of the previous average image By having the function of leaving the Z coordinate read from the pixel and its linear scale, it is possible to reduce the uneven brightness of the Nipkow disk and the optical elements associated therewith.
According to the above embodiment, the height measuring apparatus using the confocal microscope has the control unit capable of driving the Z axis and the linear scale on the Z axis, and the Z axis is moved from the start position to the end position. The image of the microscope is captured while averaging a plurality of consecutive images in the past, and the captured average image is compared with the luminance value of the previous average image, and from the pixel with the higher luminance value and its linear scale It can have a function to leave the numerical value of the read Z coordinate position. As a result, it is possible to reduce the uneven brightness of the Nipkow disc and the optical elements associated therewith.

100:光源、 101:結像レンズ、 102:ハーフミラー、 103:ニポウディスク、 104:ピンホール、 105:対物レンズ、 106:試料面、 107:結像レンズ、 108:撮像面、 401:カメラ、 402:共焦点顕微鏡、 403:対物レンズ、 404:試料、 405:試料台、 406:Y軸駆動部、 407:X軸駆動部、 408:リニアスケール、 409:Z軸駆動部、 410:XYZ軸制御部、 411:PC、 412:光源、 413:測定制御部、 500:高さ測定部、 501:フレームバッファ、 502:比較画像部、 503:比較部、 504:更新部、 505:計算結果出力部、 506〜509:フレームバッファ、 510:平均部、 513:Z座標部、 514:比較データ部、 515:選択部、 516:高さデータ出力部。   100: Light source, 101: Imaging lens, 102: Half mirror, 103: Nipo disk, 104: Pinhole, 105: Objective lens, 106: Sample surface, 107: Imaging lens, 108: Imaging surface, 401: Camera, 402 : Confocal microscope, 403: Objective lens, 404: Sample, 405: Sample stage, 406: Y axis drive unit, 407: X axis drive unit, 408: Linear scale, 409: Z axis drive unit, 410: XYZ axis control 411: PC, 412: Light source, 413: Measurement control unit, 500: Height measurement unit, 501: Frame buffer, 502: Comparison image unit, 503: Comparison unit, 504: Update unit, 505: Calculation result output unit 506 to 509: frame buffer, 510: average part, 513: Z coordinate part, 514: comparison data part, 515: selection part, 516: height data output part.

Claims (1)

共焦点顕微鏡を使用した高さ測定装置において、前記共焦顕微鏡のZ軸座標位置を移動可能な制御部と、前記共焦顕微鏡の結像画像を撮像するカメラと、前記Z軸の座標位置を出力するリニアスケールと、装置の制御と高さ測定を行う制御測定部とを有した高さ測定装置において、前記制御部は、前記共焦顕微鏡のZ軸座標位置を始点位置から終点位置に移動時、前記共焦顕微鏡の画像を過去の連続した所定数の画像の平均を行いながら取り込み、1つ前の平均画像の輝度値を比較しながら、より輝度値の高い画素とそのリニアスケールから読み出したZ座標を残す機能を有する高さ測定部を具備することを特徴とする高さ測定装置。   In a height measurement apparatus using a confocal microscope, a control unit capable of moving the Z-axis coordinate position of the confocal microscope, a camera that captures an image formed by the confocal microscope, and the coordinate position of the Z-axis In a height measuring device having an output linear scale and a control measuring unit for controlling the device and measuring the height, the control unit moves the Z-axis coordinate position of the confocal microscope from the start point position to the end point position. The image of the confocal microscope is captured while averaging a predetermined number of consecutive images in the past, and the luminance value of the previous average image is compared and read out from the pixel having the higher luminance value and its linear scale. A height measuring device comprising a height measuring unit having a function of leaving a Z coordinate.
JP2009120174A 2009-05-18 2009-05-18 Measuring device Pending JP2010266406A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009120174A JP2010266406A (en) 2009-05-18 2009-05-18 Measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009120174A JP2010266406A (en) 2009-05-18 2009-05-18 Measuring device

Publications (1)

Publication Number Publication Date
JP2010266406A true JP2010266406A (en) 2010-11-25

Family

ID=43363499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009120174A Pending JP2010266406A (en) 2009-05-18 2009-05-18 Measuring device

Country Status (1)

Country Link
JP (1) JP2010266406A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015033514A1 (en) * 2013-09-06 2015-03-12 株式会社ニコン Illumination device and structured illumination microscope
CN110998406A (en) * 2017-07-12 2020-04-10 卡尔蔡司显微镜有限责任公司 Flicker in variable angle lighting
CN111006589A (en) * 2019-12-26 2020-04-14 刘东侠 Three-dimensional scanning technology for improving detection of automobile parts
JP2022017321A (en) * 2013-04-03 2022-01-25 ケーエルエー コーポレイション Method of determining depth of defect in vertical stack memory and system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022017321A (en) * 2013-04-03 2022-01-25 ケーエルエー コーポレイション Method of determining depth of defect in vertical stack memory and system
JP7273121B2 (en) 2013-04-03 2023-05-12 ケーエルエー コーポレイション Method and system for determining defect depth in vertically stacked memory
WO2015033514A1 (en) * 2013-09-06 2015-03-12 株式会社ニコン Illumination device and structured illumination microscope
JPWO2015033514A1 (en) * 2013-09-06 2017-03-02 株式会社ニコン Illumination device and structured illumination microscope device
CN110998406A (en) * 2017-07-12 2020-04-10 卡尔蔡司显微镜有限责任公司 Flicker in variable angle lighting
CN111006589A (en) * 2019-12-26 2020-04-14 刘东侠 Three-dimensional scanning technology for improving detection of automobile parts
CN111006589B (en) * 2019-12-26 2021-10-29 临朐县大地汽车零部件有限公司 Three-dimensional scanning technology for improving detection of automobile parts

Similar Documents

Publication Publication Date Title
JP4315169B2 (en) 3D shape measurement system
RU2560996C2 (en) Measuring method based on structuring light
JP5895270B2 (en) Imaging device
JP6196832B2 (en) Image processing apparatus, image processing method, microscope system, and image processing program
JP2018515759A (en) Device for optical 3D measurement of objects
JP2010271199A (en) Three-dimensional shape measuring device, three-dimensional shape measuring method, and computer program
JP4947341B2 (en) Method for removing synchronization fringes from confocal microscope
JP2011039454A (en) Automatic focusing device, automatic focusing method, and program
WO2012057284A1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, manufacturing method of structure, and structure manufacturing system
JP2010266406A (en) Measuring device
JPWO2019069634A1 (en) Two-dimensional flicker measuring device, two-dimensional flicker measuring system, two-dimensional flicker measuring method, and two-dimensional flicker measuring program
JP5494267B2 (en) Three-dimensional shape measuring apparatus, calibration method for three-dimensional shape measuring apparatus, and robot apparatus
TWI436303B (en) Motion picture image processing system and method for obtaining a motion picture response curve
JP2013246052A (en) Distance measuring apparatus
JP5255968B2 (en) Height measuring device and measuring method
JP2012042525A (en) Three-dimensional shape measuring apparatus and program
JP5055081B2 (en) Height measuring device
JP2020187065A (en) Electronic device and control method thereof, and program
JP2000275534A (en) Confocal microscope
JP6618819B2 (en) 3D shape measuring device
JP6812149B2 (en) Scanning microscope and control method of scanning microscope
JP6722522B2 (en) Three-dimensional measuring device and control method thereof
JP2009092409A (en) Three-dimensional shape measuring device
JP4663669B2 (en) Moving image processing apparatus and method
JP4944633B2 (en) Three-dimensional shape measuring apparatus and three-dimensional shape measuring method