JP5256745B2 - 3D shape measuring device - Google Patents

3D shape measuring device Download PDF

Info

Publication number
JP5256745B2
JP5256745B2 JP2008007827A JP2008007827A JP5256745B2 JP 5256745 B2 JP5256745 B2 JP 5256745B2 JP 2008007827 A JP2008007827 A JP 2008007827A JP 2008007827 A JP2008007827 A JP 2008007827A JP 5256745 B2 JP5256745 B2 JP 5256745B2
Authority
JP
Japan
Prior art keywords
dimensional shape
unit
shape measuring
measuring apparatus
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008007827A
Other languages
Japanese (ja)
Other versions
JP2009168658A5 (en
JP2009168658A (en
Inventor
洋文 有馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008007827A priority Critical patent/JP5256745B2/en
Publication of JP2009168658A publication Critical patent/JP2009168658A/en
Publication of JP2009168658A5 publication Critical patent/JP2009168658A5/ja
Application granted granted Critical
Publication of JP5256745B2 publication Critical patent/JP5256745B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、光切断法を用いた三次元形状計測装置に関する。   The present invention relates to a three-dimensional shape measuring apparatus using a light cutting method.

従来から、非接触型の三次元計測方法として、測定対象物にパターン光を投射して物体の三次元形状を求める光切断法が公知である。ここで、測定対象物の形状や表面状態に応じて光の反射率は大きく変化する。そのため、光切断法で三次元形状の計測を行うときに撮影条件を固定して測定対象物を走査すると、パターン光を撮像した画像において輝度不足や白トビが発生し、計測の精度が著しく低下しうる。   2. Description of the Related Art Conventionally, as a non-contact type three-dimensional measurement method, a light cutting method for obtaining a three-dimensional shape of an object by projecting pattern light onto a measurement object is known. Here, the reflectance of light changes greatly according to the shape and surface state of the measurement object. For this reason, when measuring a 3D shape using the light-cutting method and scanning the measurement object with the shooting conditions fixed, insufficient brightness and white stripes occur in the image of the pattern light, and the measurement accuracy is significantly reduced. Yes.

その対策の一例として、特許文献1には、撮影条件の異なる複数の画像を合成することで、任意の走査位置での光切断線の画像を生成する光学式計測装置の構成が開示されている。
特開2002−357408号公報
As an example of the countermeasure, Patent Document 1 discloses a configuration of an optical measurement device that generates an image of a light section line at an arbitrary scanning position by combining a plurality of images having different shooting conditions. .
JP 2002-357408 A

しかし、上記の特許文献1の技術では、複数の画像を合成して一つのパターン(光切断線)の画像を生成するため、計測装置に高い処理能力が要求される点でなお改善の余地があった。   However, since the technique of the above-mentioned Patent Document 1 generates a single pattern (light cutting line) image by combining a plurality of images, there is still room for improvement in that a high processing capability is required for the measuring device. there were.

そこで、本発明の目的は、光切断法による三次元形状計測において、測定対象物の形状を比較的に少ない処理能力で精度よく計測できる手段を提供することにある。   Therefore, an object of the present invention is to provide means capable of measuring the shape of a measurement object with high accuracy with relatively little processing capability in three-dimensional shape measurement by the light cutting method.

一の形態に係る三次元形状計測装置は、測定対象物に対してパターン光を照射する投光部と、撮像部と、輝度条件調整部と、走査手段と、制御部と、演算部を備える。撮像部は、パターン光によって測定対象物の表面に形成されるパターンを含む画像を撮像する。輝度条件調整部は、予め定められた複数の画像の輝度に影響を与えるパラメータに対応してそのパラメータ変化させる。走査手段は、測定対象物とパターン光の照射位置とを所定方向に相対的に走査させる。測定対象物とパターン光とを所定方向に相対的に走査させる。制御部は、走査手段によりパターン光の照射位置を測定対象物に対して相対的に走査している間にそれぞれ異なる走査位置での複数の画像を取得し、複数の画像が異なるパラメータで撮影されるように撮像部と輝度条件調整部を制御する。演算部は、複数の画像から、パターンの像が形成された領域にある画素の輝度レベルが所定範囲に収まる画像を対象画像として抽出し、該対象画像に対応するパターンの輝度情報を用いて測定対象物の三次元形状を求める。 A three-dimensional shape measurement apparatus according to one aspect includes a light projecting unit that irradiates a measurement target with pattern light, an imaging unit, a luminance condition adjusting unit, a scanning unit, a control unit, and a calculation unit. . The imaging unit captures an image including a pattern formed on the surface of the measurement object by the pattern light. Brightness condition adjusting unit changes its parameters in response to parameters that affect the brightness of the plurality of predetermined image. The scanning unit relatively scans the measurement object and the irradiation position of the pattern light in a predetermined direction. The measurement object and the pattern light are relatively scanned in a predetermined direction. The control unit acquires a plurality of images at different scanning positions while scanning the pattern light irradiation position relative to the measurement object by the scanning unit, and the plurality of images are captured with different parameters. The image pickup unit and the luminance condition adjustment unit are controlled as described above. The arithmetic unit extracts, as a target image, an image in which the luminance level of pixels in a region where the pattern image is formed falls within a predetermined range from a plurality of images, and measures using the luminance information of the pattern corresponding to the target image Find the 3D shape of the object.

なお、上記の一の形態の三次元形状計測装置の動作を三次元形状計測方法として表現したものや、この三次元形状計測方法を装置に実行させるためのプログラムなども、本発明の具体的態様として有効である。   In addition, what expressed operation | movement of the three-dimensional shape measuring apparatus of said one form as a three-dimensional shape measuring method, the program for making an apparatus perform this three-dimensional shape measuring method, etc. are the specific aspects of this invention. It is effective as

本発明では、光切断法による三次元形状計測において、測定対象物の形状を比較的に少ない処理能力で精度よく計測できる。 In the present invention, in the three-dimensional shape measurement by the light cutting method, the shape of the measurement object can be accurately measured with a relatively small processing capability.

<一実施形態の説明>
図1は、一実施形態である三次元形状計測装置の構成例を示している。図1の三次元形状計測装置は、駆動装置11aを有するステージ11と、投光部12と、照明部13と、カメラユニット14と、第1メモリ15と、タイミングコントローラ16と、パターン光抽出部17と、輝度判定部18と、サブピクセル演算部19と、点群データ生成部20と、撮像条件演算部21と、輝度制御部22と、操作部23と、CPU24と、第2メモリ25とを有している。ここで、ステージ11の駆動装置11a、投光部12、カメラユニット14、タイミングコントローラ16、輝度判定部18、点群データ生成部20、輝度制御部22、操作部23、第2メモリ25はそれぞれCPU24と接続されている(なお、図1では輝度制御部22とCPU24との信号線の図示は省略する)。
<Description of Embodiment>
FIG. 1 shows a configuration example of a three-dimensional shape measuring apparatus according to an embodiment. 1 includes a stage 11 having a driving device 11a, a light projecting unit 12, an illumination unit 13, a camera unit 14, a first memory 15, a timing controller 16, and a pattern light extraction unit. 17, the luminance determination unit 18, the subpixel calculation unit 19, the point cloud data generation unit 20, the imaging condition calculation unit 21, the luminance control unit 22, the operation unit 23, the CPU 24, and the second memory 25. have. Here, the driving device 11a of the stage 11, the light projecting unit 12, the camera unit 14, the timing controller 16, the luminance determining unit 18, the point cloud data generating unit 20, the luminance controlling unit 22, the operating unit 23, and the second memory 25 are respectively provided. It is connected to the CPU 24 (note that signal lines between the luminance control unit 22 and the CPU 24 are not shown in FIG. 1).

ステージ11の上面には測定対象物10が載置される。この実施形態でのステージ11は、例えばモータおよびネジ送り機構を有する駆動装置11aによって走査方向(図1の左右方向)に移動可能となっている。そのため、ステージ11の移動により、投光部12およびカメラユニット14に対して測定対象物10の位置を調整することができる。なお、駆動装置11aはエンコーダを内蔵しており、CPU24に対してステージの位置情報を出力する。   A measurement object 10 is placed on the upper surface of the stage 11. The stage 11 in this embodiment can be moved in the scanning direction (left-right direction in FIG. 1) by a driving device 11a having a motor and a screw feed mechanism, for example. Therefore, the position of the measuring object 10 can be adjusted with respect to the light projecting unit 12 and the camera unit 14 by moving the stage 11. The driving device 11a has an encoder built therein and outputs stage position information to the CPU 24.

投光部12は、走査方向と交差(好ましくは直交)するスリット状のパターン光をステージ11上の測定対象物10に対して照射する。また、照明部13は、必要に応じて測定対象物10の全体を照明する。   The light projecting unit 12 irradiates the measurement target 10 on the stage 11 with slit-shaped pattern light that intersects (preferably orthogonally) the scanning direction. Moreover, the illumination part 13 illuminates the whole measuring object 10 as needed.

カメラユニット14は、光電変換によって二次元の画像を撮像する電子カメラであって、投光部12のパターン光の照射方向に対して光軸を傾けて配置されている。そして、カメラユニット14は、パターン光によって測定対象物10の表面に形成されるパターン(以後、光切断線と適宜称する)を含む画像を撮像する。また、カメラユニット14の画像出力は、第1メモリ15に接続されている。なお、この実施形態での投光部12およびカメラユニット14の位置はいずれも固定された状態にある。   The camera unit 14 is an electronic camera that captures a two-dimensional image by photoelectric conversion, and is arranged with the optical axis inclined with respect to the pattern light irradiation direction of the light projecting unit 12. Then, the camera unit 14 captures an image including a pattern (hereinafter appropriately referred to as a light cutting line) formed on the surface of the measurement object 10 by the pattern light. The image output of the camera unit 14 is connected to the first memory 15. Note that the positions of the light projecting unit 12 and the camera unit 14 in this embodiment are both fixed.

第1メモリ15は、パターン光抽出部17による処理の前工程で画像のデジタルデータを一時的に記憶するバッファメモリである。この第1メモリ15の出力はパターン光抽出部17に接続されている。   The first memory 15 is a buffer memory that temporarily stores image digital data in a pre-process of processing by the pattern light extraction unit 17. The output of the first memory 15 is connected to the pattern light extraction unit 17.

タイミングコントローラ16は、第1メモリ15およびパターン光抽出部17の動作を同期制御するICである。このタイミングコントローラ16は、画像のデータの読み出しを制御する制御信号を第1メモリ15およびパターン光抽出部17にそれぞれ供給する。また、タイミングコントローラ16は、CPU24に対して画像処理のタイミングを示すタイミング信号を出力する。   The timing controller 16 is an IC that synchronously controls the operations of the first memory 15 and the pattern light extraction unit 17. The timing controller 16 supplies a control signal for controlling reading of image data to the first memory 15 and the pattern light extraction unit 17. The timing controller 16 outputs a timing signal indicating the timing of image processing to the CPU 24.

パターン光抽出部17は、画像のデータを水平ライン毎にパイプライン式に読み込むとともに、各水平ラインにおける画素の輝度レベルから画像に含まれる光切断線の画素位置を抽出する。そして、パターン光抽出部17は、各画像において光切断線に対応する画素の位置とその輝度レベルとを示す輝度分布データを出力する。また、パターン光抽出部17の出力は、輝度判定部18および撮像条件演算部21に接続されている。   The pattern light extraction unit 17 reads the image data in a pipeline manner for each horizontal line, and extracts the pixel position of the light section line included in the image from the luminance level of the pixel in each horizontal line. Then, the pattern light extraction unit 17 outputs luminance distribution data indicating the position of the pixel corresponding to the light cutting line and its luminance level in each image. The output of the pattern light extraction unit 17 is connected to the luminance determination unit 18 and the imaging condition calculation unit 21.

輝度判定部18は、輝度分布データに基づいて、カメラユニット14で撮像した画像のうちから測定対象物10の三次元形状を求めるための対象画像を抽出する。具体的には、輝度判定部18は、光切断線に対応する画素の輝度レベルが閾値の範囲内にある画像を抽出して対象画像とする。なお、輝度判定部18が対象画像を抽出するときの閾値は、カメラユニット14の出力特性に基づいて決定される。   Based on the luminance distribution data, the luminance determination unit 18 extracts a target image for obtaining the three-dimensional shape of the measurement target object 10 from the images captured by the camera unit 14. Specifically, the luminance determination unit 18 extracts an image in which the luminance level of the pixel corresponding to the light section line is within a threshold value range as a target image. Note that the threshold when the luminance determination unit 18 extracts the target image is determined based on the output characteristics of the camera unit 14.

また、輝度判定部18は、サブピクセル演算部19と接続されている。そして、輝度判定部18は、対象画像の輝度分布データをサブピクセル演算部19に出力する。さらに、輝度判定部18は、対象画像を識別するための判定結果データをCPU24に対して出力する。   In addition, the luminance determination unit 18 is connected to the subpixel calculation unit 19. Then, the luminance determining unit 18 outputs the luminance distribution data of the target image to the subpixel calculating unit 19. Further, the luminance determination unit 18 outputs determination result data for identifying the target image to the CPU 24.

サブピクセル演算部19は、対象画像の輝度分布データを用いて、カメラユニット14の画素分解能以上のパターン光の変位(サブピクセル変位)を求める。このサブピクセル演算部19は、公知のサブピクセル推定のアルゴリズムによって上記の演算処理を実行する。また、サブピクセル演算部19の出力は、点群データ生成部20と接続されている。   The sub-pixel calculation unit 19 obtains a displacement (sub-pixel displacement) of pattern light that is equal to or higher than the pixel resolution of the camera unit 14 using the luminance distribution data of the target image. The sub-pixel calculation unit 19 performs the above-described calculation process using a known sub-pixel estimation algorithm. Further, the output of the sub-pixel calculation unit 19 is connected to the point cloud data generation unit 20.

点群データ生成部20は、サブピクセル演算部19が対象画像の輝度分布データから求めた光切断線のサブピクセル変位のデータを用いて、測定対象物10の三次元形状を示す点群データ(空間座標値のデータ)を生成する。なお、点群データ生成部20の出力は、不図示の記録部に接続されている。   The point cloud data generation unit 20 uses the sub pixel displacement data of the light section line obtained from the luminance distribution data of the target image by the sub pixel calculation unit 19 to indicate point cloud data (3) indicating the three-dimensional shape of the measurement object 10 ( Spatial coordinate value data) is generated. The output of the point cloud data generation unit 20 is connected to a recording unit (not shown).

撮像条件演算部21は、輝度分布データを用いて画像の輝度分布解析を行うとともに、その解析結果に基づく制御信号を輝度制御部22に出力する。例えば、撮像条件演算部21は、点群データを生成する本走査に先だって行われる予備計測において、本走査で適用する撮像条件を求める。また、撮像条件演算部21は、本走査のときに輝度分布データをフィードバックして撮像条件を調整することもできる。   The imaging condition calculation unit 21 performs luminance distribution analysis of the image using the luminance distribution data, and outputs a control signal based on the analysis result to the luminance control unit 22. For example, the imaging condition calculation unit 21 obtains imaging conditions to be applied in the main scan in the preliminary measurement performed prior to the main scan for generating the point cloud data. The imaging condition calculation unit 21 can also adjust the imaging condition by feeding back luminance distribution data during the main scanning.

輝度制御部22は、撮像条件演算部21から入力される制御信号に基づいて、投光部12におけるパターン光の光量、照明部13の照明光量およびカメラユニット14の露光時間を制御する。また、操作部23は、三次元形状計測の実行指示を含む各種の入力を受け付ける。   The brightness control unit 22 controls the light amount of the pattern light in the light projecting unit 12, the illumination light amount of the illumination unit 13, and the exposure time of the camera unit 14 based on the control signal input from the imaging condition calculation unit 21. In addition, the operation unit 23 receives various inputs including an instruction to execute three-dimensional shape measurement.

CPU24は、三次元形状計測装置の動作を統括的に制御するプロセッサである。例えば、CPU24は、プログラムに従って予備計測および本走査を実行する。また、CPU24は、本走査で取得した各々の画像と、測定対象物10の走査位置との対応関係を示す画像管理データを生成する。また、CPU24は、判定結果データに基づいて、対象画像を示す情報を画像管理データに対応付けする。   The CPU 24 is a processor that comprehensively controls the operation of the three-dimensional shape measuring apparatus. For example, the CPU 24 performs preliminary measurement and main scanning according to a program. Further, the CPU 24 generates image management data indicating the correspondence between each image acquired in the main scan and the scan position of the measurement object 10. Further, the CPU 24 associates information indicating the target image with the image management data based on the determination result data.

第2メモリ25は、CPU24が生成した画像管理データを記憶する。また、第2メモリ25には、CPU24の実行するプログラムが記憶されている。   The second memory 25 stores image management data generated by the CPU 24. The second memory 25 stores a program executed by the CPU 24.

次に、図2の流れ図を参照しつつ、一実施形態における点群データの生成処理の例を説明する。以下の例では、点群データを生成する本走査のときに、カメラユニット14が撮像条件を変更しつつ複数の画像を撮像する。なお、図2では、パターン光の空間重心によって測定対象物10の三次元形状を求めている。   Next, an example of point cloud data generation processing according to an embodiment will be described with reference to the flowchart of FIG. In the following example, the camera unit 14 captures a plurality of images while changing the imaging conditions during the main scan for generating the point cloud data. In FIG. 2, the three-dimensional shape of the measurement object 10 is obtained from the spatial center of gravity of the pattern light.

ステップS101:CPU24は、三次元形状計測の実行指示を操作部23から受け付けると、測定対象物10の予備計測を実行する。具体的には、CPU24は、投光部12からパターン光を照射しつつステージ11を移動させて、パターン光の重畳した位置がそれぞれ異なる測定対象物10のサンプル画像をカメラユニット14で複数撮像する。なお、予備計測で撮像されるサンプル画像のフレーム数は、後述の本走査で撮像するフレーム数よりも少なく設定される。そして、撮像条件演算部21は、一連のサンプル画像から生成された複数の輝度分布データに基づいて、本走査で用いる1周期分の複数の撮像条件(カメラユニット14の露光時間、パターン光の光量)を決定する。   Step S101: When the CPU 24 receives an instruction to perform three-dimensional shape measurement from the operation unit 23, the CPU 24 performs preliminary measurement of the measurement object 10. Specifically, the CPU 24 moves the stage 11 while irradiating pattern light from the light projecting unit 12, and the camera unit 14 captures a plurality of sample images of the measurement object 10 at different positions where the pattern light is superimposed. . Note that the number of frames of the sample image captured in the preliminary measurement is set to be smaller than the number of frames captured in the main scan described later. Then, based on a plurality of luminance distribution data generated from a series of sample images, the imaging condition calculation unit 21 has a plurality of imaging conditions (exposure time of the camera unit 14 and the amount of pattern light) for one cycle used in the main scan. ).

ここで、本実施形態では、本走査のときに1周期分として2種類の撮像条件(第1撮像条件、第2撮像条件)を交互に適用して画像を撮像する例を前提として説明を行う。なお、本実施形態の例では、第1撮像条件および第2撮像条件はいずれもパターン光の光量が同じであって、第1撮像条件の露光時間は第2撮像条件の4倍に設定されるものとする。   Here, in the present embodiment, the description will be made on the assumption that an image is captured by alternately applying two types of imaging conditions (first imaging condition and second imaging condition) for one cycle during main scanning. . In the example of the present embodiment, both the first imaging condition and the second imaging condition have the same amount of pattern light, and the exposure time of the first imaging condition is set to four times the second imaging condition. Shall.

ステップS102:CPU24は、ステージ11を初期位置に戻すとともに、測定対象物10の本走査を開始する。まず、輝度制御部22は、カメラユニット14の撮像条件を第1撮像条件に設定する。そして、CPU24は、投光部12からパターン光を照射しつつ、ステージ11を走査方向に移動させる。なお、ステージ11の移動は本走査が終了するまで継続する。   Step S102: The CPU 24 returns the stage 11 to the initial position and starts a main scan of the measurement object 10. First, the brightness control unit 22 sets the imaging condition of the camera unit 14 to the first imaging condition. Then, the CPU 24 moves the stage 11 in the scanning direction while irradiating the pattern light from the light projecting unit 12. Note that the movement of the stage 11 continues until the main scanning is completed.

ステップS103:カメラユニット14は、現在設定されている撮像条件を適用して、パターン光によって測定対象物10の表面に形成される光切断線を含む画像を撮像する。このS103で撮像される画像は、測定対象物10を走査したときの所定の走査位置における光切断線の形状を示すものである。カメラユニット14から出力された1フレーム分の画像のデータは、第1メモリ15に記憶される。   Step S <b> 103: The camera unit 14 captures an image including a light cutting line formed on the surface of the measurement object 10 by the pattern light by applying the currently set imaging conditions. The image captured in S103 indicates the shape of the light section line at a predetermined scanning position when the measurement object 10 is scanned. The image data for one frame output from the camera unit 14 is stored in the first memory 15.

また、CPU24は、S103で撮像した画像と、測定対象物10の走査位置(この場合にはステージ11の位置)との対応関係を示す画像管理データを第2メモリ25に記録する。   Further, the CPU 24 records, in the second memory 25, image management data indicating the correspondence between the image captured in S103 and the scanning position of the measurement object 10 (in this case, the position of the stage 11).

ステップS104:パターン光抽出部17は、S103で撮像された画像のデータを用いて、光切断線に対応する画素の位置および輝度レベルを示す輝度分布データを生成する。具体的には、パターン光抽出部17は、タイミングコントローラ16の制御信号に応じて、S103で撮像した画像のデータを水平ライン毎に第1メモリ15から順次読み込む。   Step S104: The pattern light extraction unit 17 generates luminance distribution data indicating the position and luminance level of the pixel corresponding to the light section line using the data of the image captured in S103. Specifically, the pattern light extraction unit 17 sequentially reads data of the image captured in S103 from the first memory 15 for each horizontal line in accordance with the control signal of the timing controller 16.

次に、パターン光抽出部17は、水平ライン単位で各画素の輝度値を参照し、処理対象の水平ラインで輝度レベルがピークとなっている高輝度画素を探索する。一例として、パターン光抽出部17は、処理対象の水平ラインで最高輝度の画素を上記の高輝度画素とする。その後、パターン光抽出部17は、処理対象の水平ラインで高輝度画素とその前後の数画素をそれぞれ抽出し、各々の水平ラインで抽出された画素の位置とこれらの画素の輝度レベルとを示す輝度分布データを生成する。   Next, the pattern light extraction unit 17 refers to the luminance value of each pixel in units of horizontal lines, and searches for high luminance pixels that have a peak luminance level in the horizontal line to be processed. As an example, the pattern light extraction unit 17 sets the pixel with the highest luminance in the horizontal line to be processed as the high luminance pixel. Thereafter, the pattern light extraction unit 17 extracts a high-luminance pixel and several pixels before and after it on the horizontal line to be processed, and indicates the position of the pixel extracted on each horizontal line and the luminance level of these pixels. Brightness distribution data is generated.

ステップS105:輝度判定部18は、S104で生成された輝度分布データを参照し、光切断線に対応する画素の輝度レベルがいずれも閾値の範囲内にあるか否かを判定する。上記要件を満たす場合(YES側)にはS106に移行する。一方、上記要件を満たさない場合(NO側)には、CPU24はS104で生成した輝度分布データを破棄して、S109に移行する。この場合(S105でのNO側)には、最終的な点群データにおいて、破棄された輝度分布データに対応する走査位置のデータは欠落することとなる。   Step S105: The luminance determination unit 18 refers to the luminance distribution data generated in S104, and determines whether or not the luminance levels of the pixels corresponding to the light cutting line are all within the threshold range. If the above requirement is satisfied (YES side), the process proceeds to S106. On the other hand, if the above requirement is not satisfied (NO side), the CPU 24 discards the luminance distribution data generated in S104 and proceeds to S109. In this case (NO side in S105), the data of the scanning position corresponding to the discarded luminance distribution data is lost in the final point cloud data.

ここで、S105における輝度レベルの閾値の範囲は、カメラユニット14の出力特性に着目して、カメラユニット14への入射光量に対して出力される輝度レベルが線形性を有する範囲を基準としている。   Here, the range of the threshold of the luminance level in S105 is based on the range in which the luminance level output with respect to the amount of light incident on the camera unit 14 has linearity, focusing on the output characteristics of the camera unit 14.

図3は、カメラユニット14の出力特性の一例を示している。図3の縦軸は、カメラユニット14の出力する輝度レベルの値(16bit:0〜65535)を示している。一方、図3の横軸は、カメラユニット14で画像を撮像するときの露光時間を示している。なお、図3に示す出力特性では、高輝度側(輝度レベルが40000を超える部分)において出力特性の傾きが非線形で小さくなるニー領域が存在する。カメラユニット14から出力された輝度レベルがニー領域の値である場合には、カメラユニット14への入射光量と輝度レベルとの線形性が失われるため、サブピクセル変位を推定するときの精度が低下する。そのため、図3の例であれば、輝度判定部18は、輝度レベルが40000以下となる輝度分布データを用いて点群データを生成する。   FIG. 3 shows an example of output characteristics of the camera unit 14. The vertical axis in FIG. 3 indicates the luminance level value (16 bits: 0 to 65535) output from the camera unit 14. On the other hand, the horizontal axis in FIG. 3 indicates the exposure time when the camera unit 14 captures an image. In the output characteristics shown in FIG. 3, there is a knee region in which the slope of the output characteristics is nonlinearly reduced on the high luminance side (the portion where the luminance level exceeds 40000). When the luminance level output from the camera unit 14 is a value in the knee region, the linearity between the amount of light incident on the camera unit 14 and the luminance level is lost, so the accuracy when estimating the sub-pixel displacement is reduced. To do. Therefore, in the example of FIG. 3, the luminance determination unit 18 generates point cloud data using luminance distribution data having a luminance level of 40000 or less.

以下、図4、図5を参照しつつ、カメラユニット14の出力特性が異なる場合の重心演算誤差をより具体的に説明する。図4は、飽和レベルまで線形性のある出力特性のカメラユニット14を用いた計測例である。一方、図5は、高輝度側にニー領域を有する出力特性のカメラユニット14を用いた計測例である。図4、図5の例において、正確な重心位置の値は35.75とする。また、図4および図5のグラフの縦軸は輝度レベルを示し、グラフの横軸はパターン光の投射位置を示している。なお、図5の例において、エンコーダ値30,40,50に対応する輝度レベルの値は、ニー領域の出力値である。   Hereinafter, the gravity center calculation error when the output characteristics of the camera unit 14 are different will be described more specifically with reference to FIGS. FIG. 4 is a measurement example using the camera unit 14 having output characteristics that are linear up to the saturation level. On the other hand, FIG. 5 is a measurement example using the camera unit 14 having an output characteristic having a knee region on the high luminance side. In the example of FIGS. 4 and 5, the accurate value of the center of gravity position is 35.75. 4 and FIG. 5, the vertical axis represents the luminance level, and the horizontal axis of the graph represents the pattern light projection position. In the example of FIG. 5, the luminance level values corresponding to the encoder values 30, 40, and 50 are the output values of the knee region.

図4のように、飽和レベルまで線形性のある出力特性のカメラユニット14の計測値を用いて重心演算を行うと、重心位置の演算結果の値は35.78となる。一方、図5のように、高輝度側にニー領域を有する出力特性のカメラユニット14の計測値を用いて重心演算を行うと、重心位置の演算結果の値は35.69となる。以上から、ニー領域の出力値を用いて重心演算を行った場合には、重心位置の誤差が大きくなることが分かる。   As shown in FIG. 4, when the centroid calculation is performed using the measurement value of the camera unit 14 having output characteristics that have linearity up to the saturation level, the value of the calculation result of the centroid position is 35.78. On the other hand, as shown in FIG. 5, when the centroid calculation is performed using the measured value of the camera unit 14 having the output characteristic having the knee region on the high luminance side, the value of the calculation result of the centroid position is 35.69. From the above, it can be seen that when the centroid calculation is performed using the output value of the knee region, the error of the centroid position becomes large.

ステップS106:輝度判定部18は、入力された輝度分布データの画像を対象画像とする。そして、輝度判定部18は、現在処理中の画像が対象画像となったことを示す判定結果データをCPU24に対して出力する。なお、CPU24は、第2メモリ25の画像管理データに対象画像を示す情報を対応付けして記録する。   Step S106: The luminance determination unit 18 sets the input luminance distribution data image as a target image. Then, the brightness determination unit 18 outputs determination result data indicating that the image currently being processed is the target image to the CPU 24. The CPU 24 records information indicating the target image in association with the image management data in the second memory 25.

ステップS107:サブピクセル演算部19は、対象画像の輝度分布データ(S106)を用いて、光切断線のサブピクセル変位を求める。   Step S107: The subpixel computing unit 19 obtains the subpixel displacement of the light section line using the luminance distribution data (S106) of the target image.

ステップS108:点群データ生成部20は、光切断線のサブピクセル変位のデータ(S107で求めたもの)と、CPU24から入力される走査位置のデータとに基づいて、測定対象物10の所定の走査位置での点群データを生成する。そして、点群データ生成部20は、生成した点群データを記録部に記録する。   Step S <b> 108: The point cloud data generation unit 20 performs a predetermined measurement of the measuring object 10 based on the subpixel displacement data (obtained in S <b> 107) of the light section line and the scanning position data input from the CPU 24. Point cloud data at the scanning position is generated. Then, the point cloud data generation unit 20 records the generated point cloud data in the recording unit.

ステップS109:CPU24は、本走査が終了したか否かを判定する。本走査が終了した場合(YES側)には、CPU24は一連の処理を終了して待機状態に移行する。一方、本走査が終了していない場合(NO側)には、S110に移行する。   Step S109: The CPU 24 determines whether or not the main scanning is finished. When the main scanning is finished (YES side), the CPU 24 finishes a series of processes and shifts to a standby state. On the other hand, if the main scan is not completed (NO side), the process proceeds to S110.

ステップS110:輝度制御部22は、CPU24の指示に応じて現在設定されている撮像条件の切り替えを実行する。本実施形態の例であれば、輝度制御部22は、第1撮像条件と第2撮像条件(露光量が第1撮像条件の1/4)との切り替えを行う。その後、CPU24は、S103に戻って上記動作を繰り返す。これにより、次の走査位置では、前の走査位置とは異なる撮像条件でカメラユニット14が画像を撮像することとなる。以上で、図2の流れ図の説明を終了する。   Step S110: The luminance control unit 22 executes switching of the imaging conditions that are currently set in accordance with an instruction from the CPU 24. In the example of the present embodiment, the brightness control unit 22 switches between the first imaging condition and the second imaging condition (exposure amount is ¼ of the first imaging condition). Thereafter, the CPU 24 returns to S103 and repeats the above operation. Thereby, at the next scanning position, the camera unit 14 captures an image under an imaging condition different from that of the previous scanning position. This is the end of the description of the flowchart of FIG.

図6は、一実施形態での本走査における対象画像の抽出例を示している。図6では、簡単のため、4フレーム分の同じ水平ライン(1H)での輝度レベルの状態を模式的に示すものとする。なお、図6において、第1フレームおよび第2フレームは測定対象物10の表面反射率が低い部分に対応し、第3フレームおよび第4フレームは測定対象物10の表面反射率が高い部分に対応する。   FIG. 6 shows an example of extraction of a target image in the main scan in one embodiment. In FIG. 6, for the sake of simplicity, the state of the luminance level in the same horizontal line (1H) for four frames is schematically shown. In FIG. 6, the first frame and the second frame correspond to portions where the surface reflectance of the measurement object 10 is low, and the third frame and the fourth frame correspond to portions where the surface reflectance of the measurement object 10 is high. To do.

本走査における各フレームは、それぞれ異なる走査位置の光輪郭線に対応している。そして、本走査での奇数フレームは露光時間の長い第1撮像条件で撮像され、本走査での偶数フレームは露光時間の短い第2撮像条件で撮像される。   Each frame in the main scan corresponds to a light contour line at a different scanning position. The odd frames in the main scan are imaged under the first imaging condition with a long exposure time, and the even frames in the main scan are imaged under the second imaging condition with a short exposure time.

測定対象物10の表面反射率が低く、パターン光の散乱が少ない部分では、第1撮像条件で撮像された第1フレームの輝度レベルは適正な範囲に収まる一方で、第2撮像条件で撮像された第2フレームでは光量不足によって輝度の階調が埋もれている。この場合には、輝度判定部18は第1フレームを対象画像とする一方で、第2フレームを対象画像から除外する。   In a portion where the surface reflectance of the measurement object 10 is low and the pattern light scattering is small, the luminance level of the first frame imaged under the first imaging condition is within an appropriate range, while the image is captured under the second imaging condition. In the second frame, the luminance gradation is buried due to insufficient light quantity. In this case, the luminance determining unit 18 excludes the second frame from the target image while using the first frame as the target image.

また、測定対象物10の表面反射率が高く、パターン光の散乱が多い部分では、第1撮像条件で撮像された第3フレームでは白トビが生じる一方で、第2撮像条件で撮像された第4フレームの輝度レベルは適正な範囲に収まっている。この場合には、輝度判定部18は第4フレームを対象画像とする一方で、第3フレームを対象画像から除外する。上記の処理によって、測定対象物10の表面反射率が大きく異なる箇所がある場合でも、精度の高い点群データを生成することが可能となる。   In addition, in the portion where the surface reflectance of the measurement object 10 is high and the pattern light is scattered, white stripes occur in the third frame imaged under the first imaging condition, while the image captured under the second imaging condition. The luminance level of the 4 frames is within an appropriate range. In this case, the luminance determining unit 18 excludes the third frame from the target image while using the fourth frame as the target image. With the above processing, even when there is a portion where the surface reflectance of the measurement object 10 is greatly different, it is possible to generate point cloud data with high accuracy.

次に、一実施形態での作用効果を説明する。一実施形態の三次元形状計測装置は、本走査のときに各々の走査位置で撮像条件を周期的に変更しながら光切断線の画像を順次撮像する。そして、三次元形状計測装置は、輝度レベルが所定の範囲に収まる画像を対象画像として抽出し、この対象画像に対応する輝度分布データを用いて点群データを生成する。   Next, the effect in one embodiment is demonstrated. The three-dimensional shape measurement apparatus according to an embodiment sequentially captures images of light cutting lines while periodically changing imaging conditions at each scanning position during the main scanning. Then, the three-dimensional shape measuring apparatus extracts an image whose luminance level falls within a predetermined range as a target image, and generates point cloud data using luminance distribution data corresponding to the target image.

したがって、一実施形態では測定対象物10に投影された光切断線を複数の異なる撮像条件で撮像し、輝度レベルが適正な範囲から外れている画像を除外して点群データを生成するので、測定対象物10の三次元形状を一回の本走査で精度良く求めることができる。また、一実施形態では、画像合成のような複雑な画像処理を行わないため、より少ない演算負荷で測定対象物10の三次元形状を精度良く求めることができる。   Therefore, in one embodiment, the light cutting line projected on the measurement object 10 is imaged under a plurality of different imaging conditions, and the point level data is generated by excluding the image whose luminance level is outside the appropriate range. The three-dimensional shape of the measurement object 10 can be obtained with high accuracy by one main scan. In one embodiment, since complicated image processing such as image composition is not performed, the three-dimensional shape of the measurement object 10 can be accurately obtained with a smaller calculation load.

さらに、一実施形態では測定対象物10の形状が複雑で表面反射率が大きく異なる箇所がある場合でも、それぞれの場所で輝度レベルが適正な範囲にある画像を高い確率で確保できる。そのため、計測不能な部分や計測の精度が低い部分が生じるおそれを大幅に抑制できる。   Furthermore, in one embodiment, even when there is a place where the shape of the measurement object 10 is complicated and the surface reflectance is greatly different, it is possible to secure an image having a luminance level in an appropriate range at each place with a high probability. For this reason, it is possible to greatly suppress the possibility of occurrence of a part that cannot be measured or a part that has low measurement accuracy.

<他の実施形態の説明>
図7は、他の実施形態における三次元形状計測装置の構成例を示している。図7に示す三次元形状計測装置は、図1に示した三次元形状計測装置の変形例であって、両者で共通する構成要素については同一符号を付して重複説明を省略する。
<Description of other embodiments>
FIG. 7 shows a configuration example of a three-dimensional shape measuring apparatus according to another embodiment. The three-dimensional shape measuring apparatus shown in FIG. 7 is a modification of the three-dimensional shape measuring apparatus shown in FIG. 1, and the same reference numerals are given to components common to both, and duplicate description is omitted.

図7に示す他の実施形態の三次元形状計測装置は、パターン光の時間重心によって測定対象物10の三次元形状を求める。図7での三次元形状計測装置では、ステージ11およびカメラユニット14の位置が固定されており、投光部12の位置が駆動装置12aによって移動するように構成されている。   The three-dimensional shape measuring apparatus according to another embodiment shown in FIG. 7 obtains the three-dimensional shape of the measuring object 10 based on the time centroid of the pattern light. In the three-dimensional shape measuring apparatus in FIG. 7, the positions of the stage 11 and the camera unit 14 are fixed, and the position of the light projecting unit 12 is moved by the driving device 12a.

次に、他の実施形態での点群データの生成処理の例を説明する。他の実施形態における本走査では、CPU24は投光部12を移動させつつ、撮像条件を周期的に変化させてカメラユニット14に複数の画像を撮像させる。例えば、上記の一実施形態のように、2つの撮像条件を交互に切り替えて画像を撮像するようにしてもよい。また、他の実施形態においても、輝度判定部18は、光切断線に対応する画素の輝度レベルがいずれも閾値の範囲内にある対象画像のデータを用いて点群データを生成する。   Next, an example of point cloud data generation processing in another embodiment will be described. In the main scanning in the other embodiment, the CPU 24 causes the camera unit 14 to capture a plurality of images by periodically changing the imaging condition while moving the light projecting unit 12. For example, as in the above-described embodiment, an image may be captured by alternately switching two imaging conditions. Also in other embodiments, the luminance determination unit 18 generates point cloud data using data of a target image in which the luminance levels of the pixels corresponding to the light section line are all within the threshold range.

ここで、本走査のときに同じ撮像条件で取得した複数の画像の一点(注目画素)に着目すると、注目画素で撮像される範囲の測定対象物10表面をパターン光が通過するタイミングで注目画素の輝度レベルが高くなる。そのため、他の実施形態の三次元形状計測装置は、各画素の輝度レベルの時間重心を求め、時間重心のタイミングに対応するパターン光の入射位置から測定対象物10の形状を演算する。   Here, when attention is paid to one point (target pixel) of a plurality of images acquired under the same imaging conditions during the main scan, the target pixel is transmitted at the timing when the pattern light passes through the surface of the measurement object 10 in the range captured by the target pixel. The brightness level of becomes higher. Therefore, the three-dimensional shape measurement apparatus according to another embodiment calculates the time centroid of the luminance level of each pixel, and calculates the shape of the measurement object 10 from the pattern light incident position corresponding to the timing of the time centroid.

以下、図8を参照しつつ、撮像条件の異なる画像群を用いて時間重心を求める例を説明する。図8の例では、簡単のため、2つの撮像条件を交互に切り替えて6フレーム分の画像を撮像した場合を前提とする。このとき、奇数フレームは上記の一実施形態の第1撮像条件で撮像され、偶数フレームは上記の一実施形態の第2撮像条件で撮像されたものとする。なお、図8の各グラフは、いずれも同一の注目画素について同じ撮像条件で撮像した3つのフレーム間での輝度レベルの変化を示している。   Hereinafter, an example in which the time centroid is obtained using image groups having different imaging conditions will be described with reference to FIG. In the example of FIG. 8, for the sake of simplicity, it is assumed that images of 6 frames are captured by alternately switching two imaging conditions. At this time, it is assumed that the odd-numbered frames are imaged under the first imaging condition of the one embodiment, and the even-numbered frames are imaged under the second imaging condition of the one embodiment. Note that each graph in FIG. 8 shows a change in luminance level between three frames captured under the same imaging condition for the same target pixel.

図8(a)は、第1撮像条件で撮像された奇数フレームの輝度レベルを用いた時間重心演算の結果を示している。一方、図8(b)は、第2撮像条件で撮像された偶数フレームの輝度レベルを用いた時間重心演算の結果を示している。奇数フレームは偶数フレームよりも露光時間が4倍と長いため、奇数フレームを用いた時間重心演算(図8(a)の場合)は特にパターン光の散乱が少ない部分で効果が大きい。一方、偶数フレームを用いた時間重心演算(図8(b)の場合)は特にパターン光の散乱が多い部分で効果が大きくなる。   FIG. 8A shows the result of time centroid calculation using the luminance level of the odd frame imaged under the first imaging condition. On the other hand, FIG. 8B shows the result of time centroid calculation using the luminance level of the even frame imaged under the second imaging condition. Since the exposure time of the odd frame is four times longer than that of the even frame, the time center of gravity calculation (in the case of FIG. 8A) using the odd frame is particularly effective in a portion where the pattern light scattering is small. On the other hand, the time centroid calculation using even frames (in the case of FIG. 8B) is particularly effective in a portion where pattern light scattering is large.

かかる他の実施形態によれば、撮像条件が同一でかつ輝度レベルが適正範囲にある画像を用いて、時間重心演算により測定対象物10の三次元形状を測定する。そのため、測定対象物10の形状が複雑で表面反射率が大きく異なる箇所がある場合でも、撮像条件が同一の画像群のうち輝度レベルが適正範囲にある方を適用して時間重心演算を行うことで、測定対象物10の三次元形状を精度良く求めることができる。   According to such another embodiment, the three-dimensional shape of the measurement object 10 is measured by temporal centroid calculation using images with the same imaging conditions and the luminance level in an appropriate range. Therefore, even when there is a place where the shape of the measurement object 10 is complicated and the surface reflectance is greatly different, the time center of gravity calculation is performed by applying the image group having the same imaging condition and the luminance level within the appropriate range. Thus, the three-dimensional shape of the measuring object 10 can be obtained with high accuracy.

<実施形態の補足事項>
(1)上記の各実施形態において、予備計測の工程を省略して最初から本走査を開始するようにしてもよい。また、上記実施形態の予備測定では、測定対象物10の全体をカメラユニット14で撮像し、1回の撮像で測定対象物10の表面反射率を求めるようにしてもよい。
<Supplementary items of the embodiment>
(1) In each of the embodiments described above, the preliminary scanning step may be omitted and the main scanning may be started from the beginning. Moreover, in the preliminary measurement of the said embodiment, the whole measurement object 10 may be imaged with the camera unit 14, and the surface reflectance of the measurement object 10 may be calculated | required by one imaging.

(2)輝度制御部22が調整する撮像条件のパラメータの組み合わせは上記の各実施形態に限定されない。例えば、輝度制御部22は、本走査のときに3種類以上の撮像条件を周期的に適用するようにしてもよい。また、輝度制御部22は、カメラユニット14の露光時間を一定にしてパターン光の光量を調整してもよく、あるいはカメラユニット14の露光時間とパターン光の光量とを両方とも変化させてもよい。さらに、輝度制御部22は、測定対象物10の全体を照明する照明部13の光量を制御してもよい。   (2) The combination of imaging condition parameters adjusted by the luminance control unit 22 is not limited to the above embodiments. For example, the luminance control unit 22 may periodically apply three or more types of imaging conditions during the main scan. Further, the brightness control unit 22 may adjust the light amount of the pattern light while keeping the exposure time of the camera unit 14 constant, or may change both the exposure time of the camera unit 14 and the light amount of the pattern light. . Further, the luminance control unit 22 may control the light amount of the illumination unit 13 that illuminates the entire measurement object 10.

(3)上記の一実施形態において、撮像条件演算部21は、本走査で取得された輝度分布データを用いて、以後の本走査での撮像条件が適正になるようにフィードバック制御を行ってもよい。   (3) In the above-described embodiment, the imaging condition calculation unit 21 may perform feedback control using the luminance distribution data acquired in the main scanning so that the imaging conditions in the subsequent main scanning become appropriate. Good.

一例として、第2撮像条件で取得した画像の輝度レベルは適正な範囲に収まるが、第1撮像条件で取得した画像の輝度レベルが閾値の範囲から外れる状態が所定期間継続するとき、撮像条件演算部21は、本走査において第1撮像条件で撮像を行う設定に変更する。その後、第1撮像条件で取得した画像の輝度レベルが閾値の範囲から外れた場合には、撮像条件演算部21は、本走査において第1撮像条件および第2撮像条件を交互に切り替えて撮像を行う設定に再び戻す。この場合には、本走査のときに適正な輝度レベルで撮像される画像のデータが増加するので、測定対象物10の三次元形状の測定精度がより一層向上する。   As an example, when the luminance level of the image acquired under the second imaging condition falls within an appropriate range, but the state where the luminance level of the image acquired under the first imaging condition deviates from the threshold range continues for a predetermined period, the imaging condition calculation The unit 21 changes the setting to perform imaging under the first imaging condition in the main scanning. After that, when the luminance level of the image acquired under the first imaging condition deviates from the threshold range, the imaging condition calculation unit 21 switches the first imaging condition and the second imaging condition alternately in the main scan and performs imaging. Return to the setting you want to make again. In this case, since the data of the image captured at an appropriate luminance level during the main scan increases, the measurement accuracy of the three-dimensional shape of the measurement object 10 is further improved.

(4)上記の一実施形態の三次元形状計測装置では、ステージ11の位置を固定して、カメラユニット14および投光部12を移動させて本走査を行うようにしてもよい。   (4) In the three-dimensional shape measuring apparatus according to the above-described embodiment, the main scanning may be performed by fixing the position of the stage 11 and moving the camera unit 14 and the light projecting unit 12.

なお、本発明における多くの特徴点および利点は詳細な説明から明らかになるであろう。それは、請求の範囲が、本請求項の精神と権利範囲を逸脱しない範囲で、実施形態における特徴および利点にまで及ぶことを意図するものである。さらに、当該技術分野において通常の技術を有する者は、あらゆる改良および変更を容易に思い付くことができるはずであり、本願における発明性のある実施形態の範囲をここに説明・表現された構成に限定する意図はない。したがって、本発明の範囲は、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。   Many features and advantages of the present invention will become apparent from the detailed description. It is intended that the scope of the claims extend to the features and advantages of the embodiments without departing from the spirit and scope of the claims. Further, those having ordinary skill in the art should be able to easily come up with any improvements and modifications, and limit the scope of the inventive embodiments herein to the configurations described and represented herein. There is no intention to do. Therefore, the scope of the present invention can be based on appropriate improvements and equivalents included in the scope disclosed in the embodiments.

一実施形態である三次元形状計測装置の構成例を示すブロック図The block diagram which shows the structural example of the three-dimensional shape measuring apparatus which is one Embodiment 一実施形態における点群データの生成処理の例を示す流れ図A flow chart showing an example of generation processing of point cloud data in one embodiment カメラユニットの出力特性の一例を示す図The figure which shows an example of the output characteristic of a camera unit 飽和レベルまで線形性のある出力特性のカメラユニットを用いた計測例を示す図Diagram showing an example of measurement using a camera unit with output characteristics that are linear up to the saturation level 高輝度側にニー領域を有する出力特性のカメラユニットを用いた計測例を示す図The figure which shows the example of a measurement using the camera unit of the output characteristic which has a knee area on the high luminance side 一実施形態での本走査における対象画像の抽出例を示す図The figure which shows the example of extraction of the target image in the main scanning in one Embodiment 他の実施形態における三次元形状計測装置の構成例を示すブロック図The block diagram which shows the structural example of the three-dimensional shape measuring apparatus in other embodiment. (a)第1撮像条件で撮像された奇数フレームを用いた時間重心演算の例を示す図、(b)第2撮像条件で撮像された偶数フレームを用いた時間重心演算の例を示す図(A) The figure which shows the example of the time gravity center calculation using the odd frame imaged on the 1st imaging condition, (b) The figure which shows the example of the time gravity center calculation using the even frame imaged on the 2nd imaging condition

符号の説明Explanation of symbols

10…測定対象物、12…投光部、13…照明部、14…カメラユニット、17…パターン光抽出部、18…輝度判定部、19…サブピクセル演算部、20…点群データ生成部、21…撮像条件演算部、22…輝度制御部、24…CPU、25…第2メモリ DESCRIPTION OF SYMBOLS 10 ... Measurement object, 12 ... Light projection part, 13 ... Illumination part, 14 ... Camera unit, 17 ... Pattern light extraction part, 18 ... Luminance determination part, 19 ... Subpixel calculation part, 20 ... Point cloud data generation part, 21 ... Imaging condition calculation unit, 22 ... Luminance control unit, 24 ... CPU, 25 ... Second memory

Claims (9)

測定対象物に対してパターン光を照射する投光部と、
前記パターン光によって前記測定対象物の表面に形成されるパターンを含む画像を撮像する撮像部と、
予め定められた複数の前記画像の輝度に影響を与えるパラメータに対応して前記パラメータ変化させる輝度条件調整部と、
前記測定対象物と前記パターン光の照射位置とを所定方向に相対的に走査させる走査手段と、
前記走査手段により前記パターン光の照射位置を前記測定対象物に対して相対的に走査している間にそれぞれ異なる走査位置での複数の画像を取得し、前記複数の画像が異なる前記パラメータで撮影されるように前記撮像部と前記輝度条件調整部を制御する制御部と、
前記複数の画像から、前記パターンの像が形成された領域にある画素の輝度レベルが所定範囲に収まる画像を対象画像として抽出し、該対象画像に対応するパターンの輝度情報を用いて前記測定対象物の三次元形状を求める演算部と、
を備えることを特徴とする三次元形状計測装置。
A light projecting unit that emits pattern light to the measurement object;
An imaging unit that captures an image including a pattern formed on the surface of the measurement object by the pattern light;
A luminance condition adjusting unit that changes the parameter in response to a predetermined parameter that affects the luminance of the image ;
Scanning means for relatively scanning the measurement object and the irradiation position of the pattern light in a predetermined direction;
While the irradiation position of the pattern light is scanned relative to the measurement object by the scanning unit, a plurality of images at different scanning positions are acquired, and the plurality of images are captured with the different parameters. A control unit for controlling the imaging unit and the luminance condition adjustment unit,
From the plurality of images, an image in which the luminance level of a pixel in the region where the pattern image is formed falls within a predetermined range is extracted as a target image, and the measurement target is extracted using luminance information of the pattern corresponding to the target image An arithmetic unit for obtaining a three-dimensional shape of an object;
A three-dimensional shape measuring apparatus comprising:
請求項1に記載の三次元形状計測装置において、
前記制御部は、前記パラメータを周期的に変化させることを特徴とする三次元形状計測装置。
The three-dimensional shape measuring apparatus according to claim 1,
The three-dimensional shape measuring apparatus, wherein the control unit periodically changes the parameter.
請求項1または請求項2に記載の三次元形状計測装置において、
前記走査手段は、前記投光部と前記撮像部を前記測定対象物に対して相対的に走査させることを特徴とする三次元形状計測装置。
In the three-dimensional shape measuring apparatus according to claim 1 or 2,
The three-dimensional shape measuring apparatus, wherein the scanning unit scans the light projecting unit and the imaging unit relative to the measurement object.
請求項1から請求項3のいずれか1項に記載の三次元形状計測装置において、
前記演算部は、前記撮像部への入射光量と前記輝度レベルとの相関が線形性を示す範囲で前記対象画像を抽出することを特徴とする三次元形状計測装置。
In the three-dimensional shape measuring apparatus according to any one of claims 1 to 3,
The three-dimensional shape measuring apparatus, wherein the calculation unit extracts the target image in a range in which a correlation between a light amount incident on the imaging unit and the luminance level shows linearity.
請求項1から請求項4のいずれか1項に記載の三次元形状計測装置において、
前記輝度条件調整部は、前記パターン光の光量、前記撮像部の露光時間および前記測定対象物の全体を照明する照明光の光量のうち少なくとも1つを変化させることを特徴とする三次元形状計測装置。
In the three-dimensional shape measuring apparatus according to any one of claims 1 to 4,
The luminance condition adjustment unit changes at least one of the light amount of the pattern light, the exposure time of the imaging unit, and the light amount of illumination light that illuminates the entire measurement object, and the three-dimensional shape measurement apparatus.
請求項1から請求項5のいずれか1項に記載の三次元形状計測装置において、
前記輝度条件調整部は、前記走査に先立って実行された予備計測の結果に基づいて、前記予め定められた複数のパラメータに対応した前記走査のときの前記パラメータの変化量を決定することを特徴とする三次元形状計測装置。
In the three-dimensional shape measuring apparatus according to any one of claims 1 to 5,
The luminance condition adjusting unit determines a change amount of the parameter at the time of the scanning corresponding to the plurality of predetermined parameters based on a result of preliminary measurement performed prior to the scanning. A three-dimensional shape measuring device.
請求項1から請求項のいずれか1項に記載の三次元形状計測装置において、
前記演算部は、前記パターン光の像の空間重心から前記測定対象物の三次元形状を求めることを特徴とする三次元形状計測装置。
The three-dimensional shape measuring apparatus according to any one of claims 1 to 6 ,
The three-dimensional shape measuring apparatus, wherein the calculation unit obtains a three-dimensional shape of the measurement object from a spatial center of gravity of the pattern light image.
請求項1または請求項2に記載の三次元形状計測装置において、In the three-dimensional shape measuring apparatus according to claim 1 or 2,
前記演算部は、前記パターン光の強度の時間重心から前記測定対象物の三次元形状を求めることを特徴とする三次元形状計測装置。The calculation unit obtains a three-dimensional shape of the measurement object from a time centroid of the intensity of the pattern light.
請求項8に記載の三次元形状計測装置において、The three-dimensional shape measuring apparatus according to claim 8,
前記制御部は、前記撮像部の任意の画素に対応する前記被測定対象物表面の領域に対して、複数の異なる前記パラメータの条件で複数の画像を得るように前記撮像部と前記輝度条件調整部を制御することを特徴とする三次元形状計測装置。The control unit adjusts the imaging condition and the luminance condition so as to obtain a plurality of images with a plurality of different parameter conditions for a region of the surface of the measurement target corresponding to an arbitrary pixel of the imaging unit. A three-dimensional shape measuring apparatus characterized by controlling a part.
JP2008007827A 2008-01-17 2008-01-17 3D shape measuring device Active JP5256745B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008007827A JP5256745B2 (en) 2008-01-17 2008-01-17 3D shape measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008007827A JP5256745B2 (en) 2008-01-17 2008-01-17 3D shape measuring device

Publications (3)

Publication Number Publication Date
JP2009168658A JP2009168658A (en) 2009-07-30
JP2009168658A5 JP2009168658A5 (en) 2011-05-12
JP5256745B2 true JP5256745B2 (en) 2013-08-07

Family

ID=40969991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008007827A Active JP5256745B2 (en) 2008-01-17 2008-01-17 3D shape measuring device

Country Status (1)

Country Link
JP (1) JP5256745B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110645912A (en) * 2019-10-11 2020-01-03 哈尔滨理工大学 Machine vision panoramic measurement system and measurement method
JP7334153B2 (en) 2017-11-30 2023-08-28 ライカ マイクロシステムズ リミテッド シャンハイ Control of a motorized microtome

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9267784B2 (en) * 2013-07-15 2016-02-23 Faro Technologies, Inc. Laser line probe having improved high dynamic range
JP6267486B2 (en) * 2013-10-30 2018-01-24 キヤノン株式会社 Image processing apparatus and image processing method
EP2869023B1 (en) * 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
US9658061B2 (en) 2013-12-31 2017-05-23 Faro Technologies, Inc. Line scanner that uses a color image sensor to improve dynamic range
US9531967B2 (en) 2013-12-31 2016-12-27 Faro Technologies, Inc. Dynamic range of a line scanner having a photosensitive array that provides variable exposure
JP2017083234A (en) 2015-10-26 2017-05-18 オムロン株式会社 Three-dimensional shape measurement device, three-dimensional shape measurement system, program, computer-readable recording medium, and three-dimensional shape measurement method
JP6604514B2 (en) * 2016-02-26 2019-11-13 株式会社東京精密 Surface shape measuring apparatus and surface shape measuring method
JP6770254B2 (en) 2018-02-07 2020-10-14 オムロン株式会社 3D measuring device, 3D measuring method and 3D measuring program
US11054546B2 (en) 2018-07-16 2021-07-06 Faro Technologies, Inc. Laser scanner with enhanced dymanic range imaging
CN110567375A (en) * 2019-10-11 2019-12-13 哈尔滨理工大学 Multi-workpiece parallel vision measurement precision sliding table

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0526638A (en) * 1991-07-23 1993-02-02 Mitsubishi Heavy Ind Ltd Three-dimensional shape recognizing device
JPH05340727A (en) * 1992-06-05 1993-12-21 Yunisun:Kk Three-dimensional shape measuring instrument
JPH08201023A (en) * 1995-01-31 1996-08-09 Minolta Co Ltd Three-dimensional measuring instrument
JPH10124646A (en) * 1996-10-17 1998-05-15 Minolta Co Ltd Three-dimensional measuring device
JPH10103937A (en) * 1996-09-27 1998-04-24 Nachi Fujikoshi Corp Optical axis inclination measuring method for laser light and apparatus therefor
JP3873401B2 (en) * 1996-11-19 2007-01-24 コニカミノルタセンシング株式会社 3D measurement system
JPH11125508A (en) * 1997-10-21 1999-05-11 Toyota Central Res & Dev Lab Inc Measuring method for cross-sectional shape
JP3575693B2 (en) * 2001-03-25 2004-10-13 オムロン株式会社 Optical measuring device
JP2007271519A (en) * 2006-03-31 2007-10-18 Sunx Ltd Displacement sensor and shape measuring system
JP2007327875A (en) * 2006-06-08 2007-12-20 Mitsubishi Heavy Ind Ltd Position sensor and balance device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7334153B2 (en) 2017-11-30 2023-08-28 ライカ マイクロシステムズ リミテッド シャンハイ Control of a motorized microtome
CN110645912A (en) * 2019-10-11 2020-01-03 哈尔滨理工大学 Machine vision panoramic measurement system and measurement method

Also Published As

Publication number Publication date
JP2009168658A (en) 2009-07-30

Similar Documents

Publication Publication Date Title
JP5256745B2 (en) 3D shape measuring device
JP4821934B1 (en) Three-dimensional shape measuring apparatus and robot system
JP6296401B2 (en) Distance measuring device and solid-state imaging device
JP3714063B2 (en) 3D shape measuring device
JP4889373B2 (en) Three-dimensional shape measuring method and apparatus
CA2981970C (en) Shape measurement apparatus and shape measurement method
US20160205376A1 (en) Information processing apparatus, control method for the same and storage medium
JP5784435B2 (en) Image processing apparatus, fluorescence microscope apparatus, and image processing program
TWI393980B (en) The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
JP4831760B2 (en) 3D information detection method and apparatus
JP2012225807A (en) Distance image camera and distance image synthesis method
JP2015144475A (en) Imaging apparatus, control method of the same, program and storage medium
JP5668227B2 (en) Image measuring device
US20190108617A1 (en) Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
JP2015142364A (en) Image processing device, imaging apparatus and image processing method
JP2012173243A (en) Three-dimensional measuring apparatus and three-dimensional measuring method
JP2012109849A (en) Imaging device
JP2011002401A (en) Correction coefficient calculating method in luminance measuring apparatus, and luminance measuring apparatus
JP5163163B2 (en) Three-dimensional shape measuring apparatus and three-dimensional shape measuring method
JP2020064034A (en) Measurement device, calibration method thereof, and program
JP2009068986A (en) Shape measuring instrument
JP2005043083A (en) System and method for reducing photographing error, program, and recording medium
JP2009186216A (en) Three-dimensional shape measuring device
JP2003166815A (en) Three-dimensional height measuring method for object
JP2018190201A (en) Image processing device, image processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5256745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250